利用高性能、易于使用的 AI 桥接云加速生成式 AI 的开发和社会实施

利用高性能、易于使用的 AI 桥接云加速生成式 AI 的开发和社会实施

2024/11/20

拥有高性能且易于使用的AI桥接云加速生成式人工智能的开发和社会实施

ABCI（人工智能桥接云基础设施）连接人工智能算法和从现实世界获得的大数据。为了加速AI技术的发展和社会落地，AIST将其建立为开放可用的大规模计算基础设施，并于2018年开始运营。我们将在2021年升级到ABCI 20，然后今年升级到ABCI 30。已得到工业界、学术界、政府界的广泛用户使用，并取得了显著成果，通过AI技术驱动产业创造。

最高计算性能和节能性能、企业易于接入的AI超级计算机

　AIST致力于构建ABCI，正值海外陆续开发出极为重要的深度学习技术的时期。与此同时，在日本，尽管人们对人工智能很感兴趣，但只有约10%的公司引入了它。因此，我们决定创建一个大型计算基础设施，不仅可以方便研究机构和大学使用，也可以方便企业使用，并提供一个可以实际尝试人工智能的“场所”。

　结果就是 ABCI，当时在超级计算机速度性能排名中排名世界第五。半精度计算性能为550 petaflops，配备4,352个最新GPU。 GPU数量越多，功耗和发热量就越高，但特点是达到了全球最高水平的节能性能。我们就这个系统询问了 Ryosei Takano。

　“典型的数据中心所需的冷却电力与计算机的电力消耗大致相同。但是，在ABCI的情况下，冷却的电力消耗不到计算机的十分之一。我们不使用消耗大量电力的冰箱，而是使用自然冷却，仅使用所谓的‘洒水效应’产生的热水，非常高效和节能，有助于降低运营成本。”

配备最新更快 GPU 的生成式 AI 开发取得了许多成就

　2021年5月升级至ABCI 20。Hirotaka Okawa解释如下。

　由于用户数量不断增加，使用率达到了极高的水平，我们推出了配备最新更快GPU的新系统，使其可以与常规系统结合使用。 ABCI 的提高取决于参数数量和训练的数据量。由于性能在某一点之后往往会突然提高，因此各个开发人员都在竞相为此类用户开发 ABCI。 20优先考虑将资源分配给生成式人工智能的开发。”

　通过增加GPU服务器和存储系统，半精度计算性能提升至8515 petaflops。利用 ABCI 20 已经产生了各种结果。一些例子包括“利用 ABCI 构建日语大规模语言模型”（Preferred Networks）、“利用人工智能和自动驾驶技术构建新的物流基础设施”（T2）、“利用图像识别寻找肉中骨头的肉类加工机械的进化”（Maekawa Seisakusho）以及“使用视频分析人工智能“DeepLiquid”实现流体特性的新数字化”（AnyTech）。

升级至ABCI 30，打造世界一流的开发环境

　随着全球生成人工智能市场的迅速扩大，ABCI 30的升级正在进行中。关于目标，小川表示，“在20中，可以开发出数百亿个参数的模型，但目前最先进的生成式人工智能，如ChatGPT（OpenAI）和Gemini（谷歌）等都使用超过1万亿个参数的模型。换句话说，虽然拥有工具的大型科技公司可以开发这种生成式人工智能工具，但日本产业界、学术界和政府等穷人却不能。通过升级到30，我们将消除这一差距，创造一个让日本工业界、学术界和政府能够开发世界一流的生成式人工智能的环境。”

5954_6098

　看来向ABCI 30的迁移方法还有一个很大的挑战。 “我们的目标是尽可能缩短用户无法使用 ABCI 的时间，最终实现在不停机的情况下从 20 切换到 30。首先，我们计划进行扩建电源、数据中心、加强冷却系统等建设工作，然后在运营20的同时逐步用30取代，但这将是一项极其艰巨的任务。”

　结果，半精度运算的性能提高了约 7 倍，达到 622 exaflops。过渡正在进行中，目标是在 2025 年 1 月开始运营。(2025/01/20 通知）

旨在通过将业务转移到 AISol 来培育生成式 AI 市场

　自今年4月起，业务已转移至AISol，我们开始致力于进一步扩大使用范围并提供更细致的服务。小川认为，有必要借此机会改变使用价格和用户群体。

　受经济产业省的“云计划”影响，樱花互联网、GMO互联网集团等多家云提供商纷纷出现，为AI开发准备超级计算机并提供给用户。我们将把30的使用价格提高到与每个业务运营商相同的水平。在用户基础上，ABCI打算通过优先向国家研究机构和大学、利用公共资金实施委托和补贴项目的企业以及初创企业，以高度的公共利益促进发展。

　高野认为AIST将发挥以下作用。 “未来，我们将更加注重研究，以提高计算资源的复杂性和附加值。着眼于 ABCI 在生成人工智能生态系统中的作用，我们将继续进行人工智能安全和保障、推理环境（包括与边缘人工智能协作）以及节能机制等技术开发。我们希望在 ABCI 验证这些，并通过向企业转让技术，为提高日本计算资源行业的水平做出贡献。”

　现在计算基础设施不断增长，挑战是能够充分利用大量 GPU 的人力资源极度短缺。 AIST将继续引领日本的人工智能开发和社会实施，包括培养能够开发与世界同步的生成式人工智能的人力资源。

　本文发表于 2024 年 9 月“AIST 报告 2024