通知

LLM-jp研究小组（由NII、东北大学、东京大学、早稻田大学等组成的LLM研究开发团队）由国立产业技术综合研究所（以下简称“AIST”）、国立大学法人东京工业大学（以下简称“东京工业大学”）、国立大学信息研究所（以下简称“国立情报学研究所”）共同组建。 ``NII''）。人工智能一代世界顶级粉底大规模语言模型的结构（以下简称“法学硕士”）。作为第一步，LLM-jp将生产1750亿份，是传统国内LLM规模的10倍。参数数量建立法学硕士AIST 是构建 LLM 所需的计算资源AI桥接云（以下简称“ABCI”）。此外，为了今后的开发，我们将与东京工业大学和LLM-jp合作，创建开发所需的语言数据。

通过整合 AIST、东京工业大学和 LLM-jp 拥有的与 LLM 建设相关的数据、算法和计算资源利用知识进行研究和开发，我们将创造出有助于增强日本产业竞争力和解决社会问题的成果。

人工智能技术是支撑国家工业的支柱之一，对于高效工作以弥补劳动力下降以及先进利用通过互联网收集的大规模数据至关重要。特别是，LLM（处理语言的人工智能技术要素）的研究正在取得进展。 2022 年交互式人工智能，由美国OpenAI公司发布。它产生流畅对话的能力震惊了世界各地的人们，并且由于其丰富的知识来源和多功能性，人们对它在社会各个方面的使用抱有很高的期望。然而，单纯利用日本以外的公司和研究机构以封闭方式研发的LLM，会使LLM的建设过程变成一个黑匣子。因此，使用LLM时无法消除侵权、信息泄露等担忧。为了活用日语能力较强的LLM，需要构建透明性高、构建过程和使用数据一目了然、可以安心利用的国产LLM。

AIST 一直与国家研究机构和大学合作研究和开发人工智能技术。 AIST和NII于2019年1月18日签署了关于AIST ABCI的利用和人工智能相关研究合作的协作和合作协议。 2023年，我们与NII达成协议，利用ABCI建立法学硕士，致力于构建和管理高质量、大规模的共享数据集。与此同时，AIST 和东京工业大学一直在开展建立法学硕士的研究。

2023年9月，NII申请了ABCI第二期大规模语言模型构建支持计划，参与机构为AIST、东京工业大学和LLM-jp，并入选。大规模语言模型建设支持计划针对日益增长的LLM建设需求，为入选申请者提供最长60天独家使用部分ABCI（高性能计算节点，称为A节点）的机会，以方便需要大规模计算资源的LLM建设。

作为建立世界一流的法学硕士的第一步，LLM-jp 将开始建立一个开放且强大的日语法学硕士。我们这次要构建的LLM规模的参数数量是1750亿，是OpenAI构建的LLM。GPT-3相同AIST将提供ABCI作为构建LLM所需的计算资源。此外，AIST和东京工业大学将与LLM-jp合作，构建LLM开发所需的高质量、大规模共享数据集。

通过这一举措，我们的目标是建立日本第一个公开的 GPT-3 级别日语法学硕士。这使得我们能够使用LLM，其构建过程清晰且高度透明。多模式数据的AI技术的发展，以及生成式AI在机器人上的应用做出贡献。我们还将推进LLM原理的阐明，从而实现可以安心使用LLM的社会生活。

我们将继续利用AIST的计算资源，汇聚日本的智慧进行研究和开发，目标是打造具有世界一流水平的法学硕士。将构建的国产LLM将在使用ABCI以外的计算资源完成模型后通过LLM-jp公开。

人工智能一代

关键字“生成式 AI”的日文翻译，Gartner 宣布其为 2022 年“战略技术的顶级趋势”。生成式 AI 据称是“一种机器学习方法，可以从数据中学习内容和事物，并利用它来产生全新的、富有创意和现实的输出。”[返回来源]

大型语言模型 (LLM)

一个了解人类书写倾向的大规模神经网络。它是构建生成式人工智能的基础，不仅因为生成流畅的句子而受到关注，而且还因为它作为聚合句子中包含的知识的知识源而受到关注。截至 2023 年，它是使用称为 Transformer 的神经网络构建的。由于神经网络规模较大，其训练需要大规模的语言数据和大规模的计算资源。[返回来源]

参数数量

是决定LLM等神经网络行为的数值数量，是神经网络规模的指标。参数数量越多，可以学习到的文本趋势和知识越多，但学习需要更多的语言数据和计算资源。[返回来源]

AI 桥接云 (ABCI)

由AIST设计开发的大型AI云计算系统，旨在加速日本人工智能技术的发展。该系统安装在AIST柏中心的AI数据中心大楼内，并于2018年8月开始运行。迄今为止，国内一家公司使用ABCI在深度学习方面实现了全球最快的计算速度，许多机构使用ABCI都取得了骄人的成绩。[返回来源]

交互式人工智能

人工智能能够通过文本与人互动。基于法学硕士生成并回答人们的问题。除了与人互动的能力外，通过对话调查问题、解决问题的能力也备受关注。[返回来源]

GPT-3

LLM由美国公司OpenAI于2020年发布。这是第三代LLM，名为GPT。[返回来源]

多模式数据

包含多种类型（形态）的数据，例如文本、图像和音频。与单独处理每种类型的传统处理相比，您可以期待更高的性能和新功能。[返回来源]

国立产业技术综合研究所
信息与人体工程学研究规划办公室
茨城县筑波市梅园 1-1-1 中央办公室，邮编：305-8560
电子邮件：ith-liaison-ml*aistgojp（使用前请将*更改为@。）