什么是自然语言处理？

什么是自然语言处理？

2023/06/21

OpenAI 的对话式 AI 服务“ChatGPT”于 2022 年 11 月推出，它返回的输入问题答案与专家无异，令全世界感到惊讶。自然语言处理技术的快速进步带来的这一成果甚至超出了尖端研究人员的预期。另一方面，也有一些可怕的故事称，这些功能已经变得如此先进，不仅夺走了人们的工作，而且还危及人类。这其中有多少是真实的？我们采访了人工智能研究中心知识信息研究组的研究组组长高村大也，了解了自然语言处理技术的原理和最新趋势，以及AIST的人工智能研究。

什么是自然语言处理

您现在只需使用 ChatGPT 即可执行各种与语言相关的任务

自然语言处理是一种利用计算机处理人们书写或说出的单词的技术。可以说，它是构成人工智能（AI）研究领域核心的基础技术之一。

自然语言处理技术大致可分为“语言理解”和“语言生成”。 “语言理解”是一种处理人写的句子的技术，典型的应用包括电子邮件的自动分类和网络搜索。 “语言生成”是一种让计算机生成句子的技术，包括文本摘要和机器翻译。

　到目前为止，每个应用程序的技术发展都取得了进步，但最近的系统（例如 ChatGPT）改变了这一常识。现在可以回答需要高级语言理解和语言生成的问题，从而可以使用单个系统执行各种任务。

事实上，早在 ChatGPT 引起轰动之前，自然语言处理研究人员就对该技术的快速进步表示惊讶。 2018 年，谷歌发布了一款名为 BERT 的系统，只需开发人员进行一些调整即可用于各种任务。仅这一点就令人惊讶，但 ChatGPT 的前身 GPT-2 和 GPT-3 使得只需调整输入以适应系统即可执行各种任务，而无需更改系统本身。此外，ChatGPT 与人互动的能力也得到了增强，现在它只需像人类要求人类那样做的方式发出指令即可执行各种任务。

加速研究的深度学习技术

快速进步的背后是深度学习技术的发展。使用深度学习的自然语言处理涉及使用大量预先准备的句子来训练称为“语言模型”的系统。如果将句子的一部分输入到语言模型中并训练它预测下一个单词，语言模型将逐渐记住易于理解的单词模式。你给他们学习的句子越多，他们造句的能力就越好。

　语言模型可以随便你怎么称呼它，但实际上它可以说是一个由大量简单计算公式组合而成的庞大数学公式。这个公式包含大量的系数（参数），调整参数以成功预测后续单词称为学习或训练，并且可以由计算机自动执行。当您将一个问题或其他问题输入经过训练的语言模型时，它会一个接一个地预测接下来的单词，并生成一个长答案。

　目前的高性能语言模型被称为大型语言模型（LLM），参数数量据说从1000亿到几千亿甚至更多，用于学习的单词量据说达到数千亿以上。据说现在法学硕士之所以拥有堪比人类的复杂能力，是因为其规模庞大。 ChatGPT也被认为是在LLM的基础上开发的，并有额外的学习来提高会话能力。

为什么可以进行高级处理

　大规模语言模型能够获得高级能力有几个可能的原因。

　首先，系统本身现在是通过学习创建的。以前的自然语言处理技术已经创建了基于每种语言的语法和人类设计的规则来执行单独任务的系统。此后，自然语言处理技术通过应用相对小规模的深度学习等技术得到发展。

　另一方面，作为语言模型性能关键的大量参数都是由学习决定的。因此，人们相信单词和句子结构等信息以一种更容易执行各种任务的格式存储在语言模型中。通过让数据来决定而不是让人去思考，我们找到了一种适合实际使用的表达格式。然而，这种表达被认为是一种复杂的形式，人们无法立即理解。

　此外，用于学习的大量句子中的知识在学习后存储在参数中，这也有助于提高性能。 ChatGPT 能够提供问题的准确答案，因为它从大量文本中学习构成答案的信息，即可能跟随问题的单词序列。

　大规模语言模型的一大神秘之处在于它们可以执行未经明确训练的任务。为了使用传统的自然语言处理技术或小规模语言模型处理不同的任务，有必要创建一个单独的系统或为每个任务准备数据并重新训练它。

　另一方面，例如，ChatGPT 允许您通过简单地询问“请指出以下句子中的语法错误”和“以下意见是正面、负面还是中性？”来解决此类任务，通过在指令中包含执行条件和示例结果，可以处理全新的任务。对语言模型的指令称为“提示”，对于输入什么样的提示可以帮助语言模型准确地执行哪些任务有很多研究。

“语言模型变大就会出现新功能”是真的吗

　ChatGPT 为何能够执行未经明确训练的任务的解释之一是“随着语言模型变得大规模，新功能会出现”。然而，对此也有一些反对意见。例如，有人指出，由于从互联网上收集的大量文本被用来训练大规模语言模型，即使我们认为我们正在测试一个新任务，但测试数据可能已经与训练数据混合在一起了。换句话说，大规模语言模型可能会无意中“作弊”。

　包括这些点在内，关于语言模型的行为我们还有很多不明白的地方。首先，仍然没有理论可以具体解释如何通过概率预测句子中后面的单词来生成看起来像人类写的句子。

在AIST，我们希望详细研究语言模型的内部，并稍微澄清这一点。语言模型具有层次结构，某些级别可以执行相当于传统句法分析（根据语法组织单词关系）的处理。

　语言模型是人工智能领域中被称为“generative AI（生成模型）”的技术之一。生成AI包括根据口头指令生成图像的AI，“中途”和“稳定扩散”等服务受到了公众的关注。事实上，图像生成AI也是基于概率思想，就像语言模型一样。非常简单地说，例如，当我们考虑面部图像的生成时，我们想象虽然有眼睛、嘴巴、鼻子等共同特征，但形状、位置、颜色等随机变化，从而产生各种图像。 (“什么是生成式人工智能？-‘下一代人工智能’的预期是什么-”）

自然语言处理和人工智能的未来

人工智能会接管我们的工作吗？

　正如 ChatGPT 所示，通过使用当前的自然语言处理技术，将各种涉及创建句子和使用对话的任务委托给计算机已经成为可能。然而，目前的技术存在很大的局限性，据说完全不需要人力的任务仍然很少。

　这个限制是系统响应人类指令输出的信息不一定是正确的。众所周知，ChatGPT 答案经常包含错误。原因在于，如上所述，生成的句子只是学习到的概率的结果，而不是确认内容正确性的结果。即使文本看起来合理，也不一定意味着内容准确。

因此，当使用当前技术创建文本时，人类检查内容的正确性至关重要。对于不关心信息准确性的目的，可以在没有人工干预的情况下使用它，但目前认为其范围是有限的。

　尽管使语言模型输出更加准确的技术不断进步，但完全消除错误仍然很困难。从这个意义上来说，可以说人的角色不会消失。然而，人类也会犯错误，因此如果语言模型变得像人类一样准确，情况可能会改变。随着自然语言处理技术变得更加复杂，任务可能会从不强调信息准确性的应用程序开始自动化。另一方面，自动查找人工智能生成的句子并对内容进行事实核查的技术也在取得进展。

自然语言连接人工智能

　自然语言处理技术的未来方向之一是将语言处理与不同类型的数据处理（例如静态图像、视频、3D 形状和音频）相结合。这称为“多式联运”。协作已经开始，例如使用 ChatGPT 为图像生成 AI 创建指令（提示）以绘制所需的插图。

　在研究阶段，有使用语言模型来生成机器人动作的情况。当语言模型被告知机器人所处的情况时，语言模型会推断出下一步要采取的行动。似乎有可能真正产生适当的行为。

　人们相信，随着专门从事数据处理的系统协同工作，多模式将会取得进展。有趣的是，自然语言可能成为系统之间交换信息的标准方式。除了通过指令（提示）与 AI 进行通信之外，扩展 ChatGPT 功能的“插件”机制还使用了一种格式，其中如何使用扩展软件的指令以自然语言编写并传达给 ChatGPT。有一天，可能会出现这样一个时代，不仅人类和人工智能可以交流，而且人工智能和人工智能也可以通过自然语言进行交流。

另一个发展方向是“个性化”。持续记住各种个人行为（包括聊天内容）的语言模型有潜力为每个人提供定制服务。事实上，微软已经透露，Copilot是一种将大规模语言模型与办公软件链接起来的工具，它利用每个用户的电子邮件、聊天、文档和会议等数据。

　如果这种趋势持续下去，保护用户隐私可能会成为一个主要问题。隐私信息可以通过用户触手可及的工具（例如智能手机）进行管理，并链接到云中提供一般知识的语言模型，而不是将所有数据存储在云中。

　大规模语言模型本身的功能将进一步加强，能够为更多的任务产生更好的结果。这里重要的是，日本需要开发自己的融合尖端技术的大规模语言模型。为了详细研究大规模语言模型内部发生的情况并推进研究和开发，有必要快速开发可以在开放环境中使用的模型。为了避免在世界各地正在进行的开发竞争中落后，我们希望汇集我们多年来培育的尖端自然语言处理技术，并与其他研究机构和大学合作，为日本大规模语言模型的开发做出贡献。