人工智能有哪些安全风险？

人工智能有哪些安全风险？

2024/06/05

人工智能安全风险

？

―安全设计、开发和操作人工智能的指南―

用科学的眼光来看，
社会关注的真正原因

人工智能有哪些安全风险？

人工智能安全风险大致可分为两类：人工智能系统受到攻击而产生的风险，以及人工智能系统被滥用或误用而产生的风险。特别是近年来，生成式人工智能可以通过输入自然语言来使用，并且具有不限于任何领域的通用性，这使得识别和修复故障和偏差的原因变得越来越困难。它还具有高性能的图像和声音合成能力，如果被恶意利用，很容易实施欺诈、冒充和捏造行为。结果，与人工智能相关的安全风险变得比以前大得多，安全对保护人类和社会的重要性也日益增加。

性能显着提高的生成式 AI 面临的挑战

　人工智能安全现在是一个极其重要的话题。特别是近年来，随着生成式人工智能性能的快速提升，安全问题受到全球关注，国际规则制定不断取得进展。

　人工智能的研究已经有 60 多年的历史，但特别是自 2010 年代以来，大数据的收集和处理变得更加容易，深度学习技术得到普及，由于使用大规模语言模型的自然语言处理技术，各种生成式人工智能（例如 ChatGPT）也得到了广泛应用。通过多项技术创新，其性能得到显着提高。 （AIST 杂志“什么是自然语言处理？」、「什么是生成式人工智能？」）

　因此，今天的人工智能可以通过输入人们日常使用的语言来使用，还可以处理图像、音频、视频等。此外，现在可以创建一个包含各种知识的基本模型，而不局限于特定领域，并且现在可以用于广泛的应用。另一大特点是，人工智能已经能够合成与真实事物无法区分的高精度图像和声音，并且人工智能现在具有丰富的表现力。

　这样一来，生成式人工智能的优势，例如可以用自然语言使用的界面、不分用户或领域的通用性以及丰富的表达能力，从安全角度来看会导致风险增加和更复杂的对策。

有两种风险：被攻击和被滥用/误用

　人工智能安全风险大致可分为以下两类。

一是人工智能系统本身受到攻击会给人类和社会带来风险。当人工智能系统的内部弱点（漏洞）被利用时，就会发生这种情况。

　另一个是以人工智能系统为手段的攻击给人类和社会带来的风险，这是人工智能被滥用或误用时产生的风险。人工智能的性能越高，风险就越大，因此预计随着人工智能的发展，这种情况将变得更加严重。

　在前一种情况下，一些具体风险包括对对象检测人工智能的攻击导致自动驾驶汽车发生事故，或者计算机由于感染恶意软件检测人工智能无法检测到的病毒而变得无法使用。在后一种情况下，可能存在利用人工智能发现和利用系统漏洞的攻击，或者利用人工智能伪造生物识别信息绕过生物识别认证。

　特别是，使用生成式人工智能时存在多种已知风险，例如利用 Deepfake 技术生成的声音进行冒充和欺诈、合成虚假色情内容以及捏造政客演讲。

　从安全角度来看生成式人工智能的特征，一个主要问题是人工智能变成了黑匣子，甚至开发人员也无法预测或解释人工智能的行为。因此，存在无法确定AI故障是否存在以及原因等问题。

　此外，由于人工智能从数据中学习，底层数据集中的任何缺陷或偏差都可能导致故障。特别是，已知的攻击是恶意修改训练数据集以导致人工智能发生故障（数据中毒攻击）。因此，数据收集和分发过程（供应链）的可靠性极其重要。

　未来，随着多个人工智能系统开始交换和组合信息，预计复杂性将会增加，风险也会相应增加。

　尽管人工智能技术正在被用来应对这些风险，但仅靠技术并不能解决这些风险。因此，AIST、世界各地的研究机构和政府机构正在努力制定规则以确保人工智能的安全。

制定指南并将其用于 AI 质量控制和安全

　AIST在2018年人工智能的实际应用尚未取得进展时启动了一个研究项目，重点研究“如何管理人工智能的质量”。从那时起到今天，技术和社会发生了巨大变化，当时不太被理解的人工智能质量管理意识已经扎根。

　AIST从技术发展的角度出发，制定并发布了人工智能的设计、开发和运营指南，并每年进行修订。 （《机器学习质量管理指南》^*1”，AIST 杂志“通过指南支持 AI 设计、开发和运营'') 在人工智能安全方面，我们系统梳理了威胁、漏洞和对策，制定了安全风险评估和应对的框架和标准。迄今为止，这些指南已被多家公司使用，并且是人工智能系统安全性国际标准 (ISO/IEC TR 5469) 的基础。2024/04/10 新闻稿）。

　对于指导方针来说，重要的是它们能为整个社会所接受。安全措施成本高昂，因此公司必须意识到让他们能够轻松遵循指导方针并获得社会认可。另外，还有关于如何使用指南的课程^*2

我认为下一步是社会实施。一旦国际规则和规定确定后，就需要建立技术标准，以确定如何从技术角度应对，所以我愿意在这方面发挥作用。

　此外，从政策角度来看，通过国际合作推动生成人工智能规则的制定也出现了引人注目的趋势。发达国家对生成式人工智能的风险有强烈的危机感，2023年G7广岛峰会上，“广岛人工智能进程”讨论了确保生成式人工智能的安全、社会实施和规则。此外，日本、美国、英国等也成立了名为人工智能安全研究所（AISI）的组织，并开始研究确保人工智能安全的标准。预计这些政策将在未来几年内发生重大变化，我们在推进该项目时将密切关注这一点。

　每当新技术出现时，不仅仅是生成式人工智能，总是存在风险。因此，新技术的发展必须与确保安全结合起来。在AIST，许多专家共同致力于建立一个人们可以安心地与人工智能共存的社会。我们将继续致力于创造新技术的研究和开发，并继续制定确保安全和保障的准则和标准。

*1：机器学习质量管理指南
https://wwwdigiarcaistgojp/publication/aiqm/ [返回来源]
*2：NEDO课程学生招募页面（招募已结束）
https://wwwnedogojp/events/CD_100198html [返回来源]

受访者：[返回来源]