什么是边缘人工智能？

什么是边缘人工智能？

2025/01/22

边缘人工智能

？

―支持实现“设备中的人工智能”的半导体技术―

用科学的眼光来看，
社会关注的真正原因

什么是边缘人工智能？

边缘 AI 是指使用我们每天使用的熟悉的电子设备（例如智能手机）来运行人工智能 (AI) 软件。之所以如此称呼，是因为它使用互联网“另一边缘”的设备，而 ChatGPT 等人工智能则在云端运行。继智能手机和电脑之后，预计未来将广泛普及到汽车、家电、工厂等使用的设备中，用于自动化操作和确保安全。实现这一目标的关键之一是开发可提高能效和性能的专用半导体。

什么是边缘人工智能？

　边缘AI不与连接互联网的云端进行通信，仅通过附近的设备完成AI操作。对于在云端运行的人工智能来说，例如ChatGPT，将用户的问题发送到云端和收到回复之间不可避免地存在延迟。 Edge AI没有这种延迟，因此可以快速响应。例如，当自动驾驶汽车检测到前方有障碍物时，如果将摄像头数据发送到云端，它将无法及时刹车。借助 Edge AI，汽车内置的转向人工智能可以立即做出决策，使汽车能够快速安全地行驶。

　此外，由于无需将数据发送到云端，因此可以保护用户隐私。如果您的智能手机具有用于健康管理的 Edge AI，它将监控您的健康状况，而不会有人看到您的数据。通过将边缘人工智能融入工厂机器人，让它们筛选出有缺陷的产品，就不用担心新产品的秘密被泄露给其他公司。 Edge AI还具有许多其他优点，例如即使在通信不稳定的地方也可以使用，并且能够节省通信费用。

　Edge AI中的“边缘”是指利用互联网边缘的设备来执行AI。该术语与云形成对比，云位于互联网的另一端，可以是靠近用户的任何设备。边缘AI不仅适用于家庭和工作场所的电子设备，还适用于城市的安全摄像头、商店设备和工厂制造设备。 Edge还有“边界”的含义，例如智能手机和云端之间的手机网络基站、连接家庭网络和互联网的路由器等也是边缘AI的目标。

　边缘计算是边缘人工智能一词的起源。这同样适用于在边缘使用设备，但由于人工智能技术不像现在那么发达，所以“计算”一词通常用来指代数据处理。边缘人工智能一词的诞生是作为边缘计算前提的现实世界中各种设备与互联网连接的进步以及人工智能性能的并行改进的结果。 （AIST 杂志“什么是边缘计算？」）

迈向边缘人工智能的实际应用

　边缘人工智能的实际应用已经开始。微软2024年5月发布的新型PC“Copilot+ PC”，以及谷歌“Pixel 9”、苹果“iPhone 16”等2024年发布的最新智能手机，可以说是边缘AI的早期例子。这些设备配备了执行人工智能的专用半导体，可以对终端上的文档和图像进行各种类型的人工智能处理。

　用于执行边缘人工智能的半导体称为 NPU（神经处理单元）。事实上，智能手机配备 NPU 已有好几年了。最初，性能有限，但随着时间的推移，它得到了改善，智能手机上人工智能可以做的事情正在逐渐增加。目前，诸如“ChatGPT”之类的先进人工智能很难在边缘智能手机上顺利运行，但随着半导体和其他技术的进步，这最终将成为可能。

　边缘人工智能也正在进入商业设备。配备边缘人工智能的监控摄像头用于生产线上的各种安全、交通管理和产品检查。在 NPU 性能改进的支持下，面向商业用途的边缘 AI 还将整合异常检测和交通拥堵预测等各种功能。然而，实际应用可能需要一些时间，因为有必要仔细确认在重视人类安全的应用中的有效性，例如使用边缘人工智能的自动驾驶。

　此外，未来，以前单独运行的边缘人工智能预计将开始协同工作。例如，如果安装在十字路口的配备 Edge AI 的摄像头检测到肇事逃逸事件，它可以联系位于肇事车辆方向的摄像头并对其进行跟踪。作为其延伸，许多自动驾驶汽车、摄像头中的边缘人工智能和十字路口的交通灯，甚至云端的人工智能都可以共同创建一个不知道交通拥堵的交通管理系统。

　边缘AI可以说是代替人类执行各种任务的实体。如果目前需要人与人之间协商和互动的各种活动未来将通过边缘人工智能实现自动化，也就不足为奇了。

边缘人工智能的技术挑战

　边缘AI之所以需要像NPU这样的专用半导体，是因为在用于正常计算的CPU（中央处理单元）上运行AI软件效率低下。目前主流的基于所谓深度学习的人工智能，可以看作是一个庞大的数学公式，结合了大量的简单计算。虽然这是一个参数数量极其庞大的数学公式，但通过将各个部分划分为更小的部分并并行执行，可以高效地计算。然而，常规CPU不适合这种并行处理。

此外，智能手机等边缘设备的可用电量有限。因此，我们需要一种机制来设计针对人工智能处理进行优化的半导体，并在使用更少功耗的同时最大限度地提高执行速度。结果就是 NPU。虽然AI处理有时会使用GPU（图形处理单元）进行图像处理，但NPU使用的电路比GPU更适合AI。

　为了提升边缘AI的性能并大幅拓展其应用，持续提升NPU的性能非常重要。迄今为止，已经开发了许多具体技术。例如，它是一种在将计算中使用的数字数字化时降低精度的方法。在云端，有人建议使用细粒度的表示，例如32位或16位，但在边缘侧，将数量减少到一半以下，即8位，或者在极端情况下减少到1位。这是因为减少位数会降低 NPU 功耗并提高速度。此外，最近开始出现新颖的方法，例如将计算功能添加到内存中的方法，该内存存储构成人工智能的无数参数（CiM，内存中计算）。

　无论使用何种技术，在设计 NPU 时，与服务和软件开发人员的协作都极其重要。首先，在云端执行的AI规模非常大，参数数量有时超过万亿，无法直接在边缘侧执行。可接受的条件因应用而异，例如需要多大规模的人工智能以及精度可以降低到多低。除非软件决定了AI的规模和精度，否则就不可能设计出适合它的NPU。 NPU 具有一定程度的多功能性，但它们仍然可以用于一系列应用，并且应该为此目的进行优化。

　顺便说一句，NPU通常作为单芯片SoC（片上系统）中的电路之一，而不是作为独立的半导体芯片。 SoC是一种将多种功能集成到单个芯片中的半导体，包括CPU、用于临时存储数据的存储器和GPU。边缘侧的各种设备，例如智能手机和计算机，都使用适合各自的 SoC。

致力于提高边缘 AI 性能的研发工作

　AIST 致力于促进 NPU 进步的研究和项目。其中之一就是融合了独特理念的高速处理技术的开发。例如，我们开发了一种芯片，将预先执行的乘法结果存储在内存中，然后简单地读出它们，而不是每次执行人工智能处理所需的大量乘法。^*1我做到了。通过用数据读取代替乘法过程，我们可以预期速度会显着提高。

　在本研究中，我们在FPGA（现场可编程门阵列）上实现了设计的电路并验证了其实际运行。 FPGA 是一种允许在半导体上轻松复制新设计的电路的技术，就像编写软件一样，而不是使用单独的组件从头开始组装它们。如果直接使用FPGA，电路存在冗余，不一定能降低功耗，但通过确认FPGA的有效性，进而进一步提高电路的效率，就能实现高性能、省电的NPU。

　另一项举措是为资金和人力资源有限的公司（例如小型初创公司）提供设计支持。与东京大学合作的“人工智能芯片设计中心（AIDC）”于2023年3月开始全面运营（2023/3/17 新闻稿）。我们提供半导体设计所必需的各种环境，例如设计（EDA，电子设计自动化）工具和硬件模拟器。已经有许多使用该基础开发的芯片的例子。

　日本半导体产业曾经世界第一，现在已经远远落后于美国、台湾、韩国等国家的企业。随着全球半导体产业形势日新月异，日本政府认识到其重要性，正在迅速推出加强该产业的政策，其中包括对旨在实现全球最先进半导体制造技术的Rapidus的支持。作为这项工作的一部分，包括 Rapidus、AIST 等在内的先进半导体技术中心 (LSTC) 已受新能源和工业技术开发组织 (NEDO) 委托，致力于开发使用 2 纳米半导体技术的边缘人工智能加速器。

　通过这些活动，AIST不仅将提高性能并普及边缘AI，还将为加强日本半导体产业做出贡献。

*1:Fuketa、Hiroshi 等人。 “使用残差矢量量化的基于无乘法查找的 CNN 加速器及其 FPGA 实现。”IEEE 访问 (2024) [返回来源]