作为 NEDO“利用人工智能的创新远程技术开发项目”（以下简称“项目”）的一部分，东京大学工学研究生院（东京大学）、日本国立先进产业技术研究所 (AIST)、Eames Robotics, Inc 和 NTT Docomo, Inc 开发了一种创新的无人机操作技术（以下简称“创新无人机远程技术”），使操作员能够安全、快捷地远程掌握现场情况。
创新的无人机远程技术使单个操作员能够通过操作一组自主且协调地飞行的无人机来进行高级调查活动，适用于安全、消防和防灾领域，这些领域需要对危险和紧急情况进行快速态势感知。具体来说，通过整合和处理多架无人机拍摄的高分辨率图像以及从激光雷达传感器获得的信息，现场情况可以在数字空间中即时重现。
该技术于2024年10月16日至18日和2024年12月4日至6日在福岛机器人试验场（福岛县南相马市浪江町）根据假设安全工作的场景进行了演示，我们获得了这样的前景：它将能够在确保操作员安全的同时为实现快速初始响应做出贡献。该项目完成后，我们将针对实际应用进行开发和示范。通过这一点，我们的目标是实现一个可以在所有情况下使用无人机的社会。
图1 已开发的创新无人机远程技术的图片
在不久的将来的智慧城市中，通过通信网络连接的多架远程无人机预计将用于自主或远程操作的防灾、安全、检查等。目前，当在防灾或安全等需要快速响应的场所使用无人机时，操作员操作单架无人机，同时近距离检查无人机的图像，操作员或助手观看无人机的图像以了解灾害情况。然而，由于劳动力短缺，确保大量能够执行高级无人机操作的专业人员是一个问题。如果能够利用人工智能根据飞行过程中获得的图像来估计人员等的状况，并根据XR等提供的信息来识别可疑人员和需要救援的人员，则可以显着减轻飞行员和助理的负担，并且可以实现安全有效的无人机操作和高效的安保和救援行动。
在此背景下，从2021年开始这个项目※1的一部分，东京大学、AIST、Eames Robotics 和 NTT Docomo 将利用 AI 和 XR天空头像※22023年消防防灾领域示范实验※3，2024年10月和12月，我们在福岛机器人试验场（福岛县南相马市浪江町）进行了安全领域的演示实验。
(1)创新无人机远程技术的发展
我们开发的创新无人机远程技术由以下基本技术组成。
1) 实现多架无人机编队飞行、相互避免碰撞以及在物体上空盘旋飞行
自主分布式合作飞行技术
※4
[技术要点]通过机间通信，依次获取其他飞行器的卫星定位系统（GPS）位置和速度信息，计算每架飞行器距目标点的重力合力、与其他飞行器的重力、斥力、旋转力等，每架飞行器自主控制自身运动，实现协同飞行。
2) 广角相机，
激光雷达※5LTE/5G多传感器无人机配备传感器、环境传感器、920MHz机间通信功能、LTE/5G通信功能、自主控制计算机等
[技术要点]我们开发了基于Eames Robotics无人机“UAV-E6106FLMP2”的飞行器，配备了多传感器、各种通信设备、自主分布式协作飞行算法等，自主分布式协作飞行功能、广角相机图像高压缩低延迟传输、3D彩色点云数据生成和传输，
ROS2系统※6实现飞机之间、飞机与基站之间的信息传输。
3) 人体状态估计 AI 技术，可将每架无人机的高分辨率图像低延迟传输到云端，并在云端识别救援人员和可疑人员
[技术要点]在 NTT Docomo (docomo MEC®) 提供的云上，我们开发了一种技术，可实现实时 AI 处理，以检测三架无人机周围的人员并估计人员的行为（需要救援的人员、可疑人员等）。
4) 使用安装在无人机上的 LiDAR 传感器和可见相机图像的高速 3D 着色技术
[技术要点]它使用 LiDAR 传感器从飞行中的多架无人机扫描地面，并将获取的点云和 GPS 信息拼接在一起，创建高精度的 3D 环境模型。同时，相机的彩色图像用于在无人机的机载计算机上处理点云着色。我们已经在地面物体较少的环境和晃动较大的无人机上实现了 3D 彩色点云的稳定生成。
5)
数字孪生环境※7同时在整体鸟瞰图和无人机摄像头视角之间切换
XR 演示※8远程控制接口技术，让您掌握现场情况
[技术要点]为了使用无人机远程掌握现场情况，该项目将准备现场的数字孪生环境，通过使用头戴式显示器和虚拟现实 (VR) 控制器让操作员沉浸在其中，可以在从上方查看情况的同时检查 XR 中呈现的各种信息（状态估计 AI 的结果、环境传感器信息、无人机状态等）。此外，我们正在构建一个系统，通过选择虚拟显示的无人机，可以从无人机角度（第一人称视角）进行远程控制。
(2) 使用创新的无人机远程技术演示无人机安全
这次开发的创新无人机远程技术机械安全※9的申请，2024年10月16日至18日和2024年12月4日至6日，我们与ALSOK福岛有限公司合作，在福岛机器人试验场使用三架扩展传统机械安全的无人机，按照安全操作场景（图2①至⑦）进行了以下演示。
1) 利用自主分散协同飞行技术实现多架无人机自动巡逻安全和相互避撞（图2①、②）
2) 使用 Cloud Jonin 状态估计 AI 检测可疑人员（图 2 ③）
3) 多架无人机自动无盲区追踪可疑人员（图2④、⑤）
4) 通过远程控制界面监控可疑人员并操作无人机（图5）
5) 保安根据监控中心无线电指令赶赴现场（图2⑥）
6) 遥控界面自动起飞和降落（图2 ⑦）
通过集成该项目中开发的基本技术，我们确认可以执行快速、安全的初始响应，例如使用多架无人机快速跟踪可疑人员，直到安全人员到达现场。
图2 使用三架无人机的机械安全作业场景
图3 自主分布式协同飞行无人机外观图（左），从遥控界面自动起飞（右）
图4 空中可疑人员自动跟踪
图 5 使用人体状态估计 AI 进行可疑人员检测和整体鸟瞰图呈现（左），无人机安装摄像头视角的视频（右）
图6 3D彩色点云数据生成（左）、现场创建的3D点云模型（右）
该项目完成后，东京大学、AIST、Eames Robotics 和 NTT Docomo 不仅会将此次展示的创新远程无人机技术应用于无人机机械安全，还将在需要掌握危险和紧急地点（例如灾难现场）情况的领域进行开发和实际应用演示。通过这一点，我们的目标是实现一个可以在所有情况下使用无人机的社会，同时确保操作员的安全。