- 开发了使用相机和惯性测量单元（IMU）的位置和姿势估计系统L-C*
- 比较3D地图和相机图像的外观，以高精度估计相机位置和方向，并通过结合IMU进一步将计算负载减少至1/30并提高鲁棒性
- 使用智能手机等熟悉的设备作为传感器，可以应用于增强现实系统、主观视频分析和个人移动的自动驾驶
米乐m6官方网站（以下简称“AIST”）数字建筑研究中心智能移动研究组首席研究员大石大师等人正在使用相机IMU（惯性测量单元）的位置和方向估计系统视觉定位系统，VPS) L-C* (L Sea Star) 开发出来。
以前是使用专用地图来估计位置和方向，但有了这项技术，通用的彩色地图3D 地图即可获取相机位置和方向与相机图像。即使光线、天气和风景发生变化，它也可以稳健地检测位置和姿势的变化。此外，之前匹配地图和图像需要大量计算，我们引入了一种新机制，利用 IMU 来插值匹配之间的运动。结果，我们能够将匹配频率（计算负载高的主要原因）降低到 1/30（从 30 Hz 到 1 Hz）。因此，我们创建了即使在廉价的嵌入式 PC 上也能稳定运行的 VPS。此外，通过合并来自不同传感器的信息，即使对于仅使用相机难以连续估计的数据，我们也能够以 30 Hz 的匹配周期和 1 Hz 的匹配周期实现误差为 3 mm 的位置估计。
摄像头和 IMU 是智能手机和智能眼镜中内置的常见传感器，预计将广泛用作使用个人终端的各种系统和服务的基础，例如增强现实 (AR)、主观视频分析和个人移动自动驾驶。该技术的详细信息将在 2023 年 IEEE 国际机器人与自动化会议 (ICRA) 上公布，该会议将于 2023 年 5 月 29 日至 6 月 2 日在英国伦敦举行。
VPS 使用廉价的摄像头高精度确定位置和方向，是一项备受关注的技术，并正在许多领域得到应用，包括使用建筑信息模型 (BIM) 的施工管理、使用 AR 的手机游戏以及自动驾驶的自我定位识别。 VPS 通常寻找与预先测量的 3D 地图和摄像机图像相匹配的位置和方向。有许多可用的开源和产品，但市场上主要的 VPS 是间接法，其局限性在于需要专用地图来估计位置和方向。
AIST 在通用彩色 3D 地图上运行直接法基于信息论的摄像机位置识别方法建立基于VPS的VPS，C*的开发这次，为了提高鲁棒性和实时性，我们对之前的技术进行了扩展，改进了相机和IMU。传感器融合我们开发了 VPS、L-C*。这使得VPS即使在以前仅使用摄像头的技术难以估计位置和方向的情况下也能稳定运行，同时大大减少了图像匹配所需的计算量，从而实现了可以在廉价计算机上执行的VPS。
近年来，随着智能手机配备了 3D 扫描功能，个人生成 3D 地图变得更加容易。此外，在公共空间中，地理信息系统正在城市和国家规模上发展，逼真的彩色3D地图现在可以在各种环境中使用。由于 L-C* 在通用 3D 地图上运行，无需特殊传感器，因此预计将作为一种轻松测量人员和货物移动的技术得到广泛应用。
这项研究和开发得到了 JSPS KAKENHI 拨款第 22K12214 号“自主移动和无头个人移动控制”（2022-2024 财年）和 NEDO 委托项目“通过应用人工智能技术实现智能社会/构建空间移动领域安全可靠移动的三维地图”的支持（2018 财年至 2022 财年）。
在这项研究中，我们开发了一种 VPS，L-C*，它集成了通过匹配地图和摄像机图像来估计位置和方向，以及通过对匹配之间的运动进行插值来估计传感器运动，从而以少量的计算量稳定地计算出摄像机的位置和方向。
我们使用了与 L-C* 的前身 C* 相同的技术来估计相机位置和方向，这是系统的核心。位置和方向估计的基本过程是搜索 3D 地图和相机图像“匹配”的视点（图 2（左））。这种“匹配”有多种定义。例如，如果将匹配定义为“色差”的减少，则可以找到与相机图像具有相似颜色排列的视点。然而，随着地图制作后的时间推移、物体的配置、天气等发生变化，地图与摄像机图像之间的风景会发生较大的变化，因此难以利用假设颜色不变化的指标来进行估计。相反，在 C*归一化信息距离，我们使用“颜色共现”作为匹配指标来匹配地图和相机图像。与之前详细评估颜色差异的示例相比，此示例基于同时性来测量相似性，例如图在图像的明亮区域中往往会变亮。例如，如果出现如图2（右）所示的高光溢出等干扰，则无法使用直接比较颜色的索引来正确评估相似度。另一方面，使用归一化信息距离的C*保持了衡量相似性的函数的形状，如图2（右下）所示，并且可以稳定地匹配图像和地图。但C*需要大量的计算来验证，而且还存在验证稍有失败就导致推理无法继续等问题。
图2 使用归一化信息距离估计相机位置和方向
此结果使用传感器融合框架扩展了 C*，从而可以稳定匹配并显着减少计算量。具体来说，使用相机和 IMU 的计算负载较低视觉惯性里程计 (VIO)，我们引入了一种机制来确定传感器的微小移动并补偿图像匹配之间的移动（图 3）。因此，我们构建了一个即使在 1 Hz 左右的低频图像匹配情况下也能稳定维持 VPS 的框架，并实现了即使暂时匹配失败也能保持鲁棒性的系统。与需要在 30 Hz 左右处理计算密集型图像匹配的 C* 相比，L-C* 的计算负载已减少至 1/30，现在可以在小型嵌入式 PC 上使用。
图 3 通过使用 VIO 的运动插值来减少 VPS 计算并提高鲁棒性
为了研究 L-C* 的性能，我们使用模拟进行了定量评估（图 4(a)）。具体来说，我们沿着模拟器上的 3D 地图中设置的轨迹生成相机图像序列和 IMU 值的合成数据，并使用估计精度和完成率两个指标来评估是否可以使用 L-C* 准确反算原始轨迹。我们还测试了不同实验条件下的鲁棒性，例如将位置估计频率从 30 Hz 降低到 1 Hz，以及改变地图和相机图像之间的可见性。实验结果表明，该方法可以在所有条件和环境下估计位置和姿态，即使在不利条件下，最小误差为3 mm，最大误差为140 mm。在之前的C*中，由于突然转弯和能见度变化，估计中途失败，但本次实验证明了传感器融合的有效性。我们还使用安装在智能手机中的传感器在真实环境中进行了评估（图 4(b)）。与模拟类似，L-C*可以稳定地跟踪剧烈运动和旋转运动，并取得了实际效果。
图4 真实环境模拟与实验
*这是对原始论文中的数字的引用或修改。
未来，我们计划将开发的VPS应用于各种目标。例如，我们提议实现个人移动的自动驾驶和无传感器的无头移动（图 5）。这个概念是将乘客的智能手机作为移动车辆的“眼睛”，使其在现场实现自动驾驶。通过使用L-C*估计自身位置并控制车辆到达目的地，可以低成本实现自动驾驶，而不需要配备激光测距仪的专用车辆。我们还致力于其他各种发展，例如使用智能眼镜进行人类行为分析以及用于引导内部设施的 AR 信息呈现。
已出版的杂志：第 40 届 IEEE 机器人与自动化会议 (ICRA 2023) 论文集
论文标题：L-C*：用于弹性和轻量级直接视觉定位的视觉惯性松耦合
作者：Shuji Oishi、Kenji Koide、Masashi Yokozuka 和 Atsuhiko Banno