独立行政机构国立产业技术综合研究所[会长野间口裕]（以下简称“AIST”）智能系统研究部[研究部主任 Hirohisa Hirukawa] 服务机器人研究小组佐川龙正研究员国立大学法人鹿儿岛大学 [校长吉田博树] 科学与工程研究生院（工学系）信息与生物系统工程系公立大学法人广岛市立大学川崎宏教授 [主席（校长）浅田直树] 信息科学研究生院与副教授合作我们在智能工学系的 Ryo Furukawa 教授和特聘副教授 Hirohiro Aoki 的帮助下，开发了一种高速、高精度、高密度测量移动或变形物体表面形状的方法。
该技术将由波浪线组成的网格光图案投射到物体上，并用相机对其进行拍摄，从而可以测量拍摄图像时物体表面的三维形状。此外，高速相机可用于测量快速移动和变形的物体。通过同时实现传统技术无法实现的高速、精确的形状测量，预计可用于通过观察运动人体进行人体运动分析、医疗应用、柔性变形服装建模、以及在高速事件中对材料和结构进行分析，例如结构因碰撞而变形。
有关该技术的更多详细信息，请参阅将于 2012 年 8 月 6 日至 8 日在福冈以及 2012 年 8 月 28 日至 9 月 1 日在美国圣地亚哥举行的第 15 届图像识别与理解研讨会 (MIRU)第 34 届 IEEE 医学与生物学工程学会国际年会 (EMBC2012)
 |
| 图 1 通过投影波浪线网格图案来测量运动（上行：输入图像/下行：形状测量结果） |
最近，动态变化物体的 3D 场景测量引起了人们的关注。例如，不需要佩戴设备的游戏产品通过即时测量人员并分析他们的动作而取得了成功。正在研究使用自动移动机器人的眼睛等产品，以及强烈认识到测量目标或移动的人的动态场景测量的重要性。然而，目前，为此目的测量移动物体的传感器可以拍照。帧速率如果能够同时实现高速、精确的形状测量，那么3D形状测量技术的应用范围，例如医疗应用和流体分析，将大大扩展。
产业技术研究院、鹿儿岛大学和广岛市立大学一直致力于将形状测量技术应用于多媒体、医学、材料分析、服务机器人和机器人安全技术等各个领域，并致力于开发基于图案光投影的形状测量技术。这次，我们开发了一种方法，扩大了以前一直存在的问题的应用范围，并提高了测量的自由度。
该研究开发的一部分得到了总务省战略信息通信研究开发系统ICT创新创造研究“4维媒体系统的研究开发（2010-2019年度）”和内阁府尖端下一代研究开发支援计划“实时测量人体所有内外表面形状的系统 - 从测量面部肌肉的运动到获取面部形状”的支持。肠壁（2010-2010 财年）”。
新开发的方法从投影仪等光源投射光图案，并处理用相机拍摄的图案，以测量被拍摄物体的三维表面形状。由于形状可以从拍摄时拍摄的单张图像中获得，因此高速相机也可以用于测量高速移动和变形的物体的表面形状。图2显示了摄像机和投影仪的布置示例。
 |
| 图 2 使用投影仪和相机的测量系统 |
该技术首先将由垂直和水平波浪线组成的网格图案（如图 2 左侧所示）投影到目标对象上。图像处理用于检测投影到物体表面的波浪线，并创建显示这些线如何连接的交集图。由于每个交点在投影图案和捕获的相机图像之间具有一一对应关系，因此优化交点的组合并确定投影图案和图像之间的每个交点之间的对应关系。一旦决定响应三角测量测量交点的三维位置。最后，对图像中的所有像素进行交点插值，并对计算出的形状进行优化以匹配图像，生成高密度形状。图 3 解释了该方法的流程。图4从左至右依次为输入图像、直线检测生成的交集图、交集三维位置计算结果以及所有像素点三维位置计算得到的形状。
 |
| 图3方法流程 |
 |
|
|
| 图4 3D位置计算结果 |
由于表面形状是从单个图像恢复的，因此可以在成像的每个时刻测量形状。特别是，它的优点是能够使用高速相机测量快速变化的现象。图 5 显示了在水族箱中产生的波浪，其中可以将图案投影到水面上，并测量到波浪形状的变化。通过以每秒 250 帧的速度拍摄，您可以捕捉复杂变化的波浪形状。图6显示了在每秒2000帧的高速下测量球被球棒击打瞬间形状变化的结果。虽然球与球棒接触的时间很短，但你可以清楚地看到球是如何被压碎的。
 |
图5水面波浪测量
（左：输入图像/右：透视上方斜上方的形状测量结果，侧面透视） |
 |
图 6 击球测量
（左：输入图像/右上：从上方视角看到的形状测量结果/右下：将图像粘贴到形状上的结果） |
作为运动测量的示例，图 7 显示了石头剪刀布运动，图 1 显示了出拳运动。它还可以测量衣服上的皱纹和手部的详细形状，而这些是运动捕捉系统难以测量的。传统的动作捕捉系统只能测量几十个点的位置，而这项技术可以高密度地测量数万个点的位置。另一方面，商业游戏中使用的某些传感器的误差为1至2厘米，而该技术具有1至2毫米的高精度。未来，我们的目标是提高计算机的性能，并在拍照时进行实时测量以获得形状。如果能够实时进行高速、精确的形状测量，许多公司目前正在致力于开发。
自然界面
 |
| 图7石头剪刀布运动测量（上行：输入图像/下行：形状测量结果） |
该技术可以通过投影固定的网格图案来测量形状。它的简单性使得相同的技术可以灵活地应用于不同的设备。例如，图 8 显示了一个示例，其中使用立体显微镜构建了将光图案投射到极小区域上的茎，并根据显微镜图像测量了形状。该图案以大约 005 毫米的间隔进行投影，可以看出，可以从单个图像中测量美国 1 美分硬币上轮廓的不均匀度。
 |
图 8 使用显微图像测量美国一美分硬币的形状
（右中：输入图像/右：形状测量结果） |
这种测量方法在医学领域的应用之一是非接触式心率测量。以往，心电图已被广泛用于测量心跳，但由于需要将电极放置在体表，因此存在受检者的负担和束缚感以及电极意外脱落等问题。非接触式测量解决了这些问题。此外，由于可以全面捕获心跳信息，因此有望发展成为筛查心脏病的新方法。如图 9 所示，以每秒 100 帧的速度测量胸部，并从其形状的变化中提取心跳周期。与心电图相比，可以看出，由于波形的峰值间隔之间存在相关性，因此可以非接触地测量心跳。
 |
| 图9 应用形状测量的非接触式心率测量 |
我们计划扩大这种测量方法的应用范围，例如将其应用于由于形状变化而无法充分进行形状测量的各种领域，例如多媒体、医学、体育和材料分析。