米乐m6官方网站[理事长中钵良二]（以下简称“AIST”）智能系统研究部[研究部负责人 Yoshihiro Kawai] 计算机视觉研究小组研究小组组长佐藤丰和工业技术规划研究员佐川龙政开发了一种方法，即使在直射阳光等强干扰光的环境中，也能准确检测从光源投射到物体上的图案，并测量高速移动和变形的物体的形状。
形状测量包括基于激光测距的形状测量方法和使用相机的非接触测量方法。在这些方法中，从投影仪等光源将图案投影到物体上，并对相机捕捉到的图案进行图像处理以测量物体的三维形状的方法适合于对移动物体的形状进行高分辨率测量。然而，采用传统方法，在阳光直射等强干扰光的环境中，投射图案的光源的输出小于太阳光的输出，从而难以检测和测量图案。为了解决这个问题，扩频调制技术这种即使在嘈杂环境下也能使用小输出无线电波进行通信的方法应用于图像处理，并通过设计光源照射方法和图像处理来实现形状测量。这使得可以从拍摄图像中去除引起噪声的干扰光，减少其影响，并检测由具有比干扰光低的输出的光源投射的图案。该技术扩大了形状测量技术的应用范围，使得即使在室外也可以从多个方向同时测量移动物体。除了形状测量之外，我们还提供虚拟现实和嵌入图像，因此有望对图像处理技术做出广泛的贡献。
该技术的详细信息将于2017年7月21日至26日在美国檀香山举行的IEEE计算机视觉和模式识别会议（CVPR2017）上公布。
 |
| 使用新开发的技术在直射阳光下测量形状 |
近年来，连接计算机与现实世界的技术正在投入实际应用，例如机器人在工业和社会生活中的使用、物联网和虚拟现实，一切都通过互联网连接起来。实现这些目标的一个重要因素是传感技术，它将现实世界捕获为可以由计算机处理的数据。其中，在很多情况下都需要测量物体的形状，例如，为了让机械臂抓取物体，需要知道物体的形状。
形状测量包括基于激光测距的形状测量方法和使用相机的非接触测量方法。在许多情况下，使用相机测量形状的非接触方法是合适的，并且已经开发了各种方法。这些方法之一是从光源将图案投影到物体上并根据用相机拍摄的图案的畸变计算三维形状的方法（图案投影法）。这种方法由于易于测量形状且测量精度好而经常被使用。然而，如果存在图案光源以外的环境光，例如太阳光或高强度照明设备，则图案将被掩埋在环境光中，而无法正常进行图像处理。这使得该方法无法在存在其他明亮光源的环境中应用，因此需要解决该问题。
日本产业技术研究院等机构开发了一种“一次性形状测量方法”，该方法使用波浪线网格图案作为投影图案，并且可以仅在拍摄图像时测量一张图像的形状（2012 年 8 月 2 日 AIST 新闻稿）。使用高速相机，还可以测量高速移动和变形的物体表面形状的变化。使用每秒超过 1000 帧的速度拍摄的图像，可以测量各种物体的形状，例如移动的人体和水面上的波浪。测量运动物体的形状有多种可能的应用，到目前为止，我们已经对多种应用示例进行了研究，包括运动分析、医疗应用、工厂生产线上流动的物体的测量以及碰撞变形物体的分析。
然而，在测量户外运动的人体形状时，如图1所示，如果存在环境光，则图案可能会被遮挡，并且可能无法进行图像处理，因此我们决定开发一种可以在阳光等强环境光环境下处理形状测量的技术。
 |
| 图 1 拍摄图像的差异取决于环境光存在与否 |
当投射图案的光源的输出与环境光相比较小时，检测由环境光（例如太阳光）引起的图案变得困难，但是增加光源的输出存在限制，例如安全问题。另一方面，降噪技术被应用于移动电话等无线通信，即使在嘈杂的环境中也可以实现使用低输出功率的无线电波的通信。因此，在“一次性形状测量方法”中，用相机捕获从光源投射的图案被视为将图案从光源传送到相机，并且使用扩频调制技术作为噪声去除技术。这是一个窄频带信号 (窄带信号）并传输它的方法。即使在通信过程中添加了强噪声，对接收信号进行解扩也会将噪声传播到较宽的频带上，从而更容易将原始信号恢复到窄带并提取出来（图2）。
 |
| 图2 使用扩频调制进行通信的概念图 |
新开发的方法将来自图案光源的信号视为窄带信号，并通过应用直接扩散方法（一种扩频调制技术）将其扩展到较宽的频率范围。在直接序列方法中，频带分布在原始信号上传播代码来扩展（调制）信号。这里作为传播代码伪随机数序列相应地打开和关闭光源 (1,0)。即，通过根据扩频码在使光源闪烁的同时投影与随机数序列一样多的图案，将窄带信号扩频为宽带信号。接下来，通过相机拍摄投影到观察目标上的图案，并将拍摄到的图像组和扩频码卷积运算将其压缩为窄带并对其进行解扩（解调）。此时，图像上的噪声和干扰光在解调时被扩散并自动去除为频率范围之外，从而可以减少解调图像中干扰光的影响。因此，即使图案信号与干扰光相比非常弱，也可以通过使用长扩散码来恢复图案。基于在没有环境光的情况下拍摄的图案图像的解调图像峰值信噪比 (PSNR)如图3所示。可以看出，扩散码越长，PSNR越好，干扰光去除效果越有效。
 |
| 图 3 解调结果的峰值信噪比 (PSNR) 与扩频码长度的关系 |
这次开发的方法需要捕获多个图像。因此，如果观测目标发生移动或变形，如果在不考虑移动的情况下进行解调，则图案的位置将发生变化，导致解调结果出现错误。因此，如果与使用高速相机的观察目标的移动相比能够以足够高的速度拍摄图像，则我们假设由于移动而导致的图案变形处于低频，并在解调期间执行滤波以消除低频。结果，如图 4 所示，我们能够消除模式解调过程中的错误并测量高速移动物体的形状。
 |
| 图 4 测量弹跳球的示例 在约 50,000 勒克斯的直射阳光下，使用高速相机以每秒 22,500 帧的速度拍摄了一个弹跳的球。与直射阳光相比，投射图案的光源的输出非常低，并且输入图像中的图案几乎无法识别。在未进行滤波的情况下解调前后255幅图像的结果中，图案因运动的影响而发生偏移，导致解调误差，但通过滤波去除低频，可以解调投射在球和手上的图案，并恢复形状。
|
此次开发的方法不仅可以应用于形状测量，还可以应用于结合光源和相机的各种图像处理方法。例如，它可以应用于由多个光源和摄像机组成的系统，或者由摄像机和显示器组成的虚拟现实系统。它还有望有效测量难以投影图案的物体，例如自行发光的物体，例如熔融金属。
一个例子是光度立体方法的应用。光度立体法是利用单相机和多个光源，根据从多个特定方向照射的图像中光源的强度和反射率的差异来恢复图像并测量形状的方法，通过简单的图像计算处理可以实现较高的测量精度。假设没有外部光，但通过该方法，即使在存在外部光的情况下也可以使用光度立体方法。图 5 是一个系统示例，其中多个 LED 光源放置在摄像机周围，从各个方向照亮观察目标。通过去除室内灯光中的环境光，可以解调并恢复从特定方向照射的图像的形状，如解调图像中的阴影所示。
它还可以应用于嵌入不可见图像。图6示出了一个示例，其中将不可见图案与人眼可见的可见图像同时嵌入到显示器中，并且可以通过用相机捕获和解调图像来检测嵌入的图像。使用扩频调制将女性图像生成为嵌入图案序列，并与可见图像（山魈的图像）一起显示。虽然女人的图像是人眼看不见的，但当用相机拍摄调制的图像序列并解调时，山魈的图像作为环境光被去除，并且女人的图像被恢复并拍摄。例如，此类技术可用于虚拟现实等应用，通过呈现相机可见但人类不可见的信息并用于图像处理。
 |
| 图5 环境光下光度立体法的应用 |
 |
| 图 6 视频嵌入的应用 |
我们的目标是将形状测量应用于迄今为止无法应用使用图案投影的形状测量方法的各种环境，例如直射阳光下，并在几年内将基于该方法的技术商业化。