使用人工智能检测结构中的异常声音！

2018/07/31

使用人工智能检测结构中的异常声音！开发与检查员协作的人工智能系统

负责检查高速公路、桥梁、铁轨、隧道等交通基础设施长期缺乏熟练的检查员。 AIST和Shutoko科技有限公司检查交通基础设施人工智能 (AI)让AI机器学习检查声音，自动诊断异常，开发了一个系统以供检查员可视化。该系统的检查结果是实时显示的，并且通过自动绘制异常情况，即使是非熟练工人也可以进行检查而不会忽视它们。有望提高检查效率并大幅减轻检查人员的负担。。

通过学习正常数据检测异常

　2012年12月，中央高速公路筱子隧道发生的天花板倒塌事故是日本高速公路上发生的最严重事故，造成9人死亡。这场灾难引发了公众对日本各地老化的交通基础设施的兴趣。事故发生后的调查指出了一些问题，包括一些设备缺乏资金和无法维持足够的安全控制，以及由于少子老龄化导致执行检查的熟练检查人员数量减少，以及未来可能难以确保人员确保执行检查。此后，开始对老化设备采取各种安全措施，强制进行安全措施和安全检查，但一些问题仍然没有得到解决。

　隧道、桥梁等交通基础设施的主要安全检查一般包括“目视检查”，以发现裂缝等，以及“声音检查”，即人行走时用锤子敲击墙壁或地板（高速公路路面后面），根据听到的声音差异来检测混凝土漂浮或内部空洞等异常情况。如果锤击测试过程中出现异常声音，则会使用精密设备进行二次检查，但由于该测试依赖于人类对听觉的感觉，因此对检查人员的技能有很大的依赖性。能够熟练辨别异常噪音的检查人员数量有限，并且能够应对由于强制检查而导致的检查数量迅速增加的检查人员仍然长期短缺。早在筱子隧道事故发生之前，日本产业技术研究院就担心会出现此类基础设施检查问题，并一直在开发支持检查的技术。其中之一是使用人工智能（AI）的锤击声音检查系统，我们将在此介绍。

　这是一项利用 AI 中的机器学习方法自动检测声音异常的技术，基于 AIST 多年来致力于的模式识别技术。''

　在人工智能研究中心研究机器学习的村川正宏这样说道。

自其前身电子研究所以来，AIST 一直致力于使用图像识别的自动异常检测。该技术已投入实际应用，例如作为使用摄像头监控电梯内部的安全系统，最近也有望应用于医疗领域，例如癌症的病理图像诊断。

　AIST利用图像识别的异常检测技术，并不是通过让AI学习异常数据来发现异常，而是在大量正常数据上进行训练，当与“正常数据”不同时判断为异常。异常这个词有很多变体，不可能提前了解所有异常数据。有时它是不正常的，因为它首先无法预测。对每一个异常进行一一学习的方法难免会出现遗漏，因此检测正常以外的事物更为可靠。

　将图像识别技术应用于声学数据和传感数据的异常检测技术的研究始于2008年左右。经过几年的基础研究，似乎可以使用这种技术，当我思考这种技术将在哪些领域有用时，我想到了结构检查的主题。”（村川）

　检测过程与图像没有太大不同。首先，系统从正常区域的检查中学习大量的声学数据。接下来，分析您想要研究的声学数据。当它识别出超出正常范围的声音时，就判定为异常。

　经过大约两年的研发，我们在开发一种检测电机异常噪音的特殊听诊器方面取得了一些成功。现在我们必须找到合作伙伴将这项技术投入实际应用。然而，到了寻找合作伙伴的时候，村川与基础设施检查领域的公司没有任何联系，不知道如何寻找合作伙伴。

AIST 的种子满足该领域的需求

　有一天，在高速公路建设管理技术的展览会上，日本产业技术研究院创新协调员樋口哲也注意到了以首都高速安全检查为主要业务的首都高速工程株式会社的展台。展出了用于高速公路检查的锤式测试仪。樋口了解到高速公路的检查是通过听敲击声来进行的，他对在场的首都高速公路工程部的工作人员表示，“在基础设施检查领域，产业技术研究所或许能够以某种方式进行合作。”

　不久之后，村川先生给我们公司打电话。当我听到这个故事时，我真诚地想：“有趣！”并欣然接受了这个提议。”

公司技术部门的久保田雄一回顾那些日子。

　尽管我们说我们正在开发技术，但我们创造的是模拟设备。即使是敲击测试也是人类通过耳朵听声音做出判断的定性测试。随着能够执行此测试的熟练测试人员的数量正在退休，我们认为需要能够进行定量诊断的技术。

　对于锤击声测试，将待检查的物体（例如墙壁）分成约 10 厘米见方的正方形（称为网格），并用锤子精细地敲击每个网格。如果根据声音确定有异常，则用粉笔标记该区域，以便以后更容易找到。此外，我们在现场制作草图并将其带回公司，由 CAD 工程师将其转化为图纸。图纸附在检查报告中，并根据这些图纸确定要修复区域的面积和体积，并创建修复的设计图。

　这样一系列的流程等待着检查之后。我想如果我们能够将数字技术引入到这个手工部分，工作效率会大大提高，所以我认为我们应该这样做。''

　该公司技术总监 Kiyoshi Mori 的话语表达了他对 AIST 的技术种子满足该领域需求时的高度期望。两者的联合研究已经开始。

检测到异常！

在此之前，AIST 从未尝试过分析混凝土结构的敲击声。因此，联合研究首先是确认这项技术是否真的能够自动判断锤子敲击的区域是否存在异常。他们制作了各种实验样本，包括没有浮子或空腔的混凝土块，以及嵌入混凝土中以形成模拟空腔的聚苯乙烯泡沫塑料块，并测试了听诊器类型的设备是否可以检测异常情况。结果是——。

　我们能够确定空腔是正常还是异常。特别是，空腔位置越接近表面，检测得越清晰，因此我们详细研究了空腔的检测深度和精度，并寻找一种分析方法，使我们能够了解异常的类型。”（村川）

　筱砂隧道事故就是在这个时候发生的。所有成员都相信，需要一种技术，使任何人都能够以与专家相同的精度对结构进行安全检查。政府认识到了这一需求，两年后，该项目被选为内阁办公室的战略创新创造计划（SIP）。因此，从2014年到2018年3月，产业技术研究院、首都高速技术、东日本高速公路株式会社、NEXCO工程东北株式会社、Techny株式会社等五方决定针对桥墩、隧道等混凝土结构物的损伤、沥青路面下混凝土板上层的沉降等，进行检查、监测和诊断技术的研究开发。

只需执行相同的工作即可自动生成异常级别地图

　在 SIP 项目中，我们在应用程序方面取得了进展，使其能够在现场实际使用。例如，在实验室等安静的地方分析敲击声的准确度很高，但实际工作地点是在隧道内或地板上。在分析和测量方面都有许多技术问题需要解决，例如由于回声和行驶的汽车产生的噪音非常大，如何区分噪音和撞击声，以及如何记录撞击声以降低噪音。

　我们最初想到在听诊器中安装一个麦克风，并将其贴在墙上来拾取声音，但在现场使用并不实用。对于检查者来说太耗时了。

首都高速公路技术部的野佐如此说道。对于听诊器类型，您必须始终用一只手将设备靠在墙上。如果操作设备需要时间和精力，就会给检查带来不必要的负担。除非有办法减轻检查人员的负担，否则很难将新技术引入该领域。

　另外，我们有把锤子本身改成特殊的东西的想法，但如果我们改变工具，检查员可能不会使用它。因此，我们决定采用一种不会增加检查工作负担的方法，并且使用的工具与以前相同，然后我们考虑如何开发它。”（村川）

　我们得出的答案是，检查员使用传统的锤子敲击地板等，声音被靠墙放置的测量单元拾取。测量单元配备有接触式声学传感器和捕捉击打位置的距离传感器，并捕捉击打声音的波形信息和击打的位置信息。被击中的位置实时显示在平板电脑上，如果分析确定异常，蜂鸣器响起，现场通知检查人员。

　“测量单元能够在大约 4 米的半径内进行高精度测量。在检查了 8 至 10 米的区域后，检查员只需将测量单元移动到下一个位置并将其竖立起来。该系统在现场使用起来很方便。”Mori 微笑着说道。

　取代草图并自动创建修复设计数据的功能需要图像处理知识。即使向您显示“该区域异常”的数值，也很难准确理解其含义。他认为有必要将异常情况可视化，以便任何人都能理解。村川还请求 AIST 内的 AR（增强现实）研究人员进行合作，致力于“异常现象的可视化”。

　有了这个，现在可以自动创建一个地图，以等高线图的形式显示检查区域的异常程度，并且现在可以一目了然地看到结构内部的恶化状态。我认为自动可视化异常的能力是世界上其他锤击声音分析技术所不具备的出色功能。”（村川）

　目前，SIP项目已经结束，产业技术研究院和首都高速公路技术公司再次进行联合研究，以推进优化设计的实用化。

　“目前，我们正在努力从现场角度提高设备的质量，例如减轻设备的重量以及改善测量过程中与噪声消除相关的区域。另外，在实际现场，测量单元会因移动车辆的振动而移动，因此我们也在考虑使其能够粘附在测量表面上。”Nozoe解释道。倾斜式不能用于检查高速公路的底部，但吸力式可能也适用。但是，由于吸附式在移动时需要更多的努力来去除和重新吸附，因此我们将继续听取现场的反馈并寻找最佳解决方案。