丰田工业和 AIST 迎接物流自动化的挑战

丰田工业和 AIST 迎接物流自动化的挑战

2025/02/05

丰田工业和 AIST 迎接物流自动化的挑战融合现场知识和尖端技术，利用人工智能检测包装异常

在劳动力短缺的物流行业，运营效率和自动化是一个紧迫的问题。强烈需要自动化的领域之一是用叉车卸载卡车的工作。用于固定货架的自动驾驶叉车已经投入实际使用，但卡车运输的货物可能会突出或干扰放置货物的托盘，如果叉车在未检测到这种异常情况下尝试卸载货物，可能会出现货物倒塌等问题。 AIST的合作实验室之一（命名实验室）“丰田工业-AIST 先进物流合作研究实验室（AL 实验室）”使用AIST开发的尖端AI技术开发了“包装异常检测”机制并进行了演示正在完成。我们采访了 AL Lab 参与该技术开发的研究人员，讲述了他们与 AIST 的 AI 技术的遭遇、在该领域应用的过程以及获得结果的过程。

叉车作业自动化所需的包装检测

　由于卡车司机和其他工人的工作方式改革，“2024年物流问题”将导致货物无法有效运输，这一问题已在新闻中多次报道。再加上少子化和人口老龄化导致的劳动力数量减少，这对经济周期产生了重大影响。

丰田工业公司的横町直哉 (Naoya Yokomachi) 是丰田工业公司 - AIST 先进物流合作研究实验室 (AL Lab) 的主任，他对物流领域的挑战之一进行了如下解释。

　到目前为止，卡车司机驾驶叉车卸货的情况并不罕见。然而，随着2024年物流问题，能够驾驶叉车的人数减少，卡车司机的工作时间减少，物流存在中断的风险。研究用叉车自动化卸货工作对于提高物流效率至关重要。''

　横町借调的丰田工业L&F AR开发部已经开发并销售了自动驾驶叉车。

　“AGF（自动引导叉车）已经商业化35年了。然而，卡车运输的货物状况各不相同。例如，当卡车从北海道运输一箱箱白菜时，箱子因运输过程中的晃动而移动，或者相邻托盘上的货物干扰装载货物的平台是很常见的。”长期参与自动驾驶叉车开发的横町说道。

他是从丰田工业公司借调来的，目前正在 AL 实验室作为特定的深入研究专家进行研究。 Shin'ichi解释说：“人类一眼就能看出卡车运输货物时因冲击而发生的位移或干扰。但是，现有的自动驾驶叉车等机器人很难检测到这一点。如果他们试图直接搬运货物，货物就会碰撞或倒塌，从而造成麻烦。”因此，我们决定开发一种系统，自动检测卡车运输的货物状况是否存在异常，换句话说，检测货物的外观是否存在异常。货物。

AIST 和丰田工业公司在“Kan 实验室”合作研究包装异常检测

首先，AIST的AL Lab是一个什么样的组织？ 2016年，AIST启动了以合作公司命名的合作实验室系统，并与丰田工业合作成立了AL实验室。 (2016/10/01 通知) 正如其正式名称“丰田工业-AIST先进物流协同研究实验室”所示，这是一个追求“先进物流”的实验室。

　丰田工业是一家生产纺织机械、发动机、汽车、叉车等的制造公司。我们的使命是创造高质量、高性能且不易损坏的产品。另一方面，效率和自动化在物流领域也很重要。 “对此有强烈的需求。为此，我们需要利用IT、AI等信息技术进行改进。横町回忆道：“仅凭丰田工业公司很难利用尖端信息技术进行研发，因此我们想借用产业技术研究所赞助实验室系统的智慧。”在寻找认为应该进行开放式创新的合作伙伴时，我们了解了产业技术研究所的捐赠实验室系统。在接触了产业技术研究所的先进技术和尖端研究后，他们决定与产业技术研究所合作。

　2021年，Mae被借调到AL Lab，认真开始包装异常检测的研发。此前，他曾在丰田工业公司工作，负责开发电池系统。使用人工智能图像识别检测包装异常是一个完全不同的领域。

　当我们在 AL Lab 开发包装异常检测时，我们问横町先生，“我想要 10,000 张包装图像，以便 AI 可以学习”，但不幸的是，没有这样的数据。但是，AL Lab 正在与研究 AI 的 Kataoka 教授合作。当我们问他“我们想开发一个系统来检测包装异常时，”他说，“我们可以做到。”

　梅称这个人为“先生”。片冈”是日本产业技术研究院人工智能研究中心计算机视觉研究组的高级首席研究员片冈博夫。

使用根据数学公式创建的数据集预训练 AI

Kataoka 开发了一种称为公式驱动监督学习（FDSL）的图像识别人工智能。论文发表后，研究成果将于2022年由AIST公布。在深度学习中，基本方法是训练大量训练数据来创建模型，但在图像识别方面，常见的方法是训练大量真实图像。然而，在 FDSL 中，学习是使用数学公式生成的图像数据进行的（AIST 杂志``来自日本，任何人都可以实现最高精度的图像识别人工智能！」）。

　Kataoka 下面介绍了使用 FDSL 的好处。

　ImageNet 是收集大量图像的通用数据集的典型示例。它可以用于研究，但不能用于商业目的。这是一个无法在现场使用的数据集。然而，当通过从互联网等收集图像来创建数据集时，需要人工注释工作来对其进行标记，并且数据本身的版权和隐私风险会增加。''

这样，使用真实图像创建模型仍然存在许多问题。

另一方面，“FDSL 使用由数学公式生成的分形图像和轮廓图像，因此不需要手动注释。由于图像是由数学公式生成的，因此不存在商业用途或隐私问题，并且在某些情况下，图像识别精度也比使用 ImageNet 学习的模型更高，”Kataoka 说。

　FDSL 不是使用实际图像进行学习，而是使用根据适合深度学习模型的数学公式创建的图像数据集来帮助学生获得观察事物的能力。通过应用“迁移学习”来额外训练它实际上想要区分的少量真实图像，该预训练模型可用于商业目的。我们决定应用这项技术来检测包装中的异常情况。

首先，AL Lab 将检测包装异常所需的任务分为两部分。一是从包装图像中检测包装形态的面积。另一种是检测被检测封装区域的偏差和干扰。技术开发按照角色划分进行：对于包装区域的检测，使用FDSL进行初步学习后进行迁移学习，而对于从包装区域的信息中检测异常，则使用AL Lab独自开发的技术。

以难以置信的高精度检测包装区域

　在包装区域的识别中，FDSL预学习与迁移学习相结合取得了成果。起初，在听说FDSL之前，他回忆道，“这是一项在论文上获奖的技术，但说实话，我不确定它是否可以在实践中使用。但是，当我尝试它时，我发现它实现了非常高的精度，并且与包装区域检测兼容。”

具体来说，使用 FDSL 预先训练用于提取图像特征的模型，并使用丰田工业注释的真实包装数据进行迁移学习。用于迁移学习的训练数据共有 3,343 条训练数据，其中仅包含 133 条异常数据，对于创建特定用途的 AI 模型来说，这是一个相对较小的数据集。

　当我们用 FDSL 轮廓数据集进行预训练，然后用真实的包装数据对其进行训练时，我们的匹配率达到了 942%，远远超过了 900% 的目标。我们能够以令人难以置信的高准确度检测包装区域。”Mae 谈到当时的兴奋之情。

　从图像确定包裹的区域后，检测包裹的异常情况。在这里，我们开发了两种异常检测技术：“干扰检测”和“挤压检测”。干扰检测可确定叉车提升托盘和货物时是否与其他物体发生碰撞。在突出检测中，比较托盘和包装物的坐标信息，如果包装物从托盘突出的量超过“阈值”，则判定存在异常。这是利用丰田工业公司对物流现场条件有深入了解的独特技术。

　通过结合这些技术，我们进行了自动驾驶叉车卸载卡车的演示实验。如果没有负载异常检测，即使有30毫米的干扰，自动驾驶叉车也会尝试搬运负载。另一方面，实施包裹异常检测后，即使干涉10毫米的包裹也被判定为异常，叉车自动停止。支持卡车自动化卸货的技术距离实际应用又近了一步。

　这些成果并非一蹴而就。 Mae 说：“AIST 先进的图像识别技术是检测包装区域的基础。我们首先按照指示进行尝试，当正确后，我们调整参数和注释方法，并针对物流用途进行定制。这是一种利用我们的物流知识来应用名为 FDSL 的奇妙技术的方法。”

　在包装异常检测中，除了从图像中获取的包装区域数据之外，我们还使用了来自LiDAR（光检测和测距）的点云数据（AIST杂志）什么是激光雷达？」）。

　　“仅用低分辨率相机拍摄的图像无法检测到微小的干扰。通过将其与安装在自动驾驶叉车上的激光雷达相结合，我们现在能够检测到小至 10 毫米的干扰。”Mae 说道。自动驾驶叉车的运行需要实时处理。因此，我们设计了一种检测算法，通过巧妙地将高分辨率但需要大量处理的点云与低分辨率但处理相对较轻的低分辨率图像结合起来，实现高速、高精度的检测。

对人力资源开发以及以商业化为目的的技术转让有效

　AL Lab开发的这项包装异常检测技术目前正在进行商业化测试。横町表示，“在我们继续开发下一代自动驾驶叉车的过程中，我们正在考虑包装异常检测技术的社会实施。为此，我们正在进行多次论证实验，希望能够顺利实现技术转移。”

然而，AL实验室的技术发展和实际应用之间仍然存在障碍，这也是事实。例如，如果所有包裹都装载在托盘上，则可能没有任何问题被检测到，但如果有空间并且后面的包裹可见，则错误检测的可能性会增加。

　“每天运输的货物量很大，可以说少量的学习数据就有无穷无尽的测试数据。当我们在客户现场实际进行演示实验时，我们对性能等方面提出了严格的要求。但发现问题就会带来新的改进。还有很多工作要做。”梅热情地说道。

　谈到从公司借调到像 AL Lab 这样的研究实验室，他说，“一开始，我突然不得不与不同领域的顶尖研究人员进行互动，他们掌握的信息量完全不同。”我从研究人员身上学到了很多东西，每天都受到他们积极态度的启发。我真的很喜欢在这个实验室工作。这是我工作的一部分，但我很高兴能在一个可以进行我如此热衷的研究的环境中。

　作为合作研究实验室主任，横町认为“AL 实验室作为人力资源开发的场所很有价值。”

　丰田工业是爱知县的一家制造公司，它倾向于封闭自己的“本地视角”。即使是像以前那样的年轻成员也别无选择，只能在公司专注于制造工作。但在 AL Lab，他们可以独立进行研究，并致力于成为成熟的研究人员。我在公司之前的成长过程中亲眼目睹了这一点。另一位曾在 AL Lab 工作并返回公司的成员现在担任全球团队负责人。 “我觉得这是一个培养能够自我学习和成长的人才的好地方，”横町在谈到 AL Lab 的好处时说道，而不仅仅是技术开发。

片冈表示，AIST 可以期待研发实验室能够取得巨大成果，该实验室可以在与公司研究人员和工程师密切合作的同时进行研发。

　当我作为新员工进入AIST时，赞助实验室系统已经建立，所以我觉得我可以做一些有趣的事情。事实上，通过我在AL实验室与丰田工业公司的人们一起进行研究的长期经验，我意识到学术界和工业界可以很好地合作。日本的尖端研究是在保持全球市场份额的同时进行的。我认为拥有全球市场份额的大公司与国家研究机构之间的合作是一个独特的举措。在 AL 实验室，我们开始看到人工智能与物流结合的切实成果。”

　片冈表示，这种合作的效果不仅在AL实验室，而且在整个附属实验室都能感受到。具有不同优势的公司和AIST研究人员将继续合作开发解决产业和社会问题的特定技术。