- 免费发布双臂机器人工作数据集“AIST-Bimanual Manipulation”，旨在实现灵巧运动
- 通过对接已经发布的软件框架“RoboManipBaselines”，更容易搭建开发环境，降低双臂机器人AI开发的准入门槛
- 为解决制造、物流、护理领域劳动力短缺问题，提高日本机器人AI竞争力做出贡献
米乐m6官方网站 (AIST) 人工智能研究中心研究员 Tomohiro Motoda、智能系统研究部首席研究员 Masaki Murooka 等人开发了一个名为“AIST-Bimanual Manipulation”的大型数据集，以加速像人类一样灵活使用双手的机器人 AI 的开发，并将其作为开放数据源免费发布。
到目前为止，机器人学习存在无从下手、训练数据缺乏、开发环境搭建成本高等问题。除了AIST已经免费发布的软件框架“RoboManipBaselines”之外，该数据集还提供了双臂机器人的大规模工作数据，包括大约10,000个动作序列，使企业和研究机构可以在短时间内开始研发，而无需从头开始开发。
此外，传统的机器人学习数据主要集中于单臂任务，但该数据集包括类似人类的双臂协调任务，例如“用一只手按住物体，另一只手执行精确任务”。这将有助于在劳动力严重短缺的领域（例如制造、物流和护理）开发实用机器人。
这些技术的详细信息将于 2025 年 9 月 3 日举行的日本机器人学会第 43 届学术会议上公布。此外，“RoboManipBaselines”和“AIST-Bimanual Manipulation”可在 GitHub 上获取 (https://githubcom/isri-aist/RoboManipBaselines, https://aistaircgithubio/aist_bimanip_site/）下载。
由于少子化和人口老龄化，日本正面临着严重的劳动力短缺。特别是在制造业、物流、护理等领域，越来越需要机器人来取代传统上由人类执行的复杂任务。然而，为了让机器人在这些地点执行需要双手的复杂任务，需要大量的学习数据和专门的开发环境。
例如，装配工作中“一只手固定零件，另一只手拧紧螺丝”，物流中“提起箱子并调整其位置”，以及家庭中“铺开和折叠衣物”，这些都需要每天的双手协调。这些动作对于人类来说很平常，但对于机器人来说却是极其困难的任务。
在此背景下，全球各大人工智能公司都在大规模投资的基础上进行基础机器人模型的开发。尽管日本企业有望进入该市场，但由于设备初始投资负担和缺乏专业知识，新企业进入市场仍然很困难。
此外，随着人工智能技术的进步，全世界对理解文字、图像和行为的“物理人工智能”的兴趣与日俱增。然而，在日本，机器人学习所需的专有技术、大规模数据和开发环境并不充足，该领域的研究和开发被推迟。
为了解决这些问题，AIST正在创造一个即使是初学者也可以轻松开发双臂机器人的环境，并致力于将机器人技术应用于制造、物流、护理等领域，以尽早实现实际应用。
2025 年 1 月，AIST 宣布了“开始全面研究和开发基于机器人的模型，旨在自动执行现实世界中的困难任务”的研究政策，并宣布其目标是利用 AIST 的机器人、数据和计算资源与工业界建立新的桥梁。2025 年 1 月 23 日 AIST 新闻稿）。这次，作为实现这一理念的具体成果，我们免费发布了完整的数据集和软件基础设施。作为机器人智能研究的一部分，AIST 此前开发了双臂机器人学习的学习模型。*，为了应对近年来人工智能技术的快速发展，我们重点开发方法来有效收集学习双臂工作机器人所需的大规模数据。
这项研究公开了加速机器人人工智能发展的两项技术基础。一个是“AIST-Bimanual Manipulation”数据集，它收集大规模双臂工作数据，另一个是“RoboManipBaselines”软件框架，用于使用该数据进行学习。 “AIST-Bimanual Manipulation”数据集是新开发发布的，“RoboManipBaselines”自2025年1月发布以来不断更新。下面，我们将解释各自的特点和发展过程。
AIST-Bimanual Manipulation：双臂协调数据集作为获得灵活性的基础
“AIST-Bimanual Manipulation”数据集是一个大型数据集，包含双臂机器人的约 10,000 条工作记录。它的独特之处在于它涵盖了假设发生在从日常生活到工业现场的各种情况下的任务（图1）。
图1 AIST-Bimanual Manipulation：双臂机器人学习的基本数据集
此数据集包括人类特有的协作动作，例如用一只手握住物体，同时用另一只手执行详细操作，并且是机器人使用双手执行灵巧任务的基础。通过使用该数据集和最新的学习模型，用户将能够验证和改进当前机器人执行灵巧任务的能力，并演示针对特定应用的额外学习。
采用主从式远程控制系统进行数据采集阿罗哈的设备（图2）。在该系统中，操作员（人）引导臂的运动与从动臂同步并实时再现。在数据收集过程中，熟练的操作员执行各种任务，并记录详细信息，例如机器人的动作、摄像机镜头和任务说明。
图 2 AIST-Bimanual Manipulation 数据集概览（包括示例轨迹、机器人和视点）
RoboManipBaselines：用于机器人学习的开放软件框架
“RoboManipBaselines”是一个软件框架，旨在促进机器人模仿学习的研发和社会实施（图 3）。该框架的特点包括允许使用通用接口处理多个模拟器和实际机器人的多功能性、允许轻松添加新机器人和学习方法的可扩展性以及允许在相同条件下比较和验证不同方法的再现性。
在开发此框架时，我们致力于实现“易于使用”和“易于引入最新技术”。具体来说，软件设计具有如下所示的模块化结构。
- 环境：模拟和现实世界中各类机器人的任务执行环境
- 数据集处理：发布收集的数据并提供用于其他数据收集的接口
- 策略模型（学习模型）：训练/执行程序，允许您切换并尝试多种最新的学习方法
这使得无需详细的编程知识即可执行“输入数据、训练学习模型和评估结果”的序列。此外，在2025年1月报告以来的更新中，我们使其兼容各种机器人和遥操作界面（图4），并且我们还重构了代码以提高开发效率。该框架已被用于技术咨询，以收集公司提供的任务数据并训练和执行学习模型，外部用户甚至报告了其在新机器人中的应用示例，我们预计其用途在未来将进一步扩大。
为了验证开发的“AIST-Bimanual Manipulation”和“RoboManipBaselines”的有效性，从工业应用的角度，我们进行了模拟工厂零件组装工作的实验。结果，我们确认机器人能够利用学习来重现人类工人日常执行的动作，例如用一只手将零件固定到位，同时用另一只手执行精密工作。证明如此复杂的操作可以通过“从数据中学习”而不是通过编程来实现，具有重要意义。
我们的目标是进一步扩展已开发的机器人数据集和软件框架，使其能够处理更加多样化和复杂的任务，并开发“视觉-语言-运动”集成机器人平台模型，通过语言指令实现直观的机器人控制。通过这一点，我们将为实现一个即使是刚刚开始开发人工智能的人也可以轻松使用机器人的社会做出贡献。
人工智能研究中心真实智能研究团队研究员本田智宏
智能系统研究部 CNRS-AIST 机器人协同实验室 室冈正树 首席研究员
人工智能研究中心具身智能研究团队，中条浩一，AIST 特别研究员
人工智能研究中心绪方哲也特别研究员
人工智能研究中心具身智能研究团队原田健介特定研究员
人工智能研究中心真实智能研究组，土前幸康，研究组组长
*Tomohiro Motoda、Ryo Hanai、Ryoichi Nakajo、Masaki Murooka、Floris Marc Arden Erich 和 Yukiyasu Domae，
通过变形金刚的动作分块和臂间协调来学习双手操作,
2025 年 IEEE 第 21 届自动化科学与工程国际会议 (CASE) 论文集，2025 年。