作为 NEDO“利用人工智能的创新远程技术开发项目”（以下简称“项目”）的一部分，米乐m6官方网站 (AIST)、京都大学、东京大学、精工爱普生公司和 Everyha 公司发布了世界上第一个专门针对上肢和肩胛骨运动的开放数据集，旨在实现一个可以进行远程康复的社会。
在这个项目中，我们重点关注康复用户在继续康复和训练时面临的各种挑战，并开发了一个远程技术平台的原型，用于远程实施每个康复过程。其中，拥有物理治疗师资格的AIST专家和研究人员选择了18种上肢和肩胛骨关节运动，用于中风偏瘫测试和肩周炎（所谓肩周炎等）的康复，并在获得生物伦理委员会批准后，测量了20名健康个体的运动捕捉数据。测量数据将作为开放数据集发布，旨在与大学、研究机构、康复企业和其他私营公司建立社区并开发市场。
未来，AIST 将率先利用该数据集来提高 AI 在运动评估方面的性能。除了发布该数据集外，我们还将致力于规范远程技术平台中各项功能的实现，并发布和细化互利护理等各种使用指南，从而使远程XR康复更易于使用和更具吸引力，并为解决其广泛使用中的问题做出贡献。
利用在线视频通话形式和非沉浸式VR的远程康复项目越来越多，XR康复在海外也取得进展，但国际上将远程与XR结合的案例并不多。究其原因，是佩戴头戴式显示器等XR设备、使用康复APP、参与元界等用户体验并没有完全满足用户期望的价值。另一个主要问题是，远程训练削弱了训练师、医生、护士等的存在感，难以评估康复服务使用者（包括患者）实际患病情况的身心功能，难以激励他们继续进行运动训练。
在此背景下，从2021年开始这个项目※1的一部分多感官XR-AI技术平台※2施工和健康指导互惠互利※3我们正在致力于与协作相关的研发（图 1）。 2024财年，我们将在实际用户、治疗师等提供者以及护理/医疗站点的合作下开始各种演示。
(1)多感官XR-AI技术平台开发
高灵敏度、低滞后应变传感器，用于用户运动评估和力觉呈现，衣架反射※4合并设备等先生3器具※5通过可穿戴设备了解肩胛骨运动，并将悬垂反射应用于远程上肢康复。此外，为了量化肩胛运动的幅度并估计上肢每个关节的角度，我们开发了一种用于运动评估的人工智能，该人工智能使用从一组应变传感器获得的测量数据作为输入。此外，手作为提高自我效能和促进动力的一种手段而引起人们的注意。重定向※6我们还将其应用于上肢康复中，并评估了远程互助在提高运动训练连续性方面的有效性。
图 1 用于解决远程康复问题的多感官 XR-AI 技术平台
(2) 上肢/肩胛骨运动开放数据集的开发
通过完善对用户运动质量和数量的测量和了解，可以远程评估康复服务用户的身心功能，有助于他们继续运动训练的动力。为此，需要降低技术开发、性能评估和实际应用的门槛。因此，我们创建了世界上第一个与上肢和肩胛骨运动相关的运动捕捉数据的开放数据集（图2），这也是本项目的主题。涉及人类受试者的生命科学和医学研究的道德准则』※7审核和批准的实验计划。
图2 18种上肢/肩胛运动开放数据集及部分图像
此数据集中包含高性能IMU※8，MR3同时还收集服装中内置的一组应变传感器的测量数据，我们正在利用这些信息来提高人工智能在运动评估方面的性能。此外，从本数据集的发布开始，AIST将通过与大学、研究机构、包括康复企业在内的私营企业等形成社区，带头推动远程XR康复相关的共同创意研究和开发，并为市场发展做出贡献。此外，通过标准化工作，使元宇宙中的虚拟形象控制和手部重定向更容易实现，并发布和完善包括互利护理在内的各种使用指南，我们将使远程XR康复更易于使用和更具吸引力，并为解决其广泛使用中的问题做出贡献。