国立产业技术综合研究所[理事长中钵良二]（以下简称“AIST”）信息技术研究部[研究部部长田中义雄]首席研究员后藤正孝、部门媒体互动研究组[研究组组长滨崎正宏]井上贵宏技术人员、绪方雅康研究员、加藤敦研究员等人将通过网络同步音乐播放，控制各种设备，打造出具有团结感的大规模制作音乐链接控件平台“Songle Sync”(http://apisonglejp/sync) 被开发出来。将于2017年8月2日向公众开放，并开始示范实验。
过去，可以改变电脑屏幕上显示的内容，或者让机器人跳舞作为表演来配合音乐的播放。然而很多移动终端、电脑、物联网设备与音乐同步，此外，还没有实现任何开发套件可以让程序员轻松地开发基于这种大规模音乐联动控制的表演。
Songle Sync 是 AIST 独有的音乐理解技术新开发的大规模音乐联锁控制技术并允许您轻松使用和开发与音乐相关的表演。当用户从网络浏览器访问Songle Sync，在网络上选择并播放歌曲时，会显示根据使用音乐理解技术预先分析的节拍、小节、合唱部分等而变化的CG动画（CG图像）。当另一个人用智能手机扫描链接到的二维码时，将同时播放同一首歌曲并显示相同的动画。当数百人以这种方式访问该网站时，例如在活动场地，将会有许多扬声器播放同一首歌曲，许多屏幕显示相同的动画，让大量的人享受到团结感。此外，Songle Sync还发布了开发套件，允许程序员轻松更改和开发制作内容，而不必担心控制大量和多种类型的设备。未来，我们计划通过演示实验将其应用于各种使用场景。
 |
| “Songle Sync”是一个平台，可让您结合音乐播放来控制多个设备 |
音乐可以仅通过声音来欣赏，但也经常通过与音乐相关的各种作品来欣赏，例如链接音乐和图像的音乐视频。近年来，改变计算机屏幕上显示的内容或使机器人根据正在播放的音乐跳舞已经成为可能。在现场音乐会上，使用了一种特殊的系统来同时改变许多笔灯的光线，并使用了一种特殊的应用程序，使智能手机屏幕像笔灯一样发出单色光。
但这些传统生产方式都是单独开发专用设备和系统，生产方式固定，可扩展性较差。结果，人们无法自由地组合人们拥有的各种移动设备（智能手机、平板电脑）、计算机和物联网（IoT）设备，并同时控制和欣赏与各种歌曲相结合的作品。这是因为，即使尝试使用这些非专用设备的可连接互联网的通用设备来同步控制音乐播放和演奏，在间歇性地重复异步通信的通信环境中以及在各种执行环境中，在技术上也很难做到这一点，因为需要连续播放的音乐以及随之而来的演奏往往会因设备而异。传统技术不允许用户轻松组合不同效果或改变效果，也没有开发套件可以让程序员基于大规模音乐联动控制轻松开发新效果。
AIST一直致力于研究和开发，旨在通过基于音乐理解技术丰富人们的音乐体验，为学术、工业、社会和文化做出贡献。迄今为止，我们已经开发了一种主动音乐聆听服务，该服务使用音乐理解技术在网络上可视化歌曲的内容（节拍、小节、合唱等）。歌曲」（http://songlejp) 和音乐观看支持服务“Songrium”(http://songriumjp)、歌词动画制作支援服务“TextAlive”(http://textalivejp) 已开发并向公众发布 (2012 年 8 月 29 日、2013 年 8 月 27 日、2015 年 9 月 8 日AIST/JST 联合新闻稿）。
通过这些研究和发展，我们已经清楚地认识到，与音乐相关的表达和控制具有价值，并且引起了人们的高度兴趣。因此，“Songle Widget”(http://widgetsonglejp)于2014年8月开发并试发布。这次，我们开发了Songle Sync，它基于一种新的机制，允许人们同时控制多个不同的设备，无论位置或人数，只要有互联网连接，这是传统技术无法实现的。我们决定开始向公众提供它进行演示实验。本次演示实验的目的是让尽可能多的人轻松享受新的音乐体验，并调查实际使用中的问题。
Songle Sync的研发是作为日本科学技术振兴机构（JST）战略基础研究推进项目ACCEL的研发项目“下一代媒体内容生态系统技术的基础和应用开发（研究代表：Masataka Goto（AIST信息技术研究部门首席研究员），项目经理：Hiroyuki Ito（JST）”）的一部分进行的。
Songle Sync是一个大型音乐联动控制平台，是一个允许超过100人拥有的各种移动终端（智能手机、平板电脑）、计算机和物联网设备通过互联网按照网络上歌曲的播放进行联动和控制的系统。http://apisonglejp/sync)。为了实现这一点，我们开发了大规模音乐联动控制技术，允许大量具有单独执行环境的通用设备与Songle Sync服务器间歇性通信，并结合音乐自主执行。用户可以轻松组合不同的效果并改变效果。
可以按照以下步骤使用通过 Songle Sync 提供的音乐链接控制应用程序 (app) 的示例（图 1）。
(1)音乐和制作风格的选择
用户使用智能手机或计算机上的网络浏览器，选择在网站上发布的歌曲（MP3 格式音频信号文件、歌曲和视频共享服务上的歌曲和视频）以及几种类型的“制作风格”，这些“制作风格”决定了整首歌曲的制作方式，具体取决于他们的喜好。然后，会出现音乐播放播放器，播放网站上的歌曲，并且显示屏会根据所选的制作风格，显示根据歌曲的节拍和合唱而变化的CG动画，让您用眼睛和耳朵欣赏歌曲。
(2) 颁发访问密钥
为了让用户与其他人享受相同的音乐和表演，可以发出访问密钥（字符串、网址、二维码）以通过 Songle Sync 服务器链接到此音乐播放器。
(3) 通过互联网链接到音乐的多个通用设备
当其他人从用户那里收到访问密钥后，将其输入智能手机或计算机的网络浏览器并连接到 Songle Sync 的服务器时，就会出现同一首歌曲的音乐播放器，让每个人都可以同时同步并欣赏歌曲和动画，无论他们身在何处。即使您在歌曲中间连接，也可以同步，并且如果用户更改、播放或停止歌曲，其他人的歌曲和动画也会更改、播放或停止。此外，当其他人连接时，您可以选择播放音乐或显示动画，因此，如果您选择后者，例如，您可以在聆听扬声器播放的音乐的同时，在其他人的智能手机屏幕上显示相同的动画。
Songle Sync 还为程序员提供了开发套件。只需使用开发套件更改制作风格示例程序，您就可以轻松开发播放音乐和绘制作品的音乐链接控制应用程序。而且，程序员不需要知道控制多个设备；他们只需要像控制单个设备一样进行编程。然后，Songle Sync 将在播放音乐时自动控制通过互联网与其他设备的连接。
 |
| 图 1 如何使用 Songle Sync |
Songle Sync 具有以下三个特点。
1。在网络播放音乐的同时实现多种移动终端、电脑、物联网设备的联动控制
通过 Songle Sync，您可以立即使用 Songle 对网站上发布的超过 100 万首歌曲的自动分析结果，以欣赏与每首歌曲的不同内容（节拍、合唱等）链接的作品。如果您要播放的歌曲没有自动分析，您可以在Songle中注册该歌曲的URL并自动分析，这样该歌曲也可以用Songle Sync播放。 Songle和Songle Sync没有音乐分发或歌曲上传功能，歌曲直接从原始网站流式传输。
Songle Sync 的制作风格高度通用，可以通过通用网络浏览器使用，因此可以用于控制多种设备，例如具有不同操作系统（Windows、MacOS）的计算机以及具有不同操作系统（iOS、Android）的智能手机和平板电脑。此外，还可以使用小型轻量设备Raspberry Pi和物联网设备（机器人、照明设备、服装上的LED等）来制作作品。
这次，我们实际上开发了以下Songle Sync的各种使用示例，您可以选择并播放一首歌曲，并根据该歌曲进行音乐联动控制（图2）。基于所有这些用例，我们已经确认可以执行同时控制 100 多个设备的大规模音乐联动控制。
(a) 屏幕显示
您可以使用计算机、iPhone、iPad、iPod touch、Android 手机或 Raspberry Pi 等通用设备在屏幕上显示与音乐关联的动画。
(b) 太空生产控制
使用物联网照明设备和内置发光二极管 (LED) 的发光家居用品（花瓶、蜡烛），可以随着音乐改变房间和环境的灯光和光线。
(c) 时尚掌控
我们能够使用配备内置物联网 LED 的发光服装和发光手环来控制与音乐结合的发光。
(d) 机械控制
使用小型物联网机器人和电动窗帘，可以随着音乐移动机器人并打开和关闭窗帘。
 |
| 图2使用Songle Sync控制各种设备的示例（已开发并正在运行的设备） |
2。基于大规模音乐联动控制的音乐体验将在未来各种使用场景中创造新的价值
当人们使用 Songle Sync 时，播放歌曲时，可以通过个人移动设备或计算机的扬声器同时播放同一首歌曲，并且这些设备的屏幕可以显示随音乐同步移动的各种动画。这种传统技术无法实现的音乐体验在未来有可能创造新的价值，例如在以下使用场景中（图3）。
(a) 现场活动场地
可以创建新的效果，例如随着会场安装的扬声器播放的音乐，访客智能手机屏幕上显示的各种动画。此外，还可以在会场多个大屏幕上显示同一动画，或者让舞台上表演者的服装和手环发光。在现场表演开始前或排队等待进入活动时等情况下，使用音乐联动控制为参观者营造一种团结和享受的感觉也很有效。
(b) 购物中心/商店
购物时可以根据背景音乐展示在过道、商店墙壁、地板等各种地方。通过连接大型显示器、照明设备和投影仪投射的图像，可以在整个购物中心和商店中营造一种统一感。此外，与来访者的智能手机连接也很有效。
(c) 咖啡馆/餐厅
通过将间接照明、显示器和照明设备与饮食期间的BGM联系起来，可以创造空间效果，例如根据音乐改变情绪或给每个商店带来不同的印象。
(d) 城市/户外活动
还可以通过组合针对整个城市的户外活动等场合已经安装的各种显示器、照明和投影映射来实现音乐联动控制。如果组织者提前准备并分发二维码，让他们能够体验一场特别的表演，那么来到这座城市的人们就可以同时欣赏与音乐相关的表演。
 |
| 图3 大型音乐联动控件应用于各种使用场景的图片 |
3提供一个平台，让程序员可以轻松开发大规模音乐联动控制的用例
Songle Sync不仅使用户可以轻松地将自己的设备与其他设备联动，从而获得新的音乐体验，还可以使程序员获得使用大规模音乐联动控制轻松编程作品的新体验，如下所示。为此，我们还提供了开发套件（API（应用程序编程接口）、示例程序和教程）（图 4）。
(a) 程序员不需要了解时间管理即可与音乐同步。
你可以简单地编写一个事件驱动的程序，比如在小节开始时执行类似的操作，在副歌开始时执行类似的操作，当歌曲的播放时间到达每个事件的时间时，这些效果将自动执行。更重要的是，无需为每首歌曲手动设置事件，您可以使用 Songle 的分析结果（节拍、小节、合唱部分、重复部分、和弦等）作为事件。
(b) 程序员不需要了解与其他设备的联锁控制。
只需针对一台设备对应用程序进行编程，它就可以自动与许多其他设备链接。此外，各种类型的单独开发的应用程序，例如在智能手机或计算机的网络浏览器上运行的应用程序、控制照明的应用程序以及控制机器人的应用程序，都可以链接到特定歌曲的播放。这样，程序员就可以实现大规模的音乐联动控制，而不必担心与其他设备的通信或联动控制。
Songle Sync是一个通用平台，允许各种程序员开发实现各种表演的音乐联动控制应用程序，其优秀之处在于可扩展性高且表演不固定。通过与 Songle Sync 的服务器通信，每个设备都可以在播放歌曲的同时自主运行，即使设备之间不直接通信，也看起来整个设备正在同步运行。针对这一点，我们创建了一个系统，其中每个设备间歇性地与Songle Sync服务器通信以同步时间，并根据歌曲的播放时间自主调用事件驱动的作品，这样即使有大量不同的设备也没有问题。此外，每个设备上音乐播放器的播放时间也是自主调整的，不会出现偏差。得益于上述机制，即使连接到Songle Sync服务器的设备数量增加，对每个设备的运行影响也很小，并且每个设备甚至可以从音乐的中间参与制作。此外，我们基于Web标准技术实现了Songle Sync，以避免音乐联锁控制机制依赖于模型而导致互连困难的问题。这使得程序员可以在广泛的执行环境中运行用 JavaScript 编写的应用程序（例如可以运行 JavaScript 的常见 Web 浏览器、Nodejs、在物联网设备上运行的 JavaScript 环境等），并允许用户轻松地使用二维码来使用应用程序。
 |
| 图4 实现简单易用的大规模音乐联动控制的开发套件 |
今后，我们将继续研究、开发和运营可通过网络浏览器使用的大型音乐联动控制平台“Songle Sync”。在本研究中，我们将通过互联网与音乐结合控制的一组终端和设备组成的网络命名为“音乐物联网（IoMT）”，意思是音乐版的物联网（IoT），并将探讨使用示例。我们计划与业界合作，将新开发的技术应用到各种使用场景，包括现场活动、购物中心和商店、咖啡馆和餐馆、时尚和街头，该技术可以同时控制大量不同的移动终端、个人电脑和物联网设备，结合通过音乐理解技术获得的歌曲内容以及使用歌曲同步的使用示例。