米乐m6官方网站[会长中钵良二]（以下简称“AIST”）信息技术研究部[研究主任伊藤聪]后藤正孝，首席研究员，媒体互动研究组 滨崎正宏，首席研究员，中野道康等视频分享服务无数的音乐内容以及它们之间的关系可视化Songrium 是一项多功能音乐聆听支持服务，可让用户在聆听音乐时具有人际关系意识。http://songriumjp)将于2013年8月27日向公众发布，并开始演示实验。
随着视频共享服务的普及，创作者创作的视频数量巨大音乐内容已经发布，但用户可以利用音乐内容之间的各种关系，例如原创歌曲与衍生作品之间的衍生关系、歌曲之间的相似关系、创作者之间的人际关系等，作为用户在其中找到感兴趣的视频的线索音乐聆听支持系统
此次由AIST开发的Songrium网络挖掘技术和音乐理解技术的系统，可提取视频共享服务（Nico Nico Douga、YouTube）上 600,000 个音乐视频之间的关系并将其可视化。这是一个音乐聆听支持系统，具有可视化派生关系的“行星视图”功能、允许用户自由添加歌曲之间关系的“箭头标签”功能以及根据旋律和歌声的特征可视化歌曲组和衍生作品的功能。它已作为任何人都可以使用的网络服务发布。用户可以根据一系列可视化功能揭示的各种关系来发现歌曲和衍生作品。此外，还有使预览更容易的合唱功能，以及允许您以各种形式使用 Songrium 的界面（自动连续播放、智能手机兼容、浏览器扩展程序)也被实现了。
这项研究是日本科学技术振兴机构（JST）战略创意研究促进项目（CREST）研究项目（研究代表后藤正孝）的一部分。其成果将于2013年10月31日至11月1日在AIST筑波中心（茨城县筑波市）举办的“AIST开放实验室”上展出。
 |
| “Songrium”是一项多功能音乐聆听支持服务，可让您以关系意识聆听音乐 |
随着视频共享服务的普及，许多创作者，无论是专业人士还是业余爱好者，都开始创作和发布音乐内容。此外，除了原创歌曲的创作外，衍生作品的创作也在不断拓展，每天都有不少随歌唱歌、弹奏、跳舞等创作活动的视频作为衍生作品发布并被广泛观看。如果我们能够可视化这些原创歌曲与其衍生作品之间的关系，我们不仅可以将每个音乐内容作为单独的作品来欣赏，而且可以将其作为它们关系的一部分来欣赏。
音乐中除了衍生之外还有各种关系。例如，如果人们意识到相似的关系（歌词的主题、社会背景、旋律、气氛、演奏的乐器等相同或相似）和创作者的人际关系（音乐有相同的作者、歌手或演奏者，或者他们是朋友、老师、学生或属于同一组织），就会产生更丰富的欣赏。这些关系在传统的音乐收听服务或视频共享服务中很少被明确处理，并且还没有研究来加深对音乐信息搜索中涉及的各种关系的理解，以找到与搜索请求匹配的音乐，或通过音乐推荐来找到人们接下来想听的音乐。这样，音乐内容之间的关系并没有被充分利用作为从海量的音乐内容中寻找有趣的音乐的线索。
AIST一直在研究和开发网络挖掘技术，该技术针对视频共享服务中的协作创作活动，创作者受到原创作品的启发，创作出各种衍生作品，并分析作品之间关系的大小和类型。此外，我们正在推出一项主动音乐聆听服务，该服务使用音乐理解技术来可视化网络上歌曲的内容。歌曲」（http://songlejp)，发布了它，并进行了演示实验(2012 年 8 月 29 日 AIST/JST 新闻稿）。
通过这些研究成果的积累，音乐聆听支持系统的想法诞生了，该系统可以可视化网络上音乐内容之间的关系，并实现更丰富的欣赏。基于此想法的系统已发布在视频共享服务上（Nico Nico Douga）歌声合成限制相关视频作为目标内容，测试版自2012年8月以来，我们已经完成了可视化功能、歌曲内容高级分析、自动连续播放、兼容多个视频共享服务上的音乐内容（Niconico Douga上的歌声合成相关视频、YouTube上的音乐相关视频）等各种功能，并决定开始向公众提供演示实验。
本研究是日本科学技术振兴机构（JST）战略性创意研究推进事业（CREST）研究领域“构建人类和谐的共生社会信息技术”研究项目“实现内容共生社会的相似度可见的信息环境（研究代表后藤正孝）”的一部分。
我们开发了一种系统，可将网络视频共享服务上发布的音乐内容（包含原创歌曲的视频及其衍生作品的视频）之间的关系可视化，并允许您在观看时了解各种“联系”。http://songriumjp)。 Songirum具有以下三个特点。
1。 “关系浏览”，通过了解音乐内容的联系来实现对音乐内容的欣赏
利用网络挖掘技术，发现并注册视频共享服务上的原创歌曲，并自动提取和注册源自这些歌曲的作品。然后使用“行星视图”将自动提取的歌曲和衍生作品之间的关系可视化。此外，除了此类派生关系之外，原始歌曲之间的任意关系还可以可视化为“箭头标签”（图 1）。任何人都可以添加和共享箭头标签。当用户选择在 Songrium 上注册的歌曲时，他们可以在原始视频共享服务上欣赏该歌曲及其衍生作品的流媒体视频，同时查看可视化关系的屏幕。
在《Planet View》中，衍生作品的类型和观看次数通过颜色、尺寸等直观地显示，并且外观根据歌曲而有很大变化（图2）。通过像这样可视化衍生作品，可以发现仅靠听原曲很难注意到的衍生作品。您还可以了解原曲产生了哪些衍生作品。
“箭头标签”是一种在文本中自由描述和共享一首歌与另一首歌的关系的机制。虽然一般的社交标签标记单个内容，但箭头标签具有标记两个内容之间的关系的优点。使用网络挖掘技术可以发现的关系，例如同一作者的下一部作品或首部作品，会自动生成为箭头标签。此外，该界面允许用户自由添加箭头标签，从而可以共享使用自动处理难以发现的歌曲之间的各种关系。
 |
| 图1 原曲“星球视图”和“箭头标签”的显示示例 |
| 中心的圆形缩略图代表原始歌曲，周围旋转的彩色圆形代表衍生作品。歌曲周围的每个同心圆代表衍生作品的旋转轨迹。回转半径表示衍生作品提交的时间，较新的衍生作品距离较远。圆形的大小表示衍生作品被播放的次数，颜色表示衍生作品的类型（例如，蓝色表示演唱歌曲的衍生作品，红色表示随着歌曲跳舞的衍生作品）。向中心歌曲延伸的橙色直线表示箭头标签，箭头标签上方的圆形缩略图表示另一首连接的歌曲。通过遵循这些箭头标签，您可以一首一首地听歌曲。例如，通过箭头标签“P的下一个作品”（表示同一作者的当前作品和下一个作品之间的关系），您可以按照发布的顺序收听作品，而用户添加的箭头标签“你可能也喜欢这个”起到了一种人力音乐推荐的作用。 |
 |
| 图 2 不同星球视图的示例，具体取决于原始歌曲 |
| 您一眼就能看出，“行星视图”中显示的衍生作品的数量和类型因颜色、旋转半径和旋转速度而异。整个衍生作品组的颜色代表了与原曲的衍生关系的倾向。例如，如果一首歌有一个显眼的蓝色旋转轨道，表明这是一首带有歌唱的衍生作品，你就可以知道这是一首你想唱的歌曲，如果一首歌有一个显眼的红色旋转轨道，表明这是一首带有舞蹈的衍生作品，你可以知道这是一首让你想跳舞的歌曲。 |
2。利用歌曲内容自动分析结果提供音乐星图、合唱功能等鉴赏支持
以下观看支持功能利用音乐理解技术自动分析歌曲内容的结果，使您可以享受更丰富的观看体验。
(a) 音乐星图：通过分析歌曲的旋律并将具有相似旋律的歌曲排列在二维平面上，我们创建了一个“音乐星图”，该地图概述了 Songrium 上已注册的 600,000 首音乐视频中的 100,000 首原创歌曲（图 3）。如果你想发现一首旋律相似的歌曲，你可以在音乐星图上点击附近的一首歌曲，它就会移动到中心，这样你就可以听了。
(b) 歌声的性别水平：我们创建了一个函数，可以根据不同歌手演唱同一首歌的一组派生作品（以下简称歌唱视频）的歌声声学特征自动估计性别（表示声音听起来像男声还是女声的指标），并将结果可视化（图 4）。通过此功能，您可以一边聆听和比较歌唱视频的衍生作品，一边观察男女之间的差异。但是，它仅支持 Niconico Douga 上的音乐内容。
(c) 合唱功能：我们实现了“合唱提取功能”，可以让您轻松找到并收听“合唱”，这是歌曲中最典型的激动人心的主题部分（图 5）。这与 Songle 的“合唱功能”结合使用。如果用户发现自动分析的合唱位置有错误，他们可以使用 Songle 界面进行纠正，Songrium 上的显示也将是正确的。
 |
| 图3 自动分析歌曲旋律并将其可视化为“音乐星图”的示例 |
| 大约10万首原创歌曲根据旋律的接近程度排列在二维平面上。与地图服务一样，您可以通过鼠标滚动和缩放来探索歌曲。已播放多次的歌曲会显示为圆形缩略图。屏幕左下角的过滤功能可以让您突出显示本月排名的歌曲、带有任意标签的歌曲等。在本例中，最近添加的歌曲以绿色突出显示。 |
 |
| 图4 歌曲所演唱的衍生作品中歌声性别分布展示示例 |
| 唱歌视频的衍生作品在视频分享服务上非常受欢迎，作品数量多，观看次数也多。一首原创歌曲有数百甚至数千个演唱视频的情况并不罕见。由于演唱视频之间的歌曲本身没有区别，因此音质和演唱风格的差异很重要。屏幕中央的红色和蓝色圆形代表歌唱视频，自动估计它们越高，歌声越女性化，越低，歌声越男性化。通过以这种方式可视化歌声的质量，用户可以收听和比较各种歌声视频，同时了解歌声的差异。 |
 |
| 图5 使用合唱功能的示例 |
| 通过可视化歌曲结构，您可以在跳到任何合唱或重复部分的同时高效地预览歌曲。您还可以按左下角的“合唱跳转”按钮来“提示播放下一个合唱部分”。 |
3。利用具有各种接口的音乐聆听支持服务
我们准备了多种接口，让更多的用户能够利用通过网页挖掘技术、音乐理解技术、用户输入获得的关系。
(a) 自动连续播放界面“泡泡播放器”：可以自动连续播放在用户指定的时间段内发布的一组歌曲。通过按发布日期和时间的顺序显示歌曲出现和数量增加的动画，并通过顺序播放和介绍满足用户指定的条件（例如播放次数）的一组歌曲的部分，可以像观看单个电影一样观看（图6）。这使得您可以轻松地鸟瞰视频共享服务的趋势。但是，它仅支持 Niconico Douga 上的音乐内容。
(b) 智能手机兼容接口：我们准备了一种具有简化可视化功能的专用模式，以便您甚至可以通过智能手机轻松查看 Songrium。
(c) 浏览器扩展“Songrium Extension”：为使用支持“浏览器扩展”功能的网络浏览器的用户提供 Songrium 专用的浏览器扩展。这使得用户只需在视频共享服务上查看原创歌曲和衍生作品即可直接使用Songrium的部分功能，而无需访问Songrium（图7）。
 |
| 图6“泡泡播放器”的屏幕示例，您可以像看电影一样观看指定时期的原创歌曲 |
| 当用户指定一个时间段时，该时间段内在视频共享服务上发布的歌曲将按发布日期和时间的顺序显示，以便您概览已发布歌曲的变化。每首歌曲都由一个气泡（彩色圆形）表示，并且会显示一个动画，其中随着歌曲的发布，气泡逐渐增大并聚集。气泡的颜色表示正在使用的歌声合成软件的声乐库类型，大小表示播放次数。此外，符合用户指定条件的歌曲的副歌部分会短时间播放，因此您可以随着气泡数量的增加来收听和查看发布了哪些歌曲。当时的相关事件以文字形式显示在气泡显示的背景中。 |
 |
| 图7 “Songrium Extension”的屏幕示例，您可以直接在视频共享服务上使用主要功能 |
| 合唱功能被插入并显示在视频共享服务的视频播放器下方（参见左图）。您可以从右侧的控制面板看到行星视图和箭头标签。此外，对于衍生作品，您可以查看标签的摘要显示（标签云）和按发布日期和时间组织的图表显示（衍生历史）（请参见右图）。 |
我们将继续研究、开发和运营任何人都可以通过网络浏览器使用的音乐聆听支持服务“Songrium”。新开发的网络挖掘技术可以发现歌曲之间的关系，而音乐理解技术可以自动分析歌曲的内容，该技术将与业界合作用于各种应用，包括音乐信息搜索、音乐推荐和音乐分发服务。