mile米乐官方网站 自动分析互联网上歌曲内容的音乐收听系统

独立行政机构国立先进产业科学技术研究所[主席Yu Nomakuchi]（以下简称“AIST”）信息技术研究部[研究主任Satoshi Ito] Masataka Goto高级研究员和媒体互动研究组研究组组长Kazuyoshi Yoshii，研究员Hiromasa Fujiwara，Michiyasu Nakano研究人员可以自动分析互联网上的歌曲内容音乐理解技术开发和创作歌曲可视化功能使用8407_8441|和合唱功能主动音乐聆听服务“歌曲”(http://songlejp)将于2012年8月29日向公众发布，并开始演示实验。

　近年来，随着数字化音乐内容的传播，发生了量的变化，人们可以通过互联网获取大量的音乐，但并没有发展出多少技术来带来质的变化，让人们更深入地理解和享受音乐。

　AIST基于其独特的音乐理解技术，开发了一种音乐聆听系统，该系统具有自动分析歌曲内容（副歌、节拍、旋律和和弦）并显示“音乐地图”的可视化功能，以及可跳至典型且令人兴奋的副歌的副歌功能，并将其作为服务发布在网络上供任何人使用。 “音乐地图”可以让用户通过注意重复等各个方面来加深对歌曲的理解，合唱功能可以让用户轻松找到有趣的部分并享受聆听歌曲的乐趣。此外，通过提供一个允许用户自愿纠正自动分析中的错误的界面，我们引入了一个系统，允许用户在纠正的配合下共享和显示更准确的“音乐地图”。

　本研究是日本科学技术振兴机构（JST）战略创意研究推进项目团队型研究（CREST）研究项目（代表研究员：后藤正孝）的一部分。其成果将于 2012 年 10 月 25 日至 26 日在 AIST 筑波中心举办的“AIST 开放实验室”上展出。

“Songle”，一种利用 AIST 独特的音乐理解技术的主动音乐聆听服务

　随着音乐发行和在线存储的普及，现在可以随时随地观看互联网上的大量音乐。以及歌曲名称、艺术家姓名等基于书目信息的音乐信息搜索根据过去的观看历史记录等分析用户偏好基于协同过滤的音乐推荐已投入实际使用。虽然已经发生了量的变化，让人们能够接触到大量的歌曲，但到目前为止，主要关注点还只是能够随时随地收听各种歌曲，而没有太多技术的发展带来质的变化，让人们更深入地理解和享受歌曲。

　以音乐作为产业和文化的重要驱动力之一的音乐信息处理领域，国内外正在积极研究。 AIST还进行了广泛的研究，包括可以自动分析音乐的音乐理解技术，以及应用该技术的音乐界面。迄今为止，我一直在研究能够实现主动音乐聆听的音乐界面，这与传统的被动聆听体验不同。我将其命名为“主动音乐聆听界面”，并通过各种例子来阐明音乐理解技术如何丰富和深化我们听音乐的方式。根据AIST的研究成果积累，“自动分析互联网上歌曲内容的音乐收听系统”的想法诞生了。基于这个想法的系统测试版自2012年2月起就向研究人员开放试用，但现在可视化、和弦进行搜索、外部嵌入播放器功能等各项功能已经完成，我们决定向公众开放进行演示实验。

　这项研究是日本科学技术振兴机构（JST）战略创意研究推进项目（CREST）“为共生社会构建人类和谐信息技术”研究领域“实现内容共生社会相似度可见的信息环境（研究代表后藤正孝）”研究项目的一部分。

　我们开发了一个系统，可以让人们利用音乐理解技术的力量更深入地理解和享受流行音乐，并且我们开发了一种名为“Songle”的主动音乐聆听服务（http://songlejp)。松乐具有以下三个特点。

图 1 自动分析歌曲内容并将其可视化为“音乐地图”的详细屏幕显示示例

“音乐地图”的横轴是时间，顶部的整体显示显示歌曲结构，将歌曲中的重复结构可视化，合唱部分位于顶行，不同长度的重复部分位于下面五行。在每一行中，彩色部分代表相似性（重复）。底部的本地显示是顶部所选部分的放大显示。在底部，小三角形表示每个节拍的位置（节拍对应于四分音符），大三角形表示小节的开始。在节拍结构之上，是旋律歌声的音高钢琴卷帘在其上方，以文本形式显示每个和弦名称（例如，和弦名称 Ebm 表示根音为 Eb，表示其构成音符的和弦类型为 m）。

图 2 可视化屏幕的显示示例，该屏幕随着歌曲的进行以动画方式显示分析结果

显示内容与四种典型音乐元素（歌曲结构、节拍结构、旋律和和弦）紧密结合动态变化。您可以在四种类型的格式之间切换：图形左上角的几何图案相互关联移动的显示、右上角的钢琴卷帘状显示、左下角的半圆形音乐元素显示以及右下角的显示整个图像概览的圆盘形显示。详细信息屏幕是用于理解音乐元素的界面，而可视化屏幕是用于欣赏基于音乐元素动态生成的显示的界面。

图3 除锈功能使用示例

借助挂钩功能，您可以轻松查找和收听歌曲中有趣的部分，您可以使用与歌曲结构相对应的四种类型的按钮跳转到播放位置：“转到下一个合唱部分的开头”、“转到上一个合唱部分的开头”、“转到下一个重复部分的开头”和“转到上一个重复部分的开头。”

图4 Songle的外部嵌入播放器并将其嵌入到另一个网页中的示例

您可以将 Songle 的小播放器（图顶部）嵌入到外部网页中，以在 Songle 上介绍歌曲。它具有歌曲结构可视化功能和副歌提取功能，让您轻松预览副歌部分。此外，嵌入时，您还可以选择一个可选功能，将随歌曲播放而变化的视觉效果（图底部的背景形状）添加到嵌入歌曲的网页背景中。

图 5 允许纠正自动分析错误的界面屏幕示例

通过切换详细信息屏幕上的以下标签，您可以更正四种典型音乐元素的自动分析结果。在图表左上方的合唱编辑中，您可以添加、删除、移动和修改合唱部分和重复部分的长度。在右上角的节拍编辑中，在节拍和小节开始时会播放不同的咔嗒声，如果出现错误，可以从候选中选择或直接指定来纠正。编辑左下角的旋律时，会播放旋律音高的合成声音，因此如果犯了错误，可以通过在钢琴卷帘上画半音线来纠正。在右下角编辑和弦时，会播放该和弦的合成音，因此如果您犯了错误，可以通过单击和弦名称并从显示的候选和弦中进行选择来纠正它，或者直接输入和弦名称。您还可以更改代码的边界。如上所述，当进行校正时，分析结果的节拍、旋律和和弦与音乐一起回放并变得可听。这种可听见的声音本身，连同可视化，具有加深对音乐理解的作用。

1. 使用音乐理解技术自动分析网络上歌曲的内容，并将其可视化为“音乐地图”
   当用户将网站上发布的任何流行音乐歌曲（MP3格式音频信号文件）注册到Songle时，Songle会显示该歌曲的内容
   (1) 歌曲结构（合唱部分和重复部分）
   (2) 节拍结构（节拍和小节开头）
   (3) 旋律（歌声的音高）
   (4) 和弦（根音和和弦类型）
   的四种典型音乐元素当用户选择在 Songle 上注册的歌曲时，他们可以在原始网站上欣赏该歌曲的流媒体播放，同时查看以各种格式可视化自动分析结果的屏幕。可视化屏幕有两种类型：详细屏幕（图 1）显示帮助用户理解音乐元素的“音乐地图”，以及可视化屏幕（图 2）显示与播放歌曲进度相关的各种动画。这些可视化使即使没有专业知识的用户也能更容易地注意到每个音乐元素的存在、它们之间的关系以及歌曲创作的意图。例如，您可以掌握歌曲的整体结构，例如副歌的重复或前奏和结尾的重复（您可以很容易地注意到副歌重复异常的歌曲或以副歌开头的歌曲），注意即使和声（和弦进行）相同但旋律如何变化，并聆听并比较重复时歌词和旋律的变化。这样，您可以通过与播放同步“查看”分析结果来加深对音乐的理解。


2. 带有合唱功能、和弦进行搜索功能和外部嵌入式播放器功能的音乐聆听
   通过使用自动分析结果，除了可视化之外，我们还实现了以下功能，使听音乐更加活跃和丰富。
   (a) 我们实现了合唱功能，可让您轻松找到并聆听歌曲中有趣的部分，例如合唱，这是歌曲中最典型的激动人心的主题部分。除了常用的播放和停止按钮之外，您还可以使用与歌曲结构相对应的按钮来“提示下一个/上一个合唱部分”和“提示下一个/上一个重复部分”（图 3）。一般情况下，直到你全部听完之后，你才会知道这是什么类型的音乐，副歌部分会出现在哪里，但有了“音乐地图”，你可以在听之前掌握歌曲的结构，现在还可以直接点击你感兴趣的部分并播放来进行随机访问。
   (b) 我们实现了和弦进行搜索功能，让您可以聆听和比较具有相同和弦进行的多首歌曲。除了基于诸如歌曲标题和艺术家姓名之类的书目信息的传统音乐信息搜索之外，现在还可以通过给出一系列和弦名称来搜索和枚举包含和弦进行的一组歌曲。
   (c)我们实现了外部嵌入播放器功能，允许用户将小型Songle播放器嵌入到自己的主页、博客等外部网页中，以介绍Songle上的歌曲（图4）。这款播放器配备了歌曲结构可视化功能和上述的合唱功能，让浏览网页的人可以在聆听的同时轻松了解歌曲。通过单击歌曲标题，您可以直接访问并使用 Songle 上该歌曲的页面。


3. 提供允许用户更正自动分析错误的界面
   我们开发了一个界面，允许用户在线纠正自动分析错误，并有助于提高我们的服务质量（图 5）。尽管当前的音乐理解技术的分析结果存在错误，但其优点是能够处理人类一生可以听的大量歌曲。另一方面，人类可以更深入地理解和描述音乐的内容，并且能够注意到分析中的错误，但从无到有地描述一切需要很长时间，并且存在局限性。通过以互补的方式合作，我们能够更准确地描述歌曲的内容。具体来说，它提供了一项功能，允许用户在音乐播放时现场选择并制作可听的节拍、和弦和旋律，使用户更容易注意到自动分析中的错误。我们在网络上创建了一个界面，允许通过直接编辑错误或从自动分析过程中获得的候选列表中选择错误来纠正错误。此外，当纠正错误时，原始自动分析结果会被涂上不同的颜色，并且添加了保留历史记录的功能。这也起到了防止音乐理解技术的性能被高估的作用。对于某些音乐元素，我们也开始提供通过机器学习校正结果自动提高性能的功能。通过这种方式，松乐创建了一个独特的系统，通过用户的贡献可以瞬间提高服务质量，并且用户本身也能体验到便利。

　我们将继续研究、开发和运营任何人都可以通过网络浏览器使用的主动音乐收听服务“Songle”。新开发的音乐聆听系统利用音乐理解技术自动分析歌曲内容，将与业界合作投入实际使用，并计划将其扩展到音乐信息搜索、音乐推荐和音乐发行服务等多种应用。目前，先进的音乐理解技术的存在尚未广为人知，希望 Songle 能够帮助传播意识。 Songle可以处理任何网站上的歌曲（MP3格式音频信号文件），只要是伴有演唱的流行音乐，但将来我们计划与拥有大量歌曲的网站合作。

◆音乐理解技术

这是一种可以自动分析歌曲内容的技术。互联网上的许多歌曲都表达为声音信号。声学信号是记录音乐表演的声波的信号，因此与音符排列的乐谱不同，声音信号没有记录何时播放声音以及播放声音的音高的符号。因此，过去音乐发行和音乐聆听服务常常将其视为只是波形，其内容完全未知。相比之下，Songle的音乐理解技术可以自动分析歌曲声学信号的主要内容：合唱、节拍、旋律和和弦。[返回来源]

◆可视化功能

传统音乐服务和音乐软件中的歌曲可视化功能通常会显示波形和频谱图（分析频率分量的结果），这使得理解歌曲的内容变得困难。因此，例如，当听音乐并尝试将播放位置改变为副歌时，用户不知道副歌在哪里，因此用户必须猜测并改变播放位置。 Songle的自动分析和可视化功能以图形方式将歌曲的内容（合唱、节拍、旋律、和弦）显示为“音乐地图”，因此您可以轻松地根据地图引导更改播放位置。此外，通过查看音乐地图，您可以注意到歌曲中的各种元素以及歌曲的结构，这些元素是您通常不会注意到的，这让您有机会加深对音乐的理解。此外，基于动画的可视化有时被称为可视化器，通常显示反映波形和频率分量，但Songle的可视化器屏幕有很大不同，因为显示与歌曲内容密切相关。[返回来源]

◆主动音乐聆听服务

“主动音乐聆听服务”这个词以前从未被创造过，而 Songle 是第一个此类服务。这里的“主动”一词并不是指音乐的创作，而是指在享受音乐的过程中的任何主动互动。听者随意改变音乐的播放位置以收听喜欢的部分，或者一边浏览一边听着一首又一首多首歌曲的副歌部分的行为，都是主动聆听音乐的例子，而这一切都是由 Songle 实现的。[返回来源]

◆基于书目信息的音乐信息搜索

称为书目信息的文本，例如歌曲标题、艺术家姓名和流派名称，通常附加到歌曲文件中。传统的音乐信息搜索，例如歌曲标题搜索，通常基于针对该书目信息的文本搜索技术。 Songle 支持搜索歌曲标题和艺术家姓名，但它还具有允许您指定和弦名称系列作为搜索项并搜索包含该和弦进行的歌曲的功能。未来，Songle的研究成果可以应用于实现对音乐内容的多种音乐信息搜索。[返回来源]

◆基于协同过滤的音乐推荐

通过根据过去的收听历史记录、评分等分析用户偏好并积累这些信息，音乐推荐已经实现，可以推荐具有类似偏好的其他用户喜欢的歌曲。这种基于用户偏好的推荐技术被称为协同过滤，它已经得到了广泛的应用，因为即使在歌曲的内容完全未知的情况下它也能发挥作用。然而，也有人指出了各种局限性，例如它不能直接应用于还没有人听过的新歌曲，因此以互补的方式使用基于歌曲内容的基于内容的音乐推荐会更有效。 Songle的研究成果也为实现此类音乐推荐奠定了基础。[返回来源]

◆测试版

这是在开发过程中出于测试目的而提供的试用版。 Songle 迄今为止还发布了 Beta 版本来改进 bug，但将于 2012 年 8 月 29 日与新功能一起向公众发布。[返回来源]

◆钢琴卷帘

钢琴卷帘是一种显示方法，它将在二维平面上发声的部分着色，横轴为时间，纵轴为音高。很容易直观地理解一个音符何时弹奏、以什么音高弹奏，而且它是一种很好的可视化旋律的方式，所以我们在 Songle 中采用了它。[返回参考源]