没有。 09 自动分析合唱和节拍！什么是计算机创建的“音乐地图”？

发布于 2018 年 2 月 1 日
西田宗亲的采访和文字

分析音乐以扩展您欣赏音乐的方式

享受音乐意味着什么？

“你为什么说这么明显的话？你应该听并享受它。” - 我几乎能听到你这么说。确实，“听音乐”似乎是一种再正常不过的行为，很难想象它与科学或技术有什么关系。

然而，当 Bluebacks 探险队听说有科学家继续将技术应用于音乐时，他们决定采取行动。毕竟，Bluebacks 最近对音乐和视频非常感兴趣，例如专门为该系列创作一首广告歌曲。也许这也是一种可以在这个网站上愉快使用的技术！产业技术综合研究所信息技术研究部首席研究员后藤正孝就是其中一位研究员，他在参观时有一种略显反常的感觉。

先生后藤正在研究一种名为“音乐信息处理”的技术。它是什么样的技术？

“简单来说，这是一种自动分析音乐‘内容’并开启音乐未来的技术，”后藤解释道。

但是，这可能不太容易理解。很多人在听到音乐的内容时，往往会想到与音乐本身相关的东西，比如五线谱上的音符、歌词、演奏技巧等。

利用技术分析音乐内容我们可以做什么？理解这一点的最好方法是回顾一下后藤先生从学生时代起就积累的音乐信息处理研究和开发的历史。

先生后藤于 1992 年开始从事音乐信息处理工作，当时他还是一名大学四年级学生。之后，我在研究生院的硕士和博士课程中选择了“节拍分析”作为我的研究课题。

节拍是一种有规律的节奏感。当你想到一首“节奏强劲的歌曲”时，任何人都可以想象它是什么样的歌曲，而当这种歌曲真正响起时，你可能会拍手并移动身体来掌握节奏。这是一种非常自然的享受音乐的方式。

但是为什么不让计算机为您做这件事呢？

实际上，计算机要及时采取一些行动并不容易。播放的音乐以物理“波”（称为声波）的形式传输。既然它是一种波，它就有一个有波峰和波谷的波长，并以一定的频率振动，但我们如何才能从该波形中只提取“拍频信息”呢？

节拍不是声音的音高或响度。换句话说，它不是声音的物理属性。因此，虽然对于人类来说是司空见惯的事情，但是为了让计算机能够从声波的波形中提取出来，还需要积累多种信号处理技术。

当后藤先生于1992年开始研究这个问题时，将数字音乐导入计算机仍然很困难，而且MP3还没有出现。当时的计算机还不是很强大，处理音乐信号需要很长时间。尽管条件很困难，后藤成功开发了一种系统，通过分析乐器和鼓声何时演奏以及和声何时变化，不仅可以自动提取节拍，还可以自动提取小节的开头。

先生后藤还成功地以一种有趣的方式可视化自动提取的节拍信息。利用当时颇受欢迎和期待的CG动画，根据从音乐中提取的节拍自动生成舞蹈动作。

虽然对 CG 动画的需求不断增加，但当时的制作时间和成本巨大，尤其是让 CG 角色随着音乐同步移动尤其困难。我们认为，可以通过根据从音乐中提取的节拍信息自动生成 CG 角色的舞蹈的技术来部分解决这个问题。''

先生后藤反思了开发的原因，表明通过音乐分析提取节拍，即音乐信息处理，可以创造新的价值。这与我们人类通过感知节拍、拍手和跳舞来为音乐增添新价值的方式有类似的关系，最近热门歌曲舞蹈编排的蓬勃发展就证明了这一点。

从发现节拍到“自动合唱发现”

先生后藤继续他对音乐分析的研究，并在 2002 年至 2003 年开发了自动查找歌曲中副歌部分的技术。

当我们告诉别人我们喜欢的音乐时，我们有时只是哼着副歌。一首歌中最精彩、最有味道的部分就是副歌部分，毫无疑问，副歌部分的好坏是评价一首歌的标准之一。但是计算机找到合唱很难吗？

“声音响亮或旋律高亢的部分可能看起来像‘合唱’。但实际上，模式有很多种。”

后藤认为，和节拍一样，合唱也是“人类很容易理解，但计算机却不容易判断”的元素。这也很难分析，因为它不是声波的物理属性。

一般来说，当我们想到副歌时，我们的印象是它是歌曲中间令人兴奋的部分，并且它在整首歌中多次重复相同的主题。然而，如果你真正看一下单首歌曲，有些歌曲在副歌开头就以副歌开头，有些歌曲似乎有相同的副歌，但随着歌曲的进行而被精细地转调。最重要的是，副歌是任何听歌的人都能立即分辨出它在哪里的东西，但它并没有通过歌词或作曲方法明确定义。后藤先生说道。

``首先，它会查找歌曲中的各个重复部分，同时考虑调性变化等，然后自动选择最有可能是合唱部分的部分，使其能够找到合唱部分。''

自学生时代开始从事音乐信息处理工作以来，已经过去了 25 年多，后藤通过与各种研究人员合作进行广泛的研究，不断向前发展。例如，2012 年 8 月发布的“歌曲''就是这样。 Songle 是公开的，任何人都可以在网络上使用，因此如果您在单独的窗口中打开它并一起阅读，您将获得更深入的理解。

``使用 Songle，您可以享受聆听音乐的乐趣，同时直观地检查使用音乐信息处理作为“音乐地图”分析歌曲内容的各种结果。'

音乐地图？这是我第一次听说。那到底是什么？

``音乐地图主要由四个元素组成：（1）节拍结构，（2）歌曲结构，（3）和弦进行，以及（4）旋律线。 Songle可以为各种歌曲显示这四个元素。也许很难理解，但是通过将这四个要素的分析结果可视化为音乐地图，就可以更容易地掌握歌曲的整体结构。通过查看整首歌曲，您可以轻松地从副歌部分开始或从您感兴趣的部分开始聆听。”（后藤先生）

播放实际上“不方便”的音乐

如果您可以使用音乐地图轻松收听副歌部分，而无需按顺序收听歌曲的开头，那么向他人传达音乐就会容易得多。当您想在短时间内欣赏音乐或想一遍又一遍地只听您最喜欢的部分时，您还可以使用从音乐地图获得的信息。

“你总是可以只欣赏你喜欢的音乐部分，对吗？”你可能会听到这样的反对意见，但实际上，情况根本不是这样。

当然，现代音乐播放器有一个“搜索栏”，可让您跳转到所需的部分。然而，你还记得一首歌中你最喜欢的部分是什么吗？即使您对它就在这里有一个总体印象，您也可能不记得您最喜欢的部分到底出现了多少秒。

即使这是一首你熟悉的歌曲，但你几乎不可能听一首你以前从未听过的歌曲或一首你只听过一两次且不太了解的歌曲，找到你最喜欢的部分或只尝试其中好的部分。这就是为什么创造了音乐“鉴赏家”和具有特殊技能和知识的 DJ 等职位的原因。

尽管音乐已经数字化，并且已经建立了从任何地点播放音乐的技术，但现实情况是，很难以一种只提取您喜欢的部分和您想听的部分的方式听音乐。

“应该更积极地享受音乐。为此，我们需要能够进行音乐分析的音乐信息处理技术。”

先生后藤强调了这一点。

要享受音乐，您肯定需要一定的时间。随着技术的引入，人们可以通过操纵时间来简单地聆听自己喜欢的部分，或者通过仅聆听大量歌曲的副歌部分来发现自己喜欢的歌曲，这将首次在听音乐的方式上创造出时间轴方向上的极大自由度。

自动查找歌曲的副歌相当于在视频中创建章节。现在，人们在看电影时只观看自己喜欢的场景，或者在观看录制的节目时跳过不需要的部分已经变得司空见惯。当谈到视频时，观看变得更加“活跃”。

后藤先生研究的开创性之处在于，同样的事情现在在音乐的极短时间跨度内是可能的，并且我们听音乐的方式变得活跃。

过去，无论是 CD、音乐发行版还是 YouTube 等视频，单首歌曲中都没有章节，只能逐首歌进行跳转/跳过。并不是说不需要只听到合唱，但现实是它只以一种非常小众的方式使用。

原因是音乐太多，几乎不可能为每首歌曲手动添加章节。

宋乐的优势就在这一点。软件的强大功能可以自动分析歌曲，了解整体结构，然后找到副歌。一切都是自动的，所以无论您添加多少歌曲，都不会花费太多精力。

这正是后藤先生声称“技术使我们能够享受音乐的方式”的原因。只有在技术的帮助下，他们才成功地提取了“音乐中固有的信息”。

绽放“积极的音乐享受”

通过更加积极地享受音乐，我们可以体验到什么样的具体变化？后藤等人。 2017 年宣布“歌曲同步''为例。

享受音乐的方式之一就是“现场”。 Songle Sync 是一项可让您更积极地享受现场音乐会的服务。

虽然使用互联网的设备比传统的音乐设备拥有更高的自由度，但要“同时行动”却出奇地困难。在音乐中，显示和声音与音乐完全同步播放，即“完美同步”是极其重要的。特别是在现场演出，如果出现与音乐不同步的不自然的演奏，就很难营造出统一感。

问题是，当互联网介入的那一刻，看似“同时”的事情在几秒钟内就不可避免地变得不同。事实上，即使是同一个直播，常规直播和网络分发也存在一定程度的差异。在音乐中，即使是几百毫秒的差异，更不用说一秒，都可能是致命的。如果稍有偏差，就会失去统一感，不再是愉快的音乐体验。

Songle Sync 解决了这个问题，让您可以同步任何可以访问网络并同时移动的设备。无论操作系统或设备类型如何。例如，在现场音乐会场地，可以轻松地在与会者持有的智能手机上显示与歌曲节奏相匹配的动画，或者让许多机器人同时跳舞。

让我们看一下在现场音乐会上实际使用 Songle Sync 时显示的视频。

2017 年 9 月 2 日在幕张国际展览中心举办的虚拟歌手初音未来相关活动“Magical Mirai 2017”中，向 DJ 舞台的参观者分发了明信片，通过智能手机访问明信片上的二维码，与舞台上的歌曲同步的视频从智能手机上播放。

更重要的是，它与数百人的屏幕完美同步。作为一种不需要任何特殊应用程序或设备的革命性音乐体验，它成为了一个热门话题。

乍一看，这项服务似乎与 Songle 的歌曲分析技术无关，但 Songle 的歌曲分析技术实际上对 Songle Sync 至关重要。这是因为他们分析歌曲，了解其节拍和合唱，然后在智能手机上生成与之匹配的视频。看起来视频是与现场表演一起发布的，但实际上并非如此；相反，用于控制设备的信息是根据音乐分析结果创建的。

「TextAlive”是一项自动生成“歌词动画”的服务，其中的歌词与互联网上发布的歌曲相匹配。

“视频共享服务已经变得司空见惯，发布歌曲的人数也随之增加。然而，实际上有很多人正在为视频制作而苦苦挣扎。很多人擅长制作歌曲，但不擅长制作视频，或者以前从未做过。TextAlive就是为这样的人而创建的。” （转到）

让您发现您最喜欢的歌曲的技术

「颂歌''是一个可以让您从更高的角度看待音乐的系统。

对于每首歌曲，总有与其相似的歌曲或受其影响的歌曲。很少有歌曲是独立的，所有歌曲都以某种方式与其他歌曲联系在一起。

Songrium 旨在利用网络挖掘技术可视化歌曲之间的联系和关系，该技术除了使用 Songle 进行歌曲分析之外，还从互联网收集和分析与歌曲相关的数据。您可以找到与您喜爱的歌曲氛围相同的歌曲，根据与该歌曲的关联性搜索您可能感兴趣的歌曲，并收听和比较被判断为相关的歌曲。这也是新角度的“音乐激活”。

“无限音乐收听服务开始流行，但让用户能够发现音乐以及每个用户如何遇到自己喜欢的音乐类型的技术很重要。在一般服务中，艺术家姓名、作曲家等。“推荐歌曲通常是根据收听历史记录等来播放的，但将来，为了高精度地推荐歌曲，需要深入了解每首歌曲的整体结构，并创建一个数据库，其中包含分析歌曲内容的结果音乐，比如歌曲。”

先生后藤领导了产业技术研究院内的“媒体内容生态系统项目部”，并与众多附属研究人员合作进行这些各种“音乐信息处理”技术的研究和开发。我们正在积极将结果作为服务发布。

13044_13240

“让音乐变得活跃”——分析音乐内容的技术可能会继续极大地改变我们的音乐体验。