氪未来媒体株式会社[代表董事伊藤博之](以下简称“氪”)、国立产业技术综合研究所[会长石村和彦](以下简称“AIST”)人类信息交互研究部[研究总监小峰秀彦]后藤正孝首席研究员、滨崎正宏首席企划官、首席研究员 Kousetsu Tsukuda、技术人员 Takumi Takahashi 和 Keisuke Ishida 正在共同创建 Kiite World,这是一项音乐发现服务,允许观众选择并分享他们最喜欢的 100 首歌曲,以便其他观众可以收听这些歌曲并对其产生兴趣。https://worldkiitejp) 被开发出来。它于 2023 年 7 月 19 日作为免费服务向公众发布。
风筝世界是一项服务,每个观看者可以从大量歌曲中选择自己最喜欢的 100 首歌曲(100 个选择),其中包括使用语音合成技术演唱的歌曲(通过视频共享服务在互联网上提供的大约 440,000 个音乐视频),并将它们发布为自己的“音乐世界”。其他观看者可以在这些歌曲排列的地图上移动,选择并播放他们感兴趣的歌曲,并发现新歌一首又一首。您可以实时查看地图上其他观众正在听哪些音乐世界中的哪些歌曲,因此如果您感兴趣,您可以访问该音乐世界并播放相同的歌曲。利用音乐推荐技术确定海量歌曲在地图上的位置,使具有相似品味的观众可能喜欢的歌曲位于附近的区域。因此,您可以在地图上欣赏到每个区域的歌曲趋势差异。此外,它还有一项功能,可以在地图上移动并同时收听时,自动同步播放一首又一首歌曲,就像一大群人在活动中一起听音乐一样。
自2007年8月歌声合成软件《初音未来》发布以来,在各位创作者的贡献下,以视频共享服务为主的以合成歌声为主唱的歌曲(音乐视频)已超过44万首,并且数量日益增加。观众还通过寻找和聆听自己喜欢的歌曲,并将其介绍和传播给其他人,为这种音乐文化的发展做出了贡献。然而,观众想要从海量的歌曲中找到自己喜欢的歌曲并不容易。为了解决新歌发布后却没有被可能喜欢的观众注意到的问题,Crypton 和 AIST 推出了音乐发现服务“Kiite”(https://kiitejp) 已开发并作为免费服务向公众提供 (2019 年 8 月 30 日 Krypton/AIST/JST 联合新闻公告)。
Kiite 是一项专注于“音乐发现”的服务,即观众从海量歌曲中搜索和发现自己喜欢的歌曲,并将观众查找和介绍自己喜欢的歌曲的音乐发现活动与 AIST 的音乐信息处理技术(例如音乐印象分析和音乐推荐)相结合。然而,为了让每个观众能够传播自己喜欢的歌曲而不遮挡它们,以易于介绍的格式相互分享或实时一起享受音乐发现的功能不足。因此,为了实现这样的功能并与先进的音乐推荐相结合,AIST将新开发的音乐推荐技术引入Kiite并进行了准备,并一直在研究一种可视化音乐推荐内部状态并分享喜欢的歌曲同时增加透明度的方法。
Krypton 和 AIST 推出了 Kiite 的一项新功能,名为“Kiite World”,这是一项音乐发现服务,允许观众发布自己最喜欢的 100 首歌曲(称为“100 首精选”)作为自己的“音乐世界”,并可以访问彼此的音乐世界并一起聆听歌曲。https://worldkiitejp) 已开发。与 Kiite 一样,它将作为一项服务发布,可以在计算机和智能手机上的网络浏览器上免费使用。 Kiite World旨在丰富观众的音乐体验,让观众更轻松地体验“分享喜欢的歌曲的乐趣”和“寻找志同道合的听众的乐趣”,帮助观众和技术共同创造“一个你喜欢的歌曲永远不会丢失的世界”。Kiite World具有以下三个特点。
1.百首歌曲精选功能:您可以将自己喜欢的100首歌曲发布为自己的“音乐世界”,并互相访问
如果您选择您最喜欢的 100 首歌曲(100 个精选)并将其发布为“My Kiite World”(您自己的音乐世界),它们将与发布者的帐户名一起列在“Everyone's Kiite World”中。当观众选择其中一首并访问它时,“我的风筝世界”中的 100 首歌曲就会被排列并可视化在二维地图上(图 1(a))。观众可以在地图上自由移动图标,然后在歌曲上选择它来播放它或将其添加到播放列表或收藏夹列表中。地图仅滚动并放大图标周围的区域,但整个地图的缩小版本也会显示在左下角,使您可以检查歌曲的位置和您的位置。请注意,《我的风筝世界》歌曲数量不必少于100首,但每个观众只能发布一首。您也可以访问和发现音乐,而无需自行发布。
歌曲在地图上的位置不是随机的; Kiite 上注册的超过 440,000 首歌曲的位置是使用 AIST 新开发的音乐推荐技术确定的。该技术根据自动分析歌曲的声学信号获得的旋律、收听历史、“最喜欢的”列表等,每天自动为每个观众生成“推荐歌曲的播放列表”作为音乐推荐结果。这是基于一种图结构,其中与三种类型的歌曲、其创作者和观众相对应的大量点(节点)漂浮在高维空间(潜在空间)中,相关点通过线(边)连接。例如,一条线连接观看者和他们添加到“收藏夹”列表中的歌曲,一条线连接创作者和歌曲,一条线连接自动分析具有相似旋律的歌曲。由于由这些线连接的点自动排列在高维空间中,使得它们彼此靠近,因此可能被某个观看者喜欢的歌曲往往聚集在某个观看者的点附近(这可以被认为是对观看者的偏好进行建模的“观看者模型”),并且可以基于它们的接近度来推荐这样的歌曲。 Kiite World 的地图是通过将空间非线性转换为二维来可视化的。
在地图上,不仅会显示每首歌曲的位置,而且正在显示“My Kiite World”的每个观看者模型的位置也会显示为“家”。具有相似品味的观众的家往往彼此靠近,并且这些观众可能喜欢的歌曲也位于附近,从而更容易找到您喜欢的歌曲和具有相似品味的观众。您还可以欣赏地图上每个区域的歌曲趋势差异。这是一项通过可视化音乐推荐的内部状态来提高透明度的功能,传统上一直是黑匣子,并且也是从“可解释的人工智能(XAI)”的角度进行改进的。由于音乐推荐结果和内部状态每天都会更新,因此地图上的所有歌曲和房屋位置也会每天更新。
此外,还提供了“万歌风筝世界”,可在地图上可视化所有超过 440,000 首歌曲(图 1(b)),以便观众可以在家附近访问和发现歌曲。每个观众的音乐推荐结果“推荐歌曲播放列表”中的前 100 首歌曲也会单独发布给当前正在观看“我的风筝世界”的观众,作为“风筝世界的音乐推荐”。这样用户就可以查看来自家附近观众的音乐推荐结果。在各种显示中,已包含在您的收听历史记录或“收藏夹”列表中的歌曲会标有不同的标记以进行区分,从而更轻松地发现音乐。
通过上述“100首歌曲发布功能”,现在可以在可视化音乐推荐内部状态的地图上搜索时遇到不同观众的100首歌曲,这在以前是很困难的。
|

(a) “我的风筝世界”的 2D 地图屏幕
|

(b)《风筝万歌世界》2D地图画面
|
图1 100首歌曲发布函数
2.实时可视化功能:您可以在查看正在播放哪个音乐世界的哪些歌曲的同时发现音乐
访问风筝世界的每个观看者在地图上的当前位置以及他们正在收听的音乐世界(“我的风筝世界”、“风筝世界所有歌曲”或“风筝世界音乐推荐”)都会实时显示(图 2(a))。如果观众看到彼此并产生兴趣,他们可以访问相同的音乐世界或播放相同的歌曲。无论您处于哪个音乐世界,所有观看者都会以整个地图的缩小版本显示,并且当您靠近当前位置时,您可以看到彼此的图标(图2(b))。然而,与您自己不同的音乐世界中的图标将是半透明的。如果您发现感兴趣或有相似品味的观众,您可以将他们添加到您的收藏夹列表中。通过这种方式,观众可以发现彼此,因此即使他们正在听不同的歌曲,他们也能感觉到他们在同一时刻一起享受音乐。
通过上述“实时可视化功能”,现在可以在观看其他观众实时发现音乐的同时对各种歌曲和观众产生兴趣,这在以前是很困难的。
|

(a) 其他观看者的实时显示画面
|

(b) 显示当前位置附近观看者的地图屏幕
|
图2 实时可视化功能
3.自动同步播放功能:自动与某个观看者的音乐播放同步,让一大群人一起欣赏音乐
如果您对某个观看者的音乐播放感兴趣,您可以自动与该观看者的音乐播放同步并进行设置,以便您可以在同一音乐世界中同时收听同一首歌曲(图 3 (a))。在您取消设置之前,即使观看者转到地图上的下一首歌曲,同步播放也会继续,让您可以依次聆听歌曲。这样一来,同步的人就有更多的机会传播自己喜欢的歌曲,同步的人也有更多的机会发现新的歌曲。
此外,通过使用此功能,一大群人可以一起聆听一系列歌曲并欣赏它们,同时自动与观众的“我的风筝世界”地图上的歌曲播放同步,就像许多人一起听音乐,同时在音乐活动中感受到团结感一样(图 3(b))。被同步的人可以让很多人当场听到他们选择的音乐,就像唱片骑师 (DJ) 一样。因此,除了常规的在地图上移动、自行选择歌曲的操作方法外,我们还创建了“游览功能”,可以让您提前指定播放列表中歌曲的顺序,并自动在地图上移动并按照该顺序播放。访问“我的风筝世界”的 URL 可以在社交媒体等上共享,因此如果您邀请人们在特定时间聚集,将更容易与其他观众一起听音乐。
通过上述“自动同步播放功能”,现在可以同步播放其他观众正在欣赏的歌曲,并通过同步播放相同的歌曲来感受到团结感,这在以前是很困难的。
|

(a) 自动与特定观看者的音乐播放同步的屏幕
|

(b) 一大群人自动同步播放的屏幕
|
图3 自动同步播放功能
Kiite World 的研发是作为日本科学技术振兴机构 (JST) 战略创意研究促进项目 CREST 研发项目“实现可靠的可探索推荐基础设施技术 (JPMJCR20D4)”的一部分进行的(研究代表:Masataka Goto(AIST 人类信息交互研究部门首席研究员))。作为Crypton和AIST共同开发的Kiite新功能,AIST开发了自己的音乐推荐和Kiite World技术。
Krypton 与 AIST 将继续携手共同开发,完善 Kiite 的功能性和便利性,为音乐内容文化的发展做出贡献。此外,该公司还计划将通过开发 Kiite World 所积累的技术应用于各种应用,包括针对其他媒体内容的服务。