信息技术研究所（ITRI；所长：田中良雄）、米乐m6官方网站（AIST；所长：中钵良二）的后藤正孝（首席高级研究员）、工研院、AIST 媒体互动组的加藤淳（研究员）和中野智康（高级研究员）开发了歌词动画制作支持服务“TextAlive” (http://textalivejp)，它使用户能够使用网络上发布的歌曲和歌词内容，随音乐及时制作歌词动画。将于2015年9月8日向公众开放并进行示范实验。
由于音乐和视频共享服务的普及，许多与音乐匹配的视频已经发布。尤其是歌词动画，可以将音乐的歌词表达得更有吸引力，但制作起来需要付出巨大的努力，从安装和学习如何使用视频制作工具到调整角色动作的时机。
TextAlive是一项融合了AIST原创音乐理解技术和新开发的编程环境技术的服务，用户可以通过它轻松制作和分享歌词动画。通过选择歌曲并指定视频风格，利用音乐理解技术预先分析的人声时序、副歌部分等信息，用户可以快速制作出各种效果的歌词动画。此外，用户还可以通过直观的界面为每个单词或字符选择视觉效果“模板”，以表达预期的效果。此外，用户可以对模板及其参数调整界面进行编程，然后与TextAlive上的其他用户共享模板。因此，使用 TextAlive 可以让不同背景的人们展示他们的创造力，并轻松享受歌词动画制作。
这项研究是日本科学技术振兴机构 (JST) 的 JST 战略基础研究计划团队研究 (CREST) 的研究项目（研究主任：Masataka Goto）的一部分。
 |
| “TextAlive”让用户能够轻松制作和分享歌词动画 |
随着音乐和视频共享服务的普及，喜欢发布音乐或与音乐匹配的视频的用户数量不断增加。特别地，其中歌词随着音乐而移动的歌词动画是一种以视频形式有吸引力地表达歌词的方法。然而，为了制作歌词动画，用户必须首先在个人电脑上安装视频制作工具并学习如何使用它们。每次制作新动画时，他们还必须付出相当大的努力来指定每个角色的音乐动作。目前，对于从未制作过歌词动画的人来说，想要享受制作一部新的动画并配合自己喜欢的音乐，技术门槛非常高。
AIST 致力于主动音乐聆听辅助，基于音乐理解技术，让用户能够更深入地理解音乐。迄今为止，AIST 开发了“Songle”，一种将在线音乐内容可视化的主动音乐聆听服务（http://songlejp) 和“Songrium”，一种音乐浏览辅助服务，可以可视化歌曲之间的相互关系 (http://songriumjp)，并向公众发布（AIST/JST 于 2012 年 8 月 29 日和 2013 年 8 月 27 日联合新闻稿）。
通过这些服务的研究和开发，研究人员逐渐了解到人们对积极参与音乐相关内容的高度兴趣。因此，他们将歌词动画作为一种表达手段，以视觉方式传达歌词，而歌词是音乐的重要组成部分。他们开始开发一个用户可以在线创建、编辑和分享歌词动画的系统，并于2014年11月为研究人员测试推出了测试版。现在研究人员已经完成了大大提高网络浏览器可用性、允许用户选择歌词动画风格并立即更改整个视频的排列的功能，以及可以在外部网站上嵌入角色动画的Web API，他们决定向公众推出该服务进行演示测试。
这项研究是 JST CREST“为欢乐社会创建人类和谐信息技术”研究领域“为内容共生社会构建相似性感知信息环境（研究总监：后藤正孝）”研究项目的一部分。
研究人员开发了一种利用在线音乐和歌词内容创建、编辑和共享歌词动画的系统，并将作为歌词动画制作支持服务“TextAlive”向公众开放（http://textalivejp)。 TextAlive 通过以下机制运行（图 1）。
- 当用户注册任何音乐（MP3 格式的声音信号文件或音乐和视频共享服务上的音乐和视频）和歌词的网址时，TextAlive 会嵌入音乐的内容以及音乐和歌词之间的对应关系。
- 当用户选择注册到TextAlive的音乐时，原始网站上的音乐会被流式传输，歌词动画也会同步渲染，因此可以在视觉和听觉上欣赏音乐及其歌词。用户可以为整个视频选择多种“风格”的编排并即时改变，轻松制作出自己喜欢的歌词动画。
- 用户可以从“模板”中为每个短语、单词、字符选择详细的视觉效果，按照自己的喜好排列，并在线分享歌词动画。其他用户可以添加进一步的编辑来制作共享歌词动画的衍生作品。
- 有编程能力的用户可以编辑制作新的“模板”和“模板的参数调整接口”。由于这些内容在 TextAlive 上共享，因此增强了所有用户的表达能力。
 |
| 图 1：TextAlive 系统概述 |
TextAlive具有以下三个特点：
1。可以根据在线音乐和歌词信息轻松制作歌词动画
用户可以通过在 TextAlive 中输入发布有音乐和歌词的网页的网址来查看随音乐同步移动的歌词动画。歌词动画是根据 AIST 独创的音乐理解技术从音乐和歌词中分析出的歌词发音时序信息在用户的浏览器中自动合成的（图 2）。
用户可以在浏览器上选择一种样式，立即改变整个视频的效果，并根据自己的喜好制作歌词动画。他们还可以从模板中选择效果，并针对每个短语、单词和字符进行调整，以执行更详细的效果。这是通过AIST新开发的编程环境技术实现的，该技术可以执行和更新根据歌词发音时间（风格）合成歌词动画的程序，以及控制浏览器中字符（模板）的形状变化和移动的程序。
因此，通过在编程环境技术中使用音乐理解技术的分析结果，即使从未制作过歌词动画的用户也可以享受制作与音乐同步的歌词动画以及他们喜欢的效果。
 |
| 图2：创建歌词动画的过程 |
2。通过直观的界面和机制支持人们的创造力，简化衍生作品的制作
TextAlive提供了三种编辑界面，用户可以轻松制作歌词动画。这样，即使没有视频制作经验的用户也可以根据自己的喜好制作歌词动画。由于用户可以使用根据风格自动生成的歌词动画进行编辑，因此即使对于有制作经验的用户也大大减少了手动选择的工作量（图3）。
(a) 样式选择器面板：使用简单的界面来选择制作风格，用户可以立即更改整个歌词动画的效果，并根据自己的喜好更改歌词动画。
(b) 时间表：用户可以通过用鼠标左右移动时间线光标来轻松搜索他们想要查看的任何部分的歌词。此外，自动分析的歌词发声时序按短语、单词和字符以彩色部分显示，这样通过拉伸部分和左右移动部分，用户可以编辑任意字符组或单个字符的歌词发声时序，并纠正自动分析结果中的错误。
(c) 编辑面板：当用户在查看歌词动画时点击编辑按钮时，会显示此面板。用户可以从大量模板中选择时间轴上选择的短语、单词和字符的字体、大小、动作和转换。通过直观的参数调整界面，例如滑块，可以轻松定制模板的视觉效果。
在一般的视频共享服务中，视频是通过快速变化的预先准备的多个静止图像来显示的。因此，视频制作后很难更改内容。另一方面，在TextAlive中，样式、模板等程序通过编程环境技术在浏览器中实时执行，以显示歌词动画。因此，可以轻松地将现有视频的效果应用到其他音乐的视频中，或者仅编辑视频的一部分，从而通过技术支撑各种用户可以从单个原创作品创建许多衍生作品的文化。
 |
图3：编辑界面屏幕示例
由于歌词动画保存在TextAlive服务器中，编辑的动画和程序可以与其他用户共享。用户不仅可以观看歌词动画，还可以根据自己的喜好制作衍生作品。 |
3。通过基于网络的编程增强效果和编辑功能
在TextAlive中，当用户对预先准备的模板不满意时，可以编写自己的新模板。该服务实现了一种新型的实时编程，用户可以在播放歌词动画的同时修改确定角色移动的算法，而无需关闭编辑界面。 TextAlive的一些功能已经作为Web API推出，可以嵌入到其他网页中，因此程序员可以通过显示歌词和角色动画来娱乐访问者自己制作的网页。
提供两种方法作为用户进行编程的工具。
(a) 编程面板：通过使用面板中的编程面板（TextAlive界面之一），用户可以显示和编辑准备为歌词动画模板的程序。编辑后的程序立即执行，歌词动画也更新。结果立即可见，使界面更容易被刚开始学习编程的用户接受。此外，用户只需通过简单的标注方法在程序中添加注释，就可以在编辑面板中添加滑块等可自定义模板视觉效果的界面（图4）。即使不会编程的用户也可以使用此界面制作他们想要的效果。
(b) 网络 API：利用TextAlive提供的Web API，用户可以在网页上显示歌词动画，显示与歌词动画同步的移动内容，甚至动画显示不限于歌词的文本内容。
 |
图4：使用编程面板的示例
将模板程序的叶数的默认值从 5 更改为 9 会更改显示的红色圆圈的数量。显示的最终屏幕有一个滑块，用于调整添加到编辑面板的叶子数量。这样，通过程序员准备接口，即使不会编程的用户也可以设置所需的叶子数量，并体现出其预期的效果。 |
研究人员计划继续研究、开发和运营“TextAlive”，这是任何人都可以通过网络浏览器使用的歌词动画制作支持服务。新开发的技术可以根据通过音乐理解技术自动分析音乐内容获得的信息来自动生成内容，并且编程环境技术提供了可以平滑地遍历内容的观看和编辑的界面。内容不限于音乐和编程教育。