国立产业技术综合研究所［中钵良二会长］（以下简称“AIST”）信息技术研究部[研究部主任 Yoshio Tanaka] 首席研究员 Masataka Goto、媒体互动研究小组研究员 Atsushi Kato、高级研究员 Tomoyasu Nakano 等人将能够使用网络上发布的音乐和歌词内容，让用户将歌词制作成动画以匹配音乐。歌词动画生产支持服务“文字活跃（实时文本）”(http://textalivejp) 被开发出来。将于2015年9月8日向公众开放，并开始示范实验。
歌曲/视频共享服务的传播，许多与这首歌匹配的视频被发布。特别是歌词动画可以以吸引人的方式表达歌曲的歌词，但制作它需要付出巨大的努力，包括安装视频制作工具、学习如何使用它们以及调整文本移动的时机。
现已发布文本活跃是 AIST 独有的音乐理解技术新开发的编程环境技术通过选择歌曲并指定视频的“风格”，用户可以使用预先使用音乐理解技术分析的声音计时和合唱信息，立即创建具有各种作品的歌词动画。也直观界面，您可以为每个单词或字符选择一个动作“模板”，从而实现用户想要的效果。此外，用户可以在TextAlive屏幕上对模板及其编辑界面进行编程，并与其他用户共享。这样，通过使用 TextAlive，各种各样的人都可以通过展示自己的创造力来享受创建歌词动画的乐趣，而无需付出巨大的努力。
本研究是日本科学技术振兴机构（JST）战略创意研究推进项目团队型研究（CREST）研究项目（研究代表：后藤正孝）的一部分。
 |
| 您可以轻松创建和分享歌词动画“文本活跃（实时文本）'' |
随着音乐和视频共享服务的普及，喜欢发布歌曲和与歌曲相关的视频的用户数量正在增加。特别是歌词动画，其中歌词及时移动，是一种可以将歌词以视频的方式表现得有吸引力的方法。另一方面，要创建它，您必须在计算机上安装视频制作工具并学习如何使用它。此外，每次创作一首作品时，都需要花费大量时间来指定每个字母的移动以匹配音乐。目前，对于从未创作过抒情动画的人来说，要创作并欣赏与自己喜欢的歌曲相匹配的作品，技术难度很大。
AIST一直致力于基于音乐理解技术的主动音乐聆听支持，让用户能够更深入地理解和享受音乐。迄今为止，我们已经推出了一项主动音乐聆听服务，可以可视化网络上歌曲的内容。歌曲」（http://songlejp）和音乐聆听支持服务，可可视化歌曲之间的关系。颂歌」（http://songriumjp) 已开发并向公众发布 (2012 年 8 月 29 日、2013 年 8 月 27 日AIST/JST 联合新闻稿）。
通过这些研究和开发工作，我们发现人们对积极参与音乐相关内容非常感兴趣。因此，我们将歌词动画作为视觉传达歌词（歌曲的重要组成部分）的一种手段，开始开发一个可以在网络上制作、制作和共享歌词动画的系统，并于2014年11月向研究人员发布。测试版作为测试发布。这次，我们显着提高了网络浏览器的可用性，现在我们能够通过选择歌词动画风格来立即改变视频的整体呈现方式，以及在外部网站上嵌入角色动画的能力。网络 API完成后，我们决定向公众开放该服务进行演示实验。
本研究是JST CREST“构建共生社会中与人类和谐的信息技术”研究领域的研究主题“实现内容共生社会的相似度可见的信息环境（研究代表：后藤正孝）”的一部分。
我们开发了一个系统，允许您使用网络上的歌曲和歌词内容来导演、制作和共享歌词动画，并且我们提供歌词动画制作支持服务。文字活跃（实时文本）”(http://textalivejp）向公众开放。文本活跃操作如下（图1）。
- 用户可以发送网站上发布的任何歌曲的网址（MP3 格式音频信号文件或歌曲/视频共享服务上的歌曲/视频）和歌词TextAliveTextAlive分析歌曲的内容以及歌曲与歌词的对应关系。
- 用户TextAlive上注册的歌曲时，原网站上的歌曲将被串流，歌词动画将同步绘制，让您用眼睛和耳朵欣赏歌曲和歌词。您可以从多种“风格”中进行选择，并立即切换整个视频的方向，从而轻松创建您最喜欢的歌词动画。
- 用户可以从“模板”中选择和编辑每个短语、单词或字符的详细作品，根据自己的喜好安排作品，并在网络上分享歌词动画。另外，其他用户还可以对共享歌词动画进行进一步编辑和创作衍生作品。
- 具有编程能力的用户可以编辑模板和模板调整界面，或者创建新的模板和模板调整界面。这些内容是文本活跃由于将在网站上共享，所有用户的生产能力将得到增强。
 |
| 图 1TextAlive操作概览 |
TextAlive具有以下三个特点。
1。您可以根据网络上的歌曲和歌词信息轻松创建歌词动画
用户输入发布歌曲和歌词的网页网址TextAlive，您可以观看歌词动画，其中歌词随着歌曲一起移动。使用AIST独特的音乐理解技术从音乐和歌词分析歌词动画歌词发声计时等信息在用户的浏览器上自动合成的。 （图2）。
用户可以通过在浏览器上选择“样式”来立即更改整个视频的方向，从而创建自己喜欢的歌词动画。您还可以通过从“模板”中选择和调整每个短语、单词或字符的效果来创建更详细的效果。这是通过 AIST 新开发的编程环境技术实现的，该技术允许根据歌词发音时间合成歌词动画的程序（样式）和控制角色变形和移动的程序（模板）在浏览器上执行和更新。
这样，通过使用音乐理解技术的分析结果和编程环境技术，即使是从未创建过歌词动画的用户也可以立即创建并欣赏与他们喜欢的音乐方向相匹配的歌词动画。
 |
| 图2 如何制作歌词动画 |
2。通过直观的界面和可轻松创建衍生作品的系统来支持人们的创造力
TextAlive提供三种编辑界面，让您轻松制作歌词动画。这使得没有视频制作经验的用户也可以创建自己的抒情动画。您还可以使用根据所选风格自动生成的歌词动画作为起点进行编辑，这大大减少了经验丰富的创作者的工作量（图 3）。
(a) 样式选择面板：通过简单的界面选择风格，您可以立即更改整个歌词动画并创建您最喜欢的歌词动画。
(b) 时间表：通过使用鼠标左右移动时间线光标，用户可以轻松找到他们想要查看的歌词。此外，自动分析的歌词发音时序显示为按短语、单词或字符着色的部分，通过向左或向右移动、扩展或压缩每个部分，用户可以编辑任何字符组或单个字符的歌词发音时序，并纠正自动分析结果中的错误。
(c) 编辑面板：当您在观看歌词动画时点击编辑按钮时显示。您可以从各种模板中选择时间轴上选择的短语、单词和字符的字体类型、大小和移动方式。此外，可以使用滑块等直观界面轻松进行模板调整。
此外，典型的视频共享服务通过在预先准备的多个静止图像之间快速切换来显示视频。因此，后期很难更改视频内容。另一方面TextAlive利用编程环境技术，在浏览器上实时运行样式、模板等程序，并显示歌词动画。因此，很容易将现有视频的效果应用于其他歌曲的视频，或者仅编辑视频的一部分，并且技术可以支持各种用户从单个作品创建多个衍生作品的文化。
 |
| 图3 编辑界面屏幕示例 |
| 歌词动画文本活跃您可以与其他用户共享编辑的动画和节目。用户不仅可以观看歌词动画，还可以创作并享受自己的衍生作品。 |
3。通过网络编程可以增强指导和编辑功能
TextAlive如果用户对预制模板不满意，则可以自行编程新模板。这是首创的功能，允许用户重写和更新在播放歌词动画时确定角色移动的算法，而无需关闭编辑界面。现场节目已经实现。此外，TextAlive的某些功能以 Web API 的形式公开，可以嵌入到其他网页中，从而允许程序员在他们创建的网页上显示歌词和角色动画以娱乐访问者。
提供两种方法作为用户进行编程的工具。
(a) 编程面板：TextAlive的界面之一）中的编程面板，您可以显示和编辑作为歌词动画模板准备的程序。编辑好的程序会立即运行，歌词动画也会更新。由于结果立即可见，因此该界面对于刚接触编程的用户来说很容易接受。此外，通过使用简单的符号向程序添加注释，可以向编辑面板添加滑块等界面，以便您调整模板的外观（图 4）。即使非编程用户也可以使用此界面来创建所需的效果。
(b) 网络 API：文本活跃发布的 Web API，您可以在网页上显示歌词动画、显示与歌词动画同步移动的内容以及对不限于歌词的文本内容进行动画处理。
 |
| 图 4 编程面板使用示例 |
| 模板中的程序叶数 (离开)的初始值从5更改为9，显示的红色圆圈的数量将会改变。最终屏幕显示添加到编辑面板的滑块，用于调整叶子数量。这样，通过为程序员提供接口，不会编程的用户也可以根据需要设置叶子的数量，让他们体现自己的生产意图。 |
任何人都可以通过网络浏览器使用的歌词动画制作支持服务。文字活跃(Text Alive)”将通过研发和运营不断推广。我们计划与业界合作，开发新开发的技术，该技术可以根据使用音乐理解技术自动分析歌曲内容所获得的信息自动生成内容，以及编程环境技术，该技术提供允许在内容查看和编辑之间平滑切换的接口，并将其应用于各种应用程序，包括音乐发行服务、不限于音乐的内容制作支持和编程教育。