米乐m6官方网站[理事长中钵良二]（以下简称“AIST”）分析测量标准研究部[研究主任野中英彦]纳米光谱研究组长宗泰首席研究员是多层次研究员人工神经网络深度学习开发了红外图像的可见光着色技术。因此，以前只能以单色或近似彩色显示的红外夜视图像现在可以以非常接近可见光下看到的颜色的颜色显示。
 |
| 图 1 |
由于近年来预防犯罪意识的增强，对安全摄像头、监控摄像头等安全摄像头的需求不断增加。然而，用于夜间摄影的传统红外摄影技术产生的图像是单色或近似彩色的。可见度有问题从减少显示器疲劳的角度来看，需要一种具有高可视性的摄影技术。
另一方面，使用深度学习机器学习近年来，由于计算机计算能力的提高和计算技术等基础技术的发展，其在语言、图像、音频、机器控制、优化技术等各个领域得到应用。与此开发相关的图像转换包括插图和动画的自动着色以及单色图像的着色等应用。另外，对于可见光图像和红外图像亮度信息
AIST 开发了红外彩色夜视摄影技术，仅使用红外照明即可捕获拍摄对象的彩色视频。2011 年 2 月 8 日、2012 年 12 月 3 日、2014 年 5 月 14 日AIST 新闻稿）。物质的颜色取决于其在可见光范围内的反射特性，但可见光范围内的反射特性与红外光范围内的反射特性之间存在差异。相关性是一种可见光着色技术，可根据相关性从红外图像中再现可见光下物体的颜色。但相关性较弱，无法完美再现被摄体的色彩。因此，我们致力于开发可见光着色技术，利用深度学习来更完美地再现被摄体颜色的红外图像。
这次可以提取和学习图像特征CNN之间的关系并可获知时间序列信息RNN的深度学习方法，我们开发了一种通过构建同时学习亮度信息和颜色信息的模型将红外静态图像和红外视频转换为可见光颜色的技术。
图 1 是用没有红外截止滤光片的普通相机拍摄的一组物体（例如碗和杯子）的图像。图1(a)为可见光下的正常彩色图像，图1(b)为红外照射下的正常红外图像，图1(c)为利用现有技术将红外图像转换为可见光颜色得到的图像(将中心波长为780 nm、870 nm、940 nm的图像分别转换为红、蓝、绿得到的图像)，图1(d)为图1(b)中的红外图像转换为可见光颜色的图像。采用新开发技术的光色。比较图1(c)和图1(d)，可以看出图1(d)中的颜色再现性得到了极大的改善，达到与图1(a)无法区分的程度。
虽然这里使用的是基于CNN的模型，但是通过改变输入图像来学习过度拟合抑制或普遍性方面的改进预计。因此，我们使用图1（b）及其镜像、反转和旋转图像作为输入图像，训练图1（a）及其镜像、反转和旋转图像作为教师图像，将图1（b）输入到训练模型中并进行变换以获得图1（d）。此时的转换时间约为30ms，可以进行实时转换。
此外，对于使用硅图像传感器的普通相机，在红外区域中，彩色滤光片的光谱特性在直至约 850 nm 之间都存在差异，因此图 1(b) 中的红外图像看起来是彩色的，但由于与单色图像相比信息量增加，因此我们也使用该光谱信息进行学习。通过使用在红外区域具有特殊光谱特性的相机（例如AIST开发的红外彩色夜视相机）拍摄的具有更多信息量的图像，可以进一步提高学习效率。
 |
| 图 2 |
另一方面，由于信息量比彩色图像小，因此学习时间较长，但也可以将红外单色图像转换为可见光彩色。图2是比色图表的照片；图2（a）是可见光下的正常彩色图像，图2（b）是红外照射下的正常红外单色图像（中心波长870 nm），图2（c）是常规红外彩色图像（中心波长780 nm，870 nm，940 nm），图2（d）是使用CNN模型将图2（b）转换的红外彩色图像。
 |
| 图 3 |
如图2(c)所示，传统的红外彩色图像很难对红外线容易穿透的纸张和布料等薄材料进行着色。通过使用光学彩色图像作为训练图像的深度学习，即使是在红外区域没有光谱信息的红外单色图像也可以转换为彩色，并且可以看出，与图2（c）相比，颜色再现性显着提高。
图 3 显示了转盘旋转时拍摄和记录的视频的两个特征帧，显示了一组红色、绿色和蓝色以太网连接器盖，它们放置在蓝色塑料板前面的转盘上。这里，图3(a)和(b)中，左上为一帧可见光视频，右上为一帧红外视频，左下为利用CNN模型转换红外视频得到的一帧红外彩色视频，右下为利用RNN模型转换红外视频得到的单帧红外彩色视频。
此外，这里我们使用了1153帧约38秒的红外视频和相应的可见光视频作为教师视频，使用CNN模型或RNN模型训练每个模型，并将红外视频输入到每个训练模型中以获得每个红外彩色视频。
由于 RNN 模型需要时间来学习，因此在图 3(a) 中，RNN 模型创建的图像存在一些粗糙度，这似乎是由于学习不足造成的，但在图 3(b) 中，RNN 模型创建的图像似乎优于 CNN 模型。当存在形状相似的物体时，根据图像特征估计颜色的 CNN 模型有时会混淆识别，但这似乎表明考虑时间序列信息之间关系的 RNN 模型已经改善了这一点。
通过进一步改进这项技术，预计它将应用于高度可见的安全摄像头和夜行动物的生态记录。
未来，我们将尝试通过提高深度学习模型的复杂度以及收集和训练大数据来提高泛化性，提高图像质量，实现更完美的色彩再现。