公告/发布日期:2024/03/04

米乐m6官方网站 从理论上阐明使用自旋波提高物理储层计算机性能的条件

-节能AI硬件开发新视角-

演示要点

  • 我们在数学上阐明了波速和单元尺寸之间的关系,以在使用自旋波的物理储层计算机中实现高学习性能。
  • 我们通过物理模拟和理论计算证明,即使使用少量的输入/输出节点,也可以实现与传统系统最高性能相当的性能。
  • 这项成就为利用磁性元件开发 AI 硬件提供了新的视角。

摘要

近年来,社会对利用人工智能技术进行信息处理的需求快速增长。目前,神经网络(注1)的信息处理在电子计算机上使用大量的CPU(中央处理单元)和GPU(图像处理单元)来执行,导致高功耗。另一方面,由于人类以低功耗处理信息,水库计算(注2)和量子计算技术,正在世界范围内取得进展。

东北大学材料科学研究所 (WPI-AIMR) 和国立先进工业科学技术研究院 AIST/东北大学数学先进材料建模开放创新实验室副主任 Natsuto Yoshinaga 副教授、该大学跨学科科学前沿研究所的助理教授 Kenji Iihama、WPI-AIMR 的 Narumi Mizukami 教授和该大学先进自旋电子学研究与开发中心,以及大学工学研究科研究生小池裕也(研究时)铁磁材料(注3)薄膜旋转波(注4)预计比传统的储层计算器能够以更低的功耗实现更高的学习性能物理储层计算(注5)的设备的机制。

以自旋波作为信息载体的人工智能硬件的研究正在全球范围内取得进展,其中重要的问题之一是实现纳米、千兆赫兹的高学习性能和高能效。该研究小组研究了在金属纳米薄膜等铁磁材料中传播的自旋波。通过激励磁性材料的输入节点位置产生与时间序列数据成比例的幅度的自旋波,并通过在输出节点位置读出传播的自旋波,可以实现具有短期记忆和非线性转换能力的学习。混沌时间序列(注6)的预测是可能的。此外,通过数学分析,我们阐明了自旋波速度与优化学习性能的元素尺寸之间的关系。这些结果为利用磁性纳米技术开发低功耗信息处理设备提供了新的视角。

这项研究于3月1日(英国时间)发表在自旋电子学领域的专业期刊上npj 自旋电子学


详细说明

研究背景

近年来,社会对利用AI技术进行信息处理的需求快速增长。目前,使用神经网络的信息处理是在电子计算机上使用大量的CPU(中央处理单元)和GPU(图像处理单元)来执行的,导致高功耗。

另一方面,由于人类以低功耗处理信息,因此基于非传统概念(例如水库计算和量子计算技术)的科学技术信息处理的研究正在世界范围内取得进展。一个例子是使用磁性纳米技术进行物理储层计算(图 1)。物理油藏计算利用自旋波(磁振动和纳米级磁体发出的波)作为信息载体,并利用它们的叠加进行计算,在纳米级千兆赫频率下运行,有望以低功耗高效处理信息。先前的研究主要集中在使用磁性纳米技术和光学激光的物理储层研究。然而,为了在纳米尺度上实现高学习性能,研究按照新原理运行的物理储存器非常重要。

此举措

在这项研究中,我们重点关注在 4 纳米厚的铁磁薄膜中传播的自旋波。当微弱电流通过磁性材料时自旋注入扭矩(注7)产生这种现象与石头落到水面时波浪扩散的现象类似。波的振幅与流过它的电流的大小成正比,因此当用于信息处理的输入的时间序列作为电流传递时,该信息会以波的振幅传播到整个空间(图 1)。由于波的传播速度比光慢得多,因此可以通过测量不同位置的波振幅来检索过去的输入信息。

使用此属性,微磁模拟(注8)线性和非线性短期记忆容量(注9)是啊非线性自回归移动平均模型(注10)的预测等任务的学习性能。结果,我们发现与传统方法相比,可以用更少数量的物理节点实现高学习性能(图 2)。

我们还发现,可以使用描述磁性材料时滞响应的数学模型来理解这一结果。数学模型分析表明,当自旋波的传播速度与磁性材料的尺寸满足比例关系时,学习性能较高,而当不满足该条件时,学习性能会显着恶化(图3)。此外,我们发现利用自旋波进行物理油藏计算可以重现混沌时间序列的短期预测和全局轨迹,这些时间变化极其复杂且难以预测(图4)。

未来发展

在这项研究中,我们发现使用自旋波的铁磁薄膜物理储层计算机可以成为低功耗计算机的有用候选者。这项研究才刚刚开始,我们将继续研究旨在将其应用于人工智能硬件的研究,例如实际设备的开发和集成材料的特性。我们还将为数学研究的发展做出贡献,以了解在什么条件下物理油藏计算可以实现高学习性能。

图1

图 1 物理储层计算示意图,这是一种在磁性薄膜中使用自旋波的人工智能硬件应用。一种能够处理时间序列信息的设备,通过将输入时间序列转换为输出时间序列,可以预测输入时间序列的未来数据并存储和读取过去的数据。输入时间序列激发物理水库中物理节点的动态(上图黄点,下图蓝色圆柱),通过读出时间变化得到输出时间序列。在自旋波储层计算中,通过将与输入时间序列成比例的电流流到物理节点来激发自旋波。学习是利用该自旋波的传播来进行的。通过利用自旋波,我们可以实现高性能的纳米级储层计算机。

图2

图 2 在磁性薄膜和短期记忆任务学习中使用自旋波的非线性自回归移动平均模型的性能评估。在学习过程中,通过调整读出自旋波时每个物理节点的权重,可以获得接近正确答案(蓝线,左上图)的输出(红线,左上图)。当使用学习到的权重(红线,右上图)进行预测时,可以以非常小的误差重现正确答案(蓝线,右上图)。与传统磁技术相比,可以用更少的物理节点实现同等的学习性能。

图3

图3。我们从数学上阐明了为了实现最佳学习性能,物理存储库的大小和信息传播速度之间必须有一个条件。在这项研究中,物理储层使用自旋波,因此设备的尺寸可以根据其传播速度减小到亚微米级别。另一方面,在使用光学元件的系统中,信息以光速传播,从而产生巨大的物理存储库。

图 4

图 4 使用自旋波进行物理储层计算来预测混沌时间序列。左图显示了使用洛伦兹模型得到的混沌时间序列的轨迹。使用这个时间序列,我们进行了一项学习任务,询问是否有可能在给定特定时间的数据的情况下预测下一次的数据(见右图)。尽管由于初始值敏感性,混沌时间序列只能预测很短的时间(短期预测),但轨迹本身可以重现,这表明使用自旋波的物理储层能够学习模型的结构。

致谢

这项研究得到了 JST PRESTO (JPMJPR22B2)、新兴研究支持项目 (JPMJFR2140)、文部科学省下一代 X-NICS 半导体创建中心组建项目 (JPJ011438) 和日本学术振兴会 (JSPS) 科学研究援助基金 (A) 的支持(JP21H04648)。此外,本研究的一部分是利用AIST的AI Bridging Cloud(ABCI)和北海道大学信息技术中心的超级计算机提供的计算资源进行的。

 

论文信息

标题:波速和尺寸之间的通用缩放使得基于传播自旋波的纳米级高性能储层计算成为可能
作者:S Iihama、Y Koike、S Mizukami 和 N Yoshinaga
*通讯作者:吉永夏人,东北大学先进材料科学研究所副教授
已出版的杂志:npj 自旋电子学
DOI:101038/s44306-024-00008-5


术语解释

注1神经网络
一种机器学习模型,可以通过将输入数据转换为输出数据来执行任务。例如,在时间序列数据的情况下,任务是根据过去的天气信息(输入数据)预测未来的天气(输出数据),例如天气预报。首先,使用正确答案的输入和输出数据对来训练神经网络,然后使用经过训练的神经网络来执行预测等任务。[返回来源]
注释 2 储层计算
适合时序信息处理的机器学习方法之一。它可以被认为是一种循环神经网络。通过将输入时间序列转换为输出时间序列,可以执行诸如从时间序列数据到当前时间预测下一个时间的数据,或者存储和检索过去的数据等任务。它由时间序列输入部分、将输入数据转换为高维空间的存储部分和读取输出时间序列部分组成。当输入随时间变化时,储存器部分随时间变化。在循环神经网络中,储存库部分的节点之间的连接权重在学习过程中会更新,而在储存库计算中,储存库部分的权重不会更新,只更新读出部分的权重。因此,由于学习参数数量少且学习方法简单,因此可以实现快速且稳定的学习。[返回来源]
注3铁磁材料
一种具有大磁化强度的磁性材料,其中相邻的材料点内部沿相同方向自旋。[返回来源]
注4自旋波
磁性材料的行为就像有序排列的微观条形磁铁(旋转)。每次旋转都会随着时间的推移而改变方向,就像指南针摆动一样,这就变成了磁振荡。就像河流或海洋表面的波浪一样,磁振动也会产生磁波。与导电元件相比,与磁振动和波传播相关的能量消耗极小,并且由于它们在纳米级或纳秒时间尺度上运行,因此有望用作节能信息处理设备。[返回来源]
注5物理储层计算
由于水库计算不会更新水库部分的权重,因此可以用物理系统替换该部分。在本研究中,我们在这部分中使用铁磁薄膜中的自旋波传播。在这种情况下,计算机的大小和速度由物理系统的大小和速度决定。因此,利用磁性纳米技术,我们可以期望实现纳米级、千兆赫兹且低功耗的计算元件。[返回来源]
注释 6混沌时间序列
一种尽管根据确定性规则随时间变化但表现出看似不规则行为的现象。在自然界中可以通过多种方式观察到它,包括天体、天气、流体和生态种群的变化。本研究中使用的洛伦兹方程是气象学家爱德华·洛伦兹于1963年提出的天气现象学模型,由三变量常微分方程描述。由于初始值的微小差异会随着时间的推移呈指数级增长(初始值敏感性),因此混沌时间序列即使在短时间内也难以预测,而在长时间内则无法预测。然而,状态变量的轨迹具有像蝴蝶翅膀一样的特征结构(吸引子)。在储层计算中,我们成功地再现了这种结构。[返回来源]
注7自旋注入扭矩(自旋转移扭矩)
电子的自旋角动量作用于磁性层的自旋,当自旋极化的电子流动时产生旋转力(扭矩)的现象。当施加扭矩时,自旋进动,该进动传递到相邻的自旋并以波的形式传播。[返回来源]
注8微磁模拟
一种在计算机上对磁性材料内部自旋方向的时空变化进行数值模拟的方法。[返回来源]
注9线性短期记忆容量(MemoryCapacity)/非线性短期记忆容量(InformationProcessingCapacity)
一种针对时间序列数据的机器学习任务。水库计算的存储容量是通过计算从当前数据中可以恢复多少过去的数据来衡量的。在非线性短期记忆容量的情况下,通过计算是否可以恢复通过过去数据的非线性变换获得的值来与记忆能力一起测量非线性变换能力。[返回来源]
注释 10 非线性自回归移动平均模型 (NARMA)
一种数学模型,其中时间序列输入数据和输出数据之间的关系由包含时间延迟的非线性差分方程表示。使用此模型创建的时间序列通常用于评估油藏计算的性能。[返回来源]


联系我们

查询表