公告/发布日期:2018/11/13

米乐m6官方网站 AI云计算系统“ABCI”实现了全球最快的深度学习学习速度

-超级计算机节能性能排名全球第4位-

积分

  • 支持外部用户的挑战,以最大限度地发挥 ABCI 的能力,称为 ABCI Grand Challenge
  • Sony research group breaks world record for deep learning learning speed at ABCI Grand Challenge
  • ABCI在共轭梯度法节能性能排名中取得全球第四名,在处理性能排名中取得全球第五名


摘要

米乐m6官方网站[所长:中钵良二](以下简称“AIST”)信息与人体工学领域[所长:关口聪]将挑战2018年8月1日开始运行的“AI桥接云基础设施”(以下简称“ABCI”)的能力极限ABCI Grand Challenge11月13日,索尼公司发布新闻稿称,在10月份举行的第二届ABCI Grand Challenge中,索尼公司(以下简称“索尼”)的研究小组大幅更新了深度学习的全球最快学习速度记录。还有全球超级计算机节能性能排名绿色 500 强名单,共轭梯度法HPCG 性能列表Green500榜单和HPCG性能榜单的结果于11月12日(中部标准时间)在美国德克萨斯州达拉斯举行的国际超级计算机会议国际高性能计算、网络、存储和分析会议(SC18)上公布。

在 10 月份举行的 ABCI Grand Challenge 上,索尼的研究小组ImageNet9121_9139ResNet-50,2176GPU,该过程在大约37分钟内完成,大大缩短了中国腾讯在7月份创下的66分钟的记录。此外,根据与 ABCI Grand Challenge 一起进行的基准测试,每瓦 14423千兆浮点运算,Green500排行榜全球第四。也是在六月500强名单位居全球第五位之后,它在 HPCG 性能排行榜上也以 50885 teraflops 排名全球第五位。

AIST 将通过 ABCI Grand Challenge 继续支持人工智能领域最重要的挑战,这些挑战只有 ABCI 的高计算能力才能实现。

 

ABCI 照片 冷却系统照片 AI数据中心大楼照片
左:ABCICompute node机架部分,中:冷却系统部分,右:AI 数据中心大楼


发展的社会背景

ABCI 是一个大规模、节能、基于云的计算系统,可实现先进的人工智能处理,并于 2018 年 8 月 1 日开始运营,作为经济产业省“人工智能全球研究中心发展项目”(2016 财年第二次补充预算)的一部分。作为日本人工智能技术发展的开放、先进的高速计算平台,该系统旨在促进产学官协作和多种企业的使用,加速利用高算力的人工智能技术的研究、开发和示范,促进社会实施,应对人工智能领域最重要的挑战。它由AIST人工智能研究中心和AIST-Tokyo Tech现实世界大数据计算开放创新实验室(RWBC-OIL)设计和开发,并建在AIST柏中心的AI数据中心大楼内。 ABCI配备了4,352个高性能、节能的GPU,并以接近外界空气温度的水直接冷却处理单元和其他部件,打造了一个正在实际使用的世界级、节能的云计算系统。

Research history

AIST 自 2018 财年起一直在实施一项名为 ABCI Grand Challenge 的公开招聘计划,以促进利用 ABCI 解决人工智能领域最重要问题的挑战。在该计划中,我们邀请国内大学、公共研究机构和私营公司的人员提交与人工智能相关的具有挑战性的项目,该项目在 ABCI 上使用最多 1088 个节点(4352 个 GPU)进行长达 24 小时的大规模处理,每次大约会选出两个项目。对于入选的项目,我们将提供免费进行ABCI大挑战赛和小规模排练的机会。 2018财年,我们计划总共进行3次公开招聘。 Please note that when using米乐m6官方网站共享高性能计算机 ABCI 使用条款和条件中规定的事项

在第一次公开征集中,从国立大学法人东京工业大学(以下简称“东京工业大学”)、索尼和富士通实验室有限公司选出了三份提案,该活动于 7 月开始运营之前举行。在第二轮公开征集中,东京工业大学和索尼公司选出了两个项目,项目于10月举行。第一节和第二节中总共有五个挑战,解决了使用 ImageNet 的图像分类数据集以大规模并行方式高速执行 ResNet-50 训练的常见挑战,而无需使用 ABCI 的大量 GPU 降低准确性。 Green500 名单和 HPCG 绩效名单的基准测量是与第二届 ABCI Grand Challenge 一起进行的。第三轮公开招聘将于11月底结束,1月底举行。

Research content

学习速度对于适合图像处理的深度学习非常重要。深度学习算法的性能评估之一是国际基准,它使用 ImageNet 的图像分类数据集来比拼 ResNet-50 的学习速度。在使用大规模 GPU 的分布式深度学习中,批量大小becomes huge, and learning speed also decreases because the communication overhead between GPUs becomes a bottleneck通过将索尼开发的方法应用于ABCI,使用2176个GPU在约37分钟内完成,超过了中国腾讯在7月份创下的66分钟的记录,成为迄今为止世界上最快的深度学习处理。 In addition, this challenge is called Singularity provided by ABCIContainer middleware执行,是世界上使用容器进行分布式处理的最大示例之一。

ABCI 用户是此次挑战的基础神经网络库 (NNabla)这项研究的一些结果发表如下。

224 秒内完成 ImageNet/ResNet-50 训练[PDF:523KB]

此外,ABCI 在 6 月份的 Green500 榜单中排名全球第 8 位,但这次我们更新了之前的排名,通过执行针对每瓦 14423 gigaflops 每瓦性能优化的新测量,排名上升至第 4 位。

此外,它还以 50885 teraflops 的速度在 HPCG 性能排行榜上排名全球第五,展示了其在运行工业用途等实际应用中的优越性。

未来计划

ABCI 因其优异的性能和省电特性而受到认可,于 2018 年 8 月开始全面运营。在全面运营中,我们将构建 ABCI 使用服务,以提供经过训练的模型、开放数据和经过训练的数据集。利用ABCI,促进产学官合作和多种企业的使用,加快利用高算力的人工智能技术的研究、开发和示范,促进社会实施,支持对人工智能领域最重要问题的挑战。此外,我们还将开展大数据利用的系统协调技术和大规模数据分析技术的研究和开发,以及识别操作问题并将其与研究联系起来,以推进计算平台建设技术。



术语解释

◆ABCI Grand Challenge
由 AIST 运营的公共挑战计划,旨在鼓励使用 ABCI 对人工智能领域最重要的问题提出挑战。选定的项目将有权访问 ABCI 最多 1088 个节点(4352 个 GPU),时间最长为 24 小时。[Return to source]
◆绿色500强名单
针对近期绿色化趋势,将TOP500榜单中超级计算机的功耗性能值(速度性能值/功耗)从第1位排到第500位的列表。
https://wwwtop500org/green500/
*ABCI ranked 8th in June 2018 ranking
2018 年 6 月 26 日 AIST 新闻稿 [Return to source]
◆共轭梯度法
大规模联立线性方程的迭代解之一。据了解,与预处理相结合时,其求解速度比直接法更快,在计算机模拟领域的工业应用等实际应用中得到广泛应用。[返回来源]
◆HPCG性能列表
每六个月使用共轭梯度法对基准 HPCG(高性能共轭梯度)的性能值进行排名的列表,从第 1 名到第 500 名。
https://wwwtop500org/hpcg/ [返回来源]
◆ImageNet
斯坦福大学从互联网收集的图像数据集。用作一般图像识别的基准。[返回来源]
◆ResNet-50
微软亚洲研究院(MSRA)于2015年公布的神经网络模型。常用于图像识别领域。[返回来源]
◆GPU(图形处理单元)
它最初是专用于计算机图形的处理器,但随着图形处理变得更加复杂,其性能和多功能性随之提高,现在已发展成为用于高性能计算的通用矢量/矩阵处理器。它也被广泛用于加速深度学习。[返回来源]
◆千兆次浮点运算、万亿次浮点运算
FLOPS(每秒浮点运算数)表示一秒钟内可以执行的浮点运算数。 Giga(10 的 9 次方)和 Tera(10 的 12 次方)是前缀。[返回来源]
◆TOP500榜单
A list that ranks the benchmark speed performance values of supercomputers from 1st to 500th in the world every six months
https://wwwtop500org/ [Return to source]
◆计算节点
构成计算系统的计算机的最小单元。它由CPU、GPU等算术处理单元、内存、二级存储等组成,主要进行计算处理。[返回来源]
◆产业技术综合研究所共享高性能计算机ABCI使用条款
ABCI 可由 AIST 以外的公司在外部使用。这些条款和条件是适用于外部使用的规定的集合。
https://abciai/ja/how_to_use/customhtml [返回来源]
◆批量大小
用于更新深度学习学习模型的数据数量。在分布式深度学习中,同时使用多个 GPU 来并行更新学习模型,因此批量大小为“每个 GPU 的数据数 x GPU 的数量”。[Return to source]
◆Container middleware
容器是一种轻量级虚拟化环境。容器中间件是基于容器的、能够轻松分发、安装、执行和复用软件的中间件。 Singularity是劳伦斯伯克利国家实验室开发的容器中间件,适用于大规模云计算系统。[返回来源]
◆神经网络库(NNabla)
A framework developed by Sony that streamlines deep learning research, development, and implementation[返回来源]


相关文章


联系我们

查询表