模拟表明,光子芯片运行光神经网络的效率是其电子芯片的1000万倍。

EURC

麻省理工学院的研究人员开发了一种新型的“光子”芯片,它使用光而不是电,而且在这个过程中消耗的能量相对较少。这种芯片可以用来处理大规模的神经网络,其效率是当今经典计算机的数百万倍。

神经网络是广泛应用于机器人目标识别等任务的机器学习模型。自然语言处理,药物开发,医学成像,为无人驾驶汽车提供动力。

新型光神经网络,利用光学现象加速计算,它的运行速度和效率都比它们的电子产品快得多。

消耗大量的能量


但是随着传统神经网络和光学神经网络的日益复杂,他们消耗了大量的电能。为了解决这个问题,研究人员和主要科技公司——包括谷歌,IBM特斯拉开发了“人工智能加速器”,专门的芯片可以提高训练和测试神经网络的速度和效率。

对于电子芯片,包括大多数人工智能加速器,理论上有最低能耗限制。最近,麻省理工学院的研究人员已经开始为光神经网络开发光子加速器。

这些芯片执行数量级的效率更高,但它们依赖于一些体积庞大的光学元件,这些元件限制了它们对相对较小的神经网络的使用。

在一个发表在“物理评论X”,麻省理工学院的研究人员描述了一种新的光子加速器,它使用更紧凑的光学元件和光信号处理技术,大幅降低功耗和芯片面积。

这使得芯片可以扩展到神经网络,比对应的芯片大几个数量级。

神经网络在mnist图像分类数据集上的模拟训练表明,加速器理论上可以处理神经网络,比传统电子加速器的能耗极限低1000万倍以上,比光子加速器的能耗极限低1000倍左右。

研究人员现在正在研制一种原型芯片来实验证明这一结果。

Ryan Hamerly说:“人们正在寻找一种可以计算出能源消耗基本极限以外的技术。”电子研究实验室的博士后。

“光子加速器是很有前途的……但我们的动机是建造一个(光子加速器)可以扩展到大型神经网络。”

这些技术的实际应用包括降低数据中心的能耗。“数据中心对运行大型神经网络的需求不断增长,随着需求的增长,计算变得越来越难处理,”合著者Alexander Sludds说,电子研究实验室的研究生。

其目的是“利用神经网络硬件满足计算需求……以解决能源消耗和延迟的瓶颈”。

论文中加入了Sludds和Hamerly:联合作者Liane Bernstein,一个RLE研究生;马林·索拉贾西奇,麻省理工学院物理教授;还有德克·恩格兰德,麻省理工学院电气工程和计算机科学副教授,RLE的研究人员,量子光子学实验室主任。

紧凑型设计


神经网络通过包含互联节点的许多计算层处理数据,称为“神经元”,在数据中查找模式。神经元接收来自其上游邻居的输入,并计算出一个输出信号,然后将其发送到下游的神经元。

每个输入也被分配一个“权重”,基于其对所有其他输入的相对重要性的值。随着数据在各层中“深入”传播,网络逐渐学习更复杂的信息。最后,输出层根据各层的计算生成预测。

所有人工智能加速器的目标都是在神经网络的特定线性代数步骤中减少处理和移动数据所需的能量,称为“矩阵乘法”。在那里,神经元和权重被编码成单独的行和列表,然后结合起来计算输出。

在传统的光子加速器中,脉冲激光编码的每一层神经元的信息流到波导和通过分束器。

送入正方形光学元件网格


产生的光信号被送入一个方形光学元件的网格中,称为“马赫-森德干涉仪”,它被编程来执行矩阵乘法。

干涉仪,它用每个重量的信息编码,使用处理光信号和权重值的信号干扰技术来计算每个神经元的输出。

但有一个缩放问题:每个神经元必须有一个波导管,对于每个重量,必须有一个干涉仪。因为权重的数量和神经元的数量是平方的,那些干涉仪占用了大量的房地产。

“你很快就会意识到输入神经元的数量永远不会超过100个左右,因为你不能在芯片上安装那么多的组件,”哈默里说。“如果你的光子加速器不能每层处理100个以上的神经元,然后,很难在该体系结构中实现大型神经网络。”

研究人员的芯片依赖于更紧凑的,利用光信号对数据进行编码的节能“光电”方案,188betsport但矩阵乘法使用“平衡零差检测”。

这是一种在计算两个光信号的振幅(波高)的乘积后产生可测量电信号的技术。

光脉冲编码的信息输入和输出神经元的每个神经网络层-这是培训网络-通过一个单一的渠道流动。

用矩阵乘法表中整行权重信息编码的单独脉冲通过单独的通道流动。将神经元和重量数据传送到零差光电探测器网格的光信号。

光电探测器利用信号的振幅来计算每个神经元的输出值。每个检测器将每个神经元的电输出信号输入一个调制器,它把信号转换回光脉冲。光信号成为下一层的输入,等等。

设计只需要每个输入和输出神经元一个通道,只有神经元那样多的零动态光电探测器,不是重量。因为神经元总是比重量少很多,这样可以节省大量空间,因此,该芯片能够扩展到每层超过一百万个神经元的神经网络。

找到最佳位置


有了光子加速器,信号中有不可避免的噪音。注入芯片的光线越多,噪音越小,精度越高,但效率会非常低。

输入光越少,效率越高,但会对神经网络的性能产生负面影响。但有一个“最佳位置”,伯恩斯坦说,它在保持精度的同时,使用最小的光功率。

人工智能加速器的最佳工作点是以执行一次两个数相乘的单一操作(如矩阵相乘)需要多少焦耳来衡量的。

马上,传统的加速器是用皮科古尔测量的,或者一万亿分之一焦耳。光子加速器的测量单位是阿焦耳,效率提高了一百万倍。

在他们的模拟中,研究人员发现他们的光子加速器可以以亚阿焦耳效率工作。“你可以把光功率降到最低,在失去准确性之前。我们芯片的基本极限远低于传统的加速器……也低于其他光子加速器,”伯恩斯坦说。

//www.bjgzb.com/wp-content/uploads/2019/06/a1-14.jpg//www.bjgzb.com/wp-content/uploads/2019/06/a1-14-300x300.jpg大卫·奥里奥丹EURC人工智能,数据,麻省理工
麻省理工学院的研究人员开发了一种新型的“光子”芯片,它使用光而不是电,而且在这个过程中消耗的能量相对较少。这种芯片可以用来处理大规模的神经网络,其效率比现在的经典计算机要高出数百万倍。