摘要:神经网络是人工智能可以基于的一种典型结构。神经一词描述了他们的学习能力,在某种程度上,它们模仿了我们大脑中神经元的功能。为了能够工作,需要几种关键成分:其中之一是激活函数,将非线性引入结构。光子激活函数具有基于光传播的光学神经网络的重要优势。现在,研究人员已经在实验中显示了基于行进声波的全面控制激活函数。它适用于广泛的光学神经网络...
神经网络是人工智能可以基于的一种典型结构。一词›神经描述了他们的学习能力,在某种程度上,它们模仿了我们大脑中神经元的功能。为了能够工作,需要几种关键成分:其中之一是激活函数,将非线性引入结构。光子激活函数具有基于光传播的光学神经网络的重要优势。 Max Planck Light Institute(MPL)和Leibniz University Hannover(LUH)的Stiller研究小组的研究人员与MIT的Dirk Englund合作,已经在实验中表明了基于旅行声波的全方次控制激活功能。它适用于广泛的光学神经网络方法,并允许在所谓的合成频率维度中运行。
人工智能(AI)被广泛使用和设计用于增强人类技能,例如数据分析,文本生成和图像识别。在许多领域,其表现超过了人类的表现,例如在速度方面。手动执行时需要花费很多小时的工作可以在几秒钟内完成。
除其他选择外,AI可以基于受大脑启发的人工神经网络。与人脑中的神经元类似,神经网络的节点与非常复杂的结构相连。目前,它们最常使用数字连接实现。诸如大语言模型之类的培训人工智能方面的最新经验清楚地表明,他们的能耗很大,并且在接下来的几年中会呈指数增长。因此,科学家正在深入研究解决方案,并考虑可以支持或部分替代某些任务的电子系统的不同物理系统。这些网络可以基于光学材料,分子结构,DNA链甚至蘑菇结构的发展。
光学和光子学比常规电子系统具有许多优势
光学和光子学具有高度带宽和以高维符号编码的信息 - 这是我们通信系统加速的原因。光子系统已经非常先进,并且通常允许并行处理和与已建立的系统(例如基于光纤的全球互联网)的连接。扩大规模时,光子学还具有降低能源消耗的承诺。现在,研究小组正在利用这些资源和知识,以许多不同的方式实施光学神经网络。但是,必须应对许多关键挑战,例如光子硬件的提高和神经网络的可重构性。
基于首次演示的声波的全面控制激活函数
Stiller实验室中的研究人员在光声方面工作,特别是关于由声波介导的光学神经网络的挑战。为了升级光学神经网络,他们现在已经开发了一个可以全面控制的激活函数。该信息无需从光学域转换为电子域。这种开发是光子计算的重要步骤,即物理模拟计算替代方案,从长远来看,有望实现节能人工智能。神经网络的简单形式由传入信息的加权总和和非线性激活函数组成。非线性激活功能对于深度学习模型学习解决复杂的任务至关重要。在光学神经网络中,这些部分也可以在光子域中实现。对于加权总和 - 矩阵运算符 - 已经存在了许多光子方法。非线性激活函数并非如此,对于这种非线性激活函数,很少有方法可以通过实验证明。
“创建更节能的光学神经网络的长期前景取决于我们是否能够扩展物理计算系统,这是光子激活函数可能促进的过程。”研究小组负责人比尔吉特·斯蒂勒(Birgit Stiller)说。
光子非线性激活函数是人工神经网络中使用的非线性激活函数的光学等效物,但使用光子设备而不是电子设备实施。它将非线性引入光子计算系统,从而实现全光神经网络和光学机器学习加速器。激活函数的示例是Relu,Sigmoid或Tanh函数,它们可以将输入的加权总和转换为人工神经网络。
声波作为有效光子激活函数的调解人
MPL和LUH的Stiller研究小组的科学家与MIT的Dirk Englund合作,现已证明,声波可以成为有效的光子激活功能的中介。光学信息不必离开光学结构域,而是在光纤或光子波导中直接处理。通过刺激的布里渊散射的效果,光学输入信息会根据光强度的水平而发生非线性变化。
两位主要作者Grigorii Slinkov说:“我们的光子激活函数可以用多功能的方式调整:我们显示了Sigmoid,Relu和二次功能的实现,如果某些类型的任务需要,该概念也允许按需提高更多异国情调的功能。”另一位主要作者史蒂文·贝克尔(Steven Becker)补充说:“一个有趣的优势来自刺激的布里鲁因散射中的严格相匹配规则:可以单独解决的不同光学频率 - 用于并行计算,这可能会增强神经网络的计算性能。”
在光学神经网络中包含光子激活函数可保留光学数据的带宽,避免电声转换并保持信号的连贯性。借助声波对非线性激活函数的多功能控制允许在现有光纤系统和光子芯片中实现该方案。