摘要：研究人员已经使用三元梯度开发了一种新的二进制神经网络（BNN）方案，以应对物联网边缘设备的计算挑战。他们引入了基于磁性RAM的内存架构，可大大降低电路尺寸和功耗。与传统的BNN相比，他们的设计达到了几乎相同的准确性和更快的训练时间，这使其成为在资源有限的设备（例如IoT系统中使用的设备）中有效实施的有前途的解决方案。...

毫无疑问，在过去的十年中，有两个广泛的技术领域正在发展速度越来越快：人工智能（AI）和物联网（IoT）。通过在数据分析，图像识别和自然语言处理等任务中出色，AI系统在学术和行业环境中无可否认地变得强大的工具。同时，微型化和电子产品的进步使大大降低能够连接到互联网的功能设备的大小。工程师和研究人员都可以预见到一个无处不在的物联网设备的世界，包括一个高度相互联系的世界。

但是，将AI功能带到IoT Edge设备带来了重大挑战。人工神经网络（ANNS） - 最重要的AI技术之一 - 需要大量的计算资源。同时，物联网边缘设备本质上很小，功率有限，处理速度和电路空间。开发可以在边缘设备上有效学习，部署和操作的ANN是一个主要障碍。

作为回应，东京科学大学的Takayuki Kawahara教授和Yuya Fujiwara先生正在努力为这项挑战寻找优雅的解决方案。在2024年10月8日在IEEE Access发表的最新研究中，他们引入了一种新颖的培训算法，用于一种特殊类型的ANN二进制神经网络（BNN），以及该算法的创新实现，以一种适用于IOT Depectection的高级计算机（CIM）体系结构。

卡瓦哈拉解释说：“ BNN是使用-1和+1的权重和激活值仅使用-1和+1的ANN，它们可以通过将最小的信息单位减少到一点点来最大程度地减少网络所需的计算资源。为在物联网边缘方面的BNN提供学习能力。”

为了克服这一点，研究人员开发了一种新的培训算法，称为三位梯度BNN（TGBNN），其中包含三个关键创新。首先，它在训练过程中采用三元梯度，同时保持重量和激活二进制。其次，他们通过估算器（Ste）提高了直接的，改善了对梯度反向传播的控制，以确保有效学习。第三，他们通过利用MRAM细胞的行为来采用一种概率方法来更新参数。

之后，研究团队在CIM体系结构中实施了这项小说的TGBNN算法 - 一种现代设计范式，该范式直接在记忆中直接执行计算，而不是在专用的处理器中进行计算，以节省电路空间和功率。为了实现这一点，他们开发了一个全新的Xnor逻辑门作为磁随机存储器（MRAM）阵列的构建块。该门使用磁性隧道连接处将信息存储在其磁化状态。

为了改变单个MRAM细胞的存储值，研究人员利用了两种不同的机制。第一个是自旋轨道扭矩 - 将电子自旋电流注入材料时发生的力。第二个是电压控制的磁各向异性，它是指对材料中不同磁状态之间存在的能屏障的操纵。借助这些方法，将乘积计算电路的大小降低到常规单元的一半。

该团队使用MNIST手写数据集测试了他们提出的基于MRAM的CIM系统，用于BNN，其中包含ANN必须识别的单个手写数字的图像。 “结果表明，我们的三元梯度BNN使用错误校正的输出代码（ECOC）学习实现了超过88％的精度，同时匹配具有相同结构的常规BNN的准确性，并在训练过程中实现了更快的收敛性，” Kawahara指出。” “我们认为，我们的设计将使边缘设备上有效的BNN，从而保留其学习和适应能力。”

这一突破可以为能够在更大程度上利用AI的强大物联网设备铺平道路。这对许多快速发展的领域具有明显的影响。例如，可穿戴健康监测设备可能会变得更加高效，较小和可靠，而无需始终需要云连接才能运行。同样，智能屋将能够执行更复杂的任务并以更响应的方式运作。在这些和所有其他可能的用例中，拟议的设计也可以减少能源消耗，从而促进可持续性目标。