当前位置:网者头条 >> 科学知识

克服AI的“灾难性遗忘”的新颖的回忆录

科学知识 2025-09-18 495

摘要:回忆录消耗的功率极少,并且与脑细胞相似。现在,研究人员介绍了具有重要优势的新型回忆:它们更强大,在更宽的电压范围内的功能,并且可以在模拟和数字模式下运行。它们的独特属性可以帮助解决“灾难性遗忘”的问题,在该问题中,人工神经网络突然忘记了以前学习的信息。...

他们消耗的功率很少,并且与脑细胞相似:所谓的回忆录。由伊利亚·瓦洛夫(Ilia Valov)领导的尤利希(Jülich)的研究人员现在介绍了新颖的回忆组件自然通讯与以前的版本相比,这具有重要的优势:它们在更广泛的电压范围内功能更强大,并且可以在模拟模式和数字模式下运行。这些属性可以帮助解决“灾难性遗忘”的问题,在该问题中,人工神经网络突然忘记了以前学习的信息。

克服AI的“灾难性遗忘”的新颖的回忆录

当深层神经网络接受新任务培训时,就会发生“灾难性遗忘”的问题。这是因为新的优化只会覆盖上一个。大脑没有这个问题,因为它显然可以调整突触变化的程度。现在,专家们也在谈论所谓的“化学性”。他们怀疑,只有通过这些不同程度的可塑性,我们的大脑才能永久学习新任务而不会忘记旧内容。新的备忘录也完成了类似的事情。

“它的独特属性允许使用不同的开关模式控制备忘录的调制,以至于不会丢失存储的信息。”

神经启发设备的理想候选人

现代计算机芯片正在迅速发展。他们的发展可能会从回忆录中得到进一步的提升 - 这个术语来自记忆电阻。这些组件本质上是带有内存的电阻:它们的电阻变化取决于施加的电压,并且与常规的开关元件不同,即使关闭电压,它们的电阻值仍将保持。这是因为回忆录可以发生结构变化 - 例如,由于原子沉积在电极上。

Ilia Valov说:“回忆元素被认为是在大脑上模拟的具有学习能力的,具有神经启发的计算机组件的理想候选者。”

尽管取得了很大的进步和努力,但组件的商业化仍比预期的要慢。这尤其是由于生产的失败率通常很高,产品的寿命很短。另外,它们对热产生或机械影响很敏感,这可能导致操作过程中频繁出现故障。 Valov说:“因此,基础研究对于更好地控制纳米级的过程至关重要。” “我们需要新的材料和切换机制来降低系统的复杂性并增加功能范围。”

正是在这方面,化学家和材料科学家与德国和中国同事现在已经能够报告一个重要的成功:“我们发现了一种从根本上进行了新的电化学回忆机制,该机制在化学上更稳定,” Valov解释说。该发展现已在《期刊》中介绍自然通讯

一种新机制

Valov解释说:“到目前为止,已经确定了两种主要机制,以实现所谓的双极重新者的功能:ECM和VCM。” ECM代表“电化学金属化”和VCM的“价变化机制”。

  • ECM MEMRISTORS在两个电极之间形成金属丝 - 一个微小的“导电桥”,在电压逆转时会改变电阻并再次溶解。这里的临界参数是电化学反应的能屏障(电阻)。这种设计允许低开关电压和快速切换时间,但是生成的状态是可变且相对短的。
  • VCM MEMRISTORS另一方面,不要通过金属离子的运动来改变电阻,而要通过修改所谓的Schottky屏障来改变电极和电解质之间的氧气的运动。此过程相对稳定,但需要高开关电压。

每种类型的Memristor都有其自身的优势和缺点。伊莉亚·瓦洛夫(Ilia Valov)解释说:“因此,我们考虑设计了一个结合两种类型的好处的回忆录。”在专家中,以前认为这是不可能的。瓦洛夫解释说:“我们的新概述者基于一个完全不同的原理:它利用了由金属氧化物制成的细丝,而不是像ECM这样的纯属金属。”这种细丝是由氧气和触觉离子的运动形成的,并且是高度稳定的 - 它永远不会完全溶解。瓦洛夫说:“您可以将其视为在某种程度上总是存在的细丝,只有化学修饰。”

因此,新颖的切换机制非常健壮。科学家还将其称为细丝电导率修饰机制(FCM)。基于此机制的组件具有多个优点:它们在化学上更稳定,对高温更具耐药性,具有更宽的电压窗口,并且需要较低的电压才能产生。结果,在制造过程中燃烧的组件较少,拒绝率较低,其寿命更长。

“灾难性遗忘”的透视解决方案

最重要的是,不同的氧化状态允许备忘录以二进制和/或模拟模式进行操作。虽然二进制信号是数字的,并且只能输出两个状态,但模拟信号是连续的,并且可以承担任何中间值。对于神经形态芯片而言,模拟和数字行为的这种组合特别有趣,因为它可以帮助克服“灾难性遗忘”的问题:深神经网络删除了他们在接受新任务的培训时所学到的知识。这是因为新的优化只会覆盖上一个。

大脑没有这个问题,因为它显然可以调整突触变化的程度。现在,专家们也在谈论所谓的“化学性”。他们怀疑,只有通过这些不同程度的可塑性,我们的大脑才能永久学习新任务而不会忘记旧内容。新的欧姆熟人完成了类似的成就。 Valov说:“其独特的属性允许使用不同的开关模式来控制Memristor的调制,从而不会丢失存储的信息。”

研究人员已经在模拟中的人工神经网络模型中实现了新的回忆组件。在几个图像数据集中,系统在模式识别方面达到了高度的准确性。将来,团队希望寻找其他材料的备忘录,这些材料可能比此处介绍的版本更好,更稳定。瓦洛夫可以肯定:“我们的结果将进一步推动电子设备的电子设备开发。”

相关推荐
友情链接