摘要:收听一首旧的,备受喜爱的歌曲的第一笔记。你能说出那首曲子吗?恭喜,如果可以的话,这是您的关联记忆的胜利,其中一条信息(前几个音符)触发了整个模式(歌曲)的记忆,而无需您实际上再次听到歌曲的其余部分。我们使用这种方便的神经机制来学习,记住,解决问题并普遍浏览我们的现实。...
收听一首旧的,备受喜爱的歌曲的第一笔记。你能说出那首曲子吗?恭喜,如果可以的话,这是您的关联记忆的胜利,其中一条信息(前几个音符)触发了整个模式(歌曲)的记忆,而无需您实际上再次听到歌曲的其余部分。我们使用这种方便的神经机制来学习,记住,解决问题并普遍浏览我们的现实。
加州大学圣塔芭芭拉(UC Santa Barbara)机械工程教授弗朗切斯科·布洛(Francesco Bullo)说:“这是一种网络效应。 “内存存储和内存检索是在整个神经元网络上发生的动态过程。”
1982年,物理学家约翰·霍普菲尔德(John Hopfield)将这种理论神经科学概念转化为人工智能领域,并通过霍普菲尔德网络的表达方式将其翻译成人工智能领域。在这样做的过程中,他不仅提供了一个数学框架来了解人脑中的记忆存储和检索,而且还开发了第一个经常发生的人工神经网络之一 - Hopfield Network-以其从嘈杂或不完整输入中检索完整模式的能力而闻名。霍普菲尔德(Hopfield)因2024年的工作而获得诺贝尔奖。
然而,根据Bullo和合作者Simone Betteti,Giacomo Baggio和Sandro Zampieri的意大利大学意大利大学,传统的Hopfield网络模型非常有力,但并没有讲述新信息如何指导记忆的完整故事。他们在《科学杂志》上发表的一篇论文中说:“值得注意的是,外部投入的作用在很大程度上尚未探索,从它们对神经动态的影响到它们如何促进有效的记忆检索。”研究人员提出了一种记忆检索模型,他们说的是我们如何体验记忆的描述。
布洛解释说:“这些大型语言模型的现代版本的机器学习系统 - 它们并不是真正的记忆。” “您提起及时,您将获得输出。但这与我们理解和处理动物世界中的记忆的方式不同。”尽管LLM可以返回听起来令人信服的回答,但它借鉴了他们所喂养的语言的模式,但它们仍然缺乏动物实际现实世界的基本推理和经验。
该论文的主要作者贝蒂蒂说:“我们体验世界的方式是更连续,更少的起点。”他补充说,Hopfield模型上的大多数治疗方法都倾向于对待大脑,就像是计算机一样,具有非常机械的视角。 “相反,由于我们正在制定记忆模型,因此我们希望从人类的角度开始。”
启发理论家的主要问题是:当我们体验到周围的世界时,我们收到的信号如何使我们能够检索回忆?
正如霍普菲尔德所设想的那样,它有助于从能量景观中概念化记忆检索,其中山谷是代表记忆的能量最小值。记忆检索就像探索这种景观一样。认识是当您陷入其中一个山谷时。您在景观中的起始位置是您的初始状况。
布洛说:“想象一下你看到猫的尾巴。” “不是整个猫,而只是尾巴。关联记忆系统应该能够恢复整个猫的记忆。”根据传统的Hopfield模型,他解释说,猫的尾巴(刺激)足以使您最接近标有“猫”的山谷,将刺激视为初始状况。但是,您是如何首先到达那个地方的呢?
布洛说:“经典的霍普菲尔德模型没有仔细解释看到猫的尾巴如何使您进入正确的位置,以跌落到山上并达到最低能量。” “您如何在存储这些记忆的神经活动的空间中四处走动?这有点不清楚。”
研究人员的输入驱动可塑性(IDP)模型旨在通过逐渐整合过去和新信息的机制来解决这种缺乏清晰度,从而将记忆检索过程引导到正确的内存。研究人员没有在原始的Hopfield网络模型的相当静态能量景观上应用两步算法的内存检索,而是描述了动态,输入驱动的机制。
Bullo说:“我们主张这样的想法,即受到外部世界的刺激(例如,猫尾的形象),它同时改变了能量景观。” “刺激简化了能量景观,因此无论您的初始位置如何,您都会滚动到对猫的正确记忆中。”研究人员说,IDP模型对噪声非常有力 - 输入含糊,模棱两可或部分遮盖的情况 - 实际上,实际上使用噪声来滤除较不稳定的记忆(该能量景观的较浅的山谷),以支持更稳定的噪声。
贝蒂蒂说:“我们从一个事实开始:当您注视着一个场景时,您的目光会在场景的不同组成部分之间发生变化。” “因此,在每一次瞬间,您都会选择要关注的内容,但周围有很多噪音。”他解释说,一旦您锁定输入重点,网络会调整自身以优先考虑它。
选择要关注哪些刺激的人,也是另一个神经网络体系结构的主要机制,即变压器,它已成为诸如Chatgpt之类的大语言模型的核心。 Bullo说,尽管IDP模型从一个非常不同的初始点开始,” Bullo说,该模型有很大的潜力有助于设计未来的机器学习系统。
布洛说:“我们看到两者之间的联系,本文描述了这一点。” “这不是本文的主要重点,但是有一个奇妙的希望,即可能会调和这些关联记忆系统和大型语言模型。”