摘要：在发现了一种统一的算法，该算法将超过20种常见的机器学习方法链接起来，研究人员将它们组织成“机器学习周期表”，该算法可以帮助科学家结合不同方法的元素以改善算法或创建新的方法。...

麻省理工学院的研究人员创建了一个周期表，该表显示了如何连接20种经典的机器学习算法。新框架阐明了科学家如何从不同方法中融合策略以改善现有的AI模型或提出新模型。

例如，研究人员使用他们的框架结合了两种不同算法的元素来创建一种新的图像分类算法，该算法的执行比当前的最新方法要好8％。

周期表源于一个关键思想：所有这些算法都学会了数据点之间的特定关系。虽然每种算法可能以稍微不同的方式来实现这一目标，但每种方法背后的核心数学是相同的。

在这些见解的基础上，研究人员确定了一个统一的方程，该方程是许多经典AI算法的基础。他们使用该方程来重新构架流行方法并将其排列到表格中，并根据所学的近似关系对每个方法进行分类。

就像化学元素的周期表一样，最初包含了后来由科学家填充的空白正方形，机器学习的元素表也有空的空间。这些空间预测算法应该存在的位置，但尚未发现。

麻省理工学院的研究生Shaden Alshammari说，该表为研究人员提供了一个工具包，不需要从先前的方法中重新发现想法。

“这不仅仅是一个隐喻，”阿尔沙玛里补充说。 “我们开始将机器学习视为具有结构的系统，这是我们可以探索的空间，而不仅仅是猜测我们的道路。”

Google AI感知的研究员约翰·赫西（John Hershey）加入了她的纸上；麻省理工学院研究生Axel Feldmann；威廉·弗里曼（William Freeman），托马斯（Thomas）和杰德·珀金斯（Gerd Perkins）电气工程和计算机科学教授，计算机科学和人工智能实验室（CSAIL）的成员； Microsoft的MIT研究生兼高级工程经理Mark Hamilton和高级作家Mark Hamilton。该研究将在国际学习表现会议上介绍。

意外方程

研究人员并未着手创建机器学习的元素周期表。

加入Freeman Lab后，Alshammari开始研究聚类，这是一种机器学习技术，通过学习将相似图像组织到附近的群集中来对图像进行分类。

她意识到她正在研究的聚类算法类似于另一种被称为“对比度学习”的古典机器学习算法，并开始更深入地研究数学。 Alshammari发现，可以使用相同的基础方程来重塑这两种不同的算法。

汉密尔顿说：“我们几乎偶然地进入了这个统一的方程式。一旦Shaden发现它连接了两种方法，我们就开始梦想新的方法将新方法带入该框架中。几乎可以添加我们尝试的每个方法。”

他们创建的框架，信息对比学习（I-CON），显示了如何通过此统一方程式的镜头查看各种算法。它包括从可以检测垃圾邮件的分类算法到为LLM的深度学习算法的所有内容。

该方程描述了这种算法如何在实际数据点之间找到连接，然后在内部近似这些连接。

每种算法旨在最大程度地减少其学到的连接与培训数据中的实际连接之间的偏差量。

他们决定将I-CON组织到周期表中，以根据实际数据集中的点连接点以及算法可以近似这些连接的主要方式对算法进行分类。

Alshammari说：“这项工作逐渐发展，但是一旦我们确定了该方程式的一般结构，就更容易在我们的框架中添加更多方法。”

发现工具

当他们安排桌子时，研究人员开始看到可能存在算法的差距，但尚未发明。

研究人员通过从一种称为对比度学习的机器学习技术中借用想法并将其应用于图像群集来填补了一个差距。这导致了一种新算法，该算法可以比其他最先进的方法对未标记的图像分类8％。

他们还使用I-CON来展示如何使用用于对比度学习的数据偏见技术来提高聚类算法的准确性。

此外，灵活的周期表允许研究人员添加新的行和列来表示其他类型的数据点连接。

汉密尔顿说，最终，拥有I-CON作为指导可以帮助机器学习科学家从开箱即用的思考，以鼓励他们以不一定会想到的方式结合思想。

他补充说：“我们已经证明，仅植根于信息科学的一个非常优雅的方程式，为您提供了跨越100年的机器学习研究的丰富算法。这打开了许多新的发现途径。”

这项研究部分由空军人工智能加速器，国家科学基金会AI人工智能与基本互动研究所以及Quanta Computer资助。