摘要:训练神经网络的人工智能(AI)所需的巨大计算资源导致大量功耗。研究人员开发了一种更快的100倍,因此更节能的方法。参数没有采用迭代方法,而是基于概率直接计算的。到目前为止,结果的质量与现有迭代方法相当。...
训练神经网络的人工智能(AI)所需的巨大计算资源导致大量功耗。慕尼黑技术大学(TUM)的研究人员开发了一种快速100倍,因此更节能的方法。参数没有采用迭代方法,而是基于概率直接计算的。到目前为止,结果的质量与现有迭代方法相当。
大型语言模型(LLM)等AI应用已成为我们日常生活中不可或缺的一部分。所需的计算,存储和传输容量由消耗大量能量的数据中心提供。仅在德国,2020年约为160亿千瓦时,约占该国总能源消耗的1%。对于2025年,这一数字预计将增加到220亿千瓦时。
新方法的准确性更快100倍
在未来几年中,更复杂的AI应用程序的到来将大大提高数据中心容量的需求。这些应用程序将消耗大量能量来培训神经网络。为了抵消这一趋势,研究人员开发了一种训练方法,该方法的速度快100倍,同时获得与现有程序相当的准确性。这将大大减少培训的能耗。
人脑的工作启发了AI中的神经网络的功能,用于图像识别或语言处理等任务。这些网络由称为人造神经元的互连节点组成。输入信号使用某些参数加权,然后求和。如果超过定义的阈值,则将信号传递到下一个节点。要训练网络,通常使用正态分布的参数值的初始选择是随机分组的。然后对值进行逐步调整以逐渐改善网络预测。由于需要进行许多迭代,因此这种培训非常要求,并且消耗了很多电力。
根据概率选择的参数
物理增强机器学习教授Felix Dietrich及其团队开发了一种新方法。它们的方法没有迭代确定节点之间的参数,而是使用概率。他们的概率方法基于在训练数据中的关键位置的目标使用,在训练数据中,值发生了较大和快速的变化。当前研究的目的是利用这种方法从数据中获取能源持持势的动态系统。例如,此类系统会根据某些规则随着时间的流逝而发生变化,例如,在气候模型和金融市场中都可以找到。
费利克斯·迪特里奇(Felix Dietrich)说:“我们的方法可以通过最小的计算能力来确定所需的参数。这可以使神经网络的训练更快,因此更节能。” “此外,我们已经看到,新方法的准确性与迭代训练的网络相当。”