摘要：在面对新任务或必须适应数据更改时，更新深度学习/AI模型的过程在计算资源和能源消耗方面可能会带来巨大的成本。研究人员开发了一种新颖的方法来预测这些成本，使用户可以就何时更新AI模型以提高AI可持续性做出明智的决定。...

在面对新任务或必须适应数据更改时，更新深度学习/AI模型的过程在计算资源和能源消耗方面可能会带来巨大的成本。研究人员开发了一种新颖的方法来预测这些成本，使用户可以就何时更新AI模型以提高AI可持续性做出明智的决定。

北卡罗来纳州立大学的一份论文，一位计算机科学助理教授荣格·金（Jung-eun Kim）说：“有一些研究的重点是使深度学习模型培训更加高效。” “但是，在模型的生命周期中，它可能需要多次更新。一个原因是，正如我们在这里的工作所示，与从头开始训练新模型相比，对现有模型的重新培训更具成本效益。

“如果我们想解决与深度学习AI相关的可持续性问题，我们必须研究模型的整个生命周期中的计算和能源成本 - 包括与更新相关的成本。如果您无法提前预测成本的时间，那么就不可能从事可持续性努力的类型，使我们的工作成为可能。这使我们在这里特别有价值。”

培训深度学习模型是一个计算密集的过程，用户希望尽可能长时间地进行AI。但是，可能会发生两种类型的轮班，使这些更新不可避免。首先，可能需要修改AI执行的任务。例如，如果最初仅将模型分类为数字和流量符号，则可能需要修改任务以识别车辆和人类。这称为任务转移。

其次，数据用户向模型提供的数据可能会发生变化。例如，您可能需要使用一种新的数据，或者您正在使用的数据是以不同的方式进行编码。无论哪种方式，都需要更新AI以适应更改。这称为分配变化。

Kim说：“无论是什么推动了更新的需求，对于AI从业者来说，对更新所需的计算需求进行现实估计非常有用。” “这可以帮助他们做出有关何时进行更新的明智决定，以及他们需要多少计算需求才能进行更新的预算。”

为了预测计算和能源成本的含义，研究人员开发了一种新技术，他们称之为代表性偏移量化估计器（Resque）。

本质上，Resque允许用户比较数据集，即最初将深度学习模型培训到新数据集中，该数据集将用于更新模型。进行比较的方式是估计与进行更新相关的计算和能源成本。

这些成本作为单个指数值表示，然后可以将其与五个指标进行比较：时期，参数变化，梯度规范，碳和能量。时期，参数变化和梯度规范是衡量重新训练模型所需的计算工作量的所有方法。

Kim说：“但是，为了在更广泛的可持续性环境中提供有关这意味着什么的见解，我们还告诉用户将需要在千瓦时需要多少能量来重新培训该模型。” “而且我们预测，以公斤为单位的碳将被释放到大气中，以提供这种能量。”

研究人员进行了广泛的实验，涉及多个数据集，许多不同的分配变化以及许多不同的任务转移，以验证Resque的性能。

Kim说：“我们发现，Resque预测与进行深度学习模型更新的现实成本非常紧密。” “此外，正如我之前指出的那样，我们所有的实验发现都告诉我们，从头开始培训新模型比重新验证现有模型需要更多的计算能力和能量。”

在短期内，Resque是需要更新深度学习模型的任何人的有用方法。

Kim说：“ Resque可用于帮助用户预算计算资源以进行更新，让他们预测更新的时间，依此类推。”

“从更大的角度来看，这项工作对整个生命周期中与深度学习模型相关的成本有了更深入的了解，这可以帮助我们做出与模型的可持续性以及如何使用相关的明智的决定。因为如果我们希望AI可行且有用，这些模型必须不仅是动态的，而且是可持续的。”