摘要：研究人员制定了一种提高机器学习模型的可信赖性的技术，这可以帮助提高AI预测在此类医疗保健的高风险环境中的准确性和可靠性。...

医学成像的歧义可能会给试图识别疾病的临床医生带来主要挑战。例如，在胸部X射线中，胸腔积液（肺部流体异常积聚）看起来非常像肺浸润，这是脓或血液的积累。

人工智能模型可以通过帮助识别细微的细节并提高诊断过程的效率来帮助临床医生进行X射线分析。但是，由于一个图像中可能存在许多可能的条件，因此临床医生可能希望考虑一组可能性，而不仅仅是有一个AI预测进行评估。

产生一组可能性的一种有希望的方法，称为共形分类，很方便，因为它可以轻松地在现有的机器学习模型的基础上实现。但是，它可以产生不切实际的集合。

麻省理工学院的研究人员现在已经开发了一种简单有效的改进，可以将预测设置的规模降低30％，同时还可以使预测更加可靠。

具有较小的预测集可以帮助临床医生在正确的诊断中更有效地进行零，这可以改善患者的治疗方法。该方法在一系列分类任务中可能很有用 - 例如，用于识别野生动植物公园中图像中动物的物种，因为它提供了一组较小但更准确的选项。

Divya Shanmugam Phd '24说，考虑到更少的选择，考虑到更少的选择，您在更少的选择之间选择了一组预测，因为您在更少的选择之间进行了选择。

Helen Lu '24在纸上加入了Shanmugam；斯瓦米·桑卡纳拉亚扬（Swami Sankaranarayanan）是前麻省理工学院博士后，现在是Lilia Biosciences的研究科学家； MIT计算机科学与电气工程教授Dugald C. Jackson教授以及MIT计算机科学与人工智能实验室（CSAIL）的成员。该研究将在6月的计算机视觉和模式识别会议上介绍。

预测保证

用于高风险任务的AI助手，例如在医学图像中对疾病进行分类，通常旨在产生概率分数以及每个预测，以便用户可以评估模型的信心。例如，模型可能预测图像的可能性为20％，对应于特定的诊断，例如胸膜炎。

但是很难相信模型的预测信心，因为许多先前的研究表明这些概率可能不准确。通过共形分类，模型的预测被一组最可能的诊断所取代，并保证正确的诊断在集合中。

但是，AI预测中固有的不确定性通常会导致模型的输出集太大而无法有用。

例如，如果模型将图像中的动物分类为10,000种潜在物种之一，则它可能会输出200个预测，因此可以提供强大的保证。

Shanmugam说：“有几个课程可以让某人筛选出正确的课程。”

该技术也可能是不可靠的，因为对输入的微小变化，例如稍微旋转的图像，可以产生完全不同的预测集。

为了使共形分类更有用，研究人员应用了一种技术来提高称为测试时间增强（TTA）的计算机视觉模型的准确性。

TTA在数据集中创建了单个图像的多个增强，也许是通过裁剪图像，将其翻转，放大等。然后，它将计算机视觉模型应用于同一图像的每个版本并汇总其预测。

Shanmugam解释说：“通过这种方式，您可以从一个示例中获得多个预测。以这种方式汇总预测可以改善准确性和鲁棒性的预测。”

最大化精度

为了应用TTA，研究人员掌握了用于保形分类过程的一些标记的图像数据。他们学会汇总这些持有数据的增强，以最大化基础模型预测的准确性自动增强图像。

然后，他们对模型的新的，TTA转换的预测进行了共同分类。共形分类器为相同的置信度保证提供了一组较小的可能预测。

Shanmugam说：“将测试时间的增加与保形预测相结合非常易于实施，在实践中有效，并且不需要模型再培训。”

与在几个标准图像分类基准中进行保形预测的先前工作相比，其TTA增强方法将跨实验的预测集降低到10％至30％。

重要的是，该技术可实现预测设置尺寸的减少，同时保持概率保证。

研究人员还发现，即使他们牺牲了一些通常用于保形分类程序的标签数据，但TTA仍足以提高准确性，以超过丢失这些数据的成本。

Shanmugam说：“这提出了关于我们在模型培训后如何使用标记的数据的有趣问题。在不同的培训步骤之间分配标记的数据是未来工作的重要方向。”

将来，研究人员希望在对文本而不是图像进行分类的模型的背景下验证这种方法的有效性。为了进一步改善工作，研究人员还在考虑减少TTA所需的计算量的方法。

这项研究部分由Wistrom Corporation资助。