摘要：一种新的人工智能工具将来自医学图像的数据与文本结合在一起，以预测癌症的预后和治疗反应。...
视觉信息（例如，显微镜和X射线图像，CT和MRI扫描）与文本（考试笔记，不同专业医生之间的通信）融合在一起是癌症护理的关键组成部分。但是，尽管人工智能可以帮助医生审查图像和与异常形状的疾病相关异常有关，但很难开发可以包含多种类型数据的计算机模型。
现在，斯坦福医学的研究人员已经开发了一种AI模型，能够合并基于视觉和语言的信息。在对标准病理幻灯片的5000万次医学图像进行培训和与病理相关的文本超过10亿次的培训之后，该模型的表现优于预测数千名患有多种癌症的人的预后的标准方法，以识别哪些肺或胃食管治疗的人可能会受益于免疫疗法，并可能会受益于癌症患者，并且可能会受益于癌症。
研究人员将模型麝香命名为具有统一掩模建模的多模式变压器。马斯克代表着与当前在临床护理环境中使用人工智能的方式明显偏差，研究人员认为，它代表了人工智能如何指导患者护理的方式。
放射线肿瘤学副教授Ruijiang Li说：“麝香可以准确预测患有许多不同种类和癌症的人的预后。” “我们设计了马斯克，因为在临床实践中，医生从不依靠一种类型的数据来做出临床决策。我们想利用多种类型的数据来获得更多的见识并获得对患者结果的更精确的预测。”
李是斯坦福癌症研究所的成员，是该研究的高级作者，该研究于1月8日在自然。博士后博士和王王博士是研究的主要作者。
尽管人工智能工具越来越多地用于诊所，但它们主要用于诊断（该显微镜图像或扫描是否显示出癌症的迹象？），而不是预后（该人可能的临床结果是什么，哪种疗法对个人最有效？）。
挑战的一部分是需要在大量标记的数据上训练模型（例如，这是一个带有癌性肿瘤的肺组织的显微镜载玻片）和配对数据（以下是有关从中获得肿瘤的患者的临床注释）。但是很难仔细策划和注释的数据集。
现成工具
用人工智能术语来说，麝香就是所谓的基础模型。可以通过额外的培训来定制大量数据的基础模型，以执行特定的任务。由于研究人员设计了Musk来使用不符合培训人工智能的传统要求的未配对的多模式数据，因此计算机可以在其初始培训期间使用的数据池通过几个数量级扩展。通过此启动，任何随后的培训都是通过更小，更专业的数据集完成的。实际上，马斯克是医生可以微调以帮助回答特定临床问题的现成工具。
李说：“最大的未满足临床需求是医生可以用来指导患者治疗的模型。” “这个患者需要这种药物吗？还是我们应该专注于另一种类型的治疗？目前，医生使用疾病分期和特定基因或蛋白质等信息来做出这些决定，但这并不总是准确的。”
研究人员收集了组织切片的微观幻灯片，相关的病理报告和随访数据（包括来自国家数据库的患者如何表现）癌症基因组地图集，用于16种主要类型癌症的人，包括乳腺癌，肺，结直肠癌，胰腺，胰腺，胰腺，肾脏，肾脏，肾脏，膀胱，头部和颈部。他们使用这些信息来训练Musk来预测特定疾病的生存，或者在定义的时间段内未死于特定疾病的人的百分比。
对于所有癌症类型，马斯克在75％的时间里准确地预测了患者的疾病特异性生存。相反，基于人的癌症阶段和其他临床风险因素的标准预测是正确的64％。
在另一个例子中，研究人员培训了Musk使用数千位信息来预测哪些肺癌或胃部和食管的患者最有可能从免疫疗法中受益。
李说：“目前，关于是否给患者一种特定类型的免疫疗法的主要决心取决于该人的肿瘤是否表达了一种称为PD-L1的蛋白质。” “这是一种仅由一种蛋白质制成的生物标志物。相比之下，如果我们可以使用人工智能评估数百或数千个多种类型的数据，包括组织成像，以及患者人口统计学，病史，过去的治疗，过去的治疗和从临床注释中收集的实验室测试，我们可以更准确地确定谁可能会受益。”
对于非小细胞肺癌，Musk正确识别了从免疫治疗中受益的患者，大约有77％。相反，仅约61％的时间，基于PD-L1表达的预测免疫疗法反应的标准方法是正确的。
当研究人员训练Musk来确定哪些黑色素瘤患者最初治疗后五年内最有可能复发时，也获得了类似的结果。在这种情况下，该模型的时间约为83％，比其他基础模型产生的预测高约12％。
李说：“马斯克的独特之处在于能够将未配对的多模式数据纳入预处理中，这与其他模型所需的配对数据相比，该数据大大增加了数据的规模。” “我们观察到，对于所有临床预测任务，整合多种类型的数据的模型始终基于成像或文本数据的表现。利用这些类型的未配对的多模式数据与像Musk这样的人工智能模型，将是人工智能能力的重大进步来帮助医生改善患者护理。”
哈佛医学院的研究人员为这项工作做出了贡献。
这项研究由美国国立卫生研究院（R01CA222512，R01CA233578，R01CA269599，R01CA285456，R01CA290715和R01CA290715和R01DE030894）以及Stanford Institute for HumpoRementic Mutlaterics Intermectical Intermentelticence资助。
