医疗影像人工智能（AI）不仅能分析脑部磁共振成像（MRI）并提示疾病可能性，还能用颜色标注对判断产生影响的脑部区域。结论与依据同时呈现，看上去更容易获得信任。
但AI标注的「依据」是否足够稳定，仍需单独核验。原因在于：如果对同一结构的AI仅改变训练起点、重新训练后却指向完全不同的脑部区域，那么最初给出的解释很可能只是特定训练过程中偶然出现的结果。
高丽大学人工智能学系克里斯蒂安·瓦尔拉文（Christian Wallraven）教授团队与高丽大学安岩医院放射科柳成惠、金甫奎、朴雅琳教授团队共同比较了多项用于评估医疗AI解释的指标，并于24日发布结果。研究显示，在反复训练后仍能衡量解释保持一致程度的「稳健性（Robustness）」与临床依据的吻合度最为稳定。
看似合理的解释与真正可信的解释并不相同
深度学习AI需要经过大量计算步骤才能输出结果，人类几乎不可能逐步追踪并理解这一过程。这也是为什么即便AI提示异常所见，医务人员也难以明确把握其作出该判断的原因。由于其内部机制如同无法从外部窥视的盒子，因此被称为「黑箱」问题。
为弥补这一不足而开发的技术，就是可解释人工智能（XAI）。它会将AI认为重要的脑区像地图一样标示出来，帮助医务人员用肉眼核对判断依据。
问题在于：对于这些生成的解释，目前缺乏明确的共同标准来判断究竟该信哪一种。尽管已有指标用于衡量解释在多大程度上忠实反映AI的真实判断过程、以及是否足够简洁易懂，但其能否准确指向具有临床意义的部位，仍未得到充分验证。
研究团队关注的稳健性，是指在仅改变训练起点、对同一结构的AI进行多次训练时，AI标注为重要的部位能在多大程度上保持相似的一项指标。分数越高，意味着该解释并非一次训练过程中偶然出现的结果，而是在重新训练后也会反复出现的稳定解释。
研究团队使用了英国生物样本库（UK Biobank）以及阿尔茨海默病神经影像计划（ADNI）的约4万例脑部MRI数据。团队将9种不同的深度学习模型与8种解释方法进行组合，开展了超过1万次模拟。
随后，研究团队将各项评估指标是否具有临床意义，与三项标准进行对照：将MRI影像按称为「体素」的小网格单位划分并分析脑组织形态差异的结果、脑区体积与疾病的关联性，以及放射科专科医生的判断。
仅有高准确率就足够吗
分析结果显示，既有指标中，用于衡量AI判断过程是否被正确反映的「忠实性」，以及评估解释是否足够简洁的「复杂性」等，与临床依据的相关性较低。即便采用同一种解释方法，只要AI模型结构不同，得分也可能出现大幅变化。
相比之下，稳健性在与脑形态及分区体积分析结果、以及放射科专科医生判断进行对照时，表现出相对一致的吻合度。即使AI模型结构发生变化，评估结果也不会大幅波动，计算效率同样良好。
瓦尔拉文教授表示：「本研究的意义在于，将评估医疗AI解释可信度的标准与临床依据进行了系统性连接。」
柳成惠教授指出：「要让医疗AI在真实诊疗现场得到应用，除了高诊断性能之外，还必须确认AI提出的判断依据在临床上是否合理且一致。」
不过，本研究主要围绕结构性脑部MRI及两项分析任务展开。稳健性在计算机断层扫描（CT）、X线、病理影像等其他医疗影像中是否同样具备相同水平的有效性，仍需进一步验证。
欧盟《人工智能法》将用于医疗器械等领域的部分AI归类为高风险系统，并要求其具备透明性、准确性、稳健性等。本研究表明，在评估医疗AI时，除诊断准确率外，还应考察AI给出的解释在反复训练后是否仍能保持一致。
研究结果已发表于国际学术期刊 《Medical Image Analysis》 6月16日网络版。
