医療画像の人工知能（AI）は、脳の磁気共鳴画像（MRI）を解析して疾患の可能性を示すだけでなく、判断に影響した脳の部位を色で可視化することもできます。結論とあわせて根拠まで提示されるため、より信頼できそうに見えます。
ただ、AIが示した「根拠」が安定しているかどうかは、別途確かめる必要があります。同じ構造のAIを改めて学習させたときに、まったく別の脳部位を指し示すのであれば、最初に提示された説明は特定の学習過程で偶然生じた可能性があるためです。
高麗大学人工知能学科のクリスティアン・ワルラーベン教授の研究チームは24日、高麗大学安岩病院放射線科のユ・ソンヘ、キム・ボギュ、パク・アリム各教授のチームとともに、医療AIの説明を評価する複数の指標を比較したと発表しました。その結果、繰り返し学習しても説明がどれだけ一貫して維持されるかを問う「ロバストネス（Robustness）」が、臨床的根拠と最も安定して一致しました。
もっともらしい説明と、信頼できる説明は別物
ディープラーニングAIは、膨大な計算段階を経て結果を出します。人がこの過程を一つ一つ追って理解するのは、事実上困難です。AIが異常所見を示しても、なぜその判断に至ったのかを医療者が明確に把握しにくい理由です。外から内部をのぞけない箱のようだとして、これを「ブラックボックス」問題と呼びます。
これを補うために開発された技術が、説明可能人工知能（XAI）です。AIが重要とみなした脳領域を地図のように表示し、医療者が判断根拠を目で確認できるよう支援します。
問題は、こうして作られた説明のうち、何を信じるべきかを選別する共通基準が明確ではない点です。説明がAIの実際の判断過程をどれほど忠実に反映しているか、どれほど単純で理解しやすいかを測る基準は提案されてきましたが、臨床的に意味のある部位を適切に指し示しているかどうかは十分に検証されていませんでした。
研究チームが注目したロバストネスは、同じ構造のAIを学習開始点だけ変えて複数回訓練したとき、AIが重要だと表示する部位がどれほど似た形で維持されるかを見る指標です。スコアが高いほど、1回の学習過程で偶然出た結果ではなく、再学習しても繰り返し現れる安定した説明であることを意味します。
研究チームは、英国バイオバンクとアルツハイマー病神経画像イニシアチブ（ADNI）の脳MRI約4万件を活用しました。異なるディープラーニングモデル9種類と説明手法8種類を組み合わせ、1万回を超えるシミュレーションを実施しました。
続いて、各評価指標が臨床的に意味を持つかどうかを、3つの基準と照合しました。MRI画像を小さな格子である「ボクセル」単位に分けて脳組織の形態差を解析した結果、脳領域別の体積と疾患の関連性、放射線科専門医の判断をそれぞれ比較しました。
精度が高ければ十分なのか
解析の結果、AIの判断過程をどれほど適切に反映しているかを見る「忠実性」や、説明がどれほど単純かを評価する「複雑性」など既存の指標は、臨床的根拠との相関が低いことが分かりました。同じ説明手法でも、AIモデルの構造が変わるとスコアが大きく変動することもありました。
一方、ロバストネスは、脳形態と領域別体積の解析結果、放射線科専門医の判断と比較的一貫して一致しました。AIモデルの構造が変わっても評価結果が大きく揺れず、計算効率も良好でした。
ワルラーベン教授は「今回の研究は、医療AIの説明がどれほど信頼できるかを評価する基準を、臨床的根拠と体系的に結び付けた点に意義がある」と述べました。
ユ・ソンヘ教授は「医療AIが実際の診療現場で活用されるためには、高い診断性能だけでなく、AIが示した判断根拠が臨床的に妥当で一貫しているかどうかも確認する必要がある」と話しました。
ただし今回の研究は、構造的脳MRIと2つの解析課題を中心に行われました。ロバストネスがコンピュータ断層撮影（CT）、X線、病理画像など他の医療画像でも同程度の妥当性を示すかどうかは、追加検証が必要です。
欧州連合（EU）の人工知能法は、医療機器などに用いられる一部のAIを高リスクシステムに分類し、透明性や正確性、ロバストネスなどを求めています。今回の研究は、医療AIを評価する際、診断精度だけでなく、AIが提示する説明が反復学習でも一貫して維持されるかを確認すべきだという点を示しています。
研究結果は国際学術誌 《Medical Image Analysis》 の6月16日付オンライン版に掲載されました。
