ヒューマノイド手術ロボットに「目」が備わる? 肝臓手術の映像認識で従来を10ポイント上回るAI

| 入力:

サムスンソウル病院の「CurConMix+」 肝臓手術48件の学習データも研究者に公開

サムスンソウル病院が世界で初めて実演した手術用ヒューマノイドロボットに、目が備わる見通しです。同院の研究チームが、手術場面の文脈を自ら認識し、次の段階を能動的に予測するAIモデルを開発しました。写真=サムスンソウル病院

韓国の研究チームが、手術場面の文脈を認識する人工知能(AI)技術を開発しました。単に器具を認識するにとどまっていた従来のAIカメラから進化したもので、実用化されればロボットに視覚を搭載できると期待されています。

サムスンソウル病院は17日、知能型医療ロボット研究センターと移植外科の研究チームが、新たなAIモデル「CurConMix+」を開発したと発表しました。空間情報と時間的な文脈を併用し、細かな手術動作から手術全体の段階までを階層的に理解するのが特徴です。

カメラで手術場面を認識するAIは、以前からありました。ただ、従来のモデルは個々の場面で手術器具や医療者の特定の動作を認識することに重点を置いていました。一方、CurConMix+は、カメラで撮影した手術室の映像に含まれる空間的な特徴と、時間に沿った手術の流れをリアルタイムで統合的に解析します。研究チームは、人が手術の状況を認識する方法に似ていると説明しています。

手術室内の状況をリアルタイムで認識するAI

ロボットが手術室内の状況をリアルタイムで認識することは、ロボットによる手術支援システムを構築するために不可欠な前提とされています。ロボットが手術室に入り、決められた役割を果たすには、「今、手術がどの段階にあり、何が起きているのか」を把握する必要があるためです。

課題は、人には容易な「リアルタイムの認識」が、AIには極めて難しい点です。文脈や常識を基に情報を処理する人とは異なり、AIはすべてのデータを数値に変換して計算する必要があるため、突発的な変化や例外的な状況への対応が難しいのです。

研究チームは、CurConMix+が手術動作だけでなく、各手術段階や細かなタスクまで、手術の過程全般を理解するように設計し、この課題を解決しました。AIが手術過程の文脈全体を把握したうえで、現在どの段階が進行しているのかを能動的に判断する仕組みです。

こうした設計の狙いは、実際の評価結果にも表れました。世界中の研究者が同じ基準で性能を競う公開手術映像ベンチマークで試験した結果、CurConMix+の平均適合率は42.2%でした。従来の最高性能モデルの記録(41.5%)を上回りました。

平均適合率は、自動運転や監視カメラ映像の解析、医用画像の読影分野でモデルの性能を評価する主要な指標です。平均適合率が高いほど、AIモデルが特定の対象を正しく検出する可能性が高く、誤検出する可能性が低いことを意味します。特に肝切除術の映像に限ると、CurConMix+の平均適合率は58.4%で、従来の記録を10ポイント以上上回りました。

手術全体の過程でまれにしか登場しない動作の認識精度も優れていました。胆嚢を切り離す前に胆汁漏を防ぐ処置を認識した平均適合率は、胆嚢手術で29%、肝臓手術の映像で56%でした。それぞれ従来の記録を6ポイント、13ポイント上回る数値です。

ヒューマノイド手術ロボットに搭載されたら?

サムスンソウル病院知能型医療ロボット研究センターのチョン・ギュファンセンター長は、今回の開発によって、手術ロボットが医療者と協働するための中核的な基盤技術が整ったと評価しました。

同院はすでに今年9月、ヒューマノイド手術支援ロボットが医療者と協働して胆嚢摘出術を行う場面を、世界で初めて披露しています。その際もロボットは、執刀医の指示を正確に理解し、必要な器具を手渡す姿を見せました。このロボットに正確な視神経が搭載されれば、自ら状況を見て判断するAIロボットが手術を支援することになります。

サムスンソウル病院はすでに、執刀医の要求を正確に理解して実行する手術用ヒューマノイドを披露しています。今回のAI開発によって、このロボットに目が備わることになります。写真=コメディドットコムDB

チョンセンター長は「ロボットと医療者が自然に協働するには、単に手術器具や臓器を識別するだけでなく、現在どのような手術が進行し、医療者が何をしているのかを理解できなければなりません」と述べました。そのうえで、「今回の研究は、個々の手術動作から手術全体の流れまでを統合して認識するAI技術を提示した点に意義があります。今後、医療者を能動的に支援する知能型手術ロボットの開発につながると期待しています」と話しました。

研究チームは、2020年2月~2022年3月にサムスンソウル病院で実施された腹腔鏡下肝切除術48件の映像を基に、新たな学習用データセットも構築しました。映像は約52時間に及びます。肝胆膵外科の専門医2人と経験10年以上の専門スタッフ3人が各場面を検証し、5つの手術段階、18の細かなタスク、195の動作に細分化しました。

これは、これまで胆嚢摘出術に偏っていた手術AI研究を、肝臓手術にまで広げる取り組みです。他の研究者も共に検証できるよう、データセットとコードをオープンソースのプラットフォームで公開しました。

こうして場面ごとに細分化した内容を学習したCurConMix+は、胆嚢摘出術の手術段階の予測で93%以上の正確度を記録しました。サムスンソウル病院移植外科のオ・ナムギ教授は「手術全体の流れを読み取れるAIが、医師の指先の動作まで学んだことになります」と説明しました。さらに、「手術過程の自動記録や手術の振り返り、専攻医教育などでの活用を経て、最終的には手術中の状況をリアルタイムで認識するヒューマノイド手術支援ロボットにも活用されるでしょう」と見通しを示しました。

今回の開発は、保健福祉部傘下の韓国保健産業振興院が支援する韓国型ARPA-Hプロジェクトと、科学技術情報通信部・韓国研究財団の支援事業、サムスンソウル病院の未来医学2030プロジェクトの研究費支援を受けて実施されました。主な研究成果は、国際学術誌《IEEE医用画像トランザクションズ(IEEE Transactions on Medical Imaging)》にこのほど掲載されました。

×