
韩国研究团队开发出能够理解手术场景上下文的人工智能(AI)技术。与以往仅能识别工具的AI摄像系统相比,这项技术更进一步,有望在实现商业化后为机器人赋予视觉能力。
三星首尔医院17日表示,该院智能医疗机器人研究中心与移植外科研究团队开发出AI新模型“CurConMix+”。该模型的特点是同时利用空间信息与时间上下文,分层理解从具体手术动作到整个手术阶段的信息。
利用摄像头识别手术场景的AI此前已经存在,但这些模型主要侧重于识别单个场景中的手术器械或医护人员的特定动作。相比之下,CurConMix+能够实时整合分析摄像头拍摄的手术室视频中的空间特征,以及随时间推进的手术流程。研究团队解释,这与人类理解手术状况的方式相似。
实时感知手术室内状况的AI
机器人实时感知手术室内状况,被视为构建机器人手术辅助系统的必要前提。这是因为,机器人要进入手术室并执行指定任务,就必须知道“目前手术处于什么阶段,正在发生什么情况”。
问题在于,对人类而言轻而易举的“实时感知”,对AI来说却十分困难。人类会基于上下文与常识处理信息,而AI必须将所有数据转换为数值后进行运算,因此难以应对突发变量或例外情况。
研究团队通过让CurConMix+理解包括手术动作、各个手术阶段及细分任务在内的整体手术过程,解决了这一问题。也就是说,AI在掌握手术全过程的上下文后,能够主动判断当前正在进行哪个阶段。
这一设计思路在实际评估结果中得到了体现。依据全球研究人员采用同一标准进行比较的公开手术视频评估基准开展测试后,CurConMix+取得了42.2%的平均精确率,超过此前性能最佳模型的纪录(41.5%)。
平均精确率是自动驾驶、监控视频分析和医学影像判读等领域评估模型性能的核心指标。平均精确率越高,意味着AI模型准确找到特定物体的可能性越高,误检的可能性越低。尤其是仅针对肝切除术视频进行评估时,CurConMix+的平均精确率达到58.4%,比此前纪录高出10个百分点以上。
该模型对手术全过程中罕见动作的识别准确度也表现突出。对于切除胆囊前防止胆汁泄漏这一操作,其在胆囊手术和肝手术视频中的识别平均精确率分别为29%和56%,分别比此前纪录提高6个百分点和13个百分点。
如果搭载到人形手术机器人上,会怎样?
三星首尔医院智能医疗机器人研究中心主任Jung Kyu-hwan认为,此次研发为手术机器人与医护人员协作奠定了关键技术基础。
该院已于今年9月在全球首次展示人形手术辅助机器人与医护人员协作开展胆囊切除术的场景。当时,机器人就展现了准确理解主刀医生指令并递送所需器械的能力。如果为该机器人配备精准的“视觉神经”,能够自主观察情况并作出判断的AI机器人就将参与辅助手术。

Jung主任表示:“机器人要与医护人员自然协作,就不能仅停留在识别手术器械或器官的层面,还必须理解当前正在进行什么手术、医护人员正在做什么。此次研究的意义在于,提出了能够整合识别从单个手术动作到整体手术流程的AI技术。我们期待,这将推动能够主动辅助医护人员的智能手术机器人的开发。”
研究团队还基于2020年2月至2022年3月在三星首尔医院开展的48例腹腔镜肝切除术视频,构建了新的训练数据集。视频总时长约52小时,由2名肝胆胰外科专科医生和3名拥有10年以上经验的专业人员逐一核验各个场景,细分为5个手术阶段、18项细分任务和195种动作。
这项工作将此前偏重胆囊切除术的手术AI研究扩展到了肝手术领域。研究团队已在开源平台公开数据集与代码,供其他研究人员共同验证。
通过学习这些按场景细分的内容,CurConMix+在胆囊切除术手术阶段预测中取得了93%以上的准确率。三星首尔医院移植外科教授Oh Nam-ki表示:“这相当于让能够读懂整个手术流程的AI,进一步学会了医生指尖的动作。经过手术过程自动记录、手术复盘及住院医师培训等应用后,最终还将用于能够实时感知术中状况的人形手术辅助机器人。”
此次研发获得了韩国保健福祉部下属韩国保健产业振兴院支持的韩国型ARPA-H项目、科学技术信息通信部韩国研究财团资助项目,以及三星首尔医院未来医学2030项目的研究经费支持。主要研究成果近日发表于国际学术期刊《IEEE医学影像汇刊(IEEE Transactions on Medical Imaging)》。
