
Une équipe de recherche sud-coréenne a développé une technologie d’intelligence artificielle (IA) capable de reconnaître le contexte des scènes opératoires. Plus avancée que les caméras à IA existantes, qui se limitaient à reconnaître des instruments, elle laisse entrevoir la possibilité de doter les robots de la vue si elle est commercialisée.
Le Samsung Medical Center a annoncé le 17 qu’une équipe réunissant son Centre de recherche sur les robots médicaux intelligents et son service de chirurgie de transplantation avait développé un nouveau modèle d’IA, « CurConMix+ ». Sa particularité est d’exploiter conjointement les informations spatiales et le contexte temporel pour comprendre de manière hiérarchisée aussi bien les gestes chirurgicaux détaillés que les grandes phases de l’intervention.
Des IA capables de reconnaître des scènes opératoires filmées par une caméra existaient déjà. Mais ces modèles se concentraient sur l’identification d’instruments chirurgicaux ou de gestes précis des soignants dans des scènes isolées. CurConMix+, en revanche, analyse conjointement et en temps réel les caractéristiques spatiales des vidéos tournées au bloc opératoire et le déroulement de l’intervention au fil du temps. Selon l’équipe de recherche, cette approche s’apparente à la façon dont un être humain appréhende une situation chirurgicale.
Une IA qui perçoit en temps réel la situation au bloc opératoire
La capacité d’un robot à percevoir en temps réel ce qui se passe au bloc opératoire est considérée comme un préalable indispensable à la mise en place d’un système d’assistance chirurgicale robotisée. Pour entrer dans un bloc et remplir un rôle défini, le robot doit en effet savoir « à quelle étape en est l’intervention et ce qui est en train de se passer ».
Le problème est que cette « perception en temps réel », facile pour l’être humain, est très difficile pour l’IA. Contrairement à l’humain, qui traite l’information en s’appuyant sur le contexte et le sens commun, l’IA doit convertir toutes les données en valeurs numériques pour effectuer ses calculs, ce qui complique sa réaction face aux imprévus ou aux situations exceptionnelles.
Pour résoudre ce problème, l’équipe a conçu CurConMix+ de façon qu’il comprenne l’ensemble du processus opératoire, des gestes chirurgicaux aux différentes phases de l’intervention et aux tâches détaillées. Après avoir appréhendé le contexte global de l’opération, l’IA détermine ainsi activement quelle étape est en cours.
Les résultats des évaluations ont confirmé l’intérêt de cette conception. Lors de tests fondés sur un référentiel public d’évaluation des vidéos chirurgicales, qui permet aux chercheurs du monde entier de comparer leurs performances selon les mêmes critères, CurConMix+ a atteint une précision moyenne de 42,2 %. Il a ainsi dépassé le résultat du modèle jusqu’alors le plus performant, qui était de 41,5 %.
La précision moyenne est un indicateur clé pour évaluer les performances des modèles dans les domaines de la conduite autonome, de l’analyse des images de vidéosurveillance et de l’interprétation des images médicales. Une précision moyenne élevée signifie que le modèle d’IA a davantage de chances de repérer correctement un objet donné et moins de risques de commettre une erreur d’identification. Pour les seules vidéos de résection hépatique, CurConMix+ a notamment atteint une précision moyenne de 58,4 %, soit plus de 10 points de pourcentage au-dessus du précédent record.
Le modèle s’est également distingué par sa capacité à reconnaître des gestes rarement effectués au cours d’une intervention. Pour la reconnaissance des manœuvres visant à empêcher une fuite de bile avant le retrait de la vésicule biliaire, la précision moyenne s’est établie à 29 % dans les vidéos de chirurgie de la vésicule biliaire et à 56 % dans celles de chirurgie hépatique. Ces résultats dépassent les précédents records de respectivement 6 et 13 points de pourcentage.
Et si cette IA équipait un robot chirurgical humanoïde ?
Jung Kyu-hwan, directeur du Centre de recherche sur les robots médicaux intelligents du Samsung Medical Center, estime que cette avancée pose les bases technologiques essentielles à la coopération entre robots chirurgicaux et équipes soignantes.
En septembre dernier, cet hôpital avait déjà présenté, pour la première fois au monde, un robot humanoïde d’assistance chirurgicale collaborant avec une équipe soignante lors d’une cholécystectomie. Le robot avait alors montré qu’il comprenait précisément les consignes du chirurgien et lui transmettait les instruments nécessaires. Si ce robot était doté d’un système de vision précis, un robot à IA capable d’observer et d’évaluer lui-même la situation pourrait ainsi assister l’intervention.

« Pour que les robots et les équipes soignantes collaborent naturellement, il faut aller au-delà de la simple identification des instruments chirurgicaux ou des organes : ils doivent pouvoir comprendre quelle intervention est en cours et ce que font les soignants », a déclaré Jung Kyu-hwan. « L’intérêt de cette étude est de proposer une technologie d’IA capable de reconnaître de manière intégrée aussi bien les gestes chirurgicaux individuels que l’ensemble du déroulement opératoire. Nous espérons qu’elle débouchera sur le développement de robots chirurgicaux intelligents capables d’assister activement les équipes soignantes. »
L’équipe a également constitué un nouveau jeu de données d’apprentissage à partir de vidéos de 48 résections hépatiques par laparoscopie réalisées au Samsung Medical Center entre février 2020 et mars 2022. Ces vidéos représentent environ 52 heures d’images. Deux spécialistes de chirurgie hépato-bilio-pancréatique et trois professionnels comptant plus de dix ans d’expérience ont vérifié chaque scène et établi une classification détaillée comprenant 5 phases opératoires, 18 tâches et 195 gestes.
Ce travail étend à la chirurgie hépatique les recherches sur l’IA chirurgicale, jusqu’alors principalement centrées sur la cholécystectomie. Le jeu de données et le code ont été publiés sur une plateforme open source afin que d’autres chercheurs puissent également les vérifier.
Après avoir appris à partir de ces annotations détaillées scène par scène, CurConMix+ a atteint un taux d’exactitude supérieur à 93 % dans la prédiction des phases opératoires de la cholécystectomie. « C’est comme si une IA capable de lire le déroulement complet d’une intervention avait aussi appris les mouvements du bout des doigts du médecin », a expliqué Oh Nam-gi, professeur au service de chirurgie de transplantation du Samsung Medical Center. « Après des applications à la consignation automatique du déroulement opératoire, à l’analyse rétrospective des interventions et à la formation des internes, elle devrait, à terme, pouvoir être utilisée dans des robots humanoïdes d’assistance chirurgicale capables de percevoir en temps réel la situation pendant l’opération. »
Ces travaux ont été financés par le projet coréen ARPA-H, soutenu par l’Institut coréen de développement de l’industrie de la santé, rattaché au ministère de la Santé et des Affaires sociales, par un programme de soutien de la Fondation nationale de la recherche de Corée relevant du ministère des Sciences et des Technologies de l’information et de la communication, ainsi que par le projet Médecine du futur 2030 du Samsung Medical Center. Les principaux résultats ont récemment été publiés dans la revue scientifique internationale 《IEEE Transactions on Medical Imaging》.
