L’intelligence artificielle (IA) d’imagerie médicale peut non seulement analyser une imagerie par résonance magnétique (IRM) du cerveau pour indiquer la probabilité d’une maladie, mais aussi colorer les zones cérébrales qui ont influencé sa décision. En montrant les raisons en plus de la conclusion, elle paraît d’autant plus fiable.
Mais la stabilité de ces « raisons » indiquées par l’IA doit être vérifiée séparément. Si, après un nouvel entraînement d’une IA de même architecture, celle-ci pointe des zones cérébrales totalement différentes, l’explication initiale peut avoir été produite par hasard au cours d’un processus d’apprentissage particulier.
L’équipe du professeur Christian Wallraven, du département d’intelligence artificielle de l’université Korea, a comparé plusieurs indicateurs permettant d’évaluer les explications fournies par les IA médicales, en collaboration avec les équipes des professeurs Yoo Sung-hye, Kim Bo-gyu et Park A-rim, du service de radiologie de l’hôpital Anam de l’université Korea, a-t-elle annoncé le 24. Résultat : la « robustesse » (Robustness), qui mesure dans quelle mesure une explication reste cohérente malgré des entraînements répétés, présente la corrélation la plus stable avec les éléments cliniques.
Une explication plausible n’est pas forcément une explication fiable
Une IA de deep learning produit un résultat au terme d’innombrables étapes de calcul. Il est, en pratique, difficile pour un humain de suivre et de comprendre ce processus pas à pas. C’est pourquoi, même si l’IA signale une anomalie, il est difficile pour les soignants d’identifier clairement pourquoi elle a rendu ce jugement. On parle de problème de « boîte noire », car cela ressemble à une boîte dont on ne peut pas voir l’intérieur depuis l’extérieur.
La technologie développée pour y remédier est l’intelligence artificielle explicable (XAI). Elle affiche, comme une carte, les zones du cerveau que l’IA a jugées importantes, afin d’aider les soignants à vérifier visuellement les fondements de la décision.
Le problème est qu’il n’existe pas de critère commun clairement établi pour distinguer, parmi ces explications, celles auxquelles il faut se fier. Des critères ont été proposés pour évaluer dans quelle mesure l’explication reflète fidèlement le processus décisionnel réel de l’IA, ou à quel point elle est simple et facile à comprendre, mais il n’a pas été suffisamment vérifié qu’ils identifient correctement les zones cliniquement pertinentes.
La robustesse, sur laquelle s’est concentrée l’équipe, est un indicateur qui mesure à quel point les zones signalées comme importantes par l’IA restent similaires lorsque l’on entraîne plusieurs fois une IA de même architecture en ne changeant que le point de départ de l’apprentissage. Plus le score est élevé, plus cela signifie qu’il ne s’agit pas d’un résultat apparu par hasard lors d’un seul entraînement, mais d’une explication stable qui réapparaît de manière répétée après réentraînement.
L’équipe a utilisé environ 40 000 IRM cérébrales issues de la UK Biobank et de l’Alzheimer’s Disease Neuroimaging Initiative (ADNI). Elle a mené plus de 10 000 simulations en combinant 9 types de modèles de deep learning et 8 types de méthodes d’explication.
Elle a ensuite confronté chaque indicateur d’évaluation à trois critères afin de déterminer sa pertinence clinique. Après avoir découpé les IRM en petites unités en grille, appelées « voxels », et analysé les différences de forme des tissus cérébraux, l’équipe a comparé, respectivement, le lien entre le volume par région cérébrale et la maladie, ainsi que le jugement de radiologues.
Une forte précision diagnostique suffit-elle ?
Selon l’analyse, les indicateurs existants comme la « fidélité », qui mesure dans quelle mesure l’explication reflète correctement le processus décisionnel de l’IA, ou la « complexité », qui évalue à quel point l’explication est simple présentaient une faible corrélation avec les éléments cliniques. Même avec une même méthode d’explication, les scores variaient fortement lorsque l’architecture du modèle d’IA changeait.
À l’inverse, la robustesse correspondait de manière relativement cohérente aux résultats de l’analyse de la morphologie cérébrale et des volumes par région, ainsi qu’au jugement des radiologues. Les résultats d’évaluation ne fluctuaient pas fortement même lorsque l’architecture du modèle d’IA changeait, et l’efficacité de calcul était également satisfaisante.
Le professeur Wallraven a déclaré : « Cette étude est significative en ce qu’elle relie de manière systématique les critères d’évaluation de la fiabilité des explications des IA médicales à des éléments cliniques. »
Le professeur Yoo Sung-hye a indiqué : « Pour que l’IA médicale soit utilisée dans la pratique clinique, il faut non seulement de hautes performances diagnostiques, mais aussi vérifier que les fondements de décision proposés par l’IA sont cliniquement valides et cohérents. »
Toutefois, cette étude s’est concentrée sur l’IRM cérébrale structurelle et sur deux types de tâches d’analyse. Des vérifications supplémentaires sont nécessaires pour déterminer si la robustesse présente le même niveau de validité avec d’autres imageries médicales, comme la tomodensitométrie (CT), les radiographies ou l’imagerie anatomopathologique.
Le règlement européen sur l’intelligence artificielle classe certaines IA utilisées dans les dispositifs médicaux, entre autres, comme des systèmes à haut risque et exige notamment transparence, précision et robustesse. Cette étude montre que, pour évaluer une IA médicale, il faut examiner non seulement la précision diagnostique, mais aussi si les explications fournies par l’IA restent cohérentes malgré des entraînements répétés.
Les résultats ont été publiés dans l’édition en ligne du 16 juin de la revue internationale Medical Image Analysis.
