Kecerdasan buatan (AI) untuk pencitraan medis kini tidak hanya menganalisis pencitraan resonansi magnetik (MRI) otak untuk mengajukan kemungkinan penyakit, tetapi juga dapat menandai dengan warna area otak yang memengaruhi keputusan. Karena menampilkan dasar pertimbangan bersama kesimpulan, hasilnya tampak lebih meyakinkan.
Namun, kestabilan “dasar” yang ditandai AI tetap perlu diuji secara terpisah. Sebab, bila AI dengan arsitektur yang sama dilatih ulang lalu menunjuk area otak yang sama sekali berbeda, penjelasan awal itu bisa saja muncul secara kebetulan dari proses pelatihan tertentu.
Tim riset yang dipimpin Profesor Christian Wallraven dari Departemen Kecerdasan Buatan Universitas Korea, bersama tim Profesor Yoo Sung-hye, Kim Bo-gyu, dan Park A-rim dari Departemen Radiologi Rumah Sakit Anam Universitas Korea, membandingkan sejumlah indikator untuk menilai penjelasan AI medis, dan memaparkan hasilnya pada 24. Mereka menemukan, “robustness”—yang menilai seberapa konsisten penjelasan bertahan meski pelatihan diulang—paling stabil dan paling selaras dengan dasar klinis.
Penjelasan yang terdengar meyakinkan berbeda dengan penjelasan yang benar-benar dapat dipercaya
AI deep learning menghasilkan keluaran melalui banyak tahap perhitungan. Pada praktiknya, manusia sulit mengikuti dan memahami proses itu satu per satu. Oleh karena itu, tenaga medis kerap kesulitan menangkap secara jelas mengapa AI mengambil keputusan tertentu, sekalipun AI menunjukkan temuan abnormal. Karena menyerupai kotak yang bagian dalamnya tidak terlihat dari luar, persoalan ini dikenal sebagai masalah “black box”.
Teknologi yang dikembangkan untuk menutup kelemahan itu adalah explainable AI (XAI). XAI membantu tenaga medis memeriksa dasar pertimbangan secara visual dengan menampilkan area otak yang dianggap penting oleh AI layaknya peta.
Masalahnya, belum ada standar bersama yang jelas untuk memilah penjelasan mana yang layak dipercaya di antara penjelasan yang dihasilkan dengan cara ini. Sejumlah kriteria telah diajukan—misalnya menilai seberapa setia penjelasan mencerminkan proses keputusan AI, atau seberapa sederhana dan mudah dipahami penjelasan tersebut—namun apakah penjelasan itu benar-benar menunjuk area yang bermakna secara klinis belum terverifikasi memadai.
Robustness yang menjadi fokus tim peneliti adalah indikator yang melihat seberapa mirip area yang ditandai AI sebagai penting ketika AI dengan arsitektur yang sama dilatih berulang kali dengan titik awal pelatihan yang berbeda. Semakin tinggi skornya, semakin kuat maknanya bahwa penjelasan tersebut bukan hasil kebetulan dari satu proses pelatihan, melainkan penjelasan yang stabil dan muncul berulang meski dilatih ulang.
Tim peneliti memanfaatkan sekitar 40.000 MRI otak dari UK Biobank dan Alzheimer’s Disease Neuroimaging Initiative (ADNI). Mereka menjalankan lebih dari 10.000 simulasi dengan mengombinasikan 9 jenis model deep learning yang berbeda dan 8 jenis metode penjelasan.
Selanjutnya, mereka membandingkan tiap indikator penilaian dengan tiga tolok ukur untuk melihat apakah indikator tersebut bermakna secara klinis. Dengan membagi citra MRI ke dalam unit kisi kecil yang disebut “voxel” dan menganalisis perbedaan bentuk jaringan otak, mereka masing-masing membandingkan keterkaitan antara volume per wilayah otak dan penyakit, serta penilaian dokter spesialis radiologi.
Apakah akurasi tinggi saja sudah cukup?
Hasil analisis menunjukkan bahwa indikator yang selama ini digunakan—seperti “fidelity” yang menilai seberapa baik penjelasan merefleksikan proses keputusan AI, atau “complexity” yang mengevaluasi seberapa sederhana penjelasan—memiliki korelasi rendah dengan dasar klinis. Bahkan dengan metode penjelasan yang sama, skor dapat berubah besar ketika arsitektur model AI berbeda.
Sebaliknya, robustness relatif konsisten selaras dengan penilaian dokter spesialis radiologi, berdasarkan hasil analisis bentuk otak dan volume per wilayah. Hasil evaluasinya juga tidak banyak berfluktuasi meski arsitektur model AI berubah, dan efisiensi komputasinya dinilai baik.
Profesor Wallraven mengatakan, “Studi ini bermakna karena secara sistematis menghubungkan kriteria untuk menilai seberapa dapat dipercaya penjelasan AI medis dengan dasar klinis.”
Profesor Yoo menegaskan, “Agar AI medis dapat dimanfaatkan di lapangan layanan kesehatan, bukan hanya kinerja diagnosis yang tinggi yang dibutuhkan, tetapi juga perlu dipastikan bahwa dasar pertimbangan yang diajukan AI valid secara klinis dan konsisten.”
Namun, studi ini berfokus pada MRI otak struktural dan dua tugas analisis. Diperlukan verifikasi tambahan untuk memastikan apakah robustness menunjukkan tingkat validitas yang sama pada pencitraan medis lain seperti computed tomography (CT), rontgen, dan citra patologi.
Undang-Undang AI Uni Eropa mengklasifikasikan sebagian AI yang digunakan pada perangkat medis dan sejenisnya sebagai sistem berisiko tinggi, serta menuntut transparansi, akurasi, robustness, dan lain-lain. Studi ini menunjukkan bahwa dalam mengevaluasi AI medis, selain akurasi diagnosis, perlu pula menilai apakah penjelasan yang diajukan AI tetap konsisten meski pelatihan diulang.
Hasil penelitian dimuat dalam edisi daring pada 16 Juni di jurnal internasional 《Medical Image Analysis》.
