
Tim peneliti Korea Selatan mengembangkan teknologi kecerdasan buatan (AI) yang mengenali konteks adegan operasi. Teknologi ini lebih maju dibandingkan kamera AI sebelumnya yang hanya mampu mengenali alat. Jika dikomersialkan, teknologi ini diharapkan dapat memberikan kemampuan penglihatan kepada robot.
Samsung Medical Center pada tanggal 17 mengumumkan bahwa tim peneliti dari Pusat Penelitian Robot Medis Cerdas dan Divisi Bedah Transplantasi telah mengembangkan model AI baru bernama ‘CurConMix+’. Ciri khas model ini adalah kemampuannya memanfaatkan informasi spasial sekaligus konteks waktu untuk memahami operasi secara hierarkis, mulai dari gerakan bedah yang terperinci hingga keseluruhan tahapan operasi.
AI yang mengenali adegan operasi melalui kamera sebenarnya sudah ada. Namun, model-model tersebut berfokus pada pengenalan alat bedah atau gerakan tertentu tenaga medis dalam setiap adegan. Sebaliknya, CurConMix+ secara terpadu menganalisis karakteristik spasial dalam video ruang operasi yang direkam kamera serta alur operasi seiring waktu, secara waktu nyata. Menurut tim peneliti, cara kerjanya mirip dengan cara manusia memahami situasi operasi.
AI yang mengenali situasi di dalam ruang operasi secara waktu nyata
Kemampuan robot mengenali situasi di dalam ruang operasi secara waktu nyata dinilai sebagai prasyarat penting untuk membangun sistem bantuan bedah robotik. Sebab, agar robot dapat masuk ke ruang operasi dan menjalankan peran yang ditentukan, robot harus mengetahui ‘operasi saat ini berada pada tahap apa dan situasi apa yang sedang berlangsung’.
Masalahnya, ‘pengenalan secara waktu nyata’ yang mudah bagi manusia justru sangat sulit bagi AI. Berbeda dengan manusia yang mengolah informasi berdasarkan konteks dan pengetahuan umum, AI harus mengubah seluruh data menjadi angka untuk diproses melalui komputasi. Karena itu, AI sulit merespons variabel tak terduga atau situasi di luar kebiasaan.
Tim peneliti mengatasi masalah ini dengan merancang CurConMix+ agar memahami proses operasi secara menyeluruh, bukan hanya gerakan bedah, tetapi juga setiap tahapan operasi dan tugas-tugas terperinci di dalamnya. Dengan demikian, setelah memahami keseluruhan konteks proses operasi, AI dapat secara aktif menentukan tahap yang sedang berlangsung.
Tujuan perancangan tersebut tercermin dalam hasil evaluasi. Dalam pengujian berdasarkan tolok ukur video operasi publik yang digunakan para peneliti di seluruh dunia untuk bersaing dengan standar yang sama, CurConMix+ mencatat presisi rata-rata sebesar 42,2%. Angka ini melampaui capaian model berkinerja terbaik sebelumnya, yakni 41,5%.
Presisi rata-rata merupakan indikator utama untuk mengevaluasi kinerja model dalam bidang kendaraan otonom, analisis CCTV, dan interpretasi citra medis. Presisi rata-rata yang tinggi berarti model AI lebih mungkin menemukan objek tertentu dengan tepat dan lebih kecil kemungkinannya melakukan kesalahan identifikasi. Khusus pada video reseksi hati, CurConMix+ mencatat presisi rata-rata 58,4%, lebih dari 10 poin persentase di atas rekor sebelumnya.
Akurasi model dalam mengenali gerakan yang jarang muncul sepanjang proses operasi juga unggul. Presisi rata-rata dalam mengenali tindakan pencegahan kebocoran empedu sebelum kantong empedu diangkat tercatat sebesar 29% pada operasi kantong empedu dan 56% pada video operasi hati. Angka tersebut masing-masing lebih tinggi 6 poin persentase dan 13 poin persentase dibandingkan rekor sebelumnya.
Bagaimana jika dipasang pada robot bedah humanoid?
Jeong Gyu-hwan, Kepala Pusat Penelitian Robot Medis Cerdas Samsung Medical Center, menilai pengembangan ini telah menyediakan teknologi dasar yang penting agar robot bedah dapat bekerja sama dengan tenaga medis.
Pada September lalu, rumah sakit ini telah menampilkan, untuk pertama kalinya di dunia, robot humanoid asisten bedah yang bekerja sama dengan tenaga medis dalam melakukan kolesistektomi. Saat itu, robot sudah mampu memahami instruksi dokter bedah utama dengan tepat dan menyerahkan alat yang dibutuhkan. Jika robot tersebut dilengkapi sistem penglihatan yang akurat, robot AI akan dapat membantu operasi dengan mengamati dan menilai situasi secara mandiri.

“Agar robot dan tenaga medis dapat bekerja sama secara alami, robot harus mampu melampaui sekadar identifikasi alat bedah atau organ, serta memahami operasi apa yang sedang berlangsung dan apa yang sedang dilakukan tenaga medis,” ujar Jeong. “Penelitian ini penting karena menghadirkan teknologi AI yang mengenali secara terpadu, mulai dari setiap gerakan bedah hingga keseluruhan alur operasi. Kami berharap penelitian ini akan mengarah pada pengembangan robot bedah cerdas yang secara aktif membantu tenaga medis.”
Tim peneliti juga membangun kumpulan data pelatihan baru berdasarkan video 48 prosedur reseksi hati laparoskopik yang dilakukan di Samsung Medical Center pada Februari 2020–Maret 2022. Total durasi video mencapai sekitar 52 jam. Dua dokter spesialis bedah hepatobilier dan pankreas serta tiga tenaga ahli dengan pengalaman lebih dari 10 tahun memverifikasi setiap adegan dan merincinya menjadi 5 tahap operasi, 18 tugas terperinci, dan 195 gerakan.
Upaya ini memperluas penelitian AI bedah yang selama ini terpusat pada kolesistektomi ke operasi hati. Kumpulan data dan kode tersebut dipublikasikan di platform sumber terbuka agar peneliti lain juga dapat melakukan verifikasi.
Setelah mempelajari rincian setiap adegan tersebut, CurConMix+ mencatat akurasi lebih dari 93% dalam memprediksi tahapan operasi kolesistektomi. Oh Nam-gi, profesor di Divisi Bedah Transplantasi Samsung Medical Center, mengatakan, “Ini ibarat AI yang mampu membaca keseluruhan alur operasi kini juga mempelajari gerakan ujung jari dokter.” Ia memperkirakan, “Setelah diterapkan dalam pencatatan otomatis proses operasi, peninjauan ulang operasi, dan pendidikan dokter residen, teknologi ini pada akhirnya juga akan dimanfaatkan pada robot humanoid asisten bedah yang mengenali situasi selama operasi secara waktu nyata.”
Pengembangan ini dilakukan dengan dukungan pendanaan penelitian dari proyek ARPA-H versi Korea yang didukung Institut Pengembangan Industri Kesehatan Korea di bawah Kementerian Kesehatan dan Kesejahteraan, program dukungan Yayasan Riset Nasional Korea di bawah Kementerian Sains dan Teknologi Informasi dan Komunikasi, serta Proyek Kedokteran Masa Depan 2030 Samsung Medical Center. Hasil utama penelitian ini baru-baru ini diterbitkan dalam jurnal ilmiah internasional 《IEEE Transactions on Medical Imaging》.
