Tim peneliti Samsung Medical Center mengungguli GPT-5.2 dan Google Gemini dalam evaluasi yang menggunakan soal Ujian Nasional Dokter Korea, lewat kecerdasan buatan (AI) khusus medis ‘ZEO Med 2’ yang mereka kembangkan bersama perusahaan AI ZerooneAI.
Samsung Medical Center, Selasa (29/7), menyatakan ZEO Med 2 membukukan kinerja kelas dunia dalam benchmark yang menggunakan soal ujian medis Korea dan Amerika Serikat. Proyek pengembangan ini dipimpin Profesor Cha sebagai peneliti utama.
ZEO Med 2 dikembangkan tim riset Profesor Cha Won-chul dan Profesor Son Myung-hee dari Departemen Kedokteran Gawat Darurat Samsung Medical Center bersama ZerooneAI, melalui program dukungan pemanfaatan GPU canggih dari Kementerian Sains dan TIK.
Benar 425 dari 435 soal tipe ujian dokter Korea
ZEO Med 2 menjawab benar 425 dari 435 soal tipe ujian dokter dalam ‘KorMedMCQA’, kumpulan soal ujian nasional untuk dokter, perawat, apoteker, dan dokter gigi di Korea. Tingkat ketepatannya 97,70%.
GPT-5.2 yang dievaluasi ZerooneAI dalam kondisi yang sama menjawab benar 424 soal atau 97,47%, sementara Google Gemini 3.1 Flash-Lite mencatat 96,09%. Dengan demikian, ZEO Med 2 unggul 1 soal atas GPT-5.2 dan 7 soal atas Gemini.
Di antara model ‘open-weight’ yang bobotnya dipublikasikan sehingga pengembang eksternal dapat mengunduh dan memanfaatkannya, skor ZEO Med 2 juga menjadi yang tertinggi. Model dasar ZEO Med 2, Google Gemma 4 31B, mencatat 97,01%, sedangkan Qwen3.6-27B 93,56%.
Namun, ZEO Med 2 tidak unggul dalam semua evaluasi bergaya ujian medis. Pada MedQA-USMLE yang menggunakan soal Ujian Lisensi Dokter Amerika Serikat, GPT-5.2 mencatat 95,99%, lebih tinggi daripada ZEO Med 2 yang 94,82%. Pada tipe ujian perawat, apoteker, dan dokter gigi Korea serta rata-rata skor untuk empat profesi, Gemini 3.1 Flash-Lite juga mengungguli ZEO Med 2.
Soal yang sama dikerjakan 5 kali, jawaban yang paling sering dipilih dinilai
Evaluasi dilakukan dengan metode ‘zero-shot’ yang tidak memperlihatkan contoh soal maupun jawaban benar terlebih dahulu. AI diminta mengerjakan soal yang sama lima kali, lalu jawaban yang paling sering dipilih dijadikan jawaban final.
Samsung Medical Center mengajukan satu butir soal dari Ujian Nasional Dokter ke-90 tahun 2026 sebagai contoh kasus soal medis yang ditangani ZEO Med 2. Soal itu menanyakan obat apa yang harus digunakan ketika seorang anak perempuan usia 20 bulan datang ke IGD dengan demam tinggi, mengalami kejang sekali, lalu tidak kembali sadar dan kemudian mengalami kejang lagi. Jawaban benarnya adalah lorazepam, obat antikejang golongan benzodiazepin, di antara pilihan jawaban.
Seperti ini, ujian dokter tidak hanya memuat soal yang menanyakan pengetahuan medis, tetapi juga butir berbasis situasi klinis yang menuntut peserta menilai kondisi pasien dan memilih terapi yang tepat.
Namun, banyaknya soal yang dijawab benar tidak serta-merta membuktikan kemampuan praktik klinis di dunia nyata. Di lapangan, tenaga medis harus meninjau jauh lebih banyak informasi secara bersamaan, seperti riwayat penyakit, hasil pemeriksaan, pencitraan, dan obat yang sedang dikonsumsi. Jika AI mengambil keputusan keliru, keselamatan pasien juga dapat terdampak.
Melampaui AI yang jago ujian, menuju suara dan video
Informasi model ZEO Med 2, metode evaluasi, kode evaluasi, dan lainnya dipublikasikan di platform AI global Hugging Face. Model ini merupakan hasil pelatihan tambahan data bidang medis pada Google Gemma 4 31B. Bobot terkait juga dibuka agar peneliti dan pengembang dapat memanfaatkannya sesuai ketentuan yang ditetapkan.
Samsung Medical Center berencana meningkatkan ZEO Med 2 agar dapat memproses bukan hanya teks, tetapi juga suara dan video secara bersamaan. Rumah sakit itu juga akan memperkuat perangkat pengaman untuk mengelola informasi apa yang diterima AI di lapangan, jawaban apa yang dikeluarkan, serta fungsi apa saja yang dapat digunakan. Pekerjaan untuk mengecilkan ukuran model agar dapat dipakai dengan sumber daya komputasi yang lebih kecil juga akan dilakukan paralel.
Profesor Cha Won-chul mengatakan, “Kini yang menjadi kunci bukan lagi seberapa banyak soal ujian yang bisa dijawab lebih benar, melainkan membuat model yang mencakup suara dan video, terhubung stabil ke layanan nyata, serta ringan sehingga bisa dipakai di mana saja,” seraya menambahkan, “Kami akan mengembangkannya menjadi AI khusus klinis yang benar-benar berkontribusi di lapangan medis.”
