AI trong chẩn đoán hình ảnh y tế có thể phân tích ảnh cộng hưởng từ (MRI) não để đưa ra khả năng mắc bệnh, đồng thời tô màu những vùng não tác động đến quyết định. Khi vừa đưa kết luận vừa kèm theo căn cứ, hệ thống thường tạo cảm giác đáng tin hơn.
Tuy nhiên, phần “căn cứ” mà AI đánh dấu cần được kiểm tra riêng xem có ổn định hay không. Bởi nếu huấn luyện lại một AI có cùng cấu trúc nhưng lại chỉ ra những vùng não hoàn toàn khác, thì lời giải thích ban đầu có thể chỉ là kết quả ngẫu nhiên hình thành trong một lần học cụ thể.
Nhóm nghiên cứu do Giáo sư Christian Wallraven (Khoa Trí tuệ nhân tạo, Đại học Korea) dẫn dắt, phối hợp với nhóm các giáo sư Yoo Sung-hye, Kim Bo-gyu và Park A-rim (Khoa Chẩn đoán hình ảnh, Bệnh viện Anam của Đại học Korea), đã so sánh nhiều chỉ số dùng để đánh giá phần giải thích của AI y tế, theo thông tin công bố ngày 24/07. Kết quả cho thấy "tính bền vững" (Robustness) - chỉ số đo mức độ nhất quán của phần giải thích khi huấn luyện lặp lại - phù hợp ổn định nhất với căn cứ lâm sàng.
Lời giải thích nghe có vẻ hợp lý khác với lời giải thích đáng tin cậy
AI học sâu (deep learning) đưa ra kết quả sau vô số bước tính toán. Trên thực tế, con người gần như không thể lần theo và hiểu từng bước của quá trình này. Vì vậy, ngay cả khi AI nêu ra dấu hiệu bất thường, nhân viên y tế cũng khó biết vì sao hệ thống lại đưa ra nhận định như vậy. Do giống như một chiếc hộp không thể nhìn vào bên trong, vấn đề này được gọi là “hộp đen”.
Công nghệ được phát triển để khắc phục điều này là trí tuệ nhân tạo có thể giải thích (XAI). Công nghệ này hiển thị các vùng não mà AI coi là quan trọng như một bản đồ, giúp nhân viên y tế kiểm tra bằng mắt cơ sở của quyết định.
Vấn đề là hiện chưa có một tiêu chuẩn chung rõ ràng để phân biệt nên tin phần giải thích nào trong số các cách giải thích được tạo ra như vậy. Dù đã xuất hiện các tiêu chí đánh giá mức độ phản ánh trung thực quy trình ra quyết định thực sự của AI, hay mức độ đơn giản và dễ hiểu của phần giải thích, nhưng việc liệu hệ thống có chỉ đúng các vùng có ý nghĩa lâm sàng hay không vẫn chưa được kiểm chứng đầy đủ.
Nhóm nghiên cứu tập trung vào “tính bền vững”, một chỉ số đo xem khi huấn luyện nhiều lần một AI có cùng cấu trúc nhưng khác điểm khởi đầu huấn luyện, các vùng mà AI đánh dấu là quan trọng được duy trì giống nhau đến mức nào. Điểm càng cao càng cho thấy đây không phải kết quả ngẫu nhiên của một lần huấn luyện, mà là phần giải thích ổn định, có thể lặp lại ngay cả khi huấn luyện lại.
Nhóm sử dụng khoảng 40.000 ca MRI não từ UK Biobank và Sáng kiến Thần kinh hình ảnh bệnh Alzheimer (ADNI). Họ kết hợp 9 loại mô hình học sâu khác nhau với 8 kỹ thuật giải thích, tiến hành hơn 10.000 lần mô phỏng.
Sau đó, nhóm đối chiếu từng chỉ số đánh giá với ba tiêu chí để xem có ý nghĩa lâm sàng hay không. Họ chia ảnh MRI thành các ô lưới nhỏ theo đơn vị “voxel” để phân tích khác biệt hình thái mô não, rồi lần lượt so sánh: kết quả phân tích hình thái não, mối liên hệ giữa thể tích theo từng vùng não và bệnh, và đánh giá của bác sĩ chuyên khoa chẩn đoán hình ảnh.
Chỉ cần độ chính xác cao là đủ?
Kết quả phân tích cho thấy các chỉ số truyền thống như “tính trung thực” (đánh giá mức độ phản ánh đúng quy trình ra quyết định của AI) hay “độ phức tạp” (đánh giá mức độ đơn giản của phần giải thích) có tương quan thấp với căn cứ lâm sàng. Ngay cả với cùng một kỹ thuật giải thích, điểm số cũng có thể thay đổi lớn khi cấu trúc mô hình AI khác đi.
Ngược lại, “tính bền vững” cho thấy mức độ phù hợp tương đối nhất quán khi so sánh với đánh giá của bác sĩ chuyên khoa chẩn đoán hình ảnh, dựa trên kết quả phân tích hình thái não và thể tích theo từng vùng. Ngay cả khi cấu trúc mô hình AI thay đổi, kết quả đánh giá cũng không dao động mạnh, đồng thời hiệu quả tính toán cũng tốt.
Giáo sư Wallraven nói: “Nghiên cứu này có ý nghĩa ở chỗ đã kết nối một cách hệ thống các tiêu chí đánh giá mức độ đáng tin của phần giải thích AI y tế với căn cứ lâm sàng”.
Giáo sư Yoo Sung-hye cho biết: “Để AI y tế được ứng dụng trong thực hành lâm sàng, không chỉ cần hiệu năng chẩn đoán cao mà còn phải xác nhận rằng cơ sở lập luận do AI đưa ra là hợp lý về mặt lâm sàng và nhất quán”.
Tuy vậy, nghiên cứu lần này tập trung vào MRI não cấu trúc và hai nhiệm vụ phân tích. Cần kiểm chứng thêm liệu “tính vững” có cho thấy mức độ hợp lệ tương tự trên các loại hình ảnh y tế khác như chụp cắt lớp vi tính (CT), X-quang, hay ảnh bệnh lý hay không.
Đạo luật AI của Liên minh châu Âu phân loại một số AI dùng trong thiết bị y tế… là hệ thống rủi ro cao và yêu cầu tính minh bạch, độ chính xác, tính vững… Nghiên cứu này cho thấy khi đánh giá AI y tế, ngoài độ chính xác chẩn đoán, cần xem xét liệu phần giải thích mà AI đưa ra có được duy trì nhất quán ngay cả khi huấn luyện lặp lại hay không.
Kết quả nghiên cứu đã được đăng trên bản trực tuyến ngày 16-06 của tạp chí quốc tế “Medical Image Analysis”.
