Получит ли гуманоидный хирургический робот «зрение»? ИИ улучшил распознавание видео операций на печени на 10 п. п.

| Опубликовано:

CurConMix+ от Медицинского центра Samsung в Сеуле: исследователям открыли обучающие данные по 48 операциям на печени

У хирургического робота-гуманоида, которого Медицинский центр Samsung в Сеуле впервые в мире продемонстрировал в действии, может появиться зрение. Исследовательская группа центра разработала модель ИИ, которая самостоятельно понимает контекст происходящего во время операции и проактивно прогнозирует следующий этап. Фото: Медицинский центр Samsung в Сеуле

Южнокорейские исследователи разработали технологию искусственного интеллекта (ИИ), способную понимать контекст происходящего во время операции. Это шаг вперед по сравнению с существующими ИИ-камерами, которые лишь распознавали инструменты. Ожидается, что коммерческое внедрение технологии позволит наделить роботов зрением.

17-го числа Медицинский центр Samsung в Сеуле сообщил, что исследователи Центра интеллектуальных медицинских роботов и отделения трансплантационной хирургии разработали новую модель ИИ — CurConMix+. Ее особенность заключается в совместном использовании пространственной информации и временного контекста для иерархического понимания операции — от отдельных хирургических действий до ее основных этапов.

ИИ, распознающий происходящее во время операции с помощью камеры, существовал и раньше. Однако такие модели были сосредоточены на распознавании хирургических инструментов или конкретных действий медперсонала в отдельных сценах. CurConMix+, напротив, в реальном времени комплексно анализирует пространственные особенности видеозаписи из операционной и ход операции во времени. По объяснению исследователей, это похоже на то, как человек воспринимает происходящее во время хирургического вмешательства.

ИИ, который в реальном времени понимает обстановку в операционной

Способность робота в реальном времени воспринимать обстановку в операционной считается необходимым условием создания роботизированных систем хирургической помощи. Ведь для выполнения отведенной ему роли в операционной робот должен понимать, «на каком этапе находится операция и что сейчас происходит».

Проблема в том, что восприятие происходящего в реальном времени, которое легко дается человеку, представляет большую сложность для ИИ. В отличие от человека, обрабатывающего информацию с опорой на контекст и здравый смысл, ИИ должен преобразовывать все данные в числа и выполнять вычисления. Поэтому ему трудно реагировать на непредвиденные обстоятельства и исключительные ситуации.

Исследователи решили эту проблему, спроектировав CurConMix+ так, чтобы модель понимала весь хирургический процесс: не только отдельные действия, но и каждый этап операции и конкретные задачи. ИИ сначала осмысливает общий контекст вмешательства, а затем самостоятельно определяет, какой этап идет в данный момент.

Этот замысел отразился в результатах испытаний. При тестировании на общедоступном наборе хирургических видеозаписей, позволяющем исследователям со всего мира сравнивать свои разработки по единым критериям, CurConMix+ показала среднюю точность 42,2%. Модель превзошла прежний лучший результат — 41,5%.

Средняя точность — ключевой показатель оценки моделей в области беспилотного вождения, анализа записей камер видеонаблюдения и интерпретации медицинских изображений. Чем выше этот показатель, тем больше вероятность, что ИИ правильно обнаружит нужный объект, и тем меньше вероятность ошибочного обнаружения. В частности, на видеозаписях резекции печени средняя точность CurConMix+ составила 58,4%, превысив прежний результат более чем на 10 процентных пунктов.

Модель также продемонстрировала высокую точность распознавания действий, которые редко встречаются на протяжении операции. Средняя точность распознавания действий по предотвращению утечки желчи перед удалением желчного пузыря составила 29% на видеозаписях операций на желчном пузыре и 56% на записях операций на печени. Это соответственно на 6 и 13 процентных пунктов выше прежних результатов.

Что изменится, если оснастить этой технологией хирургического робота-гуманоида?

Руководитель Центра интеллектуальных медицинских роботов Медицинского центра Samsung в Сеуле Чон Гю Хван отметил, что разработка создала ключевую технологическую основу для взаимодействия хирургических роботов с медперсоналом.

Еще в сентябре центр впервые в мире продемонстрировал, как гуманоидный робот — хирургический ассистент совместно с медперсоналом участвует в удалении желчного пузыря. Уже тогда робот точно понимал указания оперирующего хирурга и подавал необходимые инструменты. Если оснастить его точной системой зрительного восприятия, помогать при операциях сможет ИИ-робот, который самостоятельно наблюдает за обстановкой и оценивает ее.

Медицинский центр Samsung в Сеуле уже представлял хирургического робота-гуманоида, который точно понимает и выполняет запросы оперирующего хирурга. Благодаря новой разработке в области ИИ этот робот фактически получит зрение. Фото: архив Kormedi.com

«Для естественного взаимодействия роботов с медперсоналом недостаточно просто распознавать хирургические инструменты или органы: необходимо понимать, какая операция сейчас идет и что делают медики, — сказал Чон Гю Хван. — Значимость этого исследования в том, что мы предложили технологию ИИ, способную комплексно воспринимать все — от отдельных хирургических действий до общего хода операции. Мы ожидаем, что в дальнейшем это приведет к созданию интеллектуальных хирургических роботов, которые будут проактивно помогать медперсоналу».

Исследователи также создали новый обучающий набор данных на основе видеозаписей 48 лапароскопических резекций печени, выполненных в Медицинском центре Samsung в Сеуле с февраля 2020 года по март 2022 года. Общая продолжительность записей составляет около 52 часов. Два специалиста по хирургии печени, желчевыводящих путей и поджелудочной железы и три специалиста со стажем более 10 лет проверили каждую сцену, выделив 5 этапов операции, 18 конкретных задач и 195 действий.

Эта работа расширила исследования хирургического ИИ, до сих пор сосредоточенные преимущественно на удалении желчного пузыря, на операции на печени. Набор данных и программный код опубликованы на платформе с открытым исходным кодом, чтобы другие исследователи также могли проверить результаты.

Обученная на столь подробной разметке отдельных сцен модель CurConMix+ показала точность более 93% при прогнозировании этапов удаления желчного пузыря. «Можно сказать, что ИИ, способный понимать весь ход операции, теперь научился даже движениям кончиков пальцев хирурга, — отметил профессор отделения трансплантационной хирургии Медицинского центра Samsung в Сеуле О Нам Ги. — Пройдя через применение для автоматического протоколирования операций, их последующего разбора и обучения ординаторов, эта технология в конечном итоге сможет использоваться и в гуманоидных роботах — хирургических ассистентах, которые в реальном времени воспринимают происходящее во время операции».

Разработка выполнена при финансовой поддержке корейского проекта ARPA-H, поддерживаемого Корейским институтом развития индустрии здравоохранения при Министерстве здравоохранения и социального обеспечения, программы Национального исследовательского фонда Кореи при Министерстве науки и информационно-коммуникационных технологий, а также проекта Медицинского центра Samsung в Сеуле «Медицина будущего — 2030». Основные результаты исследования недавно опубликованы в международном научном журнале 《Труды IEEE по медицинской визуализации (IEEE Transactions on Medical Imaging)》.

×