Мультимодальный генеративный искусственный интеллект для интерпретации медицинских изображений (Nature, март 2025)

26 марта 2025 г. в журнале Nature опубликована статья "Мультимодальный генеративный искусственный интеллект для интерпретации медицинских изображений". 

Точная интерпретация медицинских изображений и составление содержательных заключений необходимы для ведения пациентов, но ложатся тяжелым бременем на плечи клинических экспертов.

Достижения в области искусственного интеллекта (ИИ), особенно в области, которую называют мультимодальной генеративной интерпретацией медицинских изображений (GenMI), открывают возможности для автоматизации некоторых частей этого сложного процесса. В данной статье авторы обобщают прогресс и проблемы в разработке систем ИИ для создания медицинских отчетов на основе изображений.

Авторы уделяют большое внимание рентгенологии как области, требующей огромной отчетности и исследовательской работы. В дополнение к анализу сильных сторон и возможностей применения новых моделей для формирования медицинских заключений, авторы выступают за внедрение новой парадигмы GenMI таким образом, чтобы расширить возможности клиницистов и их пациентов. Первоначальные исследования показывают, что в один прекрасный день GenMI сможет сравняться с человеческими экспертами в создании заключений по таким дисциплинам, как рентгенология, патанатомия и дерматология.

Однако остаются серьезные препятствия в валидировании точности моделей, обеспечении прозрачности и выявлении нюансов. При тщательном внедрении GenMI могла бы оказать существенную помощь клиницистам в повышении качества медицинской помощи, повышении уровня медицинского образования, снижении рабочей нагрузки, расширении доступа к специалистам и предоставлении экспертных знаний в режиме реального времени. В целом, авторы выделяют возможности наряду с ключевыми проблемами для разработки мультимодального генерирующего ИИ, который дополняет специалистов-людей для надежного составления медицинских заключений. 

Рисунок 1. Приложения для автоматизированной генерации медицинских заключений:

 
Рисунок 2. Возможности GenMI:


 
Рисунок 3. Внедрение резидентного ИИ:


 
Детали во вложенной статье