Исследователи Центра ИИ МГУ вместе с коллегами разработали подход к оценке диагностических ответов языковых моделей, который учитывает расхождения во мнениях врачей. Метод позволяет сопоставлять предположения ИИ с заключениями нескольких специалистов, принимая во внимание степень согласия между ними, а также выявлять совпадающие по смыслу формулировки диагнозов. Подход проверили на 360 русскоязычных диалогах с участием медицинских специалистов, актёров в роли пациентов и языковых моделей. Каждый диалог независимо оценивали семь врачей-ординаторов, а их заключения сравнивали с ответами восьми моделей. В эксперименте согласованность некоторых моделей с экспертами оказалась сопоставима с согласованностью врачей между собой. Результаты подчёркивают важность учёта профессиональных разногласий при оценке медицинского ИИ. При этом совпадение с мнением специалистов само по себе не подтверждает правильность диагноза и безопасность применения системы в клинической практике. Подробнее — на сайте.