Исследователи проверили устойчивость медицинских ответов трёх языковых моделей и обнаружили, что одна лишь форма запроса меняла точность определения стадии рака более чем на 50 процентов. Модели также давали определённый ответ, когда клинических данных для него было недостаточно. Это эмпирическое исследование, преимущественно на онкологических случаях. Работа опубликована в npj Digital Medicine.

Для частного специалиста, использующего чат-бота, находка касается устойчивости его гипотез: уверенная формулировка сама по себе не означает, что данных достаточно. Сопоставление ответов на разные формулировки одного вымышленного учебного случая могло бы выявить подобные расхождения. Но такая проверка в психотерапии была бы отдельной работой, а не воспроизведением уже установленного клинического результата.

Отправной точкой работы стало расхождение между высокой точностью медицинских моделей в стандартных тестах и нестабильностью при решении клинических задач. Успешный ответ в одном формате ещё не означает устойчивого ответа в другом. Авторы изучали не только правильность заключений, но и внутреннее представление информации — то, как модель кодирует слова и их контекст.

Первым автором работы указан Мираж Моди (Mirage Modi), последним — Цинь Ма (Qin Ma); всего у публикации 13 авторов. Исследование получило финансирование Национальных институтов здоровья США. Группа сравнила GPT-5, MedGemma-27B-Text-IT и OpenBioLLM-Llama3-70B: проверка охватывала несколько моделей, а не повторные ответы одного чат-бота.

Авторы использовали 3035 систематических изменений запросов на основе проверенных врачами онкологических записей SOAP (структурированных клинических записей), кратких описаний случаев и случаев из базы MIMIC. Это число вариантов запросов, а не размер клинической выборки. Для анализа внутреннего устройства моделей обучили разреженные автоэнкодеры (инструменты выделения отдельных признаков) на миллиарде токенов — единиц текста — из 50 тысяч записей MIMIC-IV.

При изменении формата точность определения стадии менялась более чем на 50 процентов; в сценариях с недостаточными данными модели всё равно называли стадию определённо. Внутреннее кодирование тоже различалось: у MedGemma признаки большой величины отражали слова, меньшей — контекст, а OpenBioLLM распределяла информацию равномернее. Вмешательства в работу моделей действовали по-разному: полезное для одной архитектуры могло вредить другой.

Результат относится к медицинским, преимущественно онкологическим задачам. Он не устанавливает, насколько часто переформулировка меняет психотерапевтические гипотезы чат-бота, и не показывает последствий для клиентов частной практики. Менялась точность ответа модели, а не результат лечения. Различия между архитектурами также ограничивают перенос способов повышения надёжности с одной системы на другую.

Ранее мы писали, что совет чат-бота по врачебной дилемме зависит от того, какого бота спросить. Новая работа касается другого источника расхождений — формы самого запроса. Вместе эти темы разделяют два вопроса проверки медицинского инструмента: насколько ответ зависит от выбранной системы и насколько — от способа постановки задачи.