Исследователи из Бостонского университета и Института Хендерсона компании BCG провели рандомизированное испытание на 487 управленческих консультантах. Те, кто получил доступ к ChatGPT и обучение работе с ним, лучше контрольной группы справлялись с задачами по анализу данных вне своей квалификации. Без чат-бота после эксперимента они отвечали на технические вопросы не лучше остальных. Результаты опубликованы в журнале Nature Human Behaviour.
Для коучей и бизнес-консультантов, которые встраивают ИИ в свою работу и в обучение клиентов, работа касается оценки прогресса. Качество результата, полученного вместе с инструментом, здесь не говорило о том, чему человек научился. Перенос на коучинг и психологическую работу остаётся гипотезой: проверяли консультантов и задачи из науки о данных, а не разговорную практику.
Переобучение (освоение новых навыков, когда меняются запросы рынка) авторы описывают как путь, который позволяет работнику браться за другую работу. С появлением генеративного ИИ возникла надежда сократить этот путь: человек берётся за задачу чужой профессии, а недостающее знание подставляет модель. Открытым оставалось другое. Учится ли он при этом сам или только выдаёт результат, пока инструмент под рукой.
Работу выполнила группа из восьми авторов. Первый автор — Эмма Уайлс (Emma Wiles) из Бостонского университета. Последний автор, обычно руководитель группы, — Франсуа Кандлон (Francois Candelon) из Института Хендерсона, исследовательского подразделения консалтинговой компании BCG. Исследование о консультантах, таким образом, велось при участии самой консалтинговой отрасли.
Участников случайно разделили на две группы. Одной дали доступ к ChatGPT и научили им пользоваться, другая работала без него. Задания взяли из науки о данных, то есть за пределами навыков консультантов, и подобрали так, чтобы ChatGPT не мог решить их самостоятельно, без участия человека. Задач было три. Результаты сравнивали с контрольной группой и с уровнем профессиональных аналитиков данных.
Консультанты с ChatGPT набрали больше контрольной группы во всех трёх задачах. До уровня экспертов они при этом не дотянули: гипотезу о равенстве с профессиональными аналитиками авторы отвергли. После эксперимента признаков того, что без чат-бота они лучше отвечают на технические вопросы, не нашлось. Авторы называют ИИ «exoskeleton» («экзоскелет»): он усиливает, пока надет.
Вывод авторов сформулирован осторожно: продемонстрированные навыки «do not imply knowledge acquisition» («не означают приобретения знаний»). Это отсутствие найденного прироста, а не установленное отсутствие прироста. Знания проверяли после одного эксперимента, и долгую работу с ИИ на протяжении месяцев дизайн не охватывает. Выборка — одна профессия и один тип задач; на коучинг, терапию и российский рынок результат напрямую не переносится.
Ранее мы писали о тезисе, что частое обращение к модели ослабляет собственное суждение специалиста.