Исследователи проверили, способны ли большие языковые модели заменить живых участников международного опроса об экономических предпочтениях. Модели в 20 конфигурациях «ответили» за 67 201 реального респондента из 74 стран. Связи предпочтений с полом, возрастом и когнитивными способностями они воспроизвели в 77,8 процента случаев, культурные различия — в 48,1 процента. Это эмпирическое исследование, результаты опубликованы в журнале Nature Human Behaviour.

Работа очерчивает предел для коучей и исследователей, которые прогоняют анкеты или сценарии через чат-бот вместо людей. Модель ловит часть закономерностей по полу и возрасту, но хуже передаёт, чем отличаются люди разных стран, особенно бедных и слабо подключённых к интернету. Мерили экономические предпочтения, а не переживания, так что вывод о «симулированном клиенте» остаётся гипотезой.

Большие репрезентативные опросы дороги и идут медленно. Поэтому соблазн заменить респондентов языковой моделью понятен: она отвечает мгновенно и в любом количестве. Авторы взяли за образец Global Preference Survey — международный опрос, который измеряет шесть экспериментально проверенных экономических предпочтений, — и повторили его виртуально, подставив модель на место каждого реального участника.

Первый автор работы — Фадонг Чен (Fadong Chen), руководитель группы и последний автор — Судип Бхатия (Sudeep Bhatia). Всего у статьи четыре автора, ещё двое носят фамилию Ван. Исследование финансировали Национальный фонд естественных наук Китая, Чжэцзянский университет и Национальный научный фонд США. Места работы авторов в доступных данных о публикации не приведены.

Для каждого из 67 201 участника модель получала его характеристики и выдавала ответы по шести предпочтениям. Затем их сравнивали с тем, что человек ответил на самом деле. Мерой служила ранговая корреляция Спирмена (насколько совпадает порядок людей по признаку). Авторы перебрали 20 конфигураций моделей с разными подсказками и проверками устойчивости, а затем по очереди убирали из запроса демографию и название страны.

Совпадение оказалось систематическим, но скромным: у 87,5 процента корреляций 95-процентный доверительный интервал лежал выше нуля. Направление связей с полом, возрастом и когнитивными способностями модели угадали в 77,8 процента случаев (95% ДИ 71,6–83,1), культурных — в 48,1 процента (95% ДИ 45,1–51,2). Без демографии точность падала сильнее, чем без страны. Во многих моделях она была ниже в бедных странах.

Насколько велики сами корреляции, ясно лишь по слову «скромные»: точных значений в кратком изложении нет. Опрос касался экономических решений — терпения, риска, доверия, — а не тревоги, стыда или отношения к терапевту. Сами авторы пишут, что модели «not yet reliable proxies for cross-national representative surveys» («пока не надёжная замена межстрановым репрезентативным опросам»).

Ранее мы писали о симуляторе для проверки медицинских чат-ботов, где языковая модель тоже играла роль человека — пациента — и передала большую часть понятий верно. Новая работа показывает, на чём такая подмена спотыкается: на различиях между культурами.