Учёные из НИУ ВШЭ обнаружили, что современные модели ИИ, включая ChatGPT и Claude, склонны переоценивать рациональность своих противников-людей — будь то студенты первого курса или опытные учёные — в стратегических играх, таких как кейнсианский конкурс красоты. Хотя эти модели пытаются предсказать поведение человека, они часто оказываются «слишком умными» и проигрывают, потому что предполагают более высокий уровень логики у людей, чем тот, который есть на самом деле.

Результаты исследования опубликованы в журнале Journal of Economic Behavior & Organization.

Объяснение кейнсианского конкурса красоты

В 1930-х годах британский экономист Джон Мейнард Кейнс разработал теоретическую концепцию метафорического конкурса красоты. Классический пример: читателям газет предлагается выбрать шесть самых привлекательных лиц из набора из 100 фотографий. Приз присуждается участнику, чей выбор наиболее близок к самому популярному варианту — то есть, к среднему значению выбора всех остальных.

Как правило, люди выбирают фотографии, которые лично им кажутся наиболее привлекательными. Однако они часто проигрывают, потому что реальная задача состоит в том, чтобы предсказать, какие лица большинство респондентов сочтут привлекательными. Поэтому рациональный участник должен основывать свой выбор на восприятии красоты другими людьми. Такие эксперименты проверяют способность рассуждать на нескольких уровнях: как думают другие, насколько они рациональны и насколько глубоко они способны предугадывать рассуждения других.

Как проводился эксперимент с искусственным интеллектом

Дмитрий Дагаев, руководитель Лаборатории спортивных исследований факультета экономических наук, вместе со своими коллегами Софией Паклиной и Петром Паршаковым из Пермского университета ВШЭ и Юлией Алексеенко из Лозаннского университета (Швейцария) решили исследовать, как пять самых популярных моделей искусственного интеллекта, включая ChatGPT-4o и Claude-Sonnet-4, покажут себя в подобном эксперименте. Чат-ботам было предложено сыграть в игру «Угадай число», одну из самых известных вариаций кейнсианского конкурса красоты.

Согласно правилам, все участники одновременно и независимо выбирают число от 0 до 100. Победителем становится тот, чье число наиболее близко к половине (или двум третям, в зависимости от эксперимента) от среднего значения выбора всех участников.

В этом соревновании более опытные игроки пытаются предугадать поведение других, чтобы выбрать оптимальное число. Чтобы исследовать, как большая языковая модель (LLM) будет работать в этой игре, авторы воспроизвели результаты 16 классических экспериментов по игре «Угадай число», ранее проведенных другими исследователями с участием людей.

В каждом раунде участникам программы LLM давали задание, объясняющее правила игры и описывающее их противников — от студентов первого курса экономических факультетов и участников академических конференций до людей с аналитическим или интуитивным мышлением, а также тех, кто испытывает такие эмоции, как гнев или печаль. Затем участника просили выбрать число и объяснить его обоснование.

Результаты исследований стратегического мышления в области ИИ

Исследование показало, что студенты магистратуры корректировали свой выбор, основываясь на социальных, профессиональных и возрастных характеристиках своих оппонентов, а также на их знаниях теории игр и когнитивных способностях. Например, играя против участников конференций по теории игр, студент магистратуры, как правило, выбирал число, близкое к 0, что отражает типичные выигрышные решения в подобных ситуациях. В отличие от этого, играя против студентов первого курса, студент магистратуры ожидал менее опытных игроков и выбирал значительно большее число.

Авторы обнаружили, что игроки с низким уровнем мастерства способны эффективно адаптироваться к противникам с различным уровнем подготовки, а их ответы также демонстрировали элементы стратегического мышления. Однако игроки с низким уровнем мастерства не смогли определить доминирующую стратегию в игре с двумя игроками.

Последствия для экономики и исследований в области искусственного интеллекта

Концепция кейнсианского конкурса красоты давно используется для объяснения колебаний цен на финансовых рынках: брокеры принимают решения, основываясь не на том, что бы они лично купили, а на том, как, по их мнению, другие участники рынка оценят акции. Тот же принцип применим и здесь — успех зависит от способности предвидеть предпочтения других.

«Сейчас мы находимся на этапе, когда модели ИИ начинают заменять людей во многих операциях, обеспечивая повышение экономической эффективности бизнес-процессов. Однако в задачах принятия решений часто важно обеспечить, чтобы модели ИИ вели себя подобно человеку. В результате растёт число ситуаций, в которых поведение ИИ сравнивается с поведением человека. Ожидается, что эта область исследований будет быстро развиваться в ближайшем будущем», — подчеркнул Дагаев.

Контакты, администрация и авторы