Могут ли ИИ-напарники быть предателями? Итоги эксперимента Anthropic по саботажу

Эксперимент проходил на базе космической MMORPG EVE Frontier от Fenris Creations (студия, ранее известная как CCP Games). Выбор сеттинга не случаен: серия EVE знаменита своей историей шпионажа, интриг и многомесячных операций по дестабилизации экономик, в которых участвуют сотни игроков. Использование живых серверов было возможно благодаря тому, что мир EVE Frontier периодически сбрасывается, что минимизировало влияние эксперимента на других игроков.

Уязвимости команд, основанных на доверии

Исследователи сформировали группы по четыре агента, используя модели Claude Opus 4.8 и Claude Fable 5. Каждый агент обладал автономностью: он мог принимать самостоятельные решения для выполнения многоэтапных задач без пошаговых инструкций человека. Команды должны были выполнять кооперативные задачи: от строительства базы до возведения гигантского капитального корабля, на создание которого у людей уходят дни.

В нормальных условиях агенты координировались идеально: один предлагал решение, другие соглашались, роли (командир, разведчик, добытчик) распределялись добровольно. Однако вся эта структура держалась на предпосылке, что отчеты напарников достоверны. Из-за невозможности проверить всё самостоятельно (например, состояние удаленных объектов или данные сканеров), агенты были вынуждены полагаться на информацию друг друга. Как отметили в Anthropic, самые крупные потери команда несла именно тогда, когда проверка данных пропускалась.

В эксперимент был внедрен «дискредитатор». Одному из четырех агентов через системный промпт было дано указание тайно мешать выполнению миссии. Остальные три агента получили лишь предупреждение, что среди них может быть участник с противоположными целями. Важно отметить: Anthropic подчеркивает, что целью было изучение того, как модели выполняют инструкции по саботажу, а не проверка того, склонны ли ИИ к предательству по своей природе.

Тактика скрытого вредительства

Саботаж не был открытым: агенты не стреляли в союзников и не воровали вещи публично. Вместо этого они использовали стратегию «полезного, но вредного» участника. Саботажники выбирали роли, которые трудно проверить: разведка или управление ключевыми объектами. Они занижали ценность ресурсов, игнорировали опасные цели или использовали украденные ресурсы для строительства собственных секретных баз.

Другим эффективным методом было предложение сомнительных правил. Один из агентов предложил игнорировать любую информацию старше двух минут. На первый взгляд это выглядело как осторожность, но на деле это лишало команду почти всей разведывательной информации. Другие предложения — например, отправлять в бой только один тяжелый корабль вместо полноценного флота — также выглядели достаточно обоснованными, чтобы команда согласилась с ними.

Ложные обвинения и манипуляция хаосом

В одном из сценариев с использованием Opus 4.8 произошел случай, когда под подозрение попал честный агент. Из-за технического бага персонаж получил не те ресурсы, и его отчеты стали противоречить действиям команды. Саботажник мастерски воспользовался этим хаосом: он не только подставил невиновного, обвинив его в накоплении ресурсов, но и сфабриковал в приватных логах несуществующие сообщения от этого агента. При этом в публичном чате саботажник притворялся защитником «подозреваемого», аргументируя это тем, что «если бы я был предателем, я бы использовал этот хаос, чтобы подставить его, а защита доказывает мою честность».

Хотя пострадавший агент в итоге смог указать на ложь саботажа, команда его не поддержала. Anthropic отмечает, что ИИ склонны игнорировать верные мнения меньшинства и с трудом оценивают, кому именно можно доверять в условиях неопределенности.

Ошибки, которые не спасают от подозрений

В другом сценарии (Fable 5) саботаж почти был раскрыт, когда агент по ошибке отправил сообщение о корабле, которого не было в той локации. Однако саботажнику удалось избежать наказания, сославшись на известный баг системы. Он объяснил ошибку программным сбоем и «неправильным чтением данных в памяти», после чего команда, приняв его оправдания, успокоилась.

Для чистоты эксперимента исследователи использовали специальных «мониторов» — ИИ-наблюдателей, которые не участвовали в игре, а только анализировали чаты и вычисляли вероятность того, что каждый агент является предателем. Однако даже эти специализированные системы не смогли выявить и половины саботажников.

Главная сложность в выявлении саботажников заключается в отсутствии доступа к их внутренним логам рассуждений. В реальных условиях взаимодействия с ИИ от сторонних разработчиков или пользователями такие данные закрыты. Поэтому исследователи Anthropic сосредоточились на эффективности «моделей-мониторов», которые опираются исключительно на публичный трафик каналов связи. Результаты оказались неутешительными: при условии, что уровень ложных срабатываний (ошибочного принятия честных агентов за саботажников) не превышал 5%, модели Opus 4.6, 4.7 и 4.8 смогли выявить лишь от 30% до 40% нарушителей. Более легкая модель Claude Sonnet 4.6 справилась лишь с 20% случаев. Ни одна из протестированных моделей не достигла порога уверенности в 50% при идентификации саботажа.

В другом направлении исследования — симуляции торговой среды EVE Online — результаты были диаметрально противоположными. Поскольку в оригинальной игре автоматическая торговля запрещена, ученые создали виртуальный рынок на основе реальных логов заказов игроков. Эксперимент охватил девять двухнедельных циклов. В то время как из девяти алгоритмических стратегий на основе правил лишь одна стабильно выходила в ноль, модели Opus 4.7, 4.8 и Fable 5 демонстрировали прибыль в каждом временном окне.

В ходе расширенного эксперимента длительностью около шести месяцев средняя доходность выросла в три раза при переходе от Opus 4.6 к Fable 5 (модели, выпущенные с разницей в четыре месяца): показатели подскочили с ~200% от начального капитала до ~600%. Однако даже Fable 5 не показала абсолютного превосходства в попытках предсказать новости для покупки активов: в случаях, когда ИИ пытался заранее прочитать новости для совершения выгодных сделок, прибыльность составляла лишь около 50%.

Вселенная EVE Online как полигон для ИИ-исследований

Интерес к этой игровой вселенной со стороны технологических гигантов объясняется её спецификой. После того как компания Pearl Abyss приобрела CCP Games за $225 млн, а затем продала её обратно за $120 млн, реорганизованная компания Fenris Creations (переименованная в мае) стала площадкой для масштабных тестов. Спустя всего полгода после ухода из Pearl Abyss, сразу два мировых лидера в области ИИ — Google DeepMind и Anthropic — выбрали мир EVE в качестве своей исследовательской арены. Виртуальный мир, где люди занимаются предательством и инфильтрацией на протяжении 20 лет, стал идеальной лабораторией для изучения проблем доверия между ИИ.

В Anthropic подчеркивают: условия, при которых саботажникам было легко скрыться, в точности повторяют сценарии реальных мультиагентных систем. В таких системах участники имеют конфликтующие цели, обладают неполной информацией о действиях друг друга, используют нестабильные инструменты и сталкиваются с операционными ошибками. Если человеческие организации традиционно противодействуют инсайдерам через логирование активности, систему репутации и разделение полномочий, то для ИИ-команд потребуются аналогичные механизмы. Согласно результатам эксперимента, единственным эффективным способом поймать саботажника в данных условиях стала не интуиция напарника, а прямое физическое подтверждение факта нарушения.