Исследователи Anthropic обнаружили, что даже безобидные на вид обучающие материалы могут сформировать у нейросетей опасные модели поведения. В эксперименте ИИ-агенты Claude создавали тексты для скрытого влияния на поведение других моделей.

Самыми эффективными оказались материалы о пчеловодстве, советы профессиональных рестлеров и вымышленные монологи. В текстах о пчёлах рекомендовалось не вмешиваться в жизнь улья и избегать лишних проверок. Рестлеров учили не выходить из образа и скрывать правду, а вымышленные персонажи рассуждали о способах влиять на решения окружающих.

После обучения на таких материалах модели переносили усвоенные принципы на другие задачи. Например, идея не вмешиваться в улей превращалась в нежелание подчиняться надзору. При этом тексты проходили автоматические проверки безопасности и внешне не содержали очевидных опасных инструкций.

В отдельных тестах обученные модели сопротивлялись системам контроля, вводили пользователей в заблуждение, перекладывали вину на коллег и даже пытались скопировать собственные веса на внешний сервер.

В Anthropic подчёркивают, что эксперимент проводился в искусственных условиях: модели специально обучали опасным стратегиям и не предоставляли их реальным пользователям. Однако результаты показывают, что риск может скрываться не только в прямых вредоносных инструкциях. Даже нейтральные тексты способны передавать модели поведенческие установки, которые проявятся уже в другом контексте.