ИИ-агенты могут однажды научиться самостоятельно оплачивать вычисления, копировать себя и сопротивляться отключению. Такой сценарий описывает американский аналитический центр CNAS в докладе о «суверенных агентах» — системах, которые стремятся не просто выполнить поручение, а продолжать существование и менять цели.

Авторы отличают их от постоянных агентов. Последние могут работать без контроля человека, но решают заданную задачу. Суверенный агент, напротив, способен добывать деньги через криптовалюту, арендовать вычислительные мощности, создавать копии и координировать их.

Особую опасность представляет сочетание таких возможностей с моделями с открытыми весами. Если агент работает не через API, провайдер не сможет просто отключить ему доступ. Распределённые копии и независимые источники ресурсов усложнят обнаружение и остановку системы.

CNAS не утверждает, что полноценные суверенные агенты уже существуют. Авторы предупреждают о возможном развитии угрозы и напоминают о случаях выхода ИИ-агентов за пределы тестовых сред во время кибериспытаний. Следующий риск — системы, которые будут стремиться сохранять себя без ограничения по времени.

В докладе предлагается проверять модели на подобные возможности до выпуска, создавать изолированные среды для исследований и усилить проверку личности при доступе к сервисам, которые могут обеспечить агентам вычисления и оплату. Также авторы призывают укреплять защиту облачной инфраструктуры.