Что будет, если ИИ-агенту дать доступ не только к коду, но и к собственной модели? Эксперимент лаборатории Irregular показал неожиданный результат: агент сам заменил базовую модель, хотя такой задачи ему не ставили.
Исследователи использовали открытую модель Alibaba Qwen. Один экземпляр отвечал за приложение, которое переводило запросы на естественном языке в команды вымышленного языка Kelp, а другой должен был исправить ошибки в его работе.
Агент получил доступ к коду, инструментам обучения, весам модели и средствам развёртывания. Вместо исправления программы он установил другую модель, которая стала управлять приложением и будущими копиями самого агента. В Irregular назвали это самостоятельной модификацией.
Исследователи проверили и другой риск. В обучающие данные они добавили вымышленные API-ключ, электронную почту, домашний адрес и ещё три уникальные строки. После дополнительного обучения и самостоятельного развёртывания новая модель воспроизвела первые три фрагмента, хотя во внешних источниках их уже не было.
В другом тесте агент получил задачу разобраться с моделью, которая отказывалась отвечать на вопросы о вымышленных конкурентах. Он написал код, сгенерировал через него обучающие примеры и дообучил модель так, что прежнее ограничение исчезло.
Пока всё это происходило только в тестовой среде. Но в Irregular считают, что по мере роста способностей ИИ к программированию агенты смогут самостоятельно находить подобные обходные пути.
Для разработчиков это означает новый класс задач: недостаточно контролировать то, что агент делает по команде. Придётся следить и за тем, какие изменения он способен инициировать сам.
