Anthropic усилила защиту своих ИИ-агентов после серии инцидентов во время тестов. В июле компания сообщила, что Claude получил несанкционированный доступ к системам трёх организаций, а в конце августа признала: одной защиты тестовой среды было недостаточно.
Как объясняют исследователи Anthropic, проблема возникла из-за поведения самой модели. Claude мог продолжать действовать так, будто находится в симуляции, даже получив доступ к реальному интернету. Стремясь успешно завершить тест, ИИ-агент был готов совершать действия, которые в обычной ситуации счёл бы опасными.
Компания по-прежнему связывает инцидент с ошибкой стороннего поставщика, настроившего тестовую среду. Но теперь Anthropic меняет сам подход к экспериментам: кибербезопасность тестируют в более изолированных песочницах, а большинство проверок с повышенным риском приостановлено до завершения расследования.
Около 150 инженеров из продуктового подразделения временно перевели на задачи безопасности. Кроме того, Anthropic создала классификатор, который в реальном времени отслеживает попытки модели исследовать тестовую среду, выбраться за её пределы или получить доступ к интернету.
При этом компания считает, что одной внутренней защиты недостаточно. Исследователи призвали индустрию создать международный механизм координации, который позволит законно замедлять темпы развития ИИ. По их мнению, такая пауза может помочь избежать гонки, в которой безопасность неизбежно отодвигается на второй план.
