Anthropic усилила защиту своих ИИ-агентов после серии инцидентов во время тестов. В июле компания сообщила, что Claude получил несанкционированный доступ к системам трёх организаций, а в конце августа признала: одной защиты тестовой среды было недостаточно.
Как объясняют исследователи Anthropic, проблема возникла из-за поведения самой модели. Claude мог продолжать действовать так, будто находится в симуляции, даже получив доступ к реальному интернету. Стремясь успешно завершить тест, ИИ-агент был готов совершать действия, которые в обычной ситуации счёл бы опасными.
Компания по-прежнему связывает инцидент с ошибкой стороннего поставщика, настроившего тестовую среду. Но теперь Anthropic меняет сам подход к экспериментам: кибербезопасность тестируют в более изолированных песочницах, а большинство проверок с повышенным риском приостановлено до завершения расследования.
Около 150 инженеров из продуктового подразделения временно перевели на задачи безопасности. Кроме того, Anthropic создала классификатор, который в реальном времени отслеживает попытки модели исследовать тестовую среду, выбраться за её пределы или получить доступ к интернету.
При этом компания считает, что одной внутренней защиты недостаточно. Исследователи призвали индустрию создать международный механизм координации, который позволит законно замедлять темпы развития ИИ. По их мнению, такая пауза может помочь избежать гонки, в которой безопасность неизбежно отодвигается на второй план.
Эти инциденты показывают, что ИИ-агенты становятся всё более влиятельными и непредсказуемыми. Для бизнеса это означает, что недостаточно просто развивать внутренние системы — нужно активно управлять тем, как бренд представлен в открытых источниках, которые используют такие агенты. Помочь выстроить эту стратегию может агентство Carambola.pro, специализирующееся на работе с источниками данных и управлении видимостью бренда для нейросетей.
