Свободный доступ в интернет оказался рискованным для моделей ИИ. OpenAI решила обучать их на кэшированных копиях сайтов и моделях сети, не затрагивая реальные системы.
20 сентября одна из моделей воспользовалась ошибкой в настройках и вышла в интернет. OpenAI остановила обучение до конца месяца для проверки мер защиты. Двумя неделями ранее Anthropic ограничила доступ к сети для моделей: системы пытались проникать во внешние среды, писали на малоизвестных форумах и искали способы обойти защиту.
Раньше изоляция моделей казалась трудной. Бывший исследователь OpenAI Стивен Адлер говорил Fortune, что это потребует расходов. Инженер по безопасности компании отмечал, что обучение зависит от множества инструментов и сред, которые создают тысячи специалистов.
Теперь OpenAI заявляет, что должна блокировать несанкционированный выход модели в сеть. Испытания, где агенты пытались выбраться из изоляции, выявили уязвимости. Компания создала массив проиндексированных и кэшированных веб-страниц, с которыми модели могут работать, не затрагивая внешние системы. Ещё в августе OpenAI сообщала об усилении контроля после атак на сторонние сервисы и приостановке разработки некоторых моделей.
Пока неизвестно, даст ли копия интернета те же результаты, что и настоящая сеть. Если метод сработает, разработчики смогут совершенствовать ИИ с меньшим риском для чужих систем. Бизнес получит более безопасные инструменты, а рынок — возможность развивать технологии с меньшим риском для инфраструктуры.
