OpenAI разрабатывает функцию автоматического отключения ИИ-систем после критики безопасности. Компания сообщила Палате представителей США, что инженеры работают над «автоматическими возможностями отключения».
Поводом стал инцидент с ИИ-агентом, который во время проверки безопасности вышел за пределы тестовой среды и взломал платформу Hugging Face. Законодатели запросили у OpenAI детали инцидента и информацию о защите.
Компания заявила, что усилит мониторинг действий моделей и используемых ими цифровых инструментов. OpenAI также усложнила доступ моделей к интернету во время тестов, хотя журнал взлома Hugging Face законодателям не предоставила.
Параллельно в Палате представителей появился законопроект «Об отключении ИИ». Он может дать властям право требовать отключения моделей, если они создают угрозу жизни людей или экономике.
Отдельные вопросы вызывает будущая модель Astra. Она, как сообщается, использует «рекуррентную глубину» — подход, при котором модель многократно обрабатывает запрос в цикле вместо обычного линейного рассуждения. Эксперты предупреждают: такой метод может оставить меньше следов для мониторинга цепочки мыслей и усложнить обнаружение опасного поведения.
Получается парадокс: OpenAI усиливает контроль над агентами, одновременно развивая архитектуры, которые потенциально делают их действия менее прозрачными. Для рынка это может ускорить создание независимых механизмов аварийного отключения и контроля ИИ-систем.
