ИИ всё чаще получает длинные задачи, и вместе с этим меняется логика безопасности. OpenAI решила искать угрозу не в одном запросе, а в том, как несколько действий складываются в единую картину.
Компания тестирует Private Safety Processing («Конфиденциальная обработка в целях безопасности») для клиентов с платным доступом к флагманским ИИ-моделям. По данным Bloomberg, система должна анализировать связи между взаимодействиями пользователя.
По словам руководителя продуктовой политики OpenAI Алеи Хоуз, опасное поведение может проявиться только спустя время. Отдельный запрос способен выглядеть как исследование кибербезопасности, но последовательность обращений уже может указывать на подготовку атаки.
Хоуз привела сценарий: пользователь изучает уязвимость программы, затем интересуется удалённым доступом, а позже — способами обнаружения подобных угроз. По отдельности вопросы могут быть законными, но вместе способны показать другой замысел.
OpenAI рассчитывает использовать этот контекст для защиты от злоумышленников и ИИ-агентов, нарушающих ограничения. При этом содержимое запросов, по замыслу компании, останется недоступным самой OpenAI.
Механизм проверяют вместе с Microsoft и Databricks. Запуск Private Safety Processing и публикация отчёта намечены на сентябрь. Если подход сработает, безопасность ИИ будет учитывать последовательность действий. Для бизнеса это может дать более точную защиту.
