Anthropic внедрила в Claude механизм самооценки безопасности. После каждого ответа модель получает скрытую инструкцию и анализирует разговор: был ли запрос потенциально вредным, к какой категории он относится и насколько срочно его нужно проверить человеку. Пользователь этого сообщения не видит.
Механизм работает на моделях начиная с Claude Fable 5 и охватывает большую часть трафика, кроме клиентов с нулевым хранением данных. Он ничего не блокирует, а лишь помечает подозрительные разговоры для проверки.
По данным Anthropic, на Fable 5 система выявляет 78% диалогов, которые более мощный классификатор считает потенциально опасными. Для случаев с высоким приоритетом показатель достигает 94% при доле ложных срабатываний около 1%. Дополнительные вычисления требуют менее 2% от нагрузки.
Компания утверждает, что качество самооценки растёт вместе с возможностями модели. Claude может замечать и необычные сценарии злоупотреблений, не заложенные отдельно в обучение. С июня система помогла обнаружить более 100 тысяч сигналов о материалах сексуального насилия над детьми от одного API-клиента. После проверки информацию передали профильной организации.
Однако Anthropic подчёркивает: механизм не заменяет защитные фильтры и не способен надёжно остановить целенаправленную атаку. Его задача — находить то, что прошло через другие барьеры, и помогать специалистам быстрее оценивать риски. Такой подход может усилить контроль за использованием ИИ без существенного роста вычислительных затрат.
