Anthropic предупредила инвесторов о рисках рекурсивного самосовершенствования ИИ (RSI). Компания упомянула эту возможность в обновлённой форме S-1/A. Речь о сценарии, при котором нейросеть помогает создавать более совершенные системы, ускоряя развитие собственных возможностей.

Для одних RSI открывает путь к научным открытиям и росту производительности. Другие опасаются, что ИИ сможет совершенствовать себя быстрее, чем люди будут успевать проверять его действия и контролировать цели. Anthropic признаёт и потенциал, и серьёзные угрозы такого развития.

Компания уже использует ИИ в исследованиях и разработке моделей. Однако, по её словам, качественные скачки в возможностях систем ранее не всегда удавалось вовремя заметить. В будущем модели могут развиваться быстрее, чем специалисты смогут создавать и проверять механизмы безопасности.

Внутренние прогнозы Anthropic указывают на возможное скорое достижение порога «значительного ускорения прогресса, обусловленного ИИ». Он предусмотрен Политикой ответственного масштабирования. При этом компания подчёркивает: пока ни одна из её моделей этот порог не преодолела, а оценки продолжают анализировать.

Anthropic не рассчитывает полностью передать ИИ разработку следующих поколений моделей без существенного человеческого контроля — даже если технически это станет возможным. Риск заключается не только в появлении систем, способных улучшать себя, но и в том, что скорость их развития может опередить способность людей оценивать последствия.