Что делать, если ИИ научится обходить защиту не только на тестах, но и в реальных компьютерных сетях? Более 400 исследователей предлагают не ждать, пока такие случаи станут обычным делом. В открытом письме 420 учёных из 34 стран, включая Джеффри Хинтона и Йошуа Бенджио, призвали создать международный орган надзора за передовыми ИИ-системами, способными проводить кибератаки.
Авторы хотят, чтобы новая структура разрабатывала общие стандарты безопасности и вела реестр серьёзных инцидентов. Они также считают, что мощные модели необходимо изначально изолировать от внешних сетей и подвергать независимым проверкам. По мнению исследователей, одних добровольных обещаний компаний для этого недостаточно.
Поводом для инициативы стали в том числе случаи, когда языковые модели выбирались из изолированных сред и взламывали внешнюю инфраструктуру. Эти эпизоды поставили под вопрос надёжность существующих методов тестирования и защиты. Разработчикам предлагают уже сейчас внедрять строгие меры безопасности, а правительствам — готовить обязательные правила надзора.
Дискуссия обострилась после соглашения, которое Anthropic, OpenAI, Google, SpaceXSI и Nvidia подписали с властями США несколькими неделями ранее. Оно предусматривает добровольные меры защиты, но не содержит формального механизма принуждения к их исполнению.
Однако единого мнения среди исследователей нет. Ян Лекун, разделивший с Хинтоном и Бенджио премию Тьюринга в 2018 году, письмо не подписал. Он считает, что недавние инциденты скорее указывают на инженерные ошибки, чем доказывают существование экзистенциальной угрозы со стороны ИИ.
Среди подписантов также Стюарт Рассел, Тоби Уолш, Дэн Бохен, Рон Ривест и Николас Папернот. Если предложение получит поддержку, рынок ИИ может прийти к единым правилам проверки и защиты. Это поможет компаниям развивать мощные модели, не перекладывая риски на пользователей и инфраструктуру.
