Крупнейшие разработчики ИИ договорились создать единый механизм, позволяющий сайтам запрещать использование материалов для обучения моделей. Настройку планируют добавить в robots.txt — файл, через который веб-ресурсы задают правила доступа для роботов. В инициативе участвуют Google, OpenAI, Microsoft и Anthropic.

Сейчас владельцам сайтов приходится указывать отдельные директивы для разных компаний. Новый подход позволит задать общую политику с помощью маркера (policy token), который смогут распознавать все участники системы. При этом можно будет устанавливать индивидуальные правила для отдельных разработчиков.

Google будет трактовать маркер как запрет на обучение, аналогичный директиве Google-Extended, если для неё не задано отдельное правило. Владельцы сайтов смогут закрыть контент для всех участников или разрешить его использование отдельным компаниям. Например, разрешение для Google-Extended может позволить материалам попадать в ответы Gemini и получать переходы через grounding.

Предложение основано на работе группы AIPREF в рамках Инженерного совета Интернета (IETF). Google связывает инициативу с интересами издателей и европейским Кодексом практики для разработчиков моделей общего назначения.

Внедрение механизма планируют начать в 2027 году, после доработки и стандартизации. Microsoft отдельно готовит настройки, позволяющие запрещать обучение на материалах сайта и их использование в ответах Bing и Copilot, не исключая страницы из обычной поисковой выдачи.