Cloudflare решила развести поисковых и обучающих ботов. Для владельца сайта разница принципиальна: поисковик может привести читателя со ссылкой, а обучающий бот забирает материал для модели, которая затем выдаёт содержание в ответе.
По оценке Cloudflare за 2025 год, поисковых роботов блокирует менее 1% сайтов, а от обучающих пытаются закрыться 17%. Трафик нужен для рекламы, подписок и продаж, тогда как ответ ИИ без перехода не приводит пользователя на площадку.
Проблему обсуждают давно: llms.txt должен был разделить доступ, но единым правилом не стал. Теперь Cloudflare предлагает свой механизм.
Через инфраструктуру компании проходит более 20% сайтов мира. Cloudflare заявила о договорённостях с операторами категории Accountable: они должны соблюдать отказ от обучения и не ухудшать позиции сайта в поиске. В панели появились три типа роботов — поиск, обучение и агенты — и четыре режима блокировки. Google и Apple уже соответствуют условиям, Microsoft обещает поддержку в начале 2027 года.
Но защита не идеальна. Один бот может выполнять разные задачи, а перепубликованный материал всё равно попадёт к модели.
Рынок ищет баланс. Google уже тестирует денежные стимулы издателям за использование материалов в ответах ИИ. Если такой подход закрепится, качественный контент сможет приносить бизнесу не только аудиторию, но и дополнительный доход.
