Cloudflare с сентября 2026 года по умолчанию заблокирует смешанные краулеры на страницах с рекламой
Новая политика разрешит индексацию для поиска, но запретит использование контента для тренировки ИИ и работы агентов
Функция Pay Per Crawl переименована в Pay Per Use и будет платить владельцам сайтов за появление их контента в ответах чат-ботов
Инициатива Cloudflare направлена против Googlebot как смешанного краулера без возможности раздельного использования для поиска и ИИ
Cloudflare объявила о планах автоматически блокировать смешанные веб-краулеры — те, что одновременно индексируют сайты для поисковых систем и работают как ИИ-агенты или сборщики данных для обучения моделей. Раньше компания позволяла клиентам запрещать сбор контента для ИИ-чат-ботов по желанию. Теперь защитная политика становится настройкой по умолчанию.
Источник изображения — engadget.com
«Теперь, когда большая часть трафика в интернете не генерируется людьми, мы должны действовать быстрее и идти дальше, чтобы могла возникнуть устойчивая экосистема», — заявил генеральный директор и сооснователь компании Мэттью Принс. «Новые инструменты и партнёрства дают владельцам сайтов расширенную видимость и коммерческие возможности, а также приносят пользу ИИ-компаниям, чьи боты имеют чёткие и прозрачные намерения. Надеемся, предложенные изменения побудят смешанные краулеры разделить поиск и использование для ИИ-агентов и обучения».
Почему старая модель сломалась
Традиционно веб-трафик означал, что человек видит рекламу на сайте или оплачивает подписку. Популярность ИИ-моделей, которые заходят на сайты от имени пользователя за свежей информацией, разрушила эту схему: контент потребляется, а показ рекламы и переход на сайт не происходят. Новый подход Cloudflare — попытка перебалансировать отношения так, чтобы они были приемлемы и для ИИ-компаний, и для издателей.
Что изменится 15 сентября
С 15 сентября 2026 года для новых клиентов и новых сайтов действующих подписчиков по умолчанию включится политика «разрешить поиск, но блокировать обучение и использование для ИИ-агентов на страницах с рекламой». Смешанные краулеры, не дающие владельцу сайта выбора, будет ли контент использован для ИИ, тоже по умолчанию блокируются на рекламных страницах. Владельцев бесплатных аккаунтов переведут на новые настройки автоматически, если они не откажутся до указанной даты.
Pay Per Crawl становится Pay Per Use
В рамках изменений выходит новая версия функции Pay Per Crawl, представленной в 2025 году: она блокировала ИИ-краулеры по умолчанию, если компании не платили за сбор контента. Теперь механизм называется Pay Per Use, и принципиально меняется база расчёта: владельцы сайтов получают деньги не за факт сканирования страницы, а за то, что их контент появляется в ответах ИИ-чат-ботов.
В анонсе названы лишь партнёрства с Ceramic.AI и You.com, но расчёт очевиден: по мере подключения клиентов к опции присоединиться придётся и более крупным игрокам.
Настоящая мишень — Googlebot
За общими словами о справедливости просматривается конкретный адресат. В анонсе отмечается: «крупнейшая поисковая система имеет доступ примерно к вдвое большему объёму информации, чем ведущие ИИ-компании, потому что она усложняет для клиентов возможность оставаться обнаруживаемыми, не будучи при этом используемыми для ИИ».
Основной краулер Google — Googlebot — одновременно индексирует сайты для поиска и собирает данные для обучения Gemini и работы функций вроде AI Overviews и AI Mode. Формально есть отдельный Google-Extended, сканирующий сайты только для традиционной выдачи. Но если издатель хочет попасть в результаты AI Mode и при этом не отдавать контент на обучение моделей, такой опции у него нет. Новая политика Cloudflare как раз и должна заставить Google и другие компании со смешанными краулерами изменить тактику.
