Cloudflare с 15 сентября 2026 года по умолчанию заблокирует смешанные краулеры, совмещающие поиск, работу агентов и обучение
Новый дефолт затронет всех новых клиентов Cloudflare и всех существующих пользователей бесплатного тарифа
Компания прямо назвала Google «крупнейшей поисковой системой», получающей вдвое больше данных за счет неразделения ботов
Платный доступ для ИИ-ботов эволюционирует в модель Pay Per Use, позволяющую взимать плату за созданную ценность контента
Компания Cloudflare установила для индустрии искусственного интеллекта новый дедлайн по разделению веб-краулеров, используемых для традиционного поиска (например, Google Search), и краулеров, применяемых для AI-агентов и обучения моделей. В среду компания объявила, что с 15 сентября 2026 года настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на страницах с рекламой.
Источник изображения — techcrunch.com
Это означает, что краулеры, сочетающие поиск, работу агентов и обучение, будут по умолчанию блокироваться при сканировании таких сайтов, если владелец сайта не изменит настройки. По заявлению компании, изменения по умолчанию коснутся новых клиентов Cloudflare, новых сайтов, создаваемых существующими клиентами, а также всех существующих пользователей бесплатного тарифа.
Этот шаг может повлиять на доступ провайдеров AI-моделей к веб-контенту для целей обучения и обеспечения работы их агентских сервисов.
Cloudflare отмечает, что большинство владельцев сайтов хотят, чтобы их контент был доступен через поиск, а часто и через AI-сервисы, но при этом они хотят защиты от безвозмездной передачи интеллектуальной собственности.
Cloudflare отдельно указывает на «крупнейшую поисковую систему в мире» (очевидно, имея в виду Google), отмечая, что она получает доступ к «примерно в 2 раза большему объему информации», чем другие AI-компании. Это связано с тем, что поисковый гигант затрудняет для клиентов возможность оставаться доступными для поиска без использования их контента в AI.
Ранее Google отвергал это обобщение, указывая на наличие бота Google Extended, который позволяет владельцам сайтов отказаться от использования их контента для обучения и AI-продуктов, таких как Gemini Apps и Vertex API. Использование этого бота не влияет на включение сайта в Google Search. Однако флагманский Googlebot от Google сканирует сайты для поиска, включая AI-функции, такие как AI Overviews и AI Mode.
«Теперь, когда большая часть трафика в интернете создается не людьми, мы должны пойти дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема», — заявил сооснователь и генеральный директор Cloudflare Мэтью Принс в объявлении новости, ссылаясь на недавний рубеж, когда боты впервые превысили человеческий трафик в сети. Этот сдвиг не ожидался до следующего года.
«Новые инструменты и партнерства Cloudflare предоставляют владельцам сайтов больше возможностей для видимости и коммерции, а также приносят пользу AI-компаниям, которые имеют ботов с четкими и прозрачными намерениями. Мы надеемся, что предложенные изменения по умолчанию побудят смешанные краулеры разделить поиск, использование агентов и обучение», — сказал Принс.
Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям запускать собственные AI-системы, компания также выпустила набор инструментов для предоставления издателям большего контроля над своим контентом в эпоху AI. В последние годы Cloudflare запустила инструменты для борьбы с AI-ботами, включая маркетплейс, позволяющий сайтам взимать плату с AI-ботов за сканирование, названный Pay Per Crawl.
Последний теперь также эволюционирует в «Pay Per Use», сообщила компания, что позволит издателям взимать плату с AI-компаний, когда их контент создает ценность, а не только когда он извлекается.
Это изменение также может помочь сэкономить пропускную способность и вычислительные ресурсы издателей для провайдеров AI-моделей, так как данные Cloudflare показывают, что более 50% трафика от AI-краулеров уходит на повторное сканирование неизмененных страниц.
Для реализации этой идеи Cloudflare изначально работает с двумя партнерами: Ceramic.ai и You.com. Когда издатель дает согласие, ему платят, когда его контент появляется в результатах AI-поиска Ceramic или когда You.com обращается к его премиальному контенту.
Другие AI-компании могут настроить эту модель под свой стиль работы, заявляет Cloudflare.
Суть спора проста и от этого неразрешима. Владельцу сайта нужен трафик из поиска, поэтому индексацию он разрешает. Но тот же самый обход страниц используется и для обучения моделей, которые затем отвечают на вопросы пользователя вместо перехода на сайт. Пока оба сценария выполняет один и тот же бот, разрешить первый и запретить второй технически невозможно — отсюда и требование разделить краулеры.
Российским владельцам сайтов стоит помнить, что robots.txt остаётся рекомендацией, а не запретом: добросовестные боты его соблюдают, остальные игнорируют. Реальную защиту дают только меры на уровне сервера или CDN — ограничение частоты запросов, проверка источника и блокировка по подписи бота. Именно поэтому инициатива крупного CDN-провайдера здесь весомее любых деклараций.
