Cloudflare по умолчанию заблокирует смешанные краулеры на страницах с рекламой
С 15 сентября 2026 года новая политика разрешит индексацию для поиска, но запретит использование контента для обучения моделей и работы ИИ-агентов. Pay Per Crawl превращается в Pay Per Use с оплатой за появление контента в ответах чат-ботов. Главная мишень — Googlebot.
