Cloudflare с 15 сентября 2026 года заблокирует краулеры, смешивающие поиск и обучение ИИ
Боты, которые одновременно индексируют сайт для поиска, обучают модели и обслуживают агентов, попадут под блокировку по умолчанию. Параллельно запускается схема оплаты за фактическое использование контента.