Cloudflare змінить політику роботи з вебкраулерами?Вебкраулери — це спеціальні автоматизовані програми, які систематично сканують мережу, переходять за гіперпосиланнями та збирають інформацію. , які одночасно індексують сайти для пошукових систем і використовуються для навчання або роботи моделей штучного інтелекту.
Читайте также: Meta запустила ігровий застосунок Pocket для створення мініпроєктів за допомогою ШІ
Про це повідомляє Engadget.
Хостинг-платформа блокуватиме такі вебкраулери з вересня цього року. У компанії хочуть повернути власникам сайтів контроль за використанням їхнього контенту.
Що відомо про нові правила
Раніше Cloudflare вже дозволяла власникам сайтів за бажанням забороняти збір даних для чатботів зі штучним інтелектом.
Тепер такий підхід стане стандартним для нових клієнтів і нових сайтів наявних користувачів.
Починаючи з 15 вересня 2026 року, нові клієнти та нові сайти користувачів Cloudflare автоматично отримуватимуть налаштування, які дозволяють індексацію для пошукових систем, але блокують використання сторінок із рекламою для навчання моделей ШІ та роботи агентів.
Також блокуватимуться змішані вебкраулери, які не надають власникам сайтів можливості окремо керувати використанням контенту для штучного інтелекту.
Користувачі безкоштовних тарифів також перейдуть на ці налаштування, якщо не відмовляться від них до набрання чинності нової політики.
Співзасновник і СЕО Cloudflare Меттью Прінс зазначив, що оскільки більшість інтернет-трафіку вже не належить людям, компанія має діяти швидше для створення сталої екосистеми. Нові інструменти мають заохотити операторів змішаних ботів чітко розділяти функції традиційного пошуку від навчання моделей.
Читайте также: Міжнародну букерівську премію перейменували на честь співзасновника Playrix Дмитра Бухмана з рф
Запуск монетизації Pay Per Use
У межах оновлення Cloudflare також перезапускає функцію Pay Per Crawl, презентовану в 2025 році (яка дозволяла знімати блокування з ШІ-ботів лише за умови плати за скрапінг).
Оновлений інструмент отримав назву Pay Per Use. Тепер виплати власникам сайтів нараховуватимуться не за сам факт сканування сторінки, а тоді, коли їхній контент зʼявлятиметься у відповідях ШІ-чатботів.
Як зазначає видання TechCrunch, нова політика Cloudflare також опосередковано спрямована проти Google, адже компанія має доступ приблизно вдвічі більшої кількості інформації ніж інші ШІ-компанії.
Бот компанії — Googlebot — одночасно індексує сторінки для пошукової видачі та збирає інформацію для навчання Gemini й роботи інших ШІ-функцій.
Хоча Google дозволяє сайтам вимкнути окремий краулер Google-Extended (щоб дані не йшли на навчання моделей), видавці не мають можливості погодитися на відображення в результатах AI Mode без того, щоб їхній контент не використовувався для навчання ШІ.
Нова політика Cloudflare покликана змусити компанії змінити таку практику.
Нагадаємо, що Cloudflare скорочує понад 1100 співробітників по всьому світу, що становить п’яту частину її штату. Це рішення пов’язане з переходом компанії на операційну модель, орієнтовану на штучний інтелект (AI-first).
Читайте также: Анна Скороход Где Сейчас: Подробный Обзор Текущей Жизни и Карьеры