CF GarageLe risque : épuiser le budget de crawl et le serveur sans trafic en retour
Les entreprises d'intelligence artificielle déploient des flottes massives de robots pour aspirer le contenu public du web. Contrairement aux moteurs de recherche classiques qui génèrent du trafic organique vers votre site, ces scrapers consomment de la bande passante et des requêtes base de données sans contrepartie directe.
Toutefois, un blocage trop brutal entraîne des risques SEO majeurs :
- Usurpation de User-Agent : De nombreux scrapers se font passer pour Googlebot ou Bingbot. Une simple règle basée sur le nom du User-Agent est facilement contournée.
- Blocage involontaire des moteurs de recherche : Bloquer des plages d'IP ou des pays entiers risque de refouler les serveurs d'indexation de Google et Bing.
- Le fichier robots.txt est souvent ignoré : Les scrapers agressifs ne respectent pas les directives
Disallowtant qu'une règle de blocage WAF active n'est pas posée au niveau Edge.
L'architecture de règles WAF recommandée sur Cloudflare
Pour différencier avec certitude les vrais moteurs de recherche des robots de scraping :
- Vérification cryptographique des bots (Verified Bots) : Le champ
cf.client.botde Cloudflare vérifie l'authenticité via reverse DNS et réputation IP. Les vrais Googlebot et Bingbot sont validés sans risque d'usurpation. - Ciblage des User-Agents IA non vérifiés : Combiner les signatures connues (ex.
http.user_agent contains "GPTBot") avec la conditionnot cf.client.bot. - Usage du Managed Challenge : Au lieu d'un rejet brutal 403 sur des trafics ambigus, déclencher un défi Turnstile transparent pour valider la présence d'un utilisateur humain.