La nouvelle initiative «Pay Per Crawl» de Cloudflare a déclenché un débat parmi les professionnels du référencement et les spécialistes du marketing numérique.
La société a introduit un système de blocage par rapport aux compressions par défaut par défaut aux côtés de nouvelles options de monétisation pour les éditeurs.
Cela permet aux éditeurs de facturer des sociétés d’IA pour l’accès, ce qui pourrait avoir un impact sur la façon dont le contenu Web est consommé et apprécié à l’ère de la recherche générative.
Contents
NOUVEAU DE DÉAUTER DE LA Cloudflare: Block AI Crawlers
Le système, désormais en bêta privé, bloque les robots AI connus par défaut pour les nouveaux domaines CloudFlare.
Les éditeurs peuvent choisir l’un des trois paramètres d’accès pour chaque robot:
- Permettre – accorder un accès sans restriction
- Charge – nécessite un paiement au prix configuré à l’échelle du domaine
- Bloc – refuser entièrement l’accès
Crawlers qui tentent d’accéder au contenu bloqué recevront un 402 Payment Required réponse. Les éditeurs ont fixé un prix plat à l’échelle du site par demande et CloudFlare gère la facturation et la distribution des revenus.
Cloudflare a écrit:
«Imaginez demander à votre programme de recherche en profondeur préféré pour vous aider à synthétiser les dernières recherches sur le cancer ou un mémoire juridique, ou simplement vous aider à trouver le meilleur restaurant de SoHo – puis donner à cet agent un budget à dépenser pour acquérir le contenu le meilleur et le plus pertinent.
Détails techniques et adoption de l’éditeur
Le système s’intègre directement aux outils de gestion de bot de Cloudflare et fonctionne avec les règles WAF existantes et robots.txt fichiers. L’authentification est gérée à l’aide de paires de clés ED25519 et de signatures de message HTTP pour empêcher l’usurpation.
Cloudflare dit que les premiers adoptants incluent les principaux éditeurs comme Condé Nast, Time, The Atlantic, AP, BuzzFeed, Reddit, Pinterest, Quora et autres.
Bien que la configuration actuelle ne prenne en charge uniquement les prix plates, la société prévoit d’explorer des modèles de prix dynamiques et granulaires dans les futures itérations.
La communauté SEO partage les préoccupations
Bien que les nouveaux contrôles de Cloudflare puissent être modifiés manuellement, plusieurs experts SEO sont préoccupés par l’impact de la désactivation du système plutôt que de l’opt-in.
« Cela ne se terminera pas bien », a écrit Duane Forrester, vice-président des informations de l’industrie à Yext, avertissant que les entreprises peuvent avoir du mal à apparaître dans des réponses alimentées par l’IA sans se rendre compte que l’accès au robot est bloqué à moins que des frais ne soient payés.
Lily Ray, vice-président de la stratégie et de la recherche SEO chez Amsive Digital, a noté que le changement est susceptible de susciter des conversations urgentes avec les clients, en particulier ceux qui ne savent pas que leurs sites pourraient désormais être invisibles pour les robots de l’IA par défaut.
Ryan Jones, vice-président directeur du référencement de Razorfish, a déclaré que la plupart de ses sites clients voulaient réellement que les Crawlers de l’IA accédent à leur contenu pour des raisons de visibilité.
Certains disent que c’est une réinitialisation nécessaire
Certains membres de la communauté accueillent le déménagement en tant que rééquilibrage attendu depuis longtemps de l’économie de contenu.
Ilya Grigorik, ingénieur distingué et conseiller technique chez Shopify, a salué l’utilisation de l’authentification cryptographique, affirmant qu’elle est «bien nécessaire» étant donné à quel point il est difficile de distinguer les robots légitimes et malveillants.
Dans le cadre du nouveau système, les Crawlers doivent s’authentifier à l’aide de la cryptographie de clé publique et déclarer l’intention de paiement via des en-têtes HTTP personnalisés.
Gérer l’accès au robot: ce que vous pouvez faire
Au fur et à mesure que les nouveaux paramètres par défaut de Cloudflare prennent effet, il y a des inquiétudes concernant la perte de visibilité dans les outils de recherche d’IA. Mais vous avez des options pour reprendre le contrôle.
Le trafic IA peut diminuer fortement si votre domaine bloque les robots AI sans que vous vous en rendions compte.
Himanshu Sharma, consultant en analyse numérique et fondateur d’OptimiseMart, a averti X:
« Attendez-vous à une forte baisse du trafic d’IA signalé par GA4, car CloudFlare bloque presque tous les robots / robots AI connus de gratter le contenu de votre site Web par défaut. »
Sharma a conseillé aux propriétaires de sites d’examiner de manière proactive leurs paramètres CloudFlare:
- Accédez à votre tableau de bord CloudFlare
- Aller à la sécurité> bots
- Trouvez le réglage «Block AI Training Bots»
- Utilisez la liste déroulante pour le changer par défaut «Bloquer toutes les pages» pour «ne pas bloquer (off)» si vous voulez autoriser les robots
Cette option vous permet de décider si vous souhaitez maintenir la visibilité sur les plates-formes axées sur l’IA ou limiter l’utilisation du contenu pour la formation et les réponses.
En avant
Le système de rémunération de CloudFlare formalise une nouvelle couche de négociation sur qui accéder à l’accès au contenu Web et à quel coût.
Pour le référencement, cela ajoute de la complexité: la visibilité peut désormais dépendre non seulement du classement, mais des paramètres d’accès au robot, des politiques de paiement et de l’authentification BOT.
Alors que certains considèrent cela comme des éditeurs stimulants, d’autres avertissent qu’il pourrait fragmenter le Web ouvert, où l’accès au contenu varie en fonction des infrastructures et des murs de paiement.
Si une IA générative devient une partie essentielle de la façon dont les gens recherchent et que les tuyaux alimentaient cette IA sont désormais des routes à péage, les sites Web devront gérer la visibilité dans un patchwork croissant de systèmes, de politiques et de modèles financiers.
Image en vedette: Samborskyi romain/ Shutterstock