Google a réprimé les grattoirs Web qui récoltent les données des résultats de la recherche, déclenchant des pannes globales dans de nombreux outils de suivi de classement populaires comme Semrush qui dépendent de la fourniture de données nouvelles à partir des pages de résultats de recherche.
Que se passe-t-il si les serps de Google sont complètement bloqués? Une certaine quantité de données fournies par les services de suivi a longtemps été extrapolée par des algorithmes à partir d’une variété de sources de données. Il est possible qu’une façon de contourner le bloc actuel soit d’extrapoler les données d’autres sources.
Contents
Outils SEO bloqués
Ce que Google fait a toujours un effet majeur sur la fraîcheur des données que les outils de référencement sont capables de fournir. Il existe de nombreux outils de référencement qui connaissent des pannes de données qui peuvent normalement être obtenues en grattant les pages de résultats de moteur de recherche de Google (SERP).
@Ryanjones, qui exploite plusieurs outils, a tweeté une mise à jour aujourd’hui:
«Affectant certainement mes outils également – car nous utilisons un fournisseur de données tiers et tous les principaux ont été bloqués hier. Beaucoup sont encore »
@Seovision a tweeté les observations en espagnol (traduites ci-dessous) à l’aide d’un chânisme espagnol pour décrire Google comme un chien gardant des légumes qu’il ne mangera pas, bloquant le jardinier qui les veut et laissant la ressource inaccessible à tout le monde.
«Depuis hier, il semble qu’ils aient mis en place un nouveau système anti-scrapage également dans les SERP, ce qui est plus strict. Ils deviennent très difficiles à gratter. … Comme le chien du jardinier, je ne vous vendrai pas les données ni ne vous laisserai l’obtenir.
Semrush est probablement l’outil le plus utilisé dont les données n’ont pas été rafraîchies (selon les articles en ligne). Cela dit, quelqu’un de Semrush m’a contacté pour dire que rien d’inhabituel ne se passe et qu’il n’y a pas de problèmes répandus.
L’outil SEO populaire, le classement SE, est un autre service qui connaît une perte de nouvelles données.
@Laurachiocciora a publié une capture d’écran d’un message reçu de l’outil de classement SE indiquant que le suivi de la position est de retour en ligne, mais que les fonctionnalités SERP sont toujours manquantes en raison de «problèmes techniques».
Le message complet dans la capture d’écran est:
«Le suivi des positions est de retour en ligne. Le suivi des fonctionnalités SERP n’est toujours pas disponible en raison de problèmes techniques. Notre équipe travaille déjà à résoudre le problème et à vous fournir les données dès que possible. »
SERP Stracing interdit par Google
Les directives de Google ont longtemps interdit la vérification automatisée de classement des résultats de la recherche, mais apparemment, Google a également permis à de nombreuses entreprises de gratter leurs résultats de recherche et de facturer pour accéder aux données de classement aux fins de suivi des mots clés et des classements.
Selon les directives de Google:
«Le trafic généré par la machine (également appelé trafic automatisé) fait référence à la pratique de l’envoi de requêtes automatisées à Google. Cela comprend le grattage des résultats à des fins de vérification du rang ou d’autres types d’accès automatisé à la recherche Google effectuée sans autorisation expresse. Le trafic généré par la machine consomme des ressources et interfère avec notre capacité à servir au mieux les utilisateurs. Ces activités violent nos politiques de spam et les conditions d’utilisation de Google. »
En rapport: 13 techniques de chapeau noir qui peuvent nuire à une campagne de référencement
Bloquer les grattoirs est complexe
Il est très attentif aux ressources de bloquer les grattoirs, surtout parce qu’ils peuvent répondre aux blocs en faisant des choses comme changer leur adresse IP et leur agent utilisateur pour obtenir des blocs. Une autre façon de bloquer les grattoirs consiste à cibler des comportements spécifiques comme le nombre de pages demandées par un utilisateur. Des quantités excessives de demandes de page peuvent déclencher un bloc. Le problème de cette approche est qu’il peut devenir une forte intensité de ressources en gardant une trace de toutes les adresses IP bloquées qui peuvent rapidement être complétées par millions.
Rapports sur les réseaux sociaux
Un message dans le groupe Facebook privé de SEO Signals Lab a annoncé que Google frappait durement les grattoirs Web, un membre commentant que l’outil Scrape Owl ne fonctionnait pas pour eux tandis que d’autres ont cité que les données de Semrush n’avaient pas été mises à jour.
Un autre article, cette fois sur LinkedIn, a noté plusieurs outils qui ne rafraîchaient pas leur contenu, mais il a également noté que le blocage n’avait pas affecté tous les fournisseurs de données, notant que Sistrix et Monitorrank fonctionnaient toujours. Une personne d’une entreprise appelée Haloscan a rapporté avoir fait des ajustements pour reprendre le grattage des données de Google et s’est rétabli et quelqu’un d’autre a rapporté qu’un autre outil appelé MyrankingMetrics rapporte toujours des données.
Un autre article sur LinkedIn a fourni des informations sur l’impact, notamment en spéculant comment le blocage pourrait éventuellement entraîner des ressources et des frais plus élevés pour les utilisateurs finaux des outils SAAS SEO.
Natalia Witczyk (profil LinkedIn) a offert les informations suivantes via LinkedIn:
«Fresh in: Google commence à intensifier ses mesures anti-scolarisation, en introduisant des protections plus strictes telles que le blocage IP et les captchas. Des outils de référencement populaires comme Semrush, le classement SE sont affectés.
Cette décision de Google rend l’extraction de données plus difficile et coûteuse. En conséquence, les utilisateurs peuvent faire face à des frais d’abonnement plus élevés.
Avez-vous vu des problèmes de données dans vos outils de référencement?
Edit: Ahrefs ne réclame pas de pannes, j’ai donc supprimé leur nom du premier paragraphe, mais certains utilisateurs ont déclaré des retards de données. Sistrix ne semble pas affecté. »
Ryan Jones a tweeté:
« Google semble avoir fait une mise à jour hier soir qui bloque la plupart des grattoirs et de nombreuses API.
Google, donnez-nous simplement une API payante pour les résultats de recherche. Nous vous paierons à la place.
Aucune annonce par Google
Jusqu’à présent, il n’y a eu aucune annonce par Google, mais il se peut que le bavardage en ligne puisse forcer quelqu’un chez Google à envisager de faire une déclaration.
Image en vedette par Shutterstock / Krakenimages.com