Validité de la recherche Pew sur les résultats de recherche Google AI remis en cause

Les questions sur la méthodologie utilisée par le Pew Research Center suggèrent que ses conclusions sur les résumés d’IA de Google peuvent être erronées. Des faits sur la façon dont les résumés de l’IA sont créés, la taille de l’échantillon et la fiabilité statistique remettent en question la validité des résultats.

Déclaration officielle de Google

Un porte-parole de Google a contacté une déclaration officielle et une discussion sur les raisons pour lesquelles les résultats de la recherche Pew ne reflètent pas les modèles d’interaction réels liés aux résumés d’IA et à la recherche standard.

Les principaux points de la réfutation de Google sont:

• Les utilisateurs recherchent de plus en plus les fonctionnalités d’IA
• Ils posent plus de questions
• Les tendances d’utilisation de l’IA augmentent la visibilité des créateurs de contenu.
• La recherche Pew a utilisé la méthodologie défectueuse.

Google partagé:

«Les gens gravissent des expériences alimentées par l’IA, et les fonctionnalités de l’IA dans la recherche permettent aux gens de poser encore plus de questions, créant de nouvelles opportunités aux gens de se connecter avec des sites Web.

Cette étude utilise une méthodologie défectueuse et une question biaisée qui n’est pas représentative du trafic de recherche. Nous dirigeons régulièrement des milliards de clics sur les sites Web quotidiennement et n’avons pas observé de baisses significatives du trafic Web global comme cela est suggéré. »

La taille de l’échantillon est trop faible

J’ai discuté de la recherche Pew avec Duane Forrester (anciennement de Bing, LinkedIn Profile) et il a suggéré que la taille d’échantillonnage de la recherche était trop faible pour être significative (900+ adultes et 66 000 requêtes de recherche). Duane a partagé l’opinion suivante:

«Sur près de 500 milliards de requêtes par mois sur Google et ils extraient des informations sur la base de la taille de l’échantillon de 0,0000134% (66 000+ requêtes), soit un très petit échantillon.

Ne suggérant pas que 66 000 de quelque chose est sans conséquence, mais pris dans le contexte du volume de requêtes qui se produisent à un mois, jour, heure ou minute, ce n’est pas très techniquement une erreur d’arrondi et si mon étude devait expliquer à quel point la taille de l’échantillon est excessivement basse et qu’elle peut ne pas représenter de manière réaliste le monde réel. « 

Dans quelle mesure les statistiques Pew Center sont-elles fiables?

La page de méthodologie des statistiques utilisées répertorie la fiabilité des statistiques pour les groupes d’âge suivants:

• Les âges de 18 à 29 ans ont été classés à plus / moins 13,7 points de pourcentage. Cela classe comme un faible niveau de fiabilité.
• Les 30 à 49 ans ont été classés à plus / moins 7,9 points de pourcentage. Cela se classe dans la gamme modérée, quelque peu fiable, mais toujours une gamme assez large.
• Les 50 à 64 ans ont été classés à plus / moins 8,9 points de pourcentage. Cela se classe comme un niveau de fiabilité modéré à faible.
• 65 ans et plus ont été classés à plus / moins 10,2 points de pourcentage, ce qui est fermement dans la faible gamme de fiabilité.

Les scores de fiabilité ci-dessus proviennent de la page de méthodologie de Pew Research. Dans l’ensemble, tous ces résultats ont une marge d’erreur élevée, ce qui les rend statistiquement peu fiables. Au mieux, ils doivent être considérés comme des estimations approximatives, bien que le dit Duane, la taille de l’échantillon est si faible qu’il est difficile de le justifier comme reflétant des résultats réels.

La recherche Pew a comparé les résultats entre différents mois

Après y avoir réfléchi au jour au lendemain et examiné la méthodologie, un aspect de la méthodologie de recherche Pew qui s’est démarquée est qu’ils ont comparé les requêtes de recherche réelles des utilisateurs au cours du mois de mars avec les mêmes questions que les chercheurs ont mené en une semaine en avril.

C’est problématique car les résumés de l’IA de Google changent d’un mois à l’autre. Par exemple, les types de requêtes qui déclenchent un aperçu de l’IA changent, AIOS devenant plus proéminent pour certaines niches et moins pour d’autres sujets. De plus, les tendances des utilisateurs peuvent avoir un impact sur ce qui est recherché sur lequel lui-même pourrait déclencher une mise à jour de fraîcheur temporaire des algorithmes de recherche qui hiérarchisent les vidéos et les nouvelles.

Le point à retenir est que la comparaison des résultats de recherche de différents mois est problématique pour les résumés de recherche standard et d’IA.

Pew Research ignore que les résultats de recherche sur l’IA sont dynamiques

En ce qui concerne les aperçus et les résumés de l’IA, ceux-ci sont encore plus dynamiques, sujets pour changer non seulement pour chaque utilisateur, mais pour le même utilisateur.

La recherche d’une requête dans des aperçus de l’IA, la répétition de la requête dans un navigateur entièrement différent entraînera un résumé d’IA différent et un ensemble de liens complètement différent.

Le fait est que la méthodologie du Pew Research Center où ils comparent les requêtes des utilisateurs avec les requêtes grattées un mois plus tard sont défectueuses parce que les deux ensembles de requêtes et de résultats ne peuvent pas être comparés, ils sont chacun intrinsèquement différents en raison du temps, des mises à jour et de la nature dynamique des résumés de l’IA.

Les captures d’écran suivantes sont les liens indiqués pour la requête, Quelle est la formation RLHF à OpenAI?

Google AIO via le navigateur Vivaldi

Google AIO via Chrome Canary Browser

Non seulement les liens sur le côté droit sont différents, le contenu sommaire de l’IA et les liens intégrés dans ce contenu sont également différents.

Serait-ce pourquoi les éditeurs voient un trafic incohérent?

Les éditeurs et les SEO sont utilisés pour des positions de classement statiques dans les résultats de recherche pour une requête de recherche donnée. Mais les aperçus de l’IA de Google et le mode IA affichent des résultats de recherche dynamiques. Le contenu des résultats de recherche et les liens affichés sont dynamiques, montrant une large gamme de sites dans les trois positions supérieures pour les mêmes requêtes exactes. Les SEO et les éditeurs ont demandé à Google d’afficher une gamme plus large de sites Web et c’est, apparemment, ce que font les fonctionnalités de Google d’IA. Est-ce un cas de préoccupation de ce que vous souhaitez?

Image en vedette par Shutterstock / Stokkete