Perplexity a publié une réponse aux affirmations de Cloudflare selon lesquelles il ne respecte pas le fichier robots.txt et se livre à une exploration furtive. Perplexity affirme que Cloudflare qualifie à tort les assistants IA de robots d’exploration Web, affirmant qu’ils ne devraient pas être soumis aux mêmes restrictions puisqu’il s’agit d’assistants lancés par l’utilisateur.
Les assistants IA de Perplexity sont récupérés à la demande
Selon Perplexity, son système ne stocke ni n’indexe le contenu à l’avance. Au lieu de cela, il récupère les pages Web uniquement en réponse à des questions spécifiques des utilisateurs. Par exemple, lorsqu’un utilisateur demande des avis récents sur un restaurant, l’assistant récupère et résume le contenu pertinent à la demande. Selon l’entreprise, cela contraste avec le fonctionnement des robots d’exploration traditionnels, qui indexent systématiquement de vastes portions du Web sans tenir compte de l’intention immédiate de l’utilisateur.
Perplexity a comparé cette récupération à la demande aux récupérations déclenchées par l’utilisateur de Google. Bien qu’il ne s’agisse pas d’une comparaison de pommes avec des pommes, car les récupérations déclenchées par l’utilisateur de Google servent à lire le texte à haute voix ou à vérifier le site, il s’agit toujours d’un exemple de récupération déclenchée par l’utilisateur qui contourne les restrictions robots.txt.
De la même manière, Perplexity affirme que son IA fonctionne comme une extension de la demande d’un utilisateur, et non comme un robot autonome rampant sans discernement. La société déclare qu’elle ne conserve ni n’utilise le contenu récupéré pour former ses modèles.
Critique l’infrastructure de Cloudflare
Perplexity a également critiqué l’infrastructure de Cloudflare pour son incapacité à faire la distinction entre le scraping malveillant et le trafic légitime initié par l’utilisateur, suggérant que l’approche de Cloudflare en matière de gestion des robots risque de surbloquer les services qui agissent de manière responsable. Perplexity affirme que l’incapacité d’une plateforme à faire la différence entre les assistants IA utiles et les robots nuisibles entraîne une mauvaise classification du trafic Web légitime.
Perplexity plaide fortement en faveur de l’affirmation selon laquelle Cloudflare bloque le trafic légitime des robots et affirme que la décision de Cloudflare de bloquer son trafic était basée sur une mauvaise compréhension du fonctionnement de sa technologie.
Lisez la réponse de Perplexity :
Agents ou robots ? Donner du sens à l’IA sur le Web ouvert