Gary Illyes de Google a répondu aux questions lors de la récente plongée en profondeur en direct de Search Central en Asie pour savoir s’ils utilisaient ou non la nouvelle méthode de récupération Multi-Vector Retrieval via Fixed-Dimensional Encodings (MUVERA) et également s’ils utilisaient des modèles de fondation graphique.
Contents
SE DÉPLACER
Google a récemment annoncé MUVERA dans un article de blog et un document de recherche : une méthode qui améliore la récupération en transformant la recherche multivecteur complexe en recherche rapide à vecteur unique. Il compresse des ensembles d’intégrations de jetons dans des vecteurs de dimension fixe qui se rapprochent étroitement de leur similarité d’origine. Cela lui permet d’utiliser des méthodes de recherche optimisées sur un seul vecteur pour trouver rapidement de bons candidats, puis de les reclasser en utilisant une similarité multivecteur exacte. Comparé aux systèmes plus anciens comme PLAID, MUVERA est plus rapide, récupère moins de candidats et améliore encore le rappel, ce qui en fait une solution pratique pour la récupération à grande échelle.
Les points clés de MUVERA sont :
- MUVERA convertit les ensembles multivecteurs en vecteurs fixes à l’aide de codages dimensionnels fixes (FDE), qui sont des représentations monovecteurs d’ensembles multivecteurs.
- Ces FDE (Fixed Dimensional Encodings) correspondent suffisamment aux comparaisons multivecteurs originales pour permettre une récupération précise.
- La récupération MUVERA utilise MIPS (Maximum Inner Product Search), une technique de recherche établie utilisée dans la récupération, ce qui facilite son déploiement à grande échelle.
- Reclassement : après avoir utilisé la recherche rapide sur un seul vecteur (MIPS) pour affiner rapidement les correspondances les plus probables, MUVERA les reclasse à l’aide de la similarité de chanfrein, une méthode de comparaison multivecteur plus détaillée. Cette dernière étape restaure toute la précision de la récupération multi-vecteurs, afin que vous obteniez à la fois vitesse et précision.
- MUVERA est capable de trouver davantage de documents précisément pertinents avec un temps de traitement inférieur à celui de la base de référence de récupération de pointe (PLAID) à laquelle il a été comparé.
Google confirme qu’il utilise MUVERA
José Manuel Morgal (profil LinkedIn) a posé sa question à Gary Illyes de Google et sa réponse a été de demander en plaisantant ce qu’était MUVERA, puis il a confirmé qu’ils en utilisaient une version :
Voici comment José a décrit la question et la réponse :
« Un article a été publié dans Google Research sur MUVERA et il existe un article associé. Est-il actuellement en production dans Search ? «
Sa réponse a été de me demander ce qu’était MUVERA haha, puis il a commenté qu’ils utilisaient quelque chose de similaire à MUVERA mais qu’ils ne le nommaient pas comme ça.
Google utilise-t-il des modèles de fondation graphique (GFM) ?
Google a récemment publié une annonce de blog sur une percée de l’IA appelée Graph Foundation Model.
Le Graph Foundation Model (GFM) de Google est un type d’IA qui apprend des bases de données relationnelles en les transformant en graphiques, où les lignes deviennent des nœuds et les connexions entre les tables deviennent des bords.
Contrairement aux anciens modèles (modèles d’apprentissage automatique et réseaux de neurones graphiques (GNN)) qui ne fonctionnent que sur un seul ensemble de données, les GFM peuvent gérer de nouvelles bases de données avec des structures et des fonctionnalités différentes sans avoir à se recycler sur les nouvelles données. Les GFM utilisent un grand modèle d’IA pour découvrir comment les points de données sont liés dans les tableaux. Cela permet aux GFM de trouver des modèles qui manquent aux modèles classiques, et ils sont bien plus performants dans des tâches telles que la détection du spam dans les systèmes évolutifs de Google. Les GFM constituent un grand pas en avant car ils apportent une flexibilité de modèle de base aux données structurées complexes.
Les modèles Graph Foundation représentent une réussite notable car leurs améliorations ne sont pas incrémentielles. Il s’agit d’une amélioration d’un ordre de grandeur, avec des gains de performances de 3x à 40x en précision moyenne.
José a ensuite demandé à Illyes si Google utilisait des modèles Graph Foundation et Gary a encore une fois feint en plaisantant de ne pas savoir de quoi José parlait.
Il a relaté la question et la réponse :
« Un article a été publié dans Google Research sur les modèles Graph Foundation pour les données, cette fois aucun papier n’y est associé. Est-il actuellement en production dans la recherche ? »
Sa réponse était la même que précédemment, me demandant ce qu’étaient les modèles Graph Foundation pour les données, et il pensait qu’ils n’étaient pas en production. Il ne le savait pas car il n’y a pas d’articles associés et d’un autre côté, il m’a fait remarquer qu’il ne contrôlait pas ce qui était publié sur le blog Google Research.
Gary a exprimé son opinion selon laquelle le modèle Graph Foundation n’était actuellement pas utilisé dans la recherche. À ce stade, c’est la meilleure information dont nous disposons.
Voir aussi : Le nouveau modèle Graph Foundation de Google améliore la précision jusqu’à 40 fois
GFM est-il prêt pour un déploiement à grande échelle ?
L’annonce officielle du Graph Foundation Model indique qu’il a été testé dans le cadre d’une tâche interne, la détection du spam dans les publicités, ce qui suggère fortement que de véritables systèmes et données internes ont été utilisés, et pas seulement des références ou des simulations académiques.
Voici ce que rapporte l’annonce de Google :
« Opérer à l’échelle de Google signifie traiter des graphiques de milliards de nœuds et de bords où notre environnement JAX et notre infrastructure TPU évolutive brillent particulièrement. De tels volumes de données se prêtent à la formation de modèles généralistes. Nous avons donc testé notre GFM sur plusieurs tâches de classification internes, comme la détection du spam dans les publicités, qui implique des dizaines de tables relationnelles volumineuses et connectées. Les lignes de base tabulaires typiques, bien que évolutives, ne prennent pas en compte les connexions entre les lignes de différentes tables et manquent donc de contexte qui pourrait être utile pour des prédictions précises. Notre les expériences démontrent clairement cet écart.
Points à retenir
Image en vedette par Shutterstock/Krakenimages.com