Google présente en avant-première une nouvelle « variante » du modèle Gemini. Gemini 1.5 Pro peut traiter des millions de jetons très précisément.
Gemini 1.5 Pro est une version nouvelle et améliorée du modèle Gemini que Google a lancé en décembre de l’année dernière. Ce LLM « moyen » a un niveau similaire à celui de Gemini 1.0 Ultra, mais il requiert moins de puissance de traitement. Toutes les variantes de Gemini ont des capacités multimodales. Elles peuvent donc traiter différents types d’entrées, du texte aux images et à l’audio.
Le point fort de Gemini 1.5 Pro devrait être la gestion des documents volumineux. Google vante les mérites de son dernier modèle, qui offre la plus longue fenêtre contextuelle de tous les modèles de fondation à grande échelle à ce jour. La préversion peut traiter des entrées allant jusqu’à un million de jetons, mais dans le document technique, Google écrit que la limite de Gemini 1.5 Pro est de dix millions de jetons.
Par comparaison, Claude 2.1 traite un maximum de 200 000 jetons, tandis que GPT-4 Turbo en traite environ 130 000. Dans la démo ci-dessous, Google donne à Gemini 1.5 Pro une chance de creuser dans la transcription de la mission Apollo 11, un document de 402 pages.
Ce sont les détails qui comptent
Gemini 1.5 Pro peut donc traiter d’énormes quantités d’informations simultanément. Un million de tokens correspond à peu près à une heure de vidéo, 11 heures d’audio, des fichiers de code de plus de 30 000 lignes de code ou plus de 700 000 mots. De plus, le modèle peut filtrer des informations très spécifiques à partir de ces longues séquences de jetons.
La précision est de 99,7 % jusqu’à un million de jetons et de 99,2 % même pour dix millions de jetons, selon les tests de référence communiqués par Google dans le document. Les chatbots basés sur le modèle peuvent donc avoir de longues conversations sans oublier de détails, même si les tâches sont complexes ou les interactions nombreuses et suivies. Selon Google, il est possible de personnaliser le modèle sans avoir à le peaufiner.
Google proposera tous ses modèles Gemini via Vertex AI. Google Cloud aura ainsi accès à des modèles prêts à l’emploi, ainsi qu’à des API qui lui permettront de créer son propre robot Gemini. Les internautes pourront découvrir Gemini grâce au chatbot Bard, qui porte depuis peu le nom du modèle sous-jacent.