Google annonce de nouveaux modèles d’IA pour la robotique basés sur Gemini 2.0. Gemini Robotics et Gemini Robotics-ER sont destinés à constituer la base d’une nouvelle génération de robots d’assistance.
Google DeepMind a annoncé Gemini Robotics et Gemini Robotics-ER, deux nouveaux modèles d’IA qui améliorent l’application de l’IA dans le monde physique. Gemini Robotics combine la reconnaissance du langage, visuelle et d’action pour contrôler directement les robots, tandis que Gemini Robotics-ER se concentre sur la compréhension spatiale et la programmabilité.
Interaction physique
Google DeepMind s’appuie sur son modèle Gemini 2.0 avec l’introduction de Gemini Robotics, un modèle dit vision-langage-action (VLA). Ce modèle ajoute l’action physique comme nouveau mode de sortie, permettant aux robots d’exécuter des tâches dans le monde réel. Gemini Robotics est conçu pour contrôler différents types de robots et peut s’adapter à de nouveaux objets, instructions et environnements. Le modèle est notamment testé sur le robot bi-bras ALOHA 2 et le robot humanoïde Apollo d’Apptronik.
lire aussi
Google élargit l’accès aux modèles d’IA Gemini 2.0 et introduit des versions expérimentales
En outre, Google DeepMind introduit Gemini Robotics-ER, un modèle vision-langage (VLM) qui donne aux robots une meilleure compréhension spatiale. Ce modèle peut, par exemple, déterminer automatiquement une prise appropriée pour un objet et tracer des schémas de mouvement sûrs. Gemini Robotics-ER intègre la perception, la compréhension spatiale, la planification et la génération de code, rendant l’interaction entre les robots et leur environnement plus efficace.
Collaboration et sécurité
Google DeepMind collabore avec des entreprises telles qu’Apptronik, Agile Robots, Agility Robotics, Boston Dynamics et Enchanted Tools pour développer davantage les modèles. La sécurité reste un pilier important, Gemini Robotics-ER pouvant collaborer avec les mécanismes de sécurité existants pour minimiser les risques. De plus, un ensemble de données est publié pour évaluer davantage la sécurité des robots pilotés par l’IA.