Lumière, le nouvel outil de génération de vidéo IA de Google, crée des images animées réalistes basées sur le modèle de diffusion Space-Time-U-Net.
Lumière, le nouvel outil vidéo IA de Google, fait revivre des images animées. Cet outil de génération de vidéos utilise un nouveau modèle de diffusion, Space-Time-U-Net (STUNet). Ce modèle se fonde sur des images animées, contrairement à d’autres outils de génération de vidéos qui combinent des images statiques. Le modèle n’est pas encore disponible pour des tests.
Image STUNet
Le modèle de diffusion STUNet qui rend Lumière si puissant dépasse les outils de génération de vidéos IA déjà existants. Ce modèle analyse minutieusement où se trouvent les objets ou les personnes dans une vidéo (espace) et comment ils se déplacent et changent dans cet espace. Une vidéo peut ainsi être générée en un seul processus continu, alors que d’autres modèles utilisent des images statiques (par exemple des dessins) pour créér un objet mobile.
lire aussi
Google révèle Gemini, son modèle d’IA le plus puissant à ce jour
Tout d’abord, une image de base est créé à partir d’un invite, puis l’image STUNet est déployée pour détecter où les objets se déplaceront dans cette image, pour créer d’autres images qui se combinent bien entre elles. Lumière génère 80 images, tandis que Stable Video Diffusion n’en génère que 25.
Vidéo à vidéo
Avec Lumière, on ne peut pas seulement générer du texte à la vidéo, mais aussi de la vidéo à la vidéo. On peut alors créer des vidéos dans un style particulier. Un exemple bien connu est celui des cinémagraphes, où seule une partie de l’image est animée.
lire aussi
Google Bard, le concurrent de ChatGPT, disponible en Europe
Lumière crée des images qui bougent et qui, si on ne le sait pas, semblent très réalistes. Le modèle n’est pas encore disponible pour les tests. Quand même, Google se trouve ainsi au premier plan dans le domaine de la génération de vidéos par l’IA, avec les grands noms du secteur comme Runway et Pika.