Meta lance Llama 4 à travers deux modèles : Maverick et Scout. Les nouveaux LLM doivent, comme leurs prédécesseurs, alimenter des chatbots intelligents et des assistants IA génératifs.
Meta étend son écosystème Llama avec l’introduction de Llama 4 Scout et Llama 4 Maverick. Les deux modèles sont entraînés avec une architecture de mélange d’experts (MoE), où seule une partie des paramètres est active pour une entrée donnée. Seule une partie du modèle traite une entrée spécifique au lieu du modèle entier. Pensez à la représentation classique du cerveau, divisé en zones spécialisées. Cette approche rend les modèles plus efficaces à l’utilisation, sans compromettre les performances.
Llama 4 Scout est conçu pour des applications générales et dispose de dix-sept milliards de paramètres actifs répartis sur seize ‘experts’. Le modèle peut fonctionner avec une fenêtre de contexte allant jusqu’à 10 millions de tokens. Cela le rend approprié pour des applications telles que des résumés détaillés et l’analyse de code.
Plus d’experts, plus d’efficacité
Llama 4 Maverick contient également dix-sept milliards de paramètres actifs, mais répartis sur 128 experts. Le modèle atteint des performances comparables à celles de modèles plus volumineux comme DeepSeek v3, mais avec moins de paramètres actifs. Meta le positionne comme un modèle pour des tâches d’assistance avancées, incluant le raisonnement, le codage et l’interaction multimodale.
Les deux modèles tiennent sur un seul GPU Nvidia H100. Cela est important pour le déploiement efficace des modèles pour l’inférence dans les centres de données.
Behemoth
Comme base pour ces modèles, Meta a également développé Llama 4 Behemoth. Il s’agit d’un modèle avec 288 milliards de paramètres actifs. Behemoth est encore en phase d’entraînement et est utilisé comme modèle d’apprentissage pour les modèles Llama 4 plus petits. Behemoth surpasse GPT-4.5 et Claude Sonnet 3.7 sur les benchmarks liés aux STEM, selon Meta.
Meta souligne que les modèles Llama 4 ont été construits en tenant compte de la sécurité. L’entreprise propose des outils tels que Llama Guard et Prompt Guard pour aider les développeurs à détecter les entrées et sorties indésirables. De plus, le processus de red-teaming a été étendu avec le Generative Offensive Agent Testing (GOAT) pour mieux cartographier les risques potentiels.
Llama 4 Scout et Maverick sont désormais disponibles via llama.com et Hugging Face. Les modèles sont disponibles en (plus ou moins) open source. Tout le monde peut les utiliser, mais les entités commerciales ayant plus de 700 millions d’utilisateurs actifs mensuels doivent demander l’autorisation à Meta.
Meta prévoit un support supplémentaire via des plateformes cloud et des partenaires. Les modèles fonctionnent déjà dans WhatsApp, Messenger et Instagram Direct, mais principalement en dehors de l’Europe. Aux États-Unis, l’implémentation de l’IA dans les services Meta est déjà omniprésente, et Meta travaille sur le déploiement plus large (non sollicité) de l’IA dans WhatsApp au sein de l’UE.