L’humanité fait un pari majeur : au nom de l’IA, les architectures matérielles et logicielles sont redessinées simultanément. Cela ne s’est jamais produit auparavant sans intégration verticale. L’open source est-il la solution ?
Les révolutions caractérisent le monde technologique, mais la tendance actuelle est inédite. « Nous assistons à une co-évolution », déclare Mark Collier, directeur exécutif de la PyTorch Foundation. « Nous essayons de renouveler simultanément l’architecture matérielle et logicielle. Cela ne se fait pas par intégration verticale au sein d’une seule entreprise, mais de manière très large avec l’apport d’entreprises et de personnes du monde entier. »
Révolution totale
Collier fait bien sûr référence à la révolution de l’IA en cours. Dans ce contexte, les spécialistes du matériel construisent de nouveaux GPU, TPU et ASIC, tous destinés à accélérer les charges de travail d’IA. Le paysage matériel se diversifie et évolue à un rythme soutenu, et la couche logicielle supérieure doit prendre en charge tous ces composants.
Le rythme du développement logiciel n’est pas en reste. De nouveaux LLM, qu’ils soient généralistes ou spécialisés, apparaissent chaque mois. Chaque nouveau modèle impose de nouvelles exigences à la pile sous-jacente pour l’entraînement et l’inférence. Les charges de travail évoluent également, avec des agents nécessitant une inférence à grande échelle.
C’est un peu comme si tout le monde réapprenait à conduire en même temps, alors que non seulement le moteur de la voiture est mis à niveau en temps réel, mais que les routes sont également en train d’être reconstruites.
Sur mesure pour l’open source
« Cette situation est unique », affirme Collier. « Toutes les architectures changent simultanément, ce qui entraîne un problème de coordination majeur. La seule façon d’aligner autant de personnes à travers le monde est de passer par l’open source. C’est précisément dans ce type de coordination que l’open source excelle. »
Ainsi, Collier et la PyTorch Foundation ont un rôle majeur à jouer. La mission de la fondation est de soutenir l’IA open source, de l’entraînement à l’inférence en passant par les agents. Cela passe par la gestion du framework populaire PyTorch, qui permet l’entraînement et l’optimisation de divers modèles d’IA sur différents matériels, mais aussi d’autres projets open source tels que Ray, DeepSpeed, vLLM et, depuis très récemment, Helion et SafeTensors.
Avec PyTorch vers Paris
Pour concrétiser cette ambition de coordination mondiale, Collier emmène la PyTorch Foundation de l’autre côté de l’Atlantique, vers Paris. C’est là que se tient la toute première conférence européenne PyTorch. « PyTorch était déjà un projet mondial en termes de contributions », dit-il. « Il était temps de sortir de notre bulle de la Silicon Valley et d’aller là où se trouvent nos développeurs. »
« En Europe, il y a un grand intérêt pour le développement de l’IA ouverte (à ne pas confondre avec OpenAI, ndlr) », poursuit Collier. « Et en France, il y a Mistral, qui a déjà publié de nombreux modèles open weight. »
Autodétermination par l’abstraction et la simplicité
En Europe, la souveraineté est par ailleurs un sujet d’actualité. Collier suit la définition de la souveraineté numérique liée à l’autodétermination et à la résilience. Selon lui, PyTorch peut y jouer un rôle crucial.
« PyTorch est le projet open source le plus important à ce moment précis de l’histoire », affirme Collier avec enthousiasme. « PyTorch permet aux organisations de construire plus facilement leurs propres modèles. De plus, la fondation soutient des projets qui simplifient l’utilisation de l’IA. Par ailleurs, nous voyons apparaître de plus en plus de nouveaux accélérateurs d’IA. PyTorch constitue la couche d’abstraction intermédiaire, permettant d’utiliser les puces de n’importe quel fournisseur. »
La position de PyTorch en tant que framework open source indépendant offrira aux entreprises la possibilité de décider librement du matériel qu’elles utilisent pour travailler avec l’IA. De plus, elles peuvent entraîner leurs propres modèles ou améliorer des modèles open source. Cela réduit la dépendance vis-à-vis des grands acteurs du secteur.
Beaucoup d’enthousiasme (mais pas de Nvidia)
Dans ce contexte, il est frappant de constater qu’il s’agit du premier événement d’IA auquel nous assistons où Nvidia n’est pas le sponsor principal (alors qu’AMD l’est). Avec son propre écosystème d’IA, Nvidia occupe en effet une position dominante sur le marché qu’elle ne souhaite pas perdre en mettant trop en avant l’open source. La couche d’abstraction évoquée par Collier permet justement de travailler plus facilement avec des accélérateurs autres que ceux de Nvidia.
Son concurrent AMD, adoptant une position de challenger, choisit quant à lui l’ouverture et profite de sa présence sous les projecteurs pour faire l’éloge de PyTorch. « PyTorch a simplifié la programmation de l’IA sur un seul GPU et est désormais le moteur d’un écosystème d’IA ouvert avec le calcul parallèle », déclare Rami Roane, vice-président des applications logicielles d’IA chez AMD.
À Paris, des développeurs de 45 pays et 250 organisations se réunissent pour discuter de PyTorch et de l’IA ouverte. Ensemble, ils partagent un objectif : soutenir de manière ouverte le pari majeur que le monde technologique fait sur l’IA. Collier monte sur scène lors de son discours d’ouverture et résume la situation ainsi : « La communauté PyTorch est différente des autres communautés open source. Vous voulez accomplir ce qui n’a jamais été fait auparavant. »