Alors que les modèles d’IA avancés coûtent aujourd’hui une centaine de millions à former, la future génération arrivera avec un prix d’un milliard, voire plus.
Les modèles d’IA en cours de développement aujourd’hui coûteront environ un milliard de dollars en formation. C’est ce qu’affirme Dario Amodei, PDG d’Anthropic. Le prix des modèles les plus avancés disponibles aujourd’hui est dix fois moins élevé. Par exemple, la formation de GPT-4o a coûté environ 100 millions de dollars.
Dans un podcast, Amodei explique qu’il pense que les coûts vont encore augmenter. Dans quelques années, la construction des modèles coûtera entre 10 et 100 milliards de dollars. Dans ce scénario, c’est probable que les modèles soient plus performants que les humains dans de nombreuses tâches.
Le matériel coûte cher
Le matériel est le principal coût des modèles de formation. Une seule puce Nvidia B200 utilisée pour les systèmes GPU les plus avancés coûte plus de 30 000 dollars l’unité. Sam Altman, d’OpenAI, a récemment laissé entendre que sa société aurait besoin de 30 000 GPU. Si toutes ces puces sont des B200, on approche déjà du milliard de dollars, sans compter les coûts supplémentaires tels que la structure physique du centre de données, le refroidissement et l’alimentation électrique.
Mais le coût le plus important de l’essor de l’IA n’est pas forcément financier. Les immenses clusters de GPU consomment plus d’énergie que la quantité durablement disponible. Google, par exemple, ambitionne d’atteindre le zéro émission nette d’ici à 2030, mais a plutôt vu ses émissions de gaz augmenter de 48 % en cinq ans, pour l’amour de l’IA.