Qualcomm introduit l’AI200 et l’AI250. Ce sont deux accélérateurs conçus pour l’inférence efficace dans les centres de données. Le spécialiste ARM vise ainsi à prendre une part du gâteau de Nvidia.
Qualcomm lance l’AI200 et l’AI250. Le nom ne pourrait être plus clair : les deux puces sont développées pour l’inférence IA dans les centres de données. Une faible consommation d’énergie ainsi qu’un coût total de possession (TCO) avantageux font partie de leurs atouts.
Mémoire LPDDR
Qualcomm suit la même logique qu’Intel et intègre 768 Go de mémoire LPDDR sur l’AI200. Comme Intel, Qualcomm opte pour une mémoire LPDDR moins coûteuse au lieu de la mémoire HBM ultra-rapide. Ce choix réduit les coûts et permet au concepteur de puces d’intégrer beaucoup plus de mémoire sans que le prix n’explose complètement. C’est pertinent pour l’inférence (l’utilisation de modèles d’IA déjà entraînés), où la capacité de mémoire est prioritaire sur la vitesse.
Selon Qualcomm, l’AI250 ajoute une architecture mémoire personnalisée basée sur le calcul proche de la mémoire. Qualcomm affirme ainsi obtenir une amélioration de plus de dix fois de la bande passante mémoire effective.
Les deux solutions utilisent un refroidissement liquide direct et prennent en charge PCIe et Ethernet pour la scalabilité. La consommation électrique maximale par rack est de 160 kW : bien au-delà de ce que le refroidissement par air peut supporter.
Logiciel et disponibilité
L’AI200 et l’AI250 sont compatibles avec les frameworks d’IA courants et disposent de leur propre pile logicielle. Qualcomm offre aux développeurs des outils et des bibliothèques, y compris sa propre Efficient Transformers Library et la Qualcomm AI Inference Suite. Les solutions visent une intégration rapide des modèles d’IA existants, notamment via des déploiements en un clic de modèles de Hugging Face.
L’AI200 sera commercialement disponible en 2026. L’AI250 suivra en 2027. Qualcomm annonce que l’entreprise lancera chaque année de nouvelles solutions d’IA pour les centres de données dans le cadre d’une stratégie plus large axée sur les performances d’inférence IA et l’efficacité énergétique.
Pas seul
L’annonce est remarquable car elle ne vient pas seule. Ces dernières semaines, plusieurs parties ont annoncé des accélérateurs d’IA, chacun avec ses propres atouts. Pensez non seulement à l’accélérateur Crescent d’Intel, mais aussi à l’accélérateur Maverick-2 de NextSilicon et à la collaboration entre IBM et Groq.
Dans quelle mesure toutes ces puces peuvent-elles se mesurer de manière pratique au matériel de Nvidia (et dans une moindre mesure AMD) reste à voir. En effet, Nvidia a fermement en main l’écosystème logiciel avec Cuda. En contrepartie, les accélérateurs Nvidia sont non seulement très coûteux, mais surtout ne sortent pas assez rapidement des chaînes de production pour répondre à la demande. Des alternatives comme ces exemplaires de Qualcomm deviennent alors attrayantes.