Snowflake réduit les coûts d’inférence des modèles de lamas de Meta jusqu’à 75 %. Ceci est possible grâce à SwiftKV : une nouvelle technologie d’optimisation au sein de Snowflake Cortex AI qui rend la récupération des données d’inférence plus efficace.
Snowflake affirme pouvoir réduire le temps et le coût d’inférence des modèles Llama de 50 à 75 % grâce à une nouvelle technique. Cette technique, baptisée SwiftKV par l’entreprise, est intégrée à CortexAI.
Accélération de la vitesse
SwiftKV est une technologie de stockage et de recherche qui augmente la vitesse et l’efficacité de l’inférence de l’IA dans Snowflake. Selon Snowflake, cette technologie réduit la puissance de calcul nécessaire à l’exécution de grands modèles de langage (LLM) tels que Llama 2 et Llama 3 de Meta. Cela permet de réduire considérablement le coût de l’inférence de l’IA.
SwiftKV fonctionne en mettant en cache les données de modèle fréquemment utilisées de manière plus intelligente et en les rendant accessibles plus rapidement. Cela raccourcit le temps de réponse des modèles d’IA et réduit la charge sur l’infrastructure sous-jacente. Les entreprises qui utilisent des modèles Llama au sein de la plateforme Snowflake peuvent ainsi créer des applications d’IA plus rapides et moins coûteuses.
Avec le modèle Llama 3.3 70B, Snowflake avec SwiftKV voit le coût de l’inférence réduit de moitié. Pour le modèle Llama 3.1 405B, cette réduction atteint 75 %.
Essentiel pour la plate-forme
Snowflake continue d’étendre ses fonctionnalités d’IA, notamment grâce à Cortex AI. C’est nécessaire : l’entreprise se positionne comme un partenaire de nuage de données et souhaite prendre en charge les données de ses clients au sein de sa propre plateforme. Toutefois, ceux qui ont mis leurs données en ordre aujourd’hui s’attendent à pouvoir exécuter des charges de travail d’IA. C’est ce à quoi Snowflake doit répondre le plus efficacement possible. Cortex AI permet aux entreprises d’utiliser l’apprentissage automatique et l’IA générative au sein de Snowflake sans avoir à gérer une infrastructure complexe.
En ajoutant SwiftKV à Cortex AI, Snowflake répond à la demande croissante de solutions d’IA efficaces. Les optimisations pour les modèles Llama de Meta rendent la plateforme plus attrayante pour les organisations qui cherchent à intégrer l’IA dans leur environnement de données. Snowflake s’efforce invariablement de rendre les solutions de la plateforme plus efficaces et a déjà développé des optimisations pour ses modèles Llama.