L’utilisation fréquente des API de l’OpenAI peut maintenant se traduire par des réductions en répartissant les charges de travail. Le résultat est garanti dans les 24 heures.
En 2023, OpenAI a vu son chiffre d’affaires annuel passer à 1,6 milliard de dollars et est en passe d’atteindre une valeur de marché de 100 milliards de dollars en tant qu’entreprise. Par ailleurs, l’entreprise dépenserait 700 000 dollars par jour pour faire fonctionner ChatGPT. Tous ces GPU Nvidia extrêmement onéreux doivent être payés, tout comme l’énergie nécessaire pour les faire fonctionner.
Pour niveler les pics de consommation, OpenAI lance maintenant Batch API. Grâce à cette API, les développeurs bénéficient d’une réduction de 50 % sur les prix des API et OpenAI garantit un résultat dans les 24 heures. Les développeurs économisent ainsi et bénéficient de limites de vitesse plus élevées pour les tâches asynchrones telles que le résumé, la traduction et la classification d’images.
Cette page de l’OpenAI fournit aux développeurs tous les détails concernant l’API Batch.
lire aussi