Databricks a conçu un système d’IA dont les capacités sont similaires à celles de ChatGPT, mais a utilisé un modèle open source de deux ans et un seul ordinateur au lieu de tout un centre de données pour la formation.
OpenAI a dépensé des milliards de Microsoft, un superordinateur basé dans le cloud avec des dizaines de milliers de GPU et un réseau neuronal complexe avec 175 milliards de paramètres pour développer ChatGPT. « Tout à fait excessif », selon Databricks. Dolly a été construit par cette entreprise avec un système d’IA rappelant ChatGPT, mais en utilisant un ordinateur classique et un modèle open source de deux ans avec à peine 6 milliards de paramètres.
Dolly, comme ChatGPT, peut générer des réponses basées sur vos questions, donner ainsi un conseil sur un sujet particulier, générer un tweet promotionnel ou écrire une lettre d’amour. Databricks pense que Dolly est une innovation révolutionnaire capable de rendre les modèles d’IA générative plus accessibles au grand public, et ce plus rapidement.
Beaucoup moins d’efforts, des résultats équivalents
La base de Dolly est un modèle LLM open source de deux ans construit par EleutherAI. Databricks l’a légèrement modifié pour lui donner la capacité de suivre des instructions et donc de faire le lien entre l’entrée « Écrire X ou Y » et la sortie basée sur cette requête. Grâce à ce cadre, Databricks a formé le modèle sur un petit ensemble de données curatées mais très qualitatives. L’entreprise a réussi à le faire en trois heures sur une seule machine.
Les résultats ont surpris Databricks lui-même. Ce modèle pouvait rivaliser avec ChatGPT très rapidement. Il comprend les questions et les instructions et génère un texte utile et significatif basé sur ces questions. Selon Databricks, ce succès suggère que les progrès d’OpenAI et des autres acteurs sont dus non seulement à la complexité accrue des modèles utilisés, mais aussi à la qualité des ensembles de données.
Selon Databricks, il est prometteur pour la généralisation de l’IA que Dolly fonctionne aussi bien avec une formation limitée et un modèle open source comme base. Après tout, cela ouvre la voie aux entreprises pour former des modèles sur leurs propres données sans avoir à les confier à un fournisseur d’informatique dans le cloud, ou à consacrer une petite fortune à l’achat de matériel d’IA dans le cloud. Databricks partage un Github-project où vous pouvez commencer à utiliser Dolly vous-même.