Selon les chercheurs du MIT, les LLM n’auront bientôt plus besoin d’ensembles de données statiques ni d’intervention humaine. Ils s’amélioreront grâce à la technique SEAL.
Des chercheurs du Massachusetts Institute of Technology (MIT) ont développé la technique Self-Adapting LLMs (SEAL). Celle-ci permet aux LLM tels que ChatGPT de s’améliorer en générant leurs propres données d’entraînement.
IA auto-améliorante
Contrairement aux modèles classiques qui dépendent d’ensembles de données statiques et d’une formation humaine, SEAL peut s’auto-ajuster avec des données synthétiques qu’il crée lui-même. Ce faisant, le modèle formule des « auto-éditions » : des descriptions en langage naturel qui indiquent comment il doit adapter ses connaissances.
La méthode utilise deux boucles, selon VentureBeat. Dans la boucle intérieure, le modèle s’ajuste en fonction des auto-éditions, tandis que la boucle extérieure apprend, via l’apprentissage par renforcement, quelles adaptations améliorent efficacement les performances. Ainsi, le modèle peut évoluer continuellement sans intervention humaine.
« Performances supérieures aux attentes »
Dans un article, le MIT partage ses résultats de tests. SEAL a amélioré la précision des sessions de questions-réponses de 33,5 % à 47 %, ce qui est mieux que les données synthétiques provenant de GPT-4.1. De même, dans les tâches d’apprentissage « few-shot », où le modèle apprend quelque chose sur la base de quelques exemples, le taux de réussite est passé de 20 % à 72,5 % après l’application de l’apprentissage par renforcement.
Bien que SEAL soit encore expérimental et nécessite énormément de puissance de calcul, les chercheurs le considèrent comme une avancée vers des systèmes d’IA auto-adaptatifs. La disponibilité des données sur le web diminue, et c’est pourquoi ces techniques autonomes sont essentielles à l’évolution future des LLM.
lire aussi