Google utilise le modèle d’IA de son concurrent Anthropic pour évaluer les performances de son propre modèle d’IA, Gemini.
Selon une correspondance interne à laquelle TechCrunch a eu accès, les employés de Gemini AI de Google comparaient les réponses du modèle à celles de Claude, un modèle d’IA de la société concurrente Anthropic.
La sécurité avant tout
Les travailleurs évaluent les deux modèles en fonction de critères tels que la véracité et la sécurité. Ils disposent d’un maximum de 30 minutes pour décider si la réponse de Gemini ou de Claude est la meilleure. Claude obtient de meilleurs résultats en matière de sécurité, selon le chat interne de Google. Gemini génère un contenu explicite dans certains cas, mais marque ces réponses comme des « violations majeures de la sécurité ». Claude ne répond tout simplement pas à l’invite dans ces mêmes cas.
Dans ses conditions générales, Anthropic interdit à ses clients d’utiliser le modèle pour développer des produits concurrents sans autorisation. Il n’est pas certain que Google ait reçu cette autorisation. Un porte-parole de Google Deepmind nie que Claude soit utilisé pour entraîner Gemini.
Il ne serait pas surprenant de comparer Gemini à Claude. Il y a quelques mois, Claude 3.5 Sonnet a obtenu de meilleurs résultats que GPT-4 et Google Gemini Ultra dans plusieurs domaines, notamment les connaissances générales, le raisonnement et le codage. Ces tests ne sont pas exacts à 100 %, mais ils montrent que la plupart des modèles s’améliorent rapidement.