Après avoir publié des conseils aux enseignants sur le travail avec ChatGPT, OpenAI a indiqué que les détecteurs permettant de démasquer les textes générés par l’IA… n’étaient pas fiables. C’est une conclusion peu surprenante.
Juste avant la rentrée scolaire, OpenAI a publié un blog avec des conseils pour les enseignants. L’entreprise de Sam Altman y donne des exemples d’utilisation de ChatGPT. L’esprit critique des apprenants y est notamment mis en avant. « L’objectif est de leur faire prendre conscience de l’importance de leur propre esprit critique », explique OpenAI.
Pas de fiabilité
OpenAI admet dans sa section FAQ que les détecteurs d’IA sont peu capables, voire pas du tout, de distinguer les textes originaux des textes générés par l’IA. Il y a quelques mois, ArsTechnica a enquêté sur les détecteurs d’IA tels que GPTZero. Ces détecteurs donnent souvent des résultats faussement positifs en raison de méthodes de détection non fondées. Il s’avère qu’il est facile de contourner les outils en réécrivant des parties du texte.
Fin juillet, OpenAI a mis hors ligne son propre « classificateur ». Cet outil était censé pouvoir distinguer les textes originaux des textes écrits par l’IA. Mais avec un taux de précision d’à peine 26 %, l’application n’a pas du tout répondu aux attentes. Pourtant, ces attentes étaient grandes en février, lorsque l’application a été lancée. Selon Altman, le classificateur n’est pas encore mort et enterré, mais le taux de précision doit augmenter considérablement avant que l’application ne connaisse une seconde vie.
ChatGPT ne sait pas non plus
Dans la FAQ, OpenAI explique une autre idée fausse. ChatGPT ne peut pas détecter lui-même la différence entre un texte original et un texte généré par l’IA. « ChatGPT n’a aucune « connaissance » du contenu qui peut être généré par l’IA », explique l’OpenAI. Quand quelqu’un exécute une requête pour savoir si un texte est original ou non, la réponse de ChatGPT n’a pas de base factuelle. En d’autres termes, le robot linguistique parle sans réfléchir.
Avec cette réponse, OpenAI fait également allusion au fait que les modèles d’IA peuvent fabriquer de fausses informations. « Parfois, ChatGPT semble convaincant, mais il peut contenir des informations incorrectes ou trompeuses. » Ces « hallucinations » peuvent rendre les citations, par exemple, incorrectes. OpenAI insiste donc sur le fait qu’il ne faut pas utiliser les textes de ChatGPT et d’autres modèles de langage comme seule source de recherche.