L’outil de classification (« classifier ») a été lancé il y a quelques mois en réponse à des demandes d’écrivains, d’enseignants et d’autres personnes inquiètes. OpenAI a décidé de renoncer au classificateur, car l’outil n’était tout simplement à la hauteur.
Le classificateur était censé être un outil (gratuit) pour détecter précisément si un texte avait été généré automatiquement par un modèle de langage ou écrit par un humain. « À partir du 20 juillet 2023, le classificateur d’IA ne sera plus disponible en raison de sa faible précision », écrit OpenAI sur son site. Un message sobre mais clair pour signifier que l’outil lancé début février n’était vraiment pas fiable. Déjà signalé par l’OpenAI lors de sa sortie, le classificateur n’était pas totalement fiable.
Pas tout à fait mort
Quand même, la brève annonce d’OpenAI, l’entreprise du PDG Sam Altman, semble montrer une lueur d’espoir pour le classificateur. « Nous essayons d’intégrer les retours et explorons actuellement des techniques de provenance du texte plus efficaces. Nous avons promis de développer et de déployer des mécanismes pour que les utilisateurs puissent détecter si un contenu audio ou visuel a été généré par un modèle d’intelligence artificielle », a déclaré Open AI.
Le classificateur rangeait les textes en fonction de leur rédaction par l’IA selon le modèle. Dès le départ, l’OpenAI a averti que certains textes pourraient être considérés à tort comme générés par l’IA. Selon The Register, le classificateur a rencontré des difficultés principalement avec la prose qu’il n’avait pas vue dans l’ensemble de données de formation. Même avec des textes d’IA qui avaient été reformulés par des humains, le classificateur s’est trompé à plusieurs reprises.
Tâche difficile
Le destin (provisoire) du classificateur est tout à fait logique. Même les concurrents qui ont développé des outils similaires sont confrontés aux mêmes problèmes. Apparemment, il est extrêmement difficile de classer précisément un texte d’IA. L’université du Texas a fait les gros titres quand des étudiants ont perdu des points parce que ChatGPT avait estimé que leurs textes avaient été écrits par une IA. En fait, c’était faux et tous les étudiants ont reçu les points auxquels ils avaient droit.
Un de ses concurrents, Turnitin, a lancé quasiment au même moment un outil destiné à lutter contre le plagiat. Selon l’entreprise, l’outil fonctionne avec une grande précision, jusqu’à 98 % en fait. Mais les scientifiques contestent sérieusement cette affirmation. Selon une étude de l’université du Maryland, la probabilité que des modèles découvrent qu’un texte a été écrit par une machine est à peine plus élevée que de tirer à pile ou face. Moitié-moitié, alors.