Cette image a été générée grâce à un outil d'intelligence artificielle.
«Compose un courriel de bienvenue pour un nouvel employé», «rédige un article sur les taux d’intérêt pouvant être compris par un enfant de 10 ans», «donne-moi 20 idées de nom pour une start-up en technologies financières» : discuter avec le robot conversationnel ChatGPT donne parfois l’impression d’écrire à un humain, tellement on peut s’entretenir de tout et de rien avec lui.
Ce n’est évidemment pas le cas. ChatGPT est le dernier modèle de langage en liste de l’entreprise américaine OpenAI, à qui l’on doit aussi les modèles GPT-3.5 (2022), GPT-3 (2020) et GPT-2 (2019). Ces modèles GPT (pour «Generative Pre-trained Transformer») ont été entraînés grâce à des outils d’IA à partir de centaines de gigaoctets de textes amassés notamment dans les livres et sur le Web, des fables de La Fontaine aux recettes de Ricardo (il maîtrise d’ailleurs très bien le français).
ChatGPT est une version dérivée de GPT-3.5, un modèle qui est toujours accessible sur le Web ou pour les développeurs avec une interface de programmation d’application (API). GPT-3.5 permet d’écrire quelques mots, qui sont ensuite complétés par le logiciel, un peu comme la prédiction automatique de texte avec les claviers de téléphones intelligents.
Le modèle rédige du texte une syllabe à la fois, en fonction de la probabilité qu’un mot en suive un autre. «Il va écrire en fonction des mots précédents, il tient donc compte du contexte. Il va par exemple savoir que le prochain mot à venir est probablement un verbe ou un nom en fonction de ce qui est venu avant», illustre le PDG de Waverly, Philippe Beaudoin.
Une certaine dose de hasard est aussi insérée dans la génération de texte, ce qui permet d’éviter que les réponses soient toujours les mêmes, en plus de leur donner une voix un peu plus humaine.
Les modèles comme GPT-3.5 sont basés sur « Transformer » (le T de GPT), un modèle développé pour la traduction du langage et rendu public en 2017 par des chercheurs de Google. Les grands concepts de Transformer ont depuis été repris par la plupart des modèles du genre, comme LaMDA, de Google, et même les générateurs d’images DALL-E et Midjourney.
De GPT-3.5 à ChatGPT
ChatGPT fonctionne de la même façon que ses prédécesseurs, mais il a «été optimisé pour le dialogue en utilisant de l’apprentissage par renforcement avec rétroaction humaine (RLHF), une méthode qui utilise des exemples rédigés par des humains pour guider le modèle», explique un porte-parole d’OpenAI.
En d’autres mots, des exemples de questions et de réponses ont été fournis à GPT-3.5, qui a ainsi appris à converser, ce qui rend son utilisation assez simple pour le grand public, mais aussi plus puissante pour les utilisateurs. En plus de pouvoir répondre à des questions ou d’écrire dans un style qui lui est demandé, le robot conversationnel se souvient de ses interactions précédentes, et peut donc comprendre le contexte d’une discussion et raffiner ses réponses si on lui demande des précisions.
