Leçon 2 sur 8 · 12 min
Comment un assistant trouve ses réponses
Prédire le mot suivant, apprendre sur des milliards de textes : ce qui se passe quand vous posez une question.
Vous tapez une question, et quelques secondes plus tard une réponse bien rédigée s’affiche. Que s’est-il passé entre les deux ? Comprendre ce mécanisme, même dans les grandes lignes, change la façon dont on utilise un assistant : on sait ce qu’on peut lui demander, et pourquoi il se trompe parfois.
Une machine à prédire la suite
Un assistant comme ChatGPT, Claude ou Gemini repose sur un grand modèle de langage. Son principe de base est étonnamment simple : deviner la suite la plus probable d’un texte.
Vous le connaissez déjà en petit : quand vous tapez « Je serai en » sur votre téléphone, le clavier propose « retard ». L’assistant fait la même chose, en beaucoup plus puissant. Il ne prédit pas un mot à la fois mais un morceau de mot, appelé token, puis le suivant, puis le suivant, jusqu’à former une réponse complète.
Comment il a appris
Pour devenir aussi bon à prédire la suite, le modèle passe par deux grandes étapes.
- L’apprentissage sur d’énormes quantités de textes. Livres, articles, pages web, code informatique : le modèle lit des milliers de milliards de mots et apprend comment les phrases s’enchaînent. À force, il retient la grammaire, des connaissances générales, des façons de raisonner et différents styles d’écriture.
- L’ajustement avec des humains. Des personnes notent ses réponses et lui montrent de bons exemples. Il apprend ainsi à répondre de façon utile, polie et prudente, plutôt que de simplement continuer un texte au hasard.
Ce n’est pas un moteur de recherche
C’est le point le plus important de cette leçon : un assistant ne va pas chercher la réponse dans une base de données. Il la reconstruit à partir de ce qu’il a appris.
- La plupart du temps, la réponse est juste, parce que l’information revenait souvent dans ses lectures.
- Mais quand il manque d’information, il peut produire une réponse plausible et fausse, avec la même assurance. Il ne « sait » pas qu’il ne sait pas.
- Ses connaissances s’arrêtent à la date de son apprentissage.
Certains assistants peuvent maintenant utiliser des outils : faire une recherche sur le web, lire un document que vous leur donnez, faire un calcul. Dans ce cas, ils s’appuient sur une vraie source et peuvent vous l’indiquer. Quand une réponse compte, demandez-lui d’où vient l’information.
Il se souvient de la conversation, pas de vous
Pendant une conversation, l’assistant relit tout l’échange avant chaque réponse. C’est ce qui lui permet de comprendre « fais-le plus court » sans que vous répétiez le sujet. Cette mémoire de travail s’appelle le contexte.
- Le contexte a une taille limitée : dans une très longue conversation, les débuts peuvent être moins bien pris en compte.
- Une nouvelle conversation repart de zéro, sauf si vous avez activé une fonction de mémoire dans l’application.
Pourquoi deux réponses ne sont jamais identiques
Posez deux fois la même question et vous obtiendrez deux réponses différentes. À chaque morceau de mot, l’assistant choisit parmi plusieurs suites possibles, avec une part de hasard. C’est voulu : c’est ce qui rend ses textes naturels et variés.
En pratique, si une réponse ne vous convient pas, redemandez ou régénérez-la : la suivante sera différente.
L’essentiel à retenir
- Un assistant prédit la suite d’un texte, morceau par morceau.
- Il a appris sur d’immenses quantités de textes, puis a été ajusté par des humains.
- Il reconstruit ses réponses au lieu de les chercher : il peut donc se tromper avec assurance.
- Il se souvient de la conversation en cours, pas des précédentes.
- Deux réponses à la même question sont toujours un peu différentes.