Dans un LLM : comment un modèle de langage choisit le mot suivant
Un grand modèle de langage écrit en répétant une seule étape : noter chaque mot suivant possible, transformer ces notes en probabilités, en choisir un et l’ajouter au texte. Ce modèle jouet d’un salon de thé s’appuie sur un petit tableau de probabilités rédigé à la main (des chiffres illustratifs, pas un vrai modèle) pour que vous puissiez observer cette boucle à vitesse humaine.
Choisissez une phrase de départ, puis appuyez sur Mot suivant pour ajouter un mot à la fois, ou sur Terminer la phrase pour aller jusqu’au bout. Les barres montrent les probabilités du modèle pour le mot suivant. Déplacez la Température pour aplatir ou accentuer ces probabilités, et appuyez sur Recommencer pour réessayer.
Ce que cet outil enseigne : Observez un modèle de langage choisir chaque mot à partir d’une liste de probabilités, et voyez comment la température change les chances. Ce graphique illustre la prédiction du jeton suivant, les probabilités et la différence entre une réponse fluide et une réponse exacte.