Phase 7 · Les LLM - deviner le mot suivant | Comprendre les Réseaux de Neurones

Exercice 7.1 - Prédire le mot suivant

📖 Vocabulaire - français / anglais

LLM ↔ *Large Language Model* (grand modèle de langage)
température ↔ *temperature* (le curseur prudence ↔ risque)
génération de texte ↔ *text generation*

✍️ À toi de jouer

Installe transformers (pip install transformers) et lance :

from transformers import pipeline

generateur = pipeline("text-generation", model="gpt2")

textes = [
    "Le secret d'un bon reseau de neurones, c'est",
    "En Python, pour creer une liste, on utilise",
    "L'intelligence artificielle est",
]

for texte in textes:
    resultat = generateur(texte, max_length=20, do_sample=True, temperature=0.7)
    print("ENTRÉE :", texte)
    print("SORTIE :", resultat[0]["generated_text"], "\n")

L'IA « comprend »-elle ce qu'elle dit ?
Que se passe-t-il si tu mets temperature=0.1 ? Et temperature=2.0 ?

Voir la réponse

Non. L'IA calcule : « après ces mots, quel mot est le plus probable ? », choisit, puis recommence.
temperature=0.1 → elle prend presque toujours le mot le plus probable : texte robotique, répétitif, mais cohérent. temperature=2.0 → elle prend des risques : créatif, parfois inspiré, souvent absurde.

La leçon : un LLM est juste un réseau de neurones très, très grand, entraîné sur une seule tâche - prédire le mot suivant.

Exercice 7.2 - Pourquoi ça marche quand même

✍️ À toi de jouer

Si un LLM « ne fait que deviner le mot suivant », comment peut-il répondre à une question, résumer un texte, écrire du code ? Réfléchis avant de dérouler.

Voir la réponse

Parce que, pour bien deviner le mot suivant sur des milliards de textes, il a été forcé d'apprendre en chemin : la grammaire, des faits, un peu de raisonnement, du style. Rien de tout ça n'était le but - c'était juste le moyen le plus efficace de réduire son erreur de prédiction.

C'est la même histoire que le poids de la longueur du pétale en Phase 3 : personne ne lui a dit « apprends la grammaire ». Il l'a déduite parce que ça faisait baisser l'erreur. À très grande échelle, cette seule règle produit quelque chose qui *ressemble* à comprendre.