Le regarder apprendre

Pendant l’entraînement, on a gardé des copies du modèle à différents âges. Les mêmes débuts de phrase, avec le même tirage au sort, complétés par chacune d’elles.

Courbe de perte

EntraînementValidation (texte jamais vu)

La perte mesure la surprise du modèle face au vrai token suivant (entropie croisée, en nats). Au départ elle vaut environ ln(2 048) ≈ 7,6 : le modèle hésite entre tous les tokens à parts égales.

Température 0,8, top-k 40, graine fixe : seuls les poids changent d’un âge à l’autre.

Ce que montre la courbe

Les premières centaines d’étapes font l’essentiel du chemin : le modèle apprend quels tokens sont fréquents, puis lesquels se suivent. Ensuite, chaque gain coûte beaucoup plus de calcul.

Une perte de correspond à une « perplexité » de  : en moyenne, le modèle hésite comme s’il choisissait entre ce nombre de tokens équiprobables. C’est bien mieux que 2 048, et très loin d’un lecteur humain.

Les détails de l’entraînement sont sur la page Comment ça marche.