Comment ça marche
Mbind ne fait qu’une chose : à partir d’un bout de texte, il donne une probabilité à chacun des 2 048 tokens qui pourraient venir ensuite. Écrire une phrase, c’est répéter ce calcul, un token à la fois.
Les tokens
Un réseau de neurones ne manipule que des nombres. Il faut donc d’abord changer le texte en une suite d’entiers.
On aurait pu prendre les caractères : une centaine de symboles, très simple, mais des suites très longues, et un modèle qui doit tout reconstruire lettre par lettre. Mbind utilise plutôt un BPE (byte-pair encoding) entraîné sur ses propres livres. On part des caractères, on cherche la paire voisine la plus fréquente, on la fusionne en un nouveau token, et on recommence 1 945 fois. Sur ces livres, la première fusion colle une espace et un « d » (le début de « de », « dans », « dit »), la troisième « e » et « s » ; les dernières produisent des mots entiers comme « sourire », « chapeau » ou « Fauchelevent ».
Résultat : un vocabulaire de 2 048 tokens, environ 3,0 caractères par token, et les mots courants d’un seul tenant. Le prix à payer : le modèle ne voit pas les lettres. Que « Corbeau » et « corbeau » soient le même mot, il doit l’apprendre.
Les embeddings
Chaque numéro de token désigne une ligne d’un grand tableau : un vecteur de 192 nombres. Un second tableau donne un vecteur par position (1ʳᵉ, 2ᵉ… 256ᵉ), qu’on ajoute au premier ; sans lui, le modèle ignorerait l’ordre des mots.
Au départ, ces nombres sont tirés au hasard. L’entraînement les déplace, et des tokens qui s’emploient de la même façon finissent avec des vecteurs proches.
L’attention
C’est la pièce centrale du transformer. Pour chaque token, le modèle calcule trois vecteurs : une requête (ce qu’il cherche), une clé (ce qu’il offre) et une valeur (ce qu’il transmet). Le produit scalaire entre la requête d’un token et la clé de chaque token précédent dit à quel point ils vont ensemble. Ces scores passent dans une softmax, et le token reçoit la moyenne des valeurs, pondérée par ces poids.
Un token ne regarde que vers le passé : avant la softmax, les scores des tokens suivants sont mis à moins l’infini. C’est ce masque qui dessine le triangle des cartes d’attention.
Chaque couche a 6 têtes, chacune avec ses propres requêtes, clés et valeurs, et Mbind empile 4 couches : 24 façons de regarder le texte. Entre deux attentions, un petit réseau (le MLP) transforme chaque vecteur isolément ; c’est là que se loge une bonne part de ce que le modèle a retenu. Chaque bloc ajoute son résultat au vecteur au lieu de le remplacer (la connexion résiduelle), ce qui garde l’entraînement stable.
La softmax
Au bout de la dernière couche, le vecteur du dernier token est comparé à l’embedding de chacun des 2 048 tokens. On obtient 2 048 scores, les logits. La softmax les change en probabilités : l’exponentielle de chaque score, divisée par la somme de toutes. Tout devient positif, le total fait 1, et un point de score en plus multiplie la probabilité par e, environ 2,7.
L’échantillonnage
Reste à choisir un token. Prendre toujours le plus probable donne un texte qui tourne vite en rond. On tire donc au sort selon les probabilités, avec trois réglages :
- la température divise les logits avant la softmax. En dessous de 1, les choix probables écrasent les autres ; au-dessus, tout s’aplatit et le texte part dans tous les sens ;
- top-k ne garde que les k tokens les plus probables ;
- top-p garde les plus probables jusqu’à ce que leur total atteigne p.
Vraies probabilités du modèle, recalculées sur ses dix meilleurs candidats.
La graine fixe le tirage au sort : même graine, mêmes réglages, même texte.
L’entraînement
Le corpus : 20 livres du domaine public pris sur Project Gutenberg (La Fontaine, Hugo, Maupassant, Flaubert, Daudet, Voltaire), soit 8,2 millions de caractères. Un passage sur vingt est mis de côté et ne sert jamais à l’entraînement : c’est la validation, qui dit si le modèle s’en sort sur du texte inconnu.
L’entraînement répète une seule opération : prendre 32 extraits de 256 tokens, faire prédire au modèle chaque token suivant, mesurer l’erreur, puis corriger les 2,2 millions de poids dans le sens qui la réduit. L’erreur est l’entropie croisée : moins le logarithme de la probabilité donnée au vrai token. La correction vient de la rétropropagation et de l’optimiseur AdamW. 100 étapes, en 4 min sur 6 cœurs d’un ordinateur portable, sans carte graphique.
Personne ne lui a montré de règle de grammaire. Tout ce qu’il sait vient de cette consigne unique : deviner la suite.
Dans le navigateur
Les poids sont exportés en float16 (4,4 Mo) et le calcul est écrit à la main en TypeScript, sans bibliothèque, dans un Web Worker. Une vérification compare sa sortie à celle de PyTorch sur le même texte : même découpage en tokens, logits identiques à 10⁻⁵ près. Les clés et valeurs déjà calculées sont gardées en mémoire, si bien qu’un nouveau token ne coûte qu’un passage sur les poids. Rien n’est envoyé à un serveur.
Les limites
Mbind imite un style ; il ne comprend rien. Il invente des noms, mélange Hugo et La Fontaine, perd le fil d’une phrase à l’autre, oublie le début du texte au-delà de 256 tokens et ne parle que le français des livres qu’il a lus, orthographe ancienne comprise.
Un grand modèle actuel repose sur les mêmes principes : tokens, attention, softmax, prédire la suite. Il a des dizaines de milliers de fois plus de paramètres, de données et de calcul, et une seconde phase d’entraînement pour suivre des consignes, que Mbind n’a pas.