Un petit GPT qu’on regarde écrire.

Mbind est un modèle de langue de 2,2 millions de paramètres, entraîné sur La Fontaine, Hugo, Maupassant et quelques autres. Il tourne dans votre navigateur, et rien n’est caché : les tokens, l’attention, les probabilités.

2,2 M paramètres4 couchescontexte de 256 tokensentraîné en 4 min sur un processeur

Il écrit…

Ce qu’il envisageait

Où il regardait

Il ne lit ni des lettres ni des mots.

Le texte est d’abord découpé en tokens : des morceaux de mots appris à partir des livres eux-mêmes. Un mot fréquent tient en un seul token, un mot rare en plusieurs. Le modèle ne voit que leurs numéros.

Tapez une phrase pour voir comment il la découpe.

À chaque token, il regarde en arrière.

Pour choisir la suite, chaque tête d’attention répartit son regard entre les tokens précédents. Certaines fixent le token d’avant, d’autres la ponctuation ou le début de la phrase. Personne ne leur a appris ces rôles : ils sont apparus pendant l’entraînement.

Au début, il écrit n’importe quoi.

Ses poids sont d’abord tirés au hasard. Puis il lit, devine le token suivant, se trompe, se corrige : 1 millions de fois. L’orthographe arrive vite, la ponctuation ensuite, le sens jamais vraiment.

Ce qu’il ne sait pas faire

Comprendre ce qu’il écrit

Il prédit le token suivant, rien d’autre. Ses phrases ont l’air françaises ; souvent, elles ne veulent rien dire.

Se souvenir longtemps

Il ne voit que les 256 derniers tokens, environ 750 caractères. Au-delà, le début du texte n’existe plus pour lui.

Parler d’autre chose

Il n’a lu que 20 livres, surtout du XIXᵉ siècle. Pas d’actualité, pas d’anglais, et parfois l’orthographe de La Fontaine (« il étoit »).

Rivaliser avec les grands

2,2 M paramètres, des dizaines de milliers de fois moins qu’un grand modèle actuel. C’est voulu : assez petit pour tout regarder.

Donnez-lui une première phrase.