Un petit GPT qu’on regarde écrire.
Mbind est un modèle de langue de 2,2 millions de paramètres, entraîné sur La Fontaine, Hugo, Maupassant et quelques autres. Il tourne dans votre navigateur, et rien n’est caché : les tokens, l’attention, les probabilités.
2,2 M paramètres4 couchescontexte de 256 tokensentraîné en 4 min sur un processeur