Visualiser le fonctionnement d'un LLM

Une visualisation assez géniale du fonctionnement concret d'un LLM, token par token et couche par couche, par Brendan Bycroft, un développeur néo-zélandais. On peut effectivement visualiser nano-gpt (85k paramètres, très pratique pour pouvoir effectivement le visualiser !), mais la visualisation la met en regard avec GPT-2 small (124M de paramètres), GPT-2 XL (1,5B de paramètres) ou encore GPT3 (174B de paramètres !).