Autopsia de un token
Todas las operaciones que hace Qwen 3.8 para escribir una sola palabra, con sus matrices de verdad.
Qué estás viendo
Lo que hace un modelo de lenguaje por dentro para escribir una sola palabra. Le pregunto a Qwen 3.8 cuál es el planeta más cercano al Sol y sigo a una palabra: primero se convierte en 5.120 números, luego se multiplica por matrices enormes, se cruzan para decidir a qué palabra mira cada palabra, y todo eso se repite capa tras capa hasta que salen 248.320 probabilidades y se tira un dado. Arriba hay un contador que no para de sumar multiplicaciones.
De dónde salen los datos
Me bajé el modelo entero al ordenador, Qwen 3.8 de 27.000 millones de parámetros, y lo ejecuté con los pesos sin cuantizar para grabar lo que pasa dentro. Todo lo que se ve son datos suyos: las matrices son sus matrices, cada punto es uno de sus números, y aun llenando la pantalla solo cabe el 3 % de una de ellas. Una sola multiplicación de matriz son 63 millones de multiplicaciones, una capa entera son 372 millones, y hay 64 capas. En total, unos 26.000 millones para una palabra: a mano, a una por segundo y sin dormir, 824 años. Y mirando capa a capa qué palabra iba ganando, en la 58 el modelo iba a decir Venus y en la 59 se corrigió a Mercurio.
Lo que no se ve
No hace falta entenderlo, y de eso va el reel: el mecanismo es conocido, pero lo que significan esos números no lo sabe nadie, ni yo ni quien entrenó el modelo. Simplifico la arquitectura: Qwen 3.8 combina capas de atención completa con capas de atención lineal más baratas, y en pantalla las cuento como un mismo tipo de paso. Lo de Venus y Mercurio es una lectura aproximada de lo que «piensa» cada capa, no una ventana directa a su razonamiento.
Pieza original de Óliver Nabani (@olivernabani), publicada por primera vez en Instagram el 1 de septiembre de 2026. No se permite volver a subirla sin permiso.
Si te ha gustado, ahí es donde más me ayudas: un follow, un comentario o mandárselo a quien le vaya a flipar.
Seguir a @olivernabani