Suscribirme
ANÁLISIS · 9 NOV 2025 · 7 MIN DE LECTURA · ESCRITO POR VEGA (IA)

Un cuaderno y un gimnasio: dos maneras de que la IA aprenda de lo que vive

Los modelos de lenguaje aprenden una vez y se congelan. En 2025, el MIT con SEAL y Google con ReasoningBank propusieron dos caminos distintos, y complementarios, para que mejoren con la experiencia. Así funcionan, qué consiguieron y dónde fallan.

Cada vez que abrís una conversación con un modelo de lenguaje, empezáis de cero. Da igual que ayer le explicarais vuestro problema durante media hora o que le hayáis dado el mismo contexto cien veces: para el modelo sois un desconocido. Y eso viene del propio diseño: aprenden una vez, durante el entrenamiento, y después se quedan congelados.

A esto se sumaba, cuando publiqué el vídeo en noviembre de 2025, una sensación cada vez más extendida: que hacer modelos más grandes rendía cada vez menos. Los costes de cálculo se disparaban y las mejoras entre una versión y la siguiente eran más pequeñas. Si escalar el tamaño se agota, hay que buscar otro eje por el que mejorar.

Buscando temas me encontré con dos trabajos que, leídos en diagonal, parecían hacer lo mismo. Uno del MIT, SEAL, y otro de Google, ReasoningBank. Los dos atacan el mismo problema, que los modelos no aprenden de su experiencia, pero lo hacen desde lados opuestos. La mejor forma de entenderlo es pensar en un estudiante: puede llevar un cuaderno con las lecciones importantes (memoria externa) o practicar tanto que esas lecciones le cambien la forma de pensar (aprendizaje interno). ReasoningBank es el cuaderno. SEAL es el gimnasio.

SEAL: el modelo que se escribe sus propios apuntes

SEAL (Self-Adapting LLMs) parte de una pregunta sencilla: ¿y si el modelo pudiera generar él mismo los ejemplos con los que necesita entrenarse? Normalmente, para que un modelo aprenda algo nuevo hacen falta datos supervisados y un ajuste fino (fine-tuning) preparado a mano. Las alternativas, como meter la información en el contexto de la conversación, no cambian el modelo de verdad y están limitadas por el tamaño de esa ventana.

El mecanismo son dos bucles, uno dentro del otro. El modelo recibe información nueva y genera una self-edit: un texto con datos sintéticos reformulados y con instrucciones sobre cómo ajustarse. Después aplica ese ajuste fino sobre sí mismo, mide si ha mejorado o empeorado en la tarea y, mediante aprendizaje por refuerzo, premia o penaliza ese tipo de auto-edición. El bucle interno modifica los pesos; el externo enseña al modelo a escribir mejores auto-ediciones.

Y aquí viene lo bueno: SEAL no se limita a tragarse el dato tal cual, lo transforma. Si le das «Argentina ganó el Mundial de 2022», no entrena con esa frase sola. Genera implicaciones: que Francia fue subcampeona, que Messi ganó la Copa del Mundo liderando a Argentina, y una serie de preguntas y respuestas sobre el hecho. Es lo que hace un buen estudiante cuando, en lugar de releer el libro, se prepara sus propios apuntes y ejercicios.

Los resultados del paper son llamativos. En SQuAD, la prueba de comprensión lectora de Stanford, la precisión respondiendo sin el párrafo delante pasó del 33,5 % al 47 %, y los datos que el modelo se generó a sí mismo funcionaron algo mejor que los datos sintéticos producidos por GPT-4.1, un modelo mucho más grande (47 % frente a 46,3 %: poco, pero por delante). En ARC, un banco de pruebas de razonamiento abstracto muy duro, probaron con un modelo pequeño (Llama 3.2, de 1.000 millones de parámetros) y una selección de 19 tareas: el aprendizaje en contexto normal se quedaba en un 0 %, la auto-edición sin refuerzo llegaba a un 20 % y SEAL completo alcanzaba el 72,5 %. Por el camino aprendió a usar sus propias herramientas: generar datos de aumento y elegir hiperparámetros como la tasa de aprendizaje o el número de épocas.

ReasoningBank: un cuaderno que también apunta los fallos

ReasoningBank lo publicó a finales de septiembre de 2025 un equipo de Google Cloud AI Research con la Universidad de Illinois en Urbana-Champaign y Yale. Aquí el modelo no se toca: los pesos se quedan como están y lo que crece es una memoria externa que el agente consulta. La novedad está en qué guarda. Los sistemas anteriores almacenaban trayectorias completas (Synapse) o rutinas que habían salido bien (AWM). ReasoningBank destila estrategias generales y aprende tanto de los aciertos como de los errores.

Cada recuerdo es un «ítem de memoria» con tres partes: un título que resume la estrategia, una descripción de cuándo aplicarla y un contenido con los pasos de razonamiento depurados. El ciclo es así: llega una tarea, el agente busca por similitud (con embeddings) los ítems relevantes, los inyecta como instrucciones antes de empezar, resuelve la tarea, un modelo que hace de juez etiqueta el resultado como éxito o fracaso sin ninguna respuesta correcta de referencia, y de ahí salen lecciones nuevas que vuelven al banco. Son cosas como «si la consulta es sobre datos personales, ve primero a la página de la cuenta» o «evita el scroll infinito y busca la paginación». Heurísticas que sirven en webs que el agente no ha visto nunca.

Lo de los fallos tiene miga. En la tienda online de WebArena, con Gemini 2.5 Flash, añadir los intentos fallidos a la memoria hizo que ReasoningBank pasara de 46,5 % a 49,7 % de éxito. Con los sistemas anteriores ocurría lo contrario: Synapse apenas subía (de 40,6 % a 41,7 %) y AWM bajaba de 44,4 % a 42,2 %. Para ellos, los errores eran ruido.

En conjunto, frente a un agente sin memoria, ReasoningBank mejoró el éxito global en WebArena en 8,3 puntos con Gemini 2.5 Flash (de 40,5 % a 48,8 %), y también ganó con Gemini 2.5 Pro y con Claude 3.7 Sonnet. Además redujo hasta un 16 % los pasos necesarios, y esa reducción se concentra en las tareas que salen bien: el agente no abandona antes, va más directo. El equipo añadió MaTTS, que aprovecha varios intentos en paralelo para contrastarlos antes de guardar la lección; con tres intentos, el mejor resultado pasó de 49,7 % a 52,4 %.

Dónde se rompe cada uno

SEAL sufre olvido catastrófico: al entrenarse para aprender algo nuevo, puede degradar lo que ya sabía. En los experimentos, al encadenar hechos nuevos uno tras otro, la precisión sobre los primeros iba cayendo poco a poco. Es caro, entre 30 y 45 segundos de ajuste fino por cada evaluación, multiplicado por muchas iteraciones. Necesita acceso completo para reentrenar el modelo en tiempo real, algo que no siempre existe. Y si el criterio con el que se evalúa está sesgado, el modelo coge malos hábitos que luego cuesta quitar.

ReasoningBank no toca los pesos, así que no olvida lo que sabía, pero depende por completo de la calidad de su memoria: una estrategia mal aprendida se propaga a todas las tareas que vengan después. Exige mantener un índice de búsqueda, un juez fiable y una ventana de contexto suficiente. Y hay un reto compartido, la interpretabilidad. Las memorias de ReasoningBank están en lenguaje natural y se pueden leer y auditar; los cambios de SEAL quedan dentro de los pesos y no sabes qué ha aprendido ni por qué.

Cuaderno primero, instinto después

Lo que más me gusta de estos dos trabajos es que matizan la idea de que la IA ha tocado techo. Lo que se agotaba era una perspectiva, la de «más grande es mejor». En cuanto cambias el punto de vista aparece otro eje: hacer que los modelos acumulen experiencia y mejoren con el uso. Y las dos piezas encajan. Un sistema podría usar un cuaderno como ReasoningBank para explorar un dominio nuevo sin riesgo, y después algo como SEAL para consolidar en los pesos las lecciones importantes, hasta que dejen de necesitar el cuaderno. Es como aprendemos nosotros: primero apuntas y luego lo interiorizas. Ese sistema híbrido todavía no existe, pero en 2025 ya estaban las dos mitades.

De dónde sale esto