Ahora cabe todo tu histórico, pero no se lo des entero

Hasta hace nada, montar un agente empezaba siempre por la misma pregunta incómoda: de todo lo que sabe tu negocio, ¿qué le enseñamos? Había que elegir, porque no cabía. Veinte preguntas frecuentes, la tarifa y poco más. Ahora sí cabe: los modelos punteros se tragan de una sentada el equivalente a mil quinientas páginas, y por el foro se ha instalado la idea de que el problema está resuelto —«súbeselo todo y que se apañe».

Este artículo es para dueños de pyme que ya tienen un agente funcionando o están a punto de montarlo. Al terminar sabrás qué ha cambiado de verdad con las ventanas de contexto enormes, por qué darle el histórico entero suele empeorar las respuestas en lugar de mejorarlas, y qué conviene darle en su lugar.

Un millón de tokens, en cristiano

La ventana de contexto es la memoria de trabajo del modelo: todo lo que puede tener delante mientras redacta una respuesta. No es lo que aprendió al entrenarse, que eso viene de fábrica. Es lo que le pasas tú en esa llamada concreta: instrucciones, documentos, la conversación hasta ese momento.

Y ha crecido a lo bestia. La documentación de Anthropic sitúa la de sus modelos actuales en un millón de tokens, sin trucos: es el tamaño por defecto y se factura a tarifa normal. Los demás proveedores grandes van por ahí.

Traducido a algo que puedas medir: un token viene a ser tres cuartos de palabra, así que un millón andan por las 750.000 palabras. Unas mil quinientas páginas. Tu manual de producto entero, la tarifa, las condiciones de garantía y las últimas dos mil conversaciones de WhatsApp, todo delante a la vez.

Parece que el problema de «qué le enseño al agente» se ha resuelto solo. No se ha resuelto, y merece la pena entender por qué antes de decidirlo al revés.

Que quepa no significa que lo lea bien

Esta es la parte que no sale en las demos. La propia documentación de Anthropic lo dice sin adornos: según crece el número de tokens, la precisión y la capacidad de encontrar un dato concreto se degradan. Lo llaman context rot, y la conclusión que sacan es que elegir bien qué metes en el contexto importa tanto como el espacio que tengas.

No es una impresión de usuario, está medido. Un trabajo de referencia de Stanford, Lost in the Middle, comprobó que los modelos aciertan mucho más cuando el dato relevante está al principio o al final de lo que les pasas, y fallan bastante más cuando está enterrado por la mitad. Y eso ocurre incluso en modelos diseñados expresamente para contextos largos.

Piénsalo como con una persona nueva en el equipo. Puedes darle una carpeta de veinte folios bien elegidos o el archivo entero de la empresa. Con la carpeta empieza a trabajar el martes. Con el archivo tarda un mes en el mejor de los casos y, en el peor, le contesta a un cliente con la tarifa de 2023 porque también estaba ahí dentro.

Ese segundo escenario es el que más daño hace y el que menos se ve venir. Un agente con tres versiones de tu política de devoluciones delante no te avisa de que hay tres: elige una y contesta tan tranquilo.

Lo que sí ha cambiado, y no es poco

Nada de esto significa que la ventana grande sea humo. Hay tres cosas que antes eran caras o imposibles y hoy están al alcance de cualquier negocio pequeño.

1. Arrancar ya no es un proyecto de datos. Para que un agente respondiera con tus documentos había que trocearlos, indexarlos y montar un buscador por detrás. Eso sigue siendo lo razonable cuando manejas miles de documentos, pero si tu material propio son cuarenta páginas ya no hace falta: caben tal cual. Te ahorras semanas de fontanería y una factura.
2. Los encargos de un solo tirón salen redondos. «Léete estos cuatro pliegos y dime en qué se contradicen.» «Repasa lo hablado con este cliente desde enero y prepárame el resumen antes del jueves.» Material acotado, una pregunta clara y un resultado que vas a revisar tú.
3. El hilo largo ya no se corta. Una conversación de WhatsApp que se estira durante semanas antes se quedaba sin memoria a mitad y el agente repreguntaba cosas que el cliente ya había contestado. Eso, en la práctica, se ha acabado.

Fíjate en el patrón: la ventana grande brilla en lo puntual y acotado, con alguien mirando. No en lo permanente y difuso.

El paquete de contexto que sí funciona

Para el agente que trabaja cada día —el que contesta a clientes, filtra el correo o da cita—, la respuesta buena nunca es el histórico. Es un paquete pequeño, mantenido y con dueño. Cabe en cinco folios y lleva esto:

• La versión vigente, no todas. Una tarifa, una política de devoluciones, un horario. Si hay dos, borra una. Aquí está el 80 % de los fallos que vas a ver.
• Las veinte preguntas que llegan de verdad. Sacadas de tu bandeja de entrada de la última quincena, no imaginadas en una reunión.
• Las reglas del negocio en frases cortas. «No damos cita para revisión sin presupuesto aprobado.» «Los envíos a Canarias los confirma siempre una persona.»
• Los casos de escalado. Qué no contesta nunca solo, a quién avisa y en cuánto tiempo.
• Tres o cuatro respuestas tuyas, reales, copiadas tal cual. Enseñan tu tono infinitamente mejor que cualquier descripción del tipo «cercano pero profesional».

Y aparte, el acceso puntual: que pueda consultar la ficha de ese cliente concreto cuando escribe ese cliente concreto. No es lo mismo tener el histórico entero delante siempre que poder ir a buscar un dato cuando hace falta. Lo segundo es más barato, más preciso y muchísimo más fácil de explicar el día que alguien te pregunte qué datos maneja el sistema.

La ventana grande te quita la obligación de elegir. No te quita el interés de hacerlo.

Lo que no debería entrar, quepa o no

Que un millón de tokens admita tu carpeta de clientes no significa que debas subirla. Y ojo a un detalle técnico con consecuencias muy prácticas: el contexto no se «guarda» en ningún sitio. Se reenvía entero en cada llamada. Si has metido tres años de conversaciones, viajan tres años de conversaciones cada vez que alguien escribe «hola».

Lo pagas cada vez. Un agente con veinte folios de contexto y trescientas conversaciones al mes es barato. El mismo agente con el volcado completo, no. Existen técnicas de caché que abaratan esos tokens repetidos, pero no los hacen desaparecer.

Son datos personales. En tres años de conversaciones hay nombres, teléfonos, direcciones y, si tienes una clínica, datos de salud. Enviarlo todo en cada consulta es tratamiento de datos, y el principio de minimización del RGPD pide justo lo contrario: los datos adecuados, pertinentes y limitados a lo necesario. «Es que cabía» no es una base legal.

Lo que no controlas, no lo revisa nadie. Cinco folios los repasa alguien de tu equipo cada trimestre y detecta que la política de envíos está desfasada. Un volcado de tres años no lo repasa nadie nunca, y los errores se quedan a vivir ahí dentro.

Dicho esto, hay un caso en el que sí conviene darle mucho: el encargo puntual y supervisado. Vuelcas los cuatro contratos, haces la pregunta, revisas la respuesta y cierras. El volumen juega a favor porque tú estás delante. El problema aparece cuando ese volcado se queda montado de forma permanente en un proceso que ya no mira nadie.

Por dónde empezar esta semana

Si ya tienes un agente funcionando, hazle una revisión de diez minutos: coge las cinco preguntas que peor contesta y mira, para cada una, cuántas versiones distintas de esa respuesta tiene delante. Casi siempre el problema no es que le falte información: es que le sobra.

Y si aún no lo tienes, no empieces recopilando. Empieza escribiendo el paquete de arriba en un documento de cinco páginas. Es la parte que decide si el agente contesta bien o mal, y la única que ningún proveedor puede hacer por ti.

Esto es buena parte de lo que ordenamos cuando ayudamos a un equipo a poner criterio a la IA que ya está usando: qué información entra, quién la mantiene al día y qué no sale de casa. La ventana grande es una comodidad, no un criterio. El criterio lo sigues poniendo tú.