¿Pueden los agentes de IA llevar una tienda? Lo que midieron de verdad seis benchmarks

Desde principios de 2025, un pequeño grupo de benchmarks ha puesto un negocio en manos de agentes de IA: una máquina expendedora, un supermercado, varias tiendas online, el stock de un solo producto. Cada uno le da al agente dinero, herramientas y un objetivo, y deja pasar los días. Leídos juntos, los resultados dicen menos sobre qué modelo es más listo que sobre qué partes de la gestión de una tienda se le pueden confiar hoy a un agente.

1. Los seis benchmarks

2. Los agentes ganan dinero, pero mucho menos del que podrían

En Vending-Bench 2, el mejor modelo termina un año simulado con una media de 16.484 dólares; el laboratorio calcula que una estrategia sencilla y bien pensada ganaría unos 63.000 dólares, y escribe que esa estrategia «podría hacerlo fácilmente 10 veces mejor que los mejores LLM actuales»¹. En el supermercado de RetailBench, que abre con 30.000 en el banco y paga alquiler cada día, el modelo más fuerte termina con 24.351, por debajo de lo que tenía al empezar, frente a 131.510 de una política basada en reglas que recibe más información que los agentes³.

La diferencia no es sobre todo de inteligencia. En el primer Vending-Bench, los autores observaron que «todos los modelos tienen ejecuciones que descarrilan», por calendarios de entrega mal leídos, pedidos olvidados o bucles de razonamiento que no llevan a ninguna parte². En RetailBench, la supervivencia fue de 58 a 180 días, y solo dos de los siete modelos mantuvieron la tienda abierta durante toda la ejecución³. Una tienda hay que llevarla todos los días; un modelo brillante el día 10 y confuso el día 90 la lleva mal.

3. La misma tarea, bien hecha todas las veces

τ-bench, de la empresa de atención al cliente Sierra, plantea otra pregunta: si un agente resuelve una tarea una vez, ¿la volverá a resolver? Su dominio retail le da al agente una base de datos de pedidos, una política de devoluciones y un cliente simulado que quiere un reembolso o un cambio. En el artículo original, incluso los agentes más fuertes resolvían menos de una tarea de cada cuatro en los ocho intentos de ocho⁵. En la clasificación actual, los mejores modelos lo hacen mucho mejor en un solo intento, y aun así pierden cerca de un tercio de sus aciertos cuando la misma tarea tiene que resolverse cuatro veces de cuatro⁴:

Para una tienda, esta es la cifra que importa. Un reembolso bien gestionado cuatro veces de cada cinco significa que uno de cada cinco clientes recibe una respuesta equivocada, y nadie puede saber de antemano cuál.

4. Saber no es hacer

STOCKTAKE aísla el paso que hay entre ver un problema y actuar sobre él. Un agente repone un producto durante 26 semanas mientras fallos ocultos afectan a la demanda, a los proveedores y al transporte; se le puntúa desde 0, una regla que ignora todas las señales de alerta, hasta 1, un oráculo que ve exactamente lo mismo que el agente. Los cuatro modelos de vanguardia evaluados detectaron entre el 84 y el 88 % de los fallos ocultos, normalmente en menos de una semana, pero sus puntuaciones fueron de 0,62 a −0,23: dos de los cuatro terminaron por debajo de la regla que ignora las señales⁶. Incluso cuando un agente había diagnosticado bien una semana de tensión, entre el 34 y el 43 % de esas semanas terminaron igualmente con el lineal vacío⁶.

Con el dinero pasa lo mismo. En E-Commerce Bench, 152 de los 576 proveedores son fraudulentos, y «todos los modelos envían parte de su presupuesto de compras a proveedores que los estafan»⁷. El modelo que más hizo crecer sus tiendas, de 100.000 ¥ a 1.431.425 ¥, quedó 16.º de 18 en evitar el fraude⁷. La primera tienda real gestionada por un agente, Project Vend de Anthropic, falló de forma parecida y mejoró sobre todo gracias a procedimientos y controles, una historia que la guía sobre los agentes de IA cuenta entera.

5. Lo que funciona: la fórmula calcula, el modelo ajusta

El resultado más útil viene de InventoryBench, que probó las alternativas obvias con los mismos 1.320 problemas: una política de investigación operativa sola, un modelo de lenguaje solo y los dos en secuencia. La mejor combinación dejaba que la fórmula calculara el pedido y que el modelo lo ajustara⁸:

Es una mejora del 21 % respecto a la fórmula sola, y el mismo orden de los dos pasos salió también el mejor con un segundo modelo⁸. El modelo aporta lo que la fórmula no ve: un cambio en la demanda, una promoción, un proveedor que ha cambiado. La fórmula impide que el modelo se invente un cambio donde solo hay ruido.

Retail-Bench, la simulación abierta que ha creado marql para probar políticas de reaprovisionamiento, apunta en la misma dirección. Allí, un participante en el que un modelo de lenguaje revisa cada noche los pedidos que proponen un motor y un conjunto de reglas obtuvo el 70 % de la mejora posible, y el mismo participante sin el modelo obtuvo el 71 %; el propio resumen de la clasificación dice que «el criterio de un modelo todavía no aporta nada»⁹. Las cantidades salían de las reglas; la revisión del modelo no movió el resultado. La guía sobre el punto de pedido explica la fórmula de la que parten esas reglas.

6. Cómo leer una clasificación de agentes

Varios de estos resultados se apoyan en pruebas escasas. RetailBench publica una sola ejecución seleccionada por modelo en un único mundo simulado, y las cifras de coste de STOCKTAKE se basan en una ejecución por semilla^{3, 6}. Los resultados de los agentes varían de una ejecución a otra, y hasta qué punto se puede confiar en una clasificación depende de cómo se ha construido. Cinco preguntas lo resuelven casi todo:

Las cifras de esa lista proceden de la guía de Anthropic sobre las barras de error¹⁰, del estudio de Princeton sobre los costes de los agentes¹¹, de la auditoría de Chatbot Arena conocida como Leaderboard Illusion¹² y de la Agentic Benchmark Checklist¹³.

7. Limitaciones

Los seis son simulaciones o tareas controladas, la mayoría preprints, y varios nombres de modelo corresponden a versiones que cambian cada pocos meses. Los escenarios de máquinas expendedoras y tiendas online son más sencillos que una cadena de tiendas físicas; ninguno de los benchmarks trabaja con datos de una cadena real. Retail-Bench es la simulación propia de marql y se cita aquí por su resultado publicado, no como prueba independiente.

Cómo lo aplica marql

Los agentes de IA de marql siguen el reparto que respaldan estos benchmarks: las cantidades salen de reglas fijas y de un motor de stock de seguridad, el modelo de lenguaje las explica y señala las excepciones, y una persona aprueba cada pedido. Cuántos permisos recibe cada uno, y cómo se mide su efecto frente a tiendas en las que solo aconseja, lo explica la guía de IA para el reaprovisionamiento de tiendas.