Les agents IA peuvent-ils gérer un magasin ? Ce que six bancs d’essai ont vraiment mesuré

Depuis début 2025, une poignée de bancs d’essai confient à des agents IA une activité à gérer : un distributeur automatique, un supermarché, un ensemble de boutiques en ligne, le stock d’un seul produit. Chacun donne à l’agent de l’argent, des outils et un objectif, puis laisse passer les jours. Lus ensemble, les résultats en disent moins sur le modèle le plus brillant que sur les tâches d’un magasin qu’on peut confier dès aujourd’hui à un agent.

1. Les six bancs d’essai

2. Les agents gagnent de l’argent, mais bien moins qu’ils ne le pourraient

Dans Vending-Bench 2, le meilleur modèle termine une année simulée avec $16 484 en moyenne ; le laboratoire estime qu’une bonne stratégie, sans rien de sophistiqué, rapporterait environ $63 000, et écrit qu’une telle stratégie « pourrait facilement faire 10 fois mieux que les meilleurs LLM actuels »¹. Dans le supermarché de RetailBench, qui ouvre avec 30 000 en banque et paie un loyer chaque jour, le modèle le plus performant termine à 24 351, sous son capital de départ, contre 131 510 pour une politique à base de règles qui dispose de plus d’informations que les agents³.

L’écart ne tient pas d’abord à l’intelligence. Dans le premier Vending-Bench, les auteurs ont constaté que « tous les modèles ont des essais qui déraillent », à cause de calendriers de livraison mal lus, de commandes oubliées ou de raisonnements qui tournent en boucle sans aboutir². Dans RetailBench, la survie allait de 58 à 180 jours, et seuls deux modèles sur sept ont gardé le magasin ouvert jusqu’au bout³. Un magasin se gère tous les jours ; un modèle brillant au jour 10 et perdu au jour 90 le gère mal.

3. La même tâche, réussie à chaque fois

τ-bench, conçu par l’entreprise de service client Sierra, pose une autre question : si un agent résout une tâche une fois, la résoudra-t-il de nouveau ? Son domaine retail donne à l’agent une base de commandes, une politique de retours et un client simulé qui veut un remboursement ou un échange. Dans l’article d’origine, même de bons agents résolvaient moins d’une tâche sur quatre à chacune des huit tentatives⁵. Dans le classement actuel, les meilleurs modèles font bien mieux en une tentative, mais perdent encore environ un tiers de leurs réussites quand la même tâche doit être résolue quatre fois sur quatre⁴ :

Pour un magasin, c’est le chiffre qui compte. Un remboursement traité correctement quatre fois sur cinq, c’est un client sur cinq qui reçoit la mauvaise réponse, sans qu’on puisse dire à l’avance lequel.

4. Savoir n’est pas agir

STOCKTAKE isole l’étape qui sépare le constat d’un problème de la réponse. Un agent réapprovisionne un produit sur 26 semaines tandis que des défaillances cachées frappent la demande, les fournisseurs et le transport ; son score va de 0, une règle qui ignore tous les signaux d’alerte, à 1, un oracle qui voit exactement ce que voit l’agent. Les quatre modèles de pointe testés ont détecté 84 à 88 % des défaillances cachées, généralement en moins d’une semaine, et pourtant leurs scores allaient de 0,62 à −0,23 : deux des quatre ont fini sous la règle qui ignore les signaux⁶. Même quand un agent avait correctement diagnostiqué une semaine de tension, 34 à 43 % de ces semaines se terminaient quand même rayon vide⁶.

La gestion de l’argent montre le même décalage. Dans E-Commerce Bench, 152 des 576 fournisseurs sont frauduleux, et « chaque modèle envoie une partie de son budget d’achat à des fournisseurs qui l’escroquent »⁷. Le modèle qui a le plus fait grandir ses boutiques, de ¥100 000 à ¥1 431 425, s’est classé 16e sur 18 pour la prévention de la fraude⁷. Le premier vrai magasin géré par un agent, Project Vend d’Anthropic, a échoué de façon semblable et s’est amélioré surtout grâce à des procédures et des contrôles ; le guide « Qu’est-ce qu’un agent IA ? » raconte cette histoire en détail.

5. Ce qui marche : la formule calcule, le modèle ajuste

Le résultat le plus utile vient d’InventoryBench, qui a testé les options évidentes sur les mêmes 1 320 problèmes : une politique de recherche opérationnelle seule, un modèle de langage seul, et les deux à la suite. La meilleure combinaison laissait la formule calculer la commande et le modèle l’ajuster⁸ :

Soit une amélioration de 21 % par rapport à la formule seule, et le même ordre des deux étapes est aussi arrivé en tête avec un second modèle⁸. Le modèle apporte ce que la formule ne voit pas : un glissement de la demande, une promotion, un fournisseur qui a changé. La formule empêche le modèle de voir un glissement là où il n’y a que du bruit.

Retail-Bench, la simulation ouverte construite par marql pour tester des politiques de réapprovisionnement, va dans le même sens. Un candidat dans lequel un modèle de langage relit chaque soir les commandes, par-dessus un moteur et un jeu de règles, a obtenu 70 % de l’amélioration possible, et le même candidat privé du modèle 71 % ; le résumé du classement conclut lui-même que « le jugement d’un modèle n’apporte encore rien »⁹. Les quantités venaient des règles ; la relecture du modèle n’a pas fait bouger le résultat. Le guide du point de commande d’une chaîne de magasins présente la formule dont partent ces règles.

6. Comment lire un classement d’agents

Plusieurs de ces résultats reposent sur des preuves minces. RetailBench rapporte un seul essai sélectionné par modèle, sur un seul monde simulé, et les chiffres de coût de STOCKTAKE reposent sur un essai par graine aléatoire^{3, 6}. Les résultats d’un agent varient d’un essai à l’autre, et la confiance qu’on peut accorder à un classement dépend de la façon dont il a été construit. Cinq questions règlent l’essentiel :

Les chiffres de cette liste viennent des recommandations d’Anthropic sur les barres d’erreur¹⁰, de l’étude de Princeton sur le coût des agents¹¹, de l’audit de Chatbot Arena connu sous le nom de Leaderboard Illusion¹² et de l’Agentic Benchmark Checklist¹³.

7. Limites

Les six sont des simulations ou des tâches contrôlées, pour la plupart des prépublications, et plusieurs noms de modèles désignent des versions remplacées au bout de quelques mois. Les distributeurs automatiques et les boutiques en ligne sont des cas plus simples qu’une chaîne de magasins physiques ; aucun de ces bancs d’essai ne porte sur les données d’une vraie chaîne. Retail-Bench est la simulation de marql, citée ici pour son résultat publié, et non comme une preuve indépendante.

Comment marql applique ces résultats

Les agents IA de marql suivent la répartition que ces bancs d’essai confirment : les quantités viennent de règles fixes et d’un moteur de stock de sécurité, le modèle de langage les explique et signale les exceptions, et une personne valide chaque commande. Le degré d’autonomie accordé à chacun, et la façon dont son effet est mesuré par rapport aux magasins où il se contente de conseiller, sont détaillés dans le guide de l’IA pour réapprovisionner les magasins.