Pot agenții AI să conducă un magazin? Ce au măsurat de fapt șase benchmarkuri

Din primele luni ale lui 2025, un mic grup de benchmarkuri le-a dat agenților AI o afacere de condus: un automat de vânzare, un supermarket, un set de magazine online, stocul unui singur produs. Fiecare îi dă agentului bani, instrumente și un obiectiv, apoi lasă zilele să treacă. Citite împreună, rezultatele spun mai puțin despre care model e cel mai inteligent și mai mult despre ce părți din conducerea unui magazin îi poți încredința azi unui agent.

1. Cele șase benchmarkuri

2. Agenții fac bani, dar mult mai puțini decât ar putea

În Vending-Bench 2, cel mai bun model încheie un an simulat cu o medie de 16.484 $; laboratorul estimează că o strategie bună și simplă ar aduce aproximativ 63.000 $ și scrie că o astfel de strategie „ar putea face cu ușurință de 10 ori mai bine decât cele mai bune LLM-uri actuale”¹. În supermarketul din RetailBench, care pornește cu 30.000 în cont și plătește chirie în fiecare zi, cel mai puternic model termină cu 24.351, sub suma cu care a pornit, față de 131.510 pentru o politică bazată pe reguli care primește mai multe informații decât agenții³.

Diferența nu ține în primul rând de inteligență. În primul Vending-Bench, autorii au constatat că „toate modelele au rulări care deraiază”, din cauza unor programe de livrare citite greșit, a unor comenzi uitate sau a unor bucle de raționament care nu duc nicăieri². În RetailBench, supraviețuirea a variat între 58 și 180 de zile și doar două din șapte modele au ținut magazinul deschis pe toată durata rulării³. Un magazin trebuie condus în fiecare zi; un model strălucit în ziua 10 și confuz în ziua 90 îl conduce prost.

3. Aceeași sarcină, rezolvată de fiecare dată

τ-bench, creat de Sierra, o companie de servicii pentru clienți, pune o altă întrebare: dacă un agent rezolvă o sarcină o dată, o va rezolva și a doua oară? Domeniul retail îi dă agentului o bază de date cu comenzi și o politică de retur, plus un client simulat care vrea o rambursare sau un schimb. În lucrarea originală, chiar și agenții puternici au rezolvat mai puțin de o sarcină din patru la toate cele opt încercări din opt⁵. În clasamentul actual, cele mai bune modele se descurcă mult mai bine la o singură încercare și tot pierd cam o treime din reușite atunci când aceeași sarcină trebuie rezolvată de patru ori din patru⁴:

Pentru un magazin, aceasta este cifra care contează. O rambursare tratată corect de patru ori din cinci înseamnă că un client din cinci primește răspunsul greșit și nimeni nu poate spune dinainte care.

4. A ști nu înseamnă a face

STOCKTAKE izolează pasul dintre a vedea o problemă și a acționa în privința ei. Un agent aprovizionează un singur produs timp de 26 de săptămâni, în timp ce perturbări ascunse lovesc cererea, furnizorii și transportul; scorul merge de la 0, o regulă care ignoră orice semnal de avertizare, la 1, un oracol care vede exact ce vede agentul. Cele patru modele de vârf testate au detectat între 84 și 88% dintre perturbările ascunse, de obicei în decurs de o săptămână, dar scorurile lor au variat între 0,62 și −0,23: două dintre cele patru au terminat sub regula care ignoră semnalele⁶. Chiar și atunci când un agent diagnosticase corect o săptămână critică, între 34 și 43% dintre aceste săptămâni s-au încheiat tot cu raftul gol⁶.

Cu banii se vede aceeași ruptură. În E-Commerce Bench, 152 dintre cei 576 de furnizori sunt frauduloși, iar „fiecare model trimite o parte din bugetul de achiziții unor furnizori care îl înșală”⁷. Modelul care și-a crescut cel mai mult magazinele, de la 100.000 ¥ la 1.431.425 ¥, s-a clasat pe locul 16 din 18 la evitarea fraudei⁷. Primul magazin real condus de un agent, Project Vend de la Anthropic, a greșit în moduri asemănătoare și s-a îmbunătățit mai ales prin proceduri și verificări, o poveste spusă pe larg în ghidul despre agenții AI.

5. Ce funcționează: formula calculează, modelul ajustează

Cel mai util rezultat vine din InventoryBench, care a testat alternativele evidente pe aceleași 1.320 de probleme: doar o politică din cercetarea operațională, doar un model de limbaj și cele două una după alta. Cea mai bună combinație a lăsat formula să calculeze comanda și modelul să o ajusteze⁸:

Asta înseamnă o îmbunătățire de 21% față de formula singură, iar aceeași ordine a celor doi pași a ieșit cea mai bună și cu un al doilea model⁸. Modelul adaugă ce formula nu poate vedea: o schimbare a cererii, o promoție, un furnizor care s-a schimbat. Formula îl oprește pe model să vadă o schimbare acolo unde e doar zgomot.

Retail-Bench, simularea deschisă construită de marql pentru a testa politici de aprovizionare, arată în aceeași direcție. Acolo, un concurent în care un model de limbaj verifică în fiecare seară comenzile, peste un motor de calcul și un set de reguli, a obținut 70% din îmbunătățirea posibilă, iar același concurent fără model a obținut 71%; chiar rezumatul clasamentului spune că „judecata unui model nu adaugă încă nimic”⁹. Cantitățile au venit din reguli, iar verificarea făcută de model nu a schimbat rezultatul. Ghidul despre punctul de reaprovizionare explică formula de la care pornesc aceste reguli.

6. Cum citești un clasament de agenți

Mai multe dintre aceste rezultate se sprijină pe dovezi subțiri. RetailBench raportează o singură rulare selectată pentru fiecare model, într-o singură lume simulată, iar cifrele de cost din STOCKTAKE se bazează pe o singură rulare pentru fiecare seed^{3, 6}. Rezultatele agenților variază de la o rulare la alta, iar cât de mult te poți baza pe un clasament depinde de felul în care a fost construit. Cinci întrebări lămuresc aproape totul:

Cifrele din această listă vin din recomandările Anthropic despre barele de eroare¹⁰, din studiul Princeton despre costurile agenților¹¹, din auditul Chatbot Arena cunoscut sub numele de Leaderboard Illusion¹² și din Agentic Benchmark Checklist¹³.

7. Limite

Toate cele șase sunt simulări sau sarcini controlate, cele mai multe preprinturi, iar mai multe nume de modele se referă la versiuni care se schimbă la câteva luni. Automatele de vânzare și magazinele online sunt mai simple decât un lanț de magazine fizice; niciunul dintre benchmarkuri nu folosește datele unui lanț real. Retail-Bench este simularea proprie a marql, citată aici pentru rezultatul publicat, nu ca dovadă independentă.

Cum folosește marql aceste rezultate

Agenții AI de la marql urmează împărțirea pe care o susțin aceste benchmarkuri: cantitățile vin din reguli fixe și dintr-un motor de calcul al stocului tampon, modelul de limbaj le explică și semnalează excepțiile, iar un om aprobă fiecare comandă. Cât de multă autoritate primește fiecare agent și cum i se măsoară efectul față de magazinele în care doar recomandă găsești în ghidul despre AI în aprovizionarea magazinelor.