Mogu li AI agenti da vode prodavnicu? Šta je šest benčmarka zaista izmerilo

Od početka 2025. mala grupa benčmarka predaje AI agentima posao na vođenje: prodajni automat, supermarket, nekoliko onlajn prodavnica, zalihe jednog proizvoda. Svaki agentu daje novac, alate i cilj, a zatim pušta dane da teku. Posmatrani zajedno, rezultati manje govore o tome koji je model najpametniji, a više o tome koje delove vođenja prodavnice danas možete da poverite agentu.

1. Šest benčmarka

2. Agenti zarađuju, ali mnogo manje nego što bi mogli

U Vending-Bench 2 najbolji model završava simuliranu godinu sa prosečno 16.484 dolara; laboratorija procenjuje da bi jednostavna dobra strategija donela otprilike 63.000 dolara i piše da bi takva strategija „lako mogla da bude 10 puta bolja od trenutno najboljih LLM-ova“¹. U supermarketu iz RetailBench-a, koji počinje sa 30.000 na računu i svakog dana plaća zakup, najjači model završava sa 24.351, manje nego što je imao na početku, naspram 131.510 za politiku zasnovanu na pravilima koja dobija više informacija nego agenti³.

Jaz nije pre svega pitanje inteligencije. U prvom Vending-Bench-u autori su utvrdili da „svi modeli imaju pokretanja koja skrenu s koloseka“, zbog pogrešno pročitanih rasporeda isporuka, zaboravljenih porudžbina ili petlji rezonovanja koje ne vode nikuda². U RetailBench-u opstanak je trajao od 58 do 180 dana, a samo su dva od sedam modela držala prodavnicu otvorenom tokom celog perioda³. Prodavnicu treba voditi svakog dana; model koji je briljantan 10. dana, a zbunjen 90. dana, vodi je loše.

3. Isti zadatak, urađen svaki put

τ-bench, iz kompanije za korisničku podršku Sierra, postavlja drugačije pitanje: ako agent jednom reši zadatak, da li će ga rešiti ponovo? Njegov domen maloprodaje daje agentu bazu porudžbina, politiku povraćaja i simuliranog kupca koji traži povraćaj novca ili zamenu. U originalnom radu čak ni jaki agenti nisu rešili ni četvrtinu zadataka u svih osam od osam pokušaja⁵. Na trenutnoj rang-listi najbolji modeli postižu mnogo bolje rezultate iz jednog pokušaja, ali i dalje gube oko trećine uspeha kada isti zadatak mora da se reši četiri puta od četiri⁴:

Za prodavnicu je upravo to broj koji je važan. Povraćaj novca koji se ispravno obradi četiri puta od pet znači da svaki peti kupac dobija pogrešan odgovor, a niko ne može unapred da kaže koji.

4. Znati nije isto što i uraditi

STOCKTAKE izdvaja korak između uočavanja problema i reagovanja na njega. Agent 26 nedelja dopunjuje zalihe jednog proizvoda dok skriveni poremećaji pogađaju tražnju, dobavljače i prevoz; ocena ide od 0, za pravilo koje zanemaruje svaki znak upozorenja, do 1, za orakl koji vidi tačno ono što vidi i agent. Četiri testirana vodeća modela otkrila su 84 do 88% skrivenih poremećaja, obično u roku od nedelju dana, a ipak su im se ocene kretale od 0,62 do −0,23: dva od četiri završila su ispod pravila koje znake zanemaruje⁶. Čak i kada je agent ispravno dijagnostikovao kritičnu nedelju, 34 do 43% takvih nedelja ipak se završilo praznom policom⁶.

Rukovanje novcem pokazuje isti raskorak. U E-Commerce Bench-u 152 od 576 dobavljača su prevaranti, a „svaki model deo svog budžeta za nabavku šalje dobavljačima koji ga varaju“⁷. Model koji je najviše uvećao svoje prodavnice, sa 100.000 ¥ na 1.431.425 ¥, bio je 16. od 18 po izbegavanju prevara⁷. Prva stvarna prodavnica koju je vodio agent, Anthropicov Project Vend, posrtala je na sličan način i popravila se pre svega zahvaljujući procedurama i proverama, a celu tu priču prenosi vodič o AI agentima.

5. Šta funkcioniše: formula računa, model koriguje

Najkorisniji rezultat dolazi iz InventoryBench-a, koji je na istih 1.320 problema testirao očigledne alternative: samo politiku operacionih istraživanja, samo jezički model i to dvoje jedno za drugim. Najbolji raspored prepustio je formuli da izračuna porudžbinu, a modelu da je koriguje⁸:

To je poboljšanje od 21% u odnosu na samu formulu, a isti redosled dva koraka pokazao se kao najbolji i sa drugim modelom⁸. Model dodaje ono što formula ne vidi: pomeranje tražnje, promociju, dobavljača koji se promenio. Formula sprečava model da izmisli pomeranje tamo gde postoji samo šum.

Retail-Bench test, otvorena simulacija koju je marql izgradio za proveru politika dopune zaliha, ukazuje u istom pravcu. U njemu je učesnik kod kojeg jezički model svake večeri pregleda porudžbine, povrh sistema i skupa pravila, ostvario 70% mogućeg poboljšanja, a isti učesnik bez modela 71%; sama rang-lista to sažima rečima „procena modela za sada ne dodaje ništa“⁹. Količine su dolazile iz pravila; pregled modela nije pomerio rezultat. Vodič za tačku ponovnog naručivanja obrađuje formulu od koje ta pravila polaze.

6. Kako čitati rang-listu agenata

Nekoliko ovih rezultata počiva na tankim dokazima. RetailBench navodi jedno odabrano pokretanje po modelu u jednom simuliranom svetu, a podaci o troškovima u STOCKTAKE-u počivaju na jednom pokretanju po početnoj vrednosti (seed)^{3, 6}. Rezultati agenata razlikuju se od pokretanja do pokretanja, a koliko se nekom rangiranju može verovati zavisi od toga kako je napravljeno. Pet pitanja rešava većinu toga:

Brojke u tom spisku potiču iz Anthropicovih smernica o intervalima greške¹⁰, Prinstonove studije o troškovima agenata¹¹, analize platforme Chatbot Arena poznate kao Leaderboard Illusion¹² i kontrolne liste Agentic Benchmark Checklist¹³.

7. Ograničenja

Svih šest su simulacije ili kontrolisani zadaci, većinom preprinti, a nekoliko naziva modela odnosi se na verzije koje se menjaju na svakih nekoliko meseci. Okruženja sa prodajnim automatima i onlajn prodavnicama jednostavnija su od lanca fizičkih prodavnica; nijedan od ovih benčmarka ne testira podatke stvarnog lanca. Retail-Bench je marql-ova sopstvena simulacija, citirana ovde zbog objavljenog nalaza, a ne kao nezavisan dokaz.

Kako marql to primenjuje

marql-ov tim AI agenata sledi podelu koju ovi benčmarci podržavaju: količine dolaze iz fiksnih pravila i mehanizma zaštitnih zaliha, jezički model ih objašnjava i ističe izuzetke, a osoba odobrava svaku porudžbinu. Koliko ovlašćenja dobija svaki agent i kako se njegov efekat meri u odnosu na prodavnice u kojima samo savetuje, objašnjava vodič za AI u dopuni zaliha u prodavnicama.