Основни изводи
- Най-добрите агенти в тези бенчмаркове печелят пари, но много по-малко от една проста добра стратегия или от референтна политика с правила.
- Агентите се провалят в дългите симулации: отклоняват се, забравят поръчки или се отказват, а един и същ агент може да се справи добре в едно изпълнение и зле в следващото.
- Агентите често забелязват проблема, но въпреки това реагират зле, и плащат на доставчици, които ги мамят.
- Формула, която изчислява количеството, и модел, който го коригира, се справят по-добре от всяко от двете поотделно.
- В класация на агенти първо гледайте броя изпълнения, базовата линия и цената, а едва след това най-добрия резултат.
От началото на 2025 г. малка група бенчмаркове поверява на AI агенти цял бизнес: вендинг автомат, супермаркет, няколко онлайн магазина, наличността на един продукт. Всеки дава на агента пари, инструменти и цел, след което оставя дните да текат. Взети заедно, резултатите говорят по-малко за това кой модел е най-умен, отколкото за това кои части от управлението на магазин днес могат да се поверят на агент.
1. Шестте бенчмарка
| Бенчмарк | Какво управлява агентът | Оценява се по | Сравнява се с |
|---|---|---|---|
| Vending-Bench 2 (Andon Labs) | Какво управлява агентътВендинг бизнес за една симулирана година | Оценява се поПарите в края на годината | Сравнява се сОценката на лабораторията за добра стратегия |
| RetailBench (Ant Group, CityU Hong Kong) | Какво управлява агентътЕдин супермаркет за 180 дни, върху реални данни за хранителни стоки | Оценява се поНетна стойност и дни оцеляване | Сравнява се сПолитика с правила и привилегирована информация |
| E-Commerce Bench (Qwen, Taobao и Tmall) | Какво управлява агентътНяколко онлайн магазина за година, с измамни доставчици | Оценява се поАктиви и още шест измерения | Сравнява се сДруги модели |
| τ²-bench, домейн ритейл (Sierra) | Какво управлява агентътОбслужване на клиенти: поръчки, връщания и замени по писмени правила | Оценява се поРешени задачи, веднъж и всеки път | Сравнява се сПовторни опити за същата задача |
| STOCKTAKE (QpiAI) | Какво управлява агентътСнабдяване на един продукт за 26 седмици, със скрити смущения | Оценява се поУмение между сляпо правило и оракул | Сравнява се сПравило, което пренебрегва предупредителните знаци |
| InventoryBench (Baek, Fu, Ma и Peng) | Какво управлява агентът1 320 задачи за запаси, 600 от тях върху реални продажби | Оценява се поПечалба спрямо оптимистична горна граница | Сравнява се сПолитики от операционните изследвания, хора |
2. Агентите печелят, но много по-малко, отколкото биха могли
Във Vending-Bench 2 най-добрият модел завършва симулираната година със средно 16 484 $; лабораторията изчислява, че една проста добра стратегия би донесла около 63 000 $, и пише, че такава стратегия „лесно би се справила 10 пъти по-добре от сегашните най-добри LLM“1. В супермаркета на RetailBench, който започва с 30 000 в банката и плаща наем всеки ден, най-силният модел завършва с 24 351, под началната сума, срещу 131 510 за политика с правила, която получава повече информация от агентите3.
Разликата не е най-вече въпрос на интелект. В първия Vending-Bench авторите установяват, че „всички модели имат изпълнения, които излизат от релси“, заради погрешно разчетени графици на доставките, забравени поръчки или разсъждения, които се въртят в кръг и не водят доникъде2. В RetailBench оцеляването варира от 58 до 180 дни и само два от седем модела задържат магазина отворен през цялата симулация3. Магазинът трябва да се управлява всеки ден; модел, който е блестящ на 10-ия ден и объркан на 90-ия, го управлява зле.
3. Същата задача, решена всеки път
τ-bench, на компанията за обслужване на клиенти Sierra, задава друг въпрос: ако агентът реши задача веднъж, ще я реши ли отново? Домейнът му за ритейл дава на агента база данни с поръчки, правила за връщане и симулиран клиент, който иска да му върнат парите или да замени продукт. В оригиналната статия дори силните агенти решават по-малко от една задача на четири и в осемте от осем опита5. В сегашната класация най-добрите модели се справят много по-добре от първия опит, но пак губят около една трета от успехите си, когато една и съща задача трябва да бъде решена четири пъти от четири4:
Решени от един опит
Решени и в четирите опита
τ²-bench ритейл, официална класация
За един магазин това е числото, което има значение. Връщане на пари, обработено правилно четири пъти от пет, означава, че един клиент от пет получава грешен отговор, и никой не може да каже предварително кой.
4. Да видиш проблема не значи да го решиш
STOCKTAKE изолира стъпката между това да видиш проблема и да реагираш на него. Агентът снабдява един продукт в продължение на 26 седмици, докато скрити смущения засягат търсенето, доставчиците и транспорта; оценява се от 0, правило, което пренебрегва всеки предупредителен знак, до 1, оракул, който вижда точно това, което вижда агентът. Четирите тествани водещи модела откриха от 84 до 88% от скритите смущения, обикновено до седмица, но резултатите им варираха от 0,62 до −0,23: два от четирите завършиха под правилото, което пренебрегва знаците6. Дори когато агентът беше разпознал правилно критичната седмица, от 34 до 43% от тези седмици все пак завършиха с празен рафт6.
Работата с парите показва същото разминаване. В E-Commerce Bench 152 от 576 доставчици са измамни и „всеки модел изпраща част от бюджета си за покупки на доставчици, които го мамят“7. Моделът, който разрасна магазините си най-много, от 100 000 ¥ до 1 431 425 ¥, се класира 16-и от 18 по избягване на измами7. Първият реален магазин, управляван от агент, Project Vend на Anthropic, се провали по подобен начин и се подобри главно благодарение на процедури и проверки. Цялата история разказва ръководството за AI агентите.
5. Какво работи: формулата смята, моделът коригира
Най-полезният резултат идва от InventoryBench, който сравнява очевидните варианти върху едни и същи 1 320 задачи: само политика от операционните изследвания, само езиков модел и двете последователно. Най-добре се представи комбинацията, при която формулата изчислява поръчката, а моделът я коригира8:
Само политика от операционните изследвания0,445
Езиков модел коригира поръчката ѝ+0,093
Формула, после модел0,538
Това е подобрение с 21% спрямо самата формула, а същият ред на двете стъпки излезе най-добър и с втори модел8. Моделът добавя това, което формулата не вижда: промяна в търсенето, промоция, доставчик, при когото нещо се е променило. Формулата пази модела да не вижда промяна там, където има само шум.
Retail-Bench, отворената симулация, създадена от marql за тестване на политики за снабдяване, сочи в същата посока. Там участник, при който езиков модел преглежда поръчките всяка вечер върху механизъм и набор от правила, постигна 70% от възможното подобрение, а същият участник без модела постигна 71%; собственото обобщение на класацията е, че „преценката на модела засега не добавя нищо“9. Количествата идваха от правилата, а прегледът на модела не промени резултата. Ръководството за точката на поръчка описва формулата, от която започват тези правила.
6. Как да четете класация на агенти
Някои от тези резултати стъпват на слаби доказателства. RetailBench отчита по едно избрано изпълнение на модел в един симулиран свят, а данните за разходите в STOCKTAKE се основават на едно изпълнение за всяка начална стойност (seed)3, 6. Резултатите на агентите варират от изпълнение до изпълнение, а доколко може да се вярва на една класация, зависи от това как е изградена. Пет въпроса изясняват почти всичко:
Няколко изпълнения с граници на грешката: при свързани задачи грешката се изчислява по клъстери и може да е над три пъти по-голяма от наивната
Цена до резултата: агенти с подобна точност може да се различават по цена почти стократно
Всеки тестван вариант, не само най-добрият: десет непублични версии може да вдигнат най-добрия резултат с около 100 точки
Базова линия без действие: в τ-bench агент, който връща празни отговори, решава 38% от задачите
Референция, която не е модел: правило, оракул или човек
Резултат, по който може да се планира
Липсва ли дори едно от тези, това е демонстрация, а не доказателство
Числата в този списък идват от насоките на Anthropic за границите на грешката10, изследването на Принстън за разходите на агентите11, одита на Chatbot Arena, известен като The Leaderboard Illusion12, и Agentic Benchmark Checklist13.
7. Ограничения
И шестте са симулации или контролирани задачи, повечето от тях препринти, а някои от имената на моделите се отнасят до версии, които се сменят на всеки няколко месеца. Вендинг бизнесът и онлайн магазините са по-прости от верига физически магазини, а нито един от бенчмарковете не тества данни на реална верига. Retail-Bench е собствената симулация на marql и е цитирана тук заради публикувания си извод, а не като независимо доказателство.
Как marql прилага това
AI агентите на marql следват разделението, което тези бенчмаркове подкрепят: количествата идват от фиксирани правила и буферен механизъм, езиковият модел ги обяснява и отбелязва изключенията, а човек одобрява всяка поръчка. Колко правомощия получава всеки агент и как ефектът му се измерва спрямо магазини, в които той само съветва, е описано в ръководството за AI в снабдяването на магазините.
Източници
- Andon Labs (2025). Vending-Bench 2. Evaluation and leaderboard, accessed 2 November 2026. andonlabs.com
- Backlund, A. and Petersson, L. (2025). Vending-Bench: a benchmark for long-term coherence of autonomous agents. arXiv:2502.15840. arxiv.org
- Zhang, L., Wang, J., Wu, J. and Zhang, Z. (2026). RetailBench: benchmarking long horizon reasoning and coherent decision making of LLM agents in realistic retail environments. arXiv:2603.16453v3. arxiv.org
- Sierra (2026). τ²-bench leaderboard, retail domain, accessed 2 November 2026. taubench.com
- Yao, S., Shinn, N., Razavi, P. and Narasimhan, K. (2024). τ-bench: a benchmark for tool-agent-user interaction in real-world domains. arXiv:2406.12045. arxiv.org
- Deb, S. and Krishnan, A. (2026). STOCKTAKE: measuring the gap between perception and action in LLM agents with a fair oracle. arXiv:2607.13618. arxiv.org
- Fan, W., Shen, X., Guo, X. et al. (2026). E-Commerce Bench: evaluating LLM agents on long-horizon autonomous business operation. arXiv:2608.30730. arxiv.org
- Baek, J., Fu, Y., Ma, W. and Peng, T. (2026). AI agents for inventory control: human-LLM-OR complementarity. arXiv:2602.12631v2. arxiv.org
- MARQL Retail-Bench (2026-09-19). Leaderboard v0.2. retail-bench.marql.one
- Miller, E. (2024). Adding error bars to evals: a statistical approach to language model evaluations. arXiv:2411.00640. arxiv.org
- Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N. and Narayanan, A. (2024). AI agents that matter. arXiv:2407.01502. arxiv.org
- Singh, S. et al. (2025). The leaderboard illusion. arXiv:2504.20879. arxiv.org
- Zhu, Y., Jin, T. et al. (2025). Establishing best practices for building rigorous agentic benchmarks. arXiv:2507.02825. arxiv.org
ТемиAI агенти, Бенчмаркове за ритейла, Управление на запасите, Операции в магазините
Всички статии