Copilot AI pentru operațiunile din retail: răspunsuri din datele tale, decizii pe care le poți verifica

Întreabă un chatbot general de ce a scăzut săptămâna trecută marja în al cincilea magazin al tău și îți va spune ce scade de obicei marja în retail: prețurile furnizorilor, promoțiile, lipsurile la inventar. Toate adevărate, și niciuna despre al cincilea magazin. Un copilot AI pentru operațiunile din retail merită doar dacă răspunde din cifrele magazinelor tale, spune când nu știe și transformă ce găsește într-o sugestie pe care cineva o poate verifica, aplica și măsura.

Ghidul acesta ia cerințele pe rând, începând cu datele.

De ce un model general nu poate răspunde pentru magazinele tale

Un model de limbaj știe multe despre retail și nimic despre lanțul tău. N-a văzut bonurile de ieri, livrările din săptămâna asta sau prețul de cost al vreunui produs pe care îl vinzi, așa că răspunsul lui la o întrebare despre magazinele tale e o descriere a magazinelor în general.

Nici conectarea modelului la baza ta de date nu ajunge singură. Spider 2.0, un benchmark construit din date reale ale unor companii și din întrebările pe care analiștii le pun despre ele, i-a dat unuia dintre cele mai puternice modele un agent care putea explora baza de date și scrie interogări; acesta a rezolvat 21,3% din sarcini¹. Printre principalele obstacole, autorii numesc găsirea tabelelor și a coloanelor potrivite în baze de date foarte mari. Un model care nu știe în ce coloană sunt vânzările nete îți va da cu toată încrederea o cifră din coloana greșită.

Dă-i AI-ului un model de date, nu doar o bază de date

Cea mai mare parte din problemă o rezolvă sensul datelor, scris înainte să vină AI-ul. Într-un test pe baza de date a unei companii de asigurări, GPT-4 a răspuns corect la 16,7% din întrebările de business când a lucrat direct pe tabelele brute și la 54,2% când aceeași bază de date i-a fost descrisă printr-un model care spune ce înseamnă fiecare tabel și fiecare relație². Autorii construiesc astfel de modele ca meserie, așa că ia rezultatul drept un test atent, nu drept o lege; direcția e cea la care s-ar aștepta oricine a curățat vreodată date de retail.

Pentru un lanț de magazine, modelul de date e partea plictisitoare a muncii: o singură definiție a vânzării, o singură zi comercială, o singură listă de magazine și un singur arbore de categorii, ca fiecare întrebare să primească răspuns în aceiași termeni. Ghidul despre consolidarea datelor POS din toate magazinele arată pas cu pas cum se face. Un copilot așezat peste această muncă poate răspunde la „de ce a scăzut marja” citind marja așa cum o definește lanțul, pentru magazinul și săptămâna despre care întrebi.

Un copilot care spune „nu știu” valorează mai mult

Modelele de limbaj sunt antrenate și evaluate în moduri în care ghicitul e răsplătit. Cercetători de la OpenAI susțin că modelele halucinează pentru că antrenarea și evaluarea răsplătesc ghicitul în locul recunoașterii incertitudinii: la un test care nu dă niciun punct pentru un răspuns lăsat gol, o încercare la nimereală iese mereu mai bine³. Într-un instrument de business, punctajul merge invers. Un răspuns care spune că datele de marțea trecută de la un magazin nu au sosit costă un minut; o cifră inventată pentru acel magazin poate costa o decizie greșită.

Așa că regulile pentru răspunsurile copilotului trebuie scrise explicit și verificate la fiecare răspuns:

De la o constatare la o sugestie pe care cineva o poate verifica

O constatare sună așa: „marja magazinului 5 a scăzut”. O sugestie sună așa: „mută aceste unități dintr-un produs care se vinde greu de la magazinul 5 la magazinul 2, unde se vinde”, cu dovezile alături: ce a văzut copilotul, față de ce referință și ce ar trebui să schimbe mutarea. Dovezile îl ajută pe manager să decidă repede și schimbă cât de bine decide. În două experimente preînregistrate, unul în controlul calității dintr-o fabrică și unul în radiologie, oamenii care lucrau cu un AI ce arăta de ce a ajuns la o predicție au prins 96,9% din predicțiile lui greșite, iar cei care lucrau cu un AI fără explicații erau de 3,6 ori mai predispuși să respingă o predicție corectă⁴.

Dovezile ajută doar dacă le citește cineva. O analiză a 35 de studii despre tendința de a accepta ce recomandă un sistem (automation bias) a constatat că explicațiile fac adesea un sistem mai ușor de acceptat fără să facă deciziile mai corecte și că, atunci când li se cere să verifice, oamenii acceptă mai puțin din comoditate⁵. Așa că verificarea ține de proces, nu de bunăvoință: cine acceptă o sugestie confirmă dovezile înainte ca ea să meargă mai departe.

Lasă decizia managerului și notează când trece peste sistem

Managerii de magazin știu lucruri pe care nu le conține niciun set de date: un șantier care se deschide alături, un furnizor care urmează să întârzie. Într-un lanț de magazine de proximitate care a introdus recomandări de aprovizionare în unele magazine și le-a lăsat pe celelalte neschimbate, magazinele cu sistemul au atins un nivel de serviciu cu 2,9% mai mare fără să țină mai mult stoc, iar managerii au petrecut cu 36,5% mai puțin timp pe comenzile zilnice. Când managerii au trecut peste sistem, interviurile au arătat că de obicei anticipau o cerere pe care sistemul încă nu o văzuse⁶.

Totuși, managerii nu au mereu dreptate când trec peste sistem. Un studiu despre aprovizionarea automată a unui lanț de supermarketuri a constatat că, după o ruptură de stoc, managerii tindeau să comande mai puțin decât propunea sistemul, ceea ce ducea la rupturi de stoc provocate chiar de ei⁷. Notează fiecare astfel de decizie împreună cu motivul și analizează-le pe toate o dată pe lună. Tiparul îți arată dacă trebuie corectat sistemul sau obiceiul.

Măsoară efectul față de magazinele care n-au făcut nimic

Când o sugestie e acceptată și pusă în practică, vânzările de dinainte și de după vor fi diferite, dar ar fi fost diferite și fără ea: o sărbătoare, vremea, promoția unui concurent. Metoda standard compară magazinele care au acționat cu magazine similare care n-au acționat, în aceleași săptămâni. Se bazează pe o singură ipoteză, că cele două grupuri ar fi evoluat în paralel fără acțiune⁸, așa că verifică dacă au evoluat împreună înainte.

Același lucru e valabil pentru copilotul însuși. Dacă valorează cât costă, magazinele care îi folosesc sugestiile ar trebui să se distanțeze de magazinele comparabile, iar tu ar trebui să vezi cu cât. Ghidul despre stocul mort arată cap-coadă un tip de sugestie, un transfer de la un magazin la altul.

Cum funcționează marql AI

marql AI răspunde din datele lanțului despre vânzări, stocuri și costuri. Datele de care are nevoie o întrebare sunt aduse prin interogări fixe înainte ca modelul să scrie ceva, iar modelul poate apela și alte instrumente care citesc aceleași tabele. Din chat nu poate schimba nimic în sistemele lanțului; singurul lucru pe care îl poate crea acolo e o sarcină. Instrucțiunile îi interzic să inventeze cifre și îi cer să spună când o perioadă nu are date, iar după fiecare răspuns cifrele din el sunt verificate față de ce au returnat instrumentele. Numele magazinelor sunt înlocuite cu coduri înainte ca întrebarea să ajungă la furnizorul modelului, un manager de magazin vede doar magazinele lui, iar marql AI răspunde în șase limbi.

În fiecare dimineață la ora șase, ora locală, trimite un briefing scurt: vânzările, marja și numărul de bonuri de ieri, cel mai puternic și cel mai slab magazin, vremea zilei și anomaliile din ultima săptămână, fiecare măsurată față de tiparul normal al magazinului respectiv. Pentru fiecare magazin calculează și cum s-au mișcat vânzările odată cu vremea în ultimele 90 de zile și folosește asta în briefing și în răspunsuri, ca o scădere într-o zi ploioasă să nu fie luată drept o problemă a magazinului. Când cineva acceptă o acțiune propusă, Impact Ledger îngheață referința și, la sfârșitul intervalului, compară magazinele care au acționat cu cel puțin patru magazine similare care n-au acționat sau, dacă nu sunt destule, cu istoricul propriu al magazinului. Pagina marql AI arată la ce întrebări răspunde.