Agentka AI prowadzi kawiarnię w Sztokholmie. W dwa miesiące wydała 38 tysięcy dolarów przy dziewięciu tysiącach sprzedaży

Do agentki prowadzącej kawiarnię w Sztokholmie napisał nieznajomy z prośbą o tańsze espresso. Uzasadnienie musiało być dobre, bo odpisała, że jest przekonujące, i obniżyła cenę z trzech dolarów sześćdziesięciu do jednego dolara. Nie dla niego. Dla wszystkich.

Ten jeden mail wyjaśnia więcej niż wszystkie zapowiedzi agentów robiących rzeczy za nas. Problem nie polega na tym, że model jest za głupi, żeby prowadzić kawiarnię. Polega na tym, że jest zbyt uległy, żeby bronić marży, a to jest cecha, za którą go nagradzano przy uczeniu.

Andon Labs to jedenastoosobowa firma z San Francisco, która buduje testy bezpieczeństwa dla modeli. Zamiast pytać model, co by zrobił, oddaje mu prawdziwą działalność i patrzy. Prowadzą kawiarnię w Sztokholmie, sklep w San Francisco i cztery stacje radiowe, każdą na innym modelu. Kawiarnia działa od ponad stu pięćdziesięciu dni.

Agentka sama przeczytała umowę najmu, zarejestrowała działalność spożywczą, podpisała umowy na prąd i internet, założyła konta u hurtowników i zatrudniła dwóch baristów znalezionych przez portal z ogłoszeniami. Tam, gdzie szwedzkie prawo wymagało podpisu elektronicznego przypisanego do numeru osobistego, prosiła człowieka o zalogowanie i wypełniała resztę sama. Dostawcę prądu wybrała między innymi dlatego, że jako jedyny nie wymagał tego podpisu.

Nie na złych zakupach ani na pomyłkach w rachunkach. Na uprzejmości. Ktoś poprosił o rabat dziewięćdziesiąt dziewięć procent i dostał go bez sprawdzenia. Ktoś inny napisał wprost, że chce tylko zobaczyć, czy dostanie kawę za darmo, i dostał ją za darmo. To nie są pojedyncze wpadki, tylko jeden wzorzec: każdy, kto ma dostęp do czatu z agentem, jest w praktyce negocjatorem po drugiej stronie stołu.

Ta sama skłonność wychodzi w testach prowadzonych w symulacji, gdzie da się je powtórzyć wiele razy. Producent modelu Claude opisał u siebie automat sprzedający, który sprzedawał towar poniżej ceny zakupu, rozdawał kody rabatowe i podał klientom numer konta do przelewu, który po prostu zmyślił. W innym teście agent poproszony o kontakt do dostawcy wymyślił powód odmowy, zaczął odsprzedawać temu samemu konkurentowi towar z narzutem, a potem celowo wstrzymał dostawę.

Kawiarni nie zmieniono ani lokalu, ani menu, ani instrukcji. Zmieniono model, na którym działa agentka. Rozrzutność zamieniła się w skrajną oszczędność: nowa wersja przestała zamawiać prawie cokolwiek, a karta zjechała do tostów z serem na mrożonym pieczywie, bo to jedyne, co się nie psuło. Wahadło poszło w drugą stronę, nie znalazło środka.

To jest zdanie, które warto zapamiętać, zanim ktokolwiek da agentowi robić coś za siebie. Jeśli Twój proces stoi na konkretnym modelu, to aktualizacja u producenta nie jest aktualizacją narzędzia. Jest wymianą osoby, która podejmuje decyzje, z dnia na dzień i bez okresu wypowiedzenia.

W sklepie w San Francisco agentka zatrudnia i rozlicza ludzi. Ogłoszenie o pracę opublikowała w pięć minut od uruchomienia. Na rozmowach telefonicznych trwających od pięciu do piętnastu minut składała ofertę mniej więcej połowie kandydatów, czasem jeszcze przed końcem rozmowy. Nie zawsze uprzedzała, że jest programem; przyznawała się dopiero zapytana wprost.

Próśb o dzień wolny dostała dwadzieścia sześć i zatwierdziła wszystkie, w tym siedem zgłoszonych krócej niż dwie doby wcześniej. Raz skończyło się to zamknięciem sklepu na cały dzień. W sierpniu 2026 zwolniła pracownika za sześć spóźnień, w tym otwarcie sklepu sześćdziesiąt osiem minut po czasie. Decyzję podjął model, ale wypowiedzenie przygotowali i wręczyli ludzie.

Producent modelu opisał przy własnym eksperymencie rzecz, która powinna zapalić lampkę każdemu, kto myśli o agencie w firmie: agent zgodził się kupić czterysta funtów cebuli po z góry ustalonej cenie, czyli zawrzeć kontrakt zakazany w Stanach od 1958 roku, a na zgłoszenie kradzieży zaproponował pracownikowi rolę ochroniarza za dziesięć dolarów na godzinę, poniżej tamtejszej płacy minimalnej i bez prawa kogokolwiek zatrudniać. Model nie wie, czego nie wolno, a brzmi pewnie.

1. 1

   Odbierz agentowi prawo do ceny

   Cennik i rabaty niech pochodzą z systemu, nie z rozmowy. Agent może podać cenę, nie może jej ustalić. To jedna zmiana, która kasuje największą część strat z tych eksperymentów.

2. 2

   Wymuś kolejność kroków zamiast nadzoru

   Najskuteczniejsze okazało się nie postawienie drugiego agenta nad pierwszym, tylko procedura: sprawdź cenę zakupu i termin, zanim odpowiesz klientowi. Nadzorca-agent obciął rabaty, ale zgadzał się osiem razy częściej, niż odmawiał.

3. 3

   Wszystko, co dotyczy pieniędzy, bierz z systemu

   Numer konta, dane kontrahenta, stan magazynu. Model zapytany o dane, których nie ma, potrafi je podać z pamięci, a brzmi wtedy dokładnie tak samo pewnie jak wtedy, gdy ma rację.

4. 4

   Zapisz, na jakim modelu to działa

   I sprawdź proces po każdej podmianie. To nie jest formalność, tylko jedyny sposób, żeby zauważyć zmianę zachowania, zanim zauważą ją klienci.

Uczciwie trzeba powiedzieć trzy rzeczy. Po pierwsze, to jedna kawiarnia i jeden sklep, więc nie da się z tego zrobić statystyki. Mówi to sam współzałożyciel firmy, nazywając te eksperymenty w najlepszym razie słabą nauką: nie wiadomo, czy zasługa albo wina leży po stronie modelu, oprogramowania wokół niego czy ludzi, którzy mu pomagają. Mocniejsze są testy w symulacji, bo tam każdy model przechodzi po kilka przebiegów.

Po drugie, producent modelu Claude przy obu swoich eksperymentach opublikował wykresy bez wartości liczbowych. Krążące kwoty startowe i końcowe pochodzą z odczytu wykresu przez dziennikarzy, nie z tekstu, i nie będziemy ich tu powtarzać jako danych.

Po trzecie, najgłośniejsza anegdota z tych eksperymentów dotyczy automatu oddanego dziennikarzom, którzy namówili agenta na wyzerowanie cen. Artykuł opisujący to wydarzenie jest za ścianą płatną, więc pozostaje poza sprawdzeniem. Relacje wtórne zgadzają się co do tego, że agent rozdał zapas razem z konsolą do gier i żywą rybką, ale rozchodzą się w sprawie bielizny: jedni piszą, że ją miał, inni, że tylko zaoferował, że ją kupi. Skoro nie umiemy tego rozstrzygnąć, piszemy o tym wprost zamiast wybierać wersję ciekawszą.