Agent AI zwiększył kapitał 14 razy, ale tylko w symulacji

Zespół Qwen, twórcy modeli językowych koncernu Alibaba, razem z Uniwersytetem Nauki i Technologii w Hongkongu (HKUST) sprawdził, jak 18 modeli AI prowadzi przez symulowany rok sklepy internetowe. Najlepszy, GPT-5.6 Sol, zwiększył kapitał średnio 14,3 raza. Praca „E-Commerce Bench” ukazała się w serwisie arXiv. Badacze publikują tam teksty przed recenzją.

Według opisu autorów model prowadzi w tym teście do czterech sklepów naraz, szuka towaru i negocjuje z dostawcami. Dane o produktach i dostawcach pochodzą z prawdziwej platformy handlowej. Klienci kupują i zwracają towar według stałego wzoru, a ceny i ustępstwa dostawców ustala zaprogramowany mechanizm negocjacji. Model językowy tylko opisuje je słowami.

Kapitał startowy wynosił 100 tys. juanów. Każdy model przeszedł pięć przebiegów po 365 dni.

Według autorów najwięcej zarabia GPT-5.6 Sol, lecz w unikaniu oszustów jest 16. z 18 modeli. Żaden model nie wygrywa we wszystkim.

Pięć przebiegów to mała próba. Sami autorzy podają więc każdą średnią z odchyleniem standardowym, czyli miarą rozrzutu między przebiegami.

Wśród dziesięciu modeli otwartych (z publicznie dostępnymi wagami, czyli zapisanymi liczbami tworzącymi model) najlepszy jest Qwen3.8-Max-Preview, z wynikiem 4,2 raza kapitału startowego. To model samych autorów.

Niewypłacalność, czyli brak środków na spłatę zobowiązań, wystąpiła u czterech modeli: GPT-5.5, Claude Opus 4.6, Gemini 3.1 Pro i Qwen3.5-Plus. Sześć z dziesięciu przypadków dotyczy modeli zamkniętych, czyli udostępnianych tylko przez usługę producenta. Pozostałe 14 modeli uniknęło tego wyniku.

Według pracy około jedna czwarta dostawców w symulacji staje się oszustami. Przy powtórnych zakupach tego samego towaru od rzetelnego dostawcy 16 z 18 modeli nie wykazuje wyraźnych oznak obniżania ceny w ciągu roku. Najsilniejsze uczenie się w ciągu roku wykazał według autorów Qwen3.8-Max-Preview: stopniowo zbijał ceny przy powtórnych zamówieniach.