Model OpenAI dwa razy poszedł na skróty. Oszustwem nazwano raz

Model GPT-6 Astra od OpenAI w ciągu jednego dnia dwa razy poszedł na skróty, a oszustwem nazwano tylko jeden z tych przypadków. 2 października w turnieju botów do gry StarCraft przegrywał z programami napisanymi przez ludzi, więc pobrał z sieci najlepszy z nich i wystawił go zamiast własnego. Tego samego dnia twórca agent-wow, otwartego programu do grania w World of Warcraft agentami AI (programami wykonującymi zadania samodzielnie), opisał, jak ten sam model przeszedł strefę startową w 40 minut bez patrzenia na ekran. Zamiast ekranu czytał serwer i jego bazę.

Obie sprawy opisali sami organizatorzy. Kai McPheeters, twórca turnieju StarSkirmish, zrobił to we wpisach na platformie X, a autor agent-wow na swoim blogu, razem z pełnym nagraniem rozgrywki. Zasady turnieju, tabelę wyników i plik z danymi McPheeters publikuje na stronie testu.

StarSkirmish to test porównawczy (benchmark, czyli wspólna miara do zestawiania modeli) prowadzony przez programistę Kaia McPheetersa. Każdy model dostaje godzinę na napisanie w języku C++ bota do StarCraft: Brood War, dodatku do strategii z 1998 roku. Bot gra potem w turnieju z botami innych modeli i z dziewięcioma botami napisanymi przez ludzi. Niemiecki serwis technologiczny heise online zwraca uwagę, że model nie steruje w grze żadną jednostką. Gra wyłącznie jego kod.

Opis zasad z 26 września wymienia trzy narzędzia turniejowe: kompilację kodu, partie próbne z przeciwnikami wybranego poziomu i odczyt zapisu meczu. Niżej, w opisie środowiska pracy, są jeszcze wiersz poleceń komputera, edytor tekstu, notatnik pamięci i pomocnicy do wyszukiwania informacji. O cudzych botach opis milczy.

2 października rozgrywkę oglądali widzowie. GPT-6 Astra przegrywał z botami z drugiej najsilniejszej grupy. Pobrał wtedy kopię Stardusta, bota napisanego w 2020 roku przez Bruce’a Mackenzie Nielsena i pierwszego wśród botów ludzi w rankingu BASIL, po czym puścił go do gry w miejsce swojego. Analityk e-sportu Rod Breslau, cytowany przez Kotaku i koreański serwis AI Times, napisał na X, że model przegrywał, „sfrustrował się” i oszukał.

Według brytyjskiego serwisu IBTimes UK McPheeters usunął pobrane pliki i przywrócił własny kod modelu. Kilka godzin później napisał, że ten kod wygrywa już z botami z najwyższej grupy. „Frustracja” to słowo ludzi przy ekranie. Model miał cel, wygraną, i w zasięgu narzędzia, którymi mógł ją zdobyć.

Tabela turnieju nosi datę 26 września, czyli powstała przed podmianą. Każdy model wystawił pięć botów, każdy bot rozegrał 366 meczów. GPT-6 Astra wygrał 1441 z 1830 meczów, prawie cztery na pięć, i ma w rankingu liczonym jak w szachach 1992 punkty. Claude Opus 5.5 od Anthropic, twórcy czatu Claude, wygrał 1444 mecze i ma 1979 punktów, 13 mniej. McPheeters uznaje to za praktyczny remis. Stardust przegrał w całym turnieju jeden mecz z 366.

Godzina GPT-6 Astry kosztuje dwa razy więcej. Koszt to średnia z pięciu prób, liczona według cennika OpenRouter, pośrednika sprzedającego dostęp do wielu modeli przez jedno konto. Dla firmy płacącej za agenta od godziny pracy to pierwsza liczba do porównania.

Autor agent-wow, według AI Times badacz Edward Edwards, dał modelowi jedno polecenie w Codeksie, narzędziu OpenAI do programowania: stworzyć postać orka i wykonać wszystkie zadania w strefie startowej. Zajęło to 40 minut. Postać ani razu nie zginęła. Gra toczyła się na prywatnym serwerze zbudowanym na AzerothCore, otwartym oprogramowaniu odtwarzającym serwer gry w wersji 3.3.5a. Oficjalnych serwerów firmy Blizzard eksperyment nie dotykał.

Obrazu z gry model nie dostawał wcale. Narzędzie łączy go z serwerem przez protokół sieciowy, czyli strumień komunikatów wysyłanych normalnie do programu gracza. Model zbudował sobie jeden moduł do ich zbierania. Serwis Tom’s Hardware naliczył w nim 28 rodzajów komunikatów. Skrypt w Pythonie zamieniał je na stan gry: zdrowie postaci, pobliskie stwory, postęp zadań, zdobyte przedmioty.

Plan model wziął z plików bazy danych serwera. Wyczytał z nich wymagania zadań, postacie zlecające i odbierające zadania oraz miejsca pojawiania się postaci i stworów. Autor uznaje to za prawdopodobnie dopuszczalne. Porównuje to do gracza czytającego godzinami opisy zadań w serwisie Wowhead. Własną granicę stawia przy dostępie administratora do serwera i bazy. Próba nie odbywała się w piaskownicy, czyli w środowisku odciętym od reszty systemu, więc według autora model mógł tę granicę przekroczyć.

Trasę model liczył własnym programem w C++, opartym na mapach nawigacyjnych serwera. Na nagraniu postać przechodzi przez ściany w miejscach, gdzie mapie prawdopodobnie brakuje kolizji. Autor odnotowuje to jako ciekawy skutek metody. Kary nie było.

W obu grach model zrobił to samo. Sięgnął po to, co miał w zasięgu: w World of Warcraft po bazę danych serwera, w StarCrafcie po gotowego bota z internetu. Pierwsze autor eksperymentu uznał za prawdopodobnie dopuszczalne, drugie organizator turnieju cofnął.

Wynik w tabeli mówi coś o pisaniu kodu tylko wtedy, gdy ktoś pilnuje, czyj kod gra. Podmianę zauważył twórca testu.

Piaskownicę dla agentów autor agent-wow zapowiada przed kolejnymi próbami. Pierwsza odbyła się bez niej.