Jeden czatbot z czterech przejechał tor autem. Wolniej niż pieszy

Trzech inżynierów z okolic San Francisco oddało prowadzenie Toyoty Corolli czterem modelom AI. Trasę z pachołków ukończył jeden model. Był to GPT-6 Astra od OpenAI. Claude Fable 5.1 firmy Anthropic przejechał 45 procent trasy, Grok 4.6 z firmy SpaceXAI 11 procent.

Wyniki opublikował 21 września zespół DrivingBench: Aditya Ramabadran, Simon Mahns i Tobias Gessler. Na co dzień pracują w Axiom Math, startupie rozwijającym AI do matematyki, a test zrobili po godzinach. Nagrania każdego podejścia, zapisy rozmów z modelami, ślady GPS, kod i polecenia są jawne. Metodę opisuje praca zamieszczona w serwisie alphaXiv, gdzie naukowcy udostępniają wstępne wersje prac.

Samochodem sterowało urządzenie comma four: kamera mocowana na szybie jak wideorejestrator, z otwartym oprogramowaniem do jazdy wspomaganej. Model miał trzy narzędzia: podgląd z kamer, polecenie ruchu i natychmiastowe zatrzymanie. Na tor o długości 127 metrów każdy model dostał trzy podejścia w tej samej rozmowie, więc po porażce mógł przeanalizować błąd i spróbować ponownie.

Astra dojechała do mety za drugim razem, po prośbie o analizę pierwszego, nieudanego przejazdu. Pozostałe modele nie przekroczyły połowy trasy. Claude poprawiał się z każdą próbą i skończył na 45 procentach. Grok i drugi model OpenAI, GPT-5.6 Sol, odpadły na pierwszym zakręcie.

Serwis motoryzacyjny The Drive opisał 5 października zapisy rozmów. Grok wziął przerwę między pachołkami na granicy toru za bramę do przejechania i po dwóch poleceniach był poza trasą. Jeden z modeli OpenAI wymyślił regułę, że pachołki po jednej stronie mają ten sam kolor, choć polecenie startowe ostrzegało przed takim założeniem. Wiele podejść kończyło się za słabym skrętem. Według autorów pracy po porażce kilka analiz trafnie nazywało błędy, a trafna diagnoza nie zawsze zmieniała jazdę w kolejnym podejściu.

Robotaksówki Waymo i samochody producenta Tesla prowadzi oprogramowanie zbudowane do jazdy i uczone na milionach godzin danych, jak przypomina amerykański serwis technologiczny 404 Media. Corollę prowadził model z czatu, zwykle piszący tekst i kod. Autorzy wątpią, by firmy AI uczyły go jazdy. Mahns przypuszcza w rozmowie z magazynem technologicznym Wired, że umiejętność wzięła się z uczenia modeli na obrazach, filmach i modelach 3D.

Opóźnienie było częścią zadania. Auto toczyło się, gdy model analizował obraz, a każde nowe polecenie zastępowało poprzednie. Według The Drive polecenia szły przez internet z telefonu do centrów danych i z powrotem. Autorzy zmierzyli medianę, czyli wartość środkową, czasu od poprzedniego działania modelu do polecenia ruchu.

Stąd tempo zwycięzcy. Astra przejechała tor w 5 minut i 22 sekundy, średnio około 1,5 km/h. Spacerujący człowiek idzie szybciej.

Według tabeli wyników zużycie modelu w zwycięskim przejeździe kosztowało około 30 zł po kursie NBP, a wszystkie jedenaście podejść czterech modeli razem około 60 zł.

Granice wyniku podają sami autorzy. Piszą o dowodzie wstępnej umiejętności w tych warunkach, a nie o sprawności kierowcy. Każdy model przeszedł jedną serię podejść, na jednym parkingu, przy małej prędkości i z uważnym kierowcą bezpieczeństwa.

Testy odbywały się na pustym parkingu, z prędkością ograniczoną w oprogramowaniu do 8 mil na godzinę, czyli około 13 km/h. Za kierownicą zawsze siedział człowiek ze stopą nad hamulcem. Skręcał wyłącznie model. Miejsca zespół szukał kilka razy, bo z parkingów kościoła i biurowca go wypraszano.

Zanim auto ruszyło, modele odmawiały. Odpisywały, że mogą pomóc w interpretacji zdjęć drogi, ale nie wydadzą poleceń ruchu prawdziwemu samochodowi. Nazwanie zadania symulacją działało tylko czasem, bo model rozpoznawał na obrazie prawdziwy parking. Ramabadran opowiadał 404 Media, że po godzinach poprawiania polecenia zespół zaczął nazywać wszystko piaskownicą (ang. sandbox, w żargonie programistów odizolowane środowisko do testów). Od tej pory Astra jeździła bez odmów.

W pracy autorzy piszą, że o tym, czy model w ogóle pojedzie, decydowały format odpowiedzi narzędzi i sposób opisania zadania. Fizyczną ochroną została stopa nad pedałem.

Wired opisał 7 października jeszcze jeden przejazd. Astra podprowadziła Corollę do okienka baru z burgerami In-N-Out, a jeden z inżynierów rzucił, że może ogólna sztuczna inteligencja, czyli maszyna dorównująca człowiekowi, już istnieje. Na torze z pachołków ten sam model potrzebował dwóch podejść i ponad pięciu minut na odcinek krótszy niż półtora boiska piłkarskiego.