OpenAI oceniła swój model: 80 procent w teście własnego autorstwa

OpenAI opublikowała LifeVal, test sprawdzający, czy sztuczna inteligencja pomaga w sprawach codziennych. Najnowszy model na wykresie OpenAI, GPT-6 Astra, dostał według serwisu Tech City Authority 80,6 procent. Zadania wybrała i przeprowadziła sama OpenAI.

Zadania obejmują opiekę, zdrowie, edukację, sprawy domowe, finanse osobiste, zakupy i usługi urzędowe, pisze Tech City Authority. Każdą próbę ocenia rubryka, czyli lista kryteriów, a nagrodę liczy się w skali od 0 do 1, opisuje niemieckojęzyczny tekst na DEV Community. Wynikiem jest jej średnia.

Wynik 80,6 procent podają Tech City Authority i serwis CellCog. CNN, według serwisu Runtime Wire, mówi o 80 procentach. Różnica jest drobna.

Serwis Complete AI Training pisze inaczej: według OpenAI najnowsze modele dostają ponad 90 procent w większości zadań. Obie liczby mogą być prawdziwe naraz. Jeśli dotyczą tej samej miary, reszta zadań ma średnio poniżej 72 procent.

Complete AI Training podaje dwa przykłady z wynikami: zapis dziecka do przedszkola po przeprowadzce (93,1 procent) i plan posiłków dla rodzica po świeżej diagnozie cukrzycy (90,4). Model porównał pobliskie przedszkola i uporządkował dane zapisu, a dwie preferencje zostawił użytkownikowi do decyzji.

• Zadania i ocenianie: według Tech City Authority OpenAI nie opublikowała listy zadań ani sposobu oceny odpowiedzi. Serwis Apidog dodaje, że nie ujawniono rubryk ani tego, jak skalibrowano oceniających.
• Liczba zadań: Apidog podaje 169, a Tech City Authority i CellCog piszą, że liczby nie podano.
• Konkurencja: CellCog zauważa, że na wykresie nie ma modeli Claude, Gemini, Grok ani Muse.
• Dostęp: według Apidog nie ma pobieralnego zestawu zadań ani publicznej tabeli wyników, a CellCog pisze, że nie wiadomo, czy zestaw zostanie udostępniony do powtórzenia testu.

Z zewnątrz wyniku nie da się odtworzyć. Serwis remio zauważa, że sam procent nie mówi, jak niezawodnie asystent dokończy konkretną sprawę użytkownika, a pełniejsza metodologia i zewnętrzne testy ułatwiłyby ocenę.

Runtime Wire opisuje LifeVal jako cel treningowy dla osobistych agentów, czyli programów samodzielnie przeglądających internet, obsługujących komputer i działających przez połączenia z innymi usługami. Test przenosi logikę testów pracy do domu.

Wynik rósł szybko. Według Apidog sam przeskok z GPT-5.2 na GPT-5.4 dał 23,7 punktu w trzy miesiące.