Rankingi szybkości AI porównują nazwy handlowe, a nie modele. Dlatego ich liczby nic nie mówią o szybkości w konkretnym narzędziu

Tabela pokazująca, które narzędzie AI odpowiada najszybciej, wygląda na najprostszą rzecz do zrobienia w tej branży. Jest niewykonalna, i powód mówi więcej o rynku niż sama tabela: mierzy się produkt, a produkt nie jest tym samym co model.

Szybkość odpowiedzi jest jedną z pierwszych rzeczy, o które ludzie pytają. Wydaje się prosta do zmierzenia: wysyłasz pytanie, liczysz sekundy. Problem zaczyna się przy pytaniu, co dokładnie mierzysz.

Bo ChatGPT nie jest jednym programem. To nazwa handlowa produktu, w którym pod spodem pracuje kilka różnych modeli, dobieranych zależnie od tego, jaki masz plan i jak trudne zadałeś pytanie. Darmowa wersja korzysta z innego modelu niż płatna, a najdroższy plan z jeszcze innego.

To samo dotyczy Claude i Gemini. Kupujesz produkt, nie konkretny model. Zdanie „ChatGPT jest szybszy niż Gemini" jest więc mniej więcej tak precyzyjne jak „samochody osobowe są szybsze niż dostawcze".

Najpoważniejszy z nich, Artificial Analysis, mierzy szybkość rzetelnie, ale robi to osobno dla każdego modelu, nie dla produktu. Ma też osobną stronę porównującą całe produkty i akurat na niej szybkości nie ma wcale. Porównuje jakość, funkcje i cenę.

Żeby przełożyć jedno na drugie, potrzebna byłaby oficjalna tabela mówiąca, który model odpowiada której nazwie produktu i planu. Taka tabela nie istnieje, bo producenci zmieniają to bez ogłoszeń.

Trzy pytania zadane temu samemu narzędziu, o różnym poziomie trudności, o porze zwykłej pracy. Obciążenie w ciągu dnia bywa różne, więc test o siódmej rano nie mówi nic o wieczorze. Zajmuje to kwadrans i daje odpowiedź na własne pytanie, a nie na cudze.