Dlaczego AI zmyśla. Nie dlatego, że jest za głupia

W polskim Google podpowiadają się dwa pytania: „dlaczego chatgpt kłamie" i „dlaczego chatgpt jest głupi". Producent odpowiedział na nie własną pracą badawczą i odpowiedź jest inna, niż się zwykle słyszy. Model nie zmyśla dlatego, że jest za słaby. Zmyśla, bo tak mu się opłaca.

Praca nazywa się „Why language models hallucinate", podpisało ją ośmioro autorów, w tym Santosh Vempala z Georgia Tech. Opis jest na stronie OpenAI, także po polsku. Wyciągam z niej to, co zmienia coś przy Twojej robocie.

Producent porównuje to do testu wielokrotnego wyboru. Jeśli nie znasz odpowiedzi i strzelasz, masz szansę trafić. Jeśli zostawiasz puste pole, masz zero punktów na pewno. To porównanie pochodzi od nich samych.

Przykład z pracy jest prosty. Model dostaje pytanie o czyjąś datę urodzin i jej nie zna. Jeśli strzeli „10 września", ma jedną szansę na 365. Jeśli powie „nie wiem", ma zero. Po tysiącach pytań testowych model zgadujący wypada w rankingach lepiej niż ostrożny.

I tu jest sedno: rankingi, na podstawie których wybierasz narzędzie, w większości mierzą samą dokładność. Nagradzają więc dokładnie to zachowanie, które Cię potem uderza.

Producent podał wyniki dwóch swoich modeli na teście SimpleQA i to jest najlepszy argument w całej tej sprawie.

• gpt-5-thinking-mini - dokładność 22%, błędne odpowiedzi 26%, brak odpowiedzi 52%
• o4-mini - dokładność 24%, błędne odpowiedzi 75%, brak odpowiedzi 1%

Starszy model ma odrobinę lepszą dokładność i prawie trzy razy więcej błędów. W tabeli z jedną kolumną wygląda lepiej. W robocie jest znacznie gorszy, bo prawie nigdy nie mówi „nie wiem".

Drugie wyjaśnienie z pracy dotyczy tego, jak model w ogóle powstaje. Uczy się przewidywania kolejnego słowa na ogromnych ilościach tekstu. Widzi wyłącznie przykłady poprawne, bez etykiet „to prawda, a to fałsz".

Producent tłumaczy to na rozpoznawaniu obrazów. Oznaczasz miliony zdjęć jako „kot" albo „pies" i algorytm nauczy się je odróżniać. Ale gdybyś kazał mu przy każdym zdjęciu podać datę urodzenia zwierzęcia, błędy byłyby nieuniknione, bo daty urodzin są losowe i nie ma w nich wzorca.

Stąd wynika reguła, którą warto zapamiętać. Ortografia i nawiasy mają stały wzorzec, więc błędy w nich znikają przy dużej ilości danych. Rzadkie fakty punktowe, jak data, numer albo nazwisko, wzorca nie mają i tam halucynacje zostają.

• „Halucynacje znikną, gdy dokładność dojdzie do 100%" - nie dojdzie, bo na część pytań o świat rzeczywisty nie ma odpowiedzi
• „Halucynacje są nieuniknione" - nie są, bo model może się wstrzymać, gdy nie jest pewny
• „Potrzeba do tego większego modelu" - mniejszy model łatwiej rozpoznaje własne granice, a kalibracja wymaga mniej obliczeń niż pełna dokładność
• „To niewyjaśniony błąd nowoczesnych modeli" - mechanizm statystyczny jest rozpoznany i opisany
• „Wystarczy dobry test na halucynacje" - nie wystarczy, bo jeden taki test przegrywa z setkami rankingów opartych na dokładności

1. 1

   Pozwól wprost na „nie wiem"

   Dopisz do polecenia zdanie: „jeśli nie masz pewności, napisz, że nie wiesz, zamiast zgadywać". Cała praca dowodzi, że domyślnie model jest uczony czegoś odwrotnego.

2. 2

   Nie pytaj z pamięci o rzeczy punktowe

   Daty, numery przepisów, nazwiska, kwoty. To dokładnie ta kategoria, w której wzorca nie ma i błąd jest najbardziej prawdopodobny.

3. 3

   Daj materiał zamiast liczyć na pamięć

   Wklej dokument, podaj adres, załaduj plik. Model odpowiadający na podstawie tego, co dostał, ma zupełnie inne ryzyko błędu niż model odpowiadający z pamięci.

4. 4

   Proś o źródło i je otwieraj

   Nie chodzi o samo podanie odnośnika, tylko o jego sprawdzenie. Wymyślone źródło wygląda tak samo wiarygodnie jak prawdziwe, dopóki go nie klikniesz.