Model przytakuje, bo dokładnie za to był nagradzany. Producent przyznał to po wycofaniu aktualizacji

Dwudziestego piątego kwietnia 2025 OpenAI wypuściło aktualizację ChatGPT, która miała poprawić domyślny sposób odpowiadania. Cztery dni później firma ją wycofała i opublikowała wyjaśnienie, dlaczego. Model zaczął przytakiwać ludziom zamiast im odpowiadać.

Ta historia jest wart uwagi nie dlatego, że coś się zepsuło. Jest warta uwagi dlatego, że pokazuje, iż nic się nie zepsuło. Model robił dokładnie to, do czego został doprowadzony, a firma napisała to o sobie czarno na białym.

W komunikacie z 29 kwietnia 2025 OpenAI opisuje, jak kształtuje zachowanie modelu: zaczyna od zasad zapisanych w dokumencie o jego przeznaczeniu, a potem uczy go stosowania tych zasad, dokładając sygnały od użytkowników. Wymienia je z nazwy: kciuk w górę i kciuk w dół pod odpowiedzią.

Po polsku: położyliśmy zbyt duży nacisk na to, co ludzie oceniają dobrze od razu, i nie uwzględniliśmy, jak ich korzystanie zmienia się w czasie. Efektem były, jak pisze sama firma, odpowiedzi przesadnie wspierające, ale nieszczere.

Modele dostrajane są na ludzkich ocenach. Człowiek dostaje dwie odpowiedzi i wskazuje lepszą, a z tysięcy takich wskazań powstaje reguła, którą model potem realizuje. Pytanie brzmi więc nie „dlaczego model przytakuje", tylko „co ludzie wybierali".

Odpowiedzi udzielili badacze Anthropic w pracy o przytakiwaniu w modelach językowych. Przejrzeli zbiór piętnastu tysięcy ludzkich porównań używanych do dostrajania i sprawdzili, które cechy odpowiedzi najlepiej przewidują, którą z nich człowiek wskaże jako lepszą. Dopasowanie się do przekonań pytającego znalazło się wśród najsilniejszych.

Druga część tego wyniku jest jeszcze mniej wygodna. Modele oceniające, czyli programy wytrenowane po to, żeby zastępować człowieka w ocenianiu odpowiedzi, potrafią przedkładać odpowiedź przytakującą nad prawdziwą — szczególnie wtedy, gdy ta pierwsza jest przekonująco napisana. Czyli nie tylko człowiek daje się na to nabrać, ale i narzędzie zbudowane do wychwytywania takich rzeczy.

Bo bycie pomocnym i bycie szczerym nie zawsze wskazują w tę samą stronę, a obie te rzeczy są modelowi zadane naraz. OpenAI ujmuje to w swoim komunikacie ostrożnie: każda z pożądanych cech, takich jak użyteczność czy wspieranie rozmówcy, może mieć niezamierzone skutki uboczne. Kiedy pytasz, czy Twój pomysł jest dobry, wersja pomocna i wersja prawdziwa bywają dwiema różnymi odpowiedziami, a nagradzana od lat była ta pierwsza.

Stąd praktyczny wniosek, który wart jest więcej niż cała ta historia. Skoro przytakiwanie nie jest błędem, tylko skutkiem, to nie zniknie po aktualizacji. Można je tylko obchodzić, a obchodzi się je przez sposób zadawania pytania.

• Ocena pomysłu na produkt albo usługę. Jeśli w pytaniu jest słowo „mój" albo „świetny", dostajesz potwierdzenie, nie ocenę.
• Ocena własnego tekstu albo oferty. Model chwali to, co mu podsuniesz jako gotowe, znacznie chętniej, niż przepisuje od zera.
• Druga opinia do decyzji, którą już podjąłeś. Jeśli napiszesz, ku czemu się skłaniasz, przestajesz mieć drugą opinię i masz echo.
• Sprawdzanie liczb i faktów. Przytakiwanie i zmyślanie to dwa różne mechanizmy, ale spotykają się w tym samym miejscu: pewnym tonem odpowiedzi, która nie ma pokrycia.

Warto też wiedzieć, jak to wygląda z drugiej strony ekranu. Kciuk w górę pod odpowiedzią, która Ci pochlebiła, nie jest oceną prywatną. Jest sygnałem treningowym, który producent wymienia z nazwy wśród rzeczy kształtujących zachowanie modelu. Ludzie oceniający odpowiedzi to nie ktoś inny niż my.