Pracownik Anthropic przyznaje, że Claude pisał dla ludzi coraz gorzej. Chwalony za styl Opus 4.6 da się jeszcze wybrać w aplikacji

Jackson Kernion zajmuje się w Anthropic dostrajaniem modeli Claude. 22 września, w dniu premiery Opus 5.5, napisał na X, że od czasów Opus 4.6 żaden model nie pisał tak, żeby był z niego równie zadowolony. Kolejne wersje lepiej liczyły i programowały. Na ich teksty skarżyli się użytkownicy.

Kernion nazywa problem po imieniu. Opus 5.5 to według niego pierwsze wydanie z celowanymi poprawkami jasności zdań i »zbyt gęstych zrzutów informacji« (overly-dense info dumps). Użytkownik zapytał go, co zepsuło się po wersji 4.6. Odpowiedź: im mocniej model trenuje się na matematyce, kodzie i objaśnianiu spraw technicznych innym modelom, tym bardziej trzeba go osobno nagradzać za proste wyjaśnienia dla ludzi.

W kolejnym wpisie dodał, że charakterystyczny styl Claude, w internecie nazywany »Claudeish«, dopasował się do »psychologii modeli językowych«. Model ma znacznie więcej pamięci roboczej niż człowiek i chwyta drobniejsze szczegóły. Tekst dobry dla niego bywa więc dla ludzi ścianą faktów.

Skargi zaczęły się w dniu premiery Opus 5. Arena, serwis porównujący modele na prawdziwych pytaniach użytkowników, zestawiła 12 sierpnia dziesiątki tysięcy odpowiedzi. Wynik opisał autor bloga paddo.dev w tekście o stylu Opus 5.

Na Reddicie wątek o powrocie z Opus 5 do Opus 4.6 zebrał 946 głosów. Najwyżej oceniona odpowiedź brzmiała: »żaden człowiek tak się nie porozumiewa«. Serwis Every w recenzji Opus 5.5 z 22 września przyznaje, że wyjaśnienia Opus 5 same wymagały wyjaśnień. O nowym modelu pisze ostrożniej: czyta się go łatwiej, ale często chowa sedno.

Anthropic w komunikacie o Opus 5.5 przyznaje, że sposób pisania był jedną z najczęstszych uwag do Opus 5. Nowy model ma stawiać najważniejszą informację na początku, rzadziej sięgać po żargon i trzymać się zasad pisania podanych przez użytkownika. Firma Box, jeden z pierwszych klientów, podaje w tym komunikacie odpowiedzi krótsze o 40 procent bez utraty trafności.

Strona pomocy Anthropic zaktualizowana 22 września wymienia Opus 4.6 wśród modeli do wyboru w aplikacji Claude. Dodatkowe modele są w menu pod pozycją »More models«. W interfejsie programistycznym (API, czyli dostęp dla programów firmy) producent wycofa go nie wcześniej niż 5 lutego 2027 roku. Za token kosztuje tam 5 dolarów na wejściu i 25 na wyjściu, a Opus 5.5 odpowiednio 4 i 20, czyli o jedną piątą mniej.

Kernion pisze, że problem jest trudny i firma będzie go dalej poprawiać. Dla użytkownika płynie z tego prosty wniosek. Numer wersji mówi o wynikach w matematyce i programowaniu. O jakości maila do klienta nie mówi nic.