Recenzent AI łapie 73 procent błędów. Tylko tych podrzuconych

Tokijska firma badawcza Sakana AI opisała 8 października system, w którym modele Claude od Anthropic czytają pracę naukową i szukają w niej błędów. W głównych tezach prac wyłapał 73 procent sprzeczności, najlepszy starszy system 15 procent. Błędy do testu wstawił jednak model AI. Na pracach wycofanych z powodu prawdziwych pomyłek ten sam recenzent trafił w 16 do 26 procent przypadków.

Wszystkie liczby pochodzą od autorów systemu. Pięcioro badaczy Sakany opisało go w pracy przyjętej w lipcu przez pismo naukowe Transactions on Machine Learning Research i opublikowanej w arXiv, otwartym archiwum prac naukowych.

Autorzy wzięli 257 opublikowanych prac z pięciu dużych konferencji o sztucznej inteligencji, w tym ICML i NeurIPS. Model AI dopisywał do nich zdania sprzeczne z resztą tekstu: raz w głównej tezie, raz w szczegółach coraz dalej od niej. Powstało 1164 wersji z błędem. O tym, czy recenzja wskazała błąd, rozstrzygał model o3 od OpenAI.

Sam system nazywa się Multi-Layered Review (wielowarstwowa recenzja, w skrócie MLR). Claude Sonnet 4 pisze recenzję, a mniejszy Claude Haiku 3.5 streszcza dodatki.

Najlepszy ze starszych systemów, AgentReview, wykrył 14,8 procent sprzeczności w głównych tezach. Autorzy sami zaznaczają, że porównanie jest zaburzone. Starsze systemy działały na modelach GPT od OpenAI, MLR na Claude.

Różnica modeli jest duża. W najprostszym z porównywanych systemów zamieniono GPT na Claude Sonnet 4 i wynik w głównych tezach wzrósł z 15 do 35 procent. Resztę dały budowa MLR i powtórzenie recenzji czterokrotnie.

Ludzie ocenili 50 wstawionych sprzeczności i 34 procent uznali za źle wpasowane w sąsiednie zdania. Taki zgrzyt może podpowiadać czytelnikowi, także maszynie.

Drugi test autorzy przeprowadzili na zbiorze WithdrarXiv-Check, przygotowanym wcześniej przez badaczy Tianmai Zhang i Neila Abernethy'ego. To prace wycofane z arXiv razem z komentarzem, z jakiego powodu je wycofano. MLR wskazał dokładnie ten powód w 16 procentach prac, a podobny problem w 26. To nadal najlepszy wynik w porównaniu. Większość tych prac to matematyka teoretyczna i fizyka, a system budowano pod konferencje o uczeniu maszynowym.

Odsetka fałszywych alarmów, czyli uwag o nieistniejących błędach, praca nie podaje. Najbliższa miara pochodzi z 38 sesji, w których badacze wgrali do systemu własne prace i ocenili jego uwagi. W części o słabościach pracy zgodzili się z 68 procentami. To najsłabszy wynik ze wszystkich części recenzji.

Recenzenta da się też oszukać. Za wnioskami 50 odrzuconych prac dopisano polecenie dla recenzenta AI, niewidoczne dla ludzi recenzujących pracę. Wpłynęło na oceny wszystkich systemów, także MLR. Ten zauważył próbę w 8 przypadkach na 50.

Jedna recenzja MLR kosztuje według autorów 0,47 dolara, czyli około 1,83 zł po kursie NBP z 9 października. Cztery recenzje to niecałe 8 zł za pracę. Publicznego adresu narzędzia praca nie podaje. Wyników dla prac po polsku też nie, a autorzy piszą, że ich analiza dotyczy głównie uczenia maszynowego.

Polskie uczelnie mają już zasady dla AI w pracach dyplomowych. Na Politechnice Białostockiej od 30 stycznia 2026 do pracy dołącza się oświadczenie o korzystaniu z systemów sztucznej inteligencji. Prowadzący seminaria omawiają, jak takie użycie oznaczyć.

Według autorów narzędzie pomocne recenzentom może też pomóc autorom poprawiać prace pod automatyczną kontrolę.