Wykrywacz napisał, że to AI. Jego własny producent pisze, że to nie jest dowód

Nauczyciel wrzuca wypracowanie do programu, program pokazuje procent i sprawa wydaje się rozstrzygnięta. Tymczasem operator polskiego systemu antyplagiatowego, którym badane są prace dyplomowe na uczelniach, napisał we własnej bazie wiedzy zdanie, które kończy dyskusję: stworzenie narzędzia wskazującego, czy autor korzystał ze sztucznej inteligencji, jest obecnie praktycznie niemożliwe.

To nie jest głos sceptyka z zewnątrz. To jest zdanie instytucji, która takie narzędzie dostarcza polskim uczelniom za darmo od lutego 2024 roku.

• Turnitin: poniżej jednego procenta fałszywych alarmów, ale wyłącznie dla prac, w których wykrył co najmniej dwadzieścia procent tekstu AI. Na poziomie pojedynczego zdania sam podaje około czterech procent.
• GPTZero: nie więcej niż jeden procent, a na esejach obcokrajowców 1,1 procenta. Jako jedyni deklarują, że model był celowo poprawiany, żeby nie karać osób uczących się angielskiego.
• Copyleaks: poniżej 0,2 procenta. Podają skuteczność dla sześciu języków i polskiego wśród nich nie ma, mimo deklaracji obsługi ponad trzydziestu.

Turnitin zrobił zresztą w 2023 roku rzecz, która mówi więcej niż jego liczby: przestał pokazywać wyniki poniżej dwudziestu procent. Ani liczby, ani podświetleń, tylko gwiazdka. Powód podał wprost, że w tym zakresie fałszywe alarmy zdarzają się częściej. Podniósł też minimalną długość badanego tekstu ze stu pięćdziesięciu do trzystu słów.

Warto też wiedzieć, że OpenAI zbudowało własny wykrywacz i wyłączyło go po niecałych sześciu miesiącach. Rozpoznawał 26 procent tekstów maszynowych, a 9 procent tekstów ludzkich oznaczał błędnie. W komunikacie z lipca 2023 napisali, że narzędzie znika z powodu niskiej trafności.

Zespół pod kierunkiem Debory Weber-Wulff przetestował czternaście wykrywaczy na pięćdziesięciu czterech przygotowanych przypadkach, w sześciu kategoriach. Wyniki opublikowano w czasopiśmie naukowym o rzetelności akademickiej, z otwartym dostępem.

• Tekst napisany przez człowieka: 96 procent trafnych rozpoznań.
• Tekst człowieka przetłumaczony maszynowo na angielski: o dwadzieścia punktów procentowych gorzej.
• Czysty tekst z czatu: 74 procent.
• Tekst z czatu poprawiony ręcznie przez człowieka, czyli najczęstszy realny przypadek: 42 procent.
• Tekst z czatu przepuszczony przez parafrazator: 26 procent.

Wniosek autorów jest jednym zdaniem: badane systemy nie powinny być używane w środowisku akademickim. Dla sześciu z czternastu narzędzi odnotowano fałszywe alarmy, a przy jednym połowa wskazań pozytywnych byłaby fałszywym oskarżeniem.

Mechanizm jest prosty i dlatego nieusuwalny. Wykrywacze mierzą przewidywalność tekstu: im łatwiej zgadnąć następne słowo, tym większe podejrzenie. Osoba o mniejszym zasobie słownictwa pisze bardziej przewidywalnie. Nie dlatego, że oszukuje, tylko dlatego, że zna mniej słów.

Dla polskiego czytelnika najważniejsza jest druga grupa: teksty przetłumaczone maszynowo. Tłumacz automatyczny sam działa na modelu językowym, więc jego wynik wygląda dla wykrywacza jak tekst maszynowy. Napisanie pracy po polsku i przetłumaczenie jej na angielski wystarczy, żeby zostać oskarżonym. Potwierdza to zarówno badanie niezależne, jak i jeden z producentów w swoich odpowiedziach na najczęstsze pytania.

Trzecia grupa to autorzy tekstów z natury schematycznych. Operator polskiego systemu wskazuje to wprost: definicje, reguły i akty prawne są formułowane tak, że prawdopodobieństwo kolejnych słów jest wysokie. Czyli rozdział teoretyczny pracy dyplomowej jest dla tej metody podejrzany z założenia.

W tym samym badaniu sprawdzono to od drugiej strony. Eseje rekrutacyjne wygenerowane przez czat były początkowo wykrywane w stu procentach. Po dodaniu jednego polecenia, żeby podnieść styl na bardziej literacki, wykrywalność spadła do trzynastu procent. Przy streszczeniach naukowych z 68 do 28 procent.

Te dwie liczby razem opisują całą sytuację. Uczciwy uczeń piszący prostym językiem zostaje oskarżony. Nieuczciwy, który dopisze jedno zdanie do polecenia, przechodzi. Narzędzie działa więc dokładnie odwrotnie, niż powinno.

Jednolity System Antyplagiatowy, prowadzony przez Ośrodek Przetwarzania Informacji, ma moduł analizy użycia sztucznej inteligencji od grudnia 2023, a od lutego 2024 każda uczelnia może z niego korzystać bezpłatnie. Analiza jest nieobowiązkowa i trzeba ją zaznaczyć przy zakładaniu badania.

Najciekawsze są jednak zastrzeżenia, które operator sam opublikował. Poza zdaniem o praktycznej niemożliwości takiego narzędzia jest tam ostrzeżenie, że fałszywe wskazania mogą skutkować błędnym posądzeniem o złą wolę i utrudnić proces dyplomowy. Oraz zdanie, które powinien znać każdy student: system nie dokonuje wiążących ustaleń dotyczących wykroczeń, a wynik służy promotorowi do dalszej pracy ze studentem.

Czego operator nie podaje: ani jednej liczby. Nie ma odsetka fałszywych alarmów, nie ma opisu zbioru testowego, nie ma nazwy użytego modelu. To odróżnia polskie narzędzie od zagranicznych, które przynajmniej deklarują skuteczność.

W szkołach jest gorzej, bo nie ma ani narzędzia, ani wytycznych. Stanowiska Ministerstwa Edukacji Narodowej o używaniu AI w szkole i o wykrywaczach nie ma. Potwierdza to pośrednio biała księga Komitetu Informatyki Polskiej Akademii Nauk z maja 2025, w której rekomenduje się ministerstwu dopiero opracowanie takich wytycznych.

Od sierpnia 2026 Anthropic znakuje tekst wychodzący ze swojego modelu. Nie jest to nic dopisanego: model przy wyborze każdego kolejnego słowa ma zwykle kilka równie dobrych możliwości i zamiast losować, wybiera według tajnego klucza. Czytelnik nie widzi różnicy, a kto ma klucz, może policzyć, czy wzorzec się zgadza. Powodem wdrożenia jest unijny akt o sztucznej inteligencji, którego przepisy o przejrzystości zaczęły obowiązywać 2 sierpnia 2026.

Znak przeżywa skopiowanie i wklejenie, bo siedzi w samym ciągu słów. Nie przeżywa przepisania od zera, gruntownej parafrazy ani tłumaczenia. Nie ma go też prawie wcale w tekstach faktograficznych i w kodzie, bo tam model nie ma swobody wyboru słów.

Dwa zdania z dokumentacji producenta wyjaśniają, dlaczego to nie zastąpi wykrywacza: wykryty znak jest sygnałem, że treść przeszła przez ten model, ale nie jest w pełni rozstrzygający, a brak znaku nie oznacza, że treść nie została wygenerowana przez AI. Do tego dochodzi rzecz praktyczna: narzędzia do sprawdzania nie ma publicznie. Dostęp jest w zamkniętej wersji zapoznawczej dla regulatorów, mediów i badaczy. Nauczyciel nie ma dokąd wrzucić wypracowania.

Uniwersytet Vanderbilta wyłączył wykrywacz w sierpniu 2023 i opublikował powody. Najmocniejszy jest rachunkowy: przy deklarowanym jednym procencie błędu i siedemdziesięciu pięciu tysiącach prac złożonych w ciągu roku, około siedmiuset pięćdziesięciu prac mogło zostać oznaczonych błędnie.

Zamiast tego wprowadzili zasadę proceduralną, którą warto znać także w polskiej szkole: zgłoszenie do komisji nie może opierać się wyłącznie na wyniku wykrywacza. Muszą być inne przesłanki, na przykład treść niezgodna z poleceniem, nieistniejące odnośniki w przypisach albo rozbieżność stylu z wcześniejszymi pracami tego samego autora. Do tego doszły rozmowa zamiast automatycznego zgłoszenia, obowiązek ujawniania użycia AI i przeprojektowanie zadań w stronę pisania na zajęciach i tematów związanych z konkretnym kursem.

To samo mówią trzy źródła o zupełnie sprzecznych interesach: badacze testujący narzędzia, uczelnia, która je wyłączyła, i sam producent wykrywacza, który w 2024 roku nazwał swój wynik sygnałem i jednym elementem dochodzenia, a nie rozstrzygnięciem.