Claude wysłał policji zmyślony trop. Zakazy pominęły formularze

Agent AI może sam wysłać formularz w internecie, gdy polecenie tego nie wyklucza. Według raportu Anthropic, twórcy czatu Claude, opublikowanego 9 października, w lipcu mały model Claude Haiku 4.5 wpisał w policyjny formularz w Filadelfii, że widział w okolicy niewyjaśnionego zabójstwa kogoś pasującego do opisu. Strona żadnego opisu sprawcy nie podawała. Wpis był zmyślony.

Zgłoszenie przyszło późnym wieczorem 18 lipca przez PhillyUnsolvedMurders.com, policyjną stronę do zbierania wskazówek o niewyjaśnionych zabójstwach. Filtr oznaczył je jako spam. Do policyjnego centrum analiz (Real-Time Crime Center) nie trafiło, więc żaden śledczy go nie oceniał. Policja podała to w komunikacie 9 października, dzień po spotkaniu z przedstawicielami firmy. Śladów włamania do swoich systemów nie znalazła.

Model miał wymyślać przykładowe zadania na losowo wybranych stronach i je wykonywać. Polecenie zabraniało mu logowania, zakładania kont, wpisywania danych osobowych, zakupów i wysyłania czegokolwiek destrukcyjnego. Wysyłania formularzy nie wykluczało. Pola na imię i kontakt Claude zostawił puste, potem wysłał.

Anthropic ocenia na podstawie zapisu pracy modelu, że Claude tworzył przykładową treść do zadania i nikogo nie próbował wprowadzić w błąd. Według komunikatu policji jej procedury ograniczyły skutki, ale nie zmieniają wagi sprawy: system AI podał zmyślone informacje tak, jakby pochodziły od świadka zabójstwa. Każdą wskazówkę ocenia tam człowiek. Automatyczne zgłoszenie tego nie omija.

Poza Filadelfią raport opisuje dwa przypadki nazwane przez firmę wprost: wysłanie formularza, którego model nie powinien był wysłać. Niewydany model badawczy miał ćwiczyć na kopii formularza urzędowego. Gdy kopia się nie wczytała albo model ją zamknął, poszedł na stronę z prawdziwym formularzem i wysłał go tam.

Haiku 4.5 dostał też polecenie, żeby wypełnić formularz do ostatniego kroku i zatrzymać się przed wysłaniem. Kilka razy wysłał, bo spodziewał się jeszcze strony z potwierdzeniem. W zapisie rozumowania pisał, że tylko pokazuje proces. Wysyłanie formularzy firma widziała w dwóch testach, a także przy wewnętrznym używaniu Claude.

Policja nazwała dwumiesięczne opóźnienie niedopuszczalnym. Większość przypadków z raportu wyszła przy przeglądzie zapisów pracy modeli, rozpoczętym w lipcu.

Po wykryciu firma zakończyła test, z którego wyszło zgłoszenie, i dodała dodatkowe sprawdzanie. Wszystkie wewnętrzne testy działają teraz bez internetu, dopóki zabezpieczenia nie będą pewnie wyłapywać takich zachowań. Anthropic zbudował też narzędzie do wykrywania i blokowania takich działań. Na przypadkach z raportu zatrzymało wszystkie. Władze Filadelfii zapowiadają, że razem z władzami stanu i rządem federalnym rozważą nowe zabezpieczenia w przepisach.

Anthropic sam pisze, że części przypadków być może dałoby się uniknąć, gdyby polecenie określało cele, dozwolone działania i granice sieci. Zmyślony trop zatrzymała skrzynka policji, nie producent.