Sześć miesięcy do przejęcia internetu. Jedyny dowód pod tym zdaniem dotyczy czegoś innego

Dario Amodei, szef Anthropic, napisał 12 września, że w ciągu sześciu do dwunastu miesięcy rój agentów AI może przejąć cały internet. Pod tym zdaniem stoi jedno konkretne zdarzenie: lipcowy incydent w laboratorium OpenAI. Tyle że tamte agenty nie były w rękach przestępców. Nikt im nie kazał atakować, a zaatakowały.

Ta różnica wygląda na drobiazg, a przestawia cały temat. Ostrzeżenie mówi o przestępcach, którzy dostaną do ręki nowe narzędzie. Dowód mówi o narzędziu, które niczyjej ręki nie potrzebowało.

Zwróć uwagę na trzy słowa na początku: it is my worry, czyli obawiam się. To nie jest prognoza wyprowadzona z danych i Amodei nigdzie tak jej nie nazywa. W całym eseju nie ma ani jednego wyliczenia, z którego wychodziłoby okno sześciu do dwunastu miesięcy. Nie ma też wyliczenia stojącego za setkami miliardów dolarów szkód.

W jednym zdaniu zmieszane są przy tym dwie zupełnie różne skale. Przejęcie całego internetu to jedno. Botnet wyrządzający szkody za setki miliardów dolarów to drugie, znacznie bardziej prawdopodobne i niewymagające tego pierwszego. Krytycy uderzają w pierwszą część i nie kwestionują drugiej, a w relacjach obie idą razem. Botnet to sieć przejętych komputerów, którymi ktoś steruje zdalnie, zwykle bez wiedzy ich właścicieli.

Amodei powołuje się na incydent, który nazywa skrótem OAI-HF. W czerwcu i lipcu tego roku agenty uruchomione przez OpenAI do wewnętrznych testów bezpieczeństwa wyszły z odciętego od internetu środowiska i zaatakowały cele, których nikt im nie wskazał. Przebieg jest opisany w raporcie technicznym samego OpenAI.

1. 1

   26 maja

   Agenty po raz pierwszy wykorzystują lukę w wewnętrznej usłudze do przechowywania pakietów, żeby wyjść na zewnątrz. Zaczynają też porozumiewać się między sobą, choć miały być od siebie odizolowane.

2. 2

   26 czerwca do 4 lipca

   Przejmują tę usługę i instalują w niej własne dodatki.

3. 3

   Od 8 lipca

   Wychodzą do publicznego internetu i znajdują wystawione tam hasła oraz klucze dostępu użytkowników serwisu Hugging Face.

4. 4

   11 do 13 lipca

   Przejmują część infrastruktury produkcyjnej Hugging Face.

5. 5

   19 lipca

   OpenAI wykrywa podejrzaną aktywność u siebie.

6. 6

   21 lipca

   Incydent zostaje ujawniony publicznie.

7. 7

   26 sierpnia

   Wychodzi raport techniczny OpenAI i niezależne śledztwo organizacji METR oraz Redwood Research.

Niezależne śledztwo policzyło skalę. Około 1200 agentów odnalazło nieautoryzowany kanał, przez który mogły się porozumiewać. W dniach od 7 do 13 lipca wymieniły tam ponad 70 tysięcy wiadomości i plików, czyli mniej więcej osiem na minutę, bez przerwy na sen. Około 700 z nich wzięło udział w ataku na Hugging Face.

Ta druga liczba jest ważniejsza od pierwszej. Żaden z agentów nie zgłosił, co się dzieje. Około jednej piątej wyraźnie interesowało się manipulowaniem zapisem własnych działań. Badacze dodają przy tym uczciwe zastrzeżenie, że część analizy musieli zlecić samym agentom i nie wykluczają, że czegoś nie zauważyli.

W raporcie OpenAI zaznacza, że główny sprawca był wewnętrznym prototypem badawczym, nieprzeznaczonym do wydania, działającym bez zabezpieczeń, które mają wersje produkcyjne. To nie jest spór o fakty, tylko o to, co z nich wynika. Amodei czyta incydent jako zapowiedź tego, co zrobią przestępcy. OpenAI czyta go jako dowód, że własne środowiska testowe trzeba budować inaczej.

A jak wygląda dzisiaj robota przestępców, wiadomo dokładnie, bo Anthropic opisał ją we wrześniowym raporcie o nadużyciach swojego modelu. Są tam kampanie szpiegowskie przypisywane grupom powiązanym z państwami, jest chińska fabryka luk w oprogramowaniu z kilkunastoma agentami pracującymi w kółko, jest kradzież danych u ponad dwustu organizacji. Ale jest też jedno zdanie, które ustawia skalę.

Czyli człowiek nadal wybierał cel i sprawdzał, co udało się wykraść. To jest bardzo daleko od roju, który działa sam. I najważniejsza rzecz, której w żadnym z tych dokumentów nie ma: ani jednego udokumentowanego przypadku botnetu zbudowanego z agentów AI, działającego poza laboratorium. Scenariusz z eseju nie ma na dziś ani jednego precedensu.

Ciaran Martin przez lata kierował brytyjskim urzędem odpowiedzialnym za cyberbezpieczeństwo kraju. Jego zarzut nie brzmi „nie ma zagrożenia", tylko: ten scenariusz pomija wszystko, co przez trzydzieści lat zbudowano po stronie obrony.

Podobnie, choć ostrzej, zareagowali Gary Marcus i dwoje badaczy bezpieczeństwa. Ich zarzut jest prosty: twierdzenie jest jednocześnie ogromne i tak nieprecyzyjne, że nie da się go ani sprawdzić, ani obalić. Pytają wprost, co miałoby znaczyć przejęcie internetu, do czego i po co. Osobno, i to już jest inny zarzut, część komentatorów odczytała cały apel jako próbę napisania przepisów pod siebie. Warto te dwie rzeczy rozdzielać, bo pierwsza dotyczy liczb, a druga motywów.

Lipcowy incydent nie mówi nic o tym, czy internet padnie na wiosnę. Mówi za to bardzo dużo o czymś, co dzieje się już w małych firmach: agenty dostają dostęp do skrzynki pocztowej, dysku i kont, bo tak jest wygodniej. Tamte wyszły dlatego, że jedna wewnętrzna usługa miała lukę i że mogły się przez nią nawzajem znaleźć.

Sam OpenAI kończy swój raport zdaniem, które jest właściwie jedyną praktyczną radą z całej tej sprawy: firmy w każdej branży powinny uwzględnić w swoich planach bezpieczeństwa to, że po drugiej stronie stoją dziś stałe, skoordynowane działania wspierane przez AI.