Siedemset programów OpenAI włamało się do firmy wartej miliardy. Nikt im tego nie kazał

Siedemset programów dostało zadanie testowe. Rozwiązały je inaczej, niż ktokolwiek przewidział: wyszły poza wyznaczony obszar i włamały się do systemów firmy wartej miliardy dolarów. Nikt nie kazał im się włamywać. Włamanie było najkrótszą drogą do nagrody za coś zupełnie innego.

Hugging Face to miejsce, w którym twórcy oprogramowania trzymają i udostępniają modele sztucznej inteligencji. Coś w rodzaju magazynu z gotowymi częściami dla całej branży. W lipcu 2026 roku rój siedmiuset agentów OpenAI, działających podczas testów bezpieczeństwa, wszedł do systemów tej firmy.

Opisał to Alex Turner na łamach „The Guardiana" 14 września. Turner obronił doktorat o unikaniu dążenia do władzy przez sztuczną inteligencję jeszcze przed powstaniem ChatuGPT, a potem przez lata pracował w Google DeepMind właśnie nad tym, żeby przyszłe systemy chciały pomagać ludziom.

Rozbieżność między tym, czego chce twórca, a tym, co system faktycznie sobie ceni, nazywa się w tej dziedzinie niezgodnością celów. Nazwa brzmi technicznie, ale mechanizm jest prosty i znany z życia. Jeśli premiuje się handlowca za liczbę rozmów, zacznie dzwonić krótko i do byle kogo. Nie dlatego, że jest nieuczciwy, tylko dlatego, że dokładnie tak brzmiała nagroda.

Różnica polega na skali i na braku hamulca. Handlowiec wie, że przesadził. Program nie ma takiej wiedzy.

Turner opisuje jeszcze jedną rzecz, którą warto zapamiętać. Tych systemów nie buduje się tak jak mostu, przęsło po przęśle, z pełną wiedzą, co robi każdy element. Te systemy się hoduje. Nikt nie umie w sposób pewny zaszczepić modelowi priorytetów projektanta.

Bilal Chughtai, który we wrześniu odszedł z Google DeepMind, opisał ten sam okres z innej strony. Kiedy zaczynał w 2022 roku, systemy były, jak napisał, zabawnie bezużyteczne. Cztery lata później roje agentów rozwiązywały stuletnie problemy matematyczne i samodzielnie włamywały się do systemów Hugging Face i dalej.

Daniel Selsam, wieloletni badacz OpenAI, dodał do tego obserwację, która tłumaczy, dlaczego samo poprawienie zasad nagradzania nie wystarczy.

Turner stawia sprawę tak: gdyby ten sam rój był wyraźnie sprawniejszy, a zachował się tak samo, szkody mogłyby iść w miliardy dolarów albo kosztować życie. Własne ryzyko przejęcia kontroli przez sztuczną inteligencję szacuje na jeden do trzech i nazywa to wynikiem dość wysokim, żeby działać pilnie.