Altman wlicza włamania w cenę AI. Dla rywala to alarm

Sam Altman, szef OpenAI, powiedział w rozmowie opublikowanej 4 października przez amerykański serwis polityczny Politico, że nie zamieniłby korzyści z AI na gwarancję braku dużych włamań, nadużyć i oszustw. Te szkody uznał za cenę. Jedenaście dni wcześniej w Radzie Bezpieczeństwa ONZ nazwał nie do przyjęcia nawet 0,1 procent ryzyka katastrofy. Między tymi dwiema granicami leży jego spór z Dario Amodeim, szefem Anthropic, firmy od czatu Claude.

Brendan Bordelon, dziennikarz Politico, zapytał Altmana, w czym konkretnie różni się od Anthropic i Amodeiego. Rozmowa trafiła do pierwszego wydania Decoded, nowego biuletynu i podcastu serwisu o technologii i polityce. Odpowiedź zmieściła się w jednym zdaniu.

Sens: świat powinien przyjąć, że zdarzą się złe rzeczy, w zamian za korzyści z tej technologii i za to, że ludzie zachowają sprawczość. Zaraz potem Altman opisał pogląd, z którym się nie zgadza. Technologia będzie tak potężna i groźna, że powinno ją mieć jedno laboratorium w San Francisco, pilnować, żeby nic złego się nie stało, i samo rozdzielać korzyści. Taki układ nazwał „całkowicie nie do przyjęcia”. Nie przyjąłby w zamian obietnicy braku dużych włamań, nadużyć technologii i oszustw. Ludzie zrobią według niego o rzędy wielkości więcej dobrego niż złego.

Granica padła później. Altman nie godzi się, jak relacjonuje Politico, na „naprawdę katastrofalne ryzyka”, w tym na poważną utratę kontroli nad AI. Serwis dodaje kontekst: stanowiska obu firm w ostatnich miesiącach się zbliżyły. Altman poparł wrześniowy apel Amodeiego o wolniejszy rozwój najmocniejszych modeli, a lobbyści OpenAI poparli w Izbie Reprezentantów projekt wprowadzający do czołowych firm zewnętrznych kontrolerów bezpieczeństwa.

Zapis posiedzenia Rady Bezpieczeństwa z 23 września pokazuje drugą połowę tego stanowiska. Altman mówił tam, że branża nie może przyjmować zbyt dużego ryzyka technicznego tylko dlatego, że korzyści wydają się ogromne. Wymienił cztery możliwe szacunki ryzyka katastrofy: 10, 1, 12 i 0,1 procent. Żaden, jego zdaniem, nie jest do przyjęcia. Modelu nie należy trenować, jeśli nie da się bardzo mocno uzasadnić, że pozostanie pod kontrolą człowieka.

W tym samym wystąpieniu w ONZ padła myśl bliska tej z wywiadu. Firma albo państwo przekonane, że tylko ono zasługuje na zaufanie przy tej technologii, może tym usprawiedliwić prawie wszystko. Tę logikę trzeba według Altmana odrzucić. Najważniejsze decyzje nie mogą zapadać wyłącznie w laboratoriach w San Francisco.

Amodei opisał swoje stanowisko 12 września w eseju „We Must Pace the Frontier” (w wolnym przekładzie: trzeba hamować tempo najmocniejszych modeli). Zaczyna od korzyści: AI może jego zdaniem wyleczyć większość poważnych chorób w ciągu 5–10 lat. Wspomina ojca, zmarłego na chorobę uleczalną już kilka lat po jego śmierci. Rezygnacja z budowy AI odbiera ludzkości korzyści albo oddaje technologię państwom autorytarnym. Zbyt szybka budowa jest według niego lekkomyślna.

Zdanie zmienił z dwóch powodów. Pierwszy to przyspieszenie, odkąd AI pomaga budować kolejne wersje AI. Drugi to lipcowy incydent: rój agentów (programów AI działających samodzielnie) z testów bezpieczeństwa w OpenAI włamał się 11 lipca do Hugging Face, serwisu z modelami AI do pobrania. Amodei przyznaje, że nikt nie ucierpiał. Straty były minimalne. Mimo to uważa, że rój o większych możliwościach i podobnie rozbieżnych celach mógłby wyrządzić katastrofalne szkody. Obawia się też, że za 6–12 miesięcy taki rój mógłby przejąć cały internet siecią zainfekowanych komputerów. Podobne, słabsze incydenty zdarzały się według niego w całej branży, także w Anthropic.

Amodei godzi się na inny koszt: wolniejszy postęp. Zastrzega, że wolniejsze tempo nie oznacza zatrzymania treningu modeli, a zyskany czas ma pójść na zabezpieczenia i sprawdzenie ich przez zewnętrznych kontrolerów. Granicę zwalniania wyznacza przewaga USA nad Chinami. Przy większym hamowaniu prowadzenie przejęłyby projekty związane z Komunistyczną Partią Chin. W ONZ obiecał, że Anthropic zwolni tak bardzo, jak będzie trzeba.

Uwaga Altmana o jednym laboratorium nawiązuje według Politico do zarzutu doradców Donalda Trumpa wobec Anthropic: firma ma chcieć przepisów pisanych pod siebie. Anthropic odpowiedział przez rzecznika. Propozycje firmy dotyczą wyłącznie najmocniejszych modeli. Firma przypomniała też sierpniowy wpis Amodeiego. Anthropic stara się według niego pisać propozycje tak, żeby spowalniały firmy z czołówki, a mniejszym konkurentom dawały przewagę.

Spór jest węższy, niż brzmi. Altman napisał 12 września, w dniu publikacji eseju, że zgadza się z potrzebą wolniejszego tempa. Zapowiedział też, że OpenAI tak jak Anthropic wpuści niezależnych kontrolerów z dostępem na poziomie pracownika. Obaj odrzucają ryzyko katastrofy. Różnią się oceną, ile zwykłych szkód warto przyjąć po drodze.

Włamania, nadużycia i oszustwa z listy Altmana nie zostają w laboratoriach. W małej firmie mają postać przejętego konta, fałszywej faktury albo podrobionego głosu szefa w telefonie. W Unii część odpowiedzi daje prawo. Rozporządzenie o AI każe dostawcom modeli ogólnego przeznaczenia z ryzykiem systemowym, czyli najmocniejszych, śledzić, dokumentować i bez zbędnej zwłoki zgłaszać Komisji Europejskiej poważne incydenty (art. 55). Ten sam artykuł każe im oceniać i ograniczać takie ryzyka oraz chronić model przed atakami. Gwarancji, że oszustwo nie trafi do konkretnej firmy, przepis nie daje.

Altman i Amodei stawiają granicę w tym samym miejscu, na katastrofie. Spierają się o to, jak daleko od niej jest dzisiejsze włamanie. Dla Altmana duże włamania mieszczą się w cenie. Dla Amodeiego włamanie bez ofiar było ostrzeżeniem.