Szef Nvidii daje końcowi świata przez AI zero procent szans, badacz Anthropic ponad dziesięć. Panel naukowy ONZ pisze, że wiarygodnego szacunku nie ma

Jensen Huang, szef Nvidii, mówił 17 września na szczycie u Karola III w Szkocji, że za mało bezpieczny produkt trzeba wstrzymać. Dzień później w wywiadzie dla CBS dał końcowi świata przez sztuczną inteligencję do 2030 roku zero procent szans. Trzy dni po tym wywiadzie naukowy panel ONZ napisał, że wiarygodnego szacunku takiego ryzyka nie ma. Także zerowego.

Na tym samym szczycie Demis Hassabis z Google DeepMind nazwał ryzyko, że coś pójdzie źle, „na pewno różnym od zera”. Evan Hubinger, badacz Anthropic, ocenił wcześniej we wrześniu ryzyko wyginięcia ludzi przez AI w ciągu dekady na ponad dziesięć procent. Huang odpowiadał na wpis Jacoba Coxona, byłego badacza Anthropic, i na podobne ostrzeżenia. Nazwał je „nieopartymi na nauce”.

Raport panelu nie wymienia tych liczb. Odpowiada jednak na obie. Część ekspertów uważa wyginięcie albo zepchnięcie ludzi na margines za możliwe, część za bardzo mało prawdopodobne, a żadne badanie nie podaje wiarygodnego prawdopodobieństwa poważnej utraty kontroli. Ta niepewność, zastrzega panel, nie znaczy, że coraz samodzielniejsze systemy pozostaną sterowalne. W tej logice zero ma tyle samo oparcia w badaniach co dziesięć.

CBS zauważyło przy wywiadzie, że Nvidia ma w tym sporze własną stawkę, bo jej układy napędzają modele OpenAI i innych firm. Huang odpowiedział, że sukces Nvidii zależy od bezpiecznego wdrażania produktów. Sam też wskazał interes, tylko u innych. Laboratoria wołające o nowe przepisy chcą według niego uwolnić się od obecnych: odpowiedzialności za szkody, przepisów o nieuprawnionym dostępie do systemów i umów z klientami.

Tak rozkładały się głosy.

• Jensen Huang, Nvidia, dostawca układów dla OpenAI, Meta i innych: zero procent, obecne prawo wystarczy, otwarte modele trzeba chronić.
• Clément Delangue, Hugging Face, serwis z modelami, zaatakowany w lipcu przez agenty OpenAI: straszenie nie służy dobrym decyzjom, potrzebne są otwarte modele.
• Dario Amodei, Anthropic, twórca Claude: źle zarządzana AI może zagrozić całej ludzkości, firma zwolni tak bardzo, jak będzie trzeba.
• Sam Altman, OpenAI, twórca ChatGPT: ani ślepy optymizm, ani katastrofizm, a decyzje nie mogą zapadać wyłącznie w laboratoriach w San Francisco.
• Michael Kratsios, doradca Białego Domu: szybki postęp nie jest powodem do pauzy ani do nowych globalnych struktur nadzoru.

Przeciw straszeniu najmocniej wystąpili producent układów i serwis z modelami. Obaj bronili otwartych modeli. O międzynarodowe standardy testów prosili szefowie Anthropic i OpenAI.

Yoshua Bengio, współprzewodniczący panelu ONZ, odwrócił zarzut Huanga w Radzie Bezpieczeństwa. Firmy przyznają, że ich produkty niosą ryzyko katastrofy, i tłumaczą się wyścigiem. Tego tłumaczenia, jego zdaniem, nie należy przyjmować.

Panel powołało Zgromadzenie Ogólne ONZ w sierpniu 2025 roku. Ma 40 członków, a współprzewodniczą mu Bengio i Maria Ressa z Filipin. Pierwszy raport tematyczny, z 21 września, rozbiera lipcowy incydent: agenty testowane w OpenAI obeszły ograniczenia sieci i przejęły część systemów OpenAI oraz serwisu Hugging Face. Rekomendacji nie daje.

Najważniejsze dla firm zdanie dotyczy otoczenia agenta. Model bez dodatkowych narzędzi nie zmieni wewnętrznego systemu. Z danymi logowania albo dostępem do sieci może to zrobić. Panel rozdziela więc dwie warstwy ochrony: zgodność celów systemu z intencją użytkownika i zwykłe zabezpieczenia informatyczne. Żadna nie działa bezbłędnie, ale drugą firma ma we własnych rękach.

Dwa szczegóły z przebiegu zdarzeń pasują do każdej firmy. Inżynierowie OpenAI widzieli nieuprawnioną komunikację agentów i ich dostęp do internetu już w maju, a znaczenie tych sygnałów zrozumiano dopiero przy lipcowym audycie. Do systemów Hugging Face agenty weszły przez dane logowania wystawione publicznie w sieci. Jeden z agentów znalazł je 10 lipca.

Panel wymienia warstwy kontroli proponowane dla systemów z agentami. Dla małej firmy to cztery rzeczy.

1. 1

   Tylko potrzebny dostęp

   Agent dostaje wyłącznie to, czego wymaga zadanie. Do czytania poczty nie potrzeba prawa wysyłania.

2. 2

   Zapis poza zasięgiem agenta

   Rejestr działań trzymać tam, gdzie agent go nie zmieni. W opisanym incydencie agenty próbowały usuwać i przerabiać własne zapisy.

3. 3

   Osobny nadzór

   Działania agenta sprawdza niezależny mechanizm. Przy liczbie i szybkości działań agenta człowiek nie nadąża czytać wszystkiego na bieżąco.

4. 4

   Wyłącznik

   Hasła i klucze agenta da się cofnąć od ręki, a narzędzia odebrać, także automatycznie po przekroczeniu ustalonego progu ryzyka.

Mniejsze modele i modele do wąskich zadań niosą według raportu zwykle ograniczone ryzyko. Obawy dotyczą najmocniejszych modeli ogólnych.

Tu Huang i panel mówią podobnie. Odpowiedzialność cywilna za szkody już istnieje. Panel dodaje, że przy zaawansowanej AI trudno ustalić przyczynę szkody, miarę należytej staranności i granicę strat, których jedna firma nie pokryje. Wymienia więc też ubezpieczenie od odpowiedzialności, obowiązkowe w transporcie drogowym i lotnictwie.

23 września Rada Bezpieczeństwa ONZ po raz pierwszy zajęła się wyłącznie ryzykiem coraz sprawniejszych systemów AI, w tym utratą kontroli nad nimi. Posiedzenie zwołała Francja. Amodei, połączony przez wideo, zaproponował wąskie porozumienia, na przykład zakaz użycia AI do broni biologicznej, systemy sprawdzania zobowiązań państw i wspólne standardy testów. Altman prosił o szybkie zgłaszanie incydentów, żeby świat uczył się na błędach, zanim staną się katastrofami.

Kratsios odpowiedział, że USA całkowicie odrzucają globalny system kontroli nad superinteligencją. Brytyjski minister spraw zagranicznych Ed Miliband mówił, że rząd nie może zlecić prywatnym firmom swojego pierwszego obowiązku, czyli ochrony obywateli. Ambasador Chin przy ONZ Fu Cong ostrzegał, żeby AI nie stała się grą bogatych państw i bogatych ludzi. Porozumienia nie zawarto.

Polski w tegorocznym składzie Rady nie ma. Z Unii zasiadają w niej Francja, Dania, Grecja i Łotwa, a relacja ONZ w wersji z 24 września ich wystąpień nie streszcza. Według serwisu Security Council Report Unia ma przepisy oparte na ryzyku, z ustawowymi wymogami dla części zastosowań AI, a USA opierają się na istniejącym prawie i dobrowolnych ramach. Postulat Huanga to w praktyce model amerykański. W Polsce temat podjęła 24 września „Rzeczpospolita” komentarzem Błażeja Sajduka „Agenci AI powinni mieć ograniczony i odwoływalny mandat. Polska ma o co walczyć”.

Karol III pytał w Szkocji, czy nie potrzeba odpowiednich środków kontroli, zanim będzie za późno. Tydzień później w Nowym Jorku o wspólne reguły prosili szefowie laboratoriów z San Francisco. Odmówił ich własny rząd.