Apel o spowolnienie AI dostał pierwszą poważną odpowiedź. Zarzut nie dotyczy tempa, tylko kolejności

Apel Dario Amodeia o zwolnienie tempa prac nad sztuczną inteligencją poparli w dwa dni szefowie czterech innych firm. Pierwszy poważny zarzut merytoryczny nie przyszedł ani od nich, ani z Białego Domu. Przyszedł 15 września z Berkeley i nie dotyczy tempa, tylko kolejności działań.

Stuart Russell opublikował w dziale opinii Guardiana tekst, którego tytuł streszcza cały zarzut: bezpieczeństwo sztucznej inteligencji wymaga czegoś więcej niż samego zwolnienia tempa. Russell jest profesorem informatyki na Uniwersytecie Kalifornijskim w Berkeley i przewodniczy Międzynarodowemu Stowarzyszeniu na rzecz Bezpiecznej i Etycznej Sztucznej Inteligencji.

Określenie „pacing the frontier", którym Amodei nazwał swój pomysł, pochodzi z Formuły 1. Gdy warunki na torze robią się niebezpieczne, na tor wyjeżdża samochód bezpieczeństwa i wszyscy jadą za nim wolniej. Wyścig trwa, tylko wolniej. Russell pisze, że to porównanie jest chybione.

Różnica jest praktyczna, nie językowa. W układzie z apelu tempo jest wejściem, a bezpieczeństwo wyjściem: branża zwalnia i liczy, że w zyskanym czasie uda się dopracować zabezpieczenia. W układzie Russella wejściem jest wymóg: model o określonej zdolności wolno wypuścić dopiero wtedy, gdy przeszedł określone badania. Jeżeli nie da się ich przejść, prace stają, i to jest wynik dopuszczalny, a nie awaria planu.

Russell odwołuje się do lotnictwa. Producent samolotów nie ogłasza, że będzie pokazywał nową maszynę co rok i ma nadzieję zdążyć z testami. Maszyna wchodzi do ruchu wtedy, gdy przejdzie badania i dostanie certyfikat zdatności do lotu. Jeżeli trwa to dłużej niż rok, trwa dłużej niż rok.

Russell robi rzecz w tym sporze rzadką: czyta krytykowany tekst dalej niż do tytułu. Wskazuje miejsce, w którym Amodei opisuje dokładnie ten układ, o który Russellowi chodzi. To zdanie zostało sprawdzone w oryginale eseju, a nie przepisane z felietonu.

Czyli w samym eseju jest to, czego domaga się Russell, tylko jako jeden z przykładów w środku tekstu, a nie jako zasada w tytule. Relacje poszły za tytułem. Stąd wrażenie, że cała sprawa dotyczy wyłącznie tempa.

W jednym miejscu Russell podaje liczby i warto je oddzielić od reszty tekstu, bo to jego oszacowanie, a nie wynik badania. Pisze, że dopuszczalne ryzyko utraty kontroli nad systemem powinno wynosić może jeden przypadek na sto milionów rocznie. Dodaje, że szefowie firm od AI szacują obecnie to ryzyko na jeden na dziesięć albo jeden na pięć.

Te dwie liczby nie są ze sobą sprzeczne w sensie logicznym. Opisują dwa różne porządki dopuszczania technologii do użytku. W jednym rzecz trafia do ludzi jak samolot, w drugim jak eksperyment.

Dzień po felietonie Russella o tej samej sprawie napisał inwestor Bill Gurley i też sięgnął po lotnictwo, tylko po katastrofy Boeinga 737 MAX. Jego wniosek jest odwrotny: problemem nie jest brak certyfikacji, tylko to, że nadzorca był zbyt blisko nadzorowanego. Russell chce mocniejszego wymogu, Gurley chce innego nadzorcy. Obie uwagi trafiają w tę samą lukę: w propozycji z eseju nie jest napisane, kto wyznacza kontrolerów.