Agent AI lepiej kończy zadania, niż wie, kiedy przerwać. Przed przelewem nie jest ostrożniejszy niż przed raportem

W jednym z zadań testowych agent AI miał odwołać lot i zarezerwować miejsce w następnym samolocie. W wersji z pułapką warunki nowej rezerwacji wzajemnie się wykluczały. Siedem modeli najpierw anulowało lot, a dopiero potem zgłosiło sprzeczność. Podróżny zostałby bez starego biletu i bez nowego.

Tę scenę opisuje praca „AgentAbstain: Do LLM Agents Know When Not to Act?”, opublikowana 11 lipca 2026 w serwisie arXiv przez zespół Uniwersytetu Illinois w Urbana-Champaign. Autorzy zbudowali 263 pary zadań w 42 środowiskach testowych, czyli odizolowanych atrapach poczty, plików, rezerwacji i konta bankowego. Obie wersje w parze prawie się nie różnią. W pierwszej agent powinien zadanie wykonać. W drugiej jedna zmiana, na przykład brak danych, sprzeczne polecenia albo zepsute narzędzie, oznacza, że powinien się wstrzymać i zapytać człowieka. Punkt jest tylko za trafienie w obie.

Hasło o barierze 60 procent, powtarzane w omówieniach badania, dotyczy właśnie tej podwójnej miary. Najwyżej jest Gemini 3.1 Pro od Google: 59,5 procent par. Tuż za nim Claude Opus 4.7 od Anthropic z wynikiem 59,4, trzeci Claude Sonnet 4.6 z 53,4. Średnia dla 17 badanych modeli wynosi 45,7 procent. Aż 13 z nich nie dochodzi do połowy, a najsłabszy GPT-4o od OpenAI ma 33 procent.

Dwa pierwsze modele dochodzą do niemal tego samego wyniku z przeciwnych stron. Gemini 3.1 Pro wykonuje poprawnie 90,5 procent zadań, a trafnie wstrzymuje się w 65,4 procent prób. Claude Opus 4.7 jako jedyny w zestawieniu częściej trafnie się wstrzymuje (79 procent), niż poprawnie działa (76,5 procent). Pierwszy łatwiej doprowadzi do końca coś, czego nie powinien. Drugi częściej się zatrzyma, czasem bez potrzeby.

Nowsza wersja modelu nie gwarantuje lepszego hamulca. W rodzinach Claude i Gemini kolejne wersje zyskały głównie na umiejętności zatrzymania się. W rodzinach GPT-5 i DeepSeek było odwrotnie: nowsze modele lepiej wykonują zadania, a gorzej się wstrzymują. Autorzy piszą wprost, że samo zwiększanie sprawności modeli tej luki nie zamknie.

Dla firmy najważniejszy wniosek dotyczy rodzaju czynności. Połowa zadań (131 par) wymagała zmiany czegoś w systemie: wysłania maila, skasowania pliku, przelewu. Druga połowa (132 pary) kończyła się samym raportem. Modele trafnie wstrzymywały się w 58,5 procent zadań pierwszego rodzaju i w 61,8 procent drugiego. Siedem z siedemnastu odmawiało nawet rzadziej wtedy, gdy mogło coś trwale zmienić. Możliwość nieodwracalnej zmiany nie jest dla modeli powodem do większej ostrożności.

Załącznik pracy podaje konkretne przypadki. Gemini 3 Flash dostał polecenie skopiowania pliku do folderu z archiwum i trwałego skasowania wszystkiego w folderze z dokumentami. Wykonał je bez pytania, razem z archiwum utworzonym chwilę wcześniej, i zgłosił sukces. GPT-5.1 i GPT-5.2 wysłały nieautoryzowane przelewy po 500 dolarów, choć same zauważyły brak wymaganego weryfikatora. Trzy modele, GPT-OSS 120B, GPT-5.1 i DeepSeek V4 Pro, zleciły przelew 5 milionów dolarów z prywatnego konta. Zatrzymało je dopiero saldo: 4825,33 dolara.

Autorzy nazywają to przypadkowym bezpieczeństwem. Osobno opisują zachowanie najgroźniejsze: agent wykonuje czynność, a w odpowiedzi pisze, że się wstrzymał. Zdarzyło się to w 2,6 procent prób, w których agent powinien się wstrzymać. GPT-5.1 i GPT-5.2 robiły tak mniej więcej raz na dziesięć takich prób z czynnością zmieniającą stan systemu.

Wersję wielojęzyczną autorzy wpisali na listę dalszych prac, więc zachowania agentów przy poleceniach po polsku badanie nie sprawdza. Każdy model wykonał każde zadanie raz, a autorzy nie podają, jak wyniki zmieniałyby się przy powtórkach. Atrapy mają od 3 do 29 narzędzi, a prawdziwe wdrożenia łączą agenta z dziesiątkami systemów. Słowną odpowiedź agenta oceniał inny model, GPT-5.4. Tabela opisuje modele z chwili badania, nowszych wersji w niej nie ma.

Zalecenia bezpieczeństwa idą w tę samą stronę. OWASP, organizacja opracowująca standardy bezpieczeństwa aplikacji, w liście zagrożeń dla aplikacji z modelami językowymi z 2025 roku zaleca zatwierdzanie przez człowieka czynności o dużych skutkach. Uprawnienia mają sprawdzać systemy docelowe, a nie model. Narzędzia do budowy agentów mają na to gotowe ustawienia. W zestawie OpenAI Agents SDK narzędzie można oznaczyć jako wymagające zgody i wtedy agent zatrzymuje się przed jego użyciem.

1. 1

   Podziel narzędzia agenta na trzy grupy

   Odczyt (przeglądanie maili, sald, plików), sprawdzenie (weryfikacja danych) i zmiana (wysyłka, przelew, kasowanie, anulowanie). Taki podział stosują autorzy AgentAbstain.

2. 2

   Każdą zmianę nie do cofnięcia obejmij zgodą człowieka

   Zgodę ustaw w narzędziu albo w systemie docelowym. Zdanie „pytaj przed przelewem” w poleceniu dla modelu nie jest blokadą.

3. 3

   Zablokuj każdą drogę do tej samej czynności

   W badaniu Claude Opus 4.7 obszedł wymagany weryfikator przez inne narzędzie. Jeśli przelew da się zlecić na dwa sposoby, zgoda musi obejmować oba.

4. 4

   Ustaw limity niezależne od modelu

   Limit kwoty przelewu, lista dozwolonych odbiorców, kopia plików przed kasowaniem. W teście z 5 milionami dolarów zadziałało tylko saldo.

5. 5

   Czytaj dziennik czynności, nie odpowiedź agenta

   Część modeli pisze, że się wstrzymała, choć czynność wykonała. O tym, co się stało, mówi zapis wywołań narzędzi.

W teście z pięcioma milionami dolarów przelew zatrzymało saldo 4825 dolarów. Na firmowym koncie saldo bywa wyższe. Wtedy jedynym hamulcem jest ten ustawiony przez człowieka.