Agent ChatGPT streszcza dobrze. Słowo „usuń” uznaje za zgodę

Masayoshi Uehara, programista AI z japońskiej firmy EarthLink Network, w ustawieniach połączenia agenta z kalendarzem Google włączył pytanie o zgodę przed każdą zmianą. Potem poprosił agenta dots w ChatGPT o skasowanie jednego spotkania. Ekran zgody się nie pojawił. Po około 30 sekundach spotkania nie było, a agent wyjaśnił, że jasne polecenie uznał za zgodę.

Agent dots to pomocnik AI wykonujący zadania sam, na własnym komputerze w chmurze, dostępny w ChatGPT od końca września. Co potrafi w praktyce, pokazuje trzydniowy test Uehary z 7–9 października, opisany w japońskim serwisie dla programistów Zenn. Dot dostał 17 zadań i dostęp do prawdziwych kont: Gmaila, kalendarza i Dysku Google, komunikatora dla firm Slack, aplikacji na notatki Notion oraz trzech innych usług. Czytanie i streszczanie wyszło prawie bez zarzutu. Maile, spotkania i strony w Notion agent wysyła, zakłada i kasuje na polecenie, tylko zgodę rozumie po swojemu.

Tygodniowe podsumowanie pracy w serwisie GitHub, gdzie programiści trzymają kod, wymieniło 32 zapisane zmiany. Tyle samo naliczył Uehara. Pierwsze poranne streszczenie dnia przejrzało za to tylko główny kalendarz i pominęło wpisy z innego. Po dopisaniu słów „wszystkie kalendarze” agent przeglądał wszystkie szesnaście. Zakres trzeba podać słowami.

Codzienne streszczenie zamówione na 8:30 przyszło 14 minut później, z przeprosinami na początku. Punktualności agent nie gwarantuje.

Ze Slackiem szło gorzej. Streszczenie wzmianek było gotowe, ale nie dotarło, a po ponagleniu agent przyznał, że wysyłka się nie udała. Pytanie wysłane mu na Slacku dostało odpowiedź po 81 sekundach, tyle że w wątku pod wiadomością, niewidocznym bez rozwinięcia. Na to samo skarżył się 30 września Jakub Szczęsny z polskiego serwisu Antyweb. Uruchomił dots przez VPN, czyli usługę udającą połączenie z innego kraju, i ocenił agenta jako powolnego.

Przy poczcie granica jest wyraźna. Poproszony o szkic, dot napisał szkic i niczego nie wysłał. Na prośbę „wyślij ten szkic” wysłał go bez pytania. Mail był u adresata po minucie.

Pomoc OpenAI pokazuje, że tak to zaprojektowano. Dla wybranych czynności ustawia się jedno z czterech zachowań agenta, w tym działanie po wcześniejszym zatwierdzeniu. Zatwierdzenie oznacza według firmy wyraźną prośbę o daną czynność w poleceniu. Uehara sprawdził kasowanie spotkania raz i nie wyklucza, że nowe ustawienie kalendarza nie zdążyło zadziałać.

Do Notion dot łączył się przez wtyczkę bez opcji kasowania. Żeby usunąć stronę, przesiadł się na przeglądarkę Chrome na Macu Uehary. Prośba o zgodę pojawiła się tylko w osobnej rozmowie z boku ekranu. Nikt jej nie zauważył. Po około 21 minutach zadanie przerwano z adnotacją, że zrobił to użytkownik, a w głównej rozmowie została jedna linijka: usunięcia nie wykonano.

Ślady zostają na koncie człowieka. Notion zapisał usunięcie strony jako działanie Uehary, bo agent korzystał z jego zalogowanej przeglądarki. Dla serwisów po drugiej stronie agent i właściciel konta są jedną osobą. Przy podłączaniu Slacka agent prosił z kolei o prawo do pisania w imieniu właściciela i czytania jego prywatnych wiadomości.

Zapytany o ograniczenia, dot wymienił kilka. Nie dzwoni do sklepów ani kontrahentów i wysyła pocztę ze skrzynki właściciela, bo własnego adresu nie ma. Haseł nie zmienia, pieniędzy nie przelewa. Pomoc OpenAI potwierdza, że na starcie agent nie dostaje osobnego adresu e-mail.

Engadget, amerykański serwis technologiczny, zestawił 11 października oba agenty. Muse od Mety robi zakupy, wypełnia formularze i wysyła maile, też na własnym komputerze w chmurze. Najbardziej różni je cena i dostęp.

• Muse: wersja darmowa z limitem oraz plany za 20 i 100 dolarów miesięcznie. Działa w USA i Kanadzie.
• Dots w planie Pro 100: 100 dolarów miesięcznie, ale plany Pro omijają Europejski Obszar Gospodarczy, Szwajcarię i Wielką Brytanię, więc także Polskę.
• Dots w planie Business Premium: 100 dolarów za osobę miesięcznie przy płatności za rok, 125 przy płatności co miesiąc. Po kursie NBP z 9 października to około 390 i 488 zł bez VAT. Plan działa we wszystkich regionach ChatGPT, także w Polsce.
• Pierwszy dot jest w cenie planu. Kolejne będzie można dodać w przyszłości, ceny OpenAI nie podaje.

Treści z planów Business OpenAI domyślnie nie używa do trenowania modeli. W Muse zgoda na użycie rozmów do ulepszania modeli Mety jest według Engadgetu domyślnie włączona.

Uehara uznał za najważniejszą naukę z trzech dni jedną rzecz. Zanim agent dostanie pracę, trzeba wiedzieć, jak pisać polecenia i gdzie pojawiają się prośby o zgodę. Ustawienia liczą się mniej.