Claude znalazł w DNA nowy układ enzymów. W dziesięciu powtórkach tej samej pracy nie zauważył go ani razu

23 września Anthropic ogłosił pierwszy wynik swojego nowego laboratorium biologicznego: układ enzymów w DNA wirusów atakujących bakterie, wypatrzony przez Claude’a prawie bez udziału ludzi. Firma porównuje go do CRISPR, naturalnego mechanizmu bakterii, z którego zrobiono narzędzie do edycji genów. Tego samego dnia biolog Lucas Harrington odpisał, że metoda ma dekady, a trudniejsza część pracy, czyli ustalenie, co układ robi, wciąż przed firmą. Obie strony mają rację, każda w innym punkcie.

Rozstrzygnięcie jest w preprincie, czyli pracy naukowej opublikowanej przed recenzją. Sześciu autorów z Anthropic opisuje w nim, co zrobił model, co zrobili ludzie i ile razy udało się to powtórzyć. Wpis na blogu firmy upraszcza wszystkie trzy sprawy.

Naukowcy napisali jedno zlecenie: znaleźć nowe układy z odwrotną transkryptazą, enzymem przepisującym RNA na DNA. Resztę zrobili agenci, czyli kopie modelu Claude Mythos 5 pracujące samodzielnie i sprawdzające się nawzajem. Przez 21,5 godziny i 949 sesji pracy, bez udziału człowieka, przeszukali bazę 1,9 miliarda grup białek. Zebrali około 200 tysięcy takich enzymów i ocenili 3564 rodziny genów z ich sąsiedztwa. Na koniec oddali ludziom 19 raportów.

Samo znalezisko przyszło bokiem. Jeden agent uznał swój trop za przypadkowy, ale zlecił dodatkowe sprawdzenie enzymu. Następny wczytał zapis DNA obok genu i zanotował, że widzi „gołym okiem” powtarzający się wzór, podobny do CRISPR. Potem policzył powtórzenia, porównał układ ze znanymi i przeszukał literaturę. Dopiero wtedy zgłosił sprawę ludziom. Sam enzym był znany wcześniej, co blog przyznaje. Opis genomu jednego z tych wirusów z 2021 roku wymieniał enzym, ale ani powtórzeń, ani genu partnera.

Blog podaje, że udział naukowców ograniczył się do polecenia na starcie i pracy w laboratorium. Preprint jest dokładniejszy. Analizy po kampanii prowadzono w programie Claude Science, gdzie autorzy kierowali pracą, a Claude pisał i uruchamiał kod. Tak ustalono, że rodzina liczy 95 odmian enzymu, a przy 28 z nich widać szereg powtórzeń. Całą pracę w laboratorium wykonali ludzie.

Blog pisze o 3500 kandydatach zawężonych do 20 najciekawszych. Preprint dopowiada, co z tej dwudziestki zostało. Złożyło się na nią 17 rodzin genów sąsiadujących z enzymem i trzy nietypowe odmiany samego enzymu. Z siedemnastu rodzin nowe okazały się trzy. Pozostałe 14 odrzucono jako błędy opisu w bazach, części znanych już układów albo przypadkowych sąsiadów. ART, bo tak autorzy nazwali znalezisko, pochodzi z tej drugiej trójki: z enzymów oznaczonych przez agentów po drodze, poza głównym zadaniem.

Harrington robił takie przeszukiwania w czasie doktoratu u Jennifer Doudny, współodkrywczyni edycji genów metodą CRISPR-Cas9, i założył z nią firmę Mammoth Biosciences. W długim wpisie na X przypomina, że enzymy tego typu obok szeregów CRISPR opisywano już w 2008 roku. Do takiego przeszukiwania są dojrzałe narzędzia i opublikowane procedury. Bywa, że jeden zespół w jednej pracy opisuje i sprawdza w laboratorium dziesiątki nowych układów.

Tego Anthropic nie wie. Preprint przyznaje wprost, że nie wykazano ani aktywności enzymu, ani tego, że RNA z szeregu jest jego materiałem. Wiadomo tyle, że szereg jest przepisywany na krótkie cząsteczki RNA. W opublikowanych danych o zakażeniu bakterii było ich w 15. minucie do 8 procent całego RNA wirusa. Dimitri Perrin z Queensland University of Technology napisał w The Conversation, że ART przypomina CRISPR budową, ale nic nie dowodzi podobnego działania. Feng Zhang z MIT, jeden z pionierów edycji genów metodą CRISPR, przeczytał preprint na prośbę firmy i nazwał wynik intrygującym.

Najważniejsza liczba w pracy dotyczy powtórzeń. Autorzy puścili tę samą kampanię z tym samym zleceniem jeszcze dziesięć razy. Prawie każda ukończona kampania trafiała na enzymy ART, a w dwóch agenci zajęli się nimi bliżej. Żaden nie przeczytał DNA obok genu. Szereg przeoczono za każdym razem. Autorzy tłumaczą to ogromem przeszukiwanego zbioru i nieprzewidywalnością agentów.

Wynik pokazuje słabe miejsce. Model rozpoznaje wzór, gdy ma dane przed oczami. Z plikami i narzędziami często nie wczytuje samego zapisu DNA. Odkrycie zależało więc od tego, że jeden agent w jednej kampanii postąpił inaczej niż zwykle.

Podobnie było przy dowodzie OpenAI dotyczącym równań Naviera-Stokesa: firma ogłasza przełom, a specjaliści pokazują, że wynik jest węższy, niż brzmi ogłoszenie. Tu różnica przemawia za Anthropic. Ograniczenia, łącznie z dziesięcioma nieudanymi powtórkami, autorzy opisali sami. Przesadę dołożył blog.