Dlaczego superinteligencja może nadejść szybciej, niż myślimy

Najnowocześniejsze modele AI są już ponadludzkie w wielu dziedzinach — choć na szczęście jeszcze nie we wszystkich. Jeśli osiągniemy superinteligencję zanim rozwiążemy problem alignmentu, będziemy narażeni na ryzyko wyginięcia. Dlatego oszacowanie, kiedy możemy osiągnąć superinteligencję, jest kluczowe, aby nie zostać zaskoczonym. Jeśli nasze przewidywania będą zbyt optymistyczne, możemy nie zdążyć się przygotować.

Ale jak bardzo możemy się mylić? Kiedy będziemy mieć superinteligencję? Możliwe, że szybciej, niż większość ludzi sądzi.

Nakładający się wykładniczy wzrost

Modele AI wymagają algorytmów, danych i chipów. Każdy z tych elementów szybko się poprawia dzięki ogromnym inwestycjom w AI. Ulepszenia w tych trzech obszarach nakładają się na siebie, prowadząc do wykładniczego wzrostu możliwości AI.

  • Więcej chipów. ChatGPT został wytrenowany na 10 000 specjalistycznych chipach. Meta ogłosiła, że w tym roku będzie mieć 600 000 chipów nowej generacji do trenowania kolejnych modeli.

  • Szybsze chipy. Co roku chipy stają się szybsze dzięki nowym architekturom i postępom w litografii. Chipy używane przez Metę są 10× szybsze niż te, na których trenowano ChatGPT. Pojawiają się też bardzo wyspecjalizowane układy, takie jak chipy Groq, które są 13× szybsze od konkurencji. W dłuższej perspektywie architektury ternarne czy chipy fotoniczne mogą jeszcze bardziej zwiększyć wydajność.

  • Więcej danych. GPT-3 trenowano na 45 TB tekstu, GPT-4 na około 20× większej ilości. Firmy wykorzystują teraz także ogromne ilości wideo, audio oraz coraz częściej syntetyczne dane, które niegdyś uznawano za nieużyteczne (przez problem model collapse), ale nowe badania pokazują, że można temu zapobiec.

  • Lepsze dane. Praca Textbooks Are All You Need pokazała, że wysokiej jakości dane syntetyczne mogą drastycznie poprawić wyniki modelu, nawet przy dużo mniejszej ilości danych i mocy obliczeniowej.

  • Lepsze algorytmy. Architektura Transformer umożliwiła rewolucję LLM. Nowe architektury mogą dać kolejne skoki. Model Mamba pokazuje np. 5× większą przepustowość.

  • Lepsze runtimes. Agentowe runtimes, RAG czy nawet sprytne promptowanie (np. Graph of Thought) mogą znacząco zwiększyć możliwości modeli.

Jest całkowicie możliwe, że samo skalowanie doprowadzi nas do niebezpiecznych możliwości w ciągu roku lub dwóch, a biorąc pod uwagę wszystkie te nakładające się czynniki — nawet szybciej.

Osiągnęliśmy poziom ludzkich możliwości w wielu dziedzinach już w 2023

W 2022 roku badacze AI sądzili, że minie 17 lat, zanim AI będzie potrafiła napisać bestseller New York Timesa. Rok później chiński profesor wygrał konkurs literacki książką napisaną przez AI.

Społeczność prognostów Metaculus przewidywała nadejście (słabej) AGI na 2057 rok zaledwie kilka lat temu, a dziś wskazuje na rok 2027.

Spójrzmy teraz na definicję AGI używaną w tamtej ankiecie:

  1. Wynik >90% w Winograd Schema Challenge

  2. Wynik >75% na egzaminie SAT

  3. Zaliczenie testu Turinga

  4. Ukończenie gry Montezuma's Revenge

GPT-4 osiąga 94,4% w Winograd Schema Challenge i 93% w SAT Reading, 89% w SAT Math. Nie zaliczyło testu Turinga, prawdopodobnie nie z powodu braku możliwości, lecz dlatego, że jest wytrenowane, by nie wprowadzać ludzi w błąd. Firmom nie opłaca się, by AI twierdziła, że jest człowiekiem. Pozostaje Montezuma's Revenge. Nie jest niewyobrażalne, że mogłaby ją ukończyć przy użyciu jakiegoś sprytnego systemu, np. AutoGPT analizującego ekran i generującego odpowiednie wejścia. W maju 2023 GPT-4 potrafił napisać kod zdobywający diamentowy ekwipunek w Minecraft. Podsumowując: GPT-4 spełnia 2 z 4 kryteriów na pewno, pozostałe dwa są w zasięgu.

To już się stało. Mamy (słabą) AGI. Nie zajęło to 35 lat, tylko trzy. Pomyliśmy się o rząd wielkości.

Dlaczego większość ludzi nie docenia postępów AI

Istnieje wiele powodów:

  • Trudno nadążyć. Codziennie pojawiają się nowe przełomy. Jeśli czujesz, że się gubisz — to normalne.

  • Przesuwamy poprzeczkę. W latach 90. celem AI było pokonanie mistrza szachowego. Gdy to się udało, poprzeczką stała się gra Go. Dziś mamy systemy osiągające 99,9 percentyla w testach IQ, tłumaczące 26 języków i wygrywające konkursy fotograficzne — a mimo to nadal pytamy „kiedy AI osiągnie poziom człowieka?". Już nas przewyższa w wielu dziedzinach, ale skupiamy się na tych nielicznych, w których jeszcze jesteśmy lepsi.

  • Lubimy myśleć, że jesteśmy wyjątkowi. Trudno zaakceptować, że maszyny mogą dorównać ludzkim zdolnościom, a mózg ma wiele mechanizmów obronnych.

  • Jesteśmy fatalni w rozumieniu wzrostu wykładniczego. Udowodniono naukowo, że systematycznie go nie doceniamy.

Na szczęście są jeszcze rzeczy, których AI nie potrafi — nie hakują lepiej niż najlepsi hakerzy i nie prowadzą badań nad AI na poziomie najlepszych badaczy. Gdy osiągniemy którykolwiek z tych progów, wejdziemy w nowy reżim podwyższonego ryzyka.

Kiedy więc osiągniemy punkt, w którym AI będzie potrafiła robić wszystkie te rzeczy na ponadludzkim poziomie? Kiedy będziemy mieć superinteligencję?

Próg Ilyi

Myślę, że kluczowym momentem, który powinniśmy rozważyć, jest chwila, w której AI będzie bardziej kompetentna w prowadzeniu badań nad sztuczną inteligencją niż ktoś taki jak Ilya Sutskever (były główny naukowiec OpenAI). AI, która potrafi wnieść znaczący wkład w algorytmy i architektury AI, prawdopodobnie będzie też zdolna do samodoskonalenia się. Nazwijmy ten punkt potencjalnej samopoprawy progiem Ilyi. Gdy AI go osiągnie, może zacząć ulepszać samą siebie albo dlatego, że została do tego wyraźnie zaprogramowana, albo dlatego, że bycie mądrzejszą stanowi pomocny podcel w realizacji innych zadań (AI już teraz tworzą własne podcele). Takie iteracje mogą trwać tygodnie (trenowanie GPT-3 zajęło 34 dni), ale możliwe jest też, że zostanie opracowany pewien rodzaj usprawnień działających w czasie rzeczywistym, który pozwoli na istotny postęp w ciągu minut: Eksplozja Inteligencji.

Jak daleko jesteśmy od progu Ilyi?

Przewidywanie momentu pojawienia się określonych zdolności podczas skalowania LLM-ów jest z natury trudne, ale jak dotąd widzieliśmy wiele umiejętności, które wcześniej uważano za bardzo odległe. Najnowsze modele AI pokonują już większość ludzkich programistów, więc nie jest nie do pomyślenia, że przyszłe modele, lepsze układy scalone, więcej danych i lepsze algorytmy razem przyczynią się do osiągnięcia progu Ilyi. Nie mamy pojęcia, jak zapewnić zgodność (ang. align) takiej AI (nawet OpenAI to przyznaje), a konsekwencje posiadania niezsynchronizowanej superinteligencji prawdopodobnie byłyby katastrofalne.

Działajmy

Nikt nie wie na pewno, kiedy osiągniemy próg Ilyi. Ale stawka jest zbyt wysoka, by zakładać, że mamy dużo czasu. Musimy działać, biorąc pod uwagę nawet niskie ryzyko, że może nas od tego dzielić kilka miesięcy. Musimy wstrzymać rozwój najbardziej zaawansowanych modeli AI już teraz. To od każdego z nas zależy, by podjąć działania i upewnić się, że nie zostaniemy zaskoczeni.