OpenAI’s o3 osiąga poziom inteligencji na miarę ludzkiej w kluczowym teście referencyjnym

Niedawne przełomowe odkrycie w dziedzinie sztucznej inteligencji przybliżyło naukowców do stworzenia sztucznej inteligencji ogólnej (AGI), długo upragnionego celu w tej dziedzinie.

Nowy system AI firmy OpenAI, znany jako o3, osiągnął wynik 85% na teście ARC-AGI – teście mającym na celu mierzenie zdolności AI do adaptacji do nowych sytuacji, jak podaje The Conversation.

Ten wynik przekracza dotychczasowy najlepszy wynik AI wynoszący 55% i dorównuje średniej wydajności człowieka, co stanowi znaczący kamień milowy w badaniach nad AI. Benchmark ARC-AGI ocenia „efektywność próbkowania” systemu AI, co odnosi się do tego, jak dobrze uczy się on z ograniczonej liczby przykładów, mówi The Conversation.

W przeciwieństwie do powszechnie stosowanych modeli AI, takich jak ChatGPT, które polegają na ogromnych zestawach danych do generowania wyników, model o3 wykazuje zdolność do generalizacji i adaptacji do nowych zadań przy minimalnych danych. Ta zdolność jest uważana za fundamentalną dla osiągnięcia inteligencji na poziomie ludzkim, jak podaje The Conversation.

Stworzony przez francuskiego badacza AI, François Cholleta, test ARC-AGI polega na rozwiązywaniu zagadek opartych na siatce przez identyfikację wzorców.

Tradycyjne LLM opierają się na zapamiętywaniu, pobieraniu i stosowaniu wcześniej nauczonych „mini-programów”, ale mają problemy z płynną inteligencją, co potwierdzają niskie wyniki w testach ARC-AGI. Model o3 wprowadza mechanizm syntezy programu w czasie testu, co pozwala mu generować i wykonywać nowe rozwiązania, jak szczegółowo opisuje Chollet.

Chollet wyjaśnia, że w swojej istocie, o3 realizuje wyszukiwanie programów w języku naturalnym w obrębie przestrzeni tokenów, kierowane przez model ewaluatora. Kiedy zostaje postawione przed zadaniem, o3 bada możliwe „łańcuchy myślenia” (CoTs) – krok po kroku rozwiązania opisane w języku naturalnym.

Ocenia te CoTs pod kątem przydatności, rekomponując wiedzę w spójne programy, aby skutecznie sprostać nowym wyzwaniom. Conversation zauważa, że OpenAI nie ujawnił dokładnych metod użytych do opracowania o3, ale badacze spekulują, że system korzysta z procesu zbliżonego do Google’s AlphaGo, który pokonał mistrza świata w grze Go w 2016 roku.

Jednakże, Chollet zauważa, że proces jest intensywny obliczeniowo. Generowanie rozwiązań może wiązać się z przeszukiwaniem milionów potencjalnych ścieżek w przestrzeni programu, generując znaczne koszty czasu i zasobów. W przeciwieństwie do systemów takich jak AlphaZero, które samodzielnie zdobywają umiejętności poprzez iteracyjne uczenie, o3 polega na danych CoT oznaczonych przez ekspertów, co ogranicza jego autonomię.

Pomimo tych obiecujących wyników, pozostają istotne pytania. OpenAI udostępniło ograniczone informacje na temat o3, dzieląc się szczegółami tylko z wybranymi badaczami i instytucjami.

Portal The Conversation zauważa, że nie jest jasne, czy zdolność systemu do adaptacji wynika z fundamentalnej poprawy podstawowych modeli, czy z optymalizacji specyficznych dla zadania podczas treningu. Dalsze testy i przejrzystość będą kluczowe dla zrozumienia prawdziwego potencjału o3.

Ponadto, Chollet podkreśla koszt tej inteligencji: rozwiązanie zadań ARC-AGI kosztuje ludzi 5 dolarów, ale o3 w trybie niskiej mocy obliczeniowej kosztuje od 17 do 20 dolarów. Niemniej jednak, oczekują szybkich ulepszeń, co uczyni o3 konkurencyjnym wobec ludzkiej wydajności wkrótce.

Osiągnięcie to ponownie rozpala debatę na temat możliwości i konsekwencji AG. Dla niektórych badaczy, sukces o3 czyni perspektywę AGI bardziej namacalną i pilną. Jest to szczególnie istotne z uwagi na zagrożenia związane z cyberbezpieczeństwem, ponieważ warianty złośliwego oprogramowania generowane przez AI coraz częściej unikają wykrycia.

Jednak inni pozostają ostrożni, podkreślając, że potrzebne są solidne oceny, aby ustalić, czy zdolności o3 wykraczają poza konkretne wskaźniki. Podczas gdy społeczność AI oczekuje na szerszy dostęp do o3, przełom sygnalizuje transformacyjny moment w dążeniu do inteligentnych systemów zdolnych do rozumowania i uczenia się jak ludzie.