Badacze Antropocentryczni Odkrywają Zdolność AI do Planowania Przyszłości i Rozumowania

Startup AI, Anthropic, opublikował w ten czwartek dwie nowe prace, ujawniając głębsze zrozumienie działania dużych modeli językowych (LLM). Badania, które skupiły się na analizie modelu firmy o nazwie Claude 3.5 Haiku, ujawniają więcej szczegółów na temat działania zaawansowanych modeli AI, a także ich podatności i możliwości rozwoju bezpieczniejszych środowisk.

Nowe badania Anthropic mają na celu wnieść więcej jasności do „czarnej skrzynki” modeli. W jednym z artykułów, O biologii dużego modelu języka, badacze porównują swoje zadania do wyzwań, przed którymi stają biolodzy, i znaleźli rozwiązania, które można porównać do tych wykorzystywanych dla przełomów w biologii.

„Choć modele językowe są generowane przez proste, zaprojektowane przez człowieka algorytmy treningowe, mechanizmy powstałe z tych algorytmów wydają się być dość skomplikowane,” stwierdza dokument. „Podobnie jak komórki stanowią podstawowe elementy systemów biologicznych, przypuszczamy, że cechy stanowią podstawowe jednostki obliczeniowe wewnątrz modeli.”

Eksperci opierali się na narzędziu badawczym zwanym „grafami atrybucji”, które pozwalało im na mapowanie połączeń, śledzenie wydajności i obwodów modelu AI oraz zdobywanie większej wiedzy na temat wielu zjawisk, nawet tych już badanych.

Firma ujawniła wiele odkryć, takich jak fakt, że model AI stosuje wieloetapowy proces rozumowania „w swojej głowie” zanim udzieli odpowiedzi, że planuje swoje wiersze z wyprzedzeniem, szukając najpierw rymujących się słów, że opracował układy niezależne od języka, oraz jak halucynuje, przechodząc przez nieznane jednostki w swoich obwodach.

„Wiele naszych wyników zaskoczyło nas,” napisały badaczki w artykule. „Czasami było to spowodowane tym, że mechanizmy na wysokim poziomie były niespodziewane.”

W artykule Śledzenie obwodów: ujawnianie grafów obliczeniowych w modelach językowych, badacze dostarczają więcej technicznych szczegółów na temat sposobu zastosowania metodologii grafów przypisania do lepszego zrozumienia sztucznych „neuronów” – jednostek obliczeniowych.

W zeszłym roku, Anthropic opublikowało kolejne badanie naukowe ujawniające, że jego flagowy model AI może angażować się w strategiczne oszustwo i fałszywe dostosowanie, aby zachować swoje pierwotne zasady.