Badania Nie Wykazały Dowodów na Niebezpieczne, Nowo Pojawiające się Zdolności w Dużych Modelach Językowych

Badanie ogłoszone wczoraj przez Uniwersytet w Bath twierdzi, że duże modele językowe (LLM) nie stanowią egzystencjalnego zagrożenia dla ludzkości. Badanie stwierdza, że te modele nie są w stanie samodzielnie uczyć się lub zdobywać nowych umiejętności, co sprawia, że są kontrolowalne i bezpieczne.

Zespół badawczy, prowadzony przez profesor Irynę Gurevych, przeprowadził ponad 1000 eksperymentów, aby przetestować zdolności LLM do wykonywania zadań i zdobywania wiedzy, które nie zostały w nich jawnie zaprogramowane. Ich wyniki pokazują, że to, co jest postrzegane jako zdolności emergentne, wynika w rzeczywistości z korzystania przez LLM z uczenia się w kontekście, a nie z jakiejkolwiek formy samodzielnego uczenia się lub rozumowania.

Badanie wskazuje, że choć LLM są biegłe w przetwarzaniu języka i wykonywaniu instrukcji, brakuje im zdolności do opanowania nowych umiejętności bez wyraźnych wskazówek. Ta fundamentalna ograniczność sprawia, że te modele pozostają sterowalne, przewidywalne i zasadniczo bezpieczne. Pomimo rosnącej sofystrykacji, badacze argumentują, że LLM są mało prawdopodobne do rozwinięcia złożonych zdolności rozumowania lub podjęcia nieoczekiwanych działań.

Dr Harish Tayyar Madabushi, współautor badania, stwierdził w komunikacie Uniwersytetu w Bath, “Dominująca narracja, że ten typ AI stanowi zagrożenie dla ludzkości, przeszkadza w szerokim przyjęciu i rozwijaniu tych technologii, a także odwraca uwagę od prawdziwych problemów, które wymagają naszego skupienia”

Dr. Tayyar Madabushi zaleca skupienie się na rzeczywistych zagrożeniach, takich jak potencjalne nadużycie LLM do generowania fałszywych wiadomości lub popełniania oszustw. Ostrzega przed wprowadzaniem regulacji opartych na spekulacyjnych zagrożeniach i zaleca użytkownikom, aby jasno określali zadania dla LLM i dostarczali szczegółowych przykładów, aby zapewnić skuteczne rezultaty.

Profesor Gurevych zauważył w ogłoszeniu: „Nasze wyniki nie oznaczają, że AI nie stanowi absolutnie żadnego zagrożenia. Raczej pokazujemy, że rzekome pojawienie się skomplikowanych umiejętności myślenia związanych z konkretnymi zagrożeniami nie jest poparte dowodami, a my po wszystkim jesteśmy w stanie bardzo dobrze kontrolować proces uczenia LLM. Przyszłe badania powinny więc skupić się na innych ryzykach związanych z modelami, takich jak ich potencjał do generowania fałszywych wiadomości.”

Badaczki zdają sobie sprawę z kilku ograniczeń w ich badaniu. Testowały różne modele, w tym T5, GPT, Falcon i LLaMA, ale nie były w stanie dokładnie dopasować liczby parametrów ze względu na różnice w rozmiarach modeli przy wydaniu. Rozważały również ryzyko wycieku danych, gdzie informacje z danych treningowych mogą niezamierzenie wpływać na wyniki. Chociaż zakładają, że ten problem nie poszedł dalej, niż jest to zgłaszane dla konkretnych modeli, wyciek danych mógłby nadal wpłynąć na wydajność.