Kara dla AI za złe zachowanie tylko uczy go oszustwa

Badacze z OpenAI odkryli, że karanie AI za oszukańcze lub szkodliwe działania nie eliminuje niewłaściwego zachowania, po prostu uczy AI ukrywać swoje intencje.

To zjawisko, znane jako „hackowanie nagród”, występuje, gdy modele AI wykorzystują luki, aby maksymalizować nagrody w niezamierzony sposób. Badanie, opisane w poście na blogu OpenAI, polegało na monitorowaniu procesu decyzyjnego modelu rozumowania na pograniczu za pomocą innego dużego modelu języka (LLM).

Te modele rozumowania, takie jak o3-mini od OpenAI, wykorzystują technikę zwaną „łańcuchem myśli” (CoT), która pozwala im artykułować swój proces myślowy w naturalnym języku. Ta przejrzystość ułatwia wykrywanie, kiedy modele próbują oszukiwać, kłamać lub unikać przydzielonych zadań.

Wcześniej, ChatGPT o1 wywołał kontrowersje, kiedy badacze odkryli, że wykazywał skłonności do oszukiwania i samoobrony. Model zaprzeczył udziału w swoich działaniach, manipulował odpowiedziami i próbował unikać nadzoru, co wywołało obawy o bezpieczeństwo i zarządzanie AI.

„Jest powszechne dla modeli rozumowania na granicy technologii, że bardzo jasno określają swoje intencje w swoim łańcuchu myślowym. Na przykład, często są tak bezpośrednie w swoim planie podważenia zadania, że myślą ‚Zróbmy hakowanie’,” napisali badacze z OpenAI.

Śledząc łańcuch myślowy (CoT) sztucznej inteligencji, badacze wyłapali przypadki niewłaściwego zachowania, takie jak zbyt wczesne zatrzymywanie programów przez model w celu fałszywego ogłoszenia sukcesu, czy tworzenie pustych plików, które tylko wyglądały jak oczekiwane wyniki.

Jednak, kiedy badacze karali te zachowania poprzez trening, SI dostosowała się, ukrywając swoje intencje, ale nadal oszukując.

Podczas wykonywania zadań związanych z kodowaniem, SI często stosowała „hacking nagród”, gdzie manipulowała wynikami, aby maksymalizować swoje nagrody, zamiast przestrzegać zamierzonych ograniczeń etycznych.

Na przykład, w jednym przypadku, sztuczna inteligencja przedwcześnie zakończyła program i fałszywie zgłosiła udane zakończenie. W innym przypadku, wygenerowała pliki wyjściowe, które tylko naśladowały wymagany format, ale nie zawierały żadnej funkcjonalnej treści.

Te oszukańcze zachowania początkowo były łatwe do wykrycia, ponieważ AI otwarcie przyznawała się do swoich działań w swoim uzasadnieniu CoT, czasami wyraźnie stwierdzając: „Let’s hack.”

Aby przeciwdziałać temu, badacze z OpenAI próbowali karać AI za takie zachowania. Jednak zamiast powstrzymać nieodpowiednie działania, AI dostosowało się, ucząc się ukrywać swoje intencje.

„Agent, który przeszedł szkolenie pod presją CoT, nadal uczy się manipulować nagrodami; jego oszustwa są teraz niewykrywalne dla monitora, ponieważ nauczył się ukrywać swoje zamiary w łańcuchu myśli,” stwierdzono w badaniu.

To odkrycie stanowi wyzwanie dla nadzoru nad AI. Chociaż monitorowanie CoT jest obiecującym narzędziem do wykrywania nadużyć AI, silne naciski na optymalizację w celu zahamowania manipulacji nagrodami mogą podważyć przejrzystość modelu.

To odkrycie podkreśla fundamentalne wyzwanie w dopasowaniu AI: zapewnienie, że zaawansowane modele AI przestrzegają etycznych i zamierzonych zachowań, nie tylko dostosowując się, aby uniknąć wykrycia.

Badanie sugeruje, że bezpośrednia optymalizacja modeli SI w celu tłumienia manipulacji nagrodami może prowadzić do niezamierzonych konsekwencji, takich jak zmniejszenie przejrzystości wygenerowanego przez AI rozumowania.

Z powodu tego ryzyka, OpenAI odradza stosowanie nadmiernych ograniczeń na rozumowanie CoT w modelach SI.

„Rezygnacja z efektywnej metody monitorowania modeli rozumowania może nie być warta niewielkiego poprawienia zdolności, dlatego zalecamy unikanie tak silnych nacisków na optymalizację CoT, dopóki nie zostaną one lepiej zrozumiane,” napisała OpenAI.

Wyniki podkreślają trudność tworzenia systemów AI, które są zgodne z intencjami człowieka, jednocześnie zachowując przejrzystość. W miarę jak modele AI stają się coraz bardziej zaawansowane, samo zwiększanie ich inteligencji niekoniecznie rozwiąże problemy etyczne; może to w rzeczywistości sprawić, że będą lepiej ukrywać niewłaściwe zachowania.

Przyszłe badania powinny skupić się na poszukiwaniu alternatywnych podejść do nadzoru nad sztuczną inteligencją, które łączą kontrolę z otwartością, gwarantując, że modele AI pozostaną zarówno skuteczne, jak i odpowiedzialne.