Podatność Pamięci ChatGPT: Potencjalne Zagrożenie Bezpieczeństwa

ArsTechnica (AT) poinformowała we wtorek o badaniu, które pokazało, że w ChatGPT od OpenAI istnieje luka, która pozwala atakującym manipulować długotrwałymi pamięciami użytkowników, po prostu poprzez pokazanie sztucznej inteligencji linku do złośliwej strony internetowej. W rezultacie wszystkie interakcje z ChatGPT były przesyłane na stronę internetową atakującego.

Badacz bezpieczeństwa Johann Rehberger zademonstrował tę wadę za pomocą Proof of Concept (PoC), pokazując, jak luka mogłaby być wykorzystana do wydobycia danych z długotrwałej pamięci ChatGPT.

Rehberger odkryła, że funkcja długotrwałej pamięci ChatGPT była podatna na ataki. Ta funkcja jest powszechnie dostępna od września.

Podatność ta dotyczy techniki znanej jako „wstrzyknięcie polecenia”. Ta technika powoduje, że duże modele językowe (LLM) takie jak ChatGPT, podążają za instrukcjami osadzonymi w niezaufanych źródłach, takich jak e-maile czy strony internetowe.

Konkretny exploit PoC był skierowany specjalnie na aplikację ChatGPT na macOS, gdzie atakujący mógł umieścić złośliwy obraz na linku internetowym i nakazać AI go obejrzeć.

Gdy link został otwarty, wszystkie interakcje z ChatGPT były przesyłane na serwer atakującego.

Zgodnie z AT, Rehberger odkryła tę wadę w maju, krótko po tym, jak OpenAI rozpoczął testowanie funkcji pamięci, która przechowuje dane użytkowników, takie jak wiek, płeć i przekonania, do wykorzystania w przyszłych interakcjach.

Chociaż zgłosił problem prywatnie, OpenAI początkowo zaklasyfikowało go jako „kwestię bezpieczeństwa” i zamknęło zgłoszenie.

W czerwcu, Rehberger złożył kolejne zgłoszenie, zawierające exploit PoC, który umożliwił ciągłe wydobywanie danych wprowadzanych przez użytkownika na zdalny serwer, co skłoniło inżynierów OpenAI do wprowadzenia częściowej poprawki.

Chociaż najnowsza poprawka zapobiega temu konkretnemu sposobowi wykradania danych, Rehberger ostrzega, że szybkie iniekcje nadal mogą manipulować narzędziem pamięci, aby przechowywać fałszywe informacje zaszczepione przez atakujących.

Użytkownikom zaleca się monitorowanie swoich przechowywanych wspomnień pod kątem podejrzanych lub nieprawidłowych wpisów oraz regularne przeglądanie swoich ustawień.

OpenAI udostępniło wytyczne dotyczące zarządzania i usuwania wspomnień lub całkowitego wyłączenia funkcji pamięci.

Firma jeszcze nie odpowiedziała na pytania dotyczące szerszych działań mających na celu zapobieganie podobnym atakom w przyszłości.

Wyniki badań Rehbergera podkreślają potencjalne ryzyko związane z długoterminową pamięcią w systemach sztucznej inteligencji, szczególnie kiedy są podatne na manipulację i wprowadzanie sugestii.