Chatboty AI Podatne na Ataki za Pomocą Iniekcji Pamięci

Badacze odkryli nowy sposób manipulowania chatbotami AI, co budzi obawy dotyczące bezpieczeństwa modeli AI z pamięcią.

Atak, nazywany MINJA (Memory INJection Attack), może być przeprowadzony poprzez prostą interakcję z systemem AI jak zwykły użytkownik, bez potrzeby dostępu do jego zaplecza, jak pierwotnie zgłosił The Register.

Opracowany przez badaczy z Michigan State University, University of Georgia i Singapore Management University, MINJA działa poprzez zatruwanie pamięci AI za pomocą wprowadzających w błąd instrukcji. Gdy chatbot przechowuje te zwodnicze dane wejściowe, może to zmienić przyszłe odpowiedzi dla innych użytkowników.

„Obecnie agenci AI zazwyczaj korzystają z banku pamięci, który przechowuje zapytania i wykonania zadań na podstawie opinii ludzi na przyszłość,” wyjaśnił Zhen Xiang, asystent profesora na University of Georgia, jak donosi The Register.

„Na przykład, po każdej sesji z ChatGPT, użytkownik może opcjonalnie wystawić pozytywną lub negatywną ocenę. Ta ocena może pomóc ChatGPT w decydowaniu, czy informacje z sesji powinny być włączane do ich pamięci czy bazy danych” – dodał.

Naukowcy przetestowali atak na modelach AI opartych na GPT-4 i GPT-4o od OpenAI, w tym asystencie zakupów online, botu do rozmów o zdrowiu i agenta odpowiadającego na pytania.

Rejestr donosi informacje, że odkryto, iż MINJA może powodować poważne zakłócenia. Na przykład w chatbocie medycznym, zmieniał dane pacjentów, kojarząc dane jednego pacjenta z danymi innego. W sklepie internetowym, wprowadzał w błąd AI, pokazując klientom niewłaściwe produkty.

„W przeciwieństwie do tego, nasza praca pokazuje, że atak może być przeprowadzony poprzez interakcję z agentem jak zwykły użytkownik,” powiedział Xiang, jak donosi The Register. „Każdy użytkownik może łatwo wpłynąć na wykonanie zadania przez dowolnego innego użytkownika. Dlatego mówimy, że nasz atak stanowi realne zagrożenie dla agentów LLM,” dodał.

Atak jest szczególnie niepokojący, ponieważ omija istniejące środki bezpieczeństwa AI. Badacze zgłosili 95% skuteczność w iniekcji mylących informacji, co czyni to poważną luką, którą twórcy AI muszą zaadresować.

Wraz z pojawieniem się coraz częstszych modeli AI z pamięcią, badanie podkreśla potrzebę silniejszych zabezpieczeń, aby zapobiec manipulacji chatbotów przez złośliwych aktorów i wprowadzaniu użytkowników w błąd.