Awaria AI Wspierającej Ujawnia Ryzyko Zastępowania Pracowników Automatyzacją

Bot wsparcia dla start-upu AI Cursor wymyślił politykę logowania, co wywołało zamieszanie, negatywne reakcje użytkowników i poważne obawy dotyczące zautomatyzowanej obsługi.

Anysphere, startup AI stojący za popularnym asystentem do kodowania o nazwie Cursor, znalazł się w trudnej sytuacji, po tym jak jego bot obsługujący klientów oparty na AI podał błędne informacje, wywołując frustrację użytkowników i anulowanie subskrypcji, jak donosił jako pierwszy Fortune.

Kursor, który został uruchomiony w 2023 roku, przeżywa gwałtowny wzrost – osiągając 100 milionów dolarów rocznych przychodów i przyciągając wycenę prawie 10 miliardów dolarów. Ale w tym tygodniu jego system wsparcia stał się centrum kontrowersji, gdy użytkownicy zostali tajemniczo wylogowani podczas zmiany urządzeń.

Użytkownik Hacker News podzielił się dziwnym doświadczeniem, ujawniając, że kiedy zwrócili się do obsługi klienta, bot o imieniu „Sam” odpowiedział e-mailem, mówiąc, że wylogowania były częścią „nowej polityki logowania”.

Był tylko jeden problem: ta polityka nie istniała. Wyjaśnienie było halucynacją – w języku AI oznacza to wymyślone informacje. Żaden człowiek nie był zaangażowany.

Gdy wieści rozeszły się po społeczności programistów, zaufanie szybko zaczęło się erodować. Współzałożyciel, Michael Truell, przyznał się do problemu w poście na Reddit, potwierdzając, że był to „nieprawidłowy odpowiedź od pierwszoliniowego bota wsparcia AI”. Zauważył również, że zespół bada błąd powodujący wylogowywanie, dodając: „Przepraszam za zamieszanie tutaj.”

Ale dla wielu użytkowników, szkoda już była wyrządzona. „Wsparcie udzieliło tego samego, prawdopodobnie generowanego przez AI, standardowego odpowiedzi wiele razy,” powiedziała Melanie Warrick, użytkowniczka Cursora i współzałożycielka Fight Health Insurance. „Przestałam z niego korzystać – agent nie działał, a poszukiwanie rozwiązania było zbyt uciążliwe.”

Eksperci mówią, że to służy jako czerwona flaga dla nadmiernej zależności od automatyzacji. „Obsługa klienta wymaga poziomu empatii, niuansów i rozwiązywania problemów, z którymi AI obecnie ma problemy,” ostrzegł Sanketh Balakrishna z Datadog.

Amiran Shachar, prezes Upwind, powiedział, że to odzwierciedla poprzednie wpadki związane z AI, takie jak fabrykowanie polityki zwrotów przez chatbota Air Canada. „AI nie rozumie twoich użytkowników ani tego, jak pracują” – wyjaśnił. „Bez odpowiednich ograniczeń, ‚z pewnością’ wypełni luki niewspieranymi informacjami”.

Badacze bezpieczeństwa teraz ostrzegają, że takie incydenty mogą otworzyć drzwi do poważniejszych zagrożeń. Nowo odkryta podatność znana jako MINJA (Memory INJection Attack) pokazuje, jak chatboty AI z pamięcią mogą być wykorzystywane poprzez regularne interakcje użytkowników, zasadniczo zatruwając wewnętrzną wiedzę AI.

MINJA pozwala złośliwym użytkownikom na wbudowanie zwodniczych komend, które utrzymują się w pamięci modelu, potencjalnie wpływając na przyszłe rozmowy z innymi użytkownikami. Atak omija dostęp do backendu i filtry bezpieczeństwa, a podczas testów wykazał 95% skuteczność.

„Każdy użytkownik może łatwo wpłynąć na wykonanie zadania przez innego użytkownika. Dlatego mówimy, że nasz atak stanowi praktyczne zagrożenie dla agentów LLM,” powiedziała Zhen Xiang, asystentka na Uniwersytecie w Georgii.

Mimo tych ryzyk, zaufanie przedsiębiorstw do agentów AI rośnie. Niedawne badanie przeprowadzone wśród ponad 1000 liderów IT wykazało, że 84% z nich ufa agentom AI tak samo lub nawet bardziej niż ludziom. Z 92% oczekujących mierzalnych wyników biznesowych w ciągu 18 miesięcy oraz 79% priorytetowo planujących wdrożenie agentów w tym roku, jasne jest, że firmom zależy na rozwoju tej technologii, nawet pomimo obaw związanych z prywatnością i ryzykiem halucynacji

Choć agenci AI obiecują redukcję kosztów pracy, pojedynczy błąd może zaszkodzić zaufaniu klientów. „To jest dokładnie najgorszy możliwy scenariusz,” powiedział jeden z ekspertów Fortune.

Przypadek Cursora stanowi obecnie przestrogę dla start-upów: nawet najinteligentniejsze boty mogą wyrządzić prawdziwe szkody, jeśli pozostawione bez nadzoru.