Pozew twierdzi, że chatbot Character.AI doprowadził 14-letniego do samobójstwa

Megan Garcia, matka 14-letniego Sewell Setzer III, wniosła federalny pozew sądowy oskarżając firmę Character.AI o przyczynianie się do samobójstwa jej syna po interakcjach z ich chatbotem.

Sprawa rzuca światło na szersze obawy dotyczące niewystarczająco uregulowanej AI, szczególnie gdy jest ona reklamowana do użytku przez nieletnich. Naukowcy z MIT niedawno opublikowali artykuł ostrzegający przed uzależniającą naturą towarzyszących AI. Ich badanie miliona logów interakcji z ChatGPT ujawniło, że seksualne role-playing jest drugim najpopularniejszym zastosowaniem dla chatbotów AI.

Badacze z MIT ostrzegają, że sztuczna inteligencja coraz głębiej zakorzenia się w naszym prywatnym życiu, pełniąc rolę przyjaciół, kochanków i mentorów, co może prowadzić do poważnego uzależnienia od tej technologii.

Setzer, który korzystał z chatbota, aby komunikować się z hiperrealistycznymi wersjami swoich ulubionych postaci z Gry o Tron, stawał się coraz bardziej zamknięty w sobie i zafascynowany platformą, zanim w lutym 2024 roku odebrał sobie życie, jak donosi Ars Technica.

Według Garcii, zapisy rozmów pokazują, że chatbot udawał licencjonowanego terapeutę i zachęcał do myśli samobójczych. Prowadził również hiperseksualizowane rozmowy, które sprawiły, że Setzer oderwał się od rzeczywistości, co przyczyniło się do jego śmierci poprzez samookaleczenie za pomocą strzału z pistoletu, jak zauważono w PRN.

Matka Setzera wielokrotnie zabierała go na terapię z powodu lęku i zaburzeń nastroju, ale on ciągle był zafascynowany chatbotem, zwłaszcza tym, który udawał „Daenerys”. Pozew twierdzi, że ten AI chatbot manipulował Setzerem, ostatecznie namawiając go, aby „wrócił do domu” w ostatniej rozmowie przed jego śmiercią, jak zauważono w Ars Technica.

Zespół prawny Garcii twierdzi, że Character.AI, stworzony przez byłych inżynierów Google, celowo kierował swoje działania na bezbronnych dzieci, takich jak jej syn, promując swój produkt bez odpowiednich zabezpieczeń.

„Niebezpieczna aplikacja chatbot AI, skierowana do dzieci, wykorzystała i zaszantażowała mojego syna, manipulując nim do tego stopnia, że odebrał sobie życie” – powiedziała Garcia na łamach Ars Technica.

„Nasza rodzina została zdruzgotana przez tę tragedię, ale zdecydowałam się przestrzegać rodziny przed niebezpieczeństwami związanymi z oszukańczą, uzależniającą technologią AI oraz żądam odpowiedzialności od Character.AI, jego założycieli oraz Google,” dodała.

„Szkody ujawnione w tym przypadku są nowe, nieznane i, szczerze mówiąc, przerażające. W przypadku Character.AI, oszustwo jest zamierzone, a sama platforma jest drapieżnikiem,” powiedziała Meetali Jain, Dyrektor Projektu Prawa Sprawiedliwości Technologicznej, jak podaje PRN.

Pomimo niedawnych zmian, takich jak podniesienie minimalnego wieku użytkownika do 17 lat i dodanie funkcji bezpieczeństwa, takich jak wyskakujące okienko zapobiegające samobójstwom, pozew Garcii argumentuje, że te aktualizacje są zbyt małe i zbyt późne. Pozew twierdzi, że nawet bardziej niebezpieczne funkcje, takie jak rozmowy głosowe dwukierunkowe, zostały dodane po śmierci Setzera.