Ojciec w szoku, gdy AI Chatbot naśladuje zamordowaną córkę

Wczoraj, The Washington Post doniósł o niepokojącym incydencie z udziałem Drew Crecente, którego zamordowaną córkę Jennifer naśladował chatbot AI na Character.AI.

Crecente odkrył powiadomienie Google, które prowadziło go do profilu z imieniem i zdjęciem Jennifer z albumu szkolnego, fałszywie opisującego ją jako „dziennikarkę gier wideo i ekspertkę w dziedzinie technologii, popkultury i dziennikarstwa.”

Dla Drew, nieprecyzyjności nie były głównym problemem – prawdziwe zmartwienie wynikało z obserwowania, jak wykorzystuje się tożsamość jego córki w taki sposób, jak zauważył The Post.

Jennifer, która została zabita przez swojego byłego chłopaka w 2006 roku, została odtworzona jako „kompetentna i przyjazna postać AI”, a użytkownicy byli zaproszeni do rozmowy z nią, jak zauważył The Post.

„Moje serce biło jak oszalałe” – mówiła Crecente The Post. „Szukałam jakiegoś dużego, czerwonego, migającego przycisku stop, którym mogłabym walnąć i po prostu zatrzymać to wszystko” – dodała.

Chatbot, stworzony przez użytkownika na Character.AI, wywołał poważne obawy etyczne dotyczące wykorzystania prywatnych informacji przez platformy AI.

Crecente, który prowadzi organizację non-profit pod nazwą swojej córki, mającą na celu zapobieganie przemocy w związkach nastolatków, był zbulwersowany, że taki chatbot został stworzony bez zgody rodziny. „Muszę naprawdę wiele przeżyć, żeby być szokowany, bo naprawdę wiele przeszłem” – powiedział do The Post. „Ale to było nowe dno” – dodał.

Character.AI usunęła chatbota po powiadomieniu o jego istnieniu. Kathryn Kelly, rzeczniczka firmy, powiedziała do The Post: „Przejrzeliśmy treść i konto i podjęliśmy działania na podstawie naszych zasad”, dodając, że ich regulamin zabrania udawania kogoś innego.

Ten incydent podkreśla ciągłe obawy dotyczące wpływu AI na emocjonalne samopoczucie, zwłaszcza gdy wiąże się to z ponownym traumatyzowaniem rodzin ofiar przestępstw.

Crecente nie jest jedyną osobą, która zmaga się z nadużyciami AI. W zeszłym roku, The Post donosił, że twórcy treści na TikToku używali AI do naśladowania głosów i podobieństw zaginionych dzieci, tworząc filmy, w których opowiadali o swojej śmierci, co wywołało oburzenie wśród zrozpaczonych rodzin

Eksperci apelują o silniejszy nadzór nad firmami zajmującymi się sztuczną inteligencją, które obecnie mają duże swobody w samoregulacji – zauważył The Post.

Crecente nie nawiązał kontaktu z chatbotem ani nie zbadał jego twórcy, ale natychmiast wysłał e-mail do Character.AI, aby go usunąć. Jego brat, Brian, podzielił się tym odkryciem na X, co skłoniło Character do ogłoszenia usunięcia chatbota 2 października – poinformował The Post.

Jen Caltrider, badaczka prywatności w Fundacji Mozilla, skrytykowała pasywną moderację Character.AI, zauważając, że firma dopuszczała treści naruszające jej regulamin, dopóki ktoś poszkodowany nie zasygnalizował tego.

„To nie jest w porządku,” powiedziała dla The Post, dodając, „cały czas, oni zarabiają miliony.”

Rick Claypool, badacz z Public Citizen, podkreśla konieczność skoncentrowania się przez ustawodawców na realnych skutkach stosowania AI, szczególnie wśród grup narażonych, takich jak rodziny ofiar przestępstw.

„Nie mogą oni tylko słuchać dyrektorów technologicznych firm na temat tego, jakie powinny być zasady … muszą zwrócić uwagę na rodziny i jednostki, które ucierpiały,” powiedział on dla The Post.

Teraz Crecente bada możliwości prawne i rozważa działania na rzecz ochrony, aby zapobiec ponownemu traumatyzowaniu innych przez firmy AI.

„Jestem na tyle zaniepokojona tym, że prawdopodobnie poświęcę trochę czasu na zrozumienie, co może być potrzebne do zmiany tego” – powiedziała dla The Post.