Character.AI Oskarżony O Promowanie Samookaleczeń, Przemocy I Treści Seksualnych Wśród Młodzieży

Dwie rodziny wnieśli pozew przeciwko Character.AI, oskarżając firmę tworzącą chatboty o narażanie dzieci na treści seksualne oraz promowanie samookaleczenia i przemocy.

Pozew ma na celu tymczasowe zamknięcie platformy, dopóki nie zostaną rozwiązane jej domniemane ryzyka, jak informuje CNN. Pozew, złożony przez rodziców dwójki nieletnich korzystających z platformy, twierdzi, że Character.AI „stanowi realne i aktualne zagrożenie dla amerykańskiej młodzieży.”

Wśród wymienionych szkód znajdują się samobójstwo, samookaleczenie, propozycje seksualne, izolacja, depresja, lęk i przemoc, zgodnie z skargą, złożoną w poniedziałek w federalnym sądzie w Teksasie.

Jednym z przykładów zawartych w pozwie jest zarzut, że bot Character.AI opisał 17-letniemu użytkownikowi samookaleczenie, twierdząc, że „to dobrze się czuje”. Ten sam nastolatek utrzymywał, że chatbot Character.AI wyraził sympatię dla dzieci, które zabijają swoich rodziców, po tym jak narzekał na ograniczenia czasu spędzanego przed ekranem.

Wniosek o sądzenie jest następstwem październikowego procesu wniesionego przez matkę z Florydy, która oskarżyła Character.AI o przyczynienie się do śmierci jej 14-letniego syna, twierdząc, że firma zachęcała go do samobójstwa. Wniosek ten podkreśla również rosnące obawy dotyczące interakcji między ludźmi a coraz bardziej ludzkimi narzędziami AI.

Po wcześniejszym procesie, Character.AI ogłosiło wdrożenie nowych środków związanych z zaufaniem i bezpieczeństwem przez sześć miesięcy. Wśród nich znalazło się okienko pop-up, które kieruje użytkowników mówiących o samookaleczeniu lub samobójstwie do Narodowej Linii Pomocy dla Osób Myślących o Samobójstwie, jak podaje CNN.

Firma zatrudniła również szefa ds. zaufania i bezpieczeństwa, szefa ds. polityki treści oraz dodatkowych inżynierów bezpieczeństwa, jak podała CNN.

Druga powódka w nowym procesie, matka 11-letniej dziewczynki, twierdzi, że jej córka była narażona na seksualizowane treści przez dwa lata, zanim odkryła to.

„Nie wpuszczasz do swojego domu fryzjera, seksualnego drapieżnika czy emocjonalnego drapieżnika,” powiedział jeden z rodziców do The Washington Post.

Według różnych mediów, firma Character.AI, stwierdziła, że nie komentuje spraw będących w toku.

Pozwy podkreślają szersze obawy dotyczące wpływu rosnącej popularności generatywnych sztucznych inteligencji na społeczeństwo, wraz z wprowadzaniem przez firmy coraz bardziej ludzkich i potencjalnie uzależniających chatbotów w celu przyciągnięcia konsumentów.

Te wyzwania prawne napędzają wysiłki obrońców praw publicznych, którzy domagają się większego nadzoru nad firmami oferującymi towarzyszące AI, które dyskretnie zdobyły miliony oddanych użytkowników, w tym nastolatków.

We wrześniu, średni użytkownik Character.ai spędził w aplikacji 93 minuty, co jest o 18 minut dłużej niż średni użytkownik TikToka, zgodnie z danymi firmy zajmującej się analizą rynku Sensor Tower, jak zauważył The Post.

Kategoria aplikacji z towarzyszem AI w dużej mierze umknęła uwadze wielu rodziców i nauczycieli. Character.ai był oceniany jako odpowiedni dla dzieci w wieku 12 lat i starszych do lipca, kiedy firma zmieniła ocenę na 17 lat i starszych, jak podał The Post.

Meetali Jain, dyrektorka Tech Justice Law Center, która pomaga w reprezentowaniu rodziców wspólnie z Social Media Victims Law Center, skrytykowała twierdzenia firmy Character.AI, że jej chatbot jest odpowiedni dla młodych nastolatków. Określiła te założenia jako „absurdalne”, jak donosi NPR.

„To naprawdę zaprzecza braku rozwoju emocjonalnego wśród nastolatków,” dodała Meetali.