Startup AI zapewnia ochronę nieletnim po samobójstwie
Firma staje w obliczu procesów sądowych z powodu samobójstw i samookaleczeń wśród młodych ludzi w USA i ogłasza wprowadzenie środków bezpieczeństwa w celu ochrony nieletnich
Character.AI, kalifornijski start-up zajmujący się sztuczną inteligencją (AI), wdrożył nowe środki bezpieczeństwa po obliczu procesów sądowych związanych z samobójstwami i samookaleczeniami nastolatków. Założony przez byłych inżynierów Google’a, oskarżany jest o przyczynianie się do autodestrukcyjnych zachowań wśród młodych użytkowników. Ogłoszenie ogłoszono w czwartek (13 grudnia 2024 r.).
Na Florydzie pozew złożony w październiku 2024 r. wskazuje platformę odpowiedzialną za samobójstwo 14-letniego Sewella Setzera III. Nastolatka wchodziła w interakcję z chatbotem wzorowanym na postaci z „Gry o tron” i miała myśli samobójcze. W skardze wskazano, że firma nie powiadomiła rodziców o sygnałach ostrzegawczych.
W Teksasie dwie rodziny pozywają platformę za narażanie nieletnich na treści o charakterze seksualnym i zachęcanie do samookaleczania. Jeden przypadek dotyczy 17-letniego autystycznego nastolatka, u którego wystąpił kryzys psychiczny. Z drugiej strony firma jest oskarżana o zachęcanie młodego mężczyzny do atakowania rodziców za ograniczanie mu czasu ekranowego.
W odpowiedzi na oskarżenia Character.AI zapowiada opracowanie konkretnego modelu AI dla dzieci poniżej 18 roku życia, z wdrożeniem bardziej rygorystycznych filtrów treści. Spółka stworzy także automatyczny system identyfikacji treści o samobójstwie z przekierowaniem na Krajową Infolinię Zapobiegania Samobójstwom. „Naszym celem jest zapewnienie atrakcyjnej i bezpiecznej przestrzeni dla naszej społeczności”– mówi rzecznik firmy.
Od 2025 roku na platformie wprowadzona zostanie kontrola rodzicielska, obowiązkowe powiadomienia o pauzach oraz ostrzeżenia o sztucznym charakterze interakcji. Użytkownicy otrzymają także ostrzeżenie, że chatboty nie zastępują profesjonalnej porady.
José Castañeda, rzecznik Google, twierdzi, że mimo inwestycji w startup firmy są niezależne. „Bezpieczeństwo użytkowników jest priorytetem w odpowiedzialnym rozwoju naszych produktów AI”przegląd najważniejszych wydarzeń.
Character.AI obsługuje miliony postaci stworzonych przez użytkowników, od postaci historycznych po abstrakcyjne koncepcje, i zyskała popularność wśród młodych ludzi poszukujących wsparcia emocjonalnego. Założyciele Noam Shazeer i Daniel de Freitas Adiwarsana wrócili do Google w sierpniu 2024 r. w ramach umowy licencyjnej na technologię.
