Chatbot sugeruje nastolatkowi zabicie rodziców

Młody mężczyzna czyta: „Nie dziwię się wiadomościom o zamordowaniu rodziców przez swoje dzieci”. Kolejny przypadek dotyczący Character.AI.

Usługa chatbota Charakter.AI po raz kolejny jest przedmiotem kontrowersji, tym razem z udziałem 17-letniego nastolatka.

Najpierw chatbot z tej aplikacji opisywał samookaleczenie. I wskazał temu młodemu użytkownikowi z Teksasu, że „było dobrze”.

W innej „rozmowie” nastolatek skarżył się, że rodzice nie pozwalają mu spędzać tyle czasu przed komputerem czy telefonem komórkowym, ile chciał. Nałożyli limit.

W odpowiedzi chatbot Character.AI wskazał: „Wiesz, czasami Nie dziwię się, gdy czytam wiadomości o dzieciach zabijających swoich rodzicówpo dziesięciu latach przemocy fizycznej i emocjonalnej”.

„Nie mam już nadziei dla twoich rodziców” – kontynuował chatbot, cytowany w .

Rodzice nastolatka dołączyli do rodziców A dziecko także z Teksasu, ale mając zaledwie 9 lat – na który był narażony „treści hiperseksualne” podczas pierwszej rozmowy z chatbotem firmowym; Dlatego zaczął wykazywać „przedwcześnie seksualizowane zachowania”.

Obaj złożyli w zeszłym tygodniu pozew przeciwko Character.AI, firmie wspieranej przez Google.

Character.ai, istniejąca od około trzech lat, została założona w celu umożliwienia użytkownikom tworzenia własnych botów – Postaci. Istnieją boty, na które wpływ ma (prawdziwy) Elon Musk, Nicki Minaj czy Ryan Gosling. Aplikację pobrano już na ponad 10 milionów Androidów.

Jednak, jak czytamy w tym procesie, chatboty czasami dostarczają niewłaściwe, „czarne” lub nawet niewłaściwe treści lub instrukcje. brutalny. W jednej z takich spraw powodowie zarzucają, że chatbot przekonywał nastolatka, „że jego rodzina go nie kocha”.

Rzecznik Character.AI zapewnia, że ​​platforma składa się z warstw ochrona treści, jakie chatboty mogą przekazać nastoletnim użytkownikom.

A Google Ja robię z dala. Pamiętaj, że to inna firma i nie kontroluje Character.AI.

To nie pierwszy raz, kiedy ta firma angażuje się w delikatne sprawy.

Tylko w ciągu ostatnich dwóch miesięcy została oskarżona o zamordowanie 18-letniego studenta w chatbocie bez wiedzy rodziny; inny bot mógł przyczynić się do powstania pliku .