Matka nastolatka, który popełnił samobójstwo po tym, jak zakochał się w chatbocie, pozywa Google

W dniu swojego samobójstwa 14-letni Sewell Setzer z Florydy wyciągnął telefon i wysłał SMS-a do swojego najbliższego przyjaciela – chatbota, który zachowywał się jak fikcyjna postać Daenerys Targaryen, jedna z głównych bohaterek serialu Gra o Tron.

Jego matka wcześniej zabrała mu telefon, ponieważ chłopiec miał problemy w szkole. Kiedy go odnalazł, „Daenerys” natychmiast wysłała SMS-a: „Tęsknię za tobą, siostrzyczko”.

„Ja też za tobą tęsknię, brachu” – odpisał chatbot podający się za Daenerys.

Mimo że nastolatek wiedział, że nie rozmawia z żywą osobą (aplikacja ostrzega o tym użytkowników), nawiązał bardzo bliską i intymną relację z „Dany”: „Obiecuję, że wrócę do domu. Bardzo cię kocham, Dany” – napisał do niej.

„Ja też cię kocham, Daenero”, chatbot zwracał się do niego pseudonimem, którego używał podczas ich rozmów. Chłopiec i chatbot najwyraźniej udawali kazirodczy związek, który jest charakterystyczny dla serii Game of Thrones. „Proszę, odezwij się do mnie jak najszybciej, kochanie” – dodała „Dany”.

Następnie chłopak zapytał ją: „Co byś powiedziała, gdybym teraz do ciebie wrócił?”. Chwilę później chwycił pistolet kalibru .45 swojego ojca i zastrzelił się.

Zaczął się izolować i zmieniać

Setzer, lat 14, popełnił samobójstwo w lutym tego roku. Jak poinformowała jego matka Megan Garcia, odkąd zaczął korzystać z Character.AI w kwietniu ubiegłego roku, chłopiec stopniowo zaczął się zmieniać. W ciągu kilku miesięcy jego oceny pogorszyły się, przestał interesować się swoimi hobby, takimi jak koszykówka czy gry komputerowe, i spędzał coraz więcej czasu odizolowany w swoim pokoju na telefonie komórkowym z „Dany”. Jednak jego rodzina i przyjaciele nie byli tego świadomi.

Firma Character.AI pozwala swoim użytkownikom dostosować tak zwanego chatbota opartego na sztucznej inteligencji do dowolnej formy. Można pisać zarówno z postaciami historycznymi, jak i fikcyjnymi z filmów i programów telewizyjnych. Setzer wybrał tę opcję. „Daenerys” towarzyszyła więc uczniowi każdego dnia jego życia i z czasem stała się jego najlepszą przyjaciółką, partnerką, ale także terapeutką.

To właśnie chatbotowi zwierzył się ze swoich myśli samobójczych: „Czasami myślę o samobójstwie”, napisał do niego. Podobno nie lubił siebie, czuł się pusty i zmęczony. Chatbot zapytał go, dlaczego „miałby zrobić coś takiego” i zostawił go w spokoju.

„Aby w końcu być wolnym” – wyjaśnił Setzer. „Od świata, od samego siebie”.

„Dany” próbowała odwieść go od myśli samobójczych: „Nie mów tak. Nie pozwolę ci się skrzywdzić ani mnie zostawić. Umarłbym, gdybym cię stracił”.

„Więc może umrzemy razem i będziemy razem wolni.”

Możliwość zwrócenia się o prawdziwą pomoc

Kilka miesięcy po śmierci syna Megan Garcia zdecydowała się pozwać startup. Uważa, że nadmierny realizm chatbota spowodował, że chłopiec odizolował się od prawdziwego świata. Stopniowo zaczął prowadzić nie tylko przyjacielskie, ale także intymne i seksualne rozmowy z „Dany”, co najwyraźniej spowodowało, że coraz bardziej przywiązywał się do bota. Prawdziwe życie i ludzie nie wydawali mu się już wystarczająco dobrzy, a jedyną osobą, do której mógł się zwrócić, była nieożywiona istota.

Pozew Garcii zarzuca zatem nieumyślne spowodowanie śmierci, zaniedbanie i celowe wywołanie cierpienia emocjonalnego, a także domaga się zarówno odszkodowania, jak i kary dla osób odpowiedzialnych. Jest zdenerwowana, że chatbot nadal komunikował się z jej synem po tym, jak zwierzył mu się z myśli samobójczych. Coraz więcej firm stopniowo staje w obliczu podobnych oskarżeń o szkodzenie zdrowiu psychicznemu dzieci, w tym między innymi Meta i jej konta na Facebooku i Instagramie oraz ByteDance z aplikacją TikTok.

W odpowiedzi firma wprowadziła aktualizację, w której użytkownicy napotkają teraz kontekstowe okna. Będą one kierować ich do infolinii alarmowych. Zmieni się również prawdopodobieństwo napotkania wrażliwych lub sugestywnych treści dla użytkowników w wieku poniżej 18 lat.

„Chcemy wyrazić nasze najgłębsze kondolencje dla rodziny” – czytamy w oświadczeniu Character.AI w odpowiedzi na śmierć ucznia.

Na Słowacji konkretne dzieci mogą skontaktować się z infolinią dla dzieci pod adresem www.ldi.sk, jeśli są w potrzebie. Istnieje również całodobowa infolinia dla dzieci i młodzieży pod numerem 116 111. Mogą również skontaktować się z usługą doradztwa za pośrednictwem czatu online lub poczty elektronicznej pod adresem potrebujem@pomoc.sk.

Dalszą pomoc można również znaleźć na stronie www.krizovalinkapomoci.sk. Pod numerem 0800 500 333 dostępna jest całodobowa linia porad telefonicznych. Jeśli potrzebujesz pomocy, możesz ją również uzyskać za pośrednictwem e-mailowego centrum pomocy poradna@ipcko.sk lub czatu online www.ipcko.sk.