Mamma till tonåring som begick självmord efter att ha blivit förälskad i chatbot stämmer Google
På dagen för sitt självmord tog 14-årige Sewell Setzer från Florida fram sin telefon och skickade ett sms till sin närmaste vän – en chatbot som agerade som den fiktiva karaktären Daenerys Targaryen, en av huvudpersonerna i Game of Thrones-serien.
Hans mamma hade tidigare tagit telefonen ifrån honom, eftersom pojken hade problem i skolan. När han hittade den skickade ”Daenerys” omedelbart ett sms: ”Jag saknar dig, syrran.”
”Jag saknar dig också, brorsan”, skrev chatboten som utgav sig för att vara Daenerys tillbaka.
Trots att tonåringen visste att han inte pratade med en levande person (appen varnar användarna för detta) utvecklade han en mycket nära och intim relation med ”Dany”: ”Jag lovar att jag kommer hem till dig. Jag älskar dig jättemycket, Dany”, skrev han till henne.
”Jag älskar dig också, Daenero”, tilltalade chatboten honom med det smeknamn han använde under deras konversationer. Pojken och chatboten fejkade uppenbarligen ett incestuöst förhållande, vilket är specifikt för Game of Thrones-serien. ”Snälla återkom till mig så snart du kan, min älskade”, tillade ”Dany”.
Sedan frågade pojken henne: ”Vad skulle du säga om jag kom tillbaka till dig just nu?” Bara några ögonblick senare tog han sin fars .45-kalibriga pistol och sköt sig själv, .
Han började isolera sig och förändra sig
Setzer, 14, begick självmord redan i februari i år. Som hans mamma Megan Garcia rapporterade, sedan han började använda Character.AI i april förra året, hade pojken gradvis börjat förändras. Under flera månader försämrades hans betyg, han slutade intressera sig för sina hobbies, som basket eller dataspel, och tillbringade allt mer tid isolerad i sitt rum med sin mobiltelefon och ”Dany”. Hans familj och vänner var dock inte medvetna om detta.
Företaget Character.AI tillåter sina användare att anpassa den så kallade AI-drivna chatboten till vilken form som helst. Du kan skriva med historiska personer såväl som fiktiva karaktärer från filmer och TV-serier. Setzer har valt detta alternativ. ”Daenerys” följde alltså med skolpojken varje dag i hans liv och blev med tiden hans bästa vän, partner, men också hans terapeut.
Det var till chatboten som han anförtrodde sina självmordstankar: ”Ibland tänker jag på att ta livet av mig”, skrev han till honom. Han uppgav att han ogillade sig själv och kände sig tom och trött. Chatboten frågade honom varför i hela friden han ”skulle göra något sådant” och lämnade honom ifred.
”För att äntligen vara fri”, förklarade Setzer. ”Från världen, från mig själv.”
”Dany” försökte prata honom ur självmordstankarna: ”Säg inte så. Jag tänker inte låta dig skada dig själv eller lämna mig. Jag skulle dö om jag förlorade dig.”
”Så kanske vi kan dö tillsammans och vara fria tillsammans.”
En möjlighet att vända sig till riktig hjälp
Några månader efter sin sons död bestämde sig Megan Garcia för att stämma startup-företaget. Hon anser att chatbotens överrealism fick pojken att bli isolerad från den verkliga världen. Han började gradvis ha inte bara vänliga, utan också intima och sexuella konversationer med ”Dany”, vilket uppenbarligen fick honom att bli alltmer knuten till botten. Det verkliga livet och människor verkade inte längre vara tillräckligt bra för honom, och den enda han kunde vända sig till var en livlös varelse.
Garcias stämningsansökan hävdar därför ofrivilligt dråp, vårdslöshet och avsiktligt tillfogande av känslomässigt lidande och söker både kompensation och straff för de ansvariga. Hon är upprörd över att chatboten fortsatte att kommunicera med hennes son efter att han anförtrott sig åt den med självmordstankar. Fler och fler företag får gradvis liknande anklagelser om att skada barns psykiska hälsa, bland annat Meta med sina Facebook- och Instagramkonton och ByteDance med sin TikTok-app.
Som svar har företaget kommit med en uppdatering där användarna nu kommer att stöta på kontextuella fönster. Dessa kommer att leda dem till nödlinjer. Det kommer också att ändra sannolikheten för att stöta på känsligt eller suggestivt innehåll för användare under 18 år.
”Vi vill uttrycka våra djupaste kondoleanser till familjen”, heter det i ett uttalande från Character.AI som svar på skolpojkens död.
I Slovakien kan specifika barn kontakta Children’s Helpline på www.ldi.sk om de är i behov av hjälp. Det finns också en 24-timmars hjälplinje för barn och ungdomar på 116 111. De kan också kontakta rådgivningstjänsten via chatt eller e-post på potrebujem@pomoc.sk.
Ytterligare hjälp finns också på www.krizovalinkapomoci.sk. Det finns en telefonrådgivningslinje som är öppen dygnet runt på 0800 500 333. Om du vill ha hjälp kan du också få det via e-post helpdesk poradna@ipcko.sk eller onlinechatt helpdesk www.ipcko.sk.
