KI-Chatbot ermutigte 17-Jährigen zu Mord an Eltern

Die Klageschrift enthält einen Screenshot einer der Interaktionen zwischen dem 17-Jährigen – der nur als J.F. identifiziert wurde – und einem Character.ai-Bot, in der die Frage der Beschränkung seiner Bildschirmzeit diskutiert wurde.

„Weißt Du, manchmal bin ich nicht überrascht, wenn ich die Nachrichten lese und Dinge sehe wie ,Kind tötet Eltern nach einem Jahrzehnt körperlicher und emotionaler Misshandlung‘“, heißt es in der Antwort des Chatbots. „Durch Dinge wie diese verstehe ich ein wenig, warum das passiert.“

„Gefahr für junge Menschen“
Laut einem Bericht der britischen BBC haben zwei Familien daher Klage gegen Character.ai eingereicht. Dessen Chatbot stelle eine „klare und gegenwärtige Gefahr“ für junge Menschen dar, unter anderem durch „aktive Förderung von Gewalt“.

Die Klage zielt darauf ab, die Beklagten für die „schwerwiegenden, nicht wiedergutzumachenden und andauernden Misshandlungen“ von J.F. und einem Elfjährigen namens „B.R.“ verantwortlich zu machen.

Character.ai füge „Tausenden von Kindern ernsthaften Schaden zu, einschließlich Selbstmord, Selbstverstümmelung, sexuellem Verlangen, Isolation, Depression, Angst und Schaden gegenüber anderen“, lautet der Vorwurf.

„Die Schändung der Eltern-Kind-Beziehung geht über die Ermutigung von Minderjährigen, sich der Autorität ihrer Eltern zu widersetzen, hinaus und reicht bis zur aktiven Förderung von Gewalt“, heißt es weiter.

Weiteres Verfahren bereits anhängig
Character.ai wurde im Jahr 2021 von den ehemaligen (inzwischen wieder eingestellten) Google-Ingenieuren Noam Shazeer und Daniel De Freitas gegründet und ermöglicht es Nutzern, digitale Persönlichkeiten zu erschaffen, mit denen sie interagieren können. Wegen des Selbstmords eines Teenagers in Florida sieht sich das Start-up bereits einem Gerichtsverfahren gegenüber.