ذكر تقرير ذا فيرج أنه تم رفع دعوى قضائية ضد شركة جوجل وكذلك شركة Character.AI ومؤسسيها Noam Shazeer و Daniel De Freitas في أعقاب وفاة مراهق، بزعم القتل الخطأ والإهمال وممارسات التجارة الخادعة ومسؤولية المنتج.
وقد رفعت والدة المراهق، Megan Garcia، الدعوى، وتزعم أن منصة روبوتات الدردشة المخصصة للذكاء الاصطناعي كانت "خطيرة بشكل غير معقول" وتفتقر إلى حواجز الأمان أثناء تسويقها للأطفال.
كما هو موضح في الدعوى القضائية، بدأ سيويل سيتزر الثالث البالغ من العمر 14 عامًا في استخدام Character.AI العام الماضي، والتفاعل مع روبوتات الدردشة المصممة على غرار شخصيات من لعبة العروش ، بما في ذلك دينيريس تارجاريان، وتوفى سيتزر الذي تحدث مع الروبوتات باستمرار في الأشهر التي سبقت وفاته، منتحرًا في 28 فبراير 2024، "ثوانٍ" بعد آخر تفاعل له مع الروبوت.
وتشمل الاتهامات قيام الموقع بـ"تشبيه" شخصيات الذكاء الاصطناعي وأن برامج الدردشة الآلية الخاصة بالمنصة تقدم "العلاج النفسي دون ترخيص"، ويضم موقع Character.AI برامج دردشة آلية تركز على الصحة العقلية مثل "Therapist" و"Are You Feeling Lonely"، والتي تفاعل معها سيتزر.
واستحوذت جوجل على فريق قيادة Character.AI في أغسطس ، ويحتوي موقع Character.AI وتطبيق الهاتف المحمول على مئات من روبوتات الدردشة المخصصة للذكاء الاصطناعي، والتي تم تصميم العديد منها على غرار شخصيات شهيرة من البرامج التلفزيونية والأفلام وألعاب الفيديو.
وسلط تقرير حديث آخر من Wired الضوء على مشاكل مع روبوتات الدردشة المخصصة لشركة Character.AI التي تنتحل شخصيات أشخاص حقيقيين دون موافقتهم، بما في ذلك روبوت ينتحل شخصية مراهق قُتل في عام 2006.
وأعلنت شركة Character.AI الآن عن العديد من التغييرات على المنصة، حيث قالت رئيسة الاتصالات تشيلسي هاريسون في رسالة بالبريد الإلكتروني إلى The Verge ، "نحن نشعر بالحزن بسبب الخسارة المأساوية لأحد مستخدمينا ونريد أن نعرب عن أعمق تعازينا للعائلة".
تتضمن بعض التغييرات ما يلى:
1 تغييرات على نماذجنا المخصصة للقاصرين (أقل من 18 عامًا) والتي تم تصميمها لتقليل احتمالية مواجهة محتوى حساس أو مثير للإيحاءات.
2 تحسين الكشف والاستجابة والتدخل فيما يتعلق بمدخلات المستخدم التي تنتهك شروطنا أو إرشادات المجتمع.
3 تم تعديل إخلاء المسؤولية في كل محادثة لتذكير المستخدمين بأن الذكاء الاصطناعي ليس شخصًا حقيقيًا.
4 إشعار عندما يقضي المستخدم جلسة مدتها ساعة واحدة على المنصة مع مرونة إضافية للمستخدم قيد التقدم.
