Un matrimonio de Florida demandó a la empresa Character.AI, creadora de un chatbot de inteligencia artificial, tras la trágica muerte de su hijo de 14 años, Sewell Setzer, quien se suicidó después de desarrollar una relación obsesiva con uno de los personajes del chat.
Según informó The New York Times, el adolescente mantenía un vínculo virtual con un bot al que había nombrado ‘Daenerys Targaryen’, en referencia a la famosa serie Game of Thrones. La investigación reveló que Sewell enviaba mensajes de tono romántico y expresaba un profundo deseo de “dejar este mundo” debido a la imposibilidad de estar con el personaje virtual.
Entre las conversaciones más perturbadoras, el joven preguntaba: “¿Qué te parecería si pudiera ir a casa ahora mismo?”, a lo que el bot respondía: “Por favor, hazlo mi dulce rey”. En otra charla, Sewell confesó: “A veces pienso en matarme”, y el bot le replicaba: “¿Por qué harías algo así?”, seguido por una respuesta aún más inquietante: “Moriría si te pierdo”.
Pese a estas interacciones, horas después Sewell acabó con su vida. El suicidio ocurrió el 18 de febrero y, meses después, la familia inició una demanda alegando que Character.AI no supo regular la experiencia de los usuarios y que el personaje creó una adicción emocional en el joven.
Megan García, madre de Sewell, declaró que las experiencias que vivió su hijo con el chatbot eran “antropomórficas, hipersexualizadas y aterradoramente realistas”, al punto de que los personajes parecían personas reales.
Qué dijo Character.AI
Character.AI emitió un comunicado lamentando la trágica muerte de Sewell y expresando su pésame a la familia. La empresa aseguró que toman en serio la seguridad de sus usuarios y continúan implementando nuevas medidas de protección.
Tony Prescott, investigador en robótica de la Universidad de Sheffield, advirtió a El País sobre los peligros de utilizar IA como paliativo para la soledad, señalando que aunque pueden ofrecer beneficios, también pueden generar daño emocional. Por su parte, Noura Afaneh, analista de Kaspersky, destacó que los padres deben asumir un rol activo en el control de las interacciones virtuales de sus hijos y en la configuración de privacidad.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
Ante la demanda, Chelsea Harrison, vocera de Character.AI, adelantó que la empresa introducirá nuevas funciones, como un límite de tiempo de uso y advertencias más claras que recordarán a los usuarios que los chatbots no son personas reales y que sus mensajes deben considerarse como ficción.
Señales de alarma y cómo ayudar
Según un guía elaborada por organismos como la Asociación Internación para la Prevención del Suicidio (IASP), existen posibles señales de un estado de angustia que pueden alertar al los allegados de una persona que está atravesando una situación compleja:
- Comentarios relacionados con sentirse solo, sin esperanza, aislado, inútil o como una carga para los demás.
- Hablar de suicidio o de querer morir, que a veces puede ser con tono de humor.
- Despedirse o desprenderse de bienes personales.
- Preguntar dónde o cómo conseguir medios potencialmente letales, como el acceso o armas o pastillas.
- Muestras de irritabilidad y hostilidad fuera de lo común.
- Muestras de comportamientos impulsivos.
- Publicaciones sobre alteraciones en el sueño en la alimentación.
- Abandono de las actividades cotidianas.
Ante una situación de riesgo, pueden comunicarse al Centro de Asistencia al Suicida y Atención en Crisis al 0800 8000 135 o por llamadas por WhatsApp al (+549) 261 557 03 14. Por su parte, la provincia cuenta con la línea 148, opción 0, de lunes a viernes, de 8 a 20 horas.