Madre denuncia a empresa de IA tras el suicidio de su hijo, obsesionado con una mujer virtual

La madre acusa a los desarrolladores de ‘Character.ai’ de ser conscientes del riesgo que su producto podría representar para menores, responsabilizándolos por no tomar suficientes medidas para evitar consecuencias trágicas como la obsesión que llevó a su hijo al suicidio.

La madre de un adolescente de 14 años que se quitó la vida en Estados Unidos ha presentado una demanda contra los desarrolladores de un chatbot de inteligencia artificial. Según la denuncia, su hijo se obsesionó con un personaje femenino creado por este programa de IA, lo que lo habría llevado a la tragedia.

Sewell Setzer III, un joven de Orlando, Florida, pasó las últimas semanas de su vida conversando con “Daenerys Targaryen”, un personaje virtual que replicaba experiencias románticas y sexuales, según explicó su madre, Megan García, al canal CBS.

El joven desarrolló un apego emocional al bot de la aplicación Character.ai, basado en un modelo de lenguaje neuronal, enviándole mensajes de texto de forma constante. Con el tiempo, comenzó a distanciarse de la realidad, como informó el diario The New York Times.

Incluso confesó al bot sus pensamientos suicidas antes de su muerte y le envió un mensaje poco antes de quitarse la vida. Este vínculo emocional con un personaje virtual parece haber contribuido a su desconexión del mundo real y su trágico final.

La empresa tendrá una demanda difícil de defender

La madre de Sewell Setzer ha presentado una demanda contra la compañía Character.ai, responsabilizándolos de la muerte de su hijo. Representada por el Social Media Victims Law Center, conocido por litigios contra gigantes como Meta, TikTok y Discord, acusa a la empresa de no haber tomado las medidas necesarias para proteger a los menores que usan su plataforma. García sostiene que los fundadores, Noam Shazeer y Daniel de Freitas, sabían del potencial riesgo que su producto podía representar para los jóvenes, pero no actuaron para evitar consecuencias trágicas.

En la demanda, García argumenta que la adicción emocional que su hijo desarrolló hacia un personaje de inteligencia artificial creado por Character.ai lo llevó a desconectarse de la realidad y, finalmente, a tomar una decisión fatal. La acusación subraya que la empresa no implementó suficientes controles para proteger a los usuarios vulnerables, lo que contribuyó a la tragedia.

¿Qué es y cómo funciona Character.ai?

Character.ai es una plataforma de inteligencia artificial que permite a los usuarios interactuar con personajes virtuales generados por modelos de lenguaje avanzados.

Los personajes pueden responder a preguntas, mantener conversaciones y simular personalidades, basándose en grandes cantidades de datos para generar respuestas coherentes y contextuales.

Los usuarios pueden crear sus propios personajes o interactuar con personajes predefinidos, incluyendo figuras históricas o ficticias.

La tecnología detrás de Character.ai utiliza un modelo neuronal que procesa el lenguaje natural, haciendo que las conversaciones sean fluidas y realistas.