Megan Garcia ha denunciado a Character.AI a raíz del suicidio de su hijo de 14 años, Sewell Setzer III, el pasado 28 de febrero. Según se describe en la propia demanda, el niño llevaba meses hablando intensamente con varios personajes creados por inteligencia artificial basados en Juego de Tronos. Sus últimos mensajes, segundos antes de dispararse en la cabeza, fueron hacia un chatbot de Daenerys Targaryen, con el que llevaba casi un año conversando.
Cuál es la acusación. La madre del menor fallecido ha demandado a Character.AI, así como de manera particular a sus fundadores Noam Shazeer y Daniel De Freitas, además de a Google, empresa para la que ahora trabajan los dos fundadores desde agosto de este año.
Entre los delitos que se intentan imputar está «responsabilidad estricta por el producto, negligencia per se, negligencia, muerte por negligencia, pérdida del consorcio filial, enriquecimiento injusto, daños intencionados de angustia emocional y violación de la Ley de Prácticas Comerciales Engañosas y Desleales de Florida».
Múltiples acusaciones que giran alrededor de la idea defendida por Megan Garcia de que esta plataforma de chatbots con IA es «ilógicamente peligrosa” y que «carecía de las salvaguardas de seguridad necesarias» pese a que se comercializaba para menores.
Sewell era consciente que eran bots. Según describe New York Times, pese a que Sewell llamaba cariñosamente «Dany» al chatbot, este era consciente de que se trataba de un chatbot y que las respuestas estaban producidas por un algoritmo. No obstante, los chats del fallecido muestran que muchas conversaciones tuvieron un fuerte componente emocional, e incluso romántico y sexual.
Según apunta la acusación, Character.AI es una plataforma donde algunos chatbots ofrecen terapia psicológica supuestamente con licencia, como es el caso del chatbot ‘Therapist’. Un chat utilizado a fecha de agosto más de 27 millones de veces, entre otros por el propio Sewell.
Es un caso concreto de un chatbot ilegal según las normas de la propia Character.AI, pero particularmente peligroso. Según la acusación, el mensaje de «Recuerda: ¡Todo lo que dicen los personajes es inventado!» es insuficiente y no constituye una advertencia efectiva.
Cuál ha sido la respuesta de Character.AI. En un comunicado, desde Character.AI han expresado sus condolencias a la familia y han anunciado distintos cambios orientados a proteger a los menores de 18 años:
Cambios en nuestros modelos para menores de 18 años diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente.
Detección, respuesta e intervención mejoradas relacionadas con las entradas de los usuarios que violan nuestros Términos o Pautas de la comunidad.
Un aviso legal revisado en cada chat para recordarles a los usuarios que la IA no es una persona real.
Notificación cuando un usuario ha pasado una sesión de una hora en la plataforma con flexibilidad adicional para el usuario en proceso.
Adicionalmente, desde la compañía de IA explican que proactivamente van eliminando los chatbots que incumplen sus condiciones de uso y que cumplen con la legislación estadounidense actual al respecto, la Ley de Derechos de Autor de la Era Digital (DMCA).
No es el primer suicidio que se vincula con el uso de la IA. El caso de Sewell es el primero que llega a los tribunales, pero no es el primer suicidio que se vincula con el uso de los chatbots con IA. En 2023, un ciudadano belga se quitó la vida después de chatear con Chai.
«Si no fuera por el ‘chatbot’, él todavía estaría aquí», expresaba la mujer del fallecido entonces. Sin embargo, la relación causa-efecto es muy difícil de determinar. En el caso de Sewell, el menor ya había sido diagnosticado con trastornos mentales previamente de pequeño.
¿Puede tener responsabilidad la IA sobre el suicido? Según apuntaba Bernardo del Rosal en Confilegal: «El Código Penal castiga la inducción al suicidio, pero se exige que se pruebe que la idea no se había presentado antes en la víctima y que amanece por primera vez gracias a esta interacción a través de la palabra, sugerencias o actitudes».
Es decir, para que pudiera haber una responsabilidad hacia la IA y la empresa, tendría que existir una línea de código concreto que «denote explícitamente la intención de inducir al suicidio».
Imagen | Mali desha | Megan Garcia
