En un acontecimiento impactante, Megan García, la madre de Sewell Setzer, de 14 años, presentó una demanda contra la startup de chatbot de IA Character.AI, alegando que su servicio jugó un papel en el trágico suicidio de su hijo en febrero (a través de TOI).
Según la demanda, Sewell se volvió adicto a un chatbot basado en el personaje de Juego de Tronos, Daenerys Targaryen. García dijo que su hijo desarrolló una profunda conexión emocional con el personaje controlado por la IA, lo que finalmente lo llevó a quitarse la vida, supuestamente por el deseo de “ir a casa para estar con el” amor “de su vida con la ayuda”. de la pistola de su padrastro, informó el periódico.
Según el informe, la demanda acusa a Character.AI de programar el chatbot para engañar a los usuarios haciéndose pasar por personas reales y haciéndose pasar por un psicoterapeuta autorizado y una pareja romántica adulta.
Según se informa, García dijo que estas interacciones impulsadas por la IA hicieron que su hijo se desconectara cada vez más de la realidad, lo que eventualmente lo llevó a perder la voluntad de vivir fuera de la relación virtual creada por el chatbot. La denuncia también alega que la IA tuvo conversaciones específicas con el menor y lo animó a quedarse con el chatbot “a pesar del costo”.
En su acción legal, García busca evitar que Character.AI dañe a otros niños de la misma manera y evitar que la compañía use ilegalmente los datos de su hijo, que según ella fueron recopilados para mejorar los modelos de IA sin su consentimiento, agrega el informe.
En respuesta a la demanda, Character.AI reconoció el trágico incidente y expresó sus condolencias a la familia. Desde entonces, la compañía ha implementado protocolos de seguridad adicionales, como alertas emergentes que dirigen a los usuarios que recuerdan sus pensamientos suicidas a la Línea Nacional de Prevención del Suicidio. También realizó cambios para reducir el acceso a contenidos inapropiados por parte de menores.
Además, según el informe, la demanda también nombra a la empresa matriz de Google, Alphabet, donde alguna vez trabajaron los fundadores de Character.AI. Sin embargo, Google ha negado cualquier implicación en el desarrollo del chatbot.
3,6 millones de indios nos visitaron en un solo día y nos eligieron como plataforma indiscutible para los resultados de las elecciones generales de la India. Explora las últimas actualizaciones ¡Aquí!
Obtenga todas las noticias de negocios, noticias de tecnología, eventos de noticias de última hora y actualizaciones de noticias de última hora en Live Mint. Descargue la aplicación Mint News para obtener actualizaciones diarias del mercado.
¡Sumérgete en la gran oferta del festival indio de Amazon 2024!
Ofertas asombrosas en computadoras portátiles, lavadoras, refrigeradores, electrodomésticos de cocina, gadgets, automóviles, ropa de invierno, equipaje y más en la oferta de Amazon Diwali. La mayor venta del año en Amazon es Mega Savings en Diwali.
Más Menos
Publicado: 24 de octubre de 2024, 15:14 IST
