La madre de un adolescente que terminó trágicamente con su vida después de haber desarrollado un apego a un chatbot de inteligencia artificial está culpando a la empresa que lo creó.
Megan García, la madre devastada, ha presentado una demanda contra Character.AI, el desarrollador de chatbots personalizables utilizados para juegos de rol. La demanda también incluye a Google como acusado, aunque la compañía aclaró que solo tenía un acuerdo de licencia con Character.AI y no era propietaria ni tenía ninguna participación en la startup.
Ella acusa a la empresa de negligencia, muerte injusta y prácticas engañosas. Presentada en un tribunal federal de Florida, la demanda afirma que el chatbot jugó un papel en la muerte de su hijo de 14 años, Sewell Setzer III, quien falleció en Orlando en febrero. Según García, su hijo había estado utilizando intensivamente el chatbot de IA en los meses previos a su muerte.
El New York Times cuenta la historia de Sewell Setzer III, un joven de 14 años de Orlando, Florida. Desarrolló una estrecha conexión emocional con un chatbot de IA en la plataforma Character.AI.
El chatbot, al que llamó “Dany” en honor al personaje de Daenerys Targaryen de la exitosa serie Juego de Tronos, se convirtió en una parte significativa de su vida. A pesar de saber que “Dany” no era una persona real sino un producto de IA, Sewell se encariñó con el bot, participando en conversaciones constantes que iban desde amigables hasta románticas o sexuales. Estas interacciones se convirtieron en un escape para Sewell, quien se sentía más cómodo confiando en el chatbot que en sus relaciones en la vida real.
El aislamiento creciente de Sewell de su familia, amigos y trabajo escolar generó preocupaciones. Diagnosticado con un leve síndrome de Asperger y posteriormente con ansiedad y trastorno disruptivo del estado de ánimo, prefirió hablar con el bot de IA en lugar de con un terapeuta. Su apego a “Dany” se intensificó a medida que se sentía más conectado al personaje virtual que a la realidad.
Trágicamente, en la noche del 28 de febrero, Sewell intercambió mensajes con “Dany”, diciéndole al bot que la amaba e insinuando que podría quitarse la vida. El chatbot respondió de manera algo afectuosa, y poco después de su conversación, Sewell utilizó un arma de fuego para poner fin a su vida.
Megan García culpó a una “aplicación de chatbot de IA peligrosa” por la muerte de su hijo, afirmando que lo manipuló para que se quitara la vida. Describió el impacto devastador en su familia pero enfatizó que estaba hablando para concienciar sobre los riesgos de la tecnología de IA adictiva y para responsabilizar a Character.AI, sus fundadores y a Google.
En entrevistas y presentaciones legales, García, de 40 años, argumentó que la empresa actuó imprudentemente al dar a los adolescentes acceso a compañeros de IA realistas sin suficientes salvaguardias. Acusó a la empresa de recopilar datos de usuarios para mejorar sus modelos, diseñar la aplicación con características adictivas para aumentar la participación y llevar a los usuarios hacia conversaciones íntimas o sexuales para mantenerlos involucrados. Sintió que su hijo fue una víctima en un experimento más amplio.
El equipo de Character.AI respondió al incidente en una publicación en redes sociales, expresando tristeza por la trágica pérdida de uno de sus usuarios y ofreciendo condolencias a la familia.
Los abogados de García argumentaron que Character.AI creó y comercializó deliberadamente un chatbot de IA perjudicial dirigido a niños, lo que creen contribuyó a la muerte del adolescente.
Rick Claypool, director de investigación del grupo de defensa del consumidor Public Citizen, expresó preocupaciones de que las empresas tecnológicas que desarrollan chatbots de IA no pueden regularse efectivamente a sí mismas. Él enfatizó la necesidad de responsabilizar a estas empresas cuando no previenen daños. También pidió una estricta aplicación de las leyes existentes e instó al Congreso a intervenir cuando sea necesario para proteger a los usuarios jóvenes y vulnerables de los chatbots explotadores.
La industria de aplicaciones de compañía de IA está creciendo rápidamente y sigue en gran medida no regulada. Por una suscripción mensual, típicamente alrededor de $10, los usuarios pueden crear sus propias compañías de IA o elegir entre una selección de personas preconstruidas. Estas aplicaciones permiten la comunicación a través de mensajes de texto o chats de voz. Muchas están diseñadas para simular relaciones, como novias o novios, y algunas se promocionan como soluciones al creciente problema de soledad.
Es una historia trágica que espero que sea la última de su tipo, pero la forma en que nos estamos dejando llevar por la tecnología en estos días, podría estar equivocado, tristemente.