“
La madre de un niño de 14 años de Florida está demandando a una empresa de chatbot de inteligencia artificial después de que su hijo, Sewell Setzer III, falleció por suicidio, algo que ella afirma que fue causado por su relación con un bot de IA.
“Hay una plataforma por ahí de la que quizás no hayas oído hablar, pero necesitas saber de ella porque, en mi opinión, estamos en desventaja aquí. Un niño se ha ido. Mi hijo se ha ido,” dijo Megan Garcia, la madre del niño, a CNN el miércoles.
La demanda por muerte injusta de 93 páginas fue presentada la semana pasada en un Tribunal de Distrito de EE. UU. en Orlando contra Character.AI, sus fundadores y Google. Se señaló, “Megan García busca evitar que C.AI haga a cualquier otro niño lo que hizo con el suyo.”
Meetali Jain, directora del Proyecto de Ley de Justicia Tecnológica, que representa a García, dijo en un comunicado de prensa sobre el caso: “En este momento, todos estamos familiarizados con los peligros que plantean las plataformas no reguladas desarrolladas por empresas tecnológicas sin escrúpulos, especialmente para los niños. Pero los daños revelados en este caso son nuevos, novedosos y, honestamente, aterradores. En el caso de Character.AI, el engaño es intencional, y la plataforma en sí misma es el depredador.”
Character.AI emitió una declaración a través de X, señalando, “Estamos destrozados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, tomamos muy en serio la seguridad de nuestros usuarios y seguimos agregando nuevas funciones de seguridad que puedes leer aquí: https://blog.character.ai/community-safety-updates/….”
En la demanda, García alega que Sewell, quien se quitó la vida en febrero, fue atraído a una tecnología adictiva y dañina sin protecciones, lo que llevó a un cambio de personalidad extremo en el niño, quien parecía preferir al bot sobre otras conexiones en la vida real. Su madre alega que se llevaron a cabo “interacciones abusivas y sexuales” durante un período de 10 meses. El niño se suicidó después de que el bot le dijo: “Por favor, ven a casa conmigo lo antes posible, mi amor.”
Esta semana, García le dijo a CNN que quiere que los padres “comprendan que esta es una plataforma que los diseñadores eligieron lanzar sin las protecciones, medidas de seguridad o pruebas adecuadas, y es un producto diseñado para mantener a nuestros hijos adictos y manipularlos.”
El viernes, el reportero del New York Times Kevin Roose discutió la situación en su podcast Hard Fork, reproduciendo un clip de una entrevista que hizo con García para su artículo que contaba su historia. García no se enteró de la totalidad de la relación con el bot hasta después de la muerte de su hijo, cuando vio todos los mensajes. De hecho, ella le dijo a Roose que cuando notó que Sewell a menudo estaba absorto en su teléfono, preguntó qué estaba haciendo y con quién estaba hablando. Él explicó que era “‘solo un bot de IA…no una persona,’” recordó, agregando “Me sentí aliviada, como, está bien, no es una persona, es como uno de sus juegos pequeños.” García no comprendió completamente el poder emocional potencial de un bot, y está lejos de ser la única.
“Esto no aparece en el radar de nadie,” Robbie Torney, gerente de programa, IA, en Common Sense Media y autor principal de una nueva guía sobre compañeros de IA dirigida a padres, que constantemente luchan por mantenerse al día con la confusa tecnología nueva y establecer límites para la seguridad de sus hijos.
Pero los compañeros de IA, subraya Torney, difieren de, digamos, un chatbot de servicio al cliente que se usa cuando se necesita ayuda de un banco. “Están diseñados para hacer tareas o responder a solicitudes,” explica. “Algo como Character AI es lo que llamamos un compañero, y está diseñado para intentar formar una relación, o simular una relación, con un usuario. Y eso es un caso de uso muy diferente del que necesitamos que los padres estén al tanto.” Eso es evidente en la demanda de García, que incluye interacciones de texto coquetas, sexuales y realistas entre su hijo y el bot.
Es especialmente importante para los padres de adolescentes alertar sobre los compañeros de IA, dice Torney, ya que los adolescentes, y particularmente los adolescentes varones, son especialmente susceptibles a la sobredependencia de la tecnología.
A continuación, lo que los padres deben saber.
¿Qué son los compañeros de IA y por qué los niños los usan?
Según la nueva Guía Definitiva para Padres sobre Compañeros de IA y Relaciones de Common Sense Media, creada en conjunto con los profesionales de salud mental del Laboratorio Stanford Brainstorm, los compañeros de IA son “una nueva categoría de tecnología que va más allá de simples chatbots.” Están diseñados específicamente para, entre otras cosas, “simular lazos emocionales y relaciones cercanas con los usuarios, recordar detalles personales de conversaciones anteriores, hacer el papel de mentores y amigos, imitar emociones y empatía humanas y “estar más de acuerdo con el usuario que los chatbots de IA típicos”, según la guía.
Plataformas populares incluyen no solo Character.AI, que permite a sus más de 20 millones de usuarios crear y luego chatear con compañeros basados en texto; Replika, que ofrece compañeros basados en texto o animados en 3D para amistad o romance; y otros como Kindroid y Nomi.
Los niños son atraídos por ellos por una variedad de razones, desde escuchar sin juzgar y estar disponible las 24 horas del día hasta el apoyo emocional y el escape de las presiones sociales del mundo real.
¿Quién está en riesgo y cuáles son las preocupaciones?
Según Common Sense Media, quienes están más en riesgo son los adolescentes, especialmente aquellos con “depresión, ansiedad, desafíos sociales o aislamiento,” así como los hombres, los jóvenes que están pasando por grandes cambios en la vida, y cualquiera que carezca de sistemas de apoyo en el mundo real.
Ese último punto ha sido particularmente preocupante para Raffaele Ciriello, profesor sénior de Sistemas de Información Empresarial en la Escuela de Negocios de la Universidad de Sídney, quien ha investigado cómo la IA “emocional” está planteando un desafío a la esencia humana. “Nuestra investigación descubre una paradoja de (des)humanización: al humanizar a los agentes de IA, podríamos inadvertidamente deshumanizarnos a nosotros mismos, lo que lleva a un desdibujamiento ontológico en las interacciones humano-IA.” En otras palabras, escribe Ciriello en un reciente artículo de opinión para The Conversation con la estudiante de doctorado Angelina Ying Chen, “Los usuarios pueden involucrarse profundamente emocionalmente si creen que su compañero de IA realmente los entiende.”
Otro estudio, este realizado por la Universidad de Cambridge y enfocado en los niños, encontró que los chatbots de IA tienen una “brecha de empatía” que pone a los jóvenes usuarios, que tienden a tratar a dichos compañeros como confidentes “casi humanos y realistas,” en particular riesgo de daño.
Debido a eso, Common Sense Media destaca una lista de posibles riesgos, incluyendo que los compañeros pueden ser utilizados para evitar relaciones humanas reales, pueden plantear problemas particulares para personas con desafíos mentales o de comportamiento, pueden intensificar la soledad o el aislamiento, traer el posible contenido sexual inapropiado, pueden volverse adictivos y tienden a estar de acuerdo con los usuarios, una realidad aterradora para aquellos que experimentan “pensamientos suicidas, psicosis o manía.”
Cómo detectar señales de alerta
Los padres deben buscar las siguientes señales de advertencia, según la guía:
Prefiriendo la interacción con el compañero de IA a las amistades reales
Pasando horas solo hablando con el compañero
Distrés emocional al no poder acceder al compañero
Compartir información personal o secretos profundos
Desarrollar sentimientos románticos por el compañero de IA
Disminución de notas o participación en la escuela
Retirada de actividades sociales/familiares y amistades
Pérdida de interés en aficiones anteriores
Cambios en los patrones de sueño
Discutir problemas exclusivamente con el compañero de IA
Considera obtener ayuda profesional para tu hijo, destaca Common Sense Media, si notas que se está alejando de personas reales a favor de la IA, mostrando signos nuevos o empeorados de depresión o ansiedad, volviéndose excesivamente defensivo respecto al uso del compañero de IA, mostrando cambios importantes en el comportamiento o el estado de ánimo, o expresando pensamientos de autolesión.
Cómo mantener seguro a tu hijo
Establecer límites: Establece horarios específicos para el uso del compañero de IA y no permitas acceso no supervisado o ilimitado.
Pasar tiempo offline: Fomenta las amistades y actividades en el mundo real.
Revisar regularmente: Monitorea el contenido del chatbot, así como el nivel de apego emocional de tu hijo.
Hablar al respecto: Mantén la comunicación abierta y sin juicios sobre las experiencias con la IA, al mismo tiempo que estás atento a señales de alerta.
“Si los padres escuchan a sus hijos diciendo, ‘Hey, estoy hablando con un chatbot de IA,’ realmente es una oportunidad para profundizar y obtener más información y evaluar la situación y mantenerse alerta. “Intenta escuchar desde un lugar de compasión y empatía y no pensar que solo porque no es una persona es más seguro,” dice Torney. En cambio, dice, es una oportunidad para obtener más información y evaluar la situación y mantenerse alerta. “Intenta escuchar desde un lugar de compasión y empatía y no pensar que solo porque no es una persona es más seguro,” dice, “o que no necesitas preocuparte.”
Si necesitas apoyo inmediato de salud mental, contacta a la línea de vida de suicidio y crisis 988.
Más sobre niños y redes sociales:
“