Un director técnico de una escuela secundaria en Maryland ha sido acusado de utilizar inteligencia artificial para hacerse pasar por un director en una grabación de audio que incluía comentarios racistas y antisemitas, informaron las autoridades el jueves.
Las autoridades dijeron que el caso parece ser uno de los primeros de su tipo en el país y pidieron nuevas leyes para protegerse contra esta tecnología. Los expertos también advirtieron que la inteligencia artificial está volviéndose cada vez más poderosa, mientras que la capacidad para detectarla puede quedarse rezagada sin más recursos.
Dazhon Darien falsificó la voz del director de Pikesville High School en respuesta a conversaciones que ambos habían tenido sobre el deficiente desempeño laboral de Darien y si se renovaría su contrato, dijo la policía del condado de Baltimore.
Las acusaciones incluyeron afirmaciones de que Darien le había pagado $1,900 a su compañero de cuarto con fondos escolares bajo el falso pretexto de ser entrenador del equipo de fútbol femenino, dijo la policía.
Darien falsificó un fragmento de audio en el que parecía que el director estaba frustrado con los estudiantes afroamericanos y su capacidad para tomar exámenes, escribieron las autoridades en documentos de acusación. Dijeron que la grabación también pretendía capturar al director menospreciando a individuos judíos y a dos profesores.
El fragmento de audio rápidamente se difundió en las redes sociales y tuvo “repercusiones profundas”, indicaron los documentos del tribunal, lo que llevó a que el director fuera puesto en licencia. La grabación puso al director y su familia en un “riesgo significativo”, con oficiales de policía proporcionando seguridad en su casa, según las autoridades.
La grabación también desencadenó una ola de mensajes llenos de odio en las redes sociales y una avalancha de llamadas telefónicas a la escuela, dijo la policía. Las actividades se vieron interrumpidas durante un tiempo y algunos miembros del personal se sintieron inseguros.
“Los profesores han expresado temores de que se hayan colocado dispositivos de grabación en varios lugares de la escuela”, indicaron los documentos de acusación.
Darien, de 31 años, enfrenta cargos que incluyen robo, interrupción de las actividades escolares, acoso y represalias contra un testigo, según documentos judiciales.
Scott Shellenberger, el fiscal del condado de Baltimore, dijo que el caso parece ser uno de los primeros de su tipo a nivel nacional que su oficina pudo encontrar involucrando inteligencia artificial. Dijo que la Legislatura de Maryland puede necesitar actualizar las leyes estatales para ponerse al día con las posibilidades maliciosas de esta nueva tecnología.
Por ejemplo, el cargo de interrupción de actividades escolares “sólo lleva una sentencia de 6 meses”, dijo Shellenberger.
“Pero también debemos echar un vistazo más amplio a cómo esta tecnología puede ser utilizada y abusada para perjudicar a otras personas”, dijo el fiscal.
Los detectives del condado de Baltimore habían solicitado a expertos analizar la grabación hecha por Darien, según las acusaciones en su contra.
Un profesor de la Universidad de Colorado-Denver le dijo a la policía que “contenía rastros de contenido generado por inteligencia artificial con edición humana posteriormente, que agregó ruidos de fondo para dar realismo”, indicaron los registros judiciales.
Una segunda opinión de un profesor de la Universidad de California-Berkeley le dijo a la policía que “múltiples grabaciones se habían unido”, según los registros.
Un detective del condado de Baltimore descubrió que Darien había utilizado Modelos de Lenguaje Amplio, como OpenAI y Bingchat, los cuales pueden “decirle a los usuarios qué pasos tomar para crear contenido multimedia sintético”, según los documentos judiciales.
Los registros judiciales en línea de Darien muestran que pagó una fianza de $5,000 el jueves. Los registros no mencionan a un abogado que pueda hablar en su nombre.
Darien fue arrestado la noche del miércoles antes de abordar un avión en el Aeropuerto Internacional Thurgood Marshall de Baltimore/Washington, dijo el Jefe de Policía del condado de Baltimore, Robert McCullough. Dijeron a Darien porque había empaquetado su arma de fuego para el vuelo, lo que llevó a los oficiales a descubrir que tenía una orden de arresto, según McCullough.
McCullough dijo que las autoridades habían ingresado la orden de arresto de Darien en el sistema el miércoles por la noche con planes de cumplirla el jueves por la mañana. El jefe dijo que no sabía por qué Darien estaba tomando un vuelo a Houston y no insinuó que intentara escapar.
El sistema escolar del condado de Baltimore está recomendando la terminación de Darien, dijo la superintendente Myriam Rogers el jueves.
Mientras tanto, la inteligencia artificial se está volviendo cada vez más poderosa y, sin embargo, “muy fácil de usar,” dijo Siwei Lyu, director de un laboratorio forense de medios de comunicación en la Universidad de Buffalo.
“Básicamente puedes subir la voz de cualquier persona a esta plataforma”, Lyu le dijo a The Associated Press el jueves. “Y luego puedes darle texto y empezar a crear voces de esa persona.”
Un fragmento de alguien hablando durante un minuto o dos puede extraerse de las redes sociales y utilizarse para recrear la voz de alguien, dijo Lyu, señalando que no siempre es perfecto.
La investigación de Lyu se enfoca en identificar voces e imágenes generadas por inteligencia artificial. Dijo que los modelos se están volviendo más poderosos, mientras que los métodos de detección intentan ponerse al día.
“Es como un juego de persecución eterno”, dijo Lyu. “Pero si proyecto la velocidad de desarrollo basado en la situación actual, la detección se quedará atrás porque tenemos menos recursos y no nos prestan tanta atención como el lado generativo.”
Suscríbete al boletín de Eye on AI para estar al tanto de cómo la IA está dando forma al futuro del negocio. Regístrese gratis.