“
Desbloquea el Digest del Editor de forma gratuita
Roula Khalaf, Editora del FT, selecciona sus historias favoritas en este boletín semanal.
Los principales líderes de seguridad de OpenAI abandonaron la empresa esta semana después de que la discrepancia sobre si priorizar “productos llamativos” o la seguridad alcanzara un “punto crítico”, según uno de los investigadores que se marcharon.
Jan Leike, que lideraba los esfuerzos de OpenAI para guiar y controlar herramientas de IA superpotentes, dijo que renunció el jueves después de chocar con sus jefes sobre la cantidad de tiempo y recursos que la start-up está dedicando a esos esfuerzos.
“En los últimos años, la cultura y los procesos de seguridad han quedado en segundo plano frente a los productos llamativos”, escribió Leike en una publicación en la red social X el viernes.
OpenAI ha sido el líder en una feroz carrera por construir modelos cada vez más poderosos, compitiendo con rivales como Google, Meta y Anthropic para empujar los límites de la tecnología de IA.
La empresa ha recaudado miles de millones de dólares, incluidos 13 000 millones de Microsoft, para construir modelos de IA que pueden interpretar texto, voz e imágenes y demostrar habilidades de razonamiento. El ritmo de estos avances ha suscitado preocupaciones sobre todo, desde la propagación de la desinformación hasta el riesgo existencial en caso de que las herramientas de IA “se vuelvan rebeldes”.
Leike, uno de los investigadores más respetados de OpenAI, se fue junto con Ilya Sutskever, cofundador de la empresa y co-líder del equipo de “súper alineación” centrado en la seguridad, quien anunció su renuncia a principios de semana.
Esto desbanda de facto el equipo de OpenAI más enfocado explícitamente en garantizar que su tecnología se desarrolle de forma segura. También ha expuesto una creciente tensión en el corazón de la empresa entre capitalizar una ventaja temprana en la IA y cumplir con su misión fundamental de garantizar que la IA “beneficie a toda la humanidad”.
“Urgentemente necesitamos descubrir cómo guiar y controlar sistemas de IA mucho más inteligentes que nosotros”, escribió Leike. “Me uní porque pensé que OpenAI sería el mejor lugar del mundo para hacer esta investigación. Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades básicas de la empresa durante bastante tiempo, hasta que finalmente llegamos a un punto crítico”.
Sam Altman, director ejecutivo de OpenAI, escribió en X que estaba “muy triste de verlo irse a [Leike]. Tiene razón en que tenemos mucho más que hacer; estamos comprometidos a hacerlo”.
Las preocupaciones sobre la seguridad también fueron un factor en el drama en la junta directiva de OpenAI en noviembre, durante el cual Altman fue destituido por directores, incluido Sutskever, solo para regresar cuatro días después. Antes de ser despedido, Altman había chocado con la entonces miembro de la junta Helen Toner, quien comparó el enfoque de OpenAI sobre la seguridad con el de Anthropic en una forma que Altman sintió desfavorable para su empresa.
OpenAI lanzó su equipo de súper alineación el año pasado, diciendo que estaba diseñado para abordar preocupaciones de que las máquinas superinteligentes “podrían llevar a la desempoderación de la humanidad o incluso a la extinción humana”. En ese momento, la empresa sugirió que la IA podría superar a los humanos en la próxima década. En los meses posteriores, la start-up ha estado detrás de varios avances importantes.
Recomendado
La empresa se comprometió a asignar el 20 por ciento de sus recursos informáticos para apoyar el trabajo del equipo asegurando que la IA se alinearía con los intereses humanos incluso a medida que se volviera exponencialmente más poderosa.
Pero Leike dijo que no se había prestado suficiente atención a la seguridad y al impacto social de modelos más potentes: “Estos problemas son bastante difíciles de resolver, y me preocupa que no estemos en una trayectoria para lograrlo”.
El equipo de súper alineación luchó por acceder a los recursos informáticos que se estaban utilizando para desarrollar nuevos modelos para consumidores como GPT-4o, el último modelo de OpenAI lanzado el lunes, dijo Leike.
“Durante los últimos meses, mi equipo ha estado avanzando contra el viento. A veces luchábamos por obtener recursos informáticos y cada vez era más difícil realizar esta investigación crucial”, escribió.
“