OpenAI disuelve el equipo de seguridad de AI de Superalineación

OpenAI ha disuelto su equipo enfocado en los riesgos a largo plazo de la inteligencia artificial justo un año después de que la compañía anunciara el grupo, confirmó a CNBC una persona familiarizada con la situación el viernes.

La persona, que habló bajo condición de anonimato, dijo que algunos de los miembros del equipo están siendo reasignados a múltiples otros equipos dentro de la empresa.

La noticia llega días después de que ambos líderes del equipo, el cofundador de OpenAI Ilya Sutskever y Jan Leike, anunciaran sus salidas de la startup respaldada por Microsoft. Leike escribió el viernes que “la cultura de seguridad y los procesos de OpenAI han pasado a un segundo plano frente a productos llamativos”.

El equipo de Superalineación de OpenAI, anunciado el año pasado, se ha centrado en “avances científicos y técnicos para guiar y controlar sistemas de IA mucho más inteligentes que nosotros”. En ese momento, OpenAI dijo que destinaría el 20% de su capacidad informática a la iniciativa durante cuatro años.

OpenAI no proporcionó un comentario y en su lugar dirigió a CNBC a la publicación reciente del cofundador y CEO Sam Altman en X, donde compartió que estaba triste de ver partir a Leike y que la empresa tenía más trabajo por hacer.

La noticia de la disolución del equipo fue informada por primera vez por Wired.

Sutskever y Leike anunciaron sus salidas en la plataforma de redes sociales X el martes, horas de diferencia, pero el viernes, Leike compartió más detalles sobre por qué dejó la startup.

“Me uní porque pensé que OpenAI sería el mejor lugar del mundo para hacer esta investigación”, escribió Leike en X. “Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades fundamentales de la empresa durante bastante tiempo, hasta que finalmente alcanzamos un punto crítico”.

LEAR  IoT y seguridad pública: mejora de la respuesta a emergencias

Leike escribió que cree que mucho más del ancho de banda de la empresa debería centrarse en seguridad, monitoreo, preparación, seguridad e impacto social.

“Estos problemas son bastante complicados de solucionar, y me preocupa que no estemos en una trayectoria para lograrlo”, escribió. “En los últimos meses, mi equipo ha estado navegando contra el viento. A veces nos costaba [recursos informáticos] y era cada vez más difícil realizar esta investigación crucial”.

Leike agregó que OpenAI debe convertirse en una “empresa AGI centrada en la seguridad”.

“Construir máquinas más inteligentes que los humanos es una tarea intrínsecamente peligrosa”, escribió. “OpenAI está asumiendo una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura de seguridad y los procesos han pasado a un segundo plano frente a productos llamativos”.

Leike no respondió de inmediato a una solicitud de comentario.

Las salidas de alto perfil se producen meses después de que OpenAI pasara por una crisis de liderazgo que involucró a Altman.

En noviembre, la junta directiva de OpenAI destituyó a Altman, diciendo en un comunicado que Altman no había sido “consistentemente franco en sus comunicaciones con la junta directiva”.

El problema parecía volverse más complejo cada día, con The Wall Street Journal y otros medios de comunicación informando que Sutskever centró su atención en garantizar que la inteligencia artificial no dañara a los humanos, mientras que otros, incluido Altman, estaban más ansiosos por avanzar con la entrega de nuevas tecnologías.

La destitución de Altman provocó renuncias o amenazas de renuncia, incluida una carta abierta firmada por virtualmente todos los empleados de OpenAI, y el malestar de los inversores, incluido Microsoft. Dentro de una semana, Altman volvió a la empresa, y los miembros de la junta Helen Toner, Tasha McCauley e Ilya Sutskever, que habían votado para destituir a Altman, estaban fuera. Sutskever permaneció en el personal en ese momento, pero ya no como miembro de la junta. Adam D’Angelo, quien también había votado para destituir a Altman, permaneció en la junta.

LEAR  La corte suprema de Brasil ordena la suspensión de X de Elon Musk en medio de la disputa sobre cuentas.

Cuando se le preguntó a Altman sobre el estado de Sutskever en una llamada de Zoom con periodistas en marzo, dijo que no había actualizaciones que compartir. “Amo a Ilya… Espero trabajar juntos por el resto de nuestras carreras, mi carrera, lo que sea”, dijo Altman. “Nada que anunciar hoy”.

El martes, Altman compartió sus pensamientos sobre la salida de Sutskever.

“Esto me entristece mucho; Ilya es fácilmente una de las mentes más brillantes de nuestra generación, una luz guía de nuestro campo y un querido amigo”, escribió Altman en X. “Su brillantez y visión son bien conocidas; su calidez y compasión son menos conocidas pero no menos importantes”. Altman dijo que el director de investigación Jakub Pachocki, que ha estado en OpenAI desde 2017, reemplazará a Sutskever como científico jefe.

Las noticias de las salidas de Sutskever y Leike, y la disolución del equipo de superalineamiento, llegan días después de que OpenAI lanzara un nuevo modelo de IA y una versión de escritorio de ChatGPT, junto con una interfaz de usuario actualizada, el último esfuerzo de la compañía para expandir el uso de su popular chatbot.

La actualización lleva el modelo GPT-4 a todos, incluidos los usuarios gratuitos de OpenAI, dijo la jefa de tecnología Mira Murati el lunes en un evento transmitido en vivo. Agregó que el nuevo modelo, GPT-4o, es “mucho más rápido”, con capacidades mejoradas en texto, video y audio.

OpenAI dijo que eventualmente planea permitir a los usuarios chatear por video con ChatGPT. “Esta es la primera vez que realmente damos un gran paso adelante en cuanto a facilidad de uso”, dijo Murati.

LEAR  Trump agrega a ex-demócratas Gabbard y RFK Jr a su equipo de transición.