El software de inteligencia artificial no siempre hace lo que las personas que lo construyen quieren que haga, un problema potencialmente peligroso que ha consumido a algunas de las empresas más grandes que trabajan en la tecnología.
Grandes empresas como OpenAI y Google de Alphabet Inc. están dirigido cada vez más trabajadores, dinero y potencia informática hacia el problema. Y Anthropic, un competidor de OpenAI, lo ha puesto en el centro de su desarrollo de Claude, un producto que se presenta como un tipo de chatbot AI más seguro.
A partir de este mes, una nueva compañía llamada Synth Labs también está abordando el problema. Fundada por algunos nombres prominentes de la industria de la inteligencia artificial, la compañía está saliendo de las sombras esta semana y ha recaudado fondos semilla del fondo de capital de riesgo de Microsoft Corp., M12, y First Spark Ventures de Eric Schmidt. Synth Labs se centra principalmente en construir software, parte de él de código abierto, para ayudar a una variedad de empresas a garantizar que sus sistemas de inteligencia artificial actúen de acuerdo con sus intenciones. Se posiciona como una empresa que trabaja de manera transparente y colaborativa.
La alineación, como a veces se le llama al problema, representa un desafío técnico para las aplicaciones de inteligencia artificial como los chatbots que se construyen sobre grandes modelos de lenguaje, que generalmente se entrenan en grandes porciones de datos de internet. El esfuerzo se ve complicado por el hecho de que la ética y los valores de las personas, así como sus ideas sobre lo que se debe y no se debe permitir que haga la IA, varían. Los productos de Synth Labs buscarán ayudar a dirigir y personalizar grandes modelos de lenguaje, particularmente modelos que son de código abierto.
La compañía comenzó como un proyecto dentro del laboratorio de investigación en inteligencia artificial sin fines de lucro EleutherAI, trabajado por dos de los tres fundadores: Louis Castricato y Nathan Lile, además de la asesora de Synth Labs y directora ejecutiva de EleutherAI, Stella Biderman. Francis deSouza, ex director ejecutivo de la empresa de biotecnología Illumina Inc., también es cofundador. Synth Labs se negó a decir cuánto dinero ha recaudado hasta ahora.
En los últimos meses, la startup ha desarrollado herramientas que pueden evaluar fácilmente grandes modelos de lenguaje sobre temas complejos, dijo Castricato. El objetivo, dijo, es democratizar el acceso a herramientas fáciles de usar que puedan evaluar y alinear automáticamente los modelos de IA.
Un reciente artículo de investigación que Castricato, Lile y Biderman coescribieron proporciona una idea del enfoque de la empresa: los autores utilizaron respuestas a indicaciones, que fueron generadas por los modelos de IA GPT-4 de OpenAI y Beluga 2 de IA Stable de Stability AI, para crear un conjunto de datos. Ese conjunto de datos se utilizó como parte de un proceso automatizado para dirigir a un chatbot a evitar hablar sobre un tema y en cambio hablar sobre otro.
“La forma en que estamos pensando en diseñar algunas de estas herramientas tempranas realmente se trata de brindarte la oportunidad de decidir qué significa la alineación para tu negocio o tus preferencias personales”, dijo Lile.
¡Suscríbase al boletín de Eye on AI para estar al tanto de cómo la inteligencia artificial está dando forma al futuro de los negocios. Regístrese gratis.