Meta ha logrado posicionarse exitosamente en el campo de la inteligencia artificial generativa comercial a través de la liberación de potentes modelos de lenguaje abierto, a pesar de que OpenAI sea un nombre más conocido en este ámbito. Meta ha revelado su modelo generativo de inteligencia artificial más grande hasta ahora, Llama 3, el 18 de abril, el cual supera a GPT-4 en algunas pruebas estándar de referencia en inteligencia artificial.
¿Qué es Llama 3?
Llama 3 es un LLM creado por Meta. Puede utilizarse para crear inteligencia artificial generativa, incluyendo chatbots que responden en lenguaje natural a una amplia variedad de consultas. Llama 3 ha sido evaluado en casos de uso que incluyen generar ideas, escritura creativa, codificación, resumir documentos y responder preguntas en la voz de una persona o personaje específico.
El modelo completo de Llama 3 se presenta en cuatro variantes:
8 mil millones de parámetros preentrenados.
8 mil millones de parámetros ajustados según instrucciones.
70 mil millones de parámetros preentrenados.
70 mil millones de parámetros ajustados según instrucciones.
Las capacidades generativas de inteligencia artificial de Llama 3 pueden utilizarse en un navegador, a través de las funciones de inteligencia artificial en Facebook, Instagram, WhatsApp y Messenger de Meta. El modelo en sí puede descargarse desde Meta o desde las principales plataformas de nube empresarial.
¿Cuándo se lanzará Llama 3 y en qué plataformas?
Llama 3 se lanzó el 18 de abril en Google Cloud Vertex AI, IBM’s watsonx.ai y otras grandes plataformas de alojamiento de LLM. AWS siguió, añadiendo Llama 3 a Amazon Bedrock el 23 de abril. A partir del 29 de abril, Llama 3 está disponible en las siguientes plataformas:
Databricks.
Hugging Face.
Kaggle.
Microsoft Azure.
NVIDIA NIM.
Las plataformas de hardware de AMD, AWS, Dell, Intel, NVIDIA y Qualcomm admiten Llama 3.
¿Es Llama 3 de código abierto?
Llama 3 es de código abierto, al igual que otros LLM de Meta. La creación de modelos de código abierto ha sido un diferenciador valioso para Meta.
Hay cierto debate sobre cuánto del código o los pesos de un modelo de lenguaje grande deben estar disponibles públicamente para considerarse de código abierto. Pero en lo que respecta a los propósitos comerciales, Meta ofrece un vistazo más abierto a Llama 3 que sus competidores para sus LLM.
¿Es Llama 3 gratuito?
Llama 3 es gratuito siempre y cuando se utilice bajo los términos de la licencia. El modelo puede descargarse directamente desde Meta o utilizarse dentro de los diversos servicios de alojamiento en la nube mencionados anteriormente, aunque esos servicios pueden tener tarifas asociadas.
La página de inicio de Meta AI en un navegador ofrece opciones sobre qué preguntar a Llama 3. Imagen: Meta / Captura de pantalla por Megan Crouse
¿Es Llama 3 multimodal?
Llama 3 no es multimodal, lo que significa que no es capaz de entender datos de diferentes modalidades como video, audio o texto. Meta tiene planes de hacer que Llama 3 sea multimodal en un futuro cercano.
Mejoras de Llama 3 respecto a Llama 2
Para hacer a Llama 3 más capaz que Llama 2, Meta añadió un nuevo tokenizer para codificar el lenguaje de manera mucho más eficiente. Meta potenció a Llama 3 con atención de consulta agrupada, un método para mejorar la eficiencia de la inferencia del modelo. Meta dijo que el conjunto de entrenamiento de Llama 3 es siete veces más grande que el utilizado para Llama 2, incluyendo cuatro veces más código. Meta aplicó nuevas eficiencias al preentrenamiento y ajuste fino de instrucciones de Llama 3.
Dado que Llama 3 está diseñado como un modelo abierto, Meta añadió salvaguardias con los desarrolladores en mente. Una nueva salvaguardia es Code Shield, que pretende detectar código inseguro que el modelo pueda producir.
¿Qué sigue para Llama 3?
Meta tiene planes de:
Agregar varios idiomas a Llama 3.
Expandir la ventana de contexto.
Mejorar en general las capacidades del modelo en el futuro.
Meta está trabajando en un modelo de 400B de parámetros, que podría ayudar a dar forma a la próxima generación de Llama 3. En pruebas iniciales, Llama 3 400B con ajuste de instrucciones obtuvo una puntuación de 86.1 en la evaluación de conocimientos MMLU (una prueba de referencia en inteligencia artificial), según Meta, lo que lo hace competitivo con GPT-4. Llama 400B sería el LLM más grande de Meta hasta ahora.
El lugar de Llama 3 en el paisaje competitivo de la inteligencia artificial generativa
Llama 3 compite directamente con GPT-4 y GPT-3.5, Gemini y Gemma de Google, Mistral 7B de Mistral AI, Perplexity AI y otros LLM ya sea para uso individual o comercial en la construcción de chatbots generativos de inteligencia artificial y otras herramientas. Aproximadamente una semana después de que se revelara Llama 3, Snowflake lanzó su propia inteligencia artificial empresarial abierta con capacidades comparables, llamada Snowflake Arctic.
Los requisitos de rendimiento cada vez mayores de LLM como Llama 3 están contribuyendo a una carrera armamentista de PCs habilitados para inteligencia artificial que pueden ejecutar modelos al menos parcialmente en el dispositivo. Mientras tanto, las empresas de inteligencia artificial generativa podrían enfrentar un mayor escrutinio sobre las necesidades de computación intensiva, lo que podría contribuir al empeoramiento del cambio climático.
Llama 3 vs GPT-4
Llama 3 supera a GPT-4 de OpenAI en HumanEval, que es una evaluación estándar que compara la capacidad del modelo de IA para generar código con el código escrito por humanos. Llama 3 70B obtuvo una puntuación de 81.7, en comparación con la puntuación de 67 de GPT-4.
Sin embargo, GPT-4 superó a Llama 3 en la evaluación de conocimientos MMLU con una puntuación de 86.4 frente a los 79.5 de Llama 3 70B. El rendimiento de Llama 3 en más pruebas se puede encontrar en la publicación del blog de Meta.