Con el rápido crecimiento de la inteligencia artificial (IA) generativa, muchos clientes de Amazon Web Services (AWS) buscan aprovechar los modelos fundacionales (FM) y tecnologías disponibles públicamente. Esto incluye Meta Llama 3, el modelo de lenguaje grande (LLM) disponible públicamente de Meta. La colaboración entre Meta y Amazon representa una innovación colectiva en IA generativa, y ambas empresas están trabajando juntas para ampliar los límites de lo que es posible.
Meta Llama 3 es el sucesor del modelo Meta Llama 2, manteniendo una capacidad de 70 mil millones de parámetros, pero logrando un rendimiento superior a través de técnicas de entrenamiento mejoradas en lugar de un aumento en el tamaño del modelo. Este enfoque subraya la estrategia de Meta de optimizar la utilización de datos y metodologías para impulsar las capacidades de la IA. La versión incluye nuevos modelos basados ??en la arquitectura de Meta Llama 2, disponibles en variantes de 8 mil millones y 70 mil millones de parámetros, cada una ofreciendo versiones base e instructivas. Una mejora significativa en Meta Llama 3 es la adopción de un tokenizador con un vocabulario de 128.256 tokens, mejorando la eficiencia de la codificación de texto para tareas multilingües. El modelo de 8 mil millones de parámetros integra atención de consulta agrupada (GQA) para mejorar el procesamiento de secuencias de datos más largas, mejorando el rendimiento en aplicaciones del mundo real. El entrena...