Hoy se ha anunciado con entusiasmo la disponibilidad del nuevo modelo Llama 3.1 405B en Amazon SageMaker JumpStart y en Amazon Bedrock, en su versión preliminar. Los modelos Llama 3.1 representan una colección de inteligencia artificial generativa de última generación, preentrenadas y afinadas para instrucciones en tamaños de 8B, 70B y 405B. Amazon SageMaker JumpStart es un centro de aprendizaje automático que proporciona acceso a algoritmos, modelos y soluciones de ML, facilitando el inicio rápido en el aprendizaje automático. Por otro lado, Amazon Bedrock ofrece una manera sencilla de construir y escalar aplicaciones de inteligencia artificial generativa utilizando modelos Meta Llama, a través de una única API.
En este artículo, mostramos cómo utilizar el modelo Llama 3.1 405B para generar datos (etiquetas para un conjunto de datos de muestra) y cómo emplear estos datos generados para afinar un modelo más pequeño, como el Llama 3 8B, mejorando sus respuestas en comparación con el modelo no afinado. También proporcionamos el cuaderno de código que puedes utilizar para ejecutar y probar esta solución. Llama 3.1 es una colección de modelos de lenguaje grande, multilingües y optimizados para inferencia, con soporte para longitudes de contexto largas (128,000) y atención de consulta agrupada (GQA). Los modelos afinados para instrucciones textuales están diseñados para casos de uso en diálogos multilingües, superando a muchos de los modelos de chat dis...