Hoy se ha anunciado con entusiasmo el soporte de AWS Trainium y AWS Inferentia para el ajuste fino y la inferencia de los modelos Llama 3.1. La familia Llama 3.1 abarca modelos generativos pre-entrenados y ajustados bajo instrucción en tamaños de 8B, 70B y 405B. En una publicación anterior, se cubrió cómo desplegar los modelos Llama 3 en instancias basadas en AWS Trainium e Inferentia en Amazon SageMaker JumpStart. En esta ocasión, se detalla cómo empezar a ajustar y desplegar la familia de modelos Llama 3.1 en chips de IA de AWS, para aprovechar sus beneficios en términos de precio y rendimiento.
Los modelos Llama 3.1 son una colección de modelos multilingües grandes (LLMs) optimizados para el uso en diálogo multilingüe y superan a muchos modelos de chat públicos en benchmarks industriales. Han sido entrenados para generar llamadas a herramientas específicas para capacidades como búsqueda, generación de imágenes, ejecución de código y razonamiento matemático. El modelo Llama 3.1 405B es el LLM más grande disponible públicamente y es ideal para aplicaciones empresariales y de investigación y desarrollo. Arquitectónicamente, los modelos Llama 3 y Llama 3.1 comparten la misma arquitectura densa de transformadores auto-regresivos, usando supervisión de afinado y aprendizaje por refuerzo con retroalimentación humana para alinearse con las preferencias humanas en términos de utilidad y seguridad.
Para empezar a trabajar con los modelos Llama 3.1 en AWS...