En la conferencia NVIDIA GTC 2024, se anunció el soporte para los NVIDIA NIM Inference Microservices en Amazon SageMaker Inference. Esta integración permite desplegar los modelos de lenguaje grandes (LLMs) líderes en la industria en SageMaker y optimizar su rendimiento y costo. Los contenedores pre-optimizados permiten el despliegue de LLMs avanzados en minutos en lugar de días, facilitando su integración en aplicaciones de inteligencia artificial de nivel empresarial.
NIM está construido sobre tecnologías como NVIDIA TensorRT, NVIDIA TensorRT-LLM, y vLLM, y está diseñado para habilitar inferencias de IA de manera sencilla, segura y eficiente en instancias aceleradas por GPU de NVIDIA, alojadas en SageMaker. Esto permite que los desarrolladores aprovechen el poder de estos modelos avanzados usando las APIs de SageMaker con solo unas pocas líneas de código, acelerando el despliegue de capacidades de IA de vanguardia en sus aplicaciones. NIM, parte de la plataforma de software NVIDIA AI Enterprise listada en AWS Marketplace, es un conjunto de microservicios de inferencia que llevan el poder de LLMs avanzados a tus aplicaciones, proporcionando capacidades de procesamiento y comprensión de lenguaje natural, ya sea desarrollando chatbots, resumiendo documentos o implementando otras aplicaciones potenciadas por NLP. Los contenedores preconstruidos de NVIDIA permiten alojar LLMs populares optimizados para GPUs específicas de NVIDIA para un despliegue rápido. Empresas...