Amazon ha anunciado la disponibilidad de un nuevo sistema de enrutamiento de sesiones persistentes en Amazon SageMaker Inference. Esta funcionalidad promete mejorar el rendimiento y la experiencia del usuario en aplicaciones de inteligencia artificial generativa al aprovechar la información previamente procesada. Este avance en SageMaker facilita la implementación y el despliegue de modelos de aprendizaje automático, incluyendo modelos base, ofreciendo la mejor relación calidad-precio para cualquier caso de uso.
Gracias a la nueva característica de enrutamiento de sesiones persistentes, todas las solicitudes de una misma sesión se redirigen a la misma instancia. Esto permite que las aplicaciones reutilicen la información procesada previamente, reduciendo así la latencia y mejorando la experiencia del usuario. Esta innovación es especialmente útil cuando se manejan grandes cargas de datos o se requiere una experiencia interactiva fluida. Al utilizar las solicitudes de inferencia previas, los desarrolladores pueden aprovechar esta característica para crear aplicaciones de inteligencia artificial conscientes del estado en SageMaker. Para utilizar esta función, se crea un ID de sesión con la primera solicitud y se utiliza ese ID para indicar que SageMaker debe redirigir todas las solicitudes subsecuentes a la misma instancia. Las sesiones también pueden eliminarse cuando se finalizan, liberando recursos para nuevas sesiones. Esta funcionalidad está disponible en ...