Amazon ha lanzado Amazon Bedrock, un servicio completamente gestionado que facilita la integración de modelos de inteligencia artificial de alto rendimiento de empresas líderes como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon. Mediante una única API, los usuarios pueden acceder a diferentes modelos base para desarrollar aplicaciones de inteligencia artificial generativa con un enfoque en seguridad, privacidad e inteligencia artificial responsable.
Una de las capacidades destacadas de Amazon Bedrock es la inferencia por lotes, diseñada para procesar grandes volúmenes de datos de manera eficiente cuando no se requieren resultados en tiempo real. Este tipo de inferencia es ideal para tareas que no son sensibles a la latencia, tales como la obtención de embeddings, extracción de entidades, evaluaciones de modelos y la categorización y resumen de textos para informes de negocios. Además, resulta ser una opción económica ya que ofrece un descuento del 50% en comparación con el precio bajo demanda. La inferencia por lotes en Amazon Bedrock tiene un límite de 10 trabajos de inferencia por lotes por modelo y por región, una limitación que la empresa ha buscado superar implementando una solución escalable que emplea AWS Lambda y Amazon DynamoDB. Esta innovación permite gestionar las colas de trabajo automatizando la monitorización de espacios disponibles y el envío de nuevos trabajos a medida que se liberan.
El proceso comienza con el usua...