Los transformadores de oraciones se han convertido en herramientas esenciales en el mundo de la inteligencia artificial, particularmente en el procesamiento del lenguaje natural (NLP). Estos modelos de aprendizaje profundo convierten frases en vectores de alta calidad con longitud fija, encapsulando su significado semántico y facilitando diversas tareas de NLP como la clasificación de textos, la agrupación, la búsqueda semántica y la recuperación de información.
En el ámbito del comercio electrónico, Amazon ha utilizado transformadores de oraciones para mejorar la clasificación de productos en su extenso catálogo. Se presenta aquí un estudio que compara el desempeño de dos transformadores de oraciones diferentes al categorizar productos de Amazon: el transformador público Paraphrase-MiniLM-L6-v2 y el modelo de lenguaje más grande de Amazon, M5_ASIN_SMALL_V2.0. Este último, basado en BERT, ha sido ajustado con datos internos del catálogo de productos de Amazon, utilizando títulos, puntos destacados, descripciones y más. La hipótesis inicial era que el modelo M5 demostraría un rendimiento superior debido a su entrenamiento con datos específicos de Amazon. La investigación confirma esta hipótesis mediante la implementación de un experimento que afina los transformadores de oraciones utilizando un conjunto de datos de productos de Amazon de 2020. Este conjunto de datos, disponible públicamente, incluye numerosos campos como nombre del producto, categor...