Caso de éxito bellpi
bellpi es una startup colombiana que ofrece al mercado una solución omnicanal de principio a fin para la compra, venta y financiación de vehículos usados a través de un E-commerce.
El reto:
Código de web Scraping
Código de limpieza
Procesamiento de datos
Código de desarrollo
Entretenimiento de los modelos ML
La solución:
Su prioridad era desacoplar todo lo que tenían en la instancia de EC2, tener una infraestructura adecuada para todas las operaciones, discutimos con el cliente los beneficios de AWS, la facilidad para la integración, el bajo costo y los beneficios de tener una arquitectura escalable, beneficiándose de las economías de escala y la interacción entre los servicios de AWS.
Se creó un contenedor en Fargate y funciones lambda para realizar el cargue de las diferentes fuentes de datos, el código original se dividió en varios scripts, separando la parte de limpieza, entrenamiento y evaluación del modelo, dentro de Sagemaker Studio se crearon notebooks para entrenamiento del modelo general, generación de la predicción de precios y análisis de los resultados generados por el modelo. Se creó una tabla en DynamoDB para alojar los resultados y que puedan ser consumidos desde las APIs del sitio web.
Beneficios:
Con la implementación y puesta en producción del proyecto, bellpi logró desacoplar todo lo contenido en una sola instancia de EC2, automatizar la carga de diferentes fuentes de información, priorizando arquitectura serverless, migrar su modelo de predicción de precios a la nube permitiendo proveer más recursos y eficiencia al momento de ejecutar el entrenamiento, automatizar la generación de predicciones para tener actualizado su sitio web.
Esto contribuyó a un ahorro significativo en tiempo y recursos durante la ejecución de web scraping y entrenamiento del modelo, y permitiendo que su científico de datos pudiera emplear las 16 horas que tomaba todo el proceso de cargue de datos y ejecución del modelo en la construcción de otros modelos.
