El foco de la charla está en las diferencias entre el desarrollo de un prototipo o POC de machine-learning y un servicio productivo, a escala. Para eso, voy a contar sobre el desarrollo que hicimos, en Mercadolibre, de una plataforma para agilizar el desarrollo y despliegue de modelos entrenados.
Para tratar el tema de la distancia entre el desarrollo experimental de un modelo de machine-learning y los desafíos de servirlo como un servicio production-ready, voy a aprovechar una experiencia de la vida real.
En Mercadolibre existe Fury: una plataforma de infraestructura y desarrollo, para el despliegue de microservicios. La misma provee features para build, deploy, gestión de entornos de desarrollo, automatización de la creación de infraestructura, monitoreo, métricas, servicios, etc. Es uno de los principales factores que permitió crecer de 400 desarrolladores a los ~3000 que somos ahora, en pocos años.
El problema es que dicha infraestructura no fue diseñada para lidiar con las particularidades asociadas a los sistemas de machine-learning: entornos de experimentación para data-scientists, procesos de ETL, entrenamiento de modelos, acceso a infraestructura específica como GPU, etc.
Entonces, en un esfuerzo transversal a la organización, con la colaboración de varios equipos, desarrollamos Fury Data Apps: una extensión a Fury que provee herramientas y servicios para que cualquiera pueda diseñar, experimentar, desarrollar y desplegar sistemas basados en machine-learning, a la escala que Mercadolibre necesita.
En esta charla voy a presentar: