Las prácticas de MLOps permiten establecer un marco común de trabajo, definiendo reglas claras para garantizar procesos estandarizados y eficaces. Además, facilitan el seguimiento y monitoreo del desarrollo de modelos y aplicaciones, asegurando su alineación con los objetivos de negocio, la optimización de recursos y la coordinación con proveedores. En definitiva, MLOps no es solo un conjunto de herramientas, sino una metodología y una profesión en sí misma.

Jorge Martínez destacó los distintos perfiles implicados en este tipo de proyectos: “el project manager supervisa el proyecto y su alineación con el negocio; el data scientist se encarga del desarrollo y programación de los modelos; y el AI/Machine Learning Engineer transforma los prototipos en soluciones listas para su producción, proporcionando métricas clave sobre el rendimiento del modelo. En definitiva, estos profesionales trabajan en conjunto para garantizar que los modelos sean precisos, identificando posibles errores, asegurando la explicabilidad de la IA y evitando problemas como el data drift o la presencia de outliers”.

Durante la charla se explicaron también los niveles de madurez de los sistemas MLOps.

En el nivel 1, no hay MLops como tal. Todo el ciclo de vida del modelo (preparación de datos, entrenamiento, despliegue y monitoreo) se hace manualmente. Es común en startups o proyectos piloto donde la prioridad es experimentar más que escalar. Sin embargo, presenta problemas como la falta de monitoreo, lanzamientos infrecuentes y ausencia de versionado.

En el nivel 2, se introduce el control de versiones y pruebas automatizadas. Aparecen los primeros componentes de infraestructura como pipelines de datos y catálogos, permitiendo repetir los procesos de entrenamiento y el despliegue con mayor facilidad.

En el nivel 3 la clave es asegurar que los modelos sean replicables. Se implementan pipelines automatizados de entrenamiento, registro de modelos, almacenamiento de metadatos y feature stores. También se introduce un sistema de monitoreo más sólido para evaluar el rendimiento del modelo en producción.

En el nivel 4 se implementan prácticas CI/CD, permitiendo la integración y despliegue continuo de modelos. Se introduce el A/B testing para comparar modelos en producción y elegir la mejor versión. A partir de este nivel, las operaciones se agilizan y los modelos se actualizan con mayor frecuencia.

Por último, el nivel 5 o de mejora continua, la automatización llega al máximo nivel: el modelo se reentrena automáticamente basado en disparadores del sistema de monitoreo.

Esto permite adaptarse a cambios en los datos (data drift), eventos atípicos (como Black Friday) y nuevos patrones. Sin embargo, hay riesgos como el reentrenamiento con datos desactualizados, fallas sin identificar la causa raíz, mayor riesgo de errores en producción, así como costos elevados de almacenamiento, cómputo y validación de modelos.

Uno de los proyectos en los que ya se han introducido sistemas MLOps, ya a nivel 3, ha sido Labain. El proyecto se basa en la creación de un sistema de control de la calidad del dato para modelos de machine learning, utilizando inteligencia artificial. El proyecto persigue que los modelos de IA en plantas industriales se mantengan autocalibrados, con altas prestaciones de rendimiento y precisión a lo largo del tiempo y con el menor coste posible. Para ello, ha implementado un sistema de control de calidad del dato y otro para la monitorización del drifting en los modelos (Data drifting y Concept Drifting).

Según Jorge Martínez: “En el proyecto Labain, hemos diseñado una arquitectura de nivel 3 en MLOps (Reproducible), garantizando la trazabilidad y repetibilidad de los modelos. Sin embargo, nos hemos enfrentado limitaciones tecnológicas, ya que el proyecto comenzó en 2021, cuando muchas herramientas clave de MLOps, como Feature Stores, metadata tracking avanzado o CI/CD específico para ML, aún estaban en desarrollo o no estaban completamente maduras. Nuestra decisión de mantenernos en este nivel responde a un equilibrio entre la madurez tecnológica y la estabilidad y gobernanza, evitando la automatización excesiva sin un beneficio claro. No obstante, la arquitectura ha sido diseñada para evolucionar hacia niveles más avanzados a medida que las herramientas y la industria continúen su desarrollo”.

Y es que no todos los proyectos requieren un nivel 5 de madurez en MLOps (Mejora Continua), ya que cada nivel responde a necesidades específicas del negocio, los recursos disponibles y la complejidad operativa. Si bien la automatización total y el reentrenamiento continuo pueden ser beneficiosos en entornos con datos altamente dinámicos (como recomendaciones en tiempo real o detección de fraudes), en muchos casos este nivel supone costos y riesgos innecesarios. “Por ejemplo, proyectos con datos estables y patrones predecibles pueden operar eficientemente en niveles 3 o 4, con pipelines automatizados, pero sin necesidad de reentrenamientos constantes. Además, alcanzar un nivel 5 implica mayor infraestructura, costos computacionales elevados y riesgos de errores en reentrenamiento, lo que no siempre se justifica si el modelo no requiere ajustes frecuentes”.

En definitiva, cada proyecto debe evaluar qué nivel aporta mayor valor sin generar sobrecarga operativa. En muchos casos, una estrategia híbrida y escalable es más efectiva, permitiendo evolucionar según las necesidades sin implementar complejidades innecesarias desde el inicio.