A medida que las organizaciones se mueven hacia una cultura basada en datos, también encuentran nuevas formas de usar los datos para tomar decisiones más inteligentes y mejorar los resultados comerciales. Muchas empresas se centran principalmente en la inteligencia artificial (IA) y el aprendizaje automático (ML) y cómo estas tecnologías pueden desbloquear información oculta en lo profundo de sus datos. En su apogeo, AI y ML brindan inteligencia predictiva optimice las operaciones y ajuste las estrategias en función de las tendencias en tiempo real.
Sin embargo, la inteligencia artificial y el ML no surgen de la noche a la mañana. Requieren un enfoque cuidadoso y equilibrado para lograr los algoritmos necesarios para impulsar el análisis predictivo e implementarlos de manera efectiva en la organización.
Para impulsar este proceso, las organizaciones están recurriendo a un enfoque probado en batalla para el desarrollo de software, DevOps y reestructurando su modelo para crear aplicaciones de IA y ML. El resultado se conoce comúnmente como MLOps. En esta publicación, repasaremos el ciclo de vida de MLOps, comparándolo con DevOps y las mejores prácticas y desafíos para los equipos que implementan MLOps.
¿Qué es MLOp?
Machine Learning DevOps (MLOps) es un subconjunto especializado de DevOps diseñado para crear aplicaciones ML. Al igual que DevOps, MLOps es un cambio tecnológico y cultural que requiere las personas, los procesos y las herramientas adecuados para implementarse con éxito. Ambos modelos ofrecen un mejor software más rápido y en un proceso repetible.
MLOps y DevOps
DevOps es la evolución de un enfoque de desarrollo ágil que reúne a los equipos operativos y de desarrollo en una sola unidad: el equipo DevOps. Mientras que un equipo de desarrollo entregó anteriormente una aplicación para su lanzamiento a un equipo operativo, los ingenieros de ambas disciplinas ahora trabajan juntos para garantizar un flujo continuo desde la planificación y el desarrollo del software hasta la implementación y la operación.
Para MLOps, el flujo de trabajo básico y el objetivo son los mismos. Sin embargo, el énfasis en los proyectos de aprendizaje automático introduce nuevos requisitos y matices que DevOps no tiene en cuenta en las aplicaciones generales.
La principal diferencia entre MLOps y DevOps es que MLOps agrega una fase adicional al ciclo de vida de DevOps. Esta fase se enfoca en los requisitos de aprendizaje automático e implica ubicar los datos relevantes y entrenar el algoritmo en esos conjuntos de datos para generar predicciones precisas.
De lo contrario, si no se pueden encontrar los conjuntos de datos apropiados o no se puede entrenar el algoritmo para obtener los resultados requeridos, no tiene sentido continuar con la fase de desarrollo y explotación.
Otras diferencias entre MLOps y DevOps se centran en el hecho de que los datos son el enfoque principal de una aplicación, por lo que los analistas de datos ocupan el lugar de los programadores en MLOps. Son responsables de ubicar los datos correctos, escribir el código que crea el modelo de ML y entrenar el modelo para obtener los resultados que desea. Una vez que se valida el modelo y la aplicación está lista para su implementación, se entrega a los ingenieros de ML para su puesta en marcha y supervisión.
Además, el control de versiones ahora cubre no solo el código, sino también los conjuntos de datos utilizados para el análisis y los resultados del modelo. Todos estos componentes son necesarios para responder cualquier pregunta sobre cómo el modelo devolvió un resultado de auditoría.
Finalmente, monitorear una aplicación en ejecución es importante no solo para garantizar la disponibilidad y el rendimiento como en el modelo DevOps. Como parte de MLOp, los ingenieros también deben prestar atención a la desviación del modelo, que es cuando los datos nuevos ya no coinciden con las expectativas del modelo y distorsionan los resultados. Para remediar esto, los modelos ML deben capacitarse regularmente.
Este video de Kineto Club presenta la definición de MLOps y su comparación con DevOps:
Ahora que comprende las diferencias entre DevOps y MLOps, echemos un vistazo a algunas de las mejores prácticas para los equipos que se trasladan a MLOps.
Mejores prácticas de MLOps
Las siguientes prácticas recomendadas ayudarán a su equipo a ser más eficaz durante el ciclo de vida de MLOps.
reutilizable
DevOps pone mucho énfasis en los procesos repetitivos y MLOps sigue el mismo flujo de trabajo. Seguir un marco común entre proyectos mejora la consistencia y ayuda a los equipos a moverse más rápido porque parten de un terreno familiar. Las plantillas de proyecto proporcionan esta estructura al tiempo que permiten la personalización para cumplir con los requisitos únicos de cada caso de uso.
Además, la administración centralizada de datos acelera las fases de descubrimiento y capacitación de MLOp al consolidar los datos organizacionales. Las estrategias comunes para lograr esta centralización incluyen el almacenamiento de datos y un enfoque de fuente de información única.
Consideraciones éticas
Un desafío constante en los modelos AI y ML es perpetuar el sesgo. Si los principios éticos no se aplican desde el comienzo del proyecto, estos modelos pueden arrojar resultados con el mismo sesgo que contienen los conjuntos de datos en los que se entrenan.
Mantener la conciencia de cómo pueden existir sesgos en ciertas situaciones y cómo esto puede reflejarse en los datos ayudará al equipo a corregir cualquier resultado sesgado mientras entrena y opera el modelo.
Intercambio de recursos y colaboración
Las canalizaciones altamente colaborativas e integradas, como MLOps, no pueden operar de manera efectiva con silos. Esto hace que sea extremadamente importante fomentar una cultura de intercambio de recursos y colaboración en equipo. Las lecciones aprendidas de cada ciclo del proyecto deben recopilarse y difundirse para que todo el equipo pueda adaptar sus estrategias para el próximo sprint.
Para facilitar el intercambio de conocimientos, la documentación debe estandarizarse y compartirse en un wiki u otro repositorio centralizado para que los miembros actuales y futuros del equipo puedan conocer las mejores prácticas del equipo. Estos registros también contienen información sobre cómo ha evolucionado la estrategia de MLOps de su organización.
Roles especializados
Las canalizaciones exitosas de MLOps dependen en gran medida de los científicos de datos y los ingenieros de aprendizaje automático para crear, implementar y operar aplicaciones de aprendizaje automático. Un científico de datos debe aportar un conocimiento profundo de los usos prácticos de los datos y conjuntos de datos de una organización. Un ingeniero de aprendizaje automático debe tener habilidades operativas tanto de datos como de TI, incluidas la seguridad y la arquitectura.
Dada la amplia gama de habilidades y experiencias necesarias, es más efectivo contratar o transferir empleados de tiempo completo para que respalden muchas de las responsabilidades de estos roles que tratar de agregar estas responsabilidades a la descripción del trabajo de otro profesional de datos.
Desafíos para la implementación de MLOps
Si bien MLOps ofrece un camino repetible y eficiente para lograr análisis predictivos para su negocio, también presenta desafíos que deben tenerse en cuenta al implementar el modelo MLOps.
1. La factibilidad está dictada por los datos.
La razón principal para agregar fases de capacitación y recopilación de datos a una canalización de DevOps tradicional es que son un requisito previo antes de compilar su aplicación. Puede encontrar que las preguntas que desea responder con el modelo ML no pueden responderse con los datos disponibles para su organización. O bien, el modelo no se puede entrenar para producir resultados confiables.
En cualquier caso, no tiene sentido avanzar cuando no hay componentes del modelo ML. Recuerde siempre que la viabilidad está dictada por los datos y que no todos los proyectos llegarán a la meta. Es mejor tener menos modelos pero más confiables que crear conocimientos increíbles para su organización.
2. El seguimiento es más importante para garantizar la fiabilidad de las previsiones.
Como se discutió anteriormente, la desviación del modelo es un problema grave en las aplicaciones de ML. Las tendencias de datos pueden cambiar con el tiempo, y para muchas organizaciones que construyen canalizaciones de datos con transmisión de datos en tiempo real, este cambio puede ocurrir en segundos.
Las estrategias sólidas de monitoreo ayudarán a los ingenieros de ML a comenzar a capacitarse nuevamente para evitar que el modelo se desvíe antes de que las predicciones se vuelvan demasiado sesgadas. El monitoreo también alivia los problemas más tradicionales de tiempo de inactividad y pérdida de rendimiento en los que se enfoca el modelo DevOps.
3. Para lograr los mejores resultados, se necesita una comprensión profunda de los datos.
Si bien ambos juegan un papel clave en MLOps, los científicos de datos superan a los ingenieros de aprendizaje automático en algunos aspectos. ¿Por qué? Porque las fases iniciales de recopilación de datos y entrenamiento del modelo harán o desharán el proyecto.
Su profundo conocimiento de los datos va más allá de conocer los tipos de datos y algoritmos de ML, aunque ciertamente son importantes. El científico de datos necesita comprender el catálogo de datos disponibles en la organización y qué conjuntos de datos se adaptan mejor a ciertas preguntas que a otras.
También identificarán los mejores diseños de modelos para usar y cómo el modelo debe interpretar las diferentes tendencias en los datos. Esto no solo determina si la aplicación MLOps puede avanzar, sino que también afecta directamente la confiabilidad de los conocimientos proporcionados por el modelo a largo plazo.
MLOps proporciona un camino hacia el análisis avanzado.
A medida que las organizaciones buscan nuevas formas de utilizar las enormes cantidades de datos que se producen y recopilan todos los días, recurren a casos de uso avanzados como la inteligencia artificial y el aprendizaje automático. Para lograr la inteligencia predictiva que ofrecen estas tecnologías, transformaron sus flujos de trabajo DevOps existentes en nuevos modelos MLOps. Si bien este cambio es desafiante, con las mejores prácticas establecidas y un enfoque en datos de alta calidad, MLOps ofrece un camino viable para crear análisis avanzados para su organización a gran escala.
