Hace unos días obtuve mi primera insignia de Databricks, se trató de la Lakehouse Fundamental. Ciertamente no es complicada de obtener y en este caso además, el examen es gratuito, con lo que si pretendes avanzar en el conocimiento de su stack tecnológico, estás a tiempo. Tan sólo tienes que inscribirte en la Academia de Databricks y presentarte al examen, además si quieres hay cuatro cursos que te aterrizan completamente el concepto y las capacidades de Analítica Avanzada, MLOps, Inteligencia Artificial, Gobierno, Seguridad,… con lo que no tendrás excusa para lucir esa insignia en tu perfil 😉
Por otro lado, me resulta paradójico ver cómo mi camino se cruza con esta plataforma, pues hace unos meses la utilicé como base para el desarrollo de mi Trabajo Final de Máster de Ciencia de Datos. Un TFM algo «diferente«, como mencionó el jurado, pues el enfoque fue el de construir una solución de mantenimiento predictivo en la industria, pero no sólo cubriendo el desarrollo del proyecto de Minería de Datos, sino adhiriéndome a las buenas prácticas MLOps para entregar un modelo válido en producción.
El objetivo era muy ambicioso, sin duda. Pero también tremendamente desafiante, pues me obligaba a poner en valor el conocimiento obtenido, gracias a todas asignaturas que había cursado durante todos estos años de estudio. En la imagen de abajo presento la arquitectura del proyecto y destaco algunas de las disciplinas empleadas.
Al final, este enfoque me permitió aprender un montón. Ya que, anteriormente todas mis aproximaciones MLOps se habían limitado al entorno de Azure ML. Así pues, misma lectura que siempre, «salir de la zona de confort te permite avanzar«, y en este caso creo que fue ¡mucho! 😉
Párrafos arriba mencionaba que mi camino se ha cruzado con esta plataforma en varias ocasiones anteriormente, y como dice el dicho «no hay dos sin tres«. Pues así es, ahora mismo estoy dedicando buena parte de mis tardes (gracias a la jornada intensiva) al estudio en detalle de, la arquitectura Lakehouse sobre Azure.
Por supuesto, ésto conlleva una serie de «esfuerzos» adicionales, no sólo tiempo, también económicos ya que necesito mi propia suscripción de Azure, pues es obligatorio disponer de permisos sobre el Azure Active Directory de la misma, para poder crear recursos como un Service Principal que te permita «montar» un Azure Data Lake Storage Gen2 en Azure Databricks.
Con todo esto quiero avanzar que, durante los próximos meses iré documentando todos mis pasos y subiéndolos al blog. Además de celebrar varios directos en LinkedIn sobre Databricks, Lakehouse, MLOps. Esto quiere decir que, tengo bastante lío por delante y que sin duda, me permitirá seguir descubriendo, avanzando y compartiendo.
Por último, si te apetece colaborar y echarme una mano en esta aventura, no dudes en ponerte en contacto conmigo. Recuerda que el propósito, tanto de mi blog como del grupo «Encuentros en la Tercera Fase», es el de divulgar y sin duda pienso que el tema en cuestión es de enorme relevancia. ¡Nos vemos!
Links de interés
Acceso a la sección training de Databricks Academy, aquí
Grupo de Meetup, Encuentros en la Tercera Fase, aquí
Foto de portada gracias a S Migaj: https://www.pexels.com/es-es/foto/persona-en-un-puente-cerca-de-un-lago-747964/
Alb3rto Alonso 