La evolución del tradicional Business Intelligence hacia Analítica Avanzada, no sólo se fundamenta en la capacidad de lidiar con las 3vs del Big Data; velocidad, volumen y variedad o en la construcción de modelos de Inteligencia Artificial para ayudar a Negocio, además, debe tener presente conceptos como la seguridad y el control los procesos de cara a garantizar la reproducibilidad, eficiencia y trazabilidad, puesto que son pieza fundamental en los proyectos de Datos y nos permitirán construir complejas soluciones con total garantía.
Como se viene avanzando desde hace años, todas las organizaciones se encuentran (o deberían encontrarse) inmersas en procesos de transformación digital. Algunas ya habrán recorrido una parte del camino y otras aún estarán en la primeras etapas o incluso puede que aún se lo estén pensando, aunque me gustaría creer que en la posición de salida, no queda ninguna empresa. Sin duda sería síntoma de que por fin, las cosas se están haciendo bien.
Como avanzaba al comienzo del artículo, la creación de un framework DataOps es obligatorio y debe formar parte de las buenas prácticas de toda organización, es decir 100% mandatory. En el mundo del desarrollo se disponen de herramientas y soluciones muy potentes por lo que, no tratar de exprimir al máximo las capacidades que ofrecen me resulta paradójico y dice mucho de cada uno. Por ejemplo, actualmente Azure permite vincular muchos de sus componentes con repositorios de código, lo que habilita al desarrollador trabajar como si de otra pieza de software se tratara. Lo mismo sucede en el caso de Visual Studio, desde hace años permite el desarrollo de proyectos de datos con él. Entonces ¿porqué no es lo común ?
A esta pregunta no dispongo de una única respuesta. Supongo que se debe a un conjunto de causas como por ejemplo, el coste de las licencias de Visual Studio vs SSMS, la complejidad técnica inicial o curva de aprendizaje y también a que debes emplear más tiempo en la implementación de cambios «sencillos». Por cierto, esto último se cae por su propio peso si estás trabajando en proyectos con bases de datos desplegadas en múltiples regiones y a su vez, en varios entornos. Aunque si tuviera que apostar sólo a una causa, sin duda sería que, muchos perfiles de BI tradicional siempre han hecho las cosas de la misma manera y son reticentes al cambio. Es más, muchos de ellos ahora son jefes de proyectos o mánager o incluso líderes técnicos, por lo que admitir que su aproximación no es la óptima, les podría resultar embarazoso. Sin embargo, más pronto que tarde deberán adoptar estas buenas prácticas, por que las organizaciones cada vez están más orientadas hacia prácticas DevOps y sin un framework robusto estarán out.
Para rebajar un poco, dejo un sencillo diagrama de cómo se utiliza Visual Studio junto con Azure DevOps para desplegar los objetos de una base de datos. Aún tengo pendiente una entrada en la que describir paso a paso la creación e integración de un conjunto de objetos en una base de datos mediante Visual Studio y Azure DevOps.
También incluyo el diagrama básico de desarrollo con Azure Data Factory. En este caso, si quieres explorar en más detalle como se despliega un pipeline de ADF sólo tienes que pulsar este link
Finalmente un breve reflexión, la tecnología avanza a un ritmo increíble, lo que exige un esfuerzo adicional pero sinceramente, cuando observas las ventajas que ofrece y como te permite ser más eficaz y ofrecer un mayor valor a tus compañeros y clientes, te das cuenta de que sin duda merece la pena.
Fuentes
https://docs.microsoft.com/es-es/azure/architecture/example-scenario/data-warehouse/dataops-mdw
Foto de portada gracias a Artem Podrez en Pexels
Alb3rto Alonso 