Dispara tus pipelines de Azure Data Factory mediante eventos

Azure Data Factory hace tiempo que dejó de ser una simple ETL para convertirse en un genial orquestador de procesos de datos. Es más, para mi que he tenido la oportunidad de trabajar con multitud de herramientas similares, creo que Data Factory hoy en día está, sin duda, en el top 3.

Uno de los puntos que siempre destaco es la integración con DevOps, algo que para mi es clave si queremos seguir “profesionalizando” el mundo de los datos mediante la adopción de buenas prácticas DataOps y demás. Si bien, el abanico de aspectos positivos no hace más que crecer, y por ejemplo, esta semana he leído que recientemente se ha puesto en “preview” una nueva capacidad que permite a Azure Data Factory avanzar en el ámbito de la implementación de “Change Data Capture” (CDC).

Por cierto, tema que quiero estudiar con el Grupo de Trabajo de Arquitectura de Datos en DAMA España, en el que fui nombrado coordinador recientemente. Este junto con otros temas como el uso de ficheros “ACID compliance” como base de soluciones de analítica avanzada o el análisis de paradigmas como Data Mesh, serán los principales temas a tratar durante el primer semestre de 2023. Con lo que, si te interesa y no eres socio de DAMA España, no te lo pienses 😉

Bueno, volviendo al tema principal, la evolución de Azure Data Factory y algunos de sus puntos fuertes. Hoy quiero hablar acerca de la creación de “Triggers” que estén vinculados a la inserción de nuevos ficheros en el contenedor de un Storage Account y que ejecuten un conjunto de actividades.

Para ello, tan sólo tienes que crear tus recursos en Azure y vincularlos. En este ejemplo, he creado un Azure Data Factory, la correspondiente Cuenta de Almacenamiento y su container principal que usaremos como punto de control de nuevas inserciones.

Con esto, ya solo nos queda desarrollar el pipeline que deba ejecutarse cada vez que se detecta una nueva inserción, vincularlo con nuestro “Trigger” y tendremos el proceso completo.

¡Ah! Por cierto, recuerda que debes publicar tus cambios y que justo entonces en tu grupo de recursos aparecerá un nuevo componente, un Azure Event Grid. Aquí lo vemos.