Desplegando Data Factory Pipelines en Microsoft Azure, parte 1

En este artículo vamos a describir en detalle los pasos a seguir para completar el despliegue automático de pipelines de Azure Data Factory en los entornos de Desarrollo (dev), Staging (stg) y Producción (prd). En desarrollo de software, el uso de la integración (CI) y el despliegue continuo (CD) se realiza para liberar mejor código de un modo rápido. Esta posibilidad existe también para los ingenieros de datos que trabajan con Azure Data Factory. Es decir, tendremos la posibilidad de mover pipelines entre los distintos entornos. Además, trabajando de este modo, varias personas del equipo podrán estar trabajando al mismo tiempo sobre el mismo data pipeline. En este caso, vamos a trabajar en un ejemplo de automatización del despliegue desde dev hasta prd. Todo gracias a la integración de ADF con Azure DevOps Automation. Veamos cómo.

La infraestructura necesaria para completar este proceso es

  • Azure Resource Group
  • Azure Storage
  • Azure Key Vault
  • Azure Data Factory
  • Azure DevOps

Y como ya hemos comentado previamente, todo lo tendremos que “repetir” en los tres entornos con los que trabajaremos: Desarrollo, Staging y Producción. En el primero, es donde desarrollaremos toda la parte de los pipelines de un modo colaborativo, entre los distintos componentes del equipo. El segundo sería para Quality Assurance o Testing, tiene por objetivo testear los pipelines comprobando que realmente hacen lo que deberían hacer. Por último en el entorno de Producción, vendría a representar el mundo real.

ADF_1

Creamos el primero grupo de recursos, en este caso para dev. Lo llamamos sogeti-reg-dev.

A partir de aquí, comenzamos a crear todos los componentes dentro de este grupo de recursos. Empezamos creando la cuenta de Azure Storage (sogetiblobdev), ten presente que para replicación sirve LRS.

ADF_2

Ya sólo nos queda provisionar dos containers (sink y staging).

ADF_3

Por último, y para completar esta primera parte, creamos una Azure Key Vault. La llamamos sogeti-key-dev.

ADF_4

En la segunda parte, lo primero que debemos provisionar es la Azure Data Factory. El nombre que la daremos será sogeti-factory-dev. Y en este caso, dejaremos sin marcar la opción de GIT. Ya lo haremos más adelante.

ADF_5

Lo siguiente sería, copiar la cadena de conexión del Azure Blob Storage del entorno de dev y crear un secreto en la Azure Key Vault, con el nombre de storage-access-key. Esta es una buena práctica de cara a no publicar información sensible.

ADF_6

En el siguiente paso, añado una política de acceso. En este caso, con el permiso de secretos de obtener. Siendo nuestra sogeti-factory-dev, la entidad de seguridad seleccionada.

ADF_6

Hasta aquí los primeros pasos del despliegue automático de pipelines utilizando Azure DevOps y Azure Data Factory. En unos días, la parte 2.

Publicado por alb3rtoalonso

Soy un enamorado del poder de los datos. Entusiasta de la mejora y formación continua.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

A %d blogueros les gusta esto: