DataOps con Visual Code, Azure Databricks y Azure Data Factory

En la primera entrada de DataOps con Visual Code y Azure Databricks realicé un step by step para conectar nuestro IDE con Azure Databricks y así poder ejecutar en local nuestros scripts de Spark (recordar que soporta varios lenguajes como pySpark, SparkQL, Scala, R). En la entrada de hoy, hablo acerca de cómo configurar losSigue leyendo «DataOps con Visual Code, Azure Databricks y Azure Data Factory»

Combinando Lookup, ForEach y Azure Function en Data Factory

Azure Data Factory es una gran herramienta de orquestación en procesos de datos ya que permite la combinación de múltiples recursos, incluso llegando a habilitar el uso de Azure Functions. Esto abre un enorme abanico de posibilidades dentro del ecosistema del Cloud de Microsoft. En el caso de hoy, voy a realizar un resumen deSigue leyendo «Combinando Lookup, ForEach y Azure Function en Data Factory»

Desplegando Data Factory Pipelines en Microsoft Azure

En este artículo vamos a describir en detalle los pasos a seguir para completar el despliegue automático de pipelines de Azure Data Factory en los entornos de Desarrollo (dev), Staging (stg) y Producción (prd). En desarrollo de software, el uso de la integración (CI) y el despliegue continuo (CD) se realiza para liberar mejor códigoSigue leyendo «Desplegando Data Factory Pipelines en Microsoft Azure»

¡Qué no te pillen desprevenido! Nunca pierdas el foco y revisa los detalles

Una de los aspectos más importantes a la hora de diseñar una buena solución de ELT es poder controlar su desempeño. De poco sirve tener los sistemas funcionando, si no eres capaz de saber si lo están haciendo correctamente o, si por el contrario, se están originando fallos en los mismos. Es por ello que,Sigue leyendo «¡Qué no te pillen desprevenido! Nunca pierdas el foco y revisa los detalles»