Azure SQL Database Change Data Capture o CDC es una capacidad que permite a los sistema de bases de datos (SQL y NoSQL) como Azure SQL Database capturar aquellos registros que han sufrido modificaciones (lo que son inserciones, borrados y actualizaciones). Dicha cualidad se apoya en elementos como la metadata y tablas de control deSigue leyendo «Change Data Capture en Azure SQL Database y Azure Data Factory»
Archivo de etiqueta: #DataFactory
Dispara tus pipelines de Azure Data Factory mediante eventos
Azure Data Factory hace tiempo que dejó de ser una simple ETL para convertirse en un genial orquestador de procesos de datos. Es más, para mi que he tenido la oportunidad de trabajar con multitud de herramientas similares, creo que Data Factory hoy en día está, sin duda, en el top 3. Uno de losSigue leyendo «Dispara tus pipelines de Azure Data Factory mediante eventos»
A veces, no es aconsejable mezclar peras con manzanas
Esta semana, tratando de crear un pipeline de Azure Data Factory que ejecuta una actividad de Azure Databricks, que levanta un clúster pasando un conjunto de parámetros para la configuración y, además, utilizando el fichero dh-init.sh para completar la instalación de un conjunto de librerías desde la zona de configuración avanzada, he sufrido un montónSigue leyendo «A veces, no es aconsejable mezclar peras con manzanas»
Benchmark de procesos de carga en Azure Data Factory
Hoy día los equipo de #Data están continuamente moviendo datos y aunque existen opciones como la virtualización, en muchas ocasiones al menos uno o dos saltos son necesarios. Es por ello, que en la entrada de hoy he decidido hacer cuatro supuestos para que, de un modo sencillo, se pueda comprender las ventajas de unaSigue leyendo «Benchmark de procesos de carga en Azure Data Factory»
Azure Data Lake como solución eficiente, para el almacenamiento de datos
El almacenamiento eficiente de datos es una de las piezas clave a la hora de dibujar la estrategia de tu organización, y soluciones como Azure Data Lake te permiten cumplir con las actuales recomendaciones de buenas prácticas en cuanto a arquitectura de datos. Para este caso de negocio, voy a necesitar un conjunto limitado deSigue leyendo «Azure Data Lake como solución eficiente, para el almacenamiento de datos»
DataOps con Visual Code, Azure Databricks y Azure Data Factory
En la primera entrada de DataOps con Visual Code y Azure Databricks realicé un step by step para conectar nuestro IDE con Azure Databricks y así poder ejecutar en local nuestros scripts de Spark (recordar que soporta varios lenguajes como pySpark, SparkQL, Scala, R). En la entrada de hoy, hablo acerca de cómo configurar losSigue leyendo «DataOps con Visual Code, Azure Databricks y Azure Data Factory»
Combinando Lookup, ForEach y Azure Function en Data Factory
Azure Data Factory es una gran herramienta de orquestación en procesos de datos ya que permite la combinación de múltiples recursos, incluso llegando a habilitar el uso de Azure Functions. Esto abre un enorme abanico de posibilidades dentro del ecosistema del Cloud de Microsoft. En el caso de hoy, voy a realizar un resumen deSigue leyendo «Combinando Lookup, ForEach y Azure Function en Data Factory»
Desplegando Data Factory Pipelines en Microsoft Azure
En este artículo vamos a describir en detalle los pasos a seguir para completar el despliegue automático de pipelines de Azure Data Factory en los entornos de Desarrollo (dev), Staging (stg) y Producción (prd). En desarrollo de software, el uso de la integración (CI) y el despliegue continuo (CD) se realiza para liberar mejor códigoSigue leyendo «Desplegando Data Factory Pipelines en Microsoft Azure»
¡Qué no te pillen desprevenido! Nunca pierdas el foco y revisa los detalles
Una de los aspectos más importantes a la hora de diseñar una buena solución de ELT es poder controlar su desempeño. De poco sirve tener los sistemas funcionando, si no eres capaz de saber si lo están haciendo correctamente o, si por el contrario, se están originando fallos en los mismos. Es por ello que,Sigue leyendo «¡Qué no te pillen desprevenido! Nunca pierdas el foco y revisa los detalles»
Alb3rto Alonso 