Benchmark de procesos de carga en Azure Data Factory

Hoy día los equipo de #Data están continuamente moviendo datos y aunque existen opciones como la virtualización, en muchas ocasiones al menos uno o dos saltos son necesarios. Es por ello, que en la entrada de hoy he decidido hacer cuatro supuestos para que, de un modo sencillo, se pueda comprender las ventajas de unaSigue leyendo «Benchmark de procesos de carga en Azure Data Factory»

Azure Data Lake como solución eficiente, para el almacenamiento de datos

El almacenamiento eficiente de datos es una de las piezas clave a la hora de dibujar la estrategia de tu organización, y soluciones como Azure Data Lake te permiten cumplir con las actuales recomendaciones de buenas prácticas en cuanto a arquitectura de datos. Para este caso de negocio, voy a necesitar un conjunto limitado deSigue leyendo «Azure Data Lake como solución eficiente, para el almacenamiento de datos»

DataOps con Visual Code, Azure Databricks y Azure Data Factory

En la primera entrada de DataOps con Visual Code y Azure Databricks realicé un step by step para conectar nuestro IDE con Azure Databricks y así poder ejecutar en local nuestros scripts de Spark (recordar que soporta varios lenguajes como pySpark, SparkQL, Scala, R). En la entrada de hoy, hablo acerca de cómo configurar losSigue leyendo «DataOps con Visual Code, Azure Databricks y Azure Data Factory»

Combinando Lookup, ForEach y Azure Function en Data Factory

Azure Data Factory es una gran herramienta de orquestación en procesos de datos ya que permite la combinación de múltiples recursos, incluso llegando a habilitar el uso de Azure Functions. Esto abre un enorme abanico de posibilidades dentro del ecosistema del Cloud de Microsoft. En el caso de hoy, voy a realizar un resumen deSigue leyendo «Combinando Lookup, ForEach y Azure Function en Data Factory»

Desplegando Data Factory Pipelines en Microsoft Azure

En este artículo vamos a describir en detalle los pasos a seguir para completar el despliegue automático de pipelines de Azure Data Factory en los entornos de Desarrollo (dev), Staging (stg) y Producción (prd). En desarrollo de software, el uso de la integración (CI) y el despliegue continuo (CD) se realiza para liberar mejor códigoSigue leyendo «Desplegando Data Factory Pipelines en Microsoft Azure»

¡Qué no te pillen desprevenido! Nunca pierdas el foco y revisa los detalles

Una de los aspectos más importantes a la hora de diseñar una buena solución de ELT es poder controlar su desempeño. De poco sirve tener los sistemas funcionando, si no eres capaz de saber si lo están haciendo correctamente o, si por el contrario, se están originando fallos en los mismos. Es por ello que,Sigue leyendo «¡Qué no te pillen desprevenido! Nunca pierdas el foco y revisa los detalles»