Fabric, el todo en uno de Microsoft

Hace tan sólo unas semanas que se lanzó la solución de datos integral de Microsoft y digo «solución» porque se trata de un SaaS. Con Fabric las organizaciones se pueden ir olvidando de la infraestructura, ni tan siquiera como código. Hay que decir adiós a Terraform, ARM, Bíceps,… y quizás, también irnos despidiendo de nuestrosSigue leyendo «Fabric, el todo en uno de Microsoft»

Cómo usar el Filtro en Azure Data Factory

Desde hace tiempo vengo escribiendo acerca de Azure Databricks, pero en esta ocasión voy a escribir un breve artículo acerca de cómo emplear la actividad de filtro en un pipeline de datos de Azure Data Factory. Son muchas la ocasiones en las que debemos realizar diferentes ajustes en los flujos de datos y por ello,Sigue leyendo «Cómo usar el Filtro en Azure Data Factory»

Delta Sharing, un «must» para tu solución de analítica avanzada

Cada vez que avanzo un poco más con Unity Catalog, más me gusta y sobre todo entiendo el motivo por el cual Databricks se está volcando en ello. Si hace unas semanas hablé de la gobernanza y configuración de un metastore, hoy quiero continuar con Delta Sharing que no es otra cosa que un protocoloSigue leyendo «Delta Sharing, un «must» para tu solución de analítica avanzada»

¡Quien rompe paga!

La frase que da título a la entrada era muy frecuente en mis tiempo mozos,… o al menos así la recuerdo y justo fruto de estas warning quizás sea por lo que muchas personas no suelen arriesgarse a salir de la zona de confort. No sea que la líe y encima tenga que soltar unosSigue leyendo «¡Quien rompe paga!»

Unity Catalog en Azure Databricks: gobernando el Lakehouse

En la primera entrada de Unity Catalog describí brevemente qué es Unity Catalog para saltar a la configuración de nuestro primer Metastore. Ahora, vamos a profundizar en los aspecto de gobernanza, comenzando por la creación de grupos. Como el primer schema que creamos es production, vamos a crear un grupo específico para ese schema. ¡Veamos!Sigue leyendo «Unity Catalog en Azure Databricks: gobernando el Lakehouse»

Unity Catalog en Azure Databricks: creando nuestro primer metastore

Hace tiempo que tenía ganas de hacer un artículo acerca de Unity Catalog profundizando en elementos como Metastore, Catalog, Schema,… Databricks a día de hoy es una de las piezas clave en el desarrollo de soluciones de Analítica Avanzada y justo por eso es por lo que este artículo cobra especial valor. Desde que haceSigue leyendo «Unity Catalog en Azure Databricks: creando nuestro primer metastore»

Change Data Capture en Azure SQL Database y Azure Data Factory

Azure SQL Database Change Data Capture o CDC es una capacidad que permite a los sistema de bases de datos (SQL y NoSQL) como Azure SQL Database capturar aquellos registros que han sufrido modificaciones (lo que son inserciones, borrados y actualizaciones). Dicha cualidad se apoya en elementos como la metadata y tablas de control deSigue leyendo «Change Data Capture en Azure SQL Database y Azure Data Factory»

Dispara tus pipelines de Azure Data Factory mediante eventos

Azure Data Factory hace tiempo que dejó de ser una simple ETL para convertirse en un genial orquestador de procesos de datos. Es más, para mi que he tenido la oportunidad de trabajar con multitud de herramientas similares, creo que Data Factory hoy en día está, sin duda, en el top 3. Uno de losSigue leyendo «Dispara tus pipelines de Azure Data Factory mediante eventos»

A veces, no es aconsejable mezclar peras con manzanas

Esta semana, tratando de crear un pipeline de Azure Data Factory que ejecuta una actividad de Azure Databricks, que levanta un clúster pasando un conjunto de parámetros para la configuración y, además, utilizando el fichero dh-init.sh para completar la instalación de un conjunto de librerías desde la zona de configuración avanzada, he sufrido un montónSigue leyendo «A veces, no es aconsejable mezclar peras con manzanas»

Probando un ordenador con ruedas

No son ni las cinco de la mañana y tengo los ojos como platos. Desde pequeño me viene pasando que, si al día siguiente tengo algún plan genial, no soy capaz de dormir. Así que no me ha quedado otra que levantarme y ponerme a escribir esta entrada para, al menos, aprovechar que estoy enSigue leyendo «Probando un ordenador con ruedas»