Como ya mencioné en la anterior entrada, donde hice un breve resumen del Lakehouse Day de Databricks en Madrid, la incorporación de Unity Catalog suma y mucho a la hora de tomar la decisión sobre cual es la mejor herramienta con la que construir la solución de datos corporativa. Del mismo modo mencioné que, paraSigue leyendo «Data Linaje con Unity Catalog de Databricks»
Archivo de etiqueta: #Databricks
Simple, Open Source y Multicloud
Hace unas semanas estuve en el Lakehouse de Databricks que se celebró en Madrid y entre las muchas cosas que aprendí, me quedo con la frase del título. Haz las cosas de un modo Simple, apuesta por proyectos Open Source y si puedes, sé Multicloud. Estos tres aspectos se mencionaron en multitud de ocasiones duranteSigue leyendo «Simple, Open Source y Multicloud»
Unity Catalog en Azure Databricks: gobernando el Lakehouse
En la primera entrada de Unity Catalog describí brevemente qué es Unity Catalog para saltar a la configuración de nuestro primer Metastore. Ahora, vamos a profundizar en los aspecto de gobernanza, comenzando por la creación de grupos. Como el primer schema que creamos es production, vamos a crear un grupo específico para ese schema. ¡Veamos!Sigue leyendo «Unity Catalog en Azure Databricks: gobernando el Lakehouse»
Unity Catalog en Azure Databricks: creando nuestro primer metastore
Hace tiempo que tenía ganas de hacer un artículo acerca de Unity Catalog profundizando en elementos como Metastore, Catalog, Schema,… Databricks a día de hoy es una de las piezas clave en el desarrollo de soluciones de Analítica Avanzada y justo por eso es por lo que este artículo cobra especial valor. Desde que haceSigue leyendo «Unity Catalog en Azure Databricks: creando nuestro primer metastore»
Cómo usar Try-Catch en Databricks SQL Notebooks
El control de los procesos es una buena práctica de datos ya que te permite identificar aquellos posibles puntos de fallo en tus scripts durante el tiempo de ejecución. Sin embargo, para los que habitualmente se pegan con los Notebooks de SQL en Databricks, vemos que no es posible incluir bloques de captura de erroresSigue leyendo «Cómo usar Try-Catch en Databricks SQL Notebooks»
A veces, no es aconsejable mezclar peras con manzanas
Esta semana, tratando de crear un pipeline de Azure Data Factory que ejecuta una actividad de Azure Databricks, que levanta un clúster pasando un conjunto de parámetros para la configuración y, además, utilizando el fichero dh-init.sh para completar la instalación de un conjunto de librerías desde la zona de configuración avanzada, he sufrido un montónSigue leyendo «A veces, no es aconsejable mezclar peras con manzanas»
How to extend your Data Security at Lakehouse
As you may already know, Lakehouse is an architecture solution developed by Databricks thanks to the Delta Lake file format and built on top of Data Lake. This new approach to data provides many benefits to data teams, but I’m not going to put the spotlight on them at this time, because I’d like toSigue leyendo «How to extend your Data Security at Lakehouse»
Conectando mi Repo de Databricks a Azure DevOps
Hay ocasiones en las que trabajamos directamente sobre nuestro Azure Databrick Workspace sin pararnos a pensar en aspectos clave como el versionado del código, las subidas de las ramas features y su integración en la de desarrollo, procesos de aprobación de las PR o, más importante si cabe, cómo hacer el caso de uso queSigue leyendo «Conectando mi Repo de Databricks a Azure DevOps»
Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps
Hay ocasiones en las que queremos extender las capacidades de un Notebook de Jupyter desarrollado sobre Visual Code a través de un repositorio de Azure DevOps a más de un Azure Databricks Workspace. Esto guarda relación con la puesta en funcionamiento del concepto Data Mesh, pues si en este ejemplo, el Notebook contuviera un procesoSigue leyendo «Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps»
Benchmark de procesos de carga en Azure Data Factory
Hoy día los equipo de #Data están continuamente moviendo datos y aunque existen opciones como la virtualización, en muchas ocasiones al menos uno o dos saltos son necesarios. Es por ello, que en la entrada de hoy he decidido hacer cuatro supuestos para que, de un modo sencillo, se pueda comprender las ventajas de unaSigue leyendo «Benchmark de procesos de carga en Azure Data Factory»
Alb3rto Alonso 