Tips para adoptar Data Mesh

Todo aquel que siga con atención los cambios que se llevan produciendo en lo últimos años en el ámbito de los datos, sabrá o al menos le sonará el paradigma Data Mesh. En mi blog ya he dedicado varias entradas a hablar de él y en el de hoy, lo que pretendo es sentar algunasSigue leyendo «Tips para adoptar Data Mesh»

Semantic Version Strategy es clave para caracterizar correctamente tus releases, artifacts, librerías,…

Hace tiempo escribí acerca de la estrategia de branching y hasta de los tipos de merge al crear la Pull Request, hoy toca hablar de lo que implica la Semantic Version y cómo se debe utilizar correctamente en nuestros pipelines de Azure DevOps. Esto es un básico en el desarrollo de software y ayuda aSigue leyendo «Semantic Version Strategy es clave para caracterizar correctamente tus releases, artifacts, librerías,…»

DataOps, tu primer proyecto de Datos con Visual Studio

Hoy en día, pensar en cómo reutilizar el trabajo realizado y sobre todo permitir que se ejecute de forma automática, eliminando al máximo las manualidades, es sin duda un enfoque de lo más acertado. Es por eso, que resulta especialmente interesante conocer cómo podemos utilizar Visual Studio como entorno de desarrollo, incluso, en proyectos deSigue leyendo «DataOps, tu primer proyecto de Datos con Visual Studio»

Conectando mi Repo de Databricks a Azure DevOps

Hay ocasiones en las que trabajamos directamente sobre nuestro Azure Databrick Workspace sin pararnos a pensar en aspectos clave como el versionado del código, las subidas de las ramas features y su integración en la de desarrollo, procesos de aprobación de las PR o, más importante si cabe, cómo hacer el caso de uso queSigue leyendo «Conectando mi Repo de Databricks a Azure DevOps»

Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps

Hay ocasiones en las que queremos extender las capacidades de un Notebook de Jupyter desarrollado sobre Visual Code a través de un repositorio de Azure DevOps a más de un Azure Databricks Workspace. Esto guarda relación con la puesta en funcionamiento del concepto Data Mesh, pues si en este ejemplo, el Notebook contuviera un procesoSigue leyendo «Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps»

Benchmark de procesos de carga en Azure Data Factory

Hoy día los equipo de #Data están continuamente moviendo datos y aunque existen opciones como la virtualización, en muchas ocasiones al menos uno o dos saltos son necesarios. Es por ello, que en la entrada de hoy he decidido hacer cuatro supuestos para que, de un modo sencillo, se pueda comprender las ventajas de unaSigue leyendo «Benchmark de procesos de carga en Azure Data Factory»

Aplica Cluster Policies en Azure Databricks y evita sustos

Azure Databricks en uno de los principales componentes en desarrollos de Analítica Avanzada y como pieza clave, ofrece la posibilidad de configurarse al gusto de cada uno. Algo que en entornos empresariales puede conllevar ineficiencias y sobrecostes. Con respeto al segundo punto, sólo hace falta echar un vistazo al presupuesto de abajo para entender loSigue leyendo «Aplica Cluster Policies en Azure Databricks y evita sustos»

Registra una aplicación con Azure AD y crea un Service Principal para vincular ADLS con Azure Databricks

En este documento realizaré un step by step que describa cómo montar Azure Data Lake Storage Gen2 en Azure Databricks de cara a componer una arquitectura Lakehouse, empecemos. Partimos de un ADLS previamente creado, para ello recordar que, es básico seleccionar la opción de jerarquía. Por lo que, una vez desplegado el recurso, lo siguienteSigue leyendo «Registra una aplicación con Azure AD y crea un Service Principal para vincular ADLS con Azure Databricks»

Comienzo con MLOps y continuo con Lakehouse. ¡Larga vida a Databricks!

Hace unos días obtuve mi primera insignia de Databricks, se trató de la Lakehouse Fundamental. Ciertamente no es complicada de obtener y en este caso además, el examen es gratuito, con lo que si pretendes avanzar en el conocimiento de su stack tecnológico, estás a tiempo. Tan sólo tienes que inscribirte en la Academia deSigue leyendo «Comienzo con MLOps y continuo con Lakehouse. ¡Larga vida a Databricks!»

Continuidad de negocio y recuperación ante desastres

Las organizaciones están apostando fuerte en su movimiento al Cloud, ya sea a través de la migración de aplicaciones, la modernización de las mismas o desarrollo nativo de nuevas soluciones. Por eso, cuando se planifica una arquitectura cloud hay que analizar cuidadosamente aspectos como los requerimientos, componentes, funcionalidades, necesidades de escalado, seguridad, etc para definirSigue leyendo «Continuidad de negocio y recuperación ante desastres»