DataOps, tu primer proyecto de Datos con Visual Studio

Hoy en día, pensar en cómo reutilizar el trabajo realizado y sobre todo permitir que se ejecute de forma automática, eliminando al máximo las manualidades, es sin duda un enfoque de lo más acertado. Es por eso, que resulta especialmente interesante conocer cómo podemos utilizar Visual Studio como entorno de desarrollo, incluso, en proyectos deSigue leyendo «DataOps, tu primer proyecto de Datos con Visual Studio»

Conectando mi Repo de Databricks a Azure DevOps

Hay ocasiones en las que trabajamos directamente sobre nuestro Azure Databrick Workspace sin pararnos a pensar en aspectos clave como el versionado del código, las subidas de las ramas features y su integración en la de desarrollo, procesos de aprobación de las PR o, más importante si cabe, cómo hacer el caso de uso queSigue leyendo «Conectando mi Repo de Databricks a Azure DevOps»

Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps

Hay ocasiones en las que queremos extender las capacidades de un Notebook de Jupyter desarrollado sobre Visual Code a través de un repositorio de Azure DevOps a más de un Azure Databricks Workspace. Esto guarda relación con la puesta en funcionamiento del concepto Data Mesh, pues si en este ejemplo, el Notebook contuviera un procesoSigue leyendo «Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps»

Benchmark de procesos de carga en Azure Data Factory

Hoy día los equipo de #Data están continuamente moviendo datos y aunque existen opciones como la virtualización, en muchas ocasiones al menos uno o dos saltos son necesarios. Es por ello, que en la entrada de hoy he decidido hacer cuatro supuestos para que, de un modo sencillo, se pueda comprender las ventajas de unaSigue leyendo «Benchmark de procesos de carga en Azure Data Factory»

Aplica Cluster Policies en Azure Databricks y evita sustos

Azure Databricks en uno de los principales componentes en desarrollos de Analítica Avanzada y como pieza clave, ofrece la posibilidad de configurarse al gusto de cada uno. Algo que en entornos empresariales puede conllevar ineficiencias y sobrecostes. Con respeto al segundo punto, sólo hace falta echar un vistazo al presupuesto de abajo para entender loSigue leyendo «Aplica Cluster Policies en Azure Databricks y evita sustos»

Registra una aplicación con Azure AD y crea un Service Principal para vincular ADLS con Azure Databricks

En este documento realizaré un step by step que describa cómo montar Azure Data Lake Storage Gen2 en Azure Databricks de cara a componer una arquitectura Lakehouse, empecemos. Partimos de un ADLS previamente creado, para ello recordar que, es básico seleccionar la opción de jerarquía. Por lo que, una vez desplegado el recurso, lo siguienteSigue leyendo «Registra una aplicación con Azure AD y crea un Service Principal para vincular ADLS con Azure Databricks»

Continuidad de negocio y recuperación ante desastres

Las organizaciones están apostando fuerte en su movimiento al Cloud, ya sea a través de la migración de aplicaciones, la modernización de las mismas o desarrollo nativo de nuevas soluciones. Por eso, cuando se planifica una arquitectura cloud hay que analizar cuidadosamente aspectos como los requerimientos, componentes, funcionalidades, necesidades de escalado, seguridad, etc para definirSigue leyendo «Continuidad de negocio y recuperación ante desastres»

Garantizando la seguridad del dato en Azure Data Lake Gen2

Hace unos días publiqué una entrada sobre Azure Data Lake como solución ideal sobre la que construir el almacén de datos empresarial y hoy amplio el contenido ofreciendo una visión más específica sobre las principales características que habilita con respecto a la seguridad. Hay dos aspectos básicos que definen el nivel de seguridad que seSigue leyendo «Garantizando la seguridad del dato en Azure Data Lake Gen2»

Azure Data Lake como solución eficiente, para el almacenamiento de datos

El almacenamiento eficiente de datos es una de las piezas clave a la hora de dibujar la estrategia de tu organización, y soluciones como Azure Data Lake te permiten cumplir con las actuales recomendaciones de buenas prácticas en cuanto a arquitectura de datos. Para este caso de negocio, voy a necesitar un conjunto limitado deSigue leyendo «Azure Data Lake como solución eficiente, para el almacenamiento de datos»

Azure Table Storage o Azure CosmosDB Table Storage

El título presenta dos componentes que suenan muy parecidos, si bien, cada una dispone de ciertas características única y es gracias a ellas, por lo que permiten cubrir un scope de casos de uso muy amplio. Si además bajamos al detalle vemos que, no son herramientas excluyentes, pues ambas se complementan de una manera muySigue leyendo «Azure Table Storage o Azure CosmosDB Table Storage»