Replicando el Data Pipeline de Zendesk desde AWS a Azure, parte I

Hace unos días leí el caso de éxito de arquitectura de datos de la empresa Zendesk sobre AWS y decidí hacer un ejercicio de revisión y adaptación del mismo en Azure. En esta primera entrada, el scope es el relativo a la para del Data Lake Pipeline marcado en rojo. Lo primero es crear losSigue leyendo «Replicando el Data Pipeline de Zendesk desde AWS a Azure, parte I»

DataOps con Visual Code, Azure Databricks y Azure Data Factory

En la primera entrada de DataOps con Visual Code y Azure Databricks realicé un step by step para conectar nuestro IDE con Azure Databricks y así poder ejecutar en local nuestros scripts de Spark (recordar que soporta varios lenguajes como pySpark, SparkQL, Scala, R). En la entrada de hoy, hablo acerca de cómo configurar losSigue leyendo «DataOps con Visual Code, Azure Databricks y Azure Data Factory»

DataOps con VS Code y Azure Databricks

En más de una ocasión he hablado acerca de la importancia de desarrollar con calidad nuestros proyectos, algo que resulta especialmente delicado cuando de datos se trata y es ahí, por tanto, donde cobra especial relevancia la adopción de buenas prácticas y cómo éstas se ponen en valor. En mi caso, abogo por utilizar unSigue leyendo «DataOps con VS Code y Azure Databricks»