«Sin datos, sólo eres una persona con otra opinión». W. Edwards Deming
Ultimas entradas
Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps
Hay ocasiones en las que queremos extender las capacidades de un Notebook de Jupyter desarrollado sobre Visual Code a través de un repositorio de Azure DevOps a más de un Azure Databricks Workspace. Esto guarda relación con la puesta en funcionamiento del concepto Data Mesh, pues si en este ejemplo, el Notebook contuviera un procesoSigue leyendo «Desplegando un mismo Notebook en múltiples Azure Databricks con Azure DevOps»
Benchmark de procesos de carga en Azure Data Factory
Hoy día los equipo de #Data están continuamente moviendo datos y aunque existen opciones como la virtualización, en muchas ocasiones al menos uno o dos saltos son necesarios. Es por ello, que en la entrada de hoy he decidido hacer cuatro supuestos para que, de un modo sencillo, se pueda comprender las ventajas de unaSigue leyendo «Benchmark de procesos de carga en Azure Data Factory»
Pon una pizca de filosofía en tu vida
Hace un par de años que me recomendaron comenzar a leer al filósofo Byung-Chul Han. El primer libro que leí del autor fue el de «La sociedad del cansancio», el segundo «La expulsión de lo distinto», lo terminé hace unas semanas y hoy he completado la lectura del tercero de sus libros, «La sociedad deSigue leyendo «Pon una pizca de filosofía en tu vida»
Ser dueño de mi tiempo
Desde hace unos meses venía observando que el tiempo que dedicaba a Redes Sociales estaba por encima de lo que me parecía aceptado, por lo que decidí actuar. Suele ocurrir que, en multitud de ocasiones nosotros mismos somos perfectamente conscientes de que estamos haciendo algo que se desvía lo que consideramos correcto, incluso sin laSigue leyendo «Ser dueño de mi tiempo»
Aplica Cluster Policies en Azure Databricks y evita sustos
Azure Databricks en uno de los principales componentes en desarrollos de Analítica Avanzada y como pieza clave, ofrece la posibilidad de configurarse al gusto de cada uno. Algo que en entornos empresariales puede conllevar ineficiencias y sobrecostes. Con respeto al segundo punto, sólo hace falta echar un vistazo al presupuesto de abajo para entender loSigue leyendo «Aplica Cluster Policies en Azure Databricks y evita sustos»
Registra una aplicación con Azure AD y crea un Service Principal para vincular ADLS con Azure Databricks
En este documento realizaré un step by step que describa cómo montar Azure Data Lake Storage Gen2 en Azure Databricks de cara a componer una arquitectura Lakehouse, empecemos. Partimos de un ADLS previamente creado, para ello recordar que, es básico seleccionar la opción de jerarquía. Por lo que, una vez desplegado el recurso, lo siguienteSigue leyendo «Registra una aplicación con Azure AD y crea un Service Principal para vincular ADLS con Azure Databricks»
Comienzo con MLOps y continuo con Lakehouse. ¡Larga vida a Databricks!
Hace unos días obtuve mi primera insignia de Databricks, se trató de la Lakehouse Fundamental. Ciertamente no es complicada de obtener y en este caso además, el examen es gratuito, con lo que si pretendes avanzar en el conocimiento de su stack tecnológico, estás a tiempo. Tan sólo tienes que inscribirte en la Academia deSigue leyendo «Comienzo con MLOps y continuo con Lakehouse. ¡Larga vida a Databricks!»
Señor viajero, estamos llegando a su «parada»
Esta semana está resultando compleja. Principalmente, porque estoy cerrando una etapa muy importante y eso, siempre tiene su «dificultad». Incluso noto esa «dificultad» a la hora de escribir, pues no fluyen las palabras con la habitual rapidez y constantemente rescribo los párrafos una y otra vez. Una vez aterrizado el contexto, continúo con el relato,Sigue leyendo «Señor viajero, estamos llegando a su «parada»»
Momentos de felicidad
Ayer por la tarde tenía una cita para defender en Trabajo Final del Máster de Ciencia de Datos de la UOC y más allá de los nervios habituales, lo que tenía era ganas de disfrutarlo. Lo había visualizado en mi cabeza infinidad de ocasiones, sobre todo, como punto de anclaje durante todos los años queSigue leyendo «Momentos de felicidad»
Continuidad de negocio y recuperación ante desastres
Las organizaciones están apostando fuerte en su movimiento al Cloud, ya sea a través de la migración de aplicaciones, la modernización de las mismas o desarrollo nativo de nuevas soluciones. Por eso, cuando se planifica una arquitectura cloud hay que analizar cuidadosamente aspectos como los requerimientos, componentes, funcionalidades, necesidades de escalado, seguridad, etc para definirSigue leyendo «Continuidad de negocio y recuperación ante desastres»
Viajando desde «nunca» hasta «aún no»
Leí algo similar a esta frase en el capítulo siete, «Hacer que se sientan orgullosos», del libro «Cambia el Chip» de los hermanos Heath y ésta me inspiró para dar título a la entrada de hoy. En dicho capítulo, hablan acerca de cómo evolucionar desde una mentalidad única, representada por palabras como «nunca» hacia unaSigue leyendo «Viajando desde «nunca» hasta «aún no»»
El poder del prefijo «Re»
En mi vida han sido muchos los momentos en los que he tenido que hacer uso del prefijo «Re«, para ejemplo un botón, «reinventarse«. Estoy seguro de que, en tu caso, también lo habrás utilizado en multitud de ocasiones. Piensa en ello tan sólo un momento y verás. Pues si, como apuntaba, en muchas ocasionesSigue leyendo «El poder del prefijo «Re»»
Garantizando la seguridad del dato en Azure Data Lake Gen2
Hace unos días publiqué una entrada sobre Azure Data Lake como solución ideal sobre la que construir el almacén de datos empresarial y hoy amplio el contenido ofreciendo una visión más específica sobre las principales características que habilita con respecto a la seguridad. Hay dos aspectos básicos que definen el nivel de seguridad que seSigue leyendo «Garantizando la seguridad del dato en Azure Data Lake Gen2»
Azure Data Lake como solución eficiente, para el almacenamiento de datos
El almacenamiento eficiente de datos es una de las piezas clave a la hora de dibujar la estrategia de tu organización, y soluciones como Azure Data Lake te permiten cumplir con las actuales recomendaciones de buenas prácticas en cuanto a arquitectura de datos. Para este caso de negocio, voy a necesitar un conjunto limitado deSigue leyendo «Azure Data Lake como solución eficiente, para el almacenamiento de datos»
Azure Table Storage o Azure CosmosDB Table Storage
El título presenta dos componentes que suenan muy parecidos, si bien, cada una dispone de ciertas características única y es gracias a ellas, por lo que permiten cubrir un scope de casos de uso muy amplio. Si además bajamos al detalle vemos que, no son herramientas excluyentes, pues ambas se complementan de una manera muySigue leyendo «Azure Table Storage o Azure CosmosDB Table Storage»
Azure Synapse Pathway o cómo migrar fácilmente tu Data Warehouse
Hace una semana escribí acerca de un buen conjunto de novedades de Azure Synapse, aquí. Si bien, la fiesta continua y hoy os presento una solución en preview que viene a hacer la vida más fácil a las organizaciones que quieren modernizar sus almacenes de datos moviéndolos al Cloud de Microsoft y sobre todo, dotándolosSigue leyendo «Azure Synapse Pathway o cómo migrar fácilmente tu Data Warehouse»
La revolución del Elefante, ¿origen de la gran renuncia?
Desde siempre las cosas han sido así, terminas los estudios y te incorporas a un puesto de trabajo. En algunos debes ir trajeado y en otros se permite un «dress code» algo más laxo, tipo elegante pero informal o incluso, en algunos otros, te proporcionan la indumentaria. A la llegada, te explican los horarios deSigue leyendo «La revolución del Elefante, ¿origen de la gran renuncia?»
Novedades en Azure Synapse, el multiusos de Microsoft
Si la semana pasada pude asistir al Microsoft Cloud Data Summit, hoy he tenido la oportunidad de ver un especial sobre Azure Synapse titulado «Build an Unified Analytics Platform with Azure Synapse and Power BI«. La sesión estaba grabada previamente, con lo que he podido aprovechar el rato de la comida para empaparme de susSigue leyendo «Novedades en Azure Synapse, el multiusos de Microsoft»
¡Agenda completa! Esto es un no parar de eventos, meetups, charlas y demás.
Abril se ha marchado y comienza un Mayo llenito de nuevos desafíos, pero antes de hablar de los que vienen, haré un repaso de los que sucedieron el mes pasado, donde el más destacado fue el sucedido el pasado jueves 28 de abril. Primer evento en directo de mi nuevo grupo de Meetup, «Encuentros enSigue leyendo «¡Agenda completa! Esto es un no parar de eventos, meetups, charlas y demás.»
A veces toca apretar los dientes y seguir
Que la vida en general no es un camino de rosas, es algo que se descubre normalmente a una edad temprana. Si lo movemos al ámbito profesional, la afirmación también tiene sentido, puesto que hay momentos agradables y otros que por contra nos obligan a «apretar los dientes» y seguir avanzando. Durante mi vida enSigue leyendo «A veces toca apretar los dientes y seguir»
Replicando el Data Pipeline de Zendesk desde AWS a Azure, parte I
Hace unos días leí el caso de éxito de arquitectura de datos de la empresa Zendesk sobre AWS y decidí hacer un ejercicio de revisión y adaptación del mismo en Azure. En esta primera entrada, el scope es el relativo a la para del Data Lake Pipeline marcado en rojo. Lo primero es crear losSigue leyendo «Replicando el Data Pipeline de Zendesk desde AWS a Azure, parte I»
Pon un ChatOps en tus proyectos y evitarás «despistes»
Hace unos días estuve preparando una reunión de mejora de procesos en desarrollos cuando detecté que la comunicación no estaba resultando efectiva dentro del propio equipo de desarrollo y al comentarlo surgió la típica respuesta del tipo: «Hombre, es que tenemos cientos de emails que leer y siempre hay alguno que se nos pasa«. EsoSigue leyendo «Pon un ChatOps en tus proyectos y evitarás «despistes»»
¡Bendita condena la mía!
Suelo repetir habitualmente que es una buena práctica enfrentar desafíos para continuar mejorándote. En mi caso, tengo la suerte de disponer de esa inercia que me «obliga» a no rechazar ningún reto. La semana pasada por ejemplo, durante algún que otro rato libre, estuve analizando el pipeline de procesamiento de datos batch del caso deSigue leyendo «¡Bendita condena la mía!»
DataOps con Visual Code, Azure Databricks y Azure Data Factory
En la primera entrada de DataOps con Visual Code y Azure Databricks realicé un step by step para conectar nuestro IDE con Azure Databricks y así poder ejecutar en local nuestros scripts de Spark (recordar que soporta varios lenguajes como pySpark, SparkQL, Scala, R). En la entrada de hoy, hablo acerca de cómo configurar losSigue leyendo «DataOps con Visual Code, Azure Databricks y Azure Data Factory»
Si quieres recibir mis últimas publicaciones directamente.
Alb3rto Alonso 