¡Bendita condena la mía!

Suelo repetir habitualmente que es una buena práctica enfrentar desafíos para continuar mejorándote. En mi caso, tengo la suerte de disponer de esa inercia que me «obliga» a no rechazar ningún reto. La semana pasada por ejemplo, durante algún que otro rato libre, estuve analizando el pipeline de procesamiento de datos batch del caso de éxito de Zendesk sobre AWS. Recordar que se trata de una arquitectura de datos que soporta más de 8.000 MySQL en 8 regiones AWS, manejando volúmenes del orden de Petabytes.

El objetivo, no era otro que, el de entender y reproducirlo, pero sobre tecnología Azure. La verdad es que he podido avanzar bastante y en breve publicaré una serie de entradas. Con lo que espero ser de ayuda, sobre todo para esas organizaciones que, están sufriendo a la hora de manejar sus enormes volúmenes de datos de un modo eficiente.

Pues bueno, una vez planteado el reto, lo primero era entender bien el proceso que ejecutaba. Para ello, además de leer en profundidad la publicación, requería de un mapeo entre componentes y soluciones. Es decir, poner cara y ojos a la tupla de AWS y Azure. Así valoré el Change Data Capture (CDC) de uno y otro, para continuar con EMR cluster y Azure Databricks y finalmente con Apache Hudi y Delta Lake.

De esta última comparación es de la que más he aprendido, porque, si bien ya era consciente del beneficio de Delta Lake con respecto al cumplimiento de regulaciones como GDPR para el versionado y control de datos (incluyendo el borrado de líneas en soluciones Big Data), no estaba al tanto del formato de fichero creado por Uber bajo el stack de tecnología Open Source de Apache. Así que estuve leyendo documentación, preparando algún que otro ejemplo y terminé realizando pruebas. Sin duda algo que, no hubiera logrado, sin sentir esa necesidad por lanzarme de cabeza al lío 😉

Es por esto, y alguna que otra cosa más, que me encanta lo que hago y así, cuando alguien me pregunta acerca de qué es lo que hago, no tengo por menos que esbozar una sonrisa y responder amablemente: «Me dedico a aprender para ayudar».

Ojalá en tu caso sea similar y tengas oportunidad de continuar mejorando, ya sea a través del día a día, de hackáthones, retos o cualquier otro impulso, pues es gracias a ellos como se alcanza el siguiente nivel. Por eso, somos afortunados al poder decir: «Bendita condena la mía».

Foto de portada gracias a Donald Tong en Pexels