Dicen que «de bien nacido es ser agradecido», pues de eso va esta entrada, de dar las gracias a Toni Granell por pensar en mi como parte del staff de la Global Communities: AI & Low Code.
Toni y yo venimos colaborando desde hace ya un par de años gracias a LinkedIn. Esa red que algunas personas infravaloran y que en mi caso, me ha permitido conectar con gente increíble y además, formar parte de geniales iniciativas para difundir conocimiento, generar Networking y sobre todo, pasar un buen rato.
Aun no sé cuales van a ser mis tareas, pero si algo tengo claro es que con Toni no me voy a aburrir y seguro, seguro que aprenderé mucho.
Otra de las comunidades en las que participio activamente es la Data Engineering Guild de Nationale Nederlanden, que traducido al castellano, es el gremio de ingenieros de datos de la organización para la que actualmente trabajo. Pues aquí, hace una semana estuve compartiendo cómo habilitamos la paginación en la llamada a la API de Azure DevOps mediante Azure Data Factory, pero no fue la única charla, otros compañeros estuvieron hablando acerca de la implementación y buenas prácticas de Unity Catalog en Databricks. Tema de gran interés actualmente en organizaciones con arquitecturas de datos de tipo Lakehouse. Menciono esto, para poner el lector en situación. Lo importante de las comunidades no es el que participa exponiendo lo que hace, sino el momento posterior. Es ahí cuando ocurre la magia y las personas que atienden comienzan a comentar contigo cual es su visión o cómo solucionaron ellos una situación similar o incluso puede que te presenten un modo más eficiente para llegar el mismo sitio. Eso es lo verdaderamente bonito de la comunidad, el hacer crecer y compartir el conocimiento.
Es más, hace unas semanas, un compañero presentó una solución basada en la librería Overwatch que me pareció genial, pues se trata de extraer las métricas principales de Databricks. Algo que actualmente no es sencillo y que Azure Monitor tampoco ofrece por defecto.
EN estos momentos, el equipo al que pertenezco, está trabajando en una PoC sobre Overwatch que tras habilitar Diagnostic Settings en Databricks, conectar con un Event Hub, instalar la librería en el cluster y ejecutar un Notebook de Scala configurado mediante un csv alojado en el DBFS que contiene un buen conjunto de parámetros, se hace que la magia ocurra y se generen un buen número de entidades en el Lakehouse que permite construir reportes de Power Bi para disfrutar de un nivel de detalle acerca de lo que está sucediendo en tu Databricks Workspace, magnífico.
Pues esta es mi aportación de hoy a la comunidad. Si hacéis uso extensivo de Azure Databricks en vuestra organización y queréis conocer el detalle de Performance, DBU, Jobs executions,… es necesario que eches un vistazo aquí.
Foto de portada gracias a Dani Hart: https://www.pexels.com/es-es/foto/mujeres-sentadas-en-sillas-dentro-de-una-habitacion-3719037/
Alb3rto Alonso 