¡Qué no te pillen desprevenido! Nunca pierdas el foco y revisa los detalles

Una de los aspectos más importantes a la hora de diseñar una buena solución de ELT es poder controlar su desempeño. De poco sirve tener los sistemas funcionando, si no eres capaz de saber si lo están haciendo correctamente o, si por el contrario, se están originando fallos en los mismos. Es por ello que, herramientas como Azure Data Factory Analytics son cada día más necesarias.

Azure Data Factory Analytics es un servicio en preview en la nube de Microsoft, que permite integrar la información de Azure Data Factory a través de Log Analytics. Es decir, nos ofrece de un modo sencillo, una vista general del estado de los trabajos de nuestra instancia de ADF. Permitiendo bajar al detalle de lo sucedido, de cara a poder averiguar qué fue lo que pasó y por qué. Como prerrequisito apuntar la necesidad de disponer de una cuenta de Log Analytics.

Hoy describiremos el proceso completo de despliegue de esta solución. Procedamos

El primer paso, es crear un área de trabajo de Log Analytics. Para ello, lo primero es dar de alta en nuestro grupo de recursos, un servicio de Análisis de registros (OMS)

Acto seguido deberemos completar los campos del formulario, indicando el nombre de nuestra instancia de trabajo y la localización de la misma.

Perfecto, hemos completado el primer paso de nuestro itinerario. Ahora debemos saltar a nuestra instancia de Azure Data Factory, para vincularla con el área de trabajo de nuestro Log Analytics recién creado. Esto se realiza, simplemente, pulsando sobre el campo Configuración de diagnóstico del menú de la izquierda. Una vez dentro, seleccionaremos todos los log y métricas que deseamos controlar.

Por otro lado, debemos seleccionar el o los destinos y finalmente, indicar el área de trabajo de Log Analytics. En nuestro caso seleccionamos los tres primeros logs y el conjunto de métricas. En cuanto al destino, utilizaremos nuestra recién creada área.

Comprobamos que está correctamente configurada y pasamos al siguiente punto.

Si recapitulamos, tenemos el área de trabajo de Log Analytics, que ha sido vinculado con nuestra instancia de Azure Data Factory. ¿Qué nos quedaría? Pues implementar la solución de Azure Data Factory Analytics. Para ello, dentro del grupo de recursos, pulsamos sobre añadir nuevo e indicamos el nombre del servicio. El resultado debería ser algo como esto.

Al pulsar sobre crear, se nos abrirá la pantalla de abajo, donde deberemos seleccionar el área de trabajo de Log Analytics que deseemos. En nuestro caso corresponde al creado anteriormente.

Una vez completado, seremos capaces de obtener el conjunto de KPIs de nuestra instancia de Azure Data Factory. Esto nos permitirá, desde un único lugar, visualizar las principales métricas de control. Además podremos obtener un análisis más detallado únicamente pulsando sobre los elementos.

Pantalla General

Si pulsamos sobre el gráfico de resumen, accederemos a un mayor nivel de detalle.

Y finalmente, si pulsamos sobre alguno de los detalles presentados, podremos acceder al área de consultas. Vemos un ejemplo.

Espero que os haya gustado este breve ejemplo de cómo habilitar Azure Data Factory Analytics en vuestra cuenta de Azure. Si bien es un servicio en preview, muy probablemente termine siendo incluido de forma definitiva en el portfolio de Microsoft.

Fuentes:
Foto de Christina Morillo en Pexels