Los cuatro principios de Data Mesh: Datos como producto

Para quien, todavía no esté al tanto de lo que representa Data Mesh, decir que se trata de un nuevo paradigma que busca principalmente descentralizar la gestión de los Datos. Para ello se construye sobre cuatro pilares básicos que son:

• Datos orientados al propietario del dominio
• Datos como producto
• Plataforma de datos self service
• Gobierno federado

En esta ocasión no voy a comenzar por el primero de los pilares que aparece en la lista, el de datos orientados al propietario del dominio, sino que lo empezaré por el de datos como producto. Esto se debe principalmente a que, hace unas semanas publiqué un comentario en LinkedIn acerca de si, basándonos en dicho pilar y tras compararlo con la industria manufacturera, sería posible emplear una de sus principales métricas, la OEE, para evaluar el rendimiento global de las operaciones de producción. De este modo, se convertiría en el KPI fundamental para este nuevo enfoque y permitiría definirlo claramente como un servicio. Algo como DaaS (Data as a Service)

La OEE se define como el resultado de multiplicar la disponibilidad, el rendimiento y la calidad, que es lo mismo que decir que la OEE mide la eficiencia operativa de la solución de datos. Identificando los posibles despilfarros que impactan sobre nuestro proceso como: velocidad de ejecución, fallos, interrupciones, excepciones, volúmenes,… Pero para ello, es necesario que previamente hayamos realizado un estándar de trabajo.

Entrando un poco más en harina, vamos a describir que significa cada uno de los tres puntos que conforman la OEE:

• Disponibilidad, es el valor obtenido al dividir el tiempo en el que se ha completado la operación, entre el tiempo planificado con el que se debería haber completado. Es decir, si nuestro pipeline suele emplear 5 minutos en completar todas las tareas y decidimos que el tiempo planificado para dicha ejecución es de 6 minutos, pero resulta que ha existido un problema y se ha tenido que relanzar el pipeline tardando un total de 10 minutos, diríamos que se ha desviado un 66%.
• Rendimiento, es el resultado de todo lo conseguido durante el tiempo de producción, dividido entre lo que debería haber producido a tiempo de producción ideal. Es decir, pongamos por caso que, nuestro componente ETL es capaz de gestionar un volumen de 1 TB al minuto, pero finalmente durante la ejecución, detectamos que para mover ese TB finalmente se ha empleado un total de 90 segundos. Diremos que el rendimiento real ha sido mucho peor que nuestro estándar en un 50%.
• Calidad, es el valor que se obtiene a partir del número de piezas producidas correctamente a la primera. Es decir, en el mundo de los datos, podría ser algo como, el conjunto de datos que se ha cargado correctamente en destino cumpliendo todas las restricciones de calidad, frente al total de datos a mover. Por ejemplo se mueven 2TB y sólo 1,8 TB pasan los criterios de calidad. Diríamos entonces que nuestro valor de calidad es de 90%

Con estos resultados, nos quedaría que la OEE del pipeline de datos es:

OEE = Disponibilidad (66%) x Rendimiento (50%) x Calidad (90%) = 0,297

Es por ello que me surge una pregunta como: ¿Veremos pronto niveles de SLA’s en juego?

Sin duda, pienso que sí. Es decir, tan pronto como Data Mesh comience a ser la aproximación de referencia en el ecosistema empresarial para la gestión del Dato, comenzaremos a ver cómo el equipo financiero reclama el cumplimiento del servicio al propietario el dominio. Algo que se hará extensible a todo aquel sistema / organización que provea de información a la empresa y por lo tanto, a todos aquellos departamentos que la componen.

Foto de portada gracias a Pixabay: https://www.pexels.com/es-es/foto/persona-que-firma-el-documento-de-documentacion-48148/