Desde hace tiempo esta es la pregunta que en más ocasiones me han preguntado, por lo que he considerado que estaría bien hacer un breve resumen de qué es Fabric y si está o no preparado para el mundo real.
Microsoft Fabric es el «nuevo» producto de la gente de Redmon alrededor del DATO y que se distribuye en modo SaaS. Comentar que este primer punto es muy interesante, sobre todo para organizaciones que quieran tener control absoluto sobre lo que se hace y lo que no se hace con los datos en el entorno empresarial.
Si se avanza, se puede observar que dentro de ese producto hay iconos que nos suenan, al menos a todas aquellas personas que se han «peleado» con los datos empleando tecnología de Microsoft.
El primer componente es Data Factory, que viene a ser la misma solución de orquestación que se encuentra en Azure.
El siguiente componente es Synapse Data Engineering, que mantiene parte del nombre y permite hacer uso del motor de Apache Spark para transformaciones, optimizaciones, agregaciones,… Incluso, se ha incluido el último Runtime, por lo que ningún Ingeniero de Datos te debería poner pegas.
Si se avanza, aparece la versión de Synapse para Data Warehouse. El motor SQL que permite a los Analistas de Datos escrutar en detalle las entidades para obtener esa información que negocio requiere. Al igual que sucede con Synapse en Azure, configuras tu servicio serverless y a lanzar queries.
El siguiente en la lista es Synapse para Científicos de Datos. Se vuelve al mismo escenario que en los casos previos. Se ha cogido Synapse y se ha encapsulado en Fabric, de este modo, los Data Scientist podrá hacer uso de aquellas librerías que deseen para crear sus Notebooks y general algoritmos que puedan ayudar a negocio con sus predicciones.
Por fin nos encontramos con un producto no tan «copio y pego», Synapse Real Time Analytics. Aquí más que haber cogido Synapse la solución empleada ha sido Azure Data Explorer, lo que posibilita trabajar de un modo sencillo y eficiente sobre series temporales, señales de dispositivos IoT, flujos en streaming,… incluyendo la posibilidad de incluir funciones para la detección de anomalías o evaluación de los datos al vuelo. Por cierto, cuando comento que es fácil integrar con piezas como Azure IoT Hub, es que te lo da todo hecho. Sólo tienes que poner el nombre del servicio y «magia», ves los datos en OneLake. Momento en el que podrás comenzar a usar KQL para explorar los datos y crear Insights.
Al avanzar se llega a otro «invitado», en este caso es Data Activator, que sí que por ahora está en Preview. Este componente de Microsoft Fabric te permite generar alertas, por ejemplo, cuando un indicador a sobrepasado un cierto valor y además, esas alertas pueden generar acciones, como por ejemplo enviar un mensaje de aviso a un grupo de Teams.
Y para finalizar el recorrido por los principales servicios, Power Bi. La herramienta lider de visualización y no porque lo diga yo, sino porque se presenta así en prácticamente todos los informes de Gartner, Forrester,… Aquí, simplemente comentar que hay ciertas consideraciones a tener en cuenta. La migración puede no ser 100% «copio y pego», sino que puede existir la necesidad de trabajar alguna parte del modelo semántico por «incompatibilidades».
En cuanto al componente que soporta el almacenamiento, pues no es otro que Azure Data Lake renombrado como OneLake. Aquí Microsoft ha querido usar la misma aproximación que con OneDrive y convertirlo en el repositorio único de los datos de la organización.
Leyendo hasta aquí, Microsoft no ha hecho más que coger los componentes que tiene en Azure para que cada organización cree su mecano, y los ha encapsulado en un producto que pone a disposición de las empresas para que dispongan de esa solución de datos que les permita, avanzar en su camino hasta convertirse en Data Driven.
Pero eso no es todo, hablemos acerca de los servicios adicionales.
Microsoft Fabric dispone de muchos otros servicios que hacen que la solución represente un avance importante en el mundo de los datos. En un mundo en el que no se para de adquirir complejidad, parece que Microsoft se ha dispuesto a ayudarnos gracias a Fabric.
Sistemas Fuente
Las organizaciones son complejas y parte de esa complejidad se debe al infinito escenario de soluciones operacionales que presentan. Hoy en día es fácil encontrar multitud de aplicaciones corriendo a la vez dentro de un mismo departamento, por lo que si sumamos el total de ellas, el resultado es desafiante. ¿Cómo puedo integrar esos datos de un modo eficiente para mi organización? Más allá de aproximaciones de tipo Data Mesh donde se le pasaría la responsabilidad de generar productos de datos al propietario del dominio, Microsoft Fabric presenta una idea que es incluir un servicio de Mirroring que persiste las tablas requeridad para explotación directamente en OneLake como fichero parquet. Esto por un lado simplifica la labor del equipo de integración, pero además evita coste adicionales en el sistema fuente ya que no necesitas disponer de una copia del operacional a la que atacar desde la solución de analitica. Microsoft Fabric lo provee directamente.
NOTA: Indicar que ahora mismo este servicio está limitado a Azure SQL Database, Azure CosmosDB y Snowflake y que además está en preview.
Otros sistemas de almacenamiento
Al igual que sucede con las aplicaciones, normalmente las organizaciones disponen de una estrategia hídrida o incluso multicloud, por eso mismo, Fabric te permite realizar «virtualizaciones» de los datos sin necesidad de moverlos. Para ello se crean shortcuts que disponibilizan esos datos y los hacen perfectamente consultables desde OneLake. Se terminó la necesidad de duplicar (o más) la información.
Formas de consumo
Más allá de los propios motores que incluye Microsoft Fabric y que vimos al comienzo, la solución de Microsoft te permite crear una capa apificada sobre todo OneLake con GraphQL. Esto es super interesante porque te permite conectar aplicaciones a las distintas capas de datos (en caso de usar arquitectura de medallas) o incluso a los reusltados de ciertas predicciones realizadas internamente. Además, de las típicas de Databricks, Azure AI Studio,…
Open Format
La recomendación de uso de formatos open como son Delta Lake y Apache Iceberg permite a Microsoft Fabric integrarse perfectamente y ampliar capacidades de Databricks y Snowflake. Aquí siempre recuerdo el lema «Better Together», pues eso. Cada vez es más complicado que una única solución de datos cubra eficientemente todos los casos de uso de negocio. De esto se han dado cuenta los principales players, de ahí que estén avanzando (muy deprisa) hacia la simplificación de la integración entre sistemas. Databricks es el propietario de Delta Lake y Snowflake recientemente adoptó Apache Iceberg como solución no propietaria para persistir sus tablas. Esto hace que en Microsoft Fabric puedas leer y escribir en cualquiera de los formatos de una manera invisible para el usuario. ¡Genial!
Ecosistema Azure
A todo lo anterior le sumas la integración nativa de Copilot y Purview y el resultado es una solución que permite hacer uso de un Copilot por cada uno de los componentes para hacer más eficiente el trabajo de los diferentes roles, y por otro lado, dotas de capacidades de gobierno integrando partes como discovery de los datos origen, creación de dominios (y subdominios de datos), definición de reglas de calidad y su monitorización, información sobre el linaje de los datos o, incluso, poder manejar aspectos como la exfiltración de datos (DLP).
Con todo esto, y lo que está por llegar (en breve se celebra el Microsoft Ignite y ojo a las novedades) desde mi punto de vista, Microsoft Fabric es Enterprise-Ready ya que permite cubrir distintos casos de uso empresariales y sin duda, encaja en prácticamente todas las arquitecturas de datos corporativas. Así que, larga vida a Microsoft Fabric y bienvenido al divertido ecosistema del dato. Esto pinta más y más interesante cada día que pasa, ¡qué suerte poder disfrutar con ello!
Foto de portada gracias a nappy: https://www.pexels.com/es-es/foto/hombre-vestido-con-sueter-blanco-y-pantalones-cortos-negros-a-punto-de-ejecutar-936094/
Alb3rto Alonso 