De grote aankondiging van Microsoft Build 2023 was natuurlijk de introductie van Microsoft Fabric. Microsoft Fabric is een end-to-end analyseoplossing met full-servicemogelijkheden, waaronder dataverplaatsing, datalakes, data-engineering, data-integratie, datawetenschap, realtime analyses en business intelligence, allemaal ondersteund door een gedeeld platform dat robuuste gegevensbeveiliging, governance en compliance.
In het hart van dit alles vinden we de nieuwe OneLake. OneLake biedt één enkel, uniform opslagsysteem voor alle ontwikkelaars, waarbij het ontdekken en delen van gegevens triviaal is en de naleving van beleids- en beveiligingsinstellingen centraal en uniform wordt afgedwongen. Het is volledig gebouwd bovenop ADLS (Azure Data Lake Storage) Gen2 en maakt gebruik van de Delta file format technologie, ontwikkeld door DataBricks. Achter de schermen optimaliseerde het ook al zijn motoren om dit zo performant mogelijk te maken met alle componenten van Microsoft Fabric.
Het complete Microsoft SaaS-platform
Aan de achterkant introduceert Microsoft Fabric geen nieuwe componenten, maar combineert het reeds bestaande services onder één SaaS-paraplu. De nieuwe Fabric-portal (gebaseerd op de Power BI-portal) omvat de volgende workloads:
- (Synapse) Datawarehouse
- (Azure) Datafabriek
- (Synapse) Data-engineering
- (Synapse) Datawetenschap
- (Synapse) Realtime analyse
Het idee hierachter is dat Fabric alle verschillende persona's die in het datalandschap werken volledig omarmt. Nu heeft een data-ingenieur toegang tot een hele ontwikkelingservaring waarin hij kan werken in een programmeertaal naar keuze. Terwijl een Power BI-ontwikkelaar wel wat aanpassingen kan doen in bijvoorbeeld Data Factory om bepaalde pipelines te veranderen. Uiteindelijk komt het allemaal in hetzelfde OneLake terecht.
Een ander voordeel van deze nieuwe Fabric-manier van werken is dat het alle rompslomp wegneemt die gepaard gaat met het laten samenwerken van verschillende Azure-componenten. We hebben niet langer een infrastructuurspecialist nodig om een compleet Azure-dataplatform met alle componenten op te zetten, netwerken zo te configureren dat alle componenten met elkaar kunnen praten en de beveiliging te configureren. Nu zit het allemaal in de Fabric-box, zonder enige configuratie.
Combineer de voordelen van Direct Query en Import
Voor Power BI moesten we altijd kiezen tussen het performante karakter van de importmodus versus het bijna realtime rapport van Direct Query. De aankondiging van Microsoft Fabric en het onderliggende OneLake introduceerde ook een nieuwe optie genaamd Direct Lake-modus.
Hierdoor kan Power BI rechtstreeks verbinding maken met gegevens die aanwezig zijn in OneLake, zonder de gegevens eerst in het in-memory-model te laden, zoals in de importmodus zou gebeuren. Dus net als bij Direct Query worden queries rechtstreeks naar de gegevens gestuurd, in dit geval naar de Delta-tabellen. In tegenstelling tot Direct Query is het verschil dat het niet hoeft te worden vertaald naar andere querytalen of uitvoeringen, waardoor het prestaties levert die vergelijkbaar zijn met de importmodus.
Nu kunnen we dus de prestaties van de importmodus combineren en de gegevenswijzigingen zien zodra ze plaatsvinden, zoals bij Direct Query. Dit maakt de Direct Lake-modus de ideale keuze voor het analyseren van zeer grote datasets en datasets met frequente updates.
De toekomst?
Voor mij is Fabric een revolutie die niet meer weg te denken is. Het biedt alle noodzakelijke mogelijkheden die we al kennen van het Microsoft Azure-platform, maar tegen een fractie van de complexiteit van de infrastructuur.
Door het idee van een Lakehouse- en Delta-tabellen volledig te omarmen, dekt het alle essenties van een Data Platform anno 2023 af. Tegelijkertijd zorgt de One Lake-aanpak ervoor dat iedereen efficiënt met dezelfde data werkt.
Uiteraard staan we nog maar aan het begin, aangezien Fabric nog in de previewfase is, dus wij bij Nemeon houden u op de hoogte van alle ontwikkelingen zodra deze zich voordoen.
