Hoe migreer je een Microsoft SQL data warehouse naar Microsoft Fabric?

Fabric is in public review. De daadwerkelijke release van Fabric komt daarmee dichterbij. Ik krijg van veel klanten de vraag of Fabric voor hen geschikt is. Hoe ziet een transitie naar Fabric eruit? Voor organisaties die blanco beginnen is met Fabric starten natuurlijk het meest eenvoudig. Maar wat als je een klassiek op T-SQL gebaseerd data warehouse on-premise hebt staan? Moet je dan alles opnieuw bouwen in Fabric? Of is er een andere manier?

Over microsoft fabric

Microsoft Fabric is de volgende generatie analytics platform van Microsoft. Het biedt o.a. data lakehouse en data warehouse architecturen met ondersteuning voor SPARK en T-SQL.

Omdat Fabric veel “klassieke” componenten direct of indirect ondersteunt kan een migratie naar Fabric er simpeler uitzien dan je denkt. In deze blog wil ik met jullie delen hoe dat eruit kan zien.

Het klassieke on-premise data warehouse versus Fabric – de onderdelen

Voordat ik kan beginnen met het uiteenzetten doe ik een aanname op hoe een klassiek onpremise (op Microsoft gebaseerde) data warehouse eruitziet. Ik maak de volgende aanname:

Component	Service
Orkestratie	SQL Server Integration Services (SSIS)
Transformatie en opslag	T-SQL en SQL Server
Model	SQL Server Analysis Services (SSAS) – Tabular
Rapportage	Power BI Report Server

 

Microsoft Fabric biedt, in de context van klassiek data warehousing, het volgende:

Component	Service
Orkestratie	Pipelines
Transformatie en opslag	T-SQL, Dataflow Gen2 en Warehouse
Model	Power BI dataset(s) en Azure Analysis Service (AAS)*
Rapportage	Power BI

* AAS is niet onderdeel van Microsoft Fabric maar werkt er, met Power BI, prima mee samen.

In de volgende paragrafen leg ik de onderdelen volgende onderdelen in een data warehouse in detail toe:

• Orkestratie
• Transformatie en opslag
• Model
• Rapportage

Orkestratie

SQL Server Integration Services ondersteunt “lift & shift” naar Azure Data Factory. Hoewel Microsoft Fabric Pipelines gebaseerd is op Data Factory ontbreken er (nog) functionaliteiten, waaronder “lift & shift” voor SSIS. In deze blog zal ik daarom deze optie buiten beschouwing laten. Wellicht komt deze optie er in de toekomst wel. Houdt de Fabric blog hiervoor in de gaten.

Er is op moment schrijven dus geen direct migratie pad. Ik adviseer mijn klanten om transformatie logica niet in SSIS te laten plaatsvinden en SSIS uitsluitend in te zetten voor orkestratie. Hiermee is het opnieuw opbouwen van de Microsoft Fabric Pipelines een stuk makkelijker en sneller gezien de gereduceerde complexiteit.

Transformatie en opslag

Zoals eerder vermeld adviseer ik mijn klanten om logica ten behoeve van het transformeren van data zoveel mogelijk in T-SQL of SPARK te laten plaatsvinden. Voor klanten met een on-premise SQL Server oplossing maakt dit de migratie ook een stuk makkelijker. T-SQL wordt namelijk ondersteund met Microsoft Fabric warehouses.

Microsoft Fabric warehouses lijken erg op SQL Server (en Azure) databases. Bekende objecten zoals stored procedures, tabellen en functies worden ondersteund. Werken met een Microsoft Fabric Warehouse kan veelal op dezelfde manier als dat je gewend bent, bijvoorbeeld met SQL Server Management Studio.

Dit betekent dat T-SQL objecten in SQL Server 1-op-1 gemigreerd kunnen worden naar een Fabric Warehouse.

Model

Binnen Microsoft Fabric geldt Power BI als de service waarmee zowel informatiemodellen als rapporten worden gecreëerd en getoond. Er bestaan verschillende manieren om (Azure) Analysis Services te migreren naar Power BI. (Migrate Analysis Services models to Power BI using Tabular Editor – Data – Marc (data-marc.com)). Een andere optie is om naar Azure Analysis Services (AAS) te migreren. Afhankelijk van kennis en capaciteit kan deze laatste optie het meest verstandig zijn.

Voor het migreren van AAS naar Power BI biedt Microsoft een standaard migratie pad: Migrate Azure Analysis Services to Power BI - Power BI | Microsoft Learn. Merk op dat hier, op moment van schrijven, een premium (per user) of embedded Power BI licentie voor nodig is. Met de introductie van Microsoft Fabric is een Fabric licentie toegevoegd. Vooralsnog is het onduidelijk welke Fabric licentie je voor een migratie nodig hebt. Mogelijk is dit dus in de toekomst ook een optie.

Rapportage

Het meest ideaal is wanneer je onpremise al gebruik maakt van Power BI Report server. Dit is de onpremise variant van Power BI. Rapporten migreren van Power BI Report Sever naar Power BI is makkelijk gezien het hetzelfde product betreft.

Gebruik je iets anders dan zul je de rapporten moeten ombouwen of in stand houden en verbinden met de Power BI datasets (of Azure analysis Services afhankelijk van welk migratie pad je hebt gekozen). Merk op dat jouw rapportagetool deze type verbinding (Power BI datasets of Azure Analysis Services) wel moet ondersteunen.

Conclusie

Microsoft Fabric maakt een een modernisering van je huidige onpremise SQL-warehouse makkelijker. De volgende punten maken een transitie naar Microsoft Fabric makkelijker:

• Het hanteren van een drie-lagen architectuur binnen één database.
• Plaats transformatielogica centraal en zoveel mogelijk in T-SQL.
• Het gebruik van Power BI Report Server is geen must maar maakt het wel makkelijker.