Overslaan en naar de inhoud gaan
Gijs
18-11-2026 - 5 min

Azure Data Factory of Databricks Lakeflow: wat kies je voor data-integratie en orkestratie?

Wie een Databricks-platform op Azure bouwt, komt vroeg of laat bij dezelfde vraag uit: heb je Azure Data Factory eigenlijk nog nodig, of kan Databricks inmiddels genoeg zelf?

Jarenlang was de taakverdeling helder. Data Factory haalde data op uit bronsystemen en regelde de orkestratie. Databricks nam het daarna over voor het verwerken en transformeren van die data. Een combinatie die in veel Azure-omgevingen nog steeds prima werkt. Alleen is Databricks de afgelopen jaren flink uitgebreid. Met Lakeflow Connect en Lakeflow Jobs kun je steeds meer van de integratie en orkestratie binnen Databricks zelf regelen. Daarmee verandert ook de rol van Data Factory.

Bij Creates hebben we die ontwikkeling meegenomen in ons herbruikbare Azure Databricks-platform. We nemen Data Factory niet standaard op, maar bieden het aan als optionele module. Dat is een bewuste keuze: in veel situaties kun je prima zonder, maar soms is Data Factory nog steeds de beste oplossing.

De architectuur van het platform: een gedeeld hub-netwerk, met daaronder de ontwikkel-, acceptatie- en productieomgeving.

Twee producten voor één datastroom

In de klassieke architectuur werken Data Factory en Databricks naast elkaar. Data Factory haalt gegevens op uit verschillende bronsystemen en zorgt dat ze op de juiste plek terechtkomen. Databricks verwerkt de data vervolgens verder.

Daar is op zichzelf weinig mis mee. Data Factory heeft uitgebreide mogelijkheden om bronnen aan te sluiten en pipelines te orkestreren. Zeker bij organisaties die al langer met Azure werken, is er vaak veel kennis en ervaring mee opgebouwd.

Toch gebruik je twee producten voor onderdelen die steeds meer naar elkaar toegroeien. De orkestratie staat in Data Factory, terwijl de verwerking in Databricks plaatsvindt. Je beheert en monitort dus twee omgevingen, terwijl een deel van de functionaliteit inmiddels ook binnen één platform beschikbaar is.

Bij een nieuw Databricks-platform is het daarom de moeite waard om te bekijken of die extra laag nog iets toevoegt.

Wat kan Databricks inmiddels zelf?

Met Lakeflow heeft Databricks de mogelijkheden voor data-integratie en orkestratie uitgebreid. Vooral twee onderdelen zijn relevant.

 

Lakeflow Connect haalt data op

Met Lakeflow Connect kun je data uit gangbare bronnen zoals SQL Server, Salesforce en SharePoint ophalen via beheerde connectoren. Daarvoor hoef je dus niet automatisch eerst een Data Factory-pipeline te bouwen. De verbinding met de bron en het ophalen van data kunnen binnen Databricks worden geregeld.

 

Lakeflow Jobs regelt de orkestratie

Met Lakeflow Jobs koppel je verschillende stappen aan elkaar en bepaal je wanneer ze worden uitgevoerd. Waar je voorheen misschien Data Factory gebruikte om een Databricks-job te starten, kun je die orkestratie nu rechtstreeks in Databricks onderbrengen.

De verwerking en de aansturing ervan zitten daarmee bij elkaar. Je hoeft minder tussen twee omgevingen te schakelen.

Wat win je door Data Factory weg te laten?

Het grootste voordeel is dat je minder losse onderdelen nodig hebt. Je hebt één platform voor het ophalen en verwerken van data en één plek waar je de orkestratie terugvindt.

Ook voor inzicht in datastromen heeft dat voordelen. Met Unity Catalog kan de lineage doorlopen van bron tot rapport. Je kunt volgen waar data vandaan komt en welke bewerkingen erop zijn uitgevoerd.

Er verandert ook iets aan de Azure-infrastructuur. Gebruik je geen Data Factory, dan heb je ook geen managed virtual network en managed private endpoints van Data Factory nodig. Dat scheelt netwerkcomponenten die je anders moet configureren en onderhouden.

Voor een greenfield Databricks-platform is dat een prettig uitgangspunt. Je begint met een kleinere architectuur en voegt alleen iets toe wanneer je het nodig hebt.

Wanneer zou je Data Factory juist wél gebruiken?

Dat Databricks meer kan dan vroeger, betekent niet dat Data Factory geen plek meer heeft. Er zijn situaties waarin het nog steeds een geschikte oplossing is.

Je gebruikt bronnen waarvoor geen geschikte Lakeflow-connector beschikbaar is. Denk aan oudere databases, SFTP-servers of bestandsshares. Data Factory kan dan helpen om die bronnen te ontsluiten. Het aanbod aan connectoren van Databricks groeit snel, dus het is verstandig om dit per moment te bekijken.

Je hebt databronnen on-premises. Wanneer er al een self-hosted integration runtime beschikbaar is, kan Data Factory een logische keuze blijven. Je hoeft dan niet direct een andere oplossing op te tuigen.

Je hebt al flink geïnvesteerd in Data Factory. Sommige organisaties hebben jaren aan ervaring opgebouwd en beschikken over een flinke verzameling bestaande pipelines. Die zomaar vervangen omdat Databricks inmiddels meer mogelijkheden heeft, is niet altijd verstandig. Een migratie kost tijd en geld. Daar moet wel iets tegenover staan.

Kijk dus naar de bronnen die je moet aansluiten, de bestaande omgeving en de kennis die in het team aanwezig is.

Hoe we dit bij Creates oplossen

Voor ons herbruikbare Azure Databricks-platform hebben we ervoor gekozen om Data Factory niet standaard te bouwen. Het is een optionele module die we toevoegen wanneer de situatie daarom vraagt.

Als we Data Factory gebruiken, houden we de rol ervan bewust afgebakend. Data Factory haalt de data op en plaatst die als bestanden in een landing-container. Vanaf dat moment neemt Databricks het over.

Data Factory krijgt geen identiteit binnen Databricks en verzorgt ook niet de verdere orkestratie. We gebruiken het dus voor het ontsluiten van bronnen waarvoor Databricks zelf niet de beste oplossing biedt.

Heeft een klant Data Factory niet nodig? Dan laten we de module weg. Zijn er specifieke bronnen of bestaande pipelines waarvoor Data Factory de beste keuze is? Dan voegen we hem toe. De basis van het platform blijft in beide gevallen hetzelfde.

Data Factory is geen standaard meer

Bij een nieuw Databricks-platform zou ik niet automatisch met beide producten beginnen. Kijk eerst welke bronnen je moet ontsluiten en wat Lakeflow daarvoor biedt. Voor veel gangbare bronnen en de bijbehorende orkestratie kun je inmiddels binnen Databricks blijven.

Pas als je tegen een concrete beperking aanloopt, is er een reden om Data Factory toe te voegen. Dat is ook de gedachte achter onze architectuur bij Creates: Data Factory niet verwijderen om het verwijderen, maar ook niet opnemen omdat het nu eenmaal altijd onderdeel van de oplossing was. We houden het optioneel. Zo blijft het platform compact waar dat kan en kunnen we uitbreiden waar dat nodig is.

Over de schrijver

Gijs

Gijs Dekkers - Data Engineer

LinkedIn

Meer lezen?