Hoe slimme data engineering zorgt voor snellere inzichten en efficiëntere rapportages

Als Lead Data Engineer werkt Annelijn al een aantal jaar aan uitdagende projecten. Eén aspect springt er altijd uit: de bronsystemen zijn vaak enorm complex. Juist die complexiteit vraagt om een doordachte aanpak. En dat geldt niet alleen technisch, maar ook inhoudelijk. “De klant kent het systeem door en door, maar zelfs zij kunnen soms niet precies aangeven hoe alles samenhangt. Daarom werken we veel met ‘trial and error.’ Hoewel het af en toe zoeken is, vinden we samen altijd de oplossing.”

 

Speurwerk in talloze tabellen

Het systeem waar Annelijn en haar team mee werken, is vergelijkbaar met Microsoft Dynamics 365 Business Central. In dit systeem worden alle orders en facturen vastgelegd. “De database bestaat uit een wirwar aan tabellen en onderlinge relaties. Het is soms een puzzel om te achterhalen waar de data vandaan komt en hoe je alles samenbrengt”, aldus Annelijn.

 

Van trage tools naar een toekomstbestendig dataplatform

De start van het project was gericht op verbetering van de performance. De bestaande BI-tool liet te wensen over. “Je kon een kop koffie halen voordat een filter geladen was, Dat moest echt anders.”

Samen met collega’s van het Creates-team werd een compleet nieuw dataplatform opgezet. De technische basis van de backend is stevig opgebouwd. Alle code draait in Azure Databricks, de orkestratie verloopt via Azure Data Factory en Azure Synapse Analytics fungeert als semantische laag richting Power BI. De brondata wordt verzameld en verwerkt binnen een framework op Azure SQL Server . Dankzij deze solide set-up kunnen Annelijn en haar team snel schakelen en betrouwbare rapportages opleveren.

 

Inzicht geven met de juiste backend

Wat Annelijn motiveert, is het verschil dat ze merkt bij de klant. “Wat ik leuk vind is dat ze dankzij onze rapporten soms zien dat er dingen niet goed gaan. Orders of mutaties die niet kloppen. Ik werk aan de backend zodat mijn Power BI-collega’s de rapportages kunnen maken. Die combinatie maakt het verschil.”

Het team waarin Annelijn werkt is goed op elkaar ingespeeld en sterk. “Creates collega’s Steve en Jessica doen het Power BI-gedeelte, Stan is ook data engineer. De lijntjes zijn kort. We spreken elkaar snel en regelmatig, dat maakt het ontwikkelproces soepel.”

 

Volharding als kracht én drijfveer

Annelijn is iemand die niet loslaat tot het klopt. “Ik kan er niet tegen als iets niet werkt zoals het hoort. Dan blijf ik net zo lang zoeken tot ik het heb opgelost. Dat is mijn kracht, al kost het soms ook energie. Maar het motiveert me om te laten zien dat wij het beter kunnen. Die puzzel, het uitpluizen tot het helemaal klopt, dat is wat ik leuk vind aan dit werk.”

Verbeteren zit in haar manier van werken. Nieuwe inzichten past ze meteen toe. “Als ik iets leer dat de performance verbetert, kijk ik hoe we dat bij de klant kunnen implementeren. Zoals alleen de transacties van de laatste vijf dagen ophalen in plaats van alles. Het scheelt zowel tijd én kosten.”
Ze voert niet altijd zelf de technische wijziging door, maar zorgt er wel voor dat het gebeurt. “Ik spar erover met collega’s en breng het onder de aandacht. Voor mij is dat een belangrijk onderdeel van impact maken.”

 

Impact op korte én lange termijn

De korte termijn-resultaten zijn zichtbaar: betere samenwerking, snellere rapportages en hogere betrouwbaarheid van data. Maar ook de lange termijn is belangrijk. “Het doel is om de oude BI-tool volledig uit te faseren. Alle rapporten moeten straks in Power BI staan. En elke optimalisatie die we doen, voeren we door in onze standaard werkwijze. Zo maken we het voor elke klant weer beter.”

Voor Annelijn draait impact maken niet alleen om techniek. “Ik vind het belangrijk dat wat ik doe ook écht waardevol is. Dat geeft mij een goed gevoel. Het maakt me trots op mijn werk.” Die trots wordt versterkt door de reacties die ze krijgt: “Supercool dat het klaar is, dit gaat echt een gaaf rapport worden.” Precies de bevestiging dat het werk wat ze doet, ertoe doet.