Een dag in het leven van Stan – Senior Data Engineer

In september 2023 ben ik gestart bij Creates als Senior Data Engineer. Op dit moment werk ik voor een B2B productmedia-bedrijf in promotionele artikelen, waar ik een modern cloud dataplatform aan het opzetten ben met mijn team. Ik neem je in deze blog mee zodat je een blik kunt werpen op mijn dag in het leven als Data Engineer.

Op de fiets naar kantoor

Om 07.00 uur gaat mijn wekker en bereid ik me voor op de dag. Na het ontbijt met mijn gezin, breng ik mijn zoontje naar de kinderopvang. Daarna ga ik meteen door op de fiets naar het kantoor op Papendorp in Utrecht. Om 09.00 uur kom ik aan en begin ik de werkdag met een praatje bij de receptie. Met een lekkere bak koffie van de nieuwe barista-machine, loop ik naar de tweede verdieping om een plekje te zoeken. Ik klets nog even met wat collega’s terwijl ik m’n laptop opstart. Om 09.15 uur check ik alvast mijn mail, zodat ik gelijk weer op de hoogte ben van de nieuwste ontwikkelingen.

 

Verdiepen in de business rules

Om de dag hebben we een stand-up met de klant en collega’s. We starten met de stand-up om 09.30 uur. Aan de hand van het scrumbord stellen we vast waar we staan in het project en of we op schema lopen. Daarnaast bekijken we of er ergens knelpunten zijn en hoe we dit op kunnen lossen. Vandaag beslissen we om verder te verdiepen in de ‘business rules’ voor het eerste dashboard wat we moeten opleveren.

 

Het dashboard heeft KPI’s en daaronder hangen bepaalde feiten en dimensies. De klant wil graag inzicht in data en trends, bijvoorbeeld de ‘year-to-date’ omzet per marketingsegment. Dit vertaal ik dan weer terug naar de informatie die we nodig hebben uit het CRM-bronsysteem en de productcatalogus.

 

Nieuwe entiteit in dashboard

Om 10.00 uur ga ik verder met de nieuwe entiteit ‘customer’ in het dashboard. In de gouden laag van ons dataplatform maak ik in Databricks met Python de tabel ‘dim (dimensie) customer’. Daarna debug en valideer ik de geschreven code gelijk, om te kijken of de data is zoals ik het verwacht. Dit blijkt aan het eind van de ochtend zo te zijn, waardoor ik een verzoek kan aanvragen om deze over te zetten naar de ‘main branch’ van de ontwikkelomgeving in GitHub. Op die manier kan mijn Databricks notebook getest worden door een collega.

 

Wanneer je wat geroezemoes en potten en pannen hoort beneden, weet je dat de lunch eraan zit te komen. De heerlijke geur zweeft al naar boven en om 12.00 uur is het tijd voor de lunch. Vandaag staat er pompoensoep op het menu, lekker! Na het eten om 12.30 uur wandelen mijn collega’s en ik nog even een rondje langs de moestuintjes vlakbij ons kantoor.

 

Sparren en documenteren

Om 13.00 uur zit ik weer met een hete kop thee op mijn plek. Ik tref nog even de laatste voorbereidingen voor mijn meeting om 13.30 uur  met een Data Analist van de klant om te sparren over de gewenste KPI’s en metrieken.

 

Na mijn meeting loop ik nog even naar beneden voor een gezonde snack en maak ik me klaar voor het laatste deel van de werkdag. Om 14.30 uur werk ik de nieuwe definities uit in onze documentatie voor het datamodel. Ook controleer ik gelijk of de gewenste informatie terug te vinden is in het bronsysteem. Dan ga ik kijken hoe ik op basis van data manipulaties met Python tot de gewenste informatie kan komen.

 

Onboarden van nieuwe collega’s

Aan het einde van de werkdag om 16.00 uur heb ik nog een meeting met twee nieuwe collega’s, die onlangs zijn gestart bij Creates. Samen met hen en een architect proberen we ze zo snel mogelijk te ‘onboarden’ bij het project. We laten zien wat wij tot nu toe hebben gedaan en wat zij binnenkort kunnen oppakken.

 

Om 16.30 uur neem ik nog deel aan de innovatieavond van Caesar Groep. We beginnen het event met pizza. Met een gastspreker en de CTO van Caesar worden we geïnspireerd over artificial intelligence en hoe we dit kunnen toepassen binnen ons eigen werk. De avond eindigt om 20.30 uur en dan stap ik moe, maar voldaan weer op mijn fiets naar huis. Het was weer een enerverende werkdag.