Een dag in het leven van Niels - Senior Data Engineer

In oktober 2017 begon ik als Business Intelligence Consultant bij de Caesar Groep en inmiddels ben ik werkzaam als Senior Data Engineer bij Creates, business unit onder de vlag van diezelfde Caesar Groep. Momenteel ben ik ingezet bij UNICEF waar ik samen met de lead Data Engineer van UNICEF het dataplatform beheer en verder professionaliseer. Ik neem je in deze blog mee zodat je een blik kunt werpen op mijn dag in het leven als Data Engineer.

Op naar Den Haag

Het kantoor van UNICEF zit in de binnenstad van Den Haag. Om 06.00 uur gaat mijn wekker en om 07.00 uur vertrek ik vanuit Heerhugowaard met de auto. Ik probeer altijd een beetje voor de files uit te rijden, want van file wordt niemand blij. Vandaag vielen de files best mee. Ik kwam om 08.20 uur aan op het kantoor. Je kunt daar meteen voor de deur (tot 14:00 betaald) parkeren.

Toen ik aankwam waren er al wat UNICEF-collega’s. We pakten een bakkie pleur, zoals ze dat in Den Haag zeggen, en trapten de dag af met goed gesprek en een lolletje. Hierna zocht ik mijn werkplek op en zette ik mijn laptop klaar. Het pand bestaat uit flexplekken die per bureaunummer vooraf gereserveerd kunnen worden. Heel handig dat mijn collega al een bureau voor mij had gereserveerd. Om 08.50 uur sloot mijn collega van UNICEF ook aan.

Planning van vandaag

De werkdag begint om 09.00 uur met een daily stand-up met het hele team. We bepalen daarin welke taken er nog gedaan moeten worden en wat er voor vandaag op de planning staat.

Na de stand-up begin ik om 09.30 uur met een productieverstoring die moet worden opgelost. Het laadproces liep namelijk vast, wanneer er geen- of lege CSV bestanden worden aangeleverd. Daardoor heeft mijn collega van UNICEF vaak extra werk, doordat er handmatig verschillende handelingen uitgevoerd moeten worden om het proces te kunnen starten. Na wat aanpassingen werkt het systeem weer op de ontwikkelomgeving en vindt het proces ook doorgang als er geen- of lege CSV bestanden binnenkomen. Om 12.00 uur stond het Pull Request klaar voor mijn collega om de aanpassingen naar de testomgeving te releasen.

Om 12.30 uur was het tijd voor lunch en gingen we naar buiten met een groepje. We bezochten een Turks restaurant, waar we een hapje hebben gegeten. De zon scheen dus het was niet erg om een stukje te wandelen.

Bugfixing

Ik ging om 13.30 uur met mijn UNICEF-collega wat bugfixes uitvoeren op het huidige dataplatform. Al snel vonden we de oorzaak van de foutmeldingen en hebben we het meteen uitgezocht. Ook kon ik gelijk de mogelijke oplossing inbouwen, die ik ben gaan testen.

Mijn collega was al bezig geweest met het inrichten van de CI/CD Pipeline in Azure DevOps. We wilden uitzoeken hoe we de pipeline nog verder konden optimaliseren, zodat het proces van ontwikkelen tot aan productie soepel verloopt. Om 14.30 uur boekten we een vergaderruimte met whiteboard en begonnen we met brainstormen over dit onderwerp.  

Tot slot had ik om 16.00 uur nog een laatste taak te doen vandaag. Er werd mij gevraagd om een oude financiële database te ontsluiten naar het nieuwe (bestaande) dataplatform. Daar spendeerde ik het laatste uur van deze werkdag aan, om vervolgens om 17.00 uur uit te loggen en weer in de auto richting huis ging.

Deze dagen geven mij veel energie. De brainstormsessies vind ik heel leuk om te doen. Je weet van tevoren niet wat daaruit komt en het is altijd leerzaam. Je wordt ertoe aangezet om creatief te zijn en out of the box te denken. Dat maakt het werk van een data engineer zo interessant.