De voordelen en uitdagingen van een Data Mesh architectuur

De afgelopen tijd horen we veel over Data Mesh architectuur. Maar wat is een Data Mesh, en belangrijker nog, zou ik er iets mee moeten doen? Om die vraag te beantwoorden starten we met de uitleg over wat een Data Mesh is, de mogelijke voor- en nadelen en hoe een Data Mesh zich verhoudt tot de hedendaagse data architectuur.

De data architectuur van vandaag is vaak centraal en wordt bediend door een centraal datateam. Dit team maakt het mogelijk dat data bruikbaar wordt binnen de organisatie. Door zijn centrale aard kan dit echter leiden tot vertraging in het tijdig kunnen brengen van data en inzichten naar de business domeinen die het nodig hebben.

Wat is Data Mesh?

Met Data Mesh decentraliseer je taken en techniek, van een centraal datateam naar de verschillende business domeinen, ook wel meshes genoemd. Voorbeelden van business domeinen zijn “Salarisadministratie” of “Planning & Budget”. Waar centrale data architecturen data ophalen, opschonen en distribueren stimuleert Data Mesh dat elk business domein dit zelf doet en samenwerkt met andere business domeinen die over data beschikken die zij nodig hebben. Business domeinen opereren hierdoor meer autonoom en zijn niet afhankelijk van een centraal data team.

Afbeelding uitleg data mesh architectuur

Het adopteren van een Data Mesh architectuur is uitdagend. Enkele belangrijke redenen hiervoor zijn:

Het vereist een verandering in cultuur en structuur van de organisatie doordat business domeinen verantwoordelijk zijn voor de kwaliteit en beschikbaarheid van hun data.
Het vereist een nieuwe manier van denken over data governance en beveiliging.
Het vereist een significante investering in technologie, infrastructuur en training van mensen.

De voordelen van een Data Mesh architectuur

Een Data Mesh architectuur heeft de volgende potentiële voordelen:

Innovatie: Teams zijn in staat sneller te reageren op veranderende business vaagstukken.
Kortere time-to-market: Data is beter herbruikbaar en flexibel in te zetten door zijn meer autonome en kleinere vorm.
Robuust: met Data Mesh is data klein, onafhankelijk en looseley coupled (een architectuurstijl waarbij individuele componenten van een systeem onafhankelijk van elkaar gebouwd zijn). Problemen van data uit één team heeft geen impact op de beschikbaarheid van data uit andere teams.

Een centrale data architectuur heeft de volgende potentiële voordelen:

Toegankelijk: relatief makkelijk te ontwerpen en simpel in gebruik.
Governance: biedt, door zijn centrale aard, makkelijker één versie van de waarheid en het bewaken hiervan.
Lagere en beheersbare kosten: kostenefficiënter omdat er minder verspreid een complexe technische infrastructuur en expertise nodig is.

Is Data Mesh architectuur al iets voor jouw organisatie?

Ik denk dat veel organisaties niet klaar zijn voor de paradigmawisseling die bij Data Mesh komt kijken. Data Mesh betekent een verandering in cultuur en organisatie. Als organisatie zal je jezelf moeten herstructureren zodat business domeinen in staat zijn om hoogwaardige dataproducten te bieden.

Een paar relevante toetsingsvragen:

Zijn de business domeinen in staat om technisch hoogwaardige dataproducten te leveren?
Zijn mijn huidige operationele systemen in staat om data betrouwbaar en tijdig beschikbaar te stellen?
Is relevante data en informatie vindbaar en betrouwbaar binnen mijn organisatie?

Om data als hoogwaardig product te leveren en te onderhouden vereist discipline. Data en software engineers hebben daar door de jaren heen veel expertise in opgebouwd. Denk aan best practices rondom programmeren, architecturen en leveren van data producten. Om dit te verwachten van business domeinen is een stap waarvoor goed naar de haalbaarheid gekeken moet worden.

Data ligt ook vaak vast in systemen die niet betrouwbaar en consistent ontsloten kunnen worden, denk bijvoorbeeld aan data in CSV, Excel en Access-bestanden.

Ik zie dat veel organisaties een nog grotere uitdaging hebben bij het vindbaar maken van data en informatie, nog los van wie dat produceert. Het beschikken over een data governance is, mijn inziens, de eerste stap alvorens er over een Data Mesh gesproken kan worden.

Hoe begin ik met Data Mesh?

De hierboven genoemde redenen betekenen niet dat Data Mesh een slecht idee is. In tegendeel, ik denk dat Data Mesh een fantastisch doel is om als organisatie te hebben. Echter zal je je moeten realiseren dat er stappen gezet moeten worden voordat je daar bent.

Start met een visie en scope met een aansluiting op de bedrijfsmissie. Zo ineens een stap naar decentralisatie gaat weerstand oproepen, vooral als je niet helder communiceert over waar het heen gaat. Beschik je al over een centraal data team dan zul je bijvoorbeeld antwoord moeten geven over wat hun positie wordt in de toekomst.

Begin klein met bijvoorbeeld een pilot project. Begin met een business domein die het meest in de buurt komt van wat er van hen verwacht wordt binnen een Data Mesh. Maak duidelijk wat de criteria zijn voor succes en gebruik de uitkomst van de pilot als blauwdruk waarop verbeterd kan worden bij het aanhaken van het volgende business domein. Klein beginnen kan inhouden dat je een business domein laat starten met het zelf maken van inzichten op data geleverd vanuit een centraal data team (in tegenstelling tot een business domein ook zelf de data op te laten halen en opschonen).

Ga er vanuit dat er business domeinen zullen zijn die niet zo ver zijn en er misschien ook nooit (willen) komen, hoe zij in de toekomst ook worden ondersteund. Er is dus een grote kans dat je langere tijd zal beschikken over een hybride situatie.

Conclusie

Data Mesh is een prachtige doelstelling om als organisatie te hebben. Door elk deel van je organisatie te laten denken en doen in data, door ze er verantwoordelijk voor te maken, biedt Data Mesh in potentie veel voordelen. Maar kijk er gebalanceerd naar:

Data Mesh is niet voor iedereen. Data Mesh betekent een verandering in cultuur en organisatiestructuur waar niet iedere organisatie klaar voor is.
Laat je niet verleiden door leveranciers die beweren dat zij een Data Mesh voor jou kunnen bouwen. Data Mesh is allereerst een organisatorisch vraagstuk, niet een technisch vraagstuk.
Huis op orde. Wat is de status van je huidige informatievoorziening? Kan deze verbeterd worden? Mogelijk is het wijs om daar eerst mee te beginnen.
Begin klein en gecontroleerd. Start met een pilot project en een duidelijke visie en scope.

Denk je dat jouw organisatie klaar is voor Data Mesh?

Interessante bronnen

Over de schrijver

Ian creates Business Intelligence solutions and gives clear insights with stunning visuals!