De evolutie van datawarehouse naar smart data platform
“Vroeger was alles beter”, een bekende uitdrukking om oude tijden te doen herleven. Ik zou de term datawarehouse al wel nostalgie durven noemen. Het zou ook kunnen dat ik daarmee mensen tegen het zere been schop, of zelfs oplossingen te kort doe. Toch is er wel een tendens gaande, langzaam verandert het klassieke datawarehouse in een smart dataplatform. Of voel jij je comfortabeler bij termen als datalake, datalakehouse of datahub?
Het klassieke datawarehouse
Al rond 1970 was het Bill Inmon die begon over het concept datawarehousing om data uit operationele systemen te verzamelen ten behoeve van data gedreven beslissingen. Vanaf 1990 werd bij steeds meer organisaties gesproken over en gewerkt aan een datawarehouse, mede dankzij nieuwe boeken als Building the Data Warehouse (1992) door dezelfde Bill Inmon, gevolgd door The Data Warehouse Toolkit (1996) door Ralph Kimball. Beide heren zijn nog altijd grootheden in de wereld van data!
De term datawarehouse is nauw verbonden aan business intelligence. Deze term werd vanaf halverwege de jaren '90 steeds gangbaarder en wordt gebruikt voor het verzamelen en analyseren van data op verschillende niveaus met als doel om beslissingen te kunnen nemen op basis van data.
Waar we nu een enorme versnelling zien in de hoeveelheid data die wordt opgeslagen, was dat 30 jaar geleden niet anders. Veel organisaties gingen over op digitale systemen en steeds meer data werd opgeslagen in databases, spreadsheets en andere oplossingen. Met de komst van het datawarehouse waren steeds meer organisaties in staat stappen te zetten op het gebied van business intelligence. Veel organisaties maakten gebruik van IT-dienstverleners en de rol van de business intelligence consultant was geboren.
Wat een datawarehouse precies is beschreef ik al eens in een artikel op LinkedIn: https://www.linkedin.com/pulse/wat-een-datawarehouse-bob-woets/
Creatief met nieuwe terminologie
Het woord datawarehouse lijkt langzaam uit te sterven. Het zijn vooral de doorgewinterde medewerkers van organisaties die de term datawarehouse nog gebruiken voor een oplossing om data te verzamelen, een single source of the truth te creëren en middels rapportages gebruikers in staat te stellen de data te consumeren. Een dergelijke oplossing voorziet echter ook steeds minder vaak in de behoefte van de dataconsumenten van de organisatie.
Het verzamelen van data lijkt bijna een doel op zich te worden, zowel gestructureerd als ongestructureerd. Het datalake was geboren, waarin het verzamelen van al deze vormen van data mogelijk was. In praktijk blijken echter veel dataconsumenten te verdrinken in de hoeveelheid data. Een nieuwe term ontstond: het datalakehouse. Een combinatie van een datalake en een datawarehouse. Een verzameling van vele soorten data, beschikbaar in verschillende vormen. Van ruwe data voor de data scientist tot datamarts vol business logica voor de data analist of het management in de vorm van dashboards.
Een datalakehouse is dus eigenlijk een moderne architectuur van wat vroeger een datawarehouse was. De totale oplossing noemen we dan een dataplatform, datahub of zelfs een smart dataplatform om het nog meer kracht bij te zetten. Je zou het ook marketing kunnen noemen.
Niets veranderd!
Afhankelijk van welke bril je op zet is er eigenlijk niet zoveel veranderd ten opzichte van dat wat de grondleggers Inmon en Kimball in de jaren ’80 al beschreven. Ook een datawarehouse van 40 jaar oud zouden we prima een dataplatform of datahub kunnen noemen. We hebben nog steeds uitdagingen op het gebied van datakwaliteit en centrale definities. Het is vooral de technologie die zich heeft ontwikkeld. Mede door de komst van de cloud-technologie zijn we in staat om tegen veel lagere kosten veel meer data op te slaan en snel te verwerken. Met innovaties op het gebied van machine learning en artificial intelligence kunnen we tegenwoordig natuurlijk veel meer waarde halen uit de beschikbare data. De technologische ontwikkelingen staan gelukkig niet stil!
Toekomst
De termen vliegen je momenteel om de oren. Er zijn ongetwijfeld nog talloze voorbeelden te noemen van een moderne oplossing voor het verzamelen, bewerken, analyseren en visualiseren van je data. Als we echter alle marketing en technologie wegnemen dan blijft het concept van een datawarehouse nog fier overeind staan. De kunst is om met moderne technologie een oplossing te kiezen die past bij de organisatie. De term? Ik laat me graag verrassen!
