Terug van onze winterstop van twee weken. Het voelt goed om weer te gaan schrijven. Korte samenvatting: we hebben het eerste kwartaal van dit jaar (2023) gewijd aan de verschillende componenten van een datastrategie (probeer op internet te zoeken – niemand heeft echt geprobeerd een gouden standaard voor een datastrategie te ontwikkelen). In dit artikel gaan we in op een heel belangrijke uitdaging: de uitdaging van datare-integratie. Waarom ik dit belangrijk vind?
Kortom: het heeft te maken met een trend die gaandeweg alleen maar sneller zal gaan. De meeste domeinexperts kennen het als "dataproliferatie," of de toename van de snelheid, variëteit, volume en waarde van data (verwijzend naar de vijf ‘V’s’ van big data: de laatste is waarheidsgetrouwheid of ‘waarheidswaarde’ van data (wat een belangrijk onderdeel is van de omgang met gegevens – maar enigszins buiten de reikwijdte van het punt dat we maken).
Waarom zien we zo’n enorme toename van data? Een aantal maatschappelijke trends stimuleren dit:
- Toenemende adoptie van cloudtechnologie (waarbij leveranciers er trots op zijn dat ze ‘triple mirroring’ gebruiken bij het opslaan van gegevens – waardoor ze altijd vanaf elke locatie beschikbaar zijn)
- Er worden steeds meer digitaliseringsprojecten gestart
- Toename van de bereidheid van klanten om online methoden te gebruiken
De verspreiding van data wordt verder vergroot wanneer bedrijven actief zijn in verschillende geografische regio’s, meerdere bedrijfskritische systemen hebben (ERP, CRM, …) en moeite hebben met het navigeren door de lock-in van leveranciers. De bedreigingen zijn aanzienlijk met:
- Stijgende kosten
- Stijgende druk op het netwerk
- Beveiligingsproblemen (we hebben dit ook aangepakt toen we de verantwoordelijkheidsmatrix noemden)
- Verlies van informatie (bijvoorbeeld wanneer oude datasets worden overschreven)
De afgelopen decennia heeft de re-integratie van data plaatsgevonden in datawarehouses (de ‘go to’ voor het beheren van gestructureerde data) en datalakes (minder gestructureerd maar goedkoper en flexibeler). Er is echter steeds meer belangstelling voor nieuwe technologieën en concepten. Twee concepten die onze aandacht verdienen zijn "datavirtualisatie", een technisch concept dat verwijst naar de mogelijkheid om gegevens uit de bron op te halen en te manipuleren zonder de noodzaak om de technische details van de brongegevens te kennen. Een tweede concept is het ‘socio-technische’ concept van "data mesh." Het gaat verder dan het technische en verwijst naar de ‘dualiteit van de technologie’ (vgl. Orlikowski) – een concept dat het idee beschrijft dat technische praktijken ingebed zijn in bredere sociale structuren. Denk eens aan onze verantwoordelijkheidsmatrix – een sociale constructie – die de vorming van een datanetwerk mogelijk zou maken (waardoor teams de datapockets kunnen oppikken die waarde voor hen hebben zonder dat het centrale datateam een knelpunt wordt).
Data-re-integratie is hard werken en moet ook worden ingebed in een architectuur (en sociale structuur) die dit mogelijk maakt. Je kunt kleinschalig beginnen (dit doen wij dagelijks voor salesorganisaties die hun belangrijke salesdata op één plek willen zien) of een bredere visie ontwikkelen (tot het niveau waarop een data mesh voor jouw organisatie gedefinieerd kan worden).
Als u wilt weten hoe wij u kunnen helpen bij de re-integratie van data, bel ons dan.
