te overwinnen wat zijn de uitdagingen?

van flexibiliteit tot schaalbaarheid en efficiëntie, het gebruik van Data Vault als uw datamodelleringsbenadering heeft vele voordelen. Maar tegelijkertijd zijn er uitdagingen waar je je bewust van moet zijn. In deze blog ga ik je door de beperkingen en hoe je ze kunt overwinnen.

De approach Data Vault neemt bij het modelleren van data (iets waar ik verderop in detail op zal ingaan) resulteert in een aanzienlijk grotere hoeveelheid data objecten in vergelijking met andere benaderingen. Deze objecten omvatten dingen zoals tabellen en kolommen en de reden dat er zo veel meer is omdat Data Vault scheidt soorten informatie.

als gevolg hiervan kan de modellering vooraf groter zijn om rekening te houden met de hierboven genoemde voordelen als eindresultaat. Het betekent ook dat tijdens het modelleringsproces er grotere aantallen handmatige of mechanische taken betrokken kunnen zijn om het flexibele en gedetailleerde datamodel met al zijn componenten vast te stellen.

Hoe kunnen deze beperkingen worden aangepakt?

om tijdrovende handmatige taken tijdens het modelleringsproces te vermijden, kunnen architecten delen van het model automatiseren, waardoor het efficiënter is om op lange termijn te creëren, bij te werken en te onderhouden.

Hoe kunnen ze dat doen?

binnen de Data Vault-benadering zijn er bepaalde lagen van gegevens. Deze variëren van de bronsystemen waar gegevens afkomstig zijn, tot een Staging Area waar gegevens afkomstig zijn van het bronsysteem, gemodelleerd volgens de oorspronkelijke structuur, tot het Core Data Warehouse, dat de raw vault bevat, een laag die tracering mogelijk maakt naar de oorspronkelijke bron systeemgegevens, en de business vault, een semantische laag waar zakelijke regels worden geïmplementeerd. Tot slot zijn er data marts, die zijn gestructureerd op basis van de eisen van het bedrijf. Bijvoorbeeld, er zou een Finance data mart of een Marketing data mart, die de relevante gegevens voor analysedoeleinden.

uit deze lagen zijn de staging area en de Raw vault het meest geschikt voor automatisering.

wat zijn de kenmerken van de belasting…Data vault modellering?

Het laden…data vault modellering techniek brengt ultieme flexibiliteit door het scheiden van de business keys, die uniek identificeren elke zakelijke entiteit en niet vaak veranderen, van hun attributen. Dit resulteert, zoals eerder vermeld, in veel meer gegevensobjecten in het model, maar biedt ook een datamodel dat zeer kan reageren op veranderingen, zoals de integratie van nieuwe gegevensbronnen en bedrijfsregels.

de basisstructuur van het model komt voort uit de bedrijfssleutels en de relaties daartussen. Hun stabiele aard vormt het belangrijkste ingrediënt voor een robuust datamodel, maar betekent ook dat de sleutels zorgvuldig moeten worden gekozen, omdat ze de basis vormen waaruit al het andere is afgeleid.

Hubs

De tabellen die de bedrijfssleutels bevatten worden hubs genoemd in de data vault-benadering. Naast het opslaan van de sleutels bevatten hubs ook surrogaatsleutels en metadata voor elke bedrijfssleutel. Tot slot is de bron van elke business key ook te vinden in de hub, zodat informatie kan worden getraceerd naar de oorsprong.

koppelingen

Linktabellen zijn veel-op-veel join tabellen die verschillende zakelijke sleutels verbinden. In de linktabellen vindt u de surrogaatsleutels voor de hubs die via de link zijn verbonden, evenals de surrogaatsleutel voor de link en de metadata over waar de associatie vandaan komt.

satellieten

met de hubs en koppelingen is de structuur van het Data vault model opgezet. Het bevat echter nog geen attributen. Hier komen satellieten in beeld. Satelliettabellen bevatten metadata die ze verbinden met hun ouderhubs en verbindingstabellen. Ze bevatten ook metadata over de oorsprong van de attributen, evenals tijdelijke attributen. Dit betekent dat data architects er dankzij satellieten voor kunnen zorgen dat de geschiedenis op elk moment wordt vastgelegd, terwijl het ook een audit trail en traceerbaarheid naar het bronsysteem biedt.

Hoe werkt Data Vault met Exasol?

in Exasol heeft u een database die u in staat stelt om flexibel te werken met een overvloed aan tools en methodologieën, zodat u de juiste aanpak voor uw bedrijf en overkoepelende analytics strategie kunt kiezen.

Exasol ondersteunt u volledig bij het kiezen van de datamodelleringstechniek die het beste bij uw strategie past. Dit betekent, kunt u gemakkelijk profiteren van de voordelen Data Vault brengt.

we hebben partners zoals Datavault Builder en Wherescape die data modeling en warehouse automation tools hebben gemaakt die moeiteloos integreren met de exasol database.

u kunt uw datamodel ook direct in onze database bouwen met behulp van ons UDF-Framework.

de prestaties van Exasol naar uw gegevenskluis brengen gemodelleerde gegevens

het modelleren van uw gegevens in gegevenskluis kan resulteren in complexe SQL-query ‘ s die worden uitgevoerd in uw datawarehouse. De architectuur en het pure ontwerp van Exasol zorgen ervoor dat de uitstekende prestaties die we u beloven, behouden blijven gedurende de gehele datalifecycle, inclusief uw datamodellerings-en warehousingprocessen.

u kunt snel en efficiënt historische query-resultaten controleren en reproduceren, terwijl u ook al uw grote datavolumes in het magazijn laadt en uw analisten en datawetenschappers uitnodigt om hun workflows, analyses en analytische modellen rechtstreeks in het datawarehouse uit te voeren zonder in te boeten aan snelheid en betrouwbaarheid.

onze partnerships met Datavault Builder en Wherescape richten zich op het verbeteren van de gebruikerservaring bij elke nieuwe release, daarom nemen we uw feedback en werken we samen aan de continue ontwikkeling en integratie van onze respectievelijke producten.

intern hebben we Datavault Builder gebruikt voor onze eigen ontwikkeling van datawarehouses en u kunt deze video bekijken om een indruk te krijgen van onze samenwerking met het team van Datavault Builder.

waarheen vanaf hier?

Als u meteen wilt beginnen, bent u hier aan het juiste adres. De makkelijkste manier om dingen uit te testen is om onze proefversie van de exasol-database te gebruiken en een aantal van uw eigen gegevens erin te laden. Als u al een datamodel hebt en wilt testen hoe het zou presteren in Exasol, kunt u dat ook doen.

We kijken ernaar uit om met u samen te werken en u te helpen met het laden…Data Vault modellering in Exasol.

Eva Murray, Technology Evangelist, Exasol