Wie die Herausforderungen der Verwendung von Data Vault zu überwinden
Was sind die Herausforderungen?
Von Flexibilität über Skalierbarkeit bis hin zu Effizienz bietet die Verwendung von Data Vault als Datenmodellierungsansatz viele Vorteile. Aber gleichzeitig gibt es Herausforderungen, die Sie beachten müssen. In diesem Blog werde ich Sie durch die Einschränkungen führen und wie Sie sie überwinden können.
Der Ansatz von Data Vault bei der Modellierung von Daten (etwas, auf das ich weiter unten näher eingehen werde) führt im Vergleich zu anderen Ansätzen zu einer deutlich größeren Menge an Datenobjekten. Diese Objekte enthalten Dinge wie Tabellen und Spalten und der Grund, warum es so viele mehr gibt, ist, dass Data Vault Informationstypen trennt.
Infolgedessen kann der Modellierungsaufwand im Vorfeld größer sein, um die oben genannten Vorteile als Endergebnis zu berücksichtigen. Dies bedeutet auch, dass während des Modellierungsprozesses eine größere Anzahl manueller oder mechanischer Aufgaben erforderlich sein kann, um das flexible und detaillierte Datenmodell mit all seinen Komponenten zu erstellen.
Wie können diese Einschränkungen behoben werden?
Um zeitraubende manuelle Aufgaben während des Modellierungsprozesses zu vermeiden, können Architekten Teile des Modells automatisieren, wodurch das Erstellen, Aktualisieren und Pflegen langfristig effizienter wird.
Wie kann man das machen?
Innerhalb des Data Vault-Ansatzes gibt es bestimmte Datenschichten. Diese reichen von den Quellsystemen, aus denen Daten stammen, über einen Staging-Bereich, in dem Daten aus dem Quellsystem eintreffen, modelliert nach der ursprünglichen Struktur, bis hin zum Core Data Warehouse, das den Raw Vault enthält, eine Schicht, die eine Rückverfolgung ermöglicht zu den ursprünglichen Quellsystemdaten und dem Business Vault, einer semantischen Schicht, in der Geschäftsregeln implementiert werden. Schließlich gibt es Data Marts, die nach den Anforderungen des Unternehmens strukturiert sind. Zum Beispiel könnte es einen Finanz-Data-Mart oder einen Marketing-Data-Mart geben, der die relevanten Daten für Analysezwecke speichert.
Von diesen Ebenen eignen sich der Staging-Bereich und der Raw-Tresor am besten für die Automatisierung.
Was sind die Eigenschaften des Ladens…data Vault Modellierung?
Das Laden…die Data Vault-Modellierungstechnik bietet ultimative Flexibilität, indem die Geschäftsschlüssel, die jede Geschäftseinheit eindeutig identifizieren und sich nicht häufig ändern, von ihren Attributen getrennt werden. Dies führt, wie bereits erwähnt, zu viel mehr Datenobjekten im Modell, bietet aber auch ein Datenmodell, das sehr schnell auf Änderungen reagieren kann, z. B. auf die Integration neuer Datenquellen und Geschäftsregeln.
Die Grundstruktur des Modells ergibt sich aus den Geschäftsschlüsseln und den Beziehungen zwischen ihnen. Ihre stabile Natur ist der Schlüssel für ein robustes Datenmodell, bedeutet aber auch, dass die Schlüssel sorgfältig ausgewählt werden müssen, da sie die Grundlage bilden, von der alles andere abgeleitet wird.
Hubs
Die Tabellen, die die Geschäftsschlüssel enthalten, werden im Data Vault-Ansatz Hubs genannt. Neben der Speicherung der Schlüssel enthalten Hubs auch Ersatzschlüssel und Metadaten für jeden Geschäftsschlüssel. Schließlich kann auch die Quelle jedes Geschäftsschlüssels im Hub gefunden werden, sodass Informationen bis zu ihren Ursprüngen zurückverfolgt werden können.
Links
Linktabellen sind Viele-zu-Viele-Join-Tabellen, die verschiedene Geschäftsschlüssel verbinden. In Linktabellen finden Sie die Ersatzschlüssel für die über den Link verbundenen Hubs sowie den Ersatzschlüssel für den Link und die Metadaten darüber, woher die Zuordnung stammt.
Satelliten
Mit den Hubs und Links ist die Struktur des Data Vault-Modells eingerichtet. Es enthält jedoch noch keine Attribute. Hier kommen die Satelliten ins Spiel. Satellitentabellen enthalten Metadaten, die sie mit ihren übergeordneten Hubs verbinden und Tabellen verknüpfen. Sie enthalten auch Metadaten über die Herkunft der Attribute sowie zeitliche Attribute. Dies bedeutet, dass Datenarchitekten dank Satelliten sicherstellen können, dass der Verlauf in jedem Intervall aufgezeichnet wird, und gleichzeitig einen Audit-Trail und eine Rückverfolgbarkeit bis zum Quellsystem bereitstellen.
Wie funktioniert Data Vault mit Exasol?
In Exasol haben Sie eine Datenbank, mit der Sie flexibel mit einer Vielzahl von Tools und Methoden arbeiten können, um den richtigen Ansatz für Ihr Unternehmen und Ihre übergeordnete Analysestrategie zu wählen.
Exasol unterstützt Sie umfassend bei der Auswahl der Datenmodellierungstechnik, die am besten zu Ihrer Strategie passt. Dies bedeutet, dass Sie problemlos von den Vorteilen von Data Vault profitieren können.
Wir haben Partner wie Datavault Builder und Wherescape, die Tools zur Datenmodellierung und Lagerautomatisierung entwickelt haben, die sich mühelos in die Exasol-Datenbank integrieren lassen.
Sie können Ihr Datenmodell auch direkt in unserer Datenbank erstellen, indem Sie unser UDF-Framework verwenden.
Bringen Sie die Leistung von Exasol in Ihren Data Vault modellierte Daten
Die Modellierung Ihrer Daten in Data Vault kann dazu führen, dass komplexe SQL-Abfragen in Ihrem Data Warehouse ausgeführt werden. Die Architektur und das pure Design von Exasol stellen sicher, dass die herausragende Leistung, die wir Ihnen versprechen, über den gesamten Datenlebenszyklus hinweg erhalten bleibt, einschließlich Ihrer Datenmodellierungs- und Warehousing-Prozesse.
Sie können historische Abfrageergebnisse schnell und effizient auditieren und reproduzieren, während Sie gleichzeitig alle Ihre großen Datenmengen in das Data Warehouse laden und Ihre Analysten und Data Scientists einladen, ihre Workflows, Analysen und Analysemodelle direkt im Data Warehouse auszuführen, ohne Einbußen bei Geschwindigkeit und Zuverlässigkeit zu machen.
Unsere Partnerschaften mit Datavault Builder und Wherescape konzentrieren sich auf die Verbesserung der Benutzererfahrung mit jeder neuen Version, weshalb wir Ihr Feedback entgegennehmen und gemeinsam an der kontinuierlichen Entwicklung und Integration unserer jeweiligen Produkte arbeiten.
Intern haben wir Datavault Builder für unsere eigene Data Warehouse-Entwicklung verwendet und Sie können sich dieses Video ansehen, um einen Eindruck von unserer Partnerschaft mit dem Team von Datavault Builder zu erhalten.
Wohin von hier?
Wenn Sie sofort loslegen möchten, sind Sie bei uns genau richtig. Der einfachste Weg, die Dinge zu testen, ist unsere Testversion der Exasol-Datenbank zu verwenden und einige Ihrer eigenen Daten in sie zu laden. Wenn Sie bereits über ein Datenmodell verfügen und testen möchten, wie es in Exasol funktioniert, können Sie dies auch tun.
Um diese Schritte zu durchlaufen, finden Sie hier die relevanten Ressourcen:
- Laden Sie unsere kostenlose Testversion herunter und installieren Sie sie oder lassen Sie sich mit einer Testversion in unserer ExaCloud einrichten.
- Nutzen Sie unser Dokumentationsportal, wenn Sie Hilfe bei der Anbindung an Ihre bestehenden Tools benötigen, z.B. Datavault Builder.
- Treten Sie unserer Online-Community bei, in der Sie Hilfe und Tipps erhalten, neue Tricks lernen und mit Gleichgesinnten in Kontakt treten können. Außerdem können Sie sich mit unseren Mitarbeitern in Verbindung setzen und uns mitteilen, wie es Ihnen während Ihrer Testversion geht.
Wir freuen uns darauf, mit Ihnen zusammenzuarbeiten und Ihnen beim Laden zum Erfolg zu verhelfen…Data Vault Modellierung in Exasol.
Eva Murray, Technologie-Evangelistin bei Exasol