MT Logo
Data-Warehouse-Automatisierung2023-05-10T13:09:19+02:00

Data-Warehouse-Automatisierung.

Individuelle Data-Warehouse-Automatisierung für mehr Agilität in Ihren Analytics-Projekten. Profitieren Sie von Zeit- und Kostenersparnis.

Data-Warehouse-Automatisierung.

Höhere Geschwindigkeit und Qualität.

An eine Analytics-Lösung werden hohe Erwartungen in Bezug auf die Geschwindigkeit, Flexibilität und Qualität gestellt. Eine schnelle Umsetzung neuer Anforderungen in hoher Qualität sind nur mit agiler Data-Warehouse-Entwicklung möglich. Innerhalb der Data-Warehouse-Automatisierung (DWA) gibt es zwei Stellschrauben, an denen wir drehen können:

Data_Warehouse

1. Es besteht die Möglichkeit, die Data Warehouse-Entwicklung selbst zu automatisieren. Hierfür haben wir unser eigenes DWA-Framework entwickelt.

2. Das Testen kann automatisiert werden. Wir sprechen dann von der Data-Warehouse-Testautomatisierung (DWTA).

Anwendungsmöglichkeiten und Prozessautomatisierung.

Automatisierung der Data-Warehouse-Entwicklung.

Die Automatisierung der Data-Warehouse-Entwicklung kann in unterschiedlichen Situationen echte Mehrwerte schaffen:

  • Beim Aufbau eines neuen Data Warehouse
  • Bei der Modernisierung eines bestehenden Data Warehouse
  • Bei der effizienten Umsetzung neuer Anforderungen
  • Bei der schnellen Einbindung neuer Quellen zwecks Analyse

Wir verwenden in unseren Projekten im Zuge der Data-Warehouse-Automatisierung ein eigenes DWA-Framework, mit dessen Hilfe Objekte und Prozesse in einem Data Warehouse auf Knopfdruck generiert werden können. Es benutzt Metadaten, um Architekturen, Topologie, Standards, Namenskonventionen, Objekte und Regeln zu beschreiben. Die verschiedenen Verarbeitungslogiken können damit in Form von Templates einmalig abgelegt werden. Anschließend werden komplette Datenbankstrukturen und die verschiedenen ETL-Prozesse automatisch generiert. Im Betrieb können Änderungen ebenfalls (semi-)automatisch eingepflegt und in das Data Warehouse übertragen werden. Das Framework wird permanent weiterentwickelt und kann flexibel an die jeweiligen Wünsche angepasst werden.

Konkret können folgende Aktivitäten automatisiert werden:

Anbindung der Quellen

Erzeugen von Datenbankobjekten

Einhaltung des Standards

Testen der Änderungen

Vorteile durch die Automatisierung der Entwicklung.

Icon_Qualitätsverbesserung

Qualitätsverbesserung

  • Konkrete ausführbare Abnahmetests
  • Entwicklertaugliche Spezifikation
  • Einbettung in agile Entwicklung/Implementierung
  • Schutz der Qualität der Anwendung durch permanente Regressionstests über den gesamten Lebenszyklus
Icon_ Zeit- und Kostenersparnis

Zeit- und Kostenersparnis

  • 80 % Zeitersparnis bei der Testausführung durch Wiederholbarkeit der Tests
  • Sehr frühe Fehlererkennung führt zu einer günstigen Behebung der Bugs
  • Schneller Entwicklung
  • Halbierung der Kosten gegenüber manuellem Testen
  • Investition, die sich ab dem 2. bis 4. Sprint rechnet
Icon_ Höhere Akzeptanz

Höhere Akzeptanz

  • Entlastung der Fachseite von Testaufwänden um bis zu 90 %
  • Mehrwert gemeinsamer Qualitätsverantwortung von Fachseite
  • und Entwicklung wird erkannt, circa ab dem 3. Sprint
  • Höhere Akzeptanz auf Entwicklungsseite durch Reduktion
  • monotoner, ermüdender Arbeit

MT Mediathek.

Finden Sie weiteres Material in unserem Downloadbereich zu Data-Warehouse-Automatisierung.

Anwendungsgebiete für Tests.

Testautomatisierung im Data Warehouse.

Die Anwendungsgebiete von Testautomatisierung in Bereich BI und DWH sind vielfältig: Bei einem Release- oder Datenbankwechsel muss etwa sichergestellt sein, dass alle Berichte stimmen und Usern der Zugriff auf die richtigen Berichte erhalten bleibt. Durch Testautomatisierung kann der Testaufwand bei einem Release- oder Datenbankwechsel um bis zu 90 Prozent reduziert werden. Durch eine vollautomatisierte CI/CD-Kette inklusive DevOps steigen die Agilität innerhalb des Projektes und die Akzeptanz auf der Fach- und Entwicklungsseite. Die Datenherkunft (Data Lineage) kann besser dokumentiert werden.

Testautomatisierung kann in allen DWH- und BI-Projekten angewendet werden. Durch den Einsatz der Testautomatisierung wird die Geschwindigkeit, Agilität und Qualität sowohl in bestehenden als auch in neuen Projekten deutlich erhöht. Konkret können wir folgende Prozesse automatisieren:

  • Testfallerstellung
  • Testdurchführung
  • Testauswertung
  • Testdokumentation
  • Testadministration

Erfolgsgeschichten.

Referenzen.

In zahleichen Projekten haben unsere Kunden von unserem Know-how bei der Data-Warehouse-Automatisierung profitiert.

Report Modernisierung.

Finanzdienstleister Düsseldorf

Die MT war bei einem Finanzdienstleister in Düsseldorf für die Ablösung und den Neuaufbau der aktuellen Reporting-Umgebung zuständig. Ein 10 Jahre altes System sollte zur Vereinfachung und Optimierung migriert werden. Mit einer Zeitersparnis von 80 % wurden Quellen automatisiert angebunden und die Datenbankobjekte in Oracle generiert. Die MT blieb unter der vorgegebenen Zeit und dem Budget.

Mehr erfahren »

Oracle Warehousebuilder (OWB).

Handelsunternehmen Düsseldorf

Bei einem Handelsunternehmen in Düsseldorf sollte eine neue DWH-Lösung zur Anbindung der Verkaufsdaten entwickelt werden. Im Laufe des Proof-of-Concept hat die MT eine vollständige CI/CD-Strecke mit automatisierten Integrationstest und Deployment umgesetzt. Die MT war verantwortlich für die Architektur und die Entwicklung, wobei die Quelldaten erst sehr spät im Projektverlauf definiert wurden. Die MT entwickelte deshalb allgemeine Templates für die ETL-Logik und generierte die ETL-Prozesse für OWB. Mit manueller Entwicklung wäre dies nicht möglich gewesen.

Entwicklungs- und Testautomatisierung.

CosmosDirekt

Bei der Direktversicherung Saarbrücken war die MT für die technische Projektleitung, Architektur und Entwicklung einer DWH-Modernisierung zuständig. Die Herausforderung war, ein 14 Jahre altes, historisch gewachsenes DWH mit vielen Marts und ETL-Prozessen wertgetrieben zu modernisieren. Hierbei wurden neue Quellen automatisiert angebunden und die Datenbankobjekte (Stage/Core) sowie ETL-Prozesse für ODI generiert, um eine Near-real-time-Bewirtschaftung bis in den Markt zu erreichen. Bei dem prämierten Code-of-Conduct-Projekt konnte die MT über 90 % der geplanten manuellen Tests vollständig automatisieren. Die geschätzten 150 PT für manuellen Aufwand im Fachbereich hätten vom Kunden nicht geleistet werden können. „Aufgrund des guten Testkonzeptes bereits vor den fachlichen Abnahmetests haben wir „leider“ keine Fehler mehr gefunden!“- C. Westrich (Kunde).

DWH-Lösung mithilfe von ODI.

Forderungsmanagement Essen

Eine neue DWH-Lösung mithilfe von ODI hat die MT für das Forderungsmanagement Essen entwickelt. Die tägliche Datenlieferung war jedoch nur als Fullload möglich, was zu einer schlechten Performance führte. Die MT konnte durch eine automatisierte Deltaberechnung im Stage sowie einer Generierung der Modell- und ETL-Prozessänderungen eine Laufzeitreduktion von bis zu 90 % erreichen.

Grafik_Leistungspakete

Unsere Leistungspakete im Überblick.

Wir bieten Ihnen sechs Pakete, bei denen Sie in unterschiedlichen Stufen von der Expertise der MT profitieren können. Dabei ist es ganz Ihnen überlassen, ob wir in einem ersten Workshop die Potentiale der DWA aufzeigen, einen Proof-of-Concept durchführen oder Sie in einem DWA-Projekt unterstützen.

In einem ersten Workshop möchten wir Ihnen die Potentiale der DWA aufzeigen. Hier identifizieren wir gemeinsam Ihre individuellen Herausforderungen bezüglich der Data-Warehouse-Qualität und zeigen Ihnen, in welchen Bereichen Sie von der DWA profitieren können. Nachdem wir uns einen technischen Überblick über Ihre Systeme und Anforderungen verschafft haben, erhalten Sie eine Roadmap mit konkreten Handlungsempfehlungen. Wir schlagen Ihnen vor, welche Maßnahmen umgesetzt werden können und erstellen eine grobe Aufwandschätzung dafür. Um für die Zukunft das bestmögliche Ergebnis effizient zu erreichen, bekommen Sie darüber hinaus eine Empfehlung für ein Proof-of-Concept.

Ergebnis:

  • Ergebnisdokument mit empfohlenen Maßnahmen und Roadmap
  • Machbarkeitsanalyse für DWA
  • Grobe Einschätzung der Aufwände
  • Empfehlung für ein PoC

Nutzen

  • Assessment individueller Potentiale für DWH Qualität
  • Erkennen der Vorteile des DWA
  • Individuelle Handlungsempfehlungen

Im Paket 2 führen wir ein DWA Proof-of-Concept auf Ihrem System durch. Am Beispiel von vereinbarten Testszenarien automatisieren wir die Entwicklung für einen fachlichen Ausschnitt Ihres Data Warehouse. Im Laufe des PoC wird das DWA-Framework in Ihre Landschaft eingebunden und personalisiert. Regeln und Konventionen werden über Metadaten eingepflegt. Je nach verwendeten Technologien und speziellen Anforderungen, werden individuelle Templates erstellt oder bestehende modifiziert. Anschließend erzeugen wir Metadaten für Objekte und Beziehungen, die vom Framework zum Generieren der Datenbankstrukturen und ETL-Prozesse verwendet werden. Im letzten Schritt wird komplexe fachliche Logik implementiert, die sich nicht standardisieren und automatisieren lässt.

Ergebnis:

  • Generierte ETL-Strecken von der Quelle zum Mart
  • Flexibles und weiterverwendbares Metadatenmodell
  • Bewertung der Ergebnisse und Handlungsempfehlungen

Nutzen:

  • Machbarkeitsstudie DWA im Kundenumfeld
  • Einführung der DWA für einen fachlichen Ausschnitt
  • Begründete Entscheidungsgrundlage fürs Management

In einem DWA Projekt unterstützen wir Sie in allen Phasen, von Analyse über Design und Entwicklung bis hin zu Managed Services. Abhängig von Ihren Wünschen und Anforderungen helfen wir Ihnen bei der Entwicklung oder führen das Projekt auch selbstverantwortlich unter eigener Projektleitung durch. Mit Hilfe unseres DWA-Frameworks kann die Data-Warehouse-Entwicklung nun agil und flexibel erfolgen. Durch die kurzen Lieferzeiten erreichen wir mehr Deployments in hoher Qualität. Schnelle Ergebnisse überzeugen Ihre Fachabteilungen und Geschäftsleitung und helfen Ihnen bei strategischen und geschäftskritischen Aktivitäten.

Ergebnis:

  • Flexible und zeitgerechte DWH-Umgebung
  • Hohe Akzeptanz im Unternehmen

Nutzen:

  • Steigerung der Qualität
  • Zeit- und Kostenersparnis in allen Projektphasen
  • Einbettung in die agile Entwicklung
  • Steigerung der Wettbewerbsfähigkeit

Ergebnis:

  • Ergebnisdokument mit Arbeitspaketen, Verantwortlichkeiten und Roadmap
  • Was setzen wir wann mit wem um

Nutzen:

  • Assessment der individuellen Verbesserungspotentiale für DWH / BI-Softwarequalität
  • Handlungsempfehlungen auf Basis der MT-Projekterfahrung
  • Umsetzungsvorschlag

Ergebnis:

  • Build- und Deployment-Pilotierung für BI/DWH
  • Lauffähige CI/CD-Umgebung

Nutzen:

  • Steigerung der Qualität
  • Automatisierte Build-Prozesse
  • Automatisierte Deployment-Pipelines
  • Integration Testautomatisierung in CI-Prozessnutzen

Ergebnis:

  • Produktive Einführung einer CI/CD-Chain
  • Design und Programmierung von automatisierbaren Testfällen

Nutzen:

  • Reduktion manueller Testaufwände
  • Permanente Regressionstests
  • Fast Feedback für Entwickler*innen

Data-Warehouse-Automatisierung.

Ansprechpartner.

Bei Frage zu Data-Warehouse-Automatisierung oder unseren Leistungsangeboten stehen Ihnen unsere Experten gerne zur Verfügung. Wir freuen uns über Ihre Nachricht.

Ralf_Böhme

Ralf Böhme

Bereichsleiter Analytics

Jürgen_Günter

Jürgen Günter

Fachbereichsleiter Analytics

Weitere Insights zu Data-Warehouse-Automatisierung.

MT Blog