Automatische ETL-Metadaten-Aufnahme und interaktive grafische Prozess-Analyse

Veröffentlicht am

Unterstützung der Wohnungswirtschaft im digitalen Wandel

Anlass für das Mandat war der wenig dokumentierte Zustand im Berichtswesen (BI) eines Unternehmens. Über die Zeit sind viele Berichte und Datenabfragen und komplexe Datenanalysen von verschiedenen Fachbereichen in einem integrierten BI – Werkzeug erstellt worden. Transparenz und Verständnis des bisherigen Daten-Netzes der Abfragen und Analysen sollte verbessert werden.

Untersuchungsgegenstand war die IT-Datenfluss – Landschaft mit vielen Datenbanken, Tabellen, Views, Stored Procedures sowie deren Verknüpfung mit Batch und ETL-Skripten. Ziel war die technische Dokumentation aller Datenflüsse, um Verständnis und Transparenz zu verbessern. Um den manuellen Aufwand und die Fehleranfälligkeit gering zu halten, sind verschiedene Skripte zur automatischen Abfrage der Daten, Analyse und strukturierten Abspeicherung in einer GraphDB eingesetzt worden.

 

 

Motivation

Der Wandel durch die Globalisierung und Digitalisierung betrifft viele Branchen – auch die Wohnungswirtschaft. Durch Wandel der dynamischen Umwelt wie z-B. Covid-19 und deren Folgen wie Insolvenzen geben Druck auf Entscheider…

Motivation Wohnungswirtschaft

Workshop zur Zielklärung

Aus den möglichen Zielen sind für eine erste Phase die aktuell wichtigsten Ziele ausgewählt worden:

  • Digital Leader in der Wohnungswirtschaft
  • Datenbasierte Analysen und Vorhersage
  • Single Version of Truth (SVOT)
  • Akkurate Master-Daten, Transparenz

 

Ableitung Ziele Digitale Leader Wohnungswirtschaft

 

Vorgehensweise der Phase 1

Für die Zielerreichung haben wir uns für folgende Vorhenesweise entschieden:

  • Fachliche Einordnung: Prozesse / Bedarfsträger / Beteiligte
  • Technische – Analyse bisheriger BI Datenquellen und Flüsse
  • Datenaufnahme der Datenpunkte und Verbindungen
  • Entwurf Datenfluss – Schema
  • Datenaufbereitung
  • Visualisierung

 

 

Vorgehensweise Phase 1 : technische ETL-Metadaten Analyse

Durchführung der Maßnahmen

Sowohl die Datenbanksysteme wie auch die Batch- und ETL – Skripte wurden automatisiert ausgelesen und die geutzten Datenverbindungen aufgenommen.

Alle Nutzungs-Verbindungen zwischen des Datenknoten (Views, Tabelle, Connectoren, Skripten) analysiert worden, so ist ein Geflecht von Beziehungen entstanden. Durch dieses Netz von Beziehungen sind nun alle Pfade von einer Kennzahl bis zu den nötigen Datenquellen nachvollziehbar. Außerdem sind die Querverweise zu anderen Kennzahlen und doppelte Abfragepfade sowie unnötige Komplexität analysierbar.

ETL Prozess Datenfluss Dokumentation Detail

Ergebnisse

Aus der Aufgenommenen und analysierten Daten ist das entstandene Netz in einer Graph-Datenbank abgespeichert worden, so dass die Nutzung- Zusammenhänge und Abhängigkeiten durch strukturierte Abfragen ermittelbar sind. Des Weiteren sind die Datenpfade auch von einem frei gewählten Startknoten aus manuell ermittelbar.

 

Beispiel grafische Auswertung ETL-Metadaten-Prozess Datenfluss

Zusammenfassung

Einen Überblick gibt es hier als Poster

 

.