Unternehmen sammeln heute mehr Daten als je zuvor – aus ERP-Systemen, CRM-Anwendungen, IoT-Sensoren und unzähligen weiteren Quellen. Doch Daten allein schaffen keinen Mehrwert. Erst ein sauber betriebenes Data Warehouse (DWH) macht aus der Datenflut eine verlässliche Entscheidungsgrundlage. In der Praxis zeigt sich jedoch: Viele DWH-Umgebungen leiden nicht an fehlenden Tools, sondern an fehlender Betriebsdisziplin.
Apache Kafka ist eine verteilte Event-Streaming-Plattform, die ursprünglich bei LinkedIn entwickelt und 2011 als Open-Source-Projekt der Apache Software Foundation übergeben wurde. Kafka wurde speziell dafür konzipiert, extrem große Mengen an Ereignissen (Events) in Echtzeit zuverlässig zu empfangen, zu speichern und weiterzuleiten – und das mit minimaler Latenz auch bei hohen Lastspitzen.
Vereinfacht ausgedrückt funktioniert Kafka wie ein hochskalierbares, dauerhaftes Nachrichtenprotokoll: Produzenten (Producer) schreiben Daten in sogenannte Topics, Konsumenten (Consumer) lesen diese Daten in ihrem eigenen Tempo heraus. Dabei bleiben die Daten für einen konfigurierbaren Zeitraum im System erhalten – im Gegensatz zu klassischen Message-Queues, die Nachrichten nach dem Lesen verwerfen.
Apache Airflow ist eine Open-Source-Plattform zur Orchestrierung, Planung und Überwachung von Datenpipelines. Ursprünglich 2014 bei Airbnb entwickelt, zählt es heute zu den meistgenutzten Werkzeugen im modernen Data Engineering. Der entscheidende Vorteil: Workflows werden nicht als Konfigurationsdateien, sondern als Python-Code definiert – sie lassen sich damit wie Software versionieren, testen und wiederverwenden.
DAG steht für Directed Acyclic Graph – auf Deutsch: gerichteter azyklischer Graph. Der Begriff stammt aus der Graphentheorie, hat aber im Data Engineering eine zentrale praktische Bedeutung: Er beschreibt die Abhängigkeitsstruktur von Aufgaben oder Transformationsschritten, die in einer definierten Reihenfolge ausgeführt werden müssen.
Moderne Datenarchitekturen verlagern sich in die Cloud. Klassische On-Premises-Data-Warehouses können bei wachsendem Datenvolumen, variablen Lastspitzen und der Forderung nach schnellen Bereitstellungszyklen an ihre Grenzen stoßen. Cloud-DWH-Plattformen entkoppeln Rechen- und Speicherressourcen, skalieren elastisch und reduzieren den operativen Aufwand erheblich.
dbt (Data Build Tool) ist ein Open-Source-Framework, das sich auf die Transformation von Daten in der Analytics-Engineering-Pipeline konzentriert. Im Gegensatz zu klassischen ETL-Tools, die Daten extrahieren, transformieren und laden, übernimmt dbt ausschließlich den Transformationsschritt innerhalb des Data Warehouse oder Data Lake. Der große Vorteil liegt darin, dass dbt SQL-basierte Transformationen in einer strukturierten, versionierbaren und testbaren Form bereitstellt. Dadurch können Teams ihre Datenmodelle wie Software entwickeln – mit Modularität, Wiederverwendbarkeit und automatisierten Tests.
Data Vault 2.0 beschreibt einen Designparadigma zur Bereitstellung von Daten. Ein Wichtiger Vorteil in Data Vault 2.0 liegt darin, sehr flexibel auf Änderungen in Geschäftsprozessen reagieren zu können, ohne unterliegende Strukturen tiefgreifend anzupassen. Um dies zu erreichen ist ein Data Vault 2.0, in Abgrenzung zum klassischen DWH, nicht die definierte, aggregierte Wahrheit aller Daten sondern lediglich die wertfreie Bereitstellung aller vorhandenen Daten. Eine Aggregation der Daten findet aufbauend, beispielsweise in Data Marts, statt.