Datenquellen verknüpfen Leitfaden für Schnittstellen, Formate und Prüfschritte

Das Wichtigste auf einen Blick

Was Verknüpfen von Datenquellen technisch bedeutet

Beim Verknüpfen von Datenquellen werden Sätze aus mindestens zwei Systemen über gemeinsame Merkmale zueinander in Beziehung gesetzt. Dieser Schlüssel kann eine Kundennummer, eine Bestellkennung, ein Zeitstempel oder ein Geräteschlüssel sein. Entscheidend ist, dass beide Seiten unter demselben Wert dieselbe Sache verstehen.

Eine typische Ausgangslage: Das eine System führt Bestellungen, das andere führt Sitzungen aus der Webanalyse. Jede Quelle verwendet eigene Bezeichner und eigene Regeln für deren Aufbau. Wer diese Bestände zusammenführen will, muss zuerst bestimmen, welches Feld den kleinsten gemeinsamen Nenner bildet.

Neben dem Schlüssel zählen zwei weitere Eigenschaften. Die Kardinalität gibt an, ob eine Zeile genau einen Partner hat oder mehrere. Die Historie gibt an, ob sich Merkmale im Zeitverlauf ändern und ab welchem Zeitpunkt eine Änderung gilt.

Verknüpfungen lassen sich als innere, linke, rechte oder äußere Verbindung ausführen; die Wahl bestimmt, welche Sätze im Ergebnis fehlen.

Der Unterschied zwischen einem erwarteten Verlust und einem echten Fehler ist praktisch bedeutsam. Fehlende Partner sind nicht automatisch ein Datenfehler, sondern oft ein Hinweis auf abweichende Schlüsselformate. Wer solche Fälle zählt und getrennt ausweist, erkennt die Ursache schneller als beim Betrachten einzelner Ergebniszeilen.

Zusätzlich ist die Granularität zu klären. Eine Bestellung mit mehreren Positionen ergibt auf Kopfebene eine Zeile und auf Positionsebene mehrere. Wer auf der falschen Ebene verknüpft, erzeugt Mehrfachzählungen, die sich erst in Summen bemerkbar machen. Vor jeder Verknüpfung steht deshalb die Frage, welche Ebene die Auswertung braucht.

Schließlich braucht jede Verknüpfung eine Definition des Zeitbezugs. Soll ein Datensatz den Zustand am Monatsende zeigen oder alle Änderungen innerhalb des Monats? Beide Sichtweisen sind zulässig, führen aber zu unterschiedlichen Ergebnissen. Diese Definition gehört schriftlich festgehalten, bevor die erste Abfrage entsteht.

Ein häufiger Denkfehler ist die Annahme, ein eindeutiger Schlüssel sei automatisch vorhanden. In gewachsenen Systemen fehlt er oft, und dann ersetzt eine Kombination aus mehreren Feldern die Kennung. Solche zusammengesetzten Schlüssel sind zulässig, müssen aber auf beiden Seiten nach derselben Regel gebildet werden.

Schnittstellen: Abruf, Push und Dateiaustausch

Schnittstellen bestimmen, wie Daten den Weg von einem System in ein anderes finden. Drei Grundmuster dominieren den betrieblichen Alltag. Der Abruf holt Daten aktiv, wenn sie gebraucht werden. Der Push stellt Daten bereit, sobald sie entstehen. Der Dateiaustausch legt Daten in einer vereinbarten Struktur ab und übergibt sie zu festen Zeiten.

REST-Schnittstellen mit JSON sind weit verbreitet. Sie antworten auf Anfragen, liefern Seitengrößen und Zeitstempel und lassen sich filtern und sortieren. Für den Massenabzug sind sie dann ungeeignet, wenn die Gegenseite die Abrufrate begrenzt oder nur tagesaktuelle Ausschnitte bereitstellt.

Bei Abrufschnittstellen sind Seitengröße und Fortsetzungsmarken zu beachten. Ein Abruf ohne Schleife liefert nur die erste Seite und damit einen stillen Teilverlust. Ebenso ist zu klären, ob Änderungen über einen Zeitstempel abrufbar sind oder ob jede Anfrage den vollen Bestand zurückgibt.

Der Dateiaustausch hat im deutschen Verwaltungsumfeld weiterhin Gewicht. Die Bundesagentur für Arbeit stellt mit der HR-BA-XML-Schnittstelle ein Beispiel bereit, über das Arbeitgeber Antragsdaten aus der Lohnabrechnung in einem festen XML-Aufbau übermitteln. Wer solche Vorgaben kennt, plant die Validierung von Anfang an mit ein.

Beim Push entsteht ein anderes Risiko. Sender und Empfänger müssen sich auf Reihenfolge, Wiederholungen und Fehlerbehandlung verständigen. Ohne eindeutige Nachrichtenkennung führt ein erneuter Versand nach einer Störung zu Dubletten, die in Auswertungen als zusätzliche Umsätze oder zusätzliche Vorgänge erscheinen.

Deshalb zählt Idempotenz zu den wichtigsten Anforderungen. Eine Verarbeitung, die dieselbe Nachricht zweimal erhält, muss dasselbe Ergebnis liefern wie bei einmaligem Empfang. Das gelingt mit stabilen Kennungen und einer Prüftabelle, die bereits verarbeitete Kennungen führt und erneute Verarbeitung erkennt.

Bei allen drei Mustern ist die Frage der Authentifizierung früh zu klären. Getrennte Konten je Anwendung, technisch erzwungene Ablaufzeiten und protokollierte Zugriffe verhindern, dass ein einzelnes Konto zum Einfallstor für alle Quellen wird. Auch die Leserechte beschränken sich auf die tatsächlich benötigten Felder.

Dateiformate und ihre Grenzen

Der Zeichensatz ist eine häufige Ursache für stille Verluste. Wer eine Datei in UTF-8 erwartet, aber Windows-1252 vorfindet, erhält Umlaute, die nicht mehr stimmen. Umgekehrt bricht das Einlesen ab oder verliert Zeilen, wenn eine Datei in Windows-1252 als UTF-8 gelesen wird.

Trenner und Dezimalzeichen sorgen im deutschen Raum für Verwechslungen. Die Schreibweise 1.234,56 bedeutet etwas anderes als die englische Schreibweise 1,234.56. Beim Einlesen ist die erwartete Schreibweise ausdrücklich anzugeben und nicht aus dem Inhalt zu erraten. Ein falsch interpretierter Wert fällt in Summen kaum auf.

Zeitangaben benötigen einen Zeitzonenbezug. Ohne diesen Bezug verschieben sich Tagesauswertungen um Stunden, sobald Systeme in unterschiedlichen Zonen schreiben. Zusätzlich ist zu klären, wie der Wechsel zwischen Sommerzeit und Winterzeit behandelt wird, weil dabei Stunden doppelt vorkommen oder ganz fehlen.

Ein weiteres Kriterium ist die Prüfbarkeit. Formate mit festem Schema lassen sich vor dem Laden gegen dieses Schema kontrollieren. Freitextformate verlangen eigene Regeln, etwa für die Anzahl der Felder je Zeile oder für erlaubte Zeichen in bestimmten Spalten.

Bei Parquet und ähnlichen spaltenspeichernden Formaten ist die Typisierung Teil der Datei. Das reduziert Interpretationsfehler, verlangt aber eine passende Lesekomponente in der Zielumgebung. Für große Bestände sinkt die Lesemenge deutlich, weil nur die tatsächlich benötigten Spalten gelesen werden.

Excel bleibt der kleinste gemeinsame Nenner im Austausch mit Fachbereichen. Das Format erlaubt gemischte Typen in einer Spalte, verborgene Zeilen und Formeln ohne festen Wert. Für eine dauerhafte Verknüpfung ist Excel als Quelle nur dann geeignet, wenn die Struktur verbindlich ist und die Datei nicht manuell verändert wird.

ETL, ELT und Werkzeuge wie Talend und Power Query

ETL bedeutet Extrahieren, Transformieren und Laden in dieser Reihenfolge. ELT lädt zuerst in ein Zielsystem und transformiert dort mit dessen Rechenleistung. Die Wahl hängt davon ab, wo die Datenmenge am günstigsten bewegt wird und wie streng die Prüfungen vor dem Laden ausfallen müssen.

Talend gehört zu den bekannten Werkzeugen für Datenintegration. Jobs beschreiben Quellen, Transformationen und Ziele grafisch und laufen als eigenständiger Prozess. Für wiederkehrende Lasten lassen sich Zeitpläne, Wiederholungen und Fehlerbehandlung hinterlegen, sodass ein abgebrochener Lauf nicht unbemerkt bleibt. Typisch ist ein nächtlicher Start mit Benachrichtigung bei Abbruch.

Power Query verfolgt einen anderen Ansatz. Die Abfrage sitzt in Excel und in Power BI und protokolliert jeden Transformationsschritt nachvollziehbar. Wer die Schritte benennt und kommentiert, erkennt später genau, an welcher Stelle eine Spalte verändert, gefiltert oder umbenannt wurde. Jede Änderung an der Abfrage lässt sich versionieren, indem die Schritte benannt und die Abfrage in einem Versionssystem abgelegt wird.

Power BI ergänzt Modellierung, Kennzahlen und Berichte. Ein Modell mit klaren Beziehungen zwischen wenigen Tabellen ersetzt viele zusammengebaute Einzeltabellen und bleibt stabiler, wenn sich Spalten in den Quellen ändern. Beziehungen werden dabei ausdrücklich definiert statt aus Namensähnlichkeit abgeleitet. Veröffentlichte Modelle lassen sich versionieren, und fehlgeschlagene Aktualisierungen werden im Dienst protokolliert.

Bei allen Werkzeugen zählen weniger Funktionslisten als Betriebsfragen. Wer darf Jobs ändern, wie werden Zugangsdaten verwaltet, wie wird ein abgebrochener Lauf sichtbar, und wie lässt sich derselbe Lauf gefahrlos wiederholen? Diese Fragen entscheiden über den Aufwand, der nach der ersten Auslieferung entsteht.

Für den Betrieb zählt zudem die Orchestrierung. Abhängigkeiten zwischen Lasten müssen in einer Reihenfolge laufen, die Zwischenstände berücksichtigt. Ein Lauf, der startet, obwohl die Vorlast abgebrochen ist, verarbeitet unvollständige Bestände und erzeugt inhaltlich falsche Berichte.

Ein weiterer Punkt ist die Versionierung der Transformationslogik. Änderungen an Filtern oder Berechnungen sollten nachvollziehbar festgehalten werden, samt Datum und Begründung. Ohne diese Spur lässt sich später nicht klären, warum eine Kennzahl im März anders ausfiel als im Februar.

Verknüpfungen im Datenmodell ordnen

Sternschema und Snowflake-Schema ordnen Tabellen nach Fakten und Dimensionen. Faktentabellen tragen Mengen und Beträge, Dimensionstabellen tragen beschreibende Merkmale. Verknüpfungen laufen dann über wenige definierte Beziehungen statt über viele Einzelabfragen.

Für die Praxis heißt das: erst modellieren, dann verknüpfen. Wer Kennzahlen direkt aus Quellsystemen zusammensetzt, erhält je Bericht eine eigene Logik. Zentral definierte Kennzahlen sorgen dafür, dass derselbe Begriff in allen Auswertungen dasselbe bedeutet.

Beziehungen brauchen eine klare Richtung der Filterweitergabe. Eine Dimension filtert Fakten, nicht umgekehrt. Bidirektionale Filterwege sind sparsam einzusetzen, weil sie Mehrdeutigkeiten erzeugen und die Nachvollziehbarkeit von Ergebnissen erschweren.

Normen und einheitliche Begriffe

Normen liefern ein Vokabular für Begriffe, die sonst jeder Beteiligte anders verwendet. Die Seite des DIN erläutert in ihrem Basiswissen zu Normen und Standards, wie Normen entstehen und welchen Status sie haben. Für die Datenintegration sind vor allem Festlegungen zu Austauschformaten, Kodierung und Qualitätsmerkmalen relevant.

Ein weiterer Beitrag erklärt, was eine DIN-Norm als Dokument ausmacht. Dazu gehören die freiwillige Anwendung und die Verbindlichkeit, die erst durch Vertrag, Gesetz oder Verordnung entsteht. Für ein Projekt heißt das: Die Norm schafft eine gemeinsame Sprache, ersetzt aber keine Absprache.

Daraus folgt für die Praxis ein klarer Auftrag. Vereinbarungen zwischen Absender und Empfänger halten fest, welche Felder Pflicht sind, welche Werte zulässig sind und wie mit Fehlern umgegangen wird. Normen helfen, diese Vereinbarung knapp und prüfbar zu formulieren, weil sie Begriffe bereits definieren.

Prüfschritte vor dem Laden

Prüfungen gehören vor das Laden, nicht danach. Vier Gruppen decken die meisten Fälle ab: Struktur, Wertebereiche, Schlüssel und Mengen. Strukturprüfungen kontrollieren Spaltennamen, Datentypen und Reihenfolgen. Wertebereichsprüfungen achten auf plausible Grenzen bei Datum, Betrag, Menge und Kategorie.

Schlüsselprüfungen klären Eindeutigkeit. Ein doppelter Primärschlüssel in einer als eindeutig deklarierten Quelle ist ein Abbruchgrund, weil jede spätere Verknüpfung mehrdeutig wird. Fehlende Fremdschlüssel sind dagegen zunächst ein Fall für die Dokumentation und für die Frage, ob die Quelle vollständig geliefert hat.

Mengenprüfungen vergleichen Zeilenzahlen und Summen zwischen Quelle und Ziel. Ein Abweichungsbericht mit definierten Toleranzen zeigt, ob ein Lauf plausibel war, ohne dass jemand jede Zeile einzeln prüfen muss. Auffällige Abweichungen lassen sich anschließend gezielt untersuchen. Als typische Toleranzen gelten 0,5 Prozent bei der Zeilenzahl und 1 Prozent bei Summen. Werden sie überschritten, stoppt der Lauf und erzeugt einen Bericht.

Eurostat beschreibt in seinem Abschnitt zur Datenvalidierung, wie statistische Stellen eingehende Daten vor der Veröffentlichung prüfen. Der Ablauf folgt einer festen Reihenfolge von Struktur über Vollständigkeit und Plausibilität bis zur Konsistenz zwischen Datensätzen. Diese Reihenfolge lässt sich auf betriebliche Lasten übertragen.

Das Statistische Bundesamt veröffentlicht Qualitätsberichte, die Aufbau, Merkmale und Prüfschritte einzelner Statistiken offenlegen. Als Vorbild taugen sie, weil sie nicht nur Ergebnisse zeigen, sondern auch Grenzen der Daten, verwendete Definitionen und bekannte Einschränkungen benennen.

Sicherheit gehört in dieselbe Prüfliste. Das BSI bündelt Informationen und Empfehlungen zu Datensicherheit und zum Umgang mit Fehlerfällen. Für Schnittstellen bedeutet das getrennte Konten je Anwendung, begrenzte Laufzeiten für Zugangsschlüssel und Protokolle, die keine Klartextwerte enthalten.

Protokollierung macht Prüfungen belastbar. Zu jedem Lauf gehören Zeitpunkt, verarbeitete Zeilenzahl, Anzahl verworfener Sätze und die verwendete Version der Transformationslogik. Ohne diese Angaben bleibt bei einer Abweichung offen, ob sich die Daten oder die Verarbeitung geändert haben.

Schrittfolge für ein neues Verknüpfungsvorhaben

Checkliste vor dem ersten Produktivlauf

Häufige Fragen

Welche Reihenfolge ist beim Verknüpfen von Datenquellen sinnvoll?

Zuerst Zweck und Ausgabefelder, dann Quellen und Schlüssel, danach Schnittstelle und Format. Prüfregeln folgen, bevor die erste Produktivlast läuft.

Woran erkennt man, dass eine Verknüpfung Daten verliert?

An der Differenz zwischen der Zeilenzahl der Ausgangsquelle und der Zeilenzahl des Ergebnisses. Ein linker Join behält alle Sätze der linken Seite, ein innerer Join nur Treffer.

Wann reicht eine Datei, wann braucht es eine Schnittstelle?

Eine Datei reicht bei festen Lieferrhythmen, überschaubarer Menge und seltenen Änderungen. Eine Schnittstelle ist sinnvoll, wenn Daten kurzfristig oder ereignisgesteuert vorliegen müssen.

Wie oft sollten Prüfungen laufen?

Bei jedem Lauf, mindestens mit den vier Gruppen Struktur, Werte, Schlüssel und Mengen. Zusätzlich hilft ein Vergleich gegen den vorherigen Lauf.

Was gehört in die Dokumentation einer Verknüpfung?

Quellen mit Verantwortlichen, verwendete Schlüssel, Format und Zeitzone, alle Transformationsschritte sowie die Prüfregeln mit Schwellen. Ebenso wichtig sind bekannte Einschränkungen und der Umgang mit Fehlern.