digna Data Reconciliation: Stimmen Ihre Zieltabellen noch mit ihren Quellen überein?
|
4
min. Lesezeit
Jede Datenplattform ist voller Tabellen, die aus anderen Tabellen entstehen: tägliche Aggregate, aus Transaktionszeilen summiert, und Data Marts, die aus einem Dutzend Quellsystemen zusammengesetzt werden. Jeder dieser Ladevorgänge kann fehlerfrei durchlaufen und trotzdem ein Ziel erzeugen, das nicht mehr zu den Daten passt, aus denen es stammt, weil sich ein Filter geändert hat, eine verspätete Datei übersprungen wurde oder ein Join stillschweigend Zeilen verloren hat. Ob die Zahlen noch aufgehen, ist die entscheidende Frage, und sie wird meist von Hand beantwortet, wenn überhaupt.
digna ist eine Data Quality & Observability Plattform, und das Modul digna Data Reconciliation, neu in Release 2026.11, stellt diese Frage jeden Tag für Sie. Es vergleicht eine Ziel-Datenquelle mit den Quellen, aus denen sie aufgebaut wurde, und warnt Sie, sobald sie nicht mehr übereinstimmen. Dieses kurze Video zeigt beide Arten von Regeln in den Demo-Projekten von digna, mit fiktiven Daten und dem echten Produkt.
Konfiguriert am Ziel
Der Abgleich beginnt bei der Tabelle, deren Korrektheit Ihnen wichtig ist. Sie öffnen die Ziel-Datenquelle, wechseln in den Data Reconciliation tab und definieren dort die Regeln. Als Quellen dienen alle Datenquellen im Projekt, für die Reconciliation aktiviert ist.
Es gibt zwei Arten von Regeln, denn manche Beziehungen sind einfach und exakt, während andere viele Quellen und Transformationen umfassen, die niemand als Prüfung nachbauen möchte.
Exakte Regeln für die Abgleiche, die Sie bereits kennen
Eine exakte Regel funktioniert wie eine Datenqualitätsregel für eine Quelle und ein Ziel. Sie verknüpfen Prüfungen nach Statistik und Attribut, zum Beispiel eine Zeilenanzahl im Ziel mit einer Zeilenanzahl in der Quelle oder eine Summe von Beträgen mit derselben Summe eine Ebene tiefer, und legen eine absolute oder relative Toleranz fest. Die Zeitachse zeigt dann die tägliche Abweichung im Verhältnis zu dieser Toleranz, sodass Sie erkennen, ob eine Lücke einmalig ist oder seit Wochen wächst.
In der Retail-Demo wird das tägliche Verkaufsaggregat pos_sales_daily mit den Verkaufszeilen verglichen, aus denen es entsteht, pos_sales_lines. Dabei wird der Bruttoumsatz dem aus den Zeilen summierten Umsatz gegenübergestellt, mit einer Toleranz von ± 0,01 %. Am 26. August wies das Aggregat 51.747 € aus, während sich die zugehörigen Zeilen auf 66.205 € summierten. Damit lag das Ziel um 21,8 % zu niedrig und weit außerhalb der Toleranz.
Teams aus Finance, Risk und Controlling führen solche Prüfungen bereits als Standard-Abstimmungsverfahren durch. Als exakte Regeln werden sie einmal festgehalten und bei jeder Inspektion ausgeführt.
KI-Regeln für Ziele aus vielen Quellen
Exakte Regeln sind nicht mehr praktikabel, sobald ein Ziel über Joins, Filter und Aggregationen aus vielen Tabellen zusammengesetzt wird, denn eine solche Prüfung hieße, eine zweite Kopie der Pipeline-Logik zu pflegen.
KI-Regeln gehen einen anderen Weg. Sie kombinieren Prüfungen aus mehreren Quellen mit einem Ziel, ohne Joins, Filter oder Aggregationen zu definieren und ohne SQL zu schreiben. Ein Modell lernt aus der Historie, wie das Ziel seinen Quellen folgt, und warnt Sie, wenn das Ziel außerhalb des Bandes der bisherigen Fehler der Regel liegt. Jede KI-Regel hat drei Einstellungen, Sensitivity, Memory und Model Complexity, mit denen Sie sie auf das jeweilige Ziel abstimmen.
In der Demo wird ein Bestell-Mart aus zehn Quelltabellen aufgebaut. Am 6. Oktober enthielt er 1.742 Bestellungen, während seine Quellen etwa 2.771 erwarten ließen, also rund tausend weniger. Die Regel hat das erkannt, ohne dass jemand festhalten musste, wie der Mart aus diesen zehn Tabellen zusammengesetzt wird.
Im Dashboard und in Ihren Benachrichtigungen
Abgleichsprüfungen erscheinen im Dashboard mit einer Zeitachse für jede Regel. Sie fließen neben Ihren anderen Prüfungen in den Gesamt-Inspektionsstatus ein und lösen Benachrichtigungen aus, sodass die richtigen Personen noch am selben Tag von einer Abweichung erfahren.
Wer profitiert
Data Engineers erhalten einen direkten Weg, ETL-Ergebnisse zu validieren: nicht nur, dass ein Ladevorgang gelaufen ist, sondern dass sein Ergebnis noch zu seinen Eingangsdaten passt. Teams aus Finance, Risk und Controlling bekommen ihre Standardabstimmungen als exakte Regeln mit sichtbarer Historie. Und da digna on-premises oder in Ihrer Private Cloud läuft, verlassen Ihre Daten während der Prüfung nie Ihre Infrastruktur. Die Dokumentation zu Data Reconciliation erklärt, wie Sie beide Arten von Regeln einrichten.
digna Data Reconciliation kam mit Release 2026.11 zusammen mit digna Agentic und der digna Engine, und die Release-Übersicht zeigt, wie die drei zusammenspielen.
Machen Sie die Produkttour, um digna Data Reconciliation und den Rest der Plattform in Aktion zu sehen.
Häufig gestellte Fragen
Was vergleicht digna Data Reconciliation?
Es vergleicht eine Ziel-Datenquelle mit den Quellen, aus denen sie aufgebaut wurde, und warnt Sie, sobald sie nicht mehr übereinstimmen. Die Regeln werden im Data Reconciliation tab des Ziels konfiguriert, und jede Datenquelle im Projekt, für die Reconciliation aktiviert ist, kann als Quelle dienen.
Was ist der Unterschied zwischen exakten Regeln und KI-Regeln?
Eine exakte Regel verbindet eine Quelle mit einem Ziel, verknüpft Prüfungen nach Statistik und Attribut, etwa Zeilenanzahlen oder Betragssummen, und wendet eine absolute oder relative Toleranz an. Eine KI-Regel kombiniert Prüfungen aus mehreren Quellen mit einem Ziel, lernt aus der Historie, wie das Ziel ihnen folgt, und warnt, wenn das Ziel außerhalb des Bandes der bisherigen Fehler der Regel liegt.
Muss ich für KI-Regeln SQL schreiben oder Joins definieren?
Nein. Eine KI-Regel braucht keine Joins, Filter oder Aggregationen, und es ist kein SQL zu schreiben. Sie können jede Regel über ihre Einstellungen Sensitivity, Memory und Model Complexity abstimmen.
Wie werden die Ergebnisse des Abgleichs dargestellt?
Jede Regel hat ihre eigene Zeitachse im Dashboard. Abgleichsprüfungen fließen in den Gesamt-Inspektionsstatus ein und lösen Benachrichtigungen aus, wie die anderen Prüfungen von digna.
