Datenvollständigkeit: Was DAMA sagt und wie man sie misst
|
6
min. Lesezeit
Der beliebteste Ratschlag zum Thema Datenvollständigkeit ist auch der irreführendste: Zählen Sie die NULL-Werte und betrachten Sie die Arbeit als erledigt. Was ist Datenvollständigkeit? Es ist der Grad, in dem alle für einen bestimmten Zweck erforderlichen Daten vorhanden sind. Diese Definition verschiebt die Frage von „Gibt es leere Zellen?“ zu „Enthält dieser Datensatz das, was der Geschäftsprozess, der Bericht, das Modell oder die Kontrolle benötigt?“
Ein ausgefülltes Feld kann immer noch den falschen Wert enthalten, während ein NULL in einem optionalen Feld unter Umständen keine praktischen Auswirkungen hat. Vollständigkeit ist daher eine Frage der Gebrauchstauglichkeit und kein Anspruch auf abstrakte Perfektion. Die Leitlinien der Vereinten Nationen zu Erfassung und Vollständigkeit treffen dieselbe konzeptionelle Unterscheidung in der amtlichen Statistik, wo Vollständigkeit registrierte Ereignisse mit der Gesamtheit der Welt vergleicht, die sie darstellen sollen.
Inhaltsverzeichnis
Wie sich Vollständigkeit von Genauigkeit und Validität unterscheidet
Was Datenvollständigkeit wirklich bedeutet
Datenvollständigkeit ist der Grad, in dem alle für einen bestimmten Zweck erforderlichen Daten vorhanden sind. In einem Unternehmensdatensatz kann dies ausgefüllte Pflichtattribute, vollständige Geschäftsdatensätze, erwartete Datensatzpopulationen, erforderliche Berichtszeiträume oder alle Quelldatensätze bedeuten, die von einem nachgelagerten Prozess benötigt werden.
Deshalb ist Vollständigkeit nicht nur die Abwesenheit von NULL-Werten. Angenommen, in einer Kundentabelle fehlt eine Kunden-ID. Das ist ein Vollständigkeitsfehler, wenn die Kennung für Joins, Abstimmungen oder Berichte erforderlich ist. Eine fehlende sekundäre Marketingpräferenz kann akzeptabel sein, wenn die beabsichtigte Verwendung nicht davon abhängt.
Die Unterscheidung trennt Vollständigkeit auch von anderen Datenqualitätsdimensionen. Wenn eine Adresse vorhanden, aber falsch ist, betrifft das Problem die Genauigkeit. Wenn eine Telefonnummer vorhanden ist, aber gegen das erforderliche Format verstößt, betrifft das Problem die Validität. Vollständigkeit fragt nur danach, ob die erforderlichen Informationen innerhalb des definierten Bereichs existieren.
Beginnen Sie mit dem Geschäftszweck
Bevor Sie eine Metrik auswählen, ermitteln Sie, was die Daten unterstützen müssen:
Die regulatorische Berichterstattung kann jede berichtspflichtige Einheit und jedes obligatorische Attribut erfordern.
Die operative Verarbeitung kann von Kennungen, Daten und Statusfeldern abhängen.
Die Analytik kann fehlende Anreicherungsattribute tolerieren, solange die Kernpopulation verfügbar bleibt.
Die KI-Entwicklung erfordert ausreichende Felder, Datensätze und Zeiträume für die beabsichtigte Analyse, da das Fehlen von Daten die analysierbare Stichprobengröße verringern und zu verzerrten oder unpräzisen Schätzungen führen kann, wie in dieser vom NIH gehosteten Übersicht über fehlende Daten beschrieben.
Praktische Regel: Definieren Sie, was „vollständig genug“ bedeutet, bevor Sie es messen. Andernfalls meldet ein Dashboard eine Zahl, ohne dass jemand weiß, ob die Zahl die Entscheidung unterstützt.
Eine nützliche Arbeitsdefinition lautet: Die erforderlichen Datensätze, Felder, Beziehungen und Lieferzeiträume sind im erwarteten Umfang und Rhythmus für einen definierten Anwendungsfall vorhanden. Diese Definition gibt Dateneigentümern etwas an die Hand, das sie in Kontrollen umsetzen können.
Die fünf Arten von Vollständigkeit, die es zu messen lohnt
Organisationen benötigen mehr als einen Blickwinkel auf die Vollständigkeit, da fehlende Werte und fehlende Populationen unterschiedliche Fehler darstellen. Die folgenden fünf Typen decken gängige Überwachungsanforderungen in Unternehmen ab, wobei Teams die Kombination auswählen sollten, die den geschäftlichen Anforderungen entspricht.
Attributvollständigkeit
Die Attributvollständigkeit fragt danach, ob erforderliche Felder ausgefüllt sind. Typische Beispiele sind:
Fehlende Kunden-IDs
Fehlende Transaktionsdaten
Fehlende Kontonummern
NULL-Geschäftsattribute, die für einen Bericht oder Prozess erforderlich sind
Ein Kundendatensatz mag zwar existieren, aber wenn seine Kennung fehlt, ist der Datensatz für Deduplizierungen oder Joins möglicherweise unbrauchbar. Das relevante Maß ist der Anteil der erwarteten Datensätze, die einen Wert im angegebenen Attribut enthalten.
Datensatzvollständigkeit
Die Datensatzvollständigkeit fragt danach, ob jeder verfügbare Datensatz alle Pflichtfelder zusammen enthält. Eine Transaktion hat vielleicht eine Transaktions-ID und einen Betrag, aber es fehlen Kunden-ID, Währung oder Transaktionsdatum. Die Zeile als vorhanden zu zählen, würde die Tatsache verschleiern, dass der Datensatz operativ nicht vollständig ist.
Vollständigkeit der Datensatzanzahl
Die Vollständigkeit der Datensatzanzahl vergleicht die gelieferte Population mit der erwarteten Population. Beispielsweise hat eine tägliche Transaktionstabelle, die normalerweise 10 Millionen Datensätze enthält, aber plötzlich nur 7 Millionen Datensätze aufweist, ein Problem mit der Vollständigkeit der Population, selbst wenn jede gelieferte Zeile perfekt ausgefüllte Felder hat.
Das DAMA-Forschungspapier zur Datenqualität unterstützt diese breitere Sichtweise, indem es die Vollständigkeit über Datensätze, Dateien, Attribute und Metadaten hinweg diskutiert.
Zeitliche Vollständigkeit
Die zeitliche Vollständigkeit prüft, ob alle erwarteten Daten oder Berichtszeiträume vorhanden sind. Eine Finanz-Pipeline kann erfolgreich geladen werden, während ein Berichtstag, -monat oder eine Partition ausgelassen wird. Die Tabelle enthält zwar gültige Zeilen, aber die Zeitreihe ist unvollständig.
Datensatzgruppen-Vollständigkeit
Die Datensatzgruppen-Vollständigkeit fragt danach, ob jede Datensatzgruppe vorhanden ist, die von einem nachgelagerten Prozess benötigt wird. Ein monatlicher Berichtsworkflow benötigt möglicherweise Kunden-, Transaktions-, Produkt- und Wechselkursdatensätze. Wenn eine Quelle nicht eintrifft, sind die Eingaben des Workflows unvollständig, selbst wenn die anderen Tabellen befüllt sind.
Diese Prüfungen sind nicht austauschbar. Ein Team benötigt möglicherweise Attribut- und Datensatzvollständigkeit für einen Kundenstamm, Datensatzanzahl- und zeitliche Vollständigkeit für Transaktionen sowie Datensatzgruppen-Vollständigkeit für eine Orchestrierungsabhängigkeit.
Wie DAMA und DMBOK an Vollständigkeit herangehen
DAMA International und die DAMA-DMBOK® 2.0 Revised Edition behandeln Vollständigkeit als eine Dimension der Datenqualität. Das Framework ist am nützlichsten, wenn Teams die Vollständigkeit im Verhältnis zu den geschäftlichen Anforderungen und der Gebrauchstauglichkeit anwenden, anstatt sie als universelle technische Bewertung zu behandeln. Die Übersicht über die DAMA- und Datenmanagement-Frameworks bietet einen verwandten Kontext für die Positionierung der Datenqualität innerhalb breiterer Managementpraktiken.
Die Formulierung von DAMA orientiert sich an einer praktischen Frage: Was muss bekannt sein, damit diese Daten ihre beabsichtigte Rolle erfüllen können? Die Leitlinien der britischen Regierung zur Datenqualität besagen, dass Daten vollständig sind, wenn alle für eine bestimmte Verwendung erforderlichen Daten vorhanden sind, und empfiehlt, die Vollständigkeit für kritische Daten zu messen und nicht für jedes Feld in jedem Datensatz.
Das bedeutet, dass eine 100%ige Vollständigkeit nicht automatisch die richtige Anforderung für jeden Datensatz ist. Eine Vollständigkeitsrate von 98 % kann für einen analytischen Anwendungsfall akzeptabel sein, für die regulatorische Berichterstattung jedoch inakzeptabel. Diese Werte veranschaulichen eine governance-Entscheidung und keine universellen Schwellenwerte.
Anforderungen nach Auswirkung festlegen
Eine nützliche Richtlinie verknüpft die Vollständigkeit mit den Konsequenzen:
Identifizieren Sie den Bericht, das Modell, den Prozess oder die Kontrolle, die die Daten verbrauchen.
Definieren Sie die Datensätze und Attribute, ohne die sie nicht funktionieren können.
Legen Sie gemeinsam mit dem Dateneigentümer einen akzeptablen Vollständigkeitsschwellenwert fest.
Dokumentieren Sie, was passiert, wenn der Schwellenwert unterschritten wird.
Überprüfen Sie die Anforderung, wenn sich der Anwendungsfall ändert.
Ein Primärschlüssel, ein regulatorisches Attribut oder eine Transaktionskennung verdient in der Regel eine strengere Behandlung als eine optionale beschreibende Anreicherung. Der Beitrag von DAMA besteht darin, das Vokabular und die Disziplin bereitzustellen, um diese Unterscheidung explizit zu machen. Es ersetzt nicht die lokalen Eigentumsentscheidungen.
Metriken und Formeln zur Messung der Vollständigkeit
Metriken für die Datenvollständigkeit sollten die Unvollständigkeit messen, die sich auf einen definierten Anwendungsfall auswirken kann. Ein starkes Messmodell kombiniert Indikatoren auf Feldebene, Datensatzebene, Populationsebene, Zeitbasis und Datensatzgruppenebene, anstatt sich auf eine einzige Null-Zählung zu verlassen.
Die Grundformel lautet:
Vollständigkeitsrate = ausgefüllte erforderliche Werte / erwartete erforderliche Werte × 100
Bei der Attributvollständigkeit ist „ausgefüllte erforderliche Werte“ die Anzahl der Datensätze mit einem Wert im ausgewählten Feld. Bei der Datensatzvollständigkeit zählt der Zähler die Datensätze, die jedes Pflichtattribut enthalten. Bei der Populationsvollständigkeit vergleichen Sie die gelieferten Datensätze mit der erwarteten Datensatzpopulation. Der Nenner muss die geschäftliche Definition der erwarteten Daten widerspiegeln und nicht bloß die Anzahl der Zeilen, die zufällig eingetroffen sind.
Kernkennzahlen
NULL-Rate: Der Anteil der Datensätze, bei denen ein ausgewähltes Feld fehlt. Sie hilft dabei, Lücken auf Feldebene zu lokalisieren, zeigt aber keine fehlenden Datensätze oder Datensatzgruppen auf.
Pflichtfeld-Abdeckung: Der Anteil der erwarteten Werte, die für Pflichtattribute ausgefüllt sind.
Datensatzanzahl: Die Anzahl der Datensätze, die für einen definierten Ladevorgang, eine Partition, eine Entität oder einen Zeitraum geliefert wurden.
Abweichung der Datensatzanzahl: Die Differenz zwischen beobachtetem und erwartetem Volumen unter Verwendung einer dokumentierten Baseline oder eines Quellenabgleichs.
Verfügbarkeit der Datensatzgruppe: Ob jede erforderliche Quelle, Tabelle, Datei oder Partition vorhanden ist.
Zeitliche Abdeckung: Ob alle erforderlichen Daten und Berichtszeiträume vertreten sind.
Vollständigkeitstrends: Die Entwicklung jeder Messung im Laufe der Zeit, was hilft, einen einmaligen Vorfall von einer Verschlechterung zu unterscheiden.
Metrik | Was gemessen wird | Typische Verwendung |
|---|---|---|
NULL-Rate | Fehlende Werte in einem ausgewählten Attribut | Erforderliche Kunden-ID oder Kontonummer |
Pflichtfeld-Abdeckung | Ausgefüllte Pflichtwerte im Vergleich zu erwarteten Werten | Operative und regulatorische Kontrollen |
Datensatzanzahl | Gelieferte Zeilenpopulation | Überwachung von Batch- und Event-Streams |
Abweichung der Datensatzanzahl | Abweichung vom erwarteten Volumen | Erkennung von Zeilenverlusten oder unvollständigen Ladevorgängen |
Zeitliche Abdeckung | Vorhandensein der erforderlichen Zeiträume | Finanzen, Operations und Zeitreihenanalyse |
Verfügbarkeit der Datensatzgruppe | Vorhandensein der erforderlichen Datenquellen | Abhängigkeitsprüfungen nachgelagerter Prozesse |
Vollständigkeitstrend | Veränderung der Vollständigkeit im Laufe der Zeit | Analyse wiederkehrender Probleme und Prozess-Drifts |
Die Leitlinien zu Datenqualitätsmetriken von digna bieten zusätzlichen Kontext für die Auswahl von Maßnahmen. Die wichtige governance-Entscheidung besteht darin, kritische Attribute und Populationen zu priorisieren. Jedes Feld gleichermaßen zu messen, erzeugt Rauschen und kann es erschweren, eine schwerwiegende Lücke zu erkennen.
Wie sich Vollständigkeit von Genauigkeit und Validität unterscheidet
Vollständigkeit fragt danach, ob die erforderlichen Daten vorhanden sind. Genauigkeit fragt danach, ob sie korrekt sind. Validität fragt danach, ob sie den erforderlichen Regeln oder dem Format entsprechen. Diese Dimensionen können unabhängig voneinander fehlschlagen, weshalb Teams es vermeiden sollten, alle drei mit einem einzigen generischen Label „Qualitätsproblem“ zu versehen.
Betrachten Sie die Telefonnummer eines Kunden:
Vollständigkeit: Ist eine Telefonnummer vorhanden, wenn das Geschäft dies erfordert?
Validität: Entspricht der Wert dem akzeptierten Telefonnummernformat?
Genauigkeit: Stimmt der Wert mit der tatsächlichen Telefonnummer des Kunden überein?
Vollständigkeit und Genauigkeit
Eine fehlende Telefonnummer ist ein Vollständigkeitsproblem. Eine korrekt formatierte Telefonnummer, die einem anderen Kunden gehört, ist ein Genauigkeitsproblem. Das Feld ist in beiden Fällen vorhanden, aber nur ein Wert stellt die reale Entität korrekt dar.
Die Erklärung der Datenqualitätsdimensionen von Dataversity beschreibt Vollständigkeit als ein Maß dafür, welche Informationen fehlen, und nicht, ob die gespeicherten Informationen genau oder gültig sind. Diese Trennung ist wichtig, da sich die Behebung unterscheidet. Fehlende Daten erfordern möglicherweise eine Vervollständigung im Quellsystem oder eine erneute Verarbeitung, während ungenaue Daten eine Überprüfung, Korrektur oder Stammdatenpflege erfordern können.
Vollständigkeit und Validität
Eine fehlende Telefonnummer ist unvollständig. Eine Telefonnummer, die Buchstaben enthält, obwohl das Schema ein numerisches Muster vorschreibt, ist ungültig. Eine korrekt formatierte, aber falsche Telefonnummer ist ungenau.
Frage | Dimension | Beispiel |
|---|---|---|
Ist der erforderliche Wert vorhanden? | Vollständigkeit | Telefonnummer fehlt |
Entspricht er der Regel? | Validität | Telefonnummer hat ein ungültiges Format |
Entspricht er der Realität? | Genauigkeit | Die Nummer gehört jemand anderem |
Die Unterscheidung von IBM zwischen Vollständigkeit, Genauigkeit und Validität bekräftigt dieses Drei-Fragen-Modell. Verwenden Sie es bei der Zuweisung von Verantwortlichkeiten, beim Entwerfen von Tests und beim Erklären von Vorfällen gegenüber geschäftlichen Stakeholdern.
Überwachung der Vollständigkeit in modernen Pipelines
Eine technisch erfolgreiche Pipeline führt nicht zwangsläufig zu vollständigen Daten. Stellen Sie sich ein Warehouse vor, das täglich Kunden- und Transaktionsdaten empfängt: Der ETL-Job wird beendet, die Orchestrierung meldet Erfolg und die Zieltabelle ist verfügbar, aber das Transaktionsvolumen ist deutlich niedriger als normal und die erforderlichen Kunden-IDs weisen einen starken Anstieg von NULL-Werten auf.
Ein einzelner Pipeline-Status kann nicht beide Zustände erkennen. Der erste ist ein Problem der Datensatzanzahl oder der Population. Der zweite betrifft die Attributvollständigkeit. Ein Überwachungsdesign muss die Daten nach der Bereitstellung untersuchen, nicht nur, ob der Code ohne Ausführungsfehler lief.
Schichtweise Kontrollen einsetzen
Deterministische Validierung prüft bekannte Anforderungen, z. B. dass eine erforderliche Kunden-ID nicht
NULLsein darf.Anomalieerkennung identifiziert unerwartete Änderungen des Datensatzvolumens, der Null-Raten, der Verteilungen oder des Bereitstellungsverhaltens.
Historische Analysen zeigen, ob die Abweichung isoliert, saisonal, wiederkehrend oder Teil einer längerfristigen Verschlechterung ist.
Pünktlichkeitsüberwachung prüft, ob die erwarteten Daten zur erforderlichen Zeit und im erforderlichen Rhythmus eingetroffen sind.
In diesem Szenario können Prüfungen der Datenvollständigkeit für Unternehmenspipelines nach Zeilenverlust, Feldverlust, fehlenden Datensätzen und fehlenden Feldern organisiert werden. Die Kontrolle sollte auch die Quellpartition oder die Lieferung identifizieren, die für die Lücke verantwortlich ist, damit Ingenieure nachforschen können, anstatt nur einen roten Status zu beobachten.
Ein erfolgreicher ETL-Lauf beweist, dass der Prozess ausgeführt wurde. Er beweist nicht, dass die erforderlichen Geschäftsdaten eingetroffen sind.
Kontinuität ist wichtig, da sich die Vollständigkeit im Laufe der Zeit ändert. Ein heute sauberer Datensatz kann nach einem Release des Quellsystems, einem geänderten Extraktionsfilter, einer verspäteten Partition oder einer Workflow-Übergabe unvollständig werden. Eine kontinuierliche Überwachung macht den Zustand zeitnah sichtbar, wenn er sich ändert.
Wie kann digna die Datenvollständigkeit unterstützen?
digna unterstützt die Datenvollständigkeit durch spezifische Funktionen für explizite Regeln, ungewöhnliches Verhalten und historischen Kontext. Jede Funktion adressiert eine andere Ebene, sodass ein Team ein einzelnes Modul nicht als vollständigen Ersatz für alle Vollständigkeitskontrollen betrachten sollte.
digna Data Validation
digna Data Validation unterstützt bekannte, regelbasierte Anforderungen, darunter:
Erforderliche Felder dürfen nicht
NULLsein.Jede Transaktion muss eine erforderliche Kennung haben.
Pflichtige Geschäftsattribute müssen ausgefüllt sein.
Definierte Vollständigkeitsregeln müssen erfüllt sein.
Dies ist die primäre Funktion für Anforderungen, die direkt formuliert und Datensatz für Datensatz ausgewertet werden können.
digna Data Anomalies
digna Data Anomalies kann unerwartete Änderungen im Vollständigkeitsverhalten identifizieren, wie z. B. plötzliche Anstiege von NULL-Raten, unerwartete Einbrüche der Datensatzanzahl, signifikante Verteilungsänderungen und ungewöhnliche Abweichungen von historischen Datenvolumina.
Die Anomalieerkennung identifiziert ungewöhnliches Verhalten. Sie beweist nicht automatisch, dass die Daten unvollständig sind. Eine legitime saisonale Änderung kann ungewöhnlich aussehen, während ein subtiler Vollständigkeitsfehler innerhalb eines breiten historischen Musters verbleiben kann. Teams benötigen weiterhin geschäftlichen Kontext und gegebenenfalls explizite Validierungsregeln.
digna Data Analytics
digna Data Analytics liefert den historischen Kontext für Vollständigkeitsmetriken. Teams können Trends bei der Datensatzanzahl, Trends bei der NULL-Rate, die historische Vollständigkeit, wiederkehrende Muster fehlender Daten und Änderungen zwischen Berichtszeiträumen untersuchen.
Vollständigkeitsanforderung | Beispiel | digna-Funktion |
|---|---|---|
Erforderliche Werte | Erforderliches Feld darf nicht | Data Validation |
Datensatzvolumen | Erwartete Anzahl von Datensätzen | Data Anomalies |
Historische Vollständigkeit | Verschlechterung im Laufe der Zeit erkennen | Data Analytics |
Verfügbarkeit der Datensatzgruppe | Erwartete Datenquelle ist vorhanden | Data Validation / Data Anomalies |
Die Zuordnung ist bewusst gewählt. Die Validierung setzt bekannte Bedingungen durch, Anomalien decken unerwartetes Verhalten auf und Analysen helfen festzustellen, ob ein Problem isoliert oder wiederkehrend auftritt.
Wichtige Erkenntnisse und häufig gestellte Fragen
Die Datenvollständigkeit ist ein sich verändernder geschäftlicher Zustand, kein statischer Null-Check. Definieren Sie die erforderlichen Daten für jeden Anwendungsfall, messen Sie die relevante Ebene und überwachen Sie, ob Datensätze, Attribute, Zeiträume und Datensatzgruppen weiterhin wie erwartet eintreffen.
Was ist Datenvollständigkeit?
Es ist der Grad, in dem alle für einen bestimmten Zweck erforderlichen Daten vorhanden sind. Der Umfang hängt von der Gebrauchstauglichkeit ab.
Welche Arten von Datenvollständigkeit gibt es?
Zu den gängigen Typen gehören Attribut-, Datensatz-, Datensatzanzahl-, zeitliche und Datensatzgruppen-Vollständigkeit. Jeder Typ adressiert ein anderes Risiko für fehlende Daten.
Wie wird die Datenvollständigkeit gemessen?
Verwenden Sie Maße wie die NULL-Rate, die Pflichtfeld-Abdeckung, Datensatzanzahlen, Abweichungen der Datensatzanzahl, die Verfügbarkeit von Datensatzgruppen, die zeitliche Abdeckung und Vollständigkeitstrends.
Was sagt DAMA über Datenvollständigkeit?
DAMA-DMBOK behandelt Vollständigkeit als eine Dimension der Datenqualität und setzt Anforderungen in Beziehung zu geschäftlichen Bedürfnissen und der Gebrauchstauglichkeit.
Ist eine 100%ige Datenvollständigkeit immer erforderlich?
Nein. 100 % ist nicht universell angemessen. Eine Anforderung sollte die Konsequenzen fehlender Daten für die beabsichtigte Verwendung widerspiegeln.
Was ist der Unterschied zwischen Vollständigkeit und Genauigkeit?
Vollständigkeit fragt danach, ob der erforderliche Wert vorhanden ist. Genauigkeit fragt danach, ob dieser Wert korrekt ist.
Was ist der Unterschied zwischen Vollständigkeit und Validität?
Vollständigkeit betrifft das Vorhandensein. Validität betrifft die Einhaltung definierter Formate, Regeln oder Standards.
Wie kann die Datenvollständigkeit kontinuierlich überwacht werden?
Kombinieren Sie regelbasierte Validierung, Datensatz- und Bereitstellungsüberwachung, Anomalieerkennung und historische Analysen über Batch-, Streaming- und systemübergreifende Pipelines hinweg.
Welche digna-Module unterstützen die Datenvollständigkeit?
digna Data Validation, digna Data Anomalies und digna Data Analytics unterstützen unterschiedliche Anforderungen an die Vollständigkeit. Sie sollten auf die spezifische Kontrolle abgestimmt und nicht als austauschbar behandelt werden.
digna bietet Funktionen für Data Validation, Data Anomalies und Data Analytics zur Überprüfung erforderlicher Werte, zur Identifizierung ungewöhnlicher Datensatz- und Null-Raten-Verhalten sowie zur Analyse der Vollständigkeit im Zeitverlauf. Besuchen Sie digna, um zu sehen, wie diese Kontrollen in Ihren Ansatz zur Überwachung der Datenqualität passen.
