digna Data Reconciliation: le vostre tabelle target corrispondono ancora alle loro fonti?
|
4
min di lettura
Ogni piattaforma dati è piena di tabelle costruite a partire da altre tabelle: aggregati giornalieri sommati dalle righe delle transazioni, data mart assemblati da una dozzina di sistemi sorgente. Ognuno di questi caricamenti può terminare senza errori e produrre comunque un target che non concorda più con i dati da cui proviene, perché un filtro è cambiato, un file arrivato in ritardo è stato saltato o un join ha perso righe senza dare segnali. Sapere se i numeri tornano ancora è la domanda che conta, e di solito ci si risponde a mano, ammesso che lo si faccia.
digna è una piattaforma di Data Quality & Observability, e digna Data Reconciliation, novità della Release 2026.11, pone questa domanda al posto vostro ogni giorno. Confronta una data source target con le fonti da cui è stata costruita e vi avvisa quando non corrispondono più. Questo breve video mostra entrambi i tipi di regole nei progetti demo di digna, con dati fittizi e il prodotto reale.
Configurato sul target
La riconciliazione parte dalla tabella di cui vi interessa la correttezza. Aprite la data source target, andate nella sua Data Reconciliation tab e definite lì le regole, usando come fonti qualsiasi data source del progetto in cui la riconciliazione è abilitata.
Esistono due tipi di regole, perché alcune relazioni sono semplici ed esatte, mentre altre coinvolgono molte fonti e trasformazioni che nessuno vuole riscrivere sotto forma di controllo.
Regole esatte per le riconciliazioni che già conoscete
Una regola esatta funziona come una regola di data quality per una fonte e un target. Abbinate i controlli per statistica e attributo, ad esempio un conteggio delle righe sul target con un conteggio delle righe sulla fonte, oppure una somma di importi con la stessa somma un livello più in basso, e impostate una tolleranza assoluta o relativa. La timeline mostra poi la differenza di ogni giorno rispetto a quella tolleranza, così potete capire se uno scostamento è isolato o cresce da settimane.
Nella demo retail, l'aggregato giornaliero delle vendite pos_sales_daily viene confrontato con le righe di vendita da cui è costruito, pos_sales_lines, abbinando il fatturato lordo al fatturato sommato dalle righe con una tolleranza di ± 0,01%. Il 26 agosto l'aggregato riportava 51.747 €, mentre le sue stesse righe ammontavano a 66.205 €: il target era quindi inferiore del 21,8%, ben oltre la tolleranza.
I team di finance, risk e controllo di gestione eseguono già controlli di questo tipo come procedure di riconciliazione standard; come regole esatte, vengono definiti una sola volta ed eseguiti a ogni ispezione.
Regole AI per target costruiti da molte fonti
Le regole esatte smettono di essere pratiche quando un target viene assemblato da molte tabelle tramite join, filtri e aggregazioni, perché verificarlo in quel modo significa mantenere una seconda copia della logica della pipeline.
Le regole AI seguono un'altra strada. Combinate controlli provenienti da più fonti con un unico target, senza join, filtri o aggregazioni da definire e senza SQL da scrivere. Un modello impara dallo storico come il target segue le sue fonti e vi avvisa quando il target esce dalla banda degli errori passati della regola. Ogni regola AI ha tre impostazioni, Sensitivity, Memory e Model Complexity, con cui potete adattarla a quel target specifico.
Nella demo, un data mart degli ordini è costruito da dieci tabelle sorgente. Il 6 ottobre conteneva 1.742 ordini mentre le sue fonti ne prevedevano circa 2.771, all'incirca mille in meno, e la regola lo ha rilevato senza che nessuno avesse dovuto descrivere come il data mart viene assemblato da quelle dieci tabelle.
Nella Dashboard e nelle vostre notifiche
I controlli di riconciliazione compaiono nella Dashboard con una timeline per ogni regola. Concorrono allo stato complessivo dell'ispezione, accanto agli altri vostri controlli, e generano notifiche, così le persone giuste vengono a sapere di una discrepanza il giorno stesso in cui si verifica.
Chi ne trae vantaggio
I data engineer ottengono un modo diretto per validare i risultati ETL: non solo che un caricamento è stato eseguito, ma che il suo output corrisponde ancora ai suoi input. I team di finance, risk e controllo di gestione ritrovano le loro riconciliazioni standard come regole esatte con uno storico visibile. E poiché digna funziona on-premises o nel vostro cloud privato, i vostri dati non lasciano mai la vostra infrastruttura mentre vengono controllati. La documentazione di Data Reconciliation spiega come configurare entrambi i tipi di regole.
digna Data Reconciliation è arrivato con la Release 2026.11 insieme a digna Agentic e al digna Engine, e la panoramica della release mostra come i tre si integrano.
Scoprite il tour del prodotto per vedere digna Data Reconciliation e il resto della piattaforma all'opera.
Domande frequenti
Che cosa confronta digna Data Reconciliation?
Confronta una data source target con le fonti da cui è stata costruita e vi avvisa quando non corrispondono più. Le regole si configurano nella Data Reconciliation tab del target, e qualsiasi data source del progetto con la riconciliazione abilitata può fungere da fonte.
Qual è la differenza tra regole esatte e regole AI?
Una regola esatta collega una fonte e un target, abbina i controlli per statistica e attributo, come conteggi di righe o somme di importi, e applica una tolleranza assoluta o relativa. Una regola AI combina controlli provenienti da più fonti con un unico target, impara dallo storico come il target le segue e avvisa quando il target esce dalla banda degli errori passati della regola.
Per le regole AI devo scrivere SQL o definire join?
No. Una regola AI non richiede join, filtri o aggregazioni e non c'è SQL da scrivere. Potete regolare ogni regola con le impostazioni Sensitivity, Memory e Model Complexity.
Come vengono riportati i risultati della riconciliazione?
Ogni regola ha la propria timeline nella Dashboard. I controlli di riconciliazione concorrono allo stato complessivo dell'ispezione e generano notifiche, come gli altri controlli di digna.
