La fiducia nelle istituzioni pubbliche dipende sempre più dall'affidabilità dei dati che gestiscono. Ecco come gli enti pubblici possono migliorare l'erogazione dei servizi e la fiducia dei cittadini grazie a solidi framework di qualità dei dati e di governance. 

Nei sistemi di dati delle amministrazioni pubbliche di tutto il mondo è in corso una crisi silenziosa. Non una violazione. Non un attacco informatico. Qualcosa di più lento e, per molti versi, più dannoso: dati di cui non ci si può fidare. 

A un richiedente viene negato un sussidio perché la sua pratica è stata duplicata durante una migrazione di due anni fa. Un'autorità di vigilanza sanitaria pubblica un rapporto basato su cifre aggiornate nel sistema sorgente ma mai propagate a valle. Il modello di risposta alle emergenze di una città viene addestrato su dati con lacune sistematiche che nessuno ha segnalato perché nessuno stava controllando. Non sono scenari ipotetici. Sono la realtà operativa degli enti che si affidano ancora a controlli manuali, soglie statiche e audit trimestrali per gestire dati che cambiano ogni ora. 

Perché la qualità dei dati pubblici è una questione di fiducia nazionale 

Il rapporto Government at a Glance 2023 dell'OCSE documenta ciò che la maggior parte dei leader del settore pubblico già percepisce: negli ultimi dieci anni la fiducia nelle istituzioni pubbliche è calata nettamente nei paesi dell'OCSE. Il rapporto mostra anche che la qualità dei servizi erogati è uno dei più forti predittori di tale fiducia. Quando i servizi falliscono, la fiducia si erode. E i servizi falliscono sempre più spesso perché i dati che li alimentano sono inaffidabili. 

I cittadini forse non ragionano in termini di pipeline di dati, ma ne subiscono le conseguenze quando si rompono. Un accertamento fiscale che non rispecchia il reddito dichiarato. Una richiesta di permesso bloccata perché i sistemi di due enti contengono dati contraddittori. Un registro delle vaccinazioni che non può essere interrogato in modo affidabile durante un'emergenza sanitaria. 

L'affidabilità dei dati è, letteralmente, l'infrastruttura del buon governo. Merita di essere discussa insieme alla qualità delle strade e alla stabilità della rete elettrica: invisibile quando funziona, catastrofica quando non funziona. 

Le sfide di qualità dei dati più comuni per gli enti pubblici oggi 

Gli ambienti di dati del settore pubblico presentano complessità specifiche che il settore privato raramente affronta sulla stessa scala. Comprenderle è il primo passo per risolverle. 

• Frammentazione dei sistemi legacy: la maggior parte degli enti pubblici opera su più sistemi costruiti in decenni diversi, spesso da fornitori diversi, raramente progettati per comunicare in modo pulito tra loro. I dati che transitano tra questi sistemi accumulano errori a ogni punto di integrazione. Disallineamenti dello schema, lacune nelle trasformazioni e definizioni dei campi non standardizzate sono endemici. Il Data Quality Framework del governo britannico indica espressamente l'interoperabilità come una delle sfide centrali per la fiducia nei dati del settore pubblico. 

  
  

• Ritardi e problemi di tempestività dei dati: in ambiti sensibili per le politiche pubbliche, come welfare, sanità e amministrazione fiscale, i dati che arrivano in ritardo sono spesso dannosi quanto i dati errati. Quando un ministero dell'economia pubblica indicatori economici basati su dataset non aggiornati nei tempi previsti, le decisioni prese a valle amplificano l'errore. 

  
  

• Deriva strutturale non rilevata: i sistemi sorgente cambiano. Le colonne vengono aggiunte, rinominate o rimosse. I tipi di dati cambiano silenziosamente durante gli aggiornamenti di piattaforma. Negli enti in cui un'unica sorgente alimenta decine di sistemi dipendenti, una modifica dello schema non rilevata può compromettere il reporting di un intero dipartimento prima che qualcuno se ne accorga. 

  
  

• Nessuna baseline comportamentale per il rilevamento delle anomalie: il monitoraggio tradizionale negli ambienti pubblici si basa su regole fisse: se il numero di record scende sotto X, invia un alert. Ma i dati pubblici sono ciclici, stagionali e fortemente dipendenti dal contesto. Senza una baseline appresa, il monitoraggio genera rumore anziché segnale e le anomalie reali passano inosservate. 

Il ruolo della data governance nel settore pubblico per ripristinare la fiducia 

La data governance nella pubblica amministrazione non riguarda soltanto documenti di policy e dizionari dei dati. Nella sua forma più efficace è una disciplina operativa: continua, automatizzata e integrata nella pipeline dei dati, anziché sovrapposta a posteriori. 

Il Data Governance Act europeo della Commissione europea, pienamente in vigore dal 2023, istituisce un quadro per la condivisione dei dati tra enti pubblici e fissa aspettative sulla qualità dei dati che gli Stati membri stanno ora iniziando a rendere operative. Per i Chief Data Officer e i responsabili dell'architettura dei dati che si muovono in questo contesto, la direzione normativa è chiara: la documentazione è necessaria ma non sufficiente. Gli enti hanno bisogno di un controllo della qualità dei dati dimostrabile, verificabile e continuo. 

Ecco come si presenta nella pratica: 

• Validazione a livello di record, non solo a livello di report: intercettare i problemi di qualità dei dati al momento dell'ingestion, prima che si propaghino negli analytics e nei servizi rivolti ai cittadini, è di gran lunga più efficace che rivedere i report a posteriori. digna Data Validation applica le regole di business a livello di record, supportando l'applicazione della logica di business, la conformità agli audit e un controllo mirato della qualità dei dati, senza che i dati debbano uscire dall'ambiente dell'ente. 

  
  

• Monitoraggio delle modifiche strutturali come procedura operativa standard: quando i sistemi sorgente evolvono e i consumatori a valle non vengono avvisati, la deriva strutturale si accumula in silenzio. digna Schema Tracker monitora continuamente le tabelle sorgente configurate per individuare colonne aggiunte, rimosse e cambi di tipo, facendo emergere le modifiche strutturali nel momento stesso in cui si verificano. 

  
  

• Monitoraggio della tempestività che tiene conto dei cicli operativi: i dati pubblici non arrivano secondo un calendario uniforme. Invii di fine mese, reporting di fine esercizio e flussi tra enti seguono calendari che il monitoraggio standard basato su cron gestisce male. digna Timeliness combina pattern appresi dall'IA con pianificazioni definite dall'utente per rilevare ritardi, caricamenti mancanti e consegne anticipate, distinguendo i guasti reali dalle variazioni attese. 

Come dati pubblici affidabili costruiscono direttamente la fiducia dei cittadini 

Il legame tra qualità dei dati e fiducia dei cittadini non è astratto. È transazionale. 

Si pensi alla Social Security Administration degli Stati Uniti, che elabora ogni anno milioni di decisioni sulle prestazioni. Un audit del 2022 dell'Office of the Inspector General ha riscontrato problemi sistematici di integrità dei dati nelle pratiche dei beneficiari, che hanno contribuito a pagamenti indebiti. Il costo economico ha raggiunto i miliardi. Il costo in termini di fiducia è più difficile da quantificare ma altrettanto reale: i cittadini che ricevono pagamenti errati, inferiori o superiori al dovuto, percepiscono l'ente come inaffidabile, indipendentemente dalla causa. 

Quando gli enti investono in un monitoraggio continuo della qualità dei dati, gli effetti a valle sono misurabili: 

I servizi rivolti ai cittadini migliorano perché i dati che li alimentano sono accurati. I decisori operano con maggiore sicurezza perché i report su cui si basano sono costruiti su dati validati e aggiornati. Le funzioni di audit e compliance diventano più rapide e meno costose perché le evidenze sulla qualità dei dati vengono generate automaticamente anziché compilate a mano. E, forse soprattutto, quando qualcosa va storto viene intercettato presto, prima che raggiunga l'interazione con un cittadino. 

digna Data Anomalies usa l'IA per apprendere il comportamento normale di ogni dataset monitorato e segnala automaticamente le variazioni statisticamente implausibili, senza alcuna manutenzione manuale delle soglie. Per un team dati pubblico che gestisce decine di pipeline, è la differenza tra spegnere incendi in modo reattivo e avere un vero controllo operativo. 

Best practice per costruire sistemi di dati pubblici affidabili 

• Partite dalle pipeline a più alto rischio, non da quelle più visibili: le pipeline che alimentano i servizi ai cittadini, le decisioni sulle prestazioni e il reporting regolamentare comportano il maggiore rischio reputazionale e operativo. Date priorità al monitoraggio continuo proprio lì. 

  
  

• Distinguete l'osservabilità dalla qualità dei dati: sapere che un dataset esiste e sapere che è accurato non sono la stessa cosa. Gli strumenti di osservabilità vi dicono che una tabella è stata caricata. Gli strumenti di qualità dei dati vi dicono se ciò che è stato caricato è corretto, completo e strutturalmente solido. digna è costruita proprio attorno a questa distinzione: non si limita a osservare, ma valida, analizza e rileva. 

  
  

• Trattate la tempestività come una dimensione della qualità dei dati: i dati in ritardo sono un difetto di qualità. Integrate fin dall'inizio il monitoraggio degli SLA nella pipeline dei dati, con alert automatici che distinguano i ritardi ciclici attesi dai guasti reali. 

  
  

• Usate gli analytics sulle serie temporali per far emergere pattern nascosti: i dataset pubblici racchiudono anni di comportamento storico che la maggior parte degli enti non analizza mai in modo sistematico. digna Data Analytics analizza le metriche storiche di osservabilità per individuare trend, identificare metriche volatili o in rapido cambiamento ed evidenziare i pattern statistici chiave che segnalano rischi sistemici di qualità dei dati molto prima che diventino incidenti. 

  
  

• Applicate la qualità dei dati all'interno del database, non all'esterno: spostare i dati in un sistema esterno per la validazione introduce latenza, rischi per la sicurezza e complessità architetturale che gli ambienti del settore pubblico raramente possono sostenere. digna esegue tutte le operazioni di qualità dei dati nel database, mantenendo sempre i dati sensibili dei cittadini all'interno dell'ambiente dell'ente. 

Considerazione finale: la qualità dei dati è un dovere pubblico 

Esiste una versione di questo dibattito che inquadra la qualità dei dati pubblici come un problema tecnico da far risolvere ai team IT. È un'impostazione troppo riduttiva, che porta le organizzazioni a investire troppo poco. 

Nel settore pubblico l'affidabilità dei dati è un obbligo di governance. Gli enti custodiscono i dati per conto dei cittadini e la qualità di quei dati determina la qualità dei servizi che i cittadini ricevono. Quando i dati falliscono, i servizi falliscono. Quando i servizi falliscono, la fiducia si erode. E ripristinare la fiducia, una volta persa, richiede anni. 

Gli enti che nel prossimo decennio guideranno l'esperienza dei cittadini non saranno quelli con i team dati più grandi o le piattaforme più sofisticate. Saranno quelli che trattano la qualità dei dati come una disciplina operativa continua, integrata nelle pipeline, governata tramite controlli automatizzati e affrontata con la stessa serietà dei controlli finanziari o della sicurezza delle informazioni. 

Questa disciplina è disponibile già oggi. La domanda è se gli enti la costruiranno prima che il prossimo guasto dei dati finisca sui titoli dei giornali di domani. Prenotate oggi una demo personalizzata. 

Letture correlate: Perché la data governance è essenziale per compliance, IA e fiducia del business

Perché ogni azienda ha bisogno di una piattaforma di qualità dei dati per decisioni migliori  

Validazione dei dati sanitari: come applicare regole cliniche e normative su larga scala 

Per una visione a livello di piattaforma di come caricamenti, modifiche dello schema e volumi vengono monitorati su decine di pipeline interdipendenti di un ente, consultate la data platform observability con digna.

Domande frequenti

Perché la qualità dei dati è importante per la fiducia nella pubblica amministrazione?

Secondo il rapporto Government at a Glance 2023 dell'OCSE, la qualità dei servizi erogati è uno dei più forti predittori della fiducia nelle istituzioni pubbliche, e i servizi falliscono sempre più spesso perché i dati che li alimentano sono inaffidabili. Una pratica di sussidio duplicata o un registro non aggiornato arrivano ai cittadini come un servizio fallito, erodendo la loro fiducia.

Quali sono le principali sfide di qualità dei dati nel settore pubblico?

Dominano quattro sfide: la frammentazione dei sistemi legacy, i dati in ritardo o mancanti, la deriva dello schema non rilevata e un monitoraggio privo di una baseline comportamentale. Il Data Quality Framework del governo britannico indica l'interoperabilità come una sfida centrale, perché i dati che transitano tra sistemi costruiti in decenni diversi da fornitori diversi accumulano errori a ogni punto di integrazione.

In che modo il Data Governance Act dell'UE incide sulla qualità dei dati nel settore pubblico?

Il Data Governance Act, pienamente in vigore dal 2023, definisce un quadro per la condivisione dei dati tra enti pubblici e aspettative sulla qualità dei dati che gli Stati membri stanno ora rendendo operative. Per i Chief Data Officer il messaggio è che la sola documentazione non basta: gli enti hanno bisogno di un controllo della qualità dei dati dimostrabile, verificabile e continuo.

Quanto costa agli enti pubblici la scarsa qualità dei dati?

Il costo può arrivare a miliardi. Un audit del 2022 dell'Office of the Inspector General della Social Security Administration ha riscontrato problemi sistematici di integrità dei dati nelle pratiche dei beneficiari, che hanno contribuito a pagamenti indebiti. Oltre al danno economico, i cittadini che ricevono importi errati, inferiori o superiori al dovuto, percepiscono l'ente come inaffidabile, qualunque sia la causa.

Da dove dovrebbe iniziare un ente pubblico per migliorare la qualità dei dati?

Partite dalle pipeline a più alto rischio anziché da quelle più visibili: quelle che alimentano i servizi ai cittadini, le decisioni sulle prestazioni e il reporting regolamentare. L'articolo raccomanda poi di trattare la tempestività come una dimensione della qualità, di analizzare le metriche storiche e di eseguire i controlli all'interno del database, così che i dati sensibili dei cittadini restino nell'ambiente dell'ente.