Con l'esplosione dei dati nei moderni warehouse, lake e lakehouse, le organizzazioni hanno bisogno di un modo semplice e intelligente per rilevare i problemi prima che causino disservizi. Automatizzare il rilevamento delle anomalie è fondamentale per mantenere la qualità dei dati e garantire l'affidabilità delle decisioni basate sui dati. Si colloca all'avanguardia dell'analisi predittiva e sta trasformando il modo in cui le aziende gestiscono enormi quantità di dati su architetture diverse.

Mentre gli strumenti tradizionali richiedono di esportare i dati dalla piattaforma per analizzarli, strumenti moderni di qualità dei dati come digna semplificano tutto: analizzano i dati proprio dove risiedono. Nessuna migrazione costosa, nessun flusso di lavoro rallentato. Ottenete invece un rilevamento automatizzato delle anomalie rapido, efficiente e profondamente integrato con la vostra infrastruttura dati esistente.

In questa guida vi accompagniamo nella configurazione di un progetto su digna e delle tabelle per iniziare a rilevare le anomalie automaticamente. Dalle connessioni al database alla definizione degli avvisi, digna rende semplice per i team dati sfruttare la potenza di una gestione della qualità dei dati basata sull'IA.

Come creare il vostro primo progetto su digna

Passo 1: create un nuovo progetto

La base di tutto il vostro lavoro in digna è la creazione di un progetto. Vi permette di combinare più fonti di dati e di organizzare le attività in parti gestibili. Consideratelo il vostro spazio di lavoro, dove si svolge tutta l'azione.

• Per prima cosa individuate il pulsante “Projects”. Lo userete per creare un nuovo progetto o per consultare quelli esistenti.

  
  

• Dopo aver cliccato su “Add New Project”, si aprirà un modulo che chiede il nome del progetto e una breve descrizione. Siate chiari e concisi nella descrizione: vi aiuterà a tenere traccia dell'obiettivo del progetto.

  
  

• Dopo aver compilato questi dati, cliccate su 'Create Project' per configurare il vostro nuovo spazio di lavoro per la gestione dei dati.

Passo 2: configurate la connessione al database

Con il progetto pronto, il passo successivo è configurare la connessione al database che contiene i dati che volete far analizzare a digna.

• Scegliete la tecnologia del database (ad es. PostgreSQL, MySQL, Snowflake) e inserite i dettagli di connessione.

  
  

• Potete collegarvi tramite connessione nativa o connessione ODBC. Per la connessione nativa dovrete configurare dettagli come:

• Indirizzo host

• Porta host

• Nome del database

• Nome dello schema

• Password

Per ODBC, basta passare alla modalità ODBC e aggiungere le proprietà richieste. Una volta completata la configurazione, testate la connessione per verificarne il corretto funzionamento prima di procedere.

Passo 3: impostate la modalità di profilazione

La modalità di profilazione è fondamentale perché determina il modo in cui digna interagisce con i vostri dati. digna offre tre distinte “modalità di profilazione” per gestire l'elaborazione dei dati:

1. Standard Mode: digna calcola le metriche direttamente dalle tabelle di origine senza duplicare i dati. È il metodo più veloce.

   
   

2. Permanent Mode: digna copia i dati della giornata in una tabella permanente e poi calcola le metriche da lì.

   
   

3. Session Mode: digna copia i dati in una tabella di sessione o temporanea ed esegue l'analisi.

Selezionate la modalità più adatta alle vostre preferenze operative e alle vostre policy di gestione dei dati. Cliccate su “Test Connection” per verificare che tutto sia collegato correttamente. In caso di esito positivo, riceverete una notifica di conferma della configurazione.

Ora configuriamo le tabelle che volete analizzare.

Come configurare le tabelle dati per il rilevamento delle anomalie

Passo 1: aggiungete le tabelle dati

Una volta creato il progetto e attivata la connessione al database, il passo successivo fondamentale è definire quali tabelle dati digna deve monitorare.

Selezionate dal vostro database le tabelle rilevanti per configurarle per l'analisi. digna vi permette di scegliere tabelle specifiche, personalizzare i tipi di analisi e impostare snapshot query per ispezioni dettagliate. Potrebbe trattarsi di tabelle che contengono dati critici come transazioni dei clienti, inventari di prodotto o registrazioni finanziarie.

Passo 2: panoramica settimanale dei dati

Dopo aver configurato le tabelle, digna presenta subito all'accesso una “Weekly Data Overview” completa. Questa panoramica evidenzia le potenziali anomalie nei vostri dataset, offrendo informazioni immediate sulla qualità dei dati.

Con un solo clic potete navigare tra le diverse settimane per osservare i trend delle prestazioni e comprendere lo stato di salute dei vostri dati nel tempo.

Passo 3: analizzate gli avvisi

Una delle caratteristiche distintive di digna è la capacità di rilevare i problemi con estrema precisione. Configurate le notifiche per essere avvisati delle anomalie e dei problemi di qualità dei dati. Se si presentano anomalie, digna emette avvisi secondo un sistema a semaforo:

1. Rosso: indica problemi nei dati.

2. Giallo: segnala dati sospetti.

3. Verde: significa che tutto è ottimale.

Approfondendo i singoli avvisi, potete individuare i giorni problematici, ispezionare le tabelle segnalate ed esaminare le colonne di dati interessate. digna fornisce anche grafici di visualizzazione che mostrano dove e come i dati si sono discostati dai pattern attesi.

Passo 4: le soglie definite dall'IA di digna

Il rilevamento delle anomalie basato sull'IA di digna non si limita ad avvisarvi quando qualcosa non va—definisce anche intervalli accettabili per le metriche dei dati. Ad esempio, se il sistema si aspetta che i valori mancanti siano compresi tra 222 e 503, segnalerà le deviazioni al di fuori di questo intervallo.

Ma è qui che avviene la magia: gli Autothresholds. L'IA di digna apprende continuamente dai vostri dati, regolando autonomamente le soglie e prevedendo in modo proattivo le anomalie future prima che si verifichino.

Come funziona il processo di rilevamento delle anomalie di digna

Il rilevamento delle anomalie basato sull'IA di digna sfrutta algoritmi avanzati per individuare le deviazioni dai pattern di dati attesi. Ecco come funziona:

1. Profilazione dei dati: digna profila automaticamente i vostri dati, rilevando le metriche chiave e stabilendo le baseline.

   
   

2. Rilevamento delle anomalie: i nostri algoritmi monitorano costantemente i dati alla ricerca di anomalie, confrontandoli con le baseline stabilite e individuando le deviazioni.

   
   

3. Analisi delle cause profonde: quando viene rilevata un'anomalia, digna vi aiuta a capirne le cause fornendo informazioni dettagliate sui dati interessati.

   
   

4. Visualizzazioni dei dati: le dashboard intuitive di digna offrono visualizzazioni chiare dello stato di salute dei dati, rendendo semplice individuare anomalie e trend.

Perché automatizzare il rilevamento delle anomalie con digna cambia le regole del gioco

Nei sistemi tradizionali, definire regole tecniche e monitorare manualmente la qualità dei dati richiede tempo ed è stressante. Automatizzando il processo, digna libera i vostri team dati dall'onere di una sorveglianza costante. Ecco perché è importante:

• Velocità: rilevate le anomalie in tempo reale e risolvete i problemi prima che incidano sulle operazioni.

  
  

• Precisione: grazie agli insight basati sull'IA, ottenete meno falsi positivi e avvisi più significativi.

  
  

• Efficienza: risparmiate tempo automatizzando la profilazione dei dati e il rilevamento delle anomalie—basta interventi manuali.

  
  

• Flessibilità: che i vostri dati siano nel cloud o on-premise, digna si integra perfettamente, lasciando i dati dove sono mentre ne analizza le metriche chiave.

Conclusione

Automatizzando il rilevamento delle anomalie con digna, potete migliorare significativamente la qualità dei dati, ridurre il rischio di errori e prendere decisioni più consapevoli. Con funzionalità come autometrics, autothresholds e avvisi istantanei, digna vi aiuta a mantenere i più alti standard sui dati con il minimo sforzo. La nostra piattaforma intuitiva e i potenti algoritmi di IA rendono semplice iniziare e ottenere risultati.

La storia dei vostri dati è in continua evoluzione—lasciate che digna vi aiuti a scoprire i pattern nascosti e le anomalie che si celano sotto la superficie.

Pronti a sperimentare la potenza del rilevamento automatizzato delle anomalie? Prenotate oggi una demo dal vivo con digna oppure guardate digna in azione e scoprite come la nostra piattaforma di data observability può trasformare le vostre pratiche di gestione dei dati.

Domande frequenti

Come si configura il rilevamento automatizzato delle anomalie in digna?

La configurazione prevede tre passaggi. Per prima cosa create un progetto tramite il pulsante Projects e Add New Project, assegnandogli un nome e una breve descrizione. Poi configurate la connessione al database, scegliete una modalità di profilazione e testate la connessione. Infine aggiungete le tabelle dati che digna deve monitorare.

Qual è la differenza tra le modalità di profilazione Standard, Permanent e Session?

Standard Mode calcola le metriche direttamente dalle tabelle di origine senza duplicare i dati, ed è quindi l'opzione più veloce. Permanent Mode copia prima i dati della giornata in una tabella permanente, mentre Session Mode copia i dati in una tabella di sessione o temporanea; digna calcola poi le metriche a partire da queste copie.

A quali database può collegarsi digna per il rilevamento delle anomalie?

La guida cita come esempi PostgreSQL, MySQL e Snowflake, collegati in modo nativo o tramite ODBC. Una connessione nativa richiede dettagli come indirizzo host, porta host, nome del database, nome dello schema e password, mentre la modalità ODBC richiede solo l'aggiunta delle proprietà pertinenti. Testate la connessione prima di proseguire.

Che cosa significano gli avvisi rossi, gialli e verdi in digna?

digna utilizza un sistema a semaforo per gli avvisi sulle anomalie: il rosso indica problemi nei dati, il giallo segnala dati sospetti e il verde significa che tutto è ottimale. Approfondendo un avviso si vedono i giorni problematici, le tabelle segnalate e le colonne interessate, con grafici che mostrano come i dati si sono discostati dai pattern attesi.

Come funzionano gli autothresholds nel rilevamento delle anomalie?

Gli autothresholds sono intervalli accettabili definiti dall'IA che digna apprende dai vostri dati e regola automaticamente. Nell'esempio dell'articolo, se il sistema si aspetta valori mancanti tra 222 e 503, segnala tutto ciò che esce da questo intervallo. Poiché l'IA continua ad apprendere, le soglie si regolano da sole invece di basarsi su regole tecniche definite manualmente.