Data Anomalies – Detectare automatizată¶

Scop¶

Modulul Data Anomalies identifică automat neregularitățile din seturile tale de date — fără a fi nevoie să scrii reguli.
Monitorizează continuu calitatea livrării datelor, învățând cum arată „normalul” și detectând deviațiile în timp real.

Prin folosirea detecției bazate pe AI, digna recunoaște erori silențioase ale datelor precum înregistrări lipsă, duplicate sau corupte care pot distorsiona rapoarte, modele ML și dashboard-uri.

Prezentare tehnică¶

Metrice analizate¶

digna profilează continuu următoarele aspecte ale datelor tale:

Volumul de înregistrări – numărul total de rânduri, zilnic sau pe batch
Valori lipsă – detectarea câmpurilor nule sau goale
Distribuții și histograme – monitorizarea schimbărilor de formă în date
Domenii de valori – identificare automată a valorilor în afara intervalului sau extreme
Unicitate – verificări pentru chei duplicate sau intrări repetate

Detecție inteligentă a anomaliilor¶

Folosește învățare istorică pentru a defini dinamic limitele așteptate
Detectează deviații în volum, distribuții de valori sau relații logice
Employează AI pentru a adapta automat pragurile în funcție de ora din zi sau modele sezoniere
Face diferența între fluctuații statistice și anomalii reale
Produce metrice detaliate și scoruri de încredere pentru fiecare set de date și coloană

Scenario-uri de detecție¶

Mai jos sunt exemple de probleme din lumea reală prinse automat de modulul Data Anomalies:

Scenario	Descriere
Scăderi sau vârfuri de volum	Lipsa jumătății tranzacțiilor zilnice, încărcări batch duplicate sau creșteri bruște de date
Valori lipsă sau nule	Extrageri de date finalizate, dar coloane critice rămân goale
Derive de distribuție	Valoarea medie a achiziției sau numărul de tranzacții per regiune se schimbă neașteptat
Schimbări de coloane (column swaps)	Coloane precum first_name și last_name comutate accidental în timpul ETL
Valori categorice neașteptate	ex.: „Zurich” apare în lista de orașe austriece
Pierderea bruscă a unicității	ID-uri anterior unice încep să se dubleze din cauza erorilor la join-urile upstream

Arhitectură și execuție¶

Executare în baza de date: Toată logica de detecție a anomaliilor rulează în motorul bazei de date (Teradata, Snowflake, Databricks, PostgreSQL etc.)
Fără mutare de date: digna citește doar metrice, niciodată nu transferă date brute în exterior
Actualizări incrementale: Doar segmentele noi de date sunt analizate la fiecare rulare pentru eficiență
Frecvență de inspectare configurabilă: Orară, zilnică sau declanșată de procese upstream
Stocare rezultate: Metricele și flag-urile de anomalii sunt scrise în schema de observabilitate a digna pentru vizualizare și alertare

Beneficii¶

Domeniu	Beneficiu
Automatizare	Elimină sute de definiții manuale SQL sau reguli
Precizie	Detectează probleme pe care pragurile statice le ratează adesea
Scalabilitate	Monitorizează eficient milioane de înregistrări per tabel
Integrare	Funcționează perfect cu digna Data Analytics pentru analiza trendurilor
Conformitate	Asigură control continuu asupra calității și observabilității datelor
Transparență	Oferă scoruri de încredere, timestamp-uri și coduri de motiv pentru fiecare anomalie

Cum învață digna „Normalul”¶

Faza de profilare: digna colectează metrice din seturi istorice de date.
Faza de învățare: modelele AI identifică tipare recurente (sezoniere, săptămânale, zilnice).
Faza de monitorizare: Seturile viitoare sunt comparate cu praguri învățate dinamic.
Faza de alertare: Deviațiile dincolo de limitele de încredere statistică sunt ridicate ca anomalii.

Toate modelele sunt explicabile, deterministe și optimizate pentru volume de date la nivel de enterprise.

Exemple de cazuri de utilizare¶

Monitorizarea calității datelor în sisteme de tranzacții bancare
Detectarea eșecurilor de încărcare în joburi ETL sau data warehouse
Identificarea activității anormale a clienților în înregistrări telecom
Observarea consistenței datelor clinice în pipeline-uri de analiză în sănătate
Prevenirea dashboard-urilor nefuncționale în medii BI și de raportare

Întrebări frecvente¶

Data Anomalies necesită reguli predefinite?
Nu — modulul învață din comportamentul datelor automat.

Pot totuși defini praguri specifice dacă este necesar?
Da. digna permite combinarea detecției bazate pe AI cu cea bazată pe reguli (prin Data Validation).

Cum se minimizează false positive-urile?
Modulul folosește învățare adaptivă și scorare de încredere statistică pentru a ignora variațiile sezoniere normale.

Unde are loc calculul?
Toată procesarea rulează în baza ta de date — digna nu extrage niciodată date brute.

Este potrivit pentru date sensibile sau reglementate?
Da. digna rulează complet on-premises sau în cloud privat și respectă standardele europene de conformitate.