Data Anomalies – Automated Detection¶

Syfte¶

Modulen Data Anomalies identifierar automatiskt oegentligheter i dina dataset — inga regeldefinitioner krävs.
Den övervakar kontinuerligt kvaliteten på dataleveransen, lär sig vad som är "normalt" och upptäcker avvikelser i realtid.

Genom att använda AI-baserad detektion känner digna igen tysta datafel såsom saknade, duplicerade eller korrupta rader som kan förvränga rapporter, ML-modeller och dashboards.

Teknisk översikt¶

Analyserade mått¶

digna profilerar kontinuerligt följande aspekter av dina data:

Antal poster (volym) – totalt antal rader, dagligt eller batchbaserat
Saknade värden – upptäckt av null- eller tomma fält
Fördelningar och histogram – övervakning av förändringar i datans form
Värdeintervall – automatisk identifiering av värden utanför förväntat intervall eller extrema värden
Unikhet – kontroller för duplicerade nycklar eller upprepade poster

Intelligent anomalidetektion¶

Använder historiskt lärande för att dynamiskt definiera förväntade gränser
Upptäcker avvikelser i volym, värdefördelningar eller logiska relationer
Använder AI för att automatiskt anpassa trösklar baserat på tid på dygnet eller säsongsmönster
Skiljer mellan statistiska fluktuationer och verkliga anomalier
Producerar detaljerade mått och konfidenspoäng per dataset och kolumn

Detektionsscenarier¶

Nedan följer exempel på verkliga problem som automatiskt fångas av modulen Data Anomalies:

Scenario	Beskrivning
Volymfall eller toppar	Hälften av dagliga transaktioner saknas, duplicerade batchinläsningar eller plötsliga datatoppar
Saknade eller null-värden	Dataextraktioner slutförda men kritiska kolumner lämnade tomma
Förskjutningar i fördelningar	Medelköpsbelopp eller transaktionsantal per region ändras oväntat
Kolumnbyten	Kolumner som first_name och last_name av misstag ombytta under ETL
Oväntade kategoriska värden	t.ex. "Zurich" dyker upp i listan över österrikiska städer
Plötslig förlust av unikhet	Tidigare unika ID:n börjar dupliceras på grund av fel vid upstream-joins

Arkitektur och exekvering¶

Körning i databasen: All anomalidetektionslogik körs inne i databasmotorn (Teradata, Snowflake, Databricks, PostgreSQL osv.)
Ingen dataflytt: digna läser endast mått, överför aldrig rådata externt
Inkrementella uppdateringar: Endast nya datasegment analyseras varje körning för effektivitet
Konfigurerbar inspektionsfrekvens: Timvis, dagligen eller triggas av upstream-processer
Resultatlagring: Mått och anomaliflaggor skrivs tillbaka till digna:s observability schema för visualisering och larmhantering

Fördelar¶

Område	Fördel
Automation	Eliminerar hundratals manuella SQL- eller regeldefinitioner
Precision	Upptäcker problem som statiska trösklar ofta missar
Skalbarhet	Övervakar effektivt miljontals poster per tabell
Integration	Integrerar sömlöst med digna Data Analytics för trendanalys
Efterlevnad	Säkerställer kontinuerlig kontroll över kvaliteten och observerbarheten av data
Transparens	Ger konfidenspoäng, tidsstämplar och orsakskoder för varje anomali

Hur digna lär sig "normalt"¶

Profileringsfas: digna samlar in mått från historiska dataset.
Lärandefas: AI-modeller identifierar återkommande mönster (säsongs-, veck-, dagliga mönster).
Övervakningsfas: Framtida dataset jämförs mot dynamiskt inlärda trösklar.
Larmfas: Avvikelser utanför statistiska konfidensgränser genereras som anomalier.

Alla modeller är förklarliga, deterministiska och optimerade för företagsdata-volymer.

Exempel på användningsfall¶

Övervaka datakvalitet i banktransaktionssystem
Upptäcka inläsningsfel i ETL- eller datalagerjobb
Identifiera onormal kundaktivitet i telekommunikationsregister
Observera klinisk datakonsistens i analyspipelines inom vården
Förhindra trasiga dashboards i BI- och rapportmiljöer

Vanliga frågor¶

Kräver Data Anomalies fördefinierade regler?
Nej — modulen lär sig automatiskt från datans beteende.

Kan jag fortfarande definiera specifika trösklar vid behov?
Ja. digna tillåter att kombinera AI-baserad och regelbaserad detektion (via Data Validation).

Hur minimeras falska positiva?
Modulen använder adaptivt lärande och statistisk konfidenspoängsättning för att bortse från normala säsongsvariationer.

Var sker beräkningarna?
All bearbetning körs i din databas — digna extraherar aldrig rådata.

Är det lämpligt för känslig eller reglerad data?
Ja. digna körs helt on-premises eller i privat moln och följer europeiska efterlevnadsstandarder.