Data Anomalies – Automated Detection¶

Purpose¶

Moduł Data Anomalies automatycznie identyfikuje nieprawidłowości w Twoich zbiorach danych — bez potrzeby pisania reguł.
Ciągłe monitoruje jakość dostarczania danych, ucząc się, jak wygląda „norma” i wykrywając odchylenia w czasie rzeczywistym.

Dzięki wykrywaniu opartemu na AI, digna rozpoznaje ciche błędy danych takie jak brakujące, zdublowane lub uszkodzone rekordy, które mogą zniekształcać raporty, modele ML i dashboardy.

Technical Overview¶

Metrics analyzed¶

digna nieustannie profiluje następujące aspekty Twoich danych:

Record volume – całkowita liczba wierszy, dziennie lub w partiach
Missing values – wykrywanie pól NULL lub pustych
Distributions and histograms – monitorowanie zmian kształtu rozkładów danych
Value ranges – automatyczna identyfikacja wartości poza zakresem lub ekstremalnych
Uniqueness – sprawdzenia pod kątem zduplikowanych kluczy lub powtarzających się wpisów

Intelligent anomaly detection¶

Wykorzystuje historical learning do dynamicznego definiowania oczekiwanych granic
Wykrywa odchylenia w wolumenie, rozkładach wartości lub relacjach logicznych
Stosuje AI do automatycznego dostosowywania progów na podstawie pory dnia lub wzorców sezonowych
Rozróżnia fluktuacje statystyczne od prawdziwych anomalii
Generuje szczegółowe metryki i wskaźniki pewności dla każdego zbioru danych i kolumny

Detection Scenarios¶

Poniżej przykłady realnych problemów automatycznie wykrywanych przez moduł Data Anomalies:

Scenario	Description
Volume drops or spikes	Brak połowy dziennych transakcji, zdublowane ładowania partii lub nagłe skoki danych
Missing or null values	Ekstrakcje danych zakończone, lecz krytyczne kolumny puste
Distribution drifts	Średnia kwota zakupu lub liczba transakcji na region zmienia się nieoczekiwanie
Column swaps	Kolumny takie jak first_name i last_name przypadkowo zamienione podczas ETL
Unexpected categorical values	np. „Zurich” pojawia się na liście austriackich miast
Sudden uniqueness loss	Wcześniej unikalne ID zaczynają się duplikować z powodu błędów join upstream

Architecture and Execution¶

In-database execution: Cała logika wykrywania anomalii jest wykonywana wewnątrz silnika bazy danych (Teradata, Snowflake, Databricks, PostgreSQL itp.)
No data movement: digna odczytuje jedynie metryki, nigdy nie transferuje surowych danych na zewnątrz
Incremental updates: Każde uruchomienie analizuje tylko nowe segmenty danych dla efektywności
Configurable inspection frequency: Co godzinę, codziennie lub wyzwalane przez procesy upstream
Result storage: Metryki i flagi anomalii są zapisywane z powrotem w schemacie obserwowalności digna do wizualizacji i alertowania

Benefits¶

Area	Benefit
Automation	Eliminuje setki ręcznych definicji SQL lub reguł
Precision	Wykrywa problemy, które statyczne progi często pomijają
Scalability	Efektywnie monitoruje miliony rekordów na tabelę
Integration	Działa bezproblemowo z digna Data Analytics do analizy trendów
Compliance	Zapewnia ciągłą kontrolę nad jakością i obserwowalnością danych
Transparency	Dostarcza wskaźniki pewności, znaczniki czasowe i kody przyczyn dla każdej anomalii

How digna Learns “Normal”¶

Profiling phase: digna zbiera metryki z historycznych zbiorów danych.
Learning phase: Modele AI identyfikują powtarzalne wzorce (sezonowe, tygodniowe, dzienne).
Monitoring phase: Przyszłe zbiory są porównywane z dynamicznie wyuczonymi progami.
Alerting phase: Odchylenia przekraczające granice pewności statystycznej są zgłaszane jako anomalie.

Wszystkie modele są wyjaśnialne, deterministyczne i zoptymalizowane pod kątem przedsiębiorczych wolumenów danych.

Example Use Cases¶

Monitorowanie jakości danych w systemach transakcyjnych banków
Wykrywanie awarii ładowania w zadaniach ETL lub hurtowniach danych
Identyfikacja nietypowej aktywności klientów w danych telekomunikacyjnych
Obserwacja spójności danych klinicznych w pipeline’ach analityki medycznej
Zapobieganie uszkodzonym dashboardom w środowiskach BI i raportowania

Frequently Asked Questions¶

Does Data Anomalies require predefined rules?
Nie — moduł uczy się zachowania danych automatycznie.

Can I still define specific thresholds if needed?
Tak. digna pozwala łączyć wykrywanie oparte na AI i regułowe (poprzez Data Validation).

How are false positives minimized?
Moduł wykorzystuje adaptacyjne uczenie i statystyczne oceny pewności, aby ignorować normalne wariacje sezonowe.

Where does computation happen?
Wszystkie przetwarzania odbywają się w Twojej bazie danych — digna nigdy nie wyciąga surowych danych.

Is it suitable for sensitive or regulated data?
Tak. digna działa w pełni on-premises lub w chmurze prywatnej i spełnia europejskie standardy zgodności.