Data Timeliness – On-Time Delivery Monitoring¶

Účel¶

Modul Data Timeliness zajišťuje, že data dorazí včas — pokaždé.
Nepřetržitě monitoruje plány doručení a automaticky detekuje, kdy jsou dataset, tabulky nebo soubory opožděné, chybějící nebo neúplné.

Kombinací učení pomocí AI a uživatelem definovaných plánů umožňuje digna organizacím předcházet následným chybám a dodržovat přísné cíle SLA (Service Level Agreement) jak pro Data Quality, tak pro observabilitu datových pipeline.

Technický přehled¶

Dva režimy monitorování¶

AI-naučené vzory doručení
digna automaticky pozná přirozený rytmus vašich doručení dat — denní, hodinový nebo řízený událostmi — analýzou historických časových razítek a časů dokončení.
Adaptuje se na změny v obchodních kalendářích, víkendech nebo špičkách na konci měsíce.
Uživatelem definované plány
Uživatelé mohou explicitně definovat očekávané časy doručení (např. každý pracovní den před 7:30).
digna porovnává skutečný čas příchodu s plánem a generuje alerty, když jsou data opožděná nebo chybějící.

Mechanismus detekce¶

Vyhodnocuje metadatová časová razítka, počet záznamů a freshness tabulek
Detekuje zaseknuté ETL joby, selhané extrakce a částečná doručení souborů
Integruje se s Data Anomalies a Data Validation pro komplexní přehledy

Scénáře detekce¶

Scenario	Description
Late data arrival	Denní tok tržních dat zpožděn o dvě hodiny, což způsobí, že reporty nedodrží SLA
Missing load	Naplánovaná tabulka nebo partition není aktualizována pro aktuální datum
Chained dependency delay	Zpoždění upstream jobu ovlivní obnovu downstream pipeline
Weekend pattern shift	AI model se automaticky přizpůsobí situaci, kdy se o nedělích neočekávají data

Architektura a provádění¶

Spouštění v databázi: digna provádí kontroly timeliness přímo ve vaší databázi nebo datovém skladu.
Lehké čtení metadat: čte časová razítka jobů, počty záznamů a informace o partition — není potřeba extrakce dat.
Konfigurovatelná frekvence: naplánujte monitorování podle datasetu, schématu nebo pipeline.
Alerty napříč moduly: výsledky mohou vyvolat vizuální varování v Inspection Hub nebo notifikace přes e-mail, Slack či API.

Příklady použití¶

Finanční tržní toky: detekce zpoždění aktualizací cen nebo obchodních dat.
Načítání do datového skladu: sledování, kdy noční ETL joby končí později, než se očekávalo.
Sdílení dat mezi týmy: zajištění, že oddělení doručí data před denními cutoffy.
Regulační reportování: potvrzení, že odevzdané sestavy obsahují nejnovější snímek dat.

Výhody¶

Area	Benefit
Business Continuity	Zabraňuje provozním výpadkům způsobeným opožděnými nebo chybějícími daty
Data Quality	Zvyšuje spolehlivost a konzistenci datových pipeline
Compliance	Zajišťuje dodržování SLA a transparentnost pro audity
Automation	AI eliminuje ruční sledování plánů
Integration	Bezproblémově spolupracuje s Data Analytics pro vizualizaci trendů včasnosti v čase

Jak digna učí očekávané časy doručení¶

Historická analýza: digna sleduje dřívější časy načítání a jejich délky.
AI modelování: strojové učení vytváří dynamické základní hodnoty pro očekávaný příchod.
Monitorování: každé nové doručení se porovnává s touto základní hodnotou.
Alertování: odchylky spouští upozornění s kontextovými metrikami a skóre důvěry.

Tento kontinuální přístup učení se přizpůsobuje vyvíjejícím se procesům a zároveň udržuje nízkou míru falešných pozitiv.

Často kladené otázky¶

Mohu definovat vlastní časy doručení?
Ano. digna podporuje jak pevné uživatelské plány, tak AI-naučené vzory.

Může se integrovat s mým ETL nebo orchestrace nástrojem?
Ano. digna se integruje s nástroji jako Airflow, dbt, Informatica nebo s vlastním schedulerem.

Kde probíhá výpočet?
Veškeré analýzy probíhají ve vaší databázi nebo cloudovém datovém skladu — není využívána žádná externí služba.

Co se stane, když jsou data opožděná?
digna vytvoří alerty v dashboardu, v Inspection Hub a přes API/webhooky, aby týmy provozu byly okamžitě informovány.

digna Data Timeliness pomáhá zajistit důvěru v data, kombinuje detekci řízenou AI, lokální provádění a observabilitu dat — vše ve vašem kontrolovaném prostředí.