Data Validation – Проверки на основе правил¶

Модуль Data Validation с ИИ для качества данных и наблюдаемости – digna

Цель¶

Модуль Data Validation обеспечивает качество данных с помощью точных проверок на основе правил.
Он позволяет организациям задавать детерминированную бизнес- и техническую логику валидации, гарантируя, что данные соответствуют стандартам соответствия, контрактным SLA и нормативным требованиям.

Объединяя выполнение правил в базе данных, полные журналы аудита и интеграцию с другими модулями digna, Data Validation обеспечивает согласованное и отслеживаемое качество данных и наблюдаемость в сложных корпоративных средах.

Технический обзор¶

Поддерживаемые типы проверок¶

• Проверки равенства
  Подтверждают, что значения соответствуют ожидаемым результатам (например, референсные коды, булевы флаги, категориальные соответствия).

• Пороги и диапазоны
  Проверяют числовые метрики или KPI по заданным пределам — статическим или динамически выводимым.

• Справочные списки и поиска по справочникам
  Проверяют, входят ли значения полей в утверждённые мастер-данные (например, коды НДС, списки стран ISO, каталоги продуктов).

• Согласованность между столбцами
  Обеспечивают относительную корректность (например, валюта соответствует региону, категория риска соответствует типу актива).

• Правила обработки NULL
  Обнаруживают неожиданные NULL или пустые значения в критичных столбцах.

Выполнение и логирование¶

• Обработка в базе данных – Все правила валидации выполняются непосредственно в вашей базе данных (Teradata, Snowflake, Databricks, PostgreSQL и т.д.).
• Без извлечения данных – digna никогда не передаёт сырые данные за пределы вашей среды.
• Полная отслеживаемость – Каждый результат правила логируется с отметкой времени, ответственным набором данных, количеством записей и статусом пройдено/непройдено.
• Аудит