Data Validation – Rule-Based Checks¶

AI-Driven Data Validation Module for Data Quality and Observability – digna

Propósito¶

O módulo Data Validation assegura a qualidade dos dados por meio de verificações precisas e baseadas em regras.
Ele permite que organizações definam lógica de validação determinística — tanto de negócio quanto técnica — garantindo que os dados atendam a padrões de conformidade, SLAs contratuais e requisitos regulatórios.

Ao combinar execução de regras no banco de dados, trilhas completas de auditoria e integração com outros módulos da digna, o Data Validation garante Qualidade de Dados e Observabilidade consistente e rastreável em ambientes empresariais complexos.

Visão Técnica¶

Tipos de Validação Suportados¶

• Verificações de Igualdade
  Confirma que valores correspondem aos resultados esperados (por exemplo, códigos de referência, flags booleanos, mapeamentos categóricos).

• Limiar & Intervalos
  Valida medidas numéricas ou KPIs contra limites definidos — estáticos ou derivados dinamicamente.

• Listas de Referência & Lookups
  Verifica se valores de campos existem em conjuntos de dados mestres aprovados (por exemplo, códigos de IVA, listas ISO de países, catálogos de produtos).

• Consistência Entre Colunas
  Assegura correção relacional (por exemplo, moeda compatível com região, categoria de risco condizente com tipo de ativo).

• Regras de Tratamento de Nulos
  Detecta valores nulos ou vazios inesperados em colunas críticas.

Execução e Registro¶

• Processamento no Banco de Dados – Todas as regras de validação são executadas diretamente no seu banco de dados (Teradata, Snowflake, Databricks, PostgreSQL, etc.).
• Sem Extração de Dados – a digna nunca transfere dados brutos para fora do seu ambiente.
• Rastreamento Completo – Cada resultado de regra é registrado com timestamp, dataset responsável, contagens de registros e resultados de aprovação/reprovação.
• Auditoria