Changelog – Release 2026.01¶

С выпуском Release 2026.01 digna представляет значительные улучшения в моделировании источников данных, управлении подключениями и удобстве работы с инспекциями.
Это обновление повышает гибкость во всех модулях и существенно расширяет охват функционала по качеству данных и валидации.

🚀 Новые возможности¶

Глобальные подключения к базам данных¶

• Подключения к базам данных теперь настраиваются на глобальном уровне.
• Глобальные подключения можно повторно использовать в во всех проектах, что упрощает конфигурацию и сопровождение.
• Влияние: Снижает операционные затраты и обеспечивает согласованную доступность данных в разных средах.

Несколько подключений источников в проекте¶

• Проекты теперь могут ссылаться на несколько конфигураций подключений источников.
• Обеспечивает более гибкие настройки для сложных ландшафтов данных в проекте.
• Влияние: Поддерживает реалистичные корпоративные архитектуры с гетерогенными источниками данных.

Логические источники данных¶

• Источники данных теперь представляют собой логический уровень внутри проекта.
• Каждый источник данных может быть основан на:
  • таблице базы данных
  • представлении базы данных
  • пользовательском SQL-запросе
• Такое разделение улучшает повторное использование, понятность и моделирование инспекций в разных модулях.
• Влияние: Разрывает зависимость проверок и правил качества данных от физического хранения, повышая сопровождимость и повторное использование.

Условие релевантности аномалии¶

• Теперь можно определить условие релевантности аномалии, чтобы контролировать оценку статуса аномалии на уровне набора данных.
• Статистика вычисляется независимо от того, задано ли условие или выполнено ли оно.
• Если условие не выполнено, digna Data Anomalies не предоставляет статус аномалии (зеленый / желтый / красный).
• Пример: Исключать набор данных из оценки аномалий, когда количество записей меньше 10.
• Влияние: Гарантирует оценку аномалий только в релевантных бизнес-контекстах.

Конфигурация уведомлений по модулю¶

• Уведомления теперь можно настраивать по каждому модулю непосредственно в digna.
• Позволяет независимо управлять логикой оповещений для digna Data Anomalies, digna Data Timeliness, digna Data Validation и других модулей.
• Влияние: Обеспечивает точные стратегии уведомлений, согласованные с зонами ответственности команд и критичностью.

Экспорт результатов инспекции (CSV)¶

• Пользователи теперь могут скачивать результаты инспекций в виде CSV-файлов.
• Обеспечивает оффлайн-анализ, составление отчетов и интеграцию с внешними инструментами.
• Влияние: Упрощает аудиты, отчетность и дальнейший анализ качества данных.

🧪 Расширенные возможности валидации данных¶

В этой версии digna Data Validation теперь поддерживает полный набор правил качества данных:

• Правила валидации на уровне строк
• Проверки уникальности по нескольким столбцам
• Проверки ссылочной целостности между источниками данных

Вместе эти проверки позволяют обеспечивать соблюдение структурных и реляционных правил качества данных в сложных ландшафтах данных.

Проверки уникальности для нескольких столбцов¶

• Введены проверки уникальности для настраиваемого набора столбцов.
• Позволяют проверять составные ключи и бизнес-уровневые ограничения уникальности.
• Влияние: Обнаруживает дубли бизнес-объектов, которые невозможно выявить с помощью проверок по одному столбцу.

Проверки ссылочной целостности¶

• Введены проверки ссылочной целостности для валидации отношений между источниками данных.
• Гарантируют, что значения внешних ключей в исходном datasource существуют в целевом (referenced) datasource.
• Помогают выявлять «осиротевшие» записи, нарушенные связи и проблемы согласованности данных на раннем этапе.
• Проектированы для работы с логическими источниками данных, включая представления и пользовательский SQL.
• Сценарии использования: целостность хранилища данных, регуляторная отчетность, согласованность мастер-данных и надежная аналитика downstream.

🎯 Кому полезен этот релиз¶

• Data Engineers: Более гибкое моделирование источников данных и повторно используемые подключения к базам данных
• Команды качества данных и управления: Расширенный охват валидации, включая правила реляционной целостности
• Команды аналитики и BI: Чище входные данные и экспортируемые результаты инспекций
• Владельцы платформы: Снижение сложности конфигурации и улучшенная эксплуатационная сопровождимость

🛠 Обновления CLI¶

• Изменений нет