Перейти до змісту

Changelog – Release 2026.01

У випуску 2026.01 digna представляє ключові покращення в моделюванні джерел даних, управлінні підключеннями та зручності оглядів (inspection).
Ця версія підвищує гнучкість у всіх модулях і суттєво розширює охоплення якості даних і валідації.


🚀 Нові можливості

Глобальні підключення до баз даних

  • Підключення до баз даних тепер налаштовуються на глобальному рівні.
  • Глобальні підключення можна повторно використовувати в усіх проєктах, що спрощує конфігурацію та підтримку.
  • Вплив: Зменшує операційне навантаження та забезпечує послідовне підключення в різних середовищах.

Кілька конфігурацій підключення джерел на проєкт

  • Проєкти тепер можуть посилатися на кілька конфігурацій підключення джерел.
  • Дає змогу гнучко налаштовувати складні ландшафти даних на рівні проєктів.
  • Вплив: Підтримує реалістичні корпоративні архітектури з гетерогенними джерелами даних.

Логічні джерела даних

  • Джерела даних тепер представляють логічний шар всередині проєкту.
  • Кожне джерело даних може базуватися на:
    • таблиці бази даних
    • поданні бази даних
    • користувацькому SQL-запиті
  • Таке розділення покращує повторне використання, прозорість та моделювання інспекцій між модулями.
  • Вплив: Роз’єднує інспекції та правила якості даних від фізичного зберігання, підвищуючи підтримуваність і повторне використання.

Умова релевантності аномалії

  • Тепер можна визначити умову релевантності аномалії, щоб контролювати оцінку статусу аномалій на рівні набору даних.
  • Статистика обчислюється незалежно від того, встановлено умову чи вона виконана.
  • Якщо умова не виконана, digna Data Anomalies не надає статус аномалії (зелений / жовтий / червоний).
  • Приклад: Не враховувати набір даних для оцінки аномалій, коли кількість записів менша за 10.
  • Вплив: Забезпечує оцінку аномалій лише в релевантних бізнес-контекстах.

Конфігурація сповіщень по модулях

  • Сповіщення тепер можна налаштовувати по кожному модулю безпосередньо в digna.
  • Дозволяє незалежно контролювати логіку оповіщень для digna Data Anomalies, digna Data Timeliness, digna Data Validation та інших модулів.
  • Вплив: Дає змогу реалізувати точні стратегії оповіщення, узгоджені з відповідальністю команд і критичністю.

Експорт результатів інспекцій (CSV)

  • Користувачі тепер можуть завантажувати результати інспекцій у форматі CSV.
  • Дає змогу проводити офлайн-аналіз, формувати звіти та інтегруватися з зовнішніми інструментами.
  • Вплив: Спрощує аудити, звітність та подальший аналіз якості даних.

🧪 Розширені можливості валідації даних

У цьому випуску digna Data Validation тепер підтримує комплексний набір правил якості даних:

  • Правила валідації на рівні рядка
  • Перевірки унікальності для кількох стовпців
  • Перевірки референтної цілісності між джерелами даних

Разом ці перевірки дозволяють впроваджувати правила структурної та реляційної якості даних у складних ландшафтах даних.

Перевірки унікальності для кількох стовпців

  • Додано перевірки унікальності для конфігурованого набору стовпців.
  • Дозволяє валідувати складові ключі та бізнес-обмеження на унікальність.
  • Вплив: Виявляє дублікати бізнес-сутностей, які неможливо ідентифікувати за допомогою перевірок одного стовпця.

Перевірки референтної цілісності

  • Додано перевірки референтної цілісності для валідації відносин між джерелами даних.
  • Забезпечує, що значення зовнішніх ключів у джерелі-ідентифікаторі існують у цільовому джерелі.
  • Допомагає виявляти сирітські записи, порушені зв’язки та проблеми консистентності даних на ранніх етапах.
  • Розроблено для роботи з логічними джерелами даних, включно з поданнями та користувацьким SQL.
  • Випадки використання: цілісність сховищ даних, регуляторна звітність, узгодженість майстер-даних та надійна аналітика нижнього рівня.

🎯 Хто отримає вигоду від цього випуску

  • Data Engineers: гнучкіше моделювання джерел даних і повторно використовувані підключення до баз даних
  • Команди якості даних та управління: розширене охоплення валідацій, включно з правилами реляційної цілісності
  • Аналітики та BI-команди: чистіші вхідні дані та можливість експорту результатів інспекцій
  • Власники платформи: зменшення складності конфігурації та покращена операційна підтримуваність

🛠 Оновлення CLI

  • Змін немає