Changelog – Release 2026.01¶
У випуску 2026.01 digna представляє ключові покращення в моделюванні джерел даних, управлінні підключеннями та зручності оглядів (inspection).
Ця версія підвищує гнучкість у всіх модулях і суттєво розширює охоплення якості даних і валідації.
🚀 Нові можливості¶
Глобальні підключення до баз даних¶
- Підключення до баз даних тепер налаштовуються на глобальному рівні.
- Глобальні підключення можна повторно використовувати в усіх проєктах, що спрощує конфігурацію та підтримку.
- Вплив: Зменшує операційне навантаження та забезпечує послідовне підключення в різних середовищах.
Кілька конфігурацій підключення джерел на проєкт¶
- Проєкти тепер можуть посилатися на кілька конфігурацій підключення джерел.
- Дає змогу гнучко налаштовувати складні ландшафти даних на рівні проєктів.
- Вплив: Підтримує реалістичні корпоративні архітектури з гетерогенними джерелами даних.
Логічні джерела даних¶
- Джерела даних тепер представляють логічний шар всередині проєкту.
- Кожне джерело даних може базуватися на:
- таблиці бази даних
- поданні бази даних
- користувацькому SQL-запиті
- Таке розділення покращує повторне використання, прозорість та моделювання інспекцій між модулями.
- Вплив: Роз’єднує інспекції та правила якості даних від фізичного зберігання, підвищуючи підтримуваність і повторне використання.
Умова релевантності аномалії¶
- Тепер можна визначити умову релевантності аномалії, щоб контролювати оцінку статусу аномалій на рівні набору даних.
- Статистика обчислюється незалежно від того, встановлено умову чи вона виконана.
- Якщо умова не виконана, digna Data Anomalies не надає статус аномалії (зелений / жовтий / червоний).
- Приклад: Не враховувати набір даних для оцінки аномалій, коли кількість записів менша за 10.
- Вплив: Забезпечує оцінку аномалій лише в релевантних бізнес-контекстах.
Конфігурація сповіщень по модулях¶
- Сповіщення тепер можна налаштовувати по кожному модулю безпосередньо в digna.
- Дозволяє незалежно контролювати логіку оповіщень для digna Data Anomalies, digna Data Timeliness, digna Data Validation та інших модулів.
- Вплив: Дає змогу реалізувати точні стратегії оповіщення, узгоджені з відповідальністю команд і критичністю.
Експорт результатів інспекцій (CSV)¶
- Користувачі тепер можуть завантажувати результати інспекцій у форматі CSV.
- Дає змогу проводити офлайн-аналіз, формувати звіти та інтегруватися з зовнішніми інструментами.
- Вплив: Спрощує аудити, звітність та подальший аналіз якості даних.
🧪 Розширені можливості валідації даних¶
У цьому випуску digna Data Validation тепер підтримує комплексний набір правил якості даних:
- Правила валідації на рівні рядка
- Перевірки унікальності для кількох стовпців
- Перевірки референтної цілісності між джерелами даних
Разом ці перевірки дозволяють впроваджувати правила структурної та реляційної якості даних у складних ландшафтах даних.
Перевірки унікальності для кількох стовпців¶
- Додано перевірки унікальності для конфігурованого набору стовпців.
- Дозволяє валідувати складові ключі та бізнес-обмеження на унікальність.
- Вплив: Виявляє дублікати бізнес-сутностей, які неможливо ідентифікувати за допомогою перевірок одного стовпця.
Перевірки референтної цілісності¶
- Додано перевірки референтної цілісності для валідації відносин між джерелами даних.
- Забезпечує, що значення зовнішніх ключів у джерелі-ідентифікаторі існують у цільовому джерелі.
- Допомагає виявляти сирітські записи, порушені зв’язки та проблеми консистентності даних на ранніх етапах.
- Розроблено для роботи з логічними джерелами даних, включно з поданнями та користувацьким SQL.
- Випадки використання: цілісність сховищ даних, регуляторна звітність, узгодженість майстер-даних та надійна аналітика нижнього рівня.
🎯 Хто отримає вигоду від цього випуску¶
- Data Engineers: гнучкіше моделювання джерел даних і повторно використовувані підключення до баз даних
- Команди якості даних та управління: розширене охоплення валідацій, включно з правилами реляційної цілісності
- Аналітики та BI-команди: чистіші вхідні дані та можливість експорту результатів інспекцій
- Власники платформи: зменшення складності конфігурації та покращена операційна підтримуваність
🛠 Оновлення CLI¶
- Змін немає