Data Schema Tracker – Monitor Schema Evolution¶

Purpose¶

The Data Schema Tracker はデータベース構造がどのように進化しているかを把握するためのツールです。
継続的に テーブルスキーマ、カラム、データ型 を監視し、パイプライン、ETL ジョブ、BI ダッシュボードに影響を与える可能性のある スキーマドリフト（意図的・非意図的な構造変更）を検出します。

スキーマの進化を透明化することで、digna は組織が データ品質への信頼 を維持し、データシステムの可観測性 を確保し、検知されないスキーマ変更による高額な本番インシデントを回避するのに役立ちます。

Technical Overview¶

What It Monitors¶

追加または削除されたカラム – 新たに導入、リネーム、削除されたカラムを検出します。
データ型の変更 – INT → VARCHAR や DATE → TIMESTAMP のような変更を特定します。
テーブルおよびビューの変更 – 作成、リネーム、削除を追跡します。
環境間の差異 – 開発（Dev）、テスト（Test）、本番（Production）環境間のスキーマバージョンを比較します。

Detection & Alerting¶

データプラットフォーム内の database metadata または system catalogs を直接スキャンします。
各スキーマスナップショットを digna の observability schema に保存されている以前のバージョンと比較します。
ダッシュボード上、API 経由、または外部通知チャネル（メール、Slack、Webhook）で リアルタイムアラート を生成します。
すべてのスキーマバージョンをログとして保存し、履歴追跡と監査対応 を可能にします。

Architecture and Execution¶

インデータベース実行: digna は環境内で完全に動作し、ユーザーデータを抽出することなくメタデータビューをクエリします。
軽量なスキャン: 構造情報のみを参照し、ユーザーデータにはアクセスしません。
集中管理ストレージ: スキーマメタデータとドリフト記録は可視化と分析のために digna の observability schema に格納されます。
自動化: digna Core や外部オーケストレーションツールを介したスケジュールまたはイベントベースのスキャンをサポートします。

Example Use Cases¶

Use Case	Description
ETL Stability Monitoring	スキーマ不一致によってパイプラインが失敗する前に上流の構造変更を検出します。
Business Intelligence Reliability	リネームや欠損したカラムによってダッシュボードが壊れるのを防ぎます。
Data Warehouse Governance	コンプライアンスやインパクト分析のためにスキーマ進化の監査可能な履歴を維持します。
Integration Oversight	構造更新後にデータレイクとデータウェアハウスのスキーマが同期されていることを確認します。

Benefits¶

Area	Benefit
Data Quality	検出されないスキーマドリフトがデータパイプラインを破損または無効化するのを防ぎます。
Observability	データエコシステムの全体的な可観測性に構造監視を追加します。
Compliance	監査、トレーサビリティ、変更管理のためにバージョン化されたスキーマ履歴を維持します。
Prevention	構造上の問題が報告や本番エラーに波及する前に検出します。

How It Works¶

Snapshot Collection – digna が現在のスキーマメタデータをキャプチャします。
Comparison – 新しいスナップショットは比較され