Data Schema Tracker – Monitor Schema Evolution¶

목적¶

Data Schema Tracker는 데이터베이스 구조가 어떻게 변화하는지 알려줍니다.
이는 테이블 스키마, 컬럼 및 데이터타입을 지속적으로 모니터링하여 파이프라인, ETL 작업 또는 BI 대시보드를 중단시킬 수 있는 스키마 드리프트 — 의도적이거나 비의도적인 구조 변경 — 를 감지합니다.

스키마 진화에 대한 투명성을 보장함으로써 digna는 조직이 데이터 품질에 대한 신뢰를 유지하고, 데이터 시스템의 관찰성을 지키며, 감지되지 않은 스키마 변경으로 인한 비용이 큰 프로덕션 사고를 방지하도록 돕습니다.

기술 개요¶

모니터링 대상¶

추가되거나 제거된 컬럼 – 새로 추가되었거나 이름이 변경되었거나 삭제된 컬럼을 탐지합니다.
데이터타입 변경 – INT → VARCHAR 또는 DATE → TIMESTAMP와 같은 변경을 식별합니다.
테이블 및 뷰 변경 – 테이블 및 뷰의 생성, 이름 변경 또는 제거를 추적합니다.
환경 간 차이 – Dev, Test 및 Production 환경 간의 스키마 버전을 비교합니다.

감지 및 알림¶

데이터 플랫폼 내에서 데이터베이스 메타데이터 또는 시스템 카탈로그를 직접 스캔합니다.
각 스키마 스냅샷을 digna의 observability schema에 저장된 이전 버전과 비교합니다.
대시보드, API 또는 외부 알림 채널(이메일, Slack, webhook)을 통해 실시간 알림을 생성합니다.
이력 추적 및 감사 준비를 위해 모든 스키마 버전을 기록합니다.

아키텍처 및 실행¶

인-데이터베이스 실행: digna는 환경 내에서 완전히 실행되며, 데이터를 추출하지 않고 메타데이터 뷰를 쿼리합니다.
경량 스캔: 구조 정보만 접근하며 사용자 데이터는 절대 접근하지 않습니다.
중앙화된 저장: 스키마 메타데이터와 드리프트 기록은 시각화 및 분석을 위해 digna observability schema에 저장됩니다.
자동화: digna Core 또는 외부 오케스트레이션 도구를 통해 예약 또는 이벤트 기반 스캔을 지원합니다.

사용 사례 예시¶

Use Case	Description
ETL 안정성 모니터링	스키마 불일치로 인해 파이프라인이 실패하기 전에 상류 구조 변경을 탐지합니다.
비즈니스 인텔리전스 신뢰성	이름이 변경되었거나 누락된 컬럼으로 인한 깨진 대시보드를 방지합니다.
데이터 웨어하우스 거버넌스	규정 준수 및 영향 분석을 위해 스키마 진화의 감사 가능한 이력을 유지합니다.
통합 감독	구조적 업데이트 후 데이터 레이크와 웨어하우스 스키마가 동기화된 상태인지 확인합니다.

이점¶

Area	Benefit
데이터 품질	감지되지 않은 스키마 드리프트가 데이터 파이프라인을 손상시키거나 무효화하는 것을 방지합니다.
관찰성	데이터 생태계 전반에 구조적 모니터링을 추가합니다.
준수	감사, 추적성 및 변경 관리용 버전화된 스키마 이력을 유지합니다.
예방	구조적 문제가 보고 또는 프로덕션 오류로 이어지기 전에 탐지합니다.

작동 방식¶

스냅샷 수집 – digna가 현재 스키마 메타데이터를 캡처합니다.
비교 – 새 스냅샷은 이전에 알려진 버전과 비교됩니다.