7편 · 약 20분

Governance, Catalog, Lineage, Data Quality

이 세션의 목표

데이터 플랫폼이 커지면 저장과 처리보다 “믿을 수 있는가”가 더 중요해진다. 이때 나오는 용어가 Governance, Catalog, Lineage, Data Quality다.

Governance는 “누가 어떤 데이터를 어떤 목적으로 어떻게 써도 되는가”를 정하는 체계다.

DBA에게 governance는 권한 관리와 비슷하지만 더 넓다.

Catalog는 데이터셋의 위치와 의미를 찾는 시스템이다. 단순 파일 목록이 아니라 metadata hub에 가깝다.

좋은 catalog에는 다음 정보가 들어간다.

Catalog가 없으면 사람들은 Slack에서 “이 테이블 써도 돼요?”라고 묻는다. 그 질문이 반복되면 플랫폼의 검색성이 낮다는 신호다.

Lineage는 데이터 흐름의 족보다.

mysql.orders → bronze.orders_raw → silver.orders_clean → mart.sales_daily → BI 매출 대시보드

Lineage 예시

Lineage가 있으면 다음 질문에 답할 수 있다.

Data Quality는 데이터가 기대 조건을 만족하는지 검증하는 것이다. DB 제약조건과 비슷하지만, pipeline과 비즈니스 의미까지 포함한다.

검증 유형	예시
Completeness	필수 컬럼이 NULL이면 안 된다
Uniqueness	package/version/source 조합은 중복되면 안 된다
Validity	날짜 형식, enum 값이 허용 범위여야 한다
Consistency	취약점 fixed_version은 version range와 모순되면 안 된다
Freshness	최근 24시간 안에 수집된 데이터가 있어야 한다
Volume	평소 대비 row 수가 90% 줄면 이상으로 본다
Referential Integrity	fact의 dimension key가 존재해야 한다

Quality check는 어디에 넣느냐가 중요하다.

실패 row를 바로 버리면 원인 분석이 어렵다. 가능하면 quarantine table이나 error bucket으로 격리하고, 실패 이유와 batch id를 남긴다.

DBA 세계	데이터 플랫폼 세계
information_schema	catalog metadata
foreign key	referential quality check
audit log	lineage / access log
slow query log	warehouse query history
backup retention	data retention policy
schema migration	data contract / schema evolution
replication lag	pipeline freshness / CDC lag

중요한 mart 하나를 골라 quality rule을 5개 작성해보자.