LLM WikiAccess-protected knowledge portal
← 스터디 홈
8편 · 약 19분

DBA·DB 플랫폼 엔지니어 운영 체크리스트

이 세션의 목표

마지막 세션은 용어를 실제 DBA·DB 플랫폼 엔지니어의 운영 체크리스트로 연결한다. 용어를 아는 것보다 중요한 것은 장애와 변경 상황에서 어떤 질문을 던지는가다.

DBA에서 DB 플랫폼 엔지니어로 확장되는 지점

전통적인 DBA의 핵심 책임은 DB 안정성, 성능, 백업, 복구, 권한, schema 변경 관리다. 데이터 플랫폼에서는 이 책임이 source DB 밖으로 확장된다.

전통 DBA 책임데이터 플랫폼에서 확장되는 질문
백업/복구raw layer와 warehouse도 재처리 가능한가
replicationCDC lag와 downstream merge 상태는 정상인가
schema migrationsource DDL 변경이 pipeline과 BI를 깨뜨리지 않는가
권한 관리mart, catalog, object storage 권한까지 일관적인가
성능 튜닝warehouse scan cost와 dashboard refresh도 관리하는가
감사lineage와 access log로 데이터 사용을 설명할 수 있는가

용어별 운영 체크리스트

용어운영자가 확인할 것
Data Lakeraw 보관 기간, 파일 크기, partition 구조, schema drift, 개인정보 삭제
Lakehousetable format, transaction log, compaction, vacuum, time travel 보관 기간
Bronze수집 메타데이터, immutable 여부, 재처리 가능성
Silverdedupe key, merge rule, invalid row 처리, 품질 검증
Gold지표 owner, refresh SLA, mart와 dashboard 일관성
Warehousequery cost, workload isolation, partition/clustering, 권한
Data Martgrain, 사용자, refresh 주기, 폐기 기준
CDClag, checkpoint, DDL 대응, delete 처리, idempotency
Catalogowner, schema 설명, lineage, deprecation 표시
Lineagesource 변경 영향도, downstream 장애 범위

장애 상황별 질문

Dashboard 값이 갑자기 0이 됐다

  1. BI 쿼리가 실패했는가, 성공했지만 결과가 0인가?
  2. Mart refresh가 성공했는가?
  3. Gold/Silver/Bronze 중 어디부터 row 수가 줄었는가?
  4. source DB 변경이나 CDC lag가 있었는가?
  5. quality check가 warn만 내고 통과한 것은 아닌가?

CDC lag가 증가했다

  1. source DB write volume이 증가했는가?
  2. connector가 checkpoint를 갱신하고 있는가?
  3. target merge/upsert가 병목인가?
  4. DDL/schema change 때문에 이벤트 처리가 막혔는가?
  5. downstream consumer가 backpressure를 만들고 있는가?

Schema 변경이 필요하다

  1. source column 변경이 어떤 pipeline과 mart에 영향을 주는가?
  2. backward compatible한 변경인가?
  3. Bronze에는 원본이 그대로 들어오는가?
  4. Silver transform에서 새 컬럼 default가 필요한가?
  5. BI semantic layer에서 지표 정의가 바뀌는가?
  6. rollback 방법이 있는가?

데이터 플랫폼 운영 지표

영역지표 예시
Freshnesssource event time과 mart update time 차이
Volumebatch별 row 수, 파일 수, byte 수
Qualityrule pass/fail, invalid row count
Costwarehouse query cost, object storage size
Performancedashboard load time, job duration
Reliabilitypipeline success rate, retry count
CDClag seconds, checkpoint age, event throughput
Storage hygienesmall file count, compaction age, partition skew

플랫폼 설계 원칙

  1. 원본과 소비용 데이터를 섞지 않는다.
  2. 재처리 시작점을 항상 남긴다.
  3. 모든 mart에는 owner와 grain이 있어야 한다.
  4. quality check는 실패를 숨기지 않아야 한다.
  5. schema 변경은 downstream 영향도와 함께 배포한다.
  6. 비용도 SLO의 일부로 본다.
  7. 문서화되지 않은 지표는 운영 지표가 아니다.

최종 용어 맵

OLTP
운영 DB → CDC / ETL / ELT
이동과 변환 → Lake / Lakehouse
Bronze · Silver · Gold → Warehouse / Mart
분석과 소비
Catalog
찾기 Lineage
흐름 추적 Quality
검증 Governance
규칙과 권한
DBA 데이터 플랫폼 용어 맵

마무리 과제

본인의 현재 업무 기준으로 다음을 작성해보자.

  1. 내가 담당하는 가장 중요한 source DB는 무엇인가?
  2. 그 데이터는 downstream 어디까지 복제되는가?
  3. Bronze/Silver/Gold 또는 raw/staging/mart에 해당하는 계층은 무엇인가?
  4. 가장 취약한 운영 지점은 freshness, quality, cost, schema change 중 무엇인가?
  5. 다음 달에 하나만 개선한다면 어떤 관측 지표를 추가할 것인가?

References

  • https://www.databricks.com/glossary/medallion-architecture
  • https://learn.microsoft.com/en-us/fabric/onelake/onelake-medallion-lakehouse-architecture
  • https://www.ibm.com/think/topics/data-governance
  • https://www.ibm.com/think/topics/data-lineage
  • https://debezium.io/documentation/reference/stable/index.html