DB 안에만 쌓이던 데이터·운영 지표를 대시보드로 가시화하고 여러 메트릭을 한 화면에서 비교 분석하도록 모니터링 체계를 구축
운영 지표가 DB에 쌓여 있어도 사람이 매번 쿼리해야 한다면 모니터링이라고 보기 어렵습니다. 이 작업은 사내 데이터 상태를 팀이 같은 화면으로 보게 만드는 데 초점이 있었습니다.
크롤러, 백업, CI/CD, 고객사 동기화 지표를 함께 올린 이유는 장애가 한 영역에서만 끝나지 않기 때문입니다. 보이는 범위를 넓히는 것이 대응 속도를 줄이는 첫 단계였습니다.
데이터 수집 스케줄러가 모은 데이터가 DB 안에만 쌓여 있어 시간에 따른 추이를 파악하거나 여러 지표를 함께 비교하기가 어려웠습니다. 숫자를 눈으로 확인하려면 매번 쿼리를 돌려야 했고 이상 징후를 빠르게 잡아내기도 힘들었습니다.
이를 해결하기 위해 Grafana 대시보드를 도입해 DB 데이터와 운영 지표를 시각화하고 한 화면에서 비교할 수 있는 모니터링 체계를 만들었습니다.
DB와 운영 지표를 exporter·쿼리 뷰로 끌어오고 Grafana에서 추이·비교 대시보드로 묶은 뒤, 임계값 기반 알람으로 이상을 알리는 흐름을 구성했습니다.
데이터 엔지니어로서 메트릭 정의 → 수집 연동 → 대시보드 설계 → 알람·운영 체계 정립까지 모니터링 구축을 단독으로 수행했습니다. Docker 기반으로 백업·Export/Import·버전 업그레이드·서버 이관 절차를 정리해 지속 운영이 가능하도록 만들었습니다.
이후 운영 모니터링에서 시작해 각 환경별로 핵심 지표를 한눈에 볼 수 있는 실시간 모니터링 대시보드로 확장하는 방향을 기획했습니다.