기술 포트폴리오 · 슬라이드
파일/함수 취약점
수집 시스템 V4 재설계
단일 프로세스로 얽혀 있던 취약점 수집 파이프라인을, 수집 단계 분리·스키마 정규화로 안정적·확장 가능하게 재설계
래브라도랩스(LabradorLabs) · 데이터파트 · 2023 · 데이터 엔지니어
01 · 배경
V3의 한계
- 공개 패치 정보 기반 파일/함수 취약점 데이터셋을 수집하는 파이프라인
- V3는 수집·검증·저장을 단일 프로세스에서 모두 처리 → 운영·디버깅·확장 곤란
- 데이터 중복 + 비효율 DB 구조 → 저장 낭비 · 쿼리 성능 저하
- 중간 실패 시 어디까지 처리됐는지 추적이 어려움
02 · 접근
수집을 2단계로 분리
패치 소스공개 취약점/패치
→
① 커밋 수집패치 커밋 URL 수집·검증
→
② 소스/diff 수집커밋 URL 기반 소스·diff
→
정규화 DB취약점 데이터셋
상태 플래그 processed로 단계별 대기·완료·실패를 추적하고, 실패 건만 재처리.
03 · 임팩트
결과
안정성·확장성단계 분리로 장애 격리·독립 확장·유지보수 용이
데이터 누락 최소화상태 추적 + 실패 건 재처리로 누락 방지
저장·쿼리 효율스키마 정규화로 중복 제거, 성능 개선
파이프라인 신뢰도전체 수집 흐름의 추적 가능성·신뢰도 향상
04 · 역할 & 배움
내 역할
- 데이터 엔지니어로서 단계 분리 설계 → 스키마 정규화 → 상태 기반 처리 도입까지 V4 재설계 주도
- 단일 프로세스의 책임 과다 문제를 구조로 해소
- 배움: 수집 파이프라인은 단계 분리 · 상태 추적 · 정규화가 신뢰도와 유지보수성의 핵심