단일 프로세스로 얽혀 있던 취약점 수집 파이프라인을, 수집 단계를 분리하고 DB 스키마를 정규화해 안정적·확장 가능한 구조로 재설계
취약점 수집 파이프라인이 한 프로세스에 묶이면 작은 실패도 전체 재수집 비용으로 번집니다. 이 작업은 실패 범위를 줄이고 재처리할 단위를 분리하는 데 초점이 있었습니다.
DB 스키마를 정규화한 것도 단순한 정리 작업이 아니라, 파일/함수 단위 취약점 데이터를 나중에 검증하고 확장할 수 있게 하려는 선택이었습니다.
공개된 보안 패치 정보를 기반으로 취약했던 소스코드와 수정 diff를 수집해, 파일/함수 단위 취약점 데이터셋을 구축하는 시스템입니다. 기존 수집기는 수집·검증·저장을 하나의 프로세스에서 모두 처리하는 구조였습니다.
모든 작업을 한 프로세스가 담당하던 구조를, 책임이 명확한 두 단계 파이프라인으로 분리하고 단계별 상태를 추적할 수 있게 했습니다.
processed)를 도입해 각 항목을 대기 · 완료 · 실패로 추적하고, 실패 건만 재처리할 수 있게 함데이터 엔지니어로서 기존 단일 프로세스 구조의 한계를 진단하고, 수집 단계 분리 설계 → DB 스키마 정규화 → 상태 기반 처리 도입까지 재설계를 단독으로 수행했습니다. 데이터 중복·비효율을 줄이는 동시에, 실패 추적·재처리가 가능한 운영 친화적 파이프라인으로 전환했습니다.