라이브러리 크롤러 현대화
& 데이터 플랫폼 마이그레이션

왜 현대화했나

• 제품 데이터의 기반은 언어별 오픈소스 라이브러리 수집 크롤러
• Go, Java/Maven 등 언어마다 따로 발전 → 구조·동작이 제각각
• 수집 데이터를 신규 데이터 플랫폼으로 옮기는 이관 과제가 동시 존재
• 레지스트리는 계속 변함 → 신규·변경 추적과 수집 정확도가 관건

추적 → 전략 → 현대화 → 이관

신규·변경 패키지를 안정적으로 추적하는 방식과 rate limit을 반영한 수집 전략을 세우고, 변환기(transformer)로 이관 기반을 마련.

대규모 누락, 원인을 파다

• Go 크롤러에서 대규모 누락 데이터 관측 → 유형별 심층 분석
• 대표 원인: 모듈 경로 식별자의 대소문자 차이로 인한 비교 누락
• Go 모듈 경로는 대소문자를 구분 → 동일 취급되던 모듈을 구분해 누락 해소
• 12개 언어 크롤러 전수 조사, 7종 결함 유형으로 분류 (Java 누락률 16.99% 확인·재수집 완료)
• 일일 점검: NPM 3,825,366 패키지 중 누락 890개를 약 104분에 식별 → 목표 누락률 0%

결과

내 역할

• 데이터파트 파트리더로서 레지스트리 추적 연구 → 수집 전략 → 크롤러 현대화 → 이관 기반 주도
• 흩어진 언어별 크롤러를 일관된 현대 구조로 정리하고, 정확도·이관 가능성을 함께 향상
• 배움: 수집의 신뢰도는 구조의 일관성과 식별자의 정확한 처리에서 나온다

연계 작업(데이터 플랫폼·파이프라인 표준화)은 별도 항목.

🕷 라이브러리 크롤러 시리즈 ③ — ① 멀티 언어 크롤러 구축 · ② 인기도 차등 수집 · ③ 크롤러 현대화