🔒 내부용 · 비배포 · 출처: 본인 작성 "2021년 업무내용 요약"
멀티 언어 라이브러리 크롤러 (2021 · 하반기 중심, ~2021-10·11)
수집 인프라 기반 온보딩 상세
1대상 언어 & 레지스트리
- 신규 개발: Go(
pkg.go.dev), Swift(CocoaPods), .NET(NuGet). Go는 웹 크롤링 + Git 명령 기반 수집 하이브리드.
- Java→Python 재구현: JavaScript(NPM), Python(PyPI), PHP(Packagist), Ruby(RubyGems).
- → 총 8개 언어 라이브러리 수집 체계 완성.
2온보딩 포인트
- 크롤러는 각 패키지 레지스트리 API/구조 차이를 흡수하는 게 핵심. 레지스트리 API 변경에 취약하므로 유지보수 설계가 중요.
- Go 크롤러 라인은 이후에도 계속 고도화됨(모듈 경로/버전 수집). 사내
crawler-lib-golang 계열로 연결.
- 스택을 Python으로 통일한 결정이 이후 데이터팀 크롤러 표준이 됨.
3공개와의 차이
공개 버전(human/portfolio/items/multi-lang-library-crawler.html)은 사내 제품/DB 명칭을 일반화. 공개 패키지 레지스트리명은 신뢰도를 위해 유지(공개 정보).
🕷 라이브러리 크롤러 시리즈 ① — ① 멀티 언어 크롤러 구축 · ② 인기도 차등 수집 · ③ 크롤러 현대화