증가하는 데이터에 맞춰 버전 테이블을 언어별로 분리하고 텍스트로 관리되던 라이선스 매핑을 DB로 전환해 동적 매칭의 기반을 마련
초기에는 텍스트 매핑과 단일 테이블이 빠르게 움직이기 편하지만 데이터가 늘어나면 같은 구조가 발목을 잡습니다. 라이선스와 버전 데이터를 DB에서 다룰 수 있게 바꾸는 일이 먼저 필요했습니다.
이 작업은 화려한 기능은 아니지만 뒤의 라이선스 분석, 크롤러 확장, 대용량 업서트가 가능한 기반이 됐습니다. 오래 가는 데이터 제품은 이런 바닥 공사에서 차이가 납니다.
REPLACE INTO · UPDATE · INSERT ... ON DUPLICATE KEY UPDATE 벤치마킹 → 삭제·재생성 오버헤드 없는 ON DUPLICATE KEY UPDATE를 표준 쓰기 쿼리로 정립입사 첫 해 데이터 엔지니어로서 스키마 재설계와 라이선스 DB화, 대용량 쓰기 쿼리 표준화를 단독으로 수행했습니다.
같은 해 멀티 언어 라이브러리 크롤러와 함께 수집 인프라의 기반을 구성.
📜 라이선스 데이터 시리즈 ① — ② 양립성 DB · ③ AI 분석 파이프라인