MySQL에서 ElasticSearch로 대용량 데이터 마이그레이션: OFFSET vs PK 기반 커서 방식 비교

본 문서는 회사의 기존 RDB 에서 ElasticSearch 로의 데이터 마이그레이션 전략을 다룬 문서입니다!개발 환경JDK : 17 Spring Boot : 3.0.0 MySQL : 8.0.36ElasticSearch : 7.15.1 Spring Data ElasticSearch : 5.0.12배경ElasticSearch 설치 이후, 남은 작업은 국내 숙박 목적지 검색에 사용되었던 호텔, 지역 정보 데이터들을 ElasticSearch 로 옮겨야하는 데이터 마이그레이션 작업입니다. 그래서 이관에 앞서 숙박 목적지 검색에 사용되던 데이터들 총 마이그레이션 데이터의 양을 계산 해야 합니다.기존 목적지 검색 API 의 응답 형태는 다음과 같습니다.{ "regions" : [...], "hotels" : [...

2024.10.27