MS-SQL→MongoDB 정합성을 맞춘 3단계 동기화 파이프라인
신규 솔루션 도입 없이 기존 자원만으로 동기 반영 → 실패 시 key만 Kafka로 보내 RDB 재조회 → 이력 seq 폴링으로 누락 검증으로 이어지는 MS-SQL → MongoDB 단방향 3단계 구조를 자체 설계한 과정을 공유합니다.
참고: 이 글의 코드는 실제 업무에서 경험한 내용을 바탕으로 개념적으로 재작성한 것입니다. 실제 회사 코드와는 무관합니다.
3단계 동기화 파이프라인 구조
모든 화살표는 MS-SQL → MongoDB 한 방향입니다. 원본은 언제나 RDB이고, MongoDB는 랭킹 조회를 위한 사본입니다.
배경
광고 랭킹 조회를 운영 MS-SQL에서 MongoDB 입찰 문서로 옮기면서, 원본 RDB와 MongoDB 두 곳에 같은 데이터가 생겼습니다. RDB가 바뀌면 그 변경을 Mongo에 빠르고 빠짐없이 옮기는 것이 큰 과제였습니다.
두 저장소가 같은 데이터를 유지해야 했지만, 서로 다른 두 DB의 쓰기를 원자적으로 처리하는 것은 생각보다 훨씬 어려운 문제입니다.
문제: 분산 트랜잭션은 어렵다
단순한 접근법과 그 한계
가장 단순한 접근법은 양쪽에 차례로 쓰기입니다.
// 설명용: 단순 이중 쓰기
public void updateBid(BidData data) {
sqlRepository.update(data); // MS-SQL 업데이트
mongoRepository.update(data); // MongoDB 업데이트
}
이 방식의 문제는 자명합니다. sqlRepository.update()는 성공했는데 mongoRepository.update()가 실패하면? 두 DB의 데이터가 달라집니다.
분산 트랜잭션을 위한 표준적인 해법으로 **2PC(Two-Phase Commit)**가 있지만, 이는 구현이 복잡하고 성능 오버헤드가 큽니다. Kafka의 트랜잭셔널 프로듀서를 활용하는 Outbox Pattern도 있지만, 이를 올바르게 구현하려면 상당한 공수가 필요합니다.
CDC 대신 기존 자원으로
업계에서 흔히 쓰는 해결책은 **CDC(Change Data Capture)**입니다. DB의 변경 로그를 캡처해 다른 저장소로 옮겨 주는 방식으로, Debezium 같은 오픈소스 도구와 상용 솔루션이 있습니다.
당시에는 신규 솔루션을 들이기 어려운 상황이었고, 동기화 문제는 운영 중에 바로 풀어야 했습니다. 그래서 있는 자원으로 동기화 구조를 직접 만들기로 했습니다. 마침 RDB에는 변경마다 쌓이는 이력 테이블이 있었고, 그 순번(seq)이 계속 증가하는 값이라 DB 로그를 따로 열지 않고도 누락을 다시 찾을 수 있었습니다.
해결: 3단계 계층형 동기화 아키텍처
핵심 아이디어는 "완벽한 단일 메커니즘" 대신 **"여러 계층의 방어막"**을 두는 것이었습니다.
[1단계] RDB 먼저 쓰고 같은 요청에서 Mongo 동기 반영 ← 정상 케이스 처리
↓ 실패 시
[2단계] key만 Kafka로 보내 RDB 재조회 후 재구성 ← 일시적 장애 처리
↓ 그래도 놓친 건
[3단계] 이력 seq 폴링으로 누락 검증 ← 최종 안전망
1단계: RDB 먼저, 같은 요청에서 동기 반영
원본은 RDB입니다. 쓰기는 Spring Webflux API가 맡습니다. MS-SQL은 원래 .NET 쪽 저장 프로시저로만 쓰는 구조라, WebFlux API가 그 .NET API를 불러 UPDATE와 이력 INSERT를 먼저 끝내고 같은 요청 안에서 MongoDB에 반영합니다.
// 설명용: WebFlux API 쓰기 흐름
1. .NET API 호출 → MS-SQL UPDATE + 이력 INSERT // 원본 먼저
2. MongoDB 반영 // 같은 요청 안에서
3. 실패하면 → Kafka에 {siteId, type, key} 발행
정상 경로에서는 변경 요청이 끝나는 시점에 Mongo도 이미 바뀌어 있습니다.
2단계: key만 보내고, 원본을 다시 읽는다
Mongo 반영이 실패하면 변경된 값 전체가 아니라 {siteId, type, key}만 Kafka에 발행합니다. sync-consumer는 이 key로 RDB를 다시 조회해 Mongo 문서를 재구성합니다.
// 설명용: sync-consumer (Spring MVC + 가상 스레드)
@KafkaListener(topics = SYNC_TOPIC)
public void consume(SyncKey msg) {
try {
Bid source = rdbRepository.find(msg.siteId(), msg.type(), msg.key()); // 원본 다시 읽기
mongoRepository.upsert(BidDocument.from(source)); // 최신 원본으로 덮어쓰기
} catch (Exception e) {
kafkaTemplate.send(SYNC_TOPIC, msg); // 같은 토픽으로 재발행
}
}
이 설계의 장점은 순서와 중복이 문제가 되지 않는다는 점입니다. 메시지에 값이 없으니 오래된 메시지가 늦게 도착해도 컨슈머는 항상 지금의 원본을 읽어 씁니다. 같은 key가 여러 번 와도 결과는 같습니다. 그래서 같은 엔티티를 같은 파티션에 묶어 순서를 맞출 필요가 없었고, 실제 메시지 키는 null이거나(WebFlux API) 에러 시각 문자열(.NET API)입니다.
3단계: 이력 seq 폴링으로 누락 검증
1, 2단계가 둘 다 놓치는 경우(Kafka 장애, 컨슈머 다운 등)를 위해 migration-job이 RDB 이력 테이블을 seq 기준으로 1~10초 간격으로 폴링합니다. 그중 5분이 지난 이력만 Mongo와 필드별로 비교하고, 차이가 나면 2단계와 같은 key 메시지를 발행합니다. 5분을 기다리는 이유는 정상 경로가 아직 처리 중인 건을 불일치로 잘못 잡지 않기 위해서입니다.
// 설명용: seq 폴링 검증 잡
scheduler.scheduleWithFixedDelay(this::verify, ...); // 1~10초 간격
void verify() {
long lastSeq = syncStateRepository.loadLastSeq();
List<History> rows = historyRepository.findAfter(lastSeq, olderThan(Duration.ofMinutes(5)));
for (History h : rows) {
if (!fieldsMatch(h, mongoRepository.find(h.key()))) {
kafkaTemplate.send(SYNC_TOPIC, SyncKey.of(h)); // 2단계로 돌려보냄
}
}
syncStateRepository.saveLastSeq(rows); // 마지막 처리 seq를 SyncState에 저장
}
마지막으로 처리한 seq는 SyncState에 저장해 두기 때문에, 잡이 재시작해도 이어서 검증합니다.
운영하면서 배운 것
일치율로 상태를 본다
이 구조에서는 운영 가시성이 핵심입니다. RDB 원본과 Mongo가 같은 값을 가진 비율(일치율)을 5분 지난 입찰, 그룹 이력 기준으로 시간대별로 확인하면 시스템의 건강 상태를 파악할 수 있습니다. 평소에는 높게 유지되다가도 특정 시간대에 크게 떨어지는 구간이 있었고, 이런 급락을 드러내는 것도 이 지표의 역할이었습니다.
멱등성 설계의 중요성
Kafka 컨슈머와 검증 잡 모두 멱등성이 보장되어야 합니다. 같은 이벤트를 두 번 처리해도 결과가 같아야 합니다. key만 보내고 원본을 다시 읽어 덮어쓰는 구조라, 이 성질이 설계에서 자연스럽게 나옵니다.
// 설명용: 원본을 다시 읽어 덮어쓰기
mongoRepository.upsert(BidDocument.from(rdbRepository.find(key)));
남은 약점
처리할 수 없는 메시지를 따로 빼 두는 장치 없이 같은 토픽으로 재발행하기 때문에, 처리 불가능한 메시지가 계속 돌 위험이 있습니다. 다시 만든다면 재시도 횟수에 상한을 두고, 넘으면 별도로 격리해 알림을 받도록 하겠습니다.
결과
운영 중 측정한 RDB 원본과 MongoDB의 일치율은 다음과 같았습니다.
| 사이트 | 일치율 |
|---|---|
| 옥션 | 99.94% |
| 지마켓 | 99.88% |
다만 특정 시간대에는 일치율이 48.85%까지 떨어진 구간도 있었습니다. 100% 정합성을 보장하는 구조는 아닙니다. 동기 반영, key 기반 재처리, 이력 seq 검증의 세 겹으로 MS-SQL → MongoDB 단방향 최종 일관성(Eventual Consistency)을 맞추고, 어긋나는 구간은 일치율로 드러나게 한 실용적인 해결책이었습니다.