광고 랭킹 반영 지연 4시간을 3분으로 줄인 과정
최대 4시간이 걸리던 광고 랭킹 반영을 3분 이내로 줄인 과정입니다. DB 테이블 큐와 랭킹 후보 조회 SP가 원인이었고, 큐는 Kafka로, SP의 조회는 MongoDB 입찰 문서로 옮겼습니다. 순위와 과금 로직은 바꾸지 않았습니다.
참고: 이 글의 코드는 실제 업무에서 경험한 내용을 바탕으로 개념적으로 재작성한 것입니다. 실제 회사 코드와는 무관합니다.
시스템 아키텍처
처음에는 MongoDB 랭킹 결과를 Redis 캐시에 올려 서빙했지만, 이 Redis 캐시는 이후 서빙 경로에서 걷어냈습니다. 지금은 서빙 API가 MongoDB Live 컬렉션을 직접 조회합니다.
들어가며
Gmarket AdTech팀에서 CPC 광고 랭킹 시스템을 담당하게 됐을 때, 처음 마주한 숫자는 충격적이었습니다. 광고주의 입찰가 변경이나 광고 OFF 같은 중요한 이벤트가 랭킹에 실제로 반영되기까지 최대 4시간이 걸렸습니다. 그 사이에 이미 꺼진 광고가 계속 노출되면서 클릭 과금이 잘못 빠져나갔고, 결국 환불까지 해야 했습니다.
이 글은 .NET & MS-SQL 기반 레거시에서 반영 지연 원인을 찾고, RDB 안에서 먼저 시도한 개선이 왜 부족했는지, 그래서 랭킹 조회를 DB 밖으로 어떻게 옮겼는지 적은 글입니다.
문제 상황: 4시간의 공백
시스템 구조 파악부터
기존 시스템은 광고 변경이 들어오면 RDB 테이블에 쌓아 두고, 사이트마다 .NET 데몬 5개가 그 테이블을 폴링해 일을 가져가는 구조였습니다. 데몬은 키워드마다 저장 프로시저(SP)로 후보 입찰을 조회하고, C# 코드에서 순위와 과금가를 계산해 RDB의 Live 테이블에 썼습니다.
데몬 안에서도 Parallel.ForEach로 이미 병렬 처리를 하고 있었습니다. 그러니 병목은 스레드 수가 아니었습니다.
[광고 변경]
↓
[RDB 테이블 큐] → 데몬별 번호 컬럼으로 일 배분
↓
[사이트별 데몬 5개] → Parallel.ForEach로 병렬 처리
↓
[후보 조회 SP] → 아우터 조인 4 + 이너 조인 2
↓
[C# 순위, 과금가 계산] → [RDB Live 테이블]
구조를 뜯어보니 원인은 세 가지가 겹친 데 있었습니다.
- DB 테이블을 큐로 사용: 데몬마다 번호 컬럼으로 일을 나눠 가져가는 방식이라, 처리량을 늘리려고 데몬을 더 붙이기가 어려웠습니다.
- 무거운 후보 조회 SP: 아우터 조인 4개, 이너 조인 2개가 걸린 SP라 한 번 돌 때마다 DB 자원을 많이 쓰고 자체로도 느렸습니다.
- 공유 DB의 CPU 피크: 이 MS-SQL은 과금, 입찰 검수와 같이 쓰는 DB였고, 하루 세 번 피크마다 CPU가 80~90%까지 올라갔습니다.
MS-SQL 자체가 문제였던 게 아닙니다. 돈이 오가는 일과 랭킹 계산 조회가 한 DB에 몰리는 구조가 문제였습니다.
광고 랭킹이 4시간이나 오래된 데이터를 보여준다는 것은, 광고주 입장에서는 이미 끈 광고에 과금이 계속 붙는 상황을 의미했습니다.
RDB 안에서 해 본 개선과 그 한계
Kafka와 MongoDB로 넘어가기 전에 RDB 안에서 먼저 손을 봤습니다. 키워드 해시로 입찰 테이블을 20개로 나누자 SP 응답 속도와 일부 구간이 조금 빨라졌습니다. 차이는 크지 않았습니다. 테이블을 나눠도 같은 광고 전용 DB의 자원을 쓰고 SP 조인도 그대로였으니까요. 트래픽이 늘면 얼마 못 가 같은 지연이 다시 생길 게 뻔했습니다.
DB를 더 깊이 고치기도 어려웠습니다. 과금과 입찰 검수가 실시간으로 도는 DB라 문제가 생기면 그 순간 돈이 샙니다.
그래서 랭킹 계산에 쓰는 조회를 DB 밖으로 옮겼습니다. 과금, 입찰 검수 같은 기존 작업은 그대로 두는 비즈니스 트레이드오프였습니다.
기술 스택 선택
| 계층 | 기존 | 변경 |
|---|---|---|
| 애플리케이션 | .NET 데몬 (Parallel.ForEach) | Spring Webflux, Spring MVC + 가상 스레드 |
| 랭킹 후보 조회 | MS-SQL SP (6중 조인) | MongoDB 입찰 문서 |
| 메시지 큐 | RDB 테이블 큐 | Kafka |
| 모니터링 | 없음 | Datadog |
MongoDB는 목적이 아니라 수단이었습니다. 핵심은 "노출해도 되는가"를 조회할 때마다 조인으로 계산하던 일을, 광고가 바뀌는 시점에 한 번 계산해 문서에 담아 두는 것이었습니다. 그렇게 미리 계산된 결과를 담기에 문서 모델이 잘 맞았습니다.
순위와 과금 알고리즘은 일부러 그대로 뒀습니다. 순위나 과금가가 한 건만 달라져도 광고주 과금이 틀어지기 때문입니다.
구현: 3가지 핵심 변경
1. DB 테이블 큐를 Kafka로 교체
번호 컬럼으로 일을 나누던 RDB 테이블 큐를 Kafka로 바꿨습니다. 고정된 번호 배분에 묶이지 않고, 파티션과 컨슈머 단위로 처리량을 늘릴 수 있는 구조가 됐습니다.
[변경 API]
↓
[Kafka 토픽에 이벤트 발행]
↓ (비동기)
[Ranking Consumer] → Kafka에서 메시지 소비
↓
[MongoDB 입찰 문서 조회 → 랭킹 계산 → Live 반영]
2. 노출 가능 여부를 미리 계산해 입찰 문서에 저장
랭킹 데이터를 MongoDB에 모델링할 때 가장 중요하게 고려한 것은 **역정규화(Denormalization)**였습니다.
후보 조회 SP가 조인 6개로 하던 판정(그룹 상태, 예산 한도, 상품 노출 가능 여부, 광고 상태 등)을 광고가 바뀌는 시점에 한 번 계산해 입찰 문서에 플래그로 담았습니다. 요일, 시간 스케줄도 그룹당 여러 행이던 것을 일주일 168시간을 비트 하나씩으로 표시하는 168비트 필드로 줄여 문서에 넣었습니다.
// 설명용: 기존에는 후보 조회 SP가 테이블 6개를 조인해 매번 판정
// MongoDB 입찰 문서 (판정 결과를 미리 담아 둠)
{
"_id": "bid_001",
"keyword": "...",
"groupActive": true, // 그룹 상태 판정
"withinLimit": true, // 예산 한도 판정
"goodsAvailable": true, // 상품 노출 가능 판정
"adActive": true, // 광고 상태 판정
"schedule": "...", // 요일, 시간 168비트
"rankScore": 98.5
}
이제 랭킹 후보 조회는 컬렉션 하나에 등호 조건을 걸고 점수로 정렬하는 것으로 끝납니다. 조회가 공유 MS-SQL을 거치지 않으니, 피크 때 과금 작업과 DB 자원을 다툴 일도 없어졌습니다.
복합 인덱스 설계도 핵심이었습니다. 이 조회 패턴에 맞춰 인덱스를 구성했습니다.
// 설명용: 판정 플래그 등호 조건 + 점수 정렬
db.bids.createIndex(
{ keyword: 1, groupActive: 1, withinLimit: 1, goodsAvailable: 1, adActive: 1, rankScore: -1 }
)
explain() 메서드로 실행 계획을 확인하고 IXSCAN(인덱스 스캔)이 되도록 반복 개선했습니다.
3. 컨슈머 구현과 무중단 전환
컨슈머는 성격에 따라 나눴습니다. Kafka 이벤트를 받아 랭킹을 계산하는 async-consumer는 Spring Webflux로, RDB를 읽어 Mongo에 반영하는 sync-consumer는 Spring MVC에 가상 스레드를 붙여 만들었습니다. CPU를 오래 쓰는 계산은 이벤트 루프를 막지 않도록 별도 앱으로 분리했습니다.
// 설명용: 미리 계산된 플래그로 후보를 조회하고 점수 순으로 정렬
public Flux<Bid> findCandidates(String keyword) {
return bidRepository.findEligibleByKeyword(keyword) // 조인 없이 문서 하나로 판정 완료
.sort(Comparator.comparingDouble(Bid::getRankScore).reversed());
}
전환은 레거시를 끄지 않고 진행했습니다. 변경 API가 레거시 큐와 새 경로를 병행 호출하게 했고, 문제가 생기면 바로 레거시로 돌아갈 수 있게 했습니다.
Datadog으로 병목 추적
개발 과정에서 가장 유용했던 것 중 하나는 Datadog 모니터링을 처음부터 붙인 것이었습니다. APM 트레이스로 요청 흐름을 추적하면서 숨어 있는 병목을 계속 찾아냈습니다.
예를 들어, 처음에는 MongoDB 인덱스를 잘 만들었다고 생각했는데, 특정 조건에서 인덱스를 타지 않는 쿼리를 Datadog APM에서 발견하고 인덱스를 재설계한 적도 있었습니다.
결과
| 지표 | 기존 | 개선 후 |
|---|---|---|
| 랭킹 반영 지연 | 최대 4시간 | 3분 이내 (98% 단축) |
| 반영 파이프라인 처리량 | 초당 2~3천 건 | 초당 8~9천 건 |
| 랭킹 조회(서빙) 최대 처리량 | - | 최대 30,000 TPS |
| 랭킹 후보 조회 위치 | 공유 MS-SQL (피크 CPU 80~90%) | MongoDB 입찰 문서 (운영 DB에서 분리) |
반영 지연이 곧 과금 문제였던 만큼, 목표를 평균 속도가 아니라 "반영이 얼마나 늦어질 수 있는가의 상한"으로 잡았고, 그 상한을 3분 이내로 묶었습니다.
마치며: 반영 지연을 줄이며 배운 것
이번 일에서 가장 크게 배운 것은 "기술을 바꾸기 전에 원인부터 정확히 짚어야 한다"는 점입니다. 처음엔 스레드나 동기 처리를 의심하기 쉬웠지만, 레거시는 이미 병렬로 돌고 있었습니다. 진짜 원인은 DB를 큐로 쓰는 구조와 무거운 SP, 그리고 그 둘이 과금 DB에 함께 몰린다는 점이었습니다.
그리고 가장 위험한 곳을 고치는 것만이 답은 아니었습니다. 돈이 오가는 DB는 그대로 두고 랭킹이 쓰는 조회만 밖으로 빼는 쪽이 손실 위험이 가장 작았습니다. 알고리즘을 유지하고 병행 호출로 전환한 것도 같은 이유입니다.
다음 글에서는 이 과정에서 함께 겪었던 Redis & Kafka 관련 이슈들을 다룰 예정입니다.