Redis 한 건씩 적재를 파이프라이닝으로, Kafka sticky 파티셔너 편중 — 랭킹 시스템 개선 중 만난 두 가지 이슈
랭킹 시스템 개선 중 Kafka 메시지가 특정 파티션에만 몰리는 현상과, Redis 100만 건 적재에 4분이 걸리던 문제(부하 테스트 기준)를 각각 Datadog 지표와 구간별 측정으로 찾아 대응한 과정을 기록합니다.
참고: 이 글의 코드는 실제 업무에서 경험한 내용을 바탕으로 개념적으로 재작성한 것입니다. 실제 회사 코드와는 무관합니다.
개요: 두 가지 이슈의 해결 흐름
들어가며
레거시 광고 랭킹 시스템을 Spring Webflux로 재설계하는 과정에서, 예상치 못한 두 가지 이슈를 마주쳤습니다. 하나는 Kafka 메시지가 특정 파티션에만 집중되는 현상이었고, 다른 하나는 Redis 대량 처리 속도가 기대치의 4분의 1밖에 나오지 않는 문제였습니다.
두 이슈 모두 표면적으로는 "성능 저하"처럼 보였지만, 원인을 파고들면 라이브러리 내부 동작과 사용 방식의 문제였습니다.
이슈 1: Kafka 메시지가 특정 파티션에만 몰린다
현상 발견
랭킹 갱신 트리거를 Kafka로 처리하도록 전환한 이후, 모니터링을 통해 이상한 패턴을 발견했습니다.
# 설명용 그림 (측정값 아님)
Partition 0: ████████████████████
Partition 1: ██
Partition 2: ████████████████████
Partition 3: ▏
일부 파티션에만 메시지가 집중되고, 나머지 파티션은 거의 비어 있었습니다. 파티션이 불균형하게 사용되면 특정 컨슈머에만 부하가 집중되고, 처리 지연이 발생합니다.
원인 분석: 키 없는 메시지와 StickyPartitioner 동작
편중이 파티션 단위로 나타났기 때문에 브로커나 컨슈머보다 메시지를 파티션에 배정하는 Producer 쪽으로 범위를 좁혔습니다. 저희 메시지는 키 없이(null) 발행되고 있었습니다.
Kafka 클라이언트 코드를 파고들면서 키가 null일 때의 파티션 선택 방식을 확인했습니다.
Kafka 2.4 이후 키 없는 메시지의 파티션 선택
키가 있으면 기본 파티셔너는 키 해시로 파티션을 고릅니다. 키가 null이면 Kafka 2.4(KIP-480)부터는 레코드마다 파티션을 돌아가며 고르는 대신, 배치가 채워질 때까지 같은 파티션에 계속 메시지를 보내는 sticky 방식으로 바뀌었습니다. 배치 효율을 높이려는 동작이지만, 배치가 차는 속도가 파티션마다 다르면 분배가 고르지 않을 수 있습니다.
이 sticky 동작은 Kafka Client 3.3(KIP-794)에서 바뀌었습니다. 파티션 전환 기준이 배치 단위에서 일정 바이트(batch.size) 단위로 바뀌고, 기존 DefaultPartitioner는 deprecated 됐습니다.
저희 환경은 키 없이 발행하고 있었고 linger.ms도 낮게 설정되어 있었습니다. 그래서 키 없는 메시지 + sticky 파티셔너 동작을 편중 원인으로 판단했습니다. 측정으로 확정한 원인이 아니라 정황에 따른 판단입니다.
참고로 RoundRobinPartitioner에는 partition() 메서드가 두 번씩 호출되어 짝/홀수 파티션에만 분배되는 별개의 알려진 이슈가 있습니다.
해결
대응은 비교적 간단했습니다. sticky 동작이 바뀐 버전의 클라이언트를 쓰도록 spring-kafka를 3.3.0으로 고정했습니다.
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>3.3.0</version>
</dependency>
spring-kafka 3.3.0의 기본 kafka-clients 의존성은 KIP-794가 반영된 3.3 이후 버전입니다.
버전 고정 후 파티션별 분배가 고르게 바뀌었는지 모니터링 지표로 확인했습니다.
이슈 2: Redis 100만 건 처리에 왜 4분이나 걸리나?
현상 발견
랭킹 갱신 배치에서 약 100만 건의 랭킹 데이터를 Redis에 업데이트하는 작업이 있었습니다. 예상 처리 시간은 1분 이내였는데, 부하 테스트로 측정해보니 240초(4분) 가 걸렸습니다.
100만 건을 단계별로 나눠 재 보니 Kafka에서 받아 오는 구간보다 Redis Sorted Set에 적재하는 구간이 훨씬 오래 걸렸습니다. 그래서 Redis 서버를 늘리기 전에 앱이 Redis를 부르는 방식부터 봤습니다.
원인 분석: 한 건씩 동기 호출
적재 코드를 보니 RedisTemplate의 opsForZSet().add()로 한 건씩 호출하고 있었습니다.
// 이 코드가 100만 번 실행되면?
redisTemplate.opsForZSet().add(key, member, score);
Spring Data Redis의 Lettuce 연결은 기본적으로 네이티브 커넥션을 공유하므로, 명령마다 TCP 연결을 새로 맺는 구조는 아닙니다. 문제는 명령을 하나씩 보내고 응답을 기다린다는 점이었습니다. 즉:
add(key, member, score)호출- Redis 명령 전송
- 응답이 올 때까지 대기 (왕복 1회, RTT)
- 다음 명령으로
이 과정이 100만 번 반복되면 Redis가 실제로 일하는 시간보다 명령마다 누적되는 왕복(RTT) 대기가 더 커집니다.
해결: 묶어 보내기 (Lettuce 비동기 API 파이프라이닝)
문제는 RedisTemplate 자체가 아니라 호출 방식이었습니다. RedisTemplate에도 executePipelined가 있어 묶어 보낼 수 있지만, 결과를 한 리스트로 모두 모아 돌려주기 때문에 대량이면 메모리를 많이 씁니다. 그래서 묶음 크기를 직접 조절할 수 있는 Lettuce 비동기 API를 썼습니다.
// 기존: 한 건씩 동기 호출
redisTemplate.opsForZSet().add(key, member, score); // 명령마다 응답 대기 (왕복 1회)
// 변경: 전용 커넥션에서 묶음 단위로 전송
@Autowired
private RedisConnectionFactory connectionFactory;
public void batchZadd(String key, List<ScoredValue<String>> entries, int chunk) {
RedisClient client = (RedisClient) ((LettuceConnectionFactory) connectionFactory).getNativeClient();
try (StatefulRedisConnection<String, String> connection = client.connect()) { // 전용 커넥션
RedisAsyncCommands<String, String> commands = connection.async();
commands.setAutoFlushCommands(false); // 버퍼에 모았다가 flush 때 한 번에 쓰기
for (int i = 0; i < entries.size(); i += chunk) {
List<RedisFuture<?>> futures = new ArrayList<>();
for (ScoredValue<String> e : entries.subList(i, Math.min(i + chunk, entries.size()))) {
futures.add(commands.zadd(key, e.getScore(), e.getValue()));
}
commands.flushCommands(); // 묶음 한 번에 전송
LettuceFutures.awaitAll(30, TimeUnit.SECONDS, futures.toArray(new RedisFuture[0]));
}
}
}
핵심은 응답을 기다리지 않고 다음 명령을 보내는 것입니다. Lettuce 비동기 API는 명령을 보내면 결과 대신 Future를 바로 돌려줘서 이미 이렇게 동작합니다. 여기에 setAutoFlushCommands(false)를 쓰면 명령을 버퍼에 모았다가 flushCommands()에서 한 번에 써서 소켓 쓰기 횟수까지 줄어듭니다. 왕복 대기는 100만 번에서 묶음 수만큼으로 줄어듭니다.
성능 비교
| 방식 | 100만 건 처리 시간 (부하 테스트 기준) |
|---|---|
한 건씩 동기 호출 (opsForZSet().add) |
240초 |
| 묶음 단위 파이프라이닝 (Lettuce 비동기 API) | 60초 |
4배 빨라졌습니다. 같은 데이터, 같은 Redis 서버에서 코드 변경만으로 얻은 부하 테스트 결과입니다.
이후 Redis는 랭킹 서빙 경로에서 빠졌습니다.
교훈
두 이슈에서 공통적으로 배운 점이 있습니다.
1. 추상화 레이어의 비용을 인식하라
대량 처리에서는 도구를 바꾸기 전에 "명령마다 응답을 기다리고 있는가"부터 봅니다. 묶어 보내기만 해도 대기 횟수가 묶음 수만큼으로 줄어듭니다.
2. 라이브러리 버전과 동작 변경을 추적하라
Kafka의 sticky 파티셔너 동작은 버전(KIP-480, KIP-794)에 따라 달라졌습니다. 의존 라이브러리의 changelog와 동작 변경 내역을 주기적으로 확인하는 것이 중요합니다.
3. 모니터링이 있어야 문제를 찾을 수 있다
특히 Redis 이슈는 100만 건을 단계별로 나눠 재지 않았다면 Redis 서버를 먼저 늘렸을 것입니다. 구간별로 재는 습관이 원인을 빨리 좁혀 줍니다.