키 없는 Kafka 메시지와 StickyPartitioner 동작으로 인한 파티션 편중 대응
키 없이(null) 발행하던 Kafka 메시지가 sticky 파티셔너 동작과 겹쳐 특정 파티션에 몰리는 현상이 있었습니다. 원인을 좁혀 간 과정과 대응을 정리합니다.
문제 상황
Gmarket AdTech팀에서 CPC 광고 랭킹 시스템을 개선하던 중, Kafka로 발행하는 랭킹 갱신 메시지가 특정 파티션에만 몰리는 현상이 발견됐습니다.
예상 동작은 파티션에 균등하게 메시지가 분배되어야 하지만, 실제로는 일부 파티션에 메시지가 집중되고 나머지 파티션은 거의 비어 있는 상태였습니다.
# 설명용 그림 (측정값 아님)
Partition 0: ████████████
Partition 1: ██
Partition 2: ████████████
Partition 3: ▏
원인 분석
키 없는 메시지와 sticky 파티셔너
편중이 파티션 단위로 나타났기 때문에 브로커나 컨슈머보다 메시지를 파티션에 배정하는 Producer 쪽으로 범위를 좁혔습니다. 저희 메시지는 키 없이(null) 발행되고 있었습니다.
키가 있으면 기본 파티셔너는 키 해시로 파티션을 고릅니다. 키가 null이면 Kafka Client 2.4(KIP-480)부터는 레코드마다 파티션을 돌아가며 고르는 대신, 배치가 찰 때까지 한 파티션에 붙어서(sticky) 보내고 배치가 끝나면 다음 파티션으로 옮겨 갑니다. 배치 효율을 높이려는 동작이지만, 배치가 차는 속도가 파티션마다 다르면 분배가 고르지 않을 수 있습니다.
이 sticky 동작은 Kafka Client 3.3(KIP-794)에서 바뀌었습니다. 파티션 전환 기준이 배치 단위에서 일정 바이트(batch.size) 단위로 바뀌고 sticky 로직이 Producer 내부로 들어가면서 기존 DefaultPartitioner는 deprecated 됐습니다.
그래서 키 없는 메시지 + sticky 파티셔너 동작을 편중 원인으로 판단했습니다. 측정으로 확정한 원인이 아니라 정황에 따른 판단입니다.
참고로 RoundRobinPartitioner에는 partition()이 두 번 호출되어 짝/홀수 파티션에만 분배되는 별개의 알려진 이슈가 있습니다. 파티셔너를 직접 지정하는 환경이라면 함께 확인할 만합니다.
설정 환경 확인
# application.yml
spring:
kafka:
producer:
linger-ms: 0 # 낮은 linger.ms 설정 → 배치가 빨리 닫히는 조건
저희 환경은 낮은 linger.ms로 설정되어 있었고, 키 없는 메시지와 함께 편중을 키우는 조건이었다고 봤습니다.
해결 방법
의존성 버전 고정
sticky 동작이 바뀐 버전의 클라이언트를 쓰도록 spring-kafka를 3.3.0으로 고정했습니다.
<!-- pom.xml -->
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>3.3.0</version>
</dependency>
spring-kafka 3.3.0의 기본 kafka-clients 의존성은 KIP-794가 반영된 3.3 이후 버전입니다.
검증
버전 고정 후 파티션별 분배가 고르게 바뀌었는지 모니터링 지표로 확인했습니다.
결과
- Kafka 메시지 분배 불균형 완화
- 파티션 편중으로 인한 특정 컨슈머 과부하 문제 해결
- 랭킹 데이터 업데이트의 균일하고 예측 가능한 처리 성능 확보
교훈
라이브러리 버전을 업그레이드할 때는 반드시 **릴리스 노트와 동작 변경 내역(KIP)**을 확인하는 것이 중요합니다. 이번 케이스처럼 기본 동작이 원인일 때는 찾기 어려울 수 있기 때문입니다.
다시 한다면 메시지에 엔티티 키를 넣어, 분배를 파티셔너 구현에 맡기지 않는 쪽도 고려하겠습니다.
또한 메시지 분배 상태를 Datadog 대시보드로 실시간 모니터링하고 있었기에 조기에 문제를 발견할 수 있었습니다. 적절한 모니터링 체계의 중요성을 다시 한번 느꼈습니다.