포트폴리오
주도적으로 경험했던 기술적 문제들과 이를 해결하기 위해 어떤 고민과 접근 방식을 사용했으며, 어떤 결과를 얻었는지에 초점을 맞춰 작성했습니다.
Agentic Engineering
AI와 자동화를 활용하여 소프트웨어 품질을 높이고 개발 및 QA 워크플로우를 최적화한 사례입니다.
-
프로젝트 개요 디자인 시스템이 부재한 AIDC 통합 광고센터 환경에서, 프론트엔드 비경험 팀원도
Next.js,React개발에 참여할 수 있도록 AI Agent 워크플로우와 Playwright E2E QA 파이프라인을 구축한 프로젝트 -
핵심 성과
- 공식 디자인 시스템이 부재한 환경에서 기획, 디자인 산출물을 연결해 AI로 개발하는 작업 방식 정리
- Jira 요구사항과 Playwright E2E 테스트, 화면 녹화 비디오를 연계해 이슈 단위 1차 QA 자동화
- 프론트엔드 비경험 백엔드 개발자도 UI 개발과 검증에 직접 참여할 수 있는 협업 파이프라인 구축
-
문제 상황
- 공식 디자인 시스템(Design System)이나 컴포넌트 라이브러리가 없어, AI Agent가 화면을 구현할 때 구조, 스타일, 인터랙션 기준이 흔들리는 문제 발생
- UX 디자이너의 Figma, 퍼블리셔의 마크업, 기획서의 비즈니스 정책이 서로 분산되어 AI가 전체 요구사항 맥락을 한 번에 파악하기 어려운 환경
- 프론트엔드 개발 경험이 부족한 팀원이 AI 생성 코드를 수령하더라도 실제 기획 의도와 일치하는지 신속하게 검증하기 어려운 한계
-
핵심 설계 판단
- 기획, 디자인 산출물 연계를 통한 UI 임의 생성 방지
- 모호한 자연어 프롬프트만으로는 공식 가이드가 없어 스타일과 컴포넌트 구조가 임의로 왜곡되는 한계
- 퍼블리셔 마크업(HTML/CSS), 화면 시안, Jira 명세, 기존 코드 패턴을 프롬프트 근거로 정제 주입하여 프로젝트 규격에 부합하는 코드 생성 유도
- Jira Evidence 기반 Playwright E2E 1차 자동 검증 체계 구축
- 프론트엔드 비전문가가 AI 생성 코드를 육안으로만 디버깅하기 어려운 비효율
- 기능 명세와 1:1 대응되는 Playwright E2E 테스트를 자동 실행하고 스크린샷과 비디오를 기록하여 비전문가도 즉시 합격 여부를 판정하도록 설계
- 기획, 디자인 산출물 연계를 통한 UI 임의 생성 방지
-
기술적 접근 및 구현
- 퍼블리셔 산출물 기반 Next.js 컴포넌트 포팅 체계 구성
- 디자이너와 퍼블리셔가 완성한 HTML/CSS 마크업을 비공식 디자인 토큰으로 활용하여 리액트 컴포넌트로 규격화
- 통합 컨텍스트 엔지니어링
Jira: 기능 요구사항 및 수용 기준 (Acceptance Criteria)Wiki: 비즈니스 운영 규칙 및 도메인 제약사항Codebase: 기존 프로젝트의 상태 관리 및 API 통신 컨벤션Mockup: 시각적 렌더링 검증을 위한 레퍼런스 이미지
- Playwright E2E 자동화 및 2단계 검증 파이프라인
- Jira 티켓 분석 → AI 태스크 분해 → 컴포넌트 구현 → Playwright E2E 테스트 및 비디오 녹화 → 대시보드 1차 자동 검증 → PR 리뷰에서 사람이 한 번 더 보는 검증 흐름 구성
- 퍼블리셔 산출물 기반 Next.js 컴포넌트 포팅 체계 구성
-
프로젝트 개요 제휴마케팅 도메인의 유입→주문→정산 전 흐름에 걸쳐, 이기종 저장소 5종의 데이터 추적과 이상 유입 진단을 자연어로 수행하는
MCP서버를 설계 및 구축한 프로젝트 -
핵심 성과
- 장애 및 이상 징후 원인 파악 단축과 신속한 대응 체계 구축 여러 DB 클라이언트를 오가며 수기 SQL로 대조하던 과정을 도구 기반으로 일원화해, 장애 발생 시 원인을 빠르게 식별하고 즉각적인 조치가 가능하도록 개선
- 핵심 비즈니스 플로우 카탈로그 구축 분산된 서비스의 엔트리포인트를 전수 분석하고, 미분류 진입점에서 누락 후보를 다시 찾는 검증을 반복
- PCS 비정상 유입 역추산 절차 도구화 담당자 개인 경험에 의존하던 혼종, 위조 토큰, 봇 판정 절차를 도구로 만들어 팀 누구나 같은 순서로 재현
-
문제 상황
- 클릭 유입부터 주문, 정산까지 이어지는 데이터 귀속 체인이
Oracle,MongoDB,MSSQL,Redis,Databricks5개 이기종 저장소에 분산 - 운영 CS 및 장애 발생 시 여러 DB 클라이언트에서 각기 다른 SQL을 실행하고 결과를 사람이 수동 대조하느라 원인 규명에 수십 분 소요
- 비즈니스 이벤트와 물리적 저장 위치를 매핑한 구조적 문서가 없어 신규 담당자 도메인 온보딩이 구두 인수인계에만 의존하는 병목 상존
- 클릭 유입부터 주문, 정산까지 이어지는 데이터 귀속 체인이
-
핵심 설계 판단
- 정적 어드민 대신 문맥 기반 조회가 가능한 MCP(Model Context Protocol) 선택
- 고정된 화면만 제공하는 별도 어드민은 다변화하는 트러블슈팅 케이스에 기민하게 대응하기 어려운 한계
- 문제 상황에 맞춰 필요한 전용 도구를 유연하게 조합해 조회할 수 있는
MCP서버를 구축해 문의 하나를 추적하는 시간을 줄임
- 운영 서비스 접속 설정 및 인증 체계 재활용을 통한 실시간 직접 검증
- 별도의 복제 DB나 데이터 동기화 파이프라인 구축은 추가 인프라 비용과 데이터 지연을 수반
- 기존 운영 서비스의 인증 체계를 그대로 활용하여 운영 데이터를 바로 조회하도록 설계
- 경험에 의존하던 이상 유입 판정 절차의 도구화 및 표준화
- 담당자 개인 경험에 의존하던 위조 토큰, 파트너사 혼종, 봇 유입 등 비정상 패턴 판정이 재현되지 않고 인수인계가 어려운 한계
- 소유 정합성, 제휴사 일치 여부, 토큰 역산 등 판정 절차를 단계별 전용 도구로 나눠 팀 누구나 같은 순서로 디버깅
- 정적 어드민 대신 문맥 기반 조회가 가능한 MCP(Model Context Protocol) 선택
-
기술적 접근 및 구현
- 비즈니스 플로우 카탈로그 구축
- HTTP 라우트, Batch, Kafka 토픽, 스케줄러 등 1,000여 개 엔트리포인트를 분석해 핵심 업무 흐름과 연관 테이블 구조화
- 운영 데이터 추적 도구 구현
- 유입, 주문, 정산 데이터를 동일 주문/클릭 식별자로 연결해 단계별 상태와 누락 구간 즉시 확인
- Databricks 교차검증 계층 연동
- 로컬 환경에서 직접 조회가 까다로운 대용량 IM 유입, 옥션 주문, 정산 미러 데이터를 silver 레이어에서 동일 키로 고속 대조
- 비정상 유입 판정 흐름 자동화
- 제휴사 조합 검증, 토큰 역추산, 사용자 에이전트 대조 절차를 같은 순서로 고정해 팀 누구나 같은 방식으로 트러블슈팅
- 비즈니스 플로우 카탈로그 구축
프로젝트 사례
-
프로젝트 개요 광고 변경이 검색 랭킹에 반영되기까지 최대 4시간 걸리던 문제를, DB 테이블 큐를
Kafka로 바꾸고 랭킹 후보 조회 SP가 조인하던 주요 테이블을MongoDB로 옮겨 해결한 프로젝트, 순위와 과금 로직은 바꾸지 않음 (2인 주도 수행) -
핵심 성과
- 반영 지연 최대 4시간 → 3분 이내, 98% 단축
- 랭킹 조회(서빙) 피크 최대 TPS 30,000 처리
- 광고 변경을 랭킹에 반영하는 파이프라인 처리량 초당 2~3천 → 8~9천
- 순위, 과금 알고리즘은 그대로 두고 레거시 병행 호출로 무중단 전환
-
문제 상황
- 입찰, 그룹의 온오프나 입찰가 변경이 서빙 랭킹에 반영되기까지 최대 4시간 소요
- 꺼진 광고가 계속 노출되면 클릭 과금이 이어지는 돈 문제였고, 반영 지연으로 생긴 과차감 환불이 개선의 계기
- 레거시는 사이트별 데몬 5개가
Parallel.ForEach로 이미 병렬 처리 중이었으므로 스레드가 아니라 큐와 조회가 병목 - 원인 1, DB 테이블 큐: RDB 테이블을 큐로 쓰고 데몬마다 번호 컬럼으로 일을 나눠 가져, 데몬을 늘리려면 번호를 다시 나눠야 하는 경직된 구조
- 원인 2, 무거운 후보 조회 SP: 노출 조건을 모두 검사해 입찰 후보를 돌려주는 SP(아우터 조인 4개, 이너 조인 2개)가 피크마다 광고 전용 DB(MS-SQL)에서 블로킹 유발
-
핵심 설계 판단
- 시도: RDB 안에서 입찰 테이블 20개 분할
- 키워드 해시로 입찰 테이블을 20개로 나누자 SP 응답 속도와 일부 구간은 조금 빨라졌지만 차이는 작음
- 같은 광고 전용 DB 자원을 쓰고 SP 조인도 그대로라 트래픽이 늘면 같은 지연이 다시 생기는 구조
- 결정: 랭킹 조회를 DB 밖으로 분리
- 과금과 입찰 검수가 같이 쓰는 DB라 하루 세 번 피크마다 CPU가 80~90%(운영 모니터링 기준)까지 올랐고 문제가 생기면 그 순간 돈이 샘
- DB를 더 고치기보다 랭킹 계산의 조회를 DB 밖으로 빼는 쪽이 손실 위험이 가장 작음
- 실시간 복제본이 없고 복제 DB는 전날 기준이라, 조회를 복제본으로 돌리는 방법도 쓸 수 없었음
- 개선 1: DB 테이블 큐 → Kafka
- 컨슈머를 늘리면 일이 자동으로 나눠져, 번호 재배분 없이 처리량을 수평 확장할 수 있는 구조로 전환
- 개선 2: 후보 조회에 필요한 테이블을 통째로 MongoDB로
- 1~50위 후보 조회는 입찰, 그룹 등 여러 테이블을 조인해 노출 조건을 모두 검사한 결과라, 일부 테이블만 옮기면 조건 검사 때 결국 MS-SQL을 다시 읽어야 함
- 그래서 SP가 조인하던 주요 테이블을 모두 옮기고 랭킹 계산은
MongoDB만 읽게 함
- 개선 3: 노출 조건은 조회할 때 계산하지 않고 바뀔 때 필드로 갱신
- 조회할 때마다 조인으로 조건을 검사하는 대신, 광고가 바뀌면 판정에 쓰는 필드만 실시간으로 부분 갱신
- 후보 조회를 단일 컬렉션의 등호 조건과 점수 정렬만으로 처리
MongoDB는 해결책이 아니라 수단이며, 입찰 1건을 문서 1개로 두고 판정 결과를 함께 담는 모양에 문서 저장소가 맞아 선택
- 개선 4: 서빙은 서빙 전용 Live 컬렉션에서만
- 재계산이 계속 고치는 입찰, 그룹 문서를 검색 서빙까지 읽으면 같은 데이터에 쓰기와 읽기가 몰려 경합이 생기므로, 완성된 랭킹 결과만 Live 컬렉션에 따로 두고 서빙은 그것만 읽게 함
- 레거시 RDB도 서빙용 결과 테이블을 따로 두던 구조라 같은 원칙을 이어 감
- 검색 노출 조회는 Live 컬렉션만 읽음
- 유지: 순위, 과금 알고리즘
- 알고리즘을 바꾸면 검증에 드는 시간이 커지고 결과가 조금만 달라져도 과금 문제가 되므로, 목표를 계산 방식이 아닌 계산이 기다리는 시간으로 한정
- 레거시 큐를 병행 호출해 무중단 전환하고, 문제가 생기면 바로 돌아갈 롤백 경로 확보
- 시도: RDB 안에서 입찰 테이블 20개 분할
-
기술적 접근 및 구현
- 역할에 맞춘 컨슈머 분리
- Mongo, Kafka I/O 대기가 대부분인 랭킹 async-consumer는
Spring WebFlux, RDB 저장 프로시저 호출 위주인 sync-consumer는Spring MVC와 가상 스레드로 구현 - 부하 테스트에서 async-consumer가 CPU에 막히는 것을 확인하고, CPU를 오래 쓰는 작업은 별도 앱으로 분리
- Mongo, Kafka I/O 대기가 대부분인 랭킹 async-consumer는
- MongoDB 문서 모델링
- 노출 판정 플래그와 점수를 문서에 미리 담아 랭킹 후보 조회를 단일 컬렉션의 등호 조건과 점수 정렬로 단순화하고, 이에 맞춘 복합 인덱스 설계
- 그룹마다 여러 행으로 저장하던 요일, 시간 스케줄을 168비트 필드 하나로 압축
- 서빙 경로 정리
- 초기에 서빙 앞단에 두었던 Redis 캐시는 이후 걷어냈고, 지금은 서빙이 MongoDB Live 컬렉션을 직접 조회
- Datadog 실시간 관측성 도입
- 주요 API 응답 시간, TPS, JVM 리소스, MongoDB 커넥션 풀 지표를 대시보드화하여 병목을 미리 보는 대시보드 구성
- 키워드 단위 재계산
- 입찰, 그룹의 온오프나 입찰가가 바뀌면 그 키워드의 1~50위를 통째로 다시 계산
- 키워드 단위 중복 제거를 Redis Sorted Set으로 시도했지만 적재 부담이 더 커서 버리고, MongoDB 조회가 충분히 빨라 중복 제거 없이 처리
- 레거시와 결과 비교 검증
- 키워드 약 1만 5천 개를 주기적으로 돌며 RDB 랭킹이 쓰는 입찰 60개와 같은 조건의 MongoDB 입찰 60개를 비교하고, 다르면 재동기화 요청
- 정상 구간 일치율 99.88~99.94%, 일부 시간대에는 급락 구간도 있었음 (Case #3)
- 역할에 맞춘 컨슈머 분리
-
한계와 운영 이슈
- 전환 직후 광고 삭제 등 일부 변경 유형에서 키워드 갱신 요청이 빠진 누락을 발견해 수정
- 판정 필드는 동기화로 따라오는 값이라 동기화가 늦으면 옛 값으로 계산될 수 있어, 일치율 검증과 재동기화로 보완
-
프로젝트 개요
Hue,Hadoop,MongoDB에 분산되어 있던 검색광고Bill/Pay정산 데이터와 랭킹 스냅샷 파이프라인을Databricks기반 환경으로 전면 이관한 프로젝트 -
핵심 성과
- 온프레미스
Hadoop리소스 부족으로 반복 발생하던 일일 배치 실패 문제를 해소 - 배치 오류 시 담당자가 새벽 시간대에 수동으로 재실행하던 야간 운영 부담 제거
- 원천 데이터와 단계별 집계 데이터를 자동 대조하는 검증을 파이프라인에 넣어 정산 데이터 정합성 개선
- 온프레미스
-
문제 상황
- 사내 레거시
Hue,Hadoop인프라의 리소스 부족 및 노후화로 정산용 배치가 주기적으로 실패 - 배치 실패 시 새벽 시간대 담당자가 직접 접속해 수동 재실행을 수행해야 하는 운영 부담 가중
- 광고 과차감 정산 데이터(
Hadoop)와 랭킹 갱신 스냅샷 데이터(MongoDB)의 처리 환경이 분산되어 데이터 흐름 파악 및 장애 추적 난항 - 광고주 과금 및 정산과 직결된 데이터 특성상, 이관 과정에서 금액 오차나 데이터 누락이 없어야 하는 엄격한 정합성 요구
- 사내 레거시
-
핵심 설계 판단
- 쿼리를 그대로 옮기지 않고 3단계(원천 → 중간 집계 → 최종 결과) 파이프라인으로 재설계
- 기존
Hadoop배치는 단일 거대 쿼리로 실행되어 실패 시 오차 발생 구간 추적 불가 - 원천 적재, 중간 집계, 최종 정산 테이블로 단계를 명확히 분리하고, 단계별 체크포인트를 두어 실패한 단계만 다시 돌리고 원인을 빨리 찾을 수 있게 구성
- 기존
- 분산 환경의 0원 단위 과차감 불일치 방지를 위한 교차검증 체계 구축
MS-SQL원천 데이터와Databricks레이어 간 일자별, 셀러별, 광고 키별 합산 금액과 레코드 카운트를 교차검증하는 자동 검증 로직을 결합하여 정산 데이터 정합성 확보
- 쿼리를 그대로 옮기지 않고 3단계(원천 → 중간 집계 → 최종 결과) 파이프라인으로 재설계
-
기술적 접근 및 구현
- 기존 데이터 흐름 및 의존성 전수 분석
Hadoop기반Bill/Pay데이터의 생성, 집계 순서와MS-SQL원천 정산 데이터,MongoDB랭킹 스냅샷의 연관 관계를 분석해 전체 처리 순서 정리
- Databricks 기반 통합 파이프라인 구축
- 원천 데이터 적재 → 중간 정제/집계 → 최종 정산 결과 테이블 생성으로 이어지는 정형화된 워크플로우 구성
- 분산되어 있던 랭킹 스냅샷 데이터도
Databricks처리 환경으로 통합 수렴
- 단계별 자동 데이터 검증 로직 구현
- 중간 집계 단계에서 처리 건수와 금액 합계를 상호 비교하고, 차이 발생 시 즉시 원인 구간을 역추적할 수 있도록 모니터링 체크포인트 삽입
- 기존 데이터 흐름 및 의존성 전수 분석
-
프로젝트 개요 광고 랭킹 시스템의
MS-SQL→MongoDB전환에서, 원본인MS-SQL의 변경을MongoDB로 단방향 반영하기 위해 동기 반영,Kafka실패 재처리, 이력 시퀀스 추적 잡으로 이어지는 3단계 동기화 파이프라인을 구축한 프로젝트 -
핵심 성과
- 기존 자원(
Kafka, 이력 테이블 순번)만으로 MS-SQL → MongoDB 단방향 최종 정합성(Eventual Consistency) 파이프라인 구축 - 실패 시 key만
Kafka로 보내고 컨슈머가 RDB를 다시 읽는 구조로, 메시지 순서와 중복에 영향받지 않는 재처리 경로 확보 - 운영 중 측정한 일치율은 옥션 99.94%, 지마켓 99.88% (특정 시간대에는 48.85%까지 떨어진 구간도 존재)
- 기존 자원(
-
문제 상황
- RDB(
MS-SQL)와 신규 NoSQL(MongoDB) 간 데이터 전환 및 병행 운영 과정에서 간헐적인 데이터 불일치 발생 - 광고주의 입찰가 변경, 소재 수정, 예산 소진 등 랭킹에 직접 영향을 주는 변경 사항이
MongoDB에 즉시 반영되지 않으면 오과금 및 광고 효율 저하 발생 - 신규 솔루션(
CDC) 도입 없이 운영 중인 서비스의 동기화를 바로 해결해야 하는 상황
- RDB(
-
핵심 설계 판단
- 기존 자원으로 자체 동기화 파이프라인 구축
- 이미 있던 이력 테이블의 순번이 계속 증가하는 값이라 이를 누락 검증 기준으로 활용
- 동기 반영(API) → 실패 격리 및 재처리(Kafka) → 이력 시퀀스 추적 잡 흐름의 3단계 자체 동기화 파이프라인으로 설계
- 원본은 MS-SQL에 유지
- 과금, 정산, 어드민, 레거시 랭킹이 모두 RDB를 보므로 원본은 옮기지 않고,
MongoDB는 RDB를 따라가는 단방향 반영 대상으로 설계
- 과금, 정산, 어드민, 레거시 랭킹이 모두 RDB를 보므로 원본은 옮기지 않고,
- payload 대신 key만 발행
- 메시지에는
{siteId, type, key}만 담고 컨슈머가 처리 시점에 RDB를 다시 읽어 문서를 재구성 - 늦게 오거나 중복된 메시지도 같은 최신 값으로 수렴하므로, 파티션 키나 버전 비교로 순서를 보장할 필요가 없는 구조
- 메시지에는
- 원천-히스토리 1:1 테이블 기반 누락 검증
- 동기 반영과 재처리만으로는 네트워크 순단 등으로 생기는 누락을 모두 잡기 어려운 한계
- 모든 원천 테이블과 1:1로 쌍을 이루는 히스토리 테이블(예:
bid,bid_h)의 단조 증가 시퀀스를 기준으로 1, 2단계가 놓친 변경을 찾아내도록 설계 - 정상 경로가 아직 처리 중인 건을 불일치로 오탐하지 않도록 5분이 지난 이력만 비교
- 기존 자원으로 자체 동기화 파이프라인 구축
-
기술적 접근 및 구현
- 1단계: 같은 요청 안의 동기 반영
Spring WebFluxAPI가 기존 .NET API를 호출해MS-SQLUPDATE와 이력 INSERT를 먼저 마치고, 같은 요청 안에서MongoDB반영과 노출 판정 플래그 재계산 수행
- 2단계: Kafka 기반 실패 격리 및 재처리 Consumer
MongoDB반영 실패 시 변경 값 대신{siteId, type, key}만Kafka토픽으로 발행 (메시지 키는 null 또는 errorDate)Sync Consumer가 key로 RDB를 다시 조회해 최신 상태로 문서를 재구성하고, 처리 중 예외가 나면 같은 토픽으로 재발행
- 3단계: 이력 시퀀스 폴링 잡
- migration-job이 1~10초 간격으로 히스토리 테이블(
*_h)의 시퀀스를 폴링하고, 5분이 지난 이력을MongoDB문서와 필드별로 비교 - 차이가 나면 2단계 메시지를 발행해 재처리 경로로 넘기고, 마지막 처리 시퀀스는 SyncState에 영속화
- migration-job이 1~10초 간격으로 히스토리 테이블(
- 1단계: 같은 요청 안의 동기 반영
-
프로젝트 개요 검색광고 랭킹 개선 중 발생한
Redis대량 처리 지연(100만 건 240초)과Kafka파티션 쏠림 이슈를 Client 내부 동작 추적 및 드라이버 최적화로 해결한 트러블슈팅 프로젝트 -
핵심 성과
- Redis 100만 건 처리 시간 240초 → 60초로 단축 (75% 성능 향상, 부하 테스트 기준)
- Kafka 특정 파티션으로 집중되던 메시지 분배 불균형 및 컨슈머 지연(Lag) 개선
- 서버를 늘리기 전에 앱이 Redis와 Kafka를 쓰는 방식에서 원인을 찾아 처리 시간을 줄임
-
문제 상황
- Redis 대량 적재 지연
- 랭킹 갱신 시 Redis Sorted Set 100만 건 적재에 약 240초가 소요되어 전체 파이프라인의 핵심 병목으로 작용
- Kafka 파티션 편중 및 컨슈머 처리 불균형
- Producer에서 발행한 메시지가 전체 파티션에 균등 분산되지 않고 특정 파티션으로만 집중
- 파티션별 Consumer 처리량이 한쪽으로 크게 쏠리며 특정 컨슈머 인스턴스에만 Lag이 누적되는 문제 발생
- Redis 대량 적재 지연
-
핵심 설계 판단
- 명령마다 기다리던 왕복을 묶어 보내기로 전환
- 서버 리소스 부족이 아닌,
RedisTemplate의opsForZSet().add()로 한 건씩 동기 호출하며 명령마다 왕복(RTT)이 누적되는 구조를 원인으로 판단 - 응답을 기다리지 않고 명령을 묶어 보내는 파이프라이닝으로 왕복 대기를 묶음 단위로 줄이기로 결정
- 서버 리소스 부족이 아닌,
- 브로커가 아닌 Producer Client 내부 Partitioner 동작 추적
- 브로커나 컨슈머 구성 문제가 아닌 Producer의 메시지 할당 단계로 범위를 좁혀 원인 국소화
- 키 없이(null) 발행하던 메시지와 sticky 파티셔너 동작이 겹쳐 편중된 것으로 판단(정황)하고 의존성 버전 고정으로 대응
- 명령마다 기다리던 왕복을 묶어 보내기로 전환
-
기술적 접근 및 구현
- Lettuce 비동기 API 파이프라이닝 전환
- 전용 커넥션에서
Lettuce비동기 API로 명령을 버퍼에 쌓고 묶음 단위로 전송, 응답은 순서대로 받아 Future로 확인 - 명령마다 누적되던 왕복 대기를 묶음 수만큼으로 줄여 부하 테스트 기준 100만 건 적재 240초 → 60초 확인
- 이후 Redis는 랭킹 서빙 경로에서 제외
- 전용 커넥션에서
spring-kafka3.3.0 고정 및 파티션 분배 검증- 키가 null인 메시지를 sticky 파티셔너(2.4~3.2)가 배치 단위로 한 파티션에 몰아 보낸 것으로 판단(정황)하고, 동작이 바뀐 3.3 이후 클라이언트가 들어오도록
spring-kafka3.3.0으로 고정 - 파티션 전반에 걸쳐 레코드가 고르게 분산되는지 모니터링 지표로 확인하고 컨슈머 부하가 고르게 나뉜 것을 확인
- 키가 null인 메시지를 sticky 파티셔너(2.4~3.2)가 배치 단위로 한 파티션에 몰아 보낸 것으로 판단(정황)하고, 동작이 바뀐 3.3 이후 클라이언트가 들어오도록
- Lettuce 비동기 API 파이프라이닝 전환
-
프로젝트 개요 정적 이미지 전용이던 레거시 C#/ASP.NET 광고 시스템에 기존 서빙 영향을 최소화하며 외부 VOD 솔루션을 Webhook 기반으로 연동해 동영상 광고 상품을 출시한 프로젝트
-
핵심 성과
- 기존 이미지 광고 운영 흐름의 수정 없이 동영상 광고 소재 타입 신규 확장
- 외부 VOD 인코딩 및 처리 상태를 내부 시스템과 실시간 연결하는 비동기 Webhook 동기화 구조 구축
- 광고 어드민부터 서빙 API까지 전 구간을 동영상 대응 구조로 확장하여 신규 광고 상품 런칭 지원
-
문제 상황
- 기존 광고 플랫폼이 오직 정적 이미지 배너만을 전제로 설계되어 동영상 미디어 인코딩 및 스트리밍 상태를 다룰 수 없는 한계
- 신규 동영상 광고 상품 런칭을 위해 외부 전문 VOD 솔루션의 업로드, 트랜스코딩 결과를 광고 시스템과 안정적으로 연결해야 하는 상황
- 장기간 운영된 레거시
C#/ASP.NET코드베이스 특성상 직접적인 대규모 변경은 기존 이미지 광고 서빙에 장애를 유발할 높은 위험 상존
-
핵심 설계 판단
- 레거시 코드를 거의 건드리지 않도록 어댑터 계층과 Webhook 비동기 연동 채택
- 기존 이미지 처리 엔진을 직접 수정할 경우 핵심 광고 서빙에 장애를 유발할 높은 위험 상존
- 외부 VOD 연동 전용 인터페이스로 동영상 로직을 격리하고, 인코딩 완료 이벤트를 Webhook으로 비동기 수신하여 기존 프로세스 영향 차단
- 외부 솔루션 장애와 웹훅 유실에 대비해 상태를 두 번 맞추는 보정 장치 추가
- 네트워크 순단 등으로 외부 Webhook 수신이 누락될 경우 상태 불일치가 영구화될 위험
- 광고 상세 조회나 관리자 승인 시점에 외부 VOD API를 온디맨드로 폴링(Polling)해 실제 인코딩 상태를 재동기화하는 방어 로직 설계
- 레거시 코드를 거의 건드리지 않도록 어댑터 계층과 Webhook 비동기 연동 채택
-
기술적 접근 및 구현
- 동영상 광고 데이터 모델 및 어드민 인터페이스 확장
- 스트리밍 엔드포인트, 썸네일, 재생 시간 등 동영상 메타데이터를 저장할 스키마를 확장하고 어드민 검수 화면 구현
- 보안 검증 기반 Webhook 수신 파이프라인 구축
- 외부 솔루션에서 전달하는 인코딩 완료 웹훅 요청의 위변조 여부를 검증하고, 광고 상태(인코딩 중, 검수 대기, 게재 가능)를 즉시 동기화
- 네트워크 장애 대응 및 온디맨드 상태 폴링
- 외부 API 통신 실패 시 지수 백오프 기반 재시도를 적용하고, 웹훅 누락 시에도 어드민 조회 시점에 원천 VOD 상태를 대조해 자동 복구
- 후속 광고 서빙 API 연계 및 단계적 배포
- 노출 지면에서 동영상 소재를 재생할 수 있도록 응답 스펙을 확장하고, 기존 이미지 광고 기능을 포함한 전수 통합 테스트 후 서비스 배포
- 동영상 광고 데이터 모델 및 어드민 인터페이스 확장
-
프로젝트 개요 온프레미스 단일 서버에 종속된
.NET모놀리식 미디어 유통 솔루션을 AWS 기반Node.js마이크로서비스 아키텍처(MSA)로 전면 재설계 및 신규 개발한 프로젝트 -
핵심 성과
- 온프레미스 단일 서버 인프라 한계를 탈피해 AWS 클라우드 기반 MSA 아키텍처로 전면 전환 완료
- 강결합되어 있던 레거시 미디어 유통 관리 기능을 도메인별 독립적인 Node.js 마이크로서비스로 분리 및 신규 개발
- 트랜스코딩 등 고부하 미디어 처리 구간을 비동기 이벤트 기반으로 격리하여 서비스 확장성 확보 및 장애 전파(Cascading Failure) 위험 격리
- 실패한 미디어 작업은 DLQ 역할을 하도록 지정된 별도의 실패 재처리 토픽으로 격리하여 장애 격리 및 안정적인 재처리 체계 구축
-
문제 상황
- 온프레미스 단일 하드웨어 서버에 종속된
.NET모놀리식 아키텍처로 인해 트래픽 증가 시 수평적 확장(Scale-out) 불가 - 미디어 관리, VOD 트랜스코딩, 사용자 권한, 배포 로직이 하나의 거대 프로세스에 강결합되어 있어 단일 기능 수정이나 장애가 전체 솔루션 중단으로 직결
- 새로운 미디어 처리 엔진 요구나 외부 플랫폼 연동 요구가 발생해도 모놀리식 구조의 복잡도로 인해 신속한 기능 확장이 불가능한 비즈니스 정체 직면
- 온프레미스 단일 하드웨어 서버에 종속된
-
핵심 설계 판단
- 클라우드 단순 이전 대신 Node.js MSA 전면 재설계 및 신규 개발 결정
- 레거시 .NET 코드를 클라우드 가상머신에 그대로 이전할 경우 유연성을 살리지 못하고 비용과 기술 부채가 지속되는 한계
- 장기적 확장성과 기민한 B2B 대응을 위해 도메인 경계를 전면 재정의하고
Node.js기반 마이크로서비스로 전면 신규 개발 결정
- 전체 AWS 아키텍처와 컨테이너 기반 배포 설계
- 온프레미스 단일 물리 서버 환경의 의존성을 탈피하고 확장성을 확보해야 하는 과제
- AWS ECS/Docker 기반의 독립 컨테이너 운영 환경을 구성하여 서비스별 독립 배포와 오토스케일링 구성
- 비동기 이벤트 기반 통신 계층 도입을 통한 고부하 미디어 처리 디커플링
- 장시간 소요되는 VOD 트랜스코딩과 서비스 간 상태 공유를 REST 동기 호출로 처리 시 스레드 병목과 장애 전파 위험
- 단일 작업은
AWS SQS버퍼링 큐로 격리하고, 상태 변경은AWS EventBridge이벤트 버스로 분리 발행하여 서비스끼리 직접 호출하지 않게 분리
- 작업 고유 ID 기반 멱등성 및 별도 실패 재처리 토픽 운영
- 네트워크 재시도로 인한 중복 이벤트 인입 시 동일 비디오 처리가 중복 실행될 위험
- 작업 고유 ID 기반 멱등성 검증을 적용하고, 반복 실패 작업은 본 작업 흐름을 방해하지 않도록 DLQ 역할을 수행하는 별도 지정 실패/재처리 토픽으로 격리하여 안전한 원인 파악 및 재처리 지원
- 클라우드 단순 이전 대신 Node.js MSA 전면 재설계 및 신규 개발 결정
-
기술적 접근 및 구현
- 온프레미스 .NET 레거시 분석 및 도메인 분리
- 기존 모놀리식 데이터베이스와 코드 의존성을 전수 분석하여 미디어 자산 관리, 트랜스코딩 작업 제어, 외부 송출 등 핵심 도메인 경계 분리
- Node.js 기반 마이크로서비스 백엔드 신규 구현
- 각 분리된 서비스별로 Node.js 기반의 고성능 REST API와 비즈니스 로직을 처음부터 새로 작성하고 API 규격 통일
- AWS 클라우드 인프라 및 이벤트 파이프라인 구축
- 인코딩 요청 인입 시 SQS로 작업을 큐잉하여 트래픽 스파이크 발생 시에도 안정적인 버퍼링 확보
- 처리가 완료되면 EventBridge 버스를 통해 이벤트를 브로드캐스팅하고, 후속 서비스(알림, CMS 등)가 독립적으로 구독하여 상태 갱신 수행
- 온프레미스 .NET 레거시 분석 및 도메인 분리
-
프로젝트 개요 YouTube, Facebook 라이브 동시 송출 시 매번 반복되던 6단계 수동 설정을
OAuth 2.0및 플랫폼 API 연동을 통해 원클릭 송출로 자동화한 프로젝트 -
핵심 성과
- 기존 6단계 수동 송출 설정 절차 → 최초 1회 OAuth 인증으로 단순화
- 스트림 키와 서버 주소를 직접 복사, 입력하며 발생하던 고객이 직접 입력하며 생기던 오타 제거
- YouTube, Facebook의 상이한 인증 규격과 방송 수명주기를 단일 공통 인터페이스로 표준화
-
문제 상황
- 고객이 소셜 미디어 동시 송출을 위해 플랫폼 접속 → 로그인 → 방송 생성 → 스트림 키/서버 URL 발급 → 자사 솔루션 입력 → 송출 시작이라는 복잡한 6단계를 매 방송마다 반복
- 스트림 키와 RTMP URL을 수동으로 복사해 붙여넣는 과정에서 오타나 공백 누락으로 인한 방송 송출 실패 빈발
- YouTube와 Facebook의 OAuth 인증 방식, 토큰 만료 주기, 라이브 이벤트 생성 API 규격이 완전히 달라 파편화된 코드 유지보수 난항
-
핵심 설계 판단
- 플랫폼별 이기종 규격을 단일 인터페이스로 수렴시키는 어댑터 패턴 적용
- YouTube와 Facebook의 상이한 방송 상태값과 파라미터로 인한 코드 파편화 및 유지보수 난항
- 플랫폼별 규격을 내부 표준 라이브 도메인 모델로 매핑하여, 신규 플랫폼 추가 시에도 비즈니스 로직 수정 없이 어댑터만 추가하면 되는 구조로 정리
- 사용자 개입 없는 무중단 토큰 라이프사이클 관리
- 토큰 만료로 인해 생방송 송출 직전에 인증이 풀리는 방송 장애 위험
- Access Token 만료 임계 시점에 Refresh Token을 활용한 자동 백그라운드 갱신을 구현하고 DB 레벨 토큰 암호화 저장 적용
- 플랫폼별 이기종 규격을 단일 인터페이스로 수렴시키는 어댑터 패턴 적용
-
기술적 접근 및 구현
- 소셜 플랫폼 API 클라이언트 모듈화와 공통 인터페이스 정리
- YouTube Live Streaming API와 Facebook Live Video API를 모듈화하고 방송 생성, 상태 확인, 스트림 바인딩을 동일한 인터페이스로 캡슐화
- OAuth 2.0 Authorization Code Flow 및 보안 토큰 관리
- 표준 OAuth 플로우를 통해 권한을 획득하고 민감한 토큰 정보를 AES-256으로 암호화하여 저장
- 토큰 유효성을 사전 검증하고 만료 시 자동 재발급하는 미들웨어 레이어 구축
- 소셜 방송 생성 및 송출 파이프라인 원클릭 자동화
- 버튼 클릭 한 번으로 소셜 방송 생성 → 스트림 키 획득 → Catenoid 인제스트 서버 설정이 원자적으로 완료되도록 흐름 구성
- 단계별 에러 핸들링을 적용하여 외부 플랫폼 응답 지연이나 실패 시 안전하게 작업을 중단하고 사용자에게 명확한 가이드 제공
- 소셜 플랫폼 API 클라이언트 모듈화와 공통 인터페이스 정리
-
프로젝트 개요 수 GB 대용량 미디어 파일 업로드 시의 메모리 부하와 타임아웃 문제를 해결하기 위해 청크(Chunk) 분할 및 이어받기(Resumable) 엔진을 설계 및 구현한 프로젝트
-
핵심 성과
- 수 GB 대용량 미디어 파일의 끊겨도 이어 올리고, 받은 조각이 맞는지 확인
- 네트워크 단절 발생 시 전체 파일을 재전송할 필요 없이 실패한 청크 구간부터 자동 이어받기 지원
- 단일 스트림 전송 대비 브라우저 및 서버의 메모리 점유율을 50MB 이내 고정 상태로 안정화
-
문제 상황
- 수 GB 단위의 고화질 비디오 파일을 단일 HTTP POST 요청으로 업로드하면서 브라우저와 Node.js 서버 프로세스의 메모리 사용량 급증
- 네트워크 환경이 불안정한 환경에서 장시간 업로드 도중 커넥션이 끊기면 전체 파일을 처음부터 다시 올려야 하는 사용자 불편 가중
- 업로드 도중 실패한 임시 데이터가 서버 디스크에 정리되지 않고 남아 디스크 풀(Disk Full) 위험 상존
-
핵심 설계 판단
- 클라이언트 상태가 아닌 서버 검증 기반의 신뢰할 수 있는 이어받기 프로토콜 설계
- 클라이언트 로컬스토리지에만 의존할 경우 브라우저 캐시 삭제나 멀티 디바이스 환경에서 오차 발생 위험
- 업로드 재개 시 서버에 현재 파일 ID로 실제 디스크에 저장된 청크 목록을 직접 질의하여 일치하는 지점부터 안전하게 이어받도록 설계
- 마지막 청크를 다시 확인해 경계에서 깨지는 것 방지
- 네트워크 비정상 종료 시 마지막 청크가 불완전하게 기록되어 파일이 손상될 위험
- 직전 완료 청크의 크기 및 해시를 검증하고 필요 시 경계 청크를 안전하게 재수신하는 방어 로직 채택
- 클라이언트 상태가 아닌 서버 검증 기반의 신뢰할 수 있는 이어받기 프로토콜 설계
-
기술적 접근 및 구현
- Blob Slice 기반 클라이언트 청크 분할 전송
- 브라우저 File API의
slice()를 활용해 대용량 파일을 메모리에 통째로 올리지 않고 10MB 고정 단위 청크로 스트리밍 전송 - 각 요청 헤더에 파일 고유 식별자, 총 청크 개수, 현재 청크 인덱스를 명시하여 순서 보장
- 브라우저 File API의
- Node.js 임시 디렉토리 기반 청크 버퍼링 및 순차 병합
- 서버에서는 파일 ID별 임시 디렉토리를 생성하여 청크를 개별 수신 및 저장
- 모든 청크가 결함 없이 수신 완료된 시점에 스트림 파이프라인(
fs.createReadStream,createWriteStream)을 통해 단일 미디어 파일로 고속 병합
- 실패 잔여물 정리 가비지 컬렉션(GC) 구현
- 장기간 완료되지 않고 방치된 미완료 청크 디렉토리를 주기적으로 탐지하여 삭제하는 정리 스케줄러를 적용해 디스크 누수 방지
- Blob Slice 기반 클라이언트 청크 분할 전송
-
프로젝트 개요
EDN+(외부 매체 네트워크 광고) 서버를 Spring 기반 서빙 API로 전면 재구축하고, 당근마켓 광고 지면 연동을 구현한 프로젝트 -
핵심 성과
- 노후화된 Node.js 레거시를 Spring 기반의 고성능 광고 서빙 API로 전면 재개발
- 당근마켓 외부 광고 지면 신규 연동 성공 및 대규모 노출 트래픽의 안정적 서빙
- Google GDN, Criteo와 유사한 외부 네트워크 광고 시스템의 전반적인 백엔드 구조 설계
-
문제 상황
- 기존 Node.js 기반 EDN+ 레거시 서버의 노후화로 런타임 안정성이 떨어지고 코드 확장이 어려운 한계
- 대규모 활성 사용자를 보유한 당근마켓 지면 연동이 확정됨에 따라 고가용성 서빙 처리 능력 필요
- 외부 매체의 초저지연 광고 요청에 대응하면서도, 판매자 제재 및 상품 품절 상태를 정확히 검증해야 하는 요구사항
-
핵심 설계 판단
- 초저지연 서빙 엔진과 운영 관리 백엔드의 책임 분리
- 단일 서버에서 광고 서빙과 운영/정산을 병행할 경우 리소스 경합으로 서빙 지연 발생 위험
- 광고 선택과 기본 유효성 검사(판매자 상태, 품절 여부)에 집중하는 초경량 서빙 API와, 게재 검수 및 정산 관리를 담당하는 운영 백엔드를 분리하여 서빙 지연 최소화
- 외부 매체 장애 격리 및 대체 광고(Fallback) 서빙 전략
- 매체사 네트워크 지연이나 광고 선택 실패 시 매체 지면이 공백으로 노출될 위험
- 기본 추천 광고를 즉시 반환하는 Fallback 메커니즘을 적용해 매체사 파트너십 신뢰도 및 광고 노출 기회 보장
- 초저지연 서빙 엔진과 운영 관리 백엔드의 책임 분리
-
기술적 접근 및 구현
- Spring 기반 신규 광고 서빙 API 개발
- Node.js 레거시를 Spring 생태계로 전환하여 안정적인 스레드 모델과 모니터링 체계 구축
- 메모리 캐싱을 활용해 판매자 제재 및 상품 품절 여부를 밀리초(ms) 단위로 고속 검증
- 당근마켓 매체 연동 인터페이스 설계 및 구현
- 당근마켓 지면 요구사항에 맞춘 REST API 규격을 협의하고, 지면 요청 시 타겟 광고를 실시간 선택해 반환하는 파이프라인 구현
- 통합 운영 백엔드 환경 구축
- 외부 매체 광고 게재 품질 관리 API, HTML 광고 크리에이티브 템플릿 처리 파이프라인, 광고주 및 매체사 정산 어드민 개발
- Spring 기반 신규 광고 서빙 API 개발