동일한 GPU로 처리량 극대화하기: Kakao AI Platform의 LLM 추론 최적화 | Model & Agent

"동일한 GPU 자원으로 LLM 추론 처리량을 극대화할 수 있을까요?"

카카오 AI 플랫폼(KAP) Inference API에서 TTFT·TPOT 기준을 만족한 요청의 처리량, 즉 Goodput을 기준으로 추론을 최적화한 경험을 공유합니다.
Prefill과 Decode를 분리하는 P/D disaggregation, 캐시와 부하를 함께 고려하는 EPP Routing, KV Cache를 CPU 메모리·Disk에 보관해 재사용하는 KV Cache Offloading, 판단 모델 Jev를 활용한 추론 조기 종료까지 네 가지 기법을 실제 GPU 환경에 적용했습니다.
NVLink 대신 NIC를 거치던 KV 전송 경로, InfiniBand 구성 과정의 문제 등 실험 중 마주친 시행착오와 해결 과정을 함께 다룹니다.
실측 결과와 함께, 각 기법의 이득이 추가 비용보다 커지는 조건을 이야기합니다

#ifkakao26 #이프카카오 #이프카카오26 #kakao #카카오 #AI #Backend #Cloud #InferenceOptimization #llm 

발표자료 보러 가기
https://if.kakao.com/2026/session/time-table?tab=day2&sessionId=116

이동준 | 카카오
AI플랫폼팀에서 LLM 추론 서버 구축과 서빙 최적화를 담당하며,
시스템 병목을 찾아 제한된 GPU 자원에서 더 많은 요청을 처리하는 방법을 연구하고 있습니다.