Quant Trading Bot Devlog

Read in English

로컬 LLM 서빙·GPU 속도 실측 모음

RTX 5090·R9700·7900 XTX에서 Qwen 27B·35B 모델을 vLLM/llama.cpp로 돌린 tokens/s 실측, 동시 슬롯·MTP·양자화 튜닝, 이종 GPU 서빙 회고를 모았습니다.

한국 주식 자동매매 봇의 AI 분석 파이프라인을 로컬 GPU에서 돌리면서 직접 잰 기록입니다. RTX 5090 한 장에서 27B dense 모델을 vLLM으로, AMD R9700에서 35B MoE 모델을 llama.cpp로 돌려 tokens/s, 동시 슬롯 수, MTP(투기적 디코딩), 양자화에 따른 처리 시간 변화를 비교했습니다.

같은 카드라도 모델이 다르면 결론이 뒤집힙니다. 예를 들어 R9700에서는 Vulkan이 HIP보다 빨랐고 동시 슬롯은 4개가 한계점이었으며 MTP는 단일 요청에서만 이득이었습니다. 5090에서는 KV 캐시 용량이 병목이었습니다. 아래 글은 구매 판단, 속도 비교, 튜닝, 이종 GPU 서빙 사고 회고 순으로 읽으면 흐름이 이어집니다.