로컬 LLM 서빙·GPU 속도 실측 모음
RTX 5090·R9700·7900 XTX에서 Qwen 27B·35B 모델을 vLLM/llama.cpp로 돌린 tokens/s 실측, 동시 슬롯·MTP·양자화 튜닝, 이종 GPU 서빙 회고를 모았습니다.
한국 주식 자동매매 봇의 AI 분석 파이프라인을 로컬 GPU에서 돌리면서 직접 잰 기록입니다. RTX 5090 한 장에서 27B dense 모델을 vLLM으로, AMD R9700에서 35B MoE 모델을 llama.cpp로 돌려 tokens/s, 동시 슬롯 수, MTP(투기적 디코딩), 양자화에 따른 처리 시간 변화를 비교했습니다.
같은 카드라도 모델이 다르면 결론이 뒤집힙니다. 예를 들어 R9700에서는 Vulkan이 HIP보다 빨랐고 동시 슬롯은 4개가 한계점이었으며 MTP는 단일 요청에서만 이득이었습니다. 5090에서는 KV 캐시 용량이 병목이었습니다. 아래 글은 구매 판단, 속도 비교, 튜닝, 이종 GPU 서빙 사고 회고 순으로 읽으면 흐름이 이어집니다.
- 그래픽카드 세대별 로컬 LLM 속도와, 우리 프로덕션이 매일 처리하는 토큰량모델명·서빙 설정·prefill/decode 실측치까지 전부 공개합니다 (2026-09-26 기준으로 재정리)
- Qwen3.8-27B를 RTX 5090 한 장에서 vLLM으로 돌린 속도 튜닝 - NVFP4·MTP 적용 결과와 KV 캐시 병목tokens/s 실측: 동시 슬롯 3 → 14 → MTP+8로 올리며 100종목 야간 배치를 6시간대에서 3시간 안쪽으로 줄인 과정, 그리고 그 숫자를 믿으면 안 되는 이유들
- Qwen3.6-35B-A3B를 AMD R9700에서 llama.cpp로 돌린 속도 튜닝 - Vulkan vs HIP, 동시 슬롯, MTP tokens/s 실측Vulkan이 HIP을 이겼고, 동시 슬롯은 4개가 무릎이었고, MTP는 단일 요청에서만 도움이 됐습니다
- Qwen3.8-Flash-Next 후기 - RTX 5090 + R9700 두 장으로 돌려본 대형 MoE 모델양자화 버전을 세 번 바꾸고 자문을 열여섯 차례 거친 끝에, 프로덕션에 올린 로컬 모델 교체기
- 그래픽카드 교체 성능 비교 - 판정이 두 번 뒤집힌 이유처음 방향 판정도, 나중 추가구매 판정도 서로 다른 이유로 틀렸습니다 — 벤치마크를 읽는 방식 자체가 문제였습니다
- 기가바이트 RTX 5090 AORUS MASTER ICE 구매 후기 - 그래픽카드 두 장을 한 장으로 정리했습니다나눠 쓰던 그래픽카드 두 장을 한 장으로 합치면서 달라진 것들을 정리했습니다
- 몇 번이나 기각했던 그래픽카드를 오늘 결국 들였습니다 - AMD Radeon AI PRO R9700메인 카드로는 세 번 넘게 떨어뜨렸던 카드를, 목적을 바꿔서 다시 산 이야기