#LLM 태그 글 모음

'LLM' 태그가 붙은 글 12편.

• R9700 백업 GPU 전멸 사고, 두 번 틀린 원인 진단
• R9700 백업 GPU 자가치료 배선과 동시요청 상향 재검토
• R9700 백업 GPU, 병목 원인과 죽은 슬롯 감지기
• Qwen3.6-35B-A3B를 AMD R9700에서 llama.cpp로 돌린 속도 튜닝 - Vulkan vs HIP, 동시 슬롯, MTP tokens/s 실측
• Qwen3.8-27B를 RTX 5090 한 장에서 vLLM으로 돌린 속도 튜닝 - NVFP4·MTP 적용 결과와 KV 캐시 병목
• 온도를 처음으로 진짜 바꿔봤더니 - 사전등록 규칙이 "기각"이라 했는데 내가 뒤집은 이유
• AI 판단 모델 샘플링 설정 점검 - 의도와 다른 값으로 돌고 있었다
• 새 로컬 모델로 정식 전환, 그 옆에 예전 모델을 조용히 얹었다
• 그래픽카드 세대별 로컬 LLM 속도와, 우리 프로덕션이 매일 처리하는 토큰량
• AI가 자신 있게 틀렸던 순간을 목격했다
• 앙상블의 한 축이 6개월 넘게 완전히 비어있었다
• 로컬 LLM 3종 비교에서 찾아낸 숨은 실패 패턴들