몇 번이나 기각했던 그래픽카드를 오늘 결국 들였습니다 - AMD Radeon AI PRO R9700

메인 카드로는 세 번 넘게 떨어뜨렸던 카드를, 목적을 바꿔서 다시 산 이야기

오늘 중고로 그래픽카드를 한 장 더 들였습니다. 기가바이트 AMD Radeon AI PRO R9700(32GB)입니다.

지난 RTX 5090 구매 후기(새 창)를 쓴 지 얼마 안 됐는데, 벌써 카드가 한 장 늘었습니다. 근데 이번엔 좀 특이한 사연이 있습니다 — 사실 이 카드, 제가 몇 번이나 기각했던 카드입니다.

세 번쯤 검토하고, 세 번쯤 접었다

이 카드를 처음 검토한 건 한참 전이었습니다. 당시 메인으로 쓰던 카드보다 메모리가 더 크고 전력 효율도 낫다는 얘기를 듣고, "메인 프로덕션 카드를 이걸로 바꿀 수 있지 않을까" 하는 생각으로 조사를 시작했습니다.

그런데 파고들수록 걸리는 게 많았습니다. 실측 벤치마크를 찾아보니, 제가 실제로 쓰는 워크로드(작은 모델을 단일 스트림으로 반복 호출하는 방식) 조건에서는 이 카드가 기존 카드보다 오히려 느렸습니다. 특히 입력을 처리하는 초반 단계(prefill)가 유독 약했는데, 이건 서빙 소프트웨어를 바꿔가며 여러 번 다시 재봐도 같은 방향으로 나왔습니다 — 소프트웨어 문제가 아니라 이 세대 칩 자체의 특성으로 보였습니다.

두 장을 나란히 꽂아서 계산을 나눠 맡기는 구성도 검토했습니다. 이론상 속도는 두 배 가까이 나올 수 있었지만, 전력·슬롯 간격 같은 물리적 제약과, 계산해보니 기대만큼 이득이 크지 않다는 결론이 겹쳐서 이것도 접었습니다.

그래서 그때는 "메인 카드로는 안 되겠다"로 판정을 내리고 정리했습니다. 다만 완전히 문을 닫진 않았습니다 — 나중에 서빙 소프트웨어 쪽 커널 지원이 좋아지거나, 실측 데이터가 더 쌓이면 다시 볼 여지는 남겨뒀습니다.

그런데 오늘 왜 다시 샀나

이번엔 목적이 다릅니다. 메인 프로덕션 카드를 바꾸려는 게 아니라, 지금 정식 검증 중인 다른 로컬 모델(새 창)을 이 카드에서 오프라인으로 한 번 돌려보고 싶었습니다.

지금 RTX 5090 한 장이 이미 밤마다 도는 작업으로 VRAM을 거의 다 쓰고 있어서, 실험용 서버를 더 얹을 여유가 없습니다. 두 번째 카드가 있으면 메인 작업을 전혀 건드리지 않고 따로 실험을 돌릴 수 있습니다.

사실 카드보다 메인보드를 먼저 바꿨습니다

이 카드를 꽂으려고 정한 순간, 제일 먼저 부딪힌 문제는 카드 자체가 아니라 메인보드였습니다.

5090처럼 두꺼운 카드가 이미 첫 번째 슬롯을 차지하고 있으면, 두 번째 슬롯까지의 물리적 간격이 보드마다 다 다릅니다. 후보로 검토한 보드 대부분은 이 간격이 부족해서 카드 두 장을 나란히 꽂을 수가 없었습니다.

거기다 두 번째 슬롯이 진짜 쓸 만한 대역폭을 받는지도 봐야 했습니다. 슬롯은 있어도 칩셋을 거쳐 좁은 대역폭만 받는 보드가 많은데, 이러면 카드를 꽂아도 성능이 크게 깎입니다.

이 두 조건을 같이 만족하는 보드를 찾느라 후보를 여러 번 갈아치웠고, 최종적으로 지금 쓰는 메인보드로 정리했습니다. 케이스와 전원공급장치도 이 참에 같이 바꿨습니다 — 카드 두 장, 더 큰 케이스, 더 높은 전력 여유를 한 번에 맞추기 위해서였습니다.

오늘 확인한 것

카드를 꽂고 나서 제일 먼저 드라이버가 제대로 잡히는지부터 확인했습니다. 커널 드라이버, GPU 인식, 계산 스택(ROCm)까지 전부 정상 동작을 확인했습니다.

메인보드 슬롯은 5090과 나눠서 물리적으로 분기되도록 BIOS에서 설정했습니다. 두 카드가 서로 자원을 침범하지 않게 하기 위해서입니다.

다음에 할 일

어젯밤 다른 모델이 검증용으로 얼려둔 입력 데이터 스냅샷이 하나 있습니다. 이걸 그대로 재사용해서, 이 카드에서 로컬 모델을 오프라인으로 한 번 채점해볼 계획입니다.

중요한 건 이 실험이 실제 매매 판단에는 전혀 섞이지 않는다는 점입니다. 완전히 격리된 별도 실험이고, 결과가 아무리 좋게 나와도 곧바로 프로덕션에 반영하지 않습니다. 지금까지 다른 실험용 모델들에도 똑같이 적용해온 원칙 그대로입니다 — 결과를 충분히 지켜본 다음에야 별도로 채택 여부를 판단합니다.

결과가 나오면 이 카드가 그 실험에서 어느 정도 성능을 보였는지 따로 정리해서 올리겠습니다.