"[260919] 성능측정 하네스 - 자동 재개가 권한 벽에 막혀 GPU를 헛되이 점유했다"

어제 고친 측정 도구로 새벽에 자동 재개가 걸렸는데, 첫 트라이얼만 띄운 채 조용히 멈춰버렸습니다. 결국 사람이 직접 이어받아 라운드를 마무리했습니다.

새벽 자동 재개가 조용히 멈췄다

어제 회계 오류를 고친 성능측정 하네스가 새벽에 자동으로 재개되도록 걸어둔 상태였습니다.

로그를 확인해보니 재개 자체는 예정대로 발화했습니다. 첫 트라이얼도 정상적으로 시작됐습니다.

문제는 그 다음이었습니다. 트라이얼이 시작되고 몇 분 뒤부터 이어지는 모든 명령이 "승인 필요" 상태로 막혀버렸습니다. 사람이 없는 새벽 시간이라 승인해줄 사람도 없었고, 세션은 그대로 멈춘 채 끝났습니다.

원인을 추적해보니 구조적인 문제였습니다. 자동화 스킬이 부여받는 명령 실행 권한은 그 스킬을 처음 연 턴에만 유효했습니다.

백그라운드에서 돌던 작업이 다음 턴으로 넘어가는 순간, 이미 부여됐던 권한이 사라지는 구조였습니다. 사람이 지켜보며 대화로 진행할 때는 그때그때 승인하면 되니 문제가 안 됐는데, 사람 없이 혼자 도는 새벽 자동 재개에서는 이게 그대로 막다른 길이 됐습니다.

그사이 GPU는 정리되지 않은 채 약 47분 동안 아무 일도 하지 않으면서 자리만 차지하고 있었습니다.

결국 아침에 이 상태를 확인하고 GPU 점유를 정리한 뒤, 이번에는 사람이 대화로 직접 재개 명령을 내려서 라운드를 이어갔습니다.

대화로 재개한 뒤에는 트라이얼 세 건이 끝까지 무사히 돌았습니다.

어제 고친 측정 방식대로 결과를 다시 계산해보니, 검토하던 새 설정은 처리량 면에서 뚜렷한 이득이 없었습니다. 반복 측정 사이의 차이가 잡음 수준과 거의 겹쳤기 때문입니다.

그래서 결론은 "현재 쓰고 있는 설정을 그대로 유지"였습니다. 바꿔서 얻는 게 없다는 걸 확인한 것도 이번 검증의 성과로 남겼습니다.

자동 재개 구조는 이번 일로 드러난 구조적 한계를 어떻게 풀지 아직 결정하지 못했습니다. 몇 가지 방법을 후보로 남겨두고, 방법을 정하기 전까지는 자동 재개를 쓰지 않고 사람이 대화로만 재개하기로 했습니다.

같은 날 컴퓨터가 세 번 재부팅되는 일이 있었습니다.

원인을 확인해보니 작업과는 무관하게, 냉각팬을 새로 설치하는 하드웨어 작업 때문이었습니다. GPU 관련 설정은 바뀐 게 없었고, 재부팅 뒤에도 환경은 그대로 깨끗한 상태였습니다.

이것과 별개로, 모델이 답을 생성할 때 쓰는 무작위성 설정(온도) 값을 바꿔볼지 검증하는 실험도 오늘 시작했습니다.

작게 돌려보는 예비 시험을 통과해서 본격적인 비교 작업을 밤사이 이어가도록 걸어뒀습니다. 결과 판단과 최종 결정은 주말이 지난 뒤로 미뤄뒀습니다.

자동 재개의 권한 구조 문제를 어떤 방식으로 풀지 결정하는 게 다음 과제입니다.

온도 실험도 주말 동안 이어지는 결과를 지켜보고 판단할 예정입니다.