예약 작업이 전부 실패했는데도 일회용 슬롯을 소진한 버그 - 아무 일도 안 한 실행이 자원을 먹었다
달력 라이브러리가 1년에 한 번뿐인 특수일을 틀리게 돌려줬고, 그 위에서 "실행=슬롯 소비"라는 전제가 백업 경로를 망가뜨렸습니다
제 자동매매 시스템은 하루 중 정해진 시각에 매매 라운드를 자동으로 돕니다. 각 라운드에는 "오늘 이 라운드는 이미 돌았다"를 표시하는 일회용 슬롯이 하나씩 붙어 있습니다.
같은 라운드가 하루에 두 번 집행되는 걸 막기 위한 장치입니다. 이 슬롯 구조는 종목을 고르는 판단 로직이 아니라 주문 실행·안전장치 계층에 속합니다. 전체 설계는 실전 계좌 적용편(새 창)에 정리해 뒀습니다.
그리고 아침 첫 라운드가 어떤 이유로 못 돌면, 조금 뒤에 한 번 더 시도하는 백업 라운드가 따로 있습니다.
무슨 일이 있었나
어느 특수일에 문제가 터졌습니다. 그날은 국가적인 시험이 있어서 증권거래소가 평소보다 한 시간 늦게 개장하는 날이었습니다.
그런데 아침 첫 라운드는 평소 시각에 그대로 발화했습니다. 시장이 아직 열리지도 않은 시각이었습니다.
당연히 모든 주문이 거래소에서 "시장 미개장"이라는 코드로 전량 거절됐습니다. 한 건도 체결되지 않았고, 사실상 아무 일도 일어나지 않은 실행이었습니다.
문제는 그다음이었습니다. 시장이 실제로 열린 뒤 백업 라운드가 돌긴 했는데, 평소의 정상 경로가 아니라 격하된 폴백 모드로만 돌았습니다.
이유를 보니, 아침에 전량 거절됐던 그 첫 라운드가 이미 일회용 슬롯을 소진해버린 상태였습니다. 백업 라운드 입장에서는 "오늘 이 슬롯은 이미 쓰였다"고 보였던 겁니다.
한 건도 체결하지 못한, 환경 때문에 통째로 실패한 실행이 그날의 자원을 먹어버린 셈입니다.
처음엔 뭐라고 생각했나
처음엔 타이밍 쪽을 의심했습니다. 라운드가 엉뚱한 시각에 발화한 걸 보고 "스케줄러 설정이 잘못됐나" 하고 스케줄 정의부터 뒤졌습니다.
스케줄은 정상이었습니다. 라운드는 평소대로 정해진 아침 시각에 발화한 게 맞았습니다.
문제는 라운드가 발화한 시각이 아니라, 그 시각에 "시장이 열려 있다"고 가정한 쪽이었습니다. 평소에는 그 가정이 맞았고, 그날만 틀렸습니다.
진짜 원인 — 두 개의 층
원인은 두 층으로 나뉘어 있었습니다.
첫 번째 층: 달력 라이브러리가 특수일을 틀리게 돌려줬다.
시스템은 "오늘 몇 시에 개장하는가"를 외부 거래소 달력 라이브러리에서 받아 썼습니다. 평소 거래일에는 이 값이 정확했습니다.
그런데 이 특수일(개장이 한 시간 늦춰지는 날)에 대해서는 라이브러리가 평소 개장 시각을 그대로 돌려줬습니다. 1년에 한 번 있을까 말까 한 날이라 라이브러리도 이 예외를 반영하지 못하고 있었던 겁니다.
그래서 코드는 "지금은 개장 이후"라고 믿고 평소대로 주문을 냈습니다.
두 번째 층 — 이게 진짜 교훈인데: 슬롯을 "실행을 시작한 순간"에 소비했다.
슬롯을 소비하는 로직은 라운드가 실제로 뭔가를 해냈는지가 아니라, 라운드가 "시작됐다"는 사실만 보고 슬롯을 먹었습니다.
그래서 주문이 100% 거절돼 아무 체결도 없었던 실행도, 코드 입장에서는 "오늘 이 라운드는 돌았다"로 기록됐습니다.
실행의 성공/실패와 자원 소비가 분리돼 있지 않았던 겁니다. 첫 번째 층(달력 오류)이 없었어도, 다른 환경적 이유로 라운드가 통째로 거절되는 날이 오면 똑같은 문제가 재발할 구조였습니다.
어떻게 고쳤나
달력 라이브러리를 고칠 수는 없으니, 신뢰할 수 있는 개장 시각 판정을 따로 만들었습니다.
평소에는 라이브러리 값을 그대로 쓰되, 미리 알고 있는 특수일(개장 지연일)은 수동으로 관리하는 표에서 먼저 조회하게 했습니다. 이 수동 표가 어떤 이유로든 비어 있으면 안전한 기본값으로 떨어지도록 방향도 정해뒀습니다.
그리고 아침 라운드가 발화할 때, 이 판정으로 "지금이 개장 이후인가"를 먼저 확인하는 게이트를 뒀습니다. 개장 전이면 라운드를 보류하고, 시장이 실제로 열린 뒤 백업 라운드로 넘깁니다.
여기서 한 가지 설계 선택을 짚고 넘어갈 만합니다. "그냥 전량 거절된 라운드는 슬롯을 자동으로 반납하게 하면 되지 않나" 싶었습니다.
실제로 그 안도 검토했습니다. 하지만 자동 반납을 넣지 않기로 했습니다.
이유는 두 가지였습니다. 하나는 이 상황 자체가 수년에 한 번 수준으로 드물어서, 자동 반납 로직이 늘 켜져 있을 만큼의 값어치가 없었습니다.
다른 하나가 더 중요했는데, 자동 반납은 이중 집행 위험을 새로 만듭니다. "실패했으니 슬롯을 돌려준다 → 다시 집행한다"는 경로는, 판정이 애매한 경우 같은 라운드를 두 번 발주할 창을 엽니다.
그래서 자동 반납 대신, 전량 거절이 감지되면 경보를 띄우고 사람이 수동으로 처리하는 쪽을 택했습니다. 드물고 위험한 자동 복구보다, 명시적인 경보 + 수동 개입이 더 안전하다고 봤습니다.
슬롯을 발주 전에 claim하는 순서 자체도 그대로 뒀습니다. 슬롯을 발주 뒤로 미루면 경합 상황에서 이중 매수가 가능해지기 때문입니다.
일반화하면
자원을 "시작했으니 소비"하지 말고, "무슨 일을 했는가"에 묶으세요. 일회용 슬롯·토큰·멱등성 키 같은 걸 "실행을 시작한 순간"에 소비하면, 아무 일도 못 하고 실패한 실행이 그 자원을 먹어버립니다.
"실행됐다"와 "일을 해냈다"는 다른 문장입니다. 환경적 이유(외부 의존성이 안 떠 있음, 사전 조건 미충족)로 통째로 실패한 실행은, 자원을 소비한 게 아니라 아예 안 일어난 것으로 취급돼야 할 때가 많습니다.
1년에 한 번뿐인 엣지 케이스야말로 라이브러리 기본값이 틀려 있는 자리입니다. 자주 쓰이는 경로는 많은 사람이 밟아서 버그가 일찍 드러납니다. 반대로 드문 특수일·윤초·서머타임 전환 같은 건 테스트도 적고 사용자도 적어서, 외부 라이브러리가 조용히 틀린 값을 돌려주기 쉽습니다.
그런 희귀 경로는 라이브러리를 맹신하지 말고, 검증된 수동 오버라이드를 얇게 얹어두는 편이 쌉니다.
격하된 폴백 경로가 있다면, 주 경로의 실패가 폴백을 오염시키지 않는지 확인하세요. 백업 라운드는 "주 라운드가 못 돌았을 때"를 위해 존재했는데, 정작 주 라운드가 망가진 방식(슬롯을 먹고 실패)이 백업을 정상 모드로 못 돌게 만들었습니다.
실패 대비 경로를 설계할 때는, 그 경로가 전제하는 상태(여기선 "슬롯이 아직 비어 있다")가 주 경로 실패 시에도 유지되는지를 따로 점검해야 합니다.
자동 복구를 "넣지 않는 것"도 설계 결정입니다. 실패를 자동으로 되돌리는 로직은 멋있어 보이지만, 복구 경로 자체가 새로운 위험(여기선 이중 집행)을 만들 수 있습니다.
실패가 드물고, 자동 복구가 더 위험한 실패를 새로 만든다면, 경보 + 수동 개입이 더 나은 선택일 수 있습니다. 모든 걸 자동화하는 게 항상 옳은 건 아니었습니다.
이 사건 이후로는, 일회용 자원을 소비하는 코드를 새로 짤 때마다 "이 소비가 실행 시작에 묶여 있나, 실제 성과에 묶여 있나"를 한 번 더 확인하는 습관이 생겼습니다.