Quant Trading Bot Devlog

Read in English

예측력 개선 로드맵과 "판정 불능이면 현행 유지" 규칙

모델을 실제로 사고파는 구간으로 다시 채점하니 예측력이 생각만큼 바닥은 아니었다. 종목군을 좁히는 6년 실험은 전부 "판정 불능"으로 나와 현행을 그대로 뒀고, 재학습 배포에는 기준 모델 대비 비열등 게이트를 넣었다.

"예측 점수가 낮다"는 말부터 다시 봤다

오늘 출발점은 "수익을 더 내려면 모델의 예측력을 어떻게 올리나"라는 질문이었습니다.

바로 "데이터를 더 붙이자"로 가기 전에, 지금 낮아 보이는 그 점수가 대체 무엇을 재고 있는 건지부터 들여다봤습니다.

모델은 한 구간(어느 날의 종가에서 다음 날의 종가까지)을 맞히도록 배우고, 또 그 구간으로 채점받습니다.

그런데 실제 매매는 그렇게 하지 않습니다. 다음 날 아침 시가에 사서 며칠 들고 있습니다.

같은 모델을 "실제로 사고파는 구간"으로 다시 채점해 보니, 점수는 0 근처가 아니라 눈에 띄게 높았습니다.

즉 예측력이 없는 게 아니었습니다. 있는 예측력이 거래 비용에 상당 부분 먹히고, 남은 것도 "살 종목"보다 "피할 종목"을 가리는 쪽에 몰려 있는 것이었습니다.

그래서 "데이터부터 붙이자"가 아니었다

외부 AI에게 예측력 개선 로드맵을 뽑아 달라고 했는데, 결론은 "새 데이터를 붙여 점수를 올리자"가 아니었습니다.

먼저 모델이 배우는 목표를 실제 매매 방식(아침에 사서 며칠 보유)에 맞추고, 그다음에야 공시·재무 같은 공개 데이터를 같은 틀에서 하나씩 시험해 보자는 순서였습니다.

기대치는 일부러 냉정하게 낮춰 잡았습니다. 이 정도 크기의 개선은 실전 섀도만으로는 몇 달 안에 가려낼 수 없고, 채택 근거는 결국 긴 기간의 오프라인 시험이 될 수밖에 없다는 점을 먼저 받아들이고 가기로 했습니다.

숫자를 보기 전에 규칙부터 박았다

첫 후보(모델의 학습 목표를 실제 매매에 맞추기)를 시험하려고, 결과 숫자를 단 하나도 보기 전에 사전등록 문서를 먼저 썼습니다.

비교할 가지, 기간, 합격선, 시드를 전부 미리 못 박고, 그 문서를 커밋한 해시 자체가 "아무도 결과를 보기 전에 규칙이 얼어붙었다"는 증거가 됩니다.

이렇게 하는 이유는 하나입니다. 일단 숫자를 보고 나면, 합격선을 "통과시키는 방향으로" 슬쩍 옮기고 싶은 유혹을 이기기가 어렵기 때문입니다.

이 시험은 프로덕션 코드도, 자본도, 실제 주문도 건드리지 않습니다. CPU에서 도는 순수 오프라인 계산입니다.

판정은 세 값뿐입니다. 합격 / 기각 / 판정 불능.

그리고 "판정 불능"은 "현행 유지"를 뜻하지, "조금만 더 돌려보자"가 아닙니다.

종목군을 좁혀봤지만 전부 "판정 불능"

같은 자리에서 별개의 실험도 하나 돌렸습니다. 거래 대상 종목군을 더 좁게(거래가 잘 되는 종목 위주로) 잡으면 나아지는지를 봤습니다.

여섯 가지 변형을 6년 구간으로 돌렸는데, 여섯 개 전부 "판정 불능"으로 나왔습니다. 차이가 잡음 범위 안이었다는 뜻입니다.

위에서 정한 규칙대로, 판정 불능이면 현행 유지입니다. 그래서 종목군은 지금 그대로 두기로 했습니다.

반대로 종목군을 넓히는 쪽도 다시 확인했는데, 역시 판정 불능이라 손대지 않았습니다.

재학습 배포에도 같은 잣대

모델을 다시 학습시켜 내보낼 때를 대비한 배포 관문도 하나 넣었습니다.

새로 학습한 모델은, 고정해 둔 기준(앵커) 모델보다 나빠지지 않았다는 게 확인돼야만 실제로 올라갈 수 있습니다.

그리고 이건 "확인 안 되면 막는다(fail-closed)" 쪽으로 설계했습니다. 비열등을 확정하지 못하면 배포를 그냥 보류합니다.

같은 입력이면 같은 판정이 나오도록 재현 기록도 함께 남깁니다. 재학습이라는 가장 조용하게 성능이 샐 수 있는 길목에 자물쇠를 하나 더 건 셈입니다.

종가 정본도 한 번 더 조였다

어제 다뤘던 "종가" 얘기에 오늘 후속 작업이 하나 붙었습니다.

장후 재채점 단계에서, 확정된 봉과 한 번 더 대조하고, 데이터 소스(새 창)의 정규장 값과 어긋나는 비율을 매일 기록해 두도록 했습니다.

이 비율이 슬금슬금 올라가면 경보가 뜹니다. 조용히 틀어지는 걸 사람이 뒤늦게 발견하는 상황을 막으려는 장치입니다.

왜 중요한가

오늘 한 일은 거의 전부 "판단을 더 똑똑하게"가 아니라 "개선인지 아닌지를 어떻게 믿을 만하게 재느냐"에 관한 것이었습니다.

솔직히 말하면, 이 정도 크기의 개선은 실전으로 몇 달 돌려본다고 가려지지 않습니다. 작은 개선과 그냥 운의 차이를 구분하려면 몇 년이 걸립니다.

그래서 결정은 얼려둔 오프라인 시험과 보수적인 관문 위에 올려야 합니다.

가장 몸에 붙이기 어려운 습관은 "판정 불능이면 아무것도 바꾸지 않는다"입니다. 뭔가 좋아 보일 때까지 계속 만지고 싶은 마음이 늘 이깁니다.

사전등록, 세 값 판정, 고정 앵커, fail-closed 관문. 이름은 다르지만 전부 같은 동작입니다. 숫자를 보기 전에 내 손을 미리 묶어두는 것입니다.

#퀀트 #사전등록 #측정규율