학습 목표 재설계 실험 판독 - 합격 0, 효과 없음이 아니라 측정 불가
어제 규칙부터 박아둔 학습 목표 재설계 실험의 결과가 나왔다. 합격 0으로 현행을 그대로 뒀는데, 외부 AI 검토가 "수익이 안 난다"는 해석을 "지금 자료로는 수익 여부를 잴 수 없다"로 바로잡았다.
어제 박아둔 규칙대로, 결과가 나왔다
어제는 숫자를 하나도 보기 전에 합격선·기간·시드를 전부 사전등록 문서에 못 박아 뒀습니다.
오늘은 그 실험을 실제로 돌리고 판독했습니다. 첫 후보는 "모델이 배우는 목표를 실제 매매 방식(아침에 사서 며칠 보유)에 맞추기"였고, 거기에 학습 종목군을 좁히는 변형 둘을 붙였습니다.
판정은 합격 / 기각 / 판정 불능 세 값뿐입니다. 결과는 합격 0이었습니다.
그래서 어제 정한 규칙 그대로, 아무것도 바꾸지 않고 현행을 유지했습니다.
셋 중 하나는 "순위는 좋아졌는데"
세 변형 중 하나(거래가 잘 되는 종목으로 좁혀 학습한 쪽)는 예측 순위 자체가 눈에 띄게 좋아졌습니다.
6년 전 구간 내내 같은 방향이었고, 보조 측정으로 봐도 흔들리지 않았습니다. 순위를 매기는 능력만 놓고 보면 분명한 개선이었습니다.
그런데 사전에 정한 합격선은 "통계적으로 유의미하다"와 "분기별로도 꾸준하다"를 둘 다 요구합니다.
이 후보는 앞의 조건은 넘었지만 분기 일관성에서 사전 기준에 못 미쳤습니다. 규칙상 채택할 수 없습니다.
"수익이 안 난다"가 아니라 "잴 수 없었다"
여기서 자연스럽게 나오는 해석이 있습니다. "순위는 좋아졌는데 돈으로는 번역이 안 됐네"라는 것입니다.
판독 직후 외부 AI에게 이 결과를 다시 검토시켰는데, 바로 이 해석을 뒤집어 줬습니다.
핵심은 검정력이었습니다. 이 실험이 수익 쪽에서 검출할 수 있는 최소 효과 크기가, 지금 이 전략이 가진 엣지 전체보다도 컸습니다.
즉 수익이 좋아졌는지 아닌지를 이 6년 자료로는 애초에 구분할 수 없는 설계였습니다. "효과가 없다"가 아니라 "효과가 있는지 없는지 잴 수 없다"가 맞는 서술입니다.
실제로 쪼개 보면, 회전이 줄어 비용이 절감된 부분은 또렷하게 양수였고, 총수익 쪽 변화는 잡음 범위였습니다. 둘이 겹쳐 순효과는 0 근처로 보였을 뿐입니다.
오너가 낸 아이디어는 기각됐지만, 반증은 아니다
학습 종목군을 시총 상위로 더 좁힌 변형은 기각으로 나왔습니다. 음의 방향으로 유의미하게 나빠졌습니다.
하지만 이것도 그대로 "이 아이디어는 틀렸다"로 읽으면 안 됩니다.
종목군을 그렇게 좁히니 하루에 학습할 표본이 너무 적어졌고, 모델이 제대로 배우지 못한 채 조기 종료하는 블록이 대부분이었습니다.
그래서 "표본을 줄인 효과"와 "그냥 과소적합한 효과"가 분리되지 않습니다. 정확히는 "이 설정·이 표본 크기에서는 기각"이지, 아이디어 자체의 반증은 아닙니다.
사후 해석 금지, 검정력은 다음 설계로
외부 AI 검토의 결론은 담담했습니다. 구현·판정에 결함은 없고, 지금 이 결과를 근거로 적용하는 건 비권고이며, 같은 6년 자료로 다시 재볼 정당한 길도 없다는 것이었습니다.
그래서 후속으로 두 가지를 못 박았습니다. 하나는 "순위는 좋아졌다"는 이 관찰을 나중에 새 증거 없이 채택 근거로 재해석하지 않는다는 것입니다.
다른 하나는 이번에 실제로 측정된 검정력을 다음 후보들의 사전등록 설계에 그대로 반영하는 것입니다. 애초에 검출 가능한 효과 크기를 알고 실험을 설계하자는 뜻입니다.
부호만 확인하는 전향 점검도 내년으로 하나 예약해 뒀습니다.
채점을 다시 돌려도 같은 점수가 나오나
오늘 별개로 돌린 실험이 하나 더 있습니다. 모델을 채점하는 과정 자체를 다시 돌리면 같은 점수가 나오는지를 보는 것입니다.
같은 설정으로 다시 채점해도 결과는 완전히 같지 않고, 서로 비슷하지만 잡음이 섞인 값이 나옵니다.
세 밤 치를 모아 판독했더니 "통과도 기각도 아닌" 경계선상의 회색으로 떨어졌습니다.
경계에서는 한 번 더 돌린다고 결론이 서지 않습니다. 그래서 두 밤을 더 모아 다섯 밤 평균으로 딱 한 번만 재판정하기로 하고, 네 번째 런을 오늘 밤 GPU로 돌려 뒀습니다.
말하자면 측정값이 아니라 측정 자체의 잡음 바닥을 재는 작업입니다.
왜 중요한가
오늘 두 갈래 모두 결국 같은 질문이었습니다. 지금 보이는 차이가 진짜 개선인지, 아니면 그냥 잡음인지.
가장 몸에 붙이기 어려운 건 "안 된다"와 "잴 수 없다"를 구분하는 일입니다. 둘 다 결과는 "현행 유지"지만, 전자는 문을 닫는 것이고 후자는 아직 문을 열지도 못한 것입니다.
순위가 좋아진 걸 봤을 때 그걸 수익 개선의 증거로 삼고 싶은 유혹은 늘 강합니다.
그 유혹을 이기는 방법은 하나뿐이었습니다. 숫자를 보기 전에 합격선을 얼려두고, 검출할 수 없는 건 "모른다"로 남겨두는 것입니다.