- "[261006] 종목 분류기 오분류 수선과 모의계좌 장부대조 보정" · EN
거래정지가 아닌 종목을 거래정지로 오판해 매수를 막던 버그를 찾아 고치고, 모의 거래 계좌의 장부대조 잔차 원인도 추적해 정정했습니다.
- "[261005] 출력 토큰 상한 적용과 주문 장부대조 가드 확장" · EN
어제 발견한 출력 토큰 상한 부재 문제를 두 서빙 경로 모두에 적용해 배포했고, 주문 장부대조 안전장치도 두 단계 더 늘렸습니다.
- "[260928~261004] 백업 GPU 자가치료 전멸과 모의계좌 체결 오매칭 원인 규명" · EN
백업 GPU 자가치료가 실전 첫날 밤 전멸하면서 복구 로직을 다시 설계했고, 모의계좌 잔차의 9일 전 체결 오매칭 원인도 끝까지 추적해 찾아냈습니다.
- "[261004] 동시성 올리기 스모크와 출력 토큰 상한 부재 발견" · EN
모델 서빙 처리량을 올리려 동시요청수를 단계적으로 올려봤는데 스모크 테스트에서 걸렸고, 그 와중에 출력 쪽에 애초에 토큰 상한이 없었다는 걸 알게 됐습니다.
- "[2609] 공유계좌 실거래 확장과 GPU 이중화, 그 사이 측정 도구 자체의 결함들" · EN
이번 달은 공유계좌로 실거래 범위를 넓히고 두 번째 그래픽카드로 처리 능력을 이중화하는 진전이 있었고, 그 과정에서 벤치마크·리포트·안전장치 같은 측정 도구 자체의 결함을 반복해서 찾아 고쳤습니다
- "[260930] 모의계좌 장부대조 잔차 원인 규명과 방치된 경보 정리" · EN
9일 전 전혀 다른 종목 체결이 엉뚱한 매도에 잘못 붙었던 사고를 찾아냈고, 한 달 넘게 매일 울리던 미사용 경보 항목도 함께 정리했습니다.
- "[260929] R9700 백업 GPU 전멸 사고, 두 번 틀린 원인 진단" · EN
어젯밤 붙인 자가치료가 이번엔 전혀 먹히지 않았고, 빠진 종목을 되살리는 과정에서 원인 진단을 두 번이나 다시 뒤집었습니다.
- "[260928] R9700 백업 GPU 자가치료 배선과 동시요청 상향 재검토" · EN
죽은 슬롯을 고치는 코드를 실전에 붙였고, 동시 요청을 더 늘리자는 판단이 틀린 전제 위에 있었다는 걸 확인했습니다.
- "[260922~260927] 안전장치를 겹겹이 쌓고, 전제를 다시 검증한 한 주" · EN
서버 퇴화 감지부터 GPU 죽은 슬롯 감지까지 안전장치를 여러 겹 쌓았고, 그 사이사이 "고친 게 정말 원했던 걸 이뤘나"를 다시 검증해 틀린 전제를 찾아냈습니다.
- "[260927] R9700 백업 GPU, 병목 원인과 죽은 슬롯 감지기" · EN
백업 경로가 왜 동시 요청을 늘려도 안 빨라지는지 원인을 찾았고, 슬롯이 죽어서 응답이 폭주하는 문제를 잡아내는 감지기를 만들었습니다.
- R9700에서 35B MoE 모델을 돌려본 기록 - 백엔드, 동시성, MTP를 하나씩 재봤습니다 · EN
Vulkan이 이겼고, 동시 슬롯은 4개가 무릎이었고, MTP는 단일 요청에서만 도움이 됐습니다
- "[260926] self-ρ 측정 전면 퇴역과 테스트발 원장 오염 발견" · EN
자원 낭비로 판단한 측정 하나를 완전히 껐고, 그 과정에서 테스트가 실거래 원장에 가짜 기록을 남기고 있던 걸 찾아 정리했습니다.
- 27B dense 모델을 RTX 5090 한 장에서 2배 빠르게 - 병목은 동시성 숫자가 아니라 KV 캐시였다 · EN
100종목 야간 배치를 6시간대에서 3시간 안쪽으로 줄인 과정과, 그 숫자를 믿으면 안 되는 이유들
- "[260925] 뉴스 수집 범위 실시간화와 보조 카드 안전장치 배포" · EN
어제 시각 조정만으로는 풀리지 않던 문제를 오늘 뉴스 수집 구조 자체를 바꿔서 풀었고, 보조 카드 상시운용을 위한 안전장치도 실제로 배포했습니다.
- "[260924] 야간 실행 시각 조정과 보조 카드 상시운용 설계 검토" · EN
검증해보니 시각 조정만으로는 원래 목표를 이루지 못했고, 보조 카드 상시운용 자문에서는 예전에 참고했던 성능 수치가 오독이었다는 것도 확인했습니다.
- "[260923] 주문 식별 로직 마무리와 비대해진 작업 문서 다이어트" · EN
실행 계층의 남은 구멍 하나를 메우고, 계속 불어나던 작업 추적 문서를 관리 가능한 크기로 되돌렸습니다.
- "[260922] 서버가 조용히 망가지는 문제 - 감지·격리·복구 안전장치를 만든 하루" · EN
어제 발견한 뉴스 입력 사고를 마무리하자마자 새로운 결함이 나타났고, 재발 방지 장치를 하루 만에 만들었습니다.
- 온도를 처음으로 진짜 바꿔봤더니 - 사전등록 규칙이 "기각"이라 했는데 내가 뒤집은 이유 · EN
몇 주 동안 "논의했다"고 믿었던 샘플링 온도 실험이 사실은 한 번도 실행된 적이 없었습니다
- "[260914~260920] 측정·검증 도구 자체의 결함을 연달아 찾은 한 주" · EN
유니버스 오염 사고로 시작해, 랭킹 로직·AI 샘플링 설정·벤치마크 도구까지 검증 자체가 잘못돼 있던 지점을 하나씩 찾아 고쳤습니다.
- "[260920] AI 응답 온도 실험 - 판정은 애매, 최종 결정은 내일로" · EN
이틀째 이어온 비교 실험 결과가 나왔지만 크기가 애매해 다른 AI에게 재검토를 맡겼고, 성능측정 도구에 밀려있던 수선들도 한번에 끝냈습니다.
- "[260919] 성능측정 하네스 - 자동 재개가 권한 벽에 막혀 GPU를 헛되이 점유했다" · EN
어제 고친 측정 도구로 새벽에 자동 재개가 걸렸는데, 첫 트라이얼만 띄운 채 조용히 멈춰버렸습니다. 결국 사람이 직접 이어받아 라운드를 마무리했습니다.
- "[260918] 성능측정 하네스 - 측정 도구 자체의 계측 오류 두 건을 발견해 고쳤다" · EN
GPU 사용량을 실제보다 3배 넘게 잘못 계산하고 있었고, 측정 시간제한이 너무 짧아 후보 순위까지 거꾸로 나오고 있었습니다. 두 건 다 오늘 안에 찾아 고쳤습니다.
- "[260917] 벤치마크 하네스 첫 검증 - 설정이 새는 지점을 하나씩 막았다" · EN
어제 고친 모델 설정이 새로 만든 성능 측정 도구에는 하나도 안 들어가고 있었던 걸 발견해 하루 종일 하나씩 막았고, 11일째 방치돼 있던 안전장치 항목들도 오늘 전부 정리했습니다.
- "[260916] AI 판단 모델 샘플링 설정 점검 - 의도와 다른 값으로 돌고 있었다" · EN
AI 리포트용 모델들이 몇 주째 의도한 것과 다른 샘플링 설정으로 돌고 있었다는 걸 발견해 바로잡았고, 지난주 그래픽카드 장애의 후속 안전장치도 마무리했습니다.
- "[260915] 동점 점수 처리 로직 교체 - 기각된 방식에서 새 방식으로" · EN
순위 동점 처리 방식 하나가 사전에 정한 판정 기준을 통과하지 못해 기각됐고, 같은 날 새 방식으로 즉시 교체했습니다.
- "[260914] 외부 시세 데이터가 통째로 비어버린 날 - 유니버스 오염 사고" · EN
시가총액 데이터가 전부 비어버리자 종목 구성 순위가 알파벳순으로 둔갑했고, 이를 막는 3중 방어층을 새로 넣었습니다.
- "[260907~0913] 공유계좌 실거래 전환 - 계좌 구분값 누락이 반복해서 문제를 일으켰다" · EN
새 공유계좌로 실거래를 시작했고, 그 과정에서 계좌 구분값을 안 넘기거나 전역으로 공유해버리는 같은 유형의 버그가 킬스위치 오발과 강제매도로 여러 번 반복됐습니다
- "[260913] 킬스위치 사고 사후검토 - 증상만 지웠던 원인이 남아있었다" · EN
어제 급하게 지운 킬스위치 오발 증상, 오늘 사후검토에서 뿌리 원인이 월요일 실거래를 다시 막을 위험으로 남아있는 걸 발견해 수선했습니다.
- "[260912] 킬스위치 오발 - 계좌 구분값 누락이 부른 실거래 정지 위험" · EN
정보용 모의 틱이 실계좌 킬스위치와 같은 이름공간을 공유하면서, 무관한 계좌 잔고로 계산한 가짜 손실이 월요일 실거래를 막을 뻔했습니다.
- "[260911] 이관 방지 플래그가 다른 계좌 매물을 잘못 건드린 사고" · EN
한쪽 계좌 재매수를 막으려고 걸어둔 플래그가 전역으로 적용되면서, 방금 이관받은 다른 계좌 종목을 도로 강제매도시키고 있었습니다. 같은 날 성능 최적화 자동화 도구도 하나 새로 완성했습니다.
- "[260910] 계좌 이관 첫날 버그 두 건과 그래픽카드 인시던트 근본수선" · EN
실물 이관은 끝났지만 자동전환은 버그로 하루 종일 죽어있었고 실계좌 대사 사고도 하나 터졌습니다. 반복되던 그래픽카드 인식 실패의 진짜 원인도 오늘 찾아 고쳤습니다.
- "[260909] 새 증권사 계좌를 공유계좌로 재설계하고 첫 실거래를 냈다" · EN
개인 자금과 봇 자금이 섞여 있는 새 계좌를 위해 안전장치 전체를 다시 설계했고, 그 계좌로 첫 실주문이 나갔고, 계좌 간 자금 이관 방식도 은행이체 없는 자동전환으로 확정했습니다
- "[260908] 증권사 로그인 자격증명 로딩 순서 버그와 유출 위험을 잡은 하루" · EN
증권사 API 로그인이 매번 실패하던 원인을 찾다가, 고치지 않고 배포했으면 열렸을 뻔한 정보유출 구멍까지 함께 막았고, 별도로 종목 유니버스 편입 규칙에 완충을 넣었습니다
- "[260907] VRAM 정리 패치가 저녁 프로덕션 장애로 되돌아온 하루" · EN
낮에 적용한 GPU 메모리 정리 패치가 저녁 프로덕션 3연속 실패로 돌아왔고, 별도로 증권사 API 페이지네이션 버그도 하나 잡았습니다
- "[260831~0906] 재발한 원장 오염과 자동화 함정을 뿌리부터 추적한 한 주" · EN
이틀 연속 재발한 원장 오염 사고의 뿌리를 결국 찾아냈고, 그 사이 장중 관측 파이프라인과 GPU 확장으로 새 실험 트랙도 열었습니다
- "[260905] 로컬 대형모델 100종목/10시간 목표 - 서버 튜닝과 원인 진단으로 보낸 하루" · EN
벤치마크에서 이긴 설정이 실전에서는 오히려 손해였던 이유를 추적했고, 별도로 진행 중이던 통계 경보 하나도 최종 종결했습니다
- 몇 번이나 기각했던 그래픽카드를 오늘 결국 들였습니다 - AMD Radeon AI PRO R9700 · EN
메인 카드로는 세 번 넘게 떨어뜨렸던 카드를, 목적을 바꿔서 다시 산 이야기
- "[260904] 어제 남긴 우회 경로 허점과 오탐 버그 두 건을 마저 수선하다" · EN
수동 라운드를 막던 하드코딩 문제를 근본적으로 고치고, 이틀째 재발한 테스트 오염과 야간 복구 로직의 오탐 원인도 함께 잡았습니다
- "[260903] 야간 크래시 하나가 부른 하루 종일의 뒤처리" · EN
어젯밤 배선 실수로 밤새 못 돈 배치를 아침에 발견해 복구하다가, 우회 경로의 허점과 이틀째 재발한 테스트 오염 버그까지 같이 잡았습니다
- "[260902] 장중 MoE 섀도 실가동과 코스피·코스닥 후보풀 재조정" · EN
새로 켠 관측 파이프라인에서 버그 세 개가 연달아 튀어나왔고, 같은 날 후보 종목 구성비도 바꿨다
- "[260901] 구조 자문 리팩터링 4단계 실행과 사후검증, 그리고 재시작 자동화" · EN
AI에게 프로젝트 구조를 통째로 봐달라고 했고, 고친 뒤엔 다시 검증까지 맡겼다
- "[2608] 실거래 전환과 두 번째 증권사 연동, 그 사이 조용히 죽어있던 버그들" · EN
이번 달 가장 큰 진전은 실거래 시작과 두 번째 증권사 병행운영이었고, 그 사이사이에서 며칠씩 티 안 나게 실패하고 있던 버그를 반복해서 걷어냈습니다
- "[260831] 상주 프로세스 재시작 누락과 모의계좌 원장 오염, 하루 새 겹친 두 장애" · EN
며칠째 조용히 멈춰 있던 갱신 프로세스와 증권사 API 스케일 오류가 만든 원장 오염 사고
- "[260824~0830] 두 번째 증권사 병행운영을 시작하며 잡아낸 조용한 버그들" · EN
이번 주 가장 큰 진전은 새 증권사 실계좌 검증과 모의투자 병행운영 개시였고, 그 사이사이에서 며칠씩 티 안 나게 실패하던 버그를 여럿 걷어냈습니다
- "[260830] 판정 조건이 몇 달째 성립을 못 하길래, 수동 확인을 자동 센서로 바꿨다" · EN
시장 레짐 자동 감시와 AI 재검토로 찾아낸 야간 감시 공백 두 건
- "[260829] 새 로컬 모델로 정식 전환, 그 옆에 예전 모델을 조용히 얹었다" · EN
몇 주 끌어온 모델 비교를 끝내고 전환을 확정한 날, 완주 판정 버그 하나도 함께 잡았다
- "[260828] GPU 작업 시간창 충돌 - 반복되는 실패를 인프라로 정리했다" · EN
손으로 계산하던 안전 시간창을 코드로 옮기고, 실계좌에서 발견한 매매 되돌림도 함께 고쳤다
- 블로그를 옮겼습니다 - 티스토리에서 깃허브 페이지·Dev.to로 · EN
글 쓰는 과정을 자동화하려다 보니, 결국 플랫폼 자체를 옮기게 됐습니다
- 그래픽카드 세대별 로컬 LLM 속도와, 우리 프로덕션이 매일 처리하는 토큰량 · EN
모델명·서빙 설정·prefill/decode 실측치까지 전부 공개합니다 (2026-09-26 기준으로 재정리)
- 기가바이트 RTX 5090 AORUS MASTER ICE 구매 후기 - 그래픽카드 두 장을 한 장으로 정리했습니다 · EN
나눠 쓰던 그래픽카드 두 장을 한 장으로 합치면서 달라진 것들을 정리했습니다
- "[260827] 백로그 전수분류로 찾아낸 며칠째 조용히 죽어있던 버그들" · EN
작업 목록을 처음부터 끝까지 다시 훑다가 여러 날 동안 티 안 나게 실패하던 기능 두 개를 발견했고, 두 번째 증권사 모의투자 병행운영도 시작했습니다
- "[260826] 프로덕션 시작 시각을 당겼다가 발견한 순차 실행 문제, 그리고 새 증권사 연동 검증" · EN
시작 시각을 앞당기면서 드러난 순차 실행 버그를 병렬 배칭으로 고치고, 새 증권사 API를 실계좌로 검증했습니다
- "[260824] 07:30 리포트 안전장치 정리 + 그래픽카드 반품 결정 번복" · EN
겹쳐 있던 방어장치를 하나로 정리하고, 지난주 반품하기로 했던 카드를 다시 쓰기로 했습니다
- "[260817~0823] 발행 인프라를 새로 짜고, 조용히 사라지는 신호들을 잡았다" · EN
블로그 발행 방식을 바꾼 김에, 표본에 속지 않는 판단과 소리 없이 죽는 파이프라인을 잡아내는 계측을 함께 정비했습니다
- "[260823] 주말 A/B 테스트 결과 판정 + 실행 파이프라인 안정성 보강" · EN
성과가 더 좋아 보이는 표본에 속지 않게 결과를 정리하고, 실행 계측을 함께 보강했습니다
- [260817~0822] 그래픽카드를 바꾼 뒤, 검증 도구들의 허점을 연달아 잡았다 · EN
하드웨어 교체 판정이 한 주 동안 두 번 뒤집혔고, 자동 검증 도구 두 개가 조용히 오류를 놓치고 있었다는 게 드러났고, 실계좌에서는 사람이 두 번 직접 개입해야 했습니다
- [260822] 티스토리를 떠나 GitHub Pages + Dev.to로 - 발행 자동화 개편 · EN
개발일지가 몇 주째 뜸했던 진짜 이유를 찾아 고치고, 발행 플랫폼 자체를 바꿨습니다
- [260810~0812] 실거래 첫 주 - 준비, 시작, 그리고 보완 · EN
월요일엔 마지막 점검만 했고, 화요일에 실거래를 시작했고, 수요일까지 이틀 동안 실제 운영에서만 드러나는 문제들을 하나씩 잡았습니다
- [260805~0809] 주말 작업일지 - 전략 가설 정리와 실거래 준비 점검 · EN
평일 사흘은 비교적 조용했고, 주말 이틀에 몰아서 세 가지 전략 아이디어를 검토해 접었고, 실거래 직전 마지막 점검에서 생각보다 큰 구멍들을 발견해 고쳤습니다
- [260731~0804] 알림 정비 마무리, 성과 계산 오차, 그리고 회귀 사고 · EN
주말을 사이에 두고 닷새를 정리합니다 - 알림 체계 정비를 마무리하다가, 모의계좌 성과 계산이 실제 잔고와 미묘하게 안 맞는다는 걸 발견했고, 하루 뒤엔 그 여파로 작은 회귀 사고까지 겪었습니다
- [260730] 미국 시장 이식 검토 - 기술은 가능해도 아직 이르다 · EN
지난 며칠 고친 것들이 실제로 버티는지 확인한 하루였고, 동시에 이 시스템을 미국 주식 시장으로 옮길 수 있을지도 진지하게 검토해봤습니다
- [260727~29] 조용한 크래시, 기록 누락, 27시간 신호 침묵 · EN
사흘 내내 "돈이 잘못 나간" 사고가 아니라 "아무 일도 안 일어난" 사고들을 쫓아다녔습니다 — 월요일 새벽의 조용한 크래시, 독자 제보로 찾은 성과 기록 누락, 그리고 서킷브레이커 상황에서 하루 넘게 이어진 신호 침묵까지
- [260726] 시스템 자산의 백업 체계 구축 · EN
시작 이후 쌓아온 데이터가 단일 디스크 위에 있는 치명적 위험을 발견하고, 오프사이트 백업과 버전관계를 완전히 새로 꾸몄습니다
- [260723~25] 현금 배치 버그, 위험종목 안전망, 시계 오차 사고 · EN
사흘 동안 새 기능보다는 이미 있던 것들을 촘촘하게 다듬었습니다 — 모의계좌 현금 배치 버그를 잡고, 지인이 알려준 종목 하나가 계기가 된 위험종목 안전망을 만들고, 재부팅 후 생긴 시계 오차 사고를 수습했습니다
- [260721~22] "환각"인 줄 알았던 버그를 잡고, 첫 실주문을 냈다 · EN
실거래 준비 마지막 단계라 정신없이 작업하다 보니 그날그날 글 쓸 틈이 없었는데, 그 이틀 안에 데이터 버그 하나와 이 프로젝트의 첫 실거래가 같이 있었습니다
- [260720] 품고 있던 의심 두 가지, 검증해보니 둘 다 틀렸다 · EN
네트워크 감시 프로그램에 대한 걱정을 다른 AI 자문에게 검증시켜봤더니 둘 다 반증됐고, 실거래 준비 쪽에서는 진짜 안전장치 버그를 하나 더 잡았습니다
- [260713~260719] 첫 실주문 앞에서, 믿을 수 없는 것부터 다 끄집어냈다 · EN
WiFi가 15초 끊긴 사고가 견고함의 원칙을 세우게 했고, 실제 돈이 나가는 코드를 감사하자 "아직 첫 주문을 넣지 말라"는 결론이 나왔습니다
- [260718] 첫 실주문 앞에서, 코드가 반대표를 던졌다 · EN
실제로 돈이 나가는 코드를 다시 감사했더니 진짜 버그가 여럿 나왔고, 그 김에 증권사 선택도 다시 따져봤습니다
- [260717] 한국어로 물었는데 영어로 답했다 — 그리고 코드 감사 시즌 · EN
데이터 넘기는 방식을 바꿨더니 리포트가 갑자기 영어로 나왔고, 그 김에 여러 곳을 감사했더니 실버그와 사각지대가 하나씩 나왔습니다
- [260716] 끊긴 건 15초였는데, 피해는 4시간 45분이었다 · EN
와이파이가 잠깐 끊겼다가 조용히 반쪽짜리 연결로 남아있었던 사건과, 그 김에 다시 세운 "가장 싼 걸 가장 위험한 것에 의존시키지 말자"는 원칙
- [260715] 같은 유형의 버그를 또 잡았다, 이번엔 재발 자체를 막기로 했다 · EN
큰 종목 이름을 못 알아보던 버그를 또 발견했고, 이번엔 고치는 대신 다시는 이런 일이 안 생기게 구조를 바꿨다
- [260714] 케이스를 바꿨더니, 미뤄뒀던 일이 한꺼번에 풀렸다 · EN
두 번째 그래픽카드를 드디어 제대로 꽂았고, 그 김에 가장 중요한 종목 두 개가 몇 주째 데이터에서 빠지고 있던 것도 발견했다
- [260713] AI가 자신 있게 틀렸던 순간을 목격했다 · EN
리포트를 검토해준 AI가 실제 실적을 "있을 수 없는 수치"라며 오염이라 판정했는데, 확인해보니 진짜였다
- [260706~260712] 겉보기 지표를 의심하는 데서 시작해, 재현되는 속도로 끝난 한 주 · EN
월요일 "제일 깨끗하다"던 모델이 사실 아무 근거 없이 돌고 있었다는 게 화요일에 드러난 뒤로, "겉보기 지표도 빨라진 속도도 그대로 믿지 말자"가 이번 주를 관통했습니다
- [260712] 어제 "뒤집었다"던 결과, 오늘 다시 파보니 더 복잡했다 · EN
속도는 진짜 빨라졌는데 일관성이 흔들린다는 걸 알게 됐고, 그 와중에 전원 케이블 사고로 재부팅까지 겪었다
- [260711] 그래픽카드 확장, 일단 새 카드부터 갈아 끼워 테스트했다 · EN
두 장을 같이 꽂기 전에 새 카드 안정성부터 확인했고, 예전에 "효과 없다"고 접었던 방법도 다시 꺼내 뒤집었다
- [260710] '조용히' 잘못되고 있던 것들을 하루에 세 개 잡았다 · EN
생성이 끝없이 폭주하던 문제부터, 아침에 고친 게 저녁에 조용히 속도를 반토막 낸 것까지
- [260709] 몇 주째 미스터리였던 새벽 크래시의 진짜 범인을 찾았다 · EN
메모리 문제의 진짜 원인을 찾아 고치는 김에, 프로덕션을 실수로 죽여버리기도 한 하루
- [260708] 요약 모델 말만 믿었다가 실계좌에 취소 안 되는 주문이 남았다 · EN
새 자동투자 기능을 안전하게 검증하는 트랙을 만드는 김에, API를 잘못 추측했다가 겪은 사고까지
- [260707] 앙상블의 한 축이 6개월 넘게 완전히 비어있었다 · EN
리서치 파이프라인 한 축이 사실상 무근거로 동작하던 이중 사고를 잡아내고, 그 김에 야간 프로덕션을 통째로 다시 짠 하루
- [260706] 로컬 LLM 3종 비교에서 찾아낸 숨은 실패 패턴들 · EN
등급 분포만 봐서는 안 보였던 두 가지 실패 유형, 그리고 프레임워크 마이그레이션으로 잡은 구조화 출력 문제