Postmortems
Postmortems 전체 글 목록 (22편)
- 예약 작업이 전부 실패했는데도 일회용 슬롯을 소진한 버그 - 아무 일도 안 한 실행이 자원을 먹었다달력 라이브러리가 1년에 한 번뿐인 특수일을 틀리게 돌려줬고, 그 위에서 "실행=슬롯 소비"라는 전제가 백업 경로를 망가뜨렸습니다
- 테스트가 실제 푸시 알림을 발송한 사고 - 부수효과 모킹을 개별 테스트에 맡긴 탓알림 전송을 테스트마다 각자 가로채던 관행이, 새로 생긴 경보 경로 하나에서 실제 발송으로 샜다 — 부수효과 차단은 테스트 하네스의 전역 기본값이어야 한다는 postmortem
- 야간 배치 작업 26시간 멈춤 - 타임아웃 없는 외부 API 호출 하나가 원인처음 고친 줄은 맞았지만 같은 함수 안의 폴백 경로 하나를 놓쳐서, 재발 방지가 반쪽짜리였던 사고를 기록한다
- 리서치 스크립트의 대량 조회가 실거래 라운드를 크래시시킨 사고 - 원인은 임포트 시점 네트워크 호출연구용 백필이 외부 API 차단을 유발했고, 그 차단이 라이브러리 임포트 단계에서 실거래 프로세스를 통째로 죽였습니다
- 병렬 Git 워크트리에서 테스트가 조용히 오염된 사례 - 하드코딩된 sys.path 하나의 문제워크트리마다 돌린 테스트가 전부 통과했는데, 그 통과가 정작 그 워크트리의 코드를 검증한 게 아니었습니다
- 수동 실행이 예약 실행으로 오판된 버그 - systemd 활성화 메타데이터가 생각보다 오래 남았다한 달 전에 고쳤다고 믿은 버그가, 완전히 다른 원인으로 다시 터졌습니다
- 에러 복구 안내 문구가 이중 실행을 부르는 결함 — 머니패스 사가 재점검해피 패스는 수백 개 테스트를 통과했는데, 진짜 치명 결함은 "실패했을 때 뭘 하라"는 안내 문구 안에 있었다
- 순서 의존적으로 실패하는 테스트 - 복원하지 않은 몽키패치가 남긴 오염단독으로 돌리면 통과하고 전체 스위트에서만 실패하던 테스트, 범인은 다른 파일의 몽키패치였습니다
- 시가총액 데이터가 전부 결측치로 왔는데 왜 에러가 안 났을까정렬 기준값이 통째로 사라지면, 정렬 함수는 조용히 원래 순서를 돌려준다
- LLM 온도 파라미터 유실 사고 - A/B 테스트가 처음부터 무효였던 이유상위 함수에 값을 넘겼다는 것과, 그 값이 실제로 서버에 도착했다는 것은 다른 문장이었습니다
- 증권사를 하나 더 붙였더니, 사고가 전부 새 쪽에서만 났습니다KIS(한국투자증권)에서 3주 넘게 안 나던 종류의 버그가 NH증권 Open API를 붙이자마자 연달아 터진 이유
- 테스트 정리 코드가 운영 서버를 죽인 사고이름이 겹치는 프로세스를 패턴으로 죽이는 정리 코드와, 에러 메시지를 문자열로만 분류하는 로직이 겹쳐서 만든 헛다리 진단
- Qwen3.8-Flash-Next 후기 - RTX 5090 + R9700 두 장으로 돌려본 대형 MoE 모델양자화 버전을 세 번 바꾸고 자문을 열여섯 차례 거친 끝에, 프로덕션에 올린 로컬 모델 교체기
- 새로 등록한 조건을 상주 프로세스가 영원히 못 알아본 이유코드는 배포됐는데 그 코드를 실행할 프로세스가 그 전부터 떠 있었던 경우
- 테스트가 목킹하지 않은 함수 하나가 운영 DB를 오염시켰다이틀 연속 재발하고서야 잡은 근본원인 - 로컬 임포트와 파이썬 기본인자 바인딩
- 조용히 실패하는 except 문 - 새로 만든 모듈이 8일째 아무것도 안 하고 있었다캐시 파손을 조용히 넘기려던 except 한 줄이, 의존 라이브러리 자체가 없는 상황까지 함께 삼켜버렸습니다
- 완전자동매매 시스템에 사람이 직접 개입해야 했던 사례 3가지자동으로 돌아가게 만든 것과, 자동으로 끝까지 처리되는 것은 다른 문장이었습니다
- 자동매매 검증 도구가 오류를 놓치는 이유 3가지검증 도구를 새로 붙일 때마다 걸리는 방식이 매번 달랐습니다 — 도구 자신의 버그, 아예 없던 관측, 판독 시점의 착시
- 개발일지 자동화가 한 달 가까이 멈춰 있었던 이유로그조차 안 쌓이니, 돌고 있는지 죽어 있는지 구분할 방법이 없었습니다
- 자동매매 안전장치 오작동 - 판정 기준의 시간 단위가 잘못됐다누적 손실을 막으려던 안전장치가 하루 안의 일시적 하락에도 반응했습니다 — 두 지표를 같은 시간 단위로 재고 있는지가 핵심이었습니다
- 그래픽카드 교체 성능 비교 - 판정이 두 번 뒤집힌 이유처음 방향 판정도, 나중 추가구매 판정도 서로 다른 이유로 틀렸습니다 — 벤치마크를 읽는 방식 자체가 문제였습니다
- AI 리포트 수치 검증기 - 자기정합 검사만으론 못 잡는 오류들문서 안에서는 앞뒤가 맞는데 원본 데이터와는 다른 숫자 — 그런 오류를 잡으려고 검증기를 새로 설계했습니다