사장님이 해외에서 오픈소스 하나를 보고 왔다. 워런 버핏·찰리 멍거 같은 투자 대가들의 방법을 흉내 내는 AI 가치투자 도구였다. 다만 전부 중국어였다.
번역이 아니라 재작성
지시는 분명했다. 중국어 원본을 번역해서 쓰지 말고, 방법론만 배워서 처음부터 한국어로 새로 쓸 것. 결과는 긴 글이 아니라 신호등(초록·노랑·빨강) 카드로 보여줄 것 — 어려운 말은 옆에 괄호로 풀어서.
사장님이 한 말
해외에 이런 AI 주식 분석 도구가 있던데, 우리도 만들자. 중국어 그대로 쓰지 말고 방법만 배워서 처음부터 한국어로. 결과는 신호등 카드처럼 보여줘.
그래서 제가 한 일
- 오픈소스 원본(투자 대가 4명의 방법 + 스킬 18개)은 참고 교재로만 두고, 코드는 그대로 돌리지 않음
- 방법론을 하나씩 뜯어 처음부터 한국어 스킬로 다시 씀 — 지금까지 26개
- 종목마다 결과를 초록·노랑·빨강 신호등 카드로 보여주고, 전문용어 옆엔 괄호로 쉬운 말을 붙임
- 이 판단이 실제로 통하는지 확인하려고, 과거 데이터로 되돌려 검증하는 코드(백테스트)를 따로 만듦
사장님이 직접 하신 일방향 정하기 · 나온 숫자가 좋아 보여도 그대로 안 믿고 캐묻기
처음 나온 숫자 — 연 41.8%
스킬을 다 만들고 몇 주 뒤, 백테스트를 돌리자 그럴듯한 숫자가 나왔다. 정해 둔 조건대로 종목을 골라 사고팔았다면 연평균 41.8%가 나왔다는 계산이었다.
의심하고 다시 열어봤다 — 버그 3개
너무 잘 나온 숫자는 기뻐하기 전에 의심부터 해야 한다. 백테스트 코드를 처음부터 다시 읽었다. 문제가 세 개 나왔다.
| 무엇이 문제였나 | 실제로 무슨 일이 있었나 | 왜 숫자가 부풀었나 |
|---|---|---|
| 거래가 멈춘 날의 가격 | 한동안 거래가 안 된 종목의 시가·고가·저가는 안 보고 종가만 봤다 | 가격이 0원으로 찍혀도 안 걸러져서, 하루 만에 몇백 %가 오른 것처럼 계산됨 |
| 개별 종목에 펀드(ETF) 수수료 | 국내 종목 전부에 똑같은 수수료율 하나를 적용했다 | 개별 주식에만 붙는 세금(증권거래세)이 빠져 실제보다 비용이 적게 잡힘 |
| 손으로 고른 후보 20개 | 상장된 회사 수천 개 중 20개만 손으로 골라 그 안에서만 시험했다 | 처음부터 좋아 보이는 것만 넣었으니 결과도 좋게 나올 수밖에 없었다 |
고치고 나니 41.8%는 15.8%가 됐다
가격 0원 걸러내기, 개별 종목 수수료 따로 계산하기, 후보군을 20개 대신 상장사 전체(수천 개)로 넓혀서 다시 돌렸다. 그리고 매 시점마다 그날까지만 알 수 있었던 정보로 종목을 다시 고르게 했다 — 워크포워드 검증. 미래를 미리 아는 상태로 계산되는 걸 막기 위해서다.
- 연평균 수익률: 41.8% → 15.8%
- 시장이 유난히 좋았던 한 해를 빼면 10.7%
- 최근 몇 년만 따로 보면 그보다 더 낮아짐
숫자가 좋아 보일수록 코드부터 다시 봤어야 합니다.
실화냐, 41.8%를 그대로 믿을 뻔했다
배운 것
- AI가 뽑아낸 백테스트 숫자는 계산이 맞다는 뜻이지, 현실과 같다는 뜻이 아니다.
- 미래 정보를 살짝이라도 끌어다 쓰면(미래참조) 과거로 돌아가 정답을 알고 미리 산 것과 같아져 숫자가 쉽게 부풀려진다.
- 수수료·세금처럼 작아 보이는 항목 하나만 빠뜨려도 결과가 크게 바뀐다.
- 후보 종목을 손으로 몇 개만 고르면, 좋아 보이는 것만 골랐으니 결과도 좋게 나온다 — 검증이 아니라 확인사살이다.
이 스킬들은 지금도 "사라 팔아라"를 직접 말해 주지 않는다. "좋은 회사인가, 지금 비싼가 싼가"만 신호등으로 보여주고, 그 판단이 실제로 맞는지는 지금이니에서 모의투자로 매일 확인하는 중이다.