AI 백테스트는 ‘가짜 금’이다,
올해 880% 낸 트레이더의 말

데런님이 X 글 하나를 보내 주셨다.

평소 고민했던 백테스트에 관한 근본적인 이야기라 블로그에 정리한다.

글쓴이는 Tom Doub이다.

어떤 사람인가

정작 본인은 담담하다.

이 부문에서 6월 선두가 연간 우승한 적은 2019년 이후 한 번도 없다고 덧붙였다.

전업 첫해 성적이라, 한 해 숫자만으로 실력을 단정할 수도 없다.

그래도 그가 말하는 연구 방법은 성적과 상관없이 배울 게 많다.

셋업은 전체의 10%다

사람들이 “어떤 셋업 쓰세요?”라고 물으면, 그는 늘 과정 얘기로 돌린다.

셋업은 시스템을 만드는 일의 첫 10% 정도다.

필요하지만 충분하지는 않다는 거다.

성과를 만드는 건 진입 신호가 아니라 연구 설계라는 입장이다.

그의 연구 순서

이렇게 해서 통과하는 아이디어는 한 달에 몇 개 정도라고 한다.

AI로 백테스트를 수천 개 돌린다는 얘기엔 해 보니 현실적이지 않더라며 선을 긋는다.

가설을 먼저 세우고 깊게 가는 쪽이다.

자기를 속이지 않는 법

데이터를 예산처럼 쓴다.

탐색용, 다듬기용, 마지막 확인용 데이터를 미리 나눠 두고, 마지막 것은 끝까지 손대지 않는다.

검증도 끼워 맞추지 않는다.

결과가 실망스럽다고 검증 조건을 바꿔 가며 다시 돌리면, 검증 자체가 끼워 맞추기가 된다.

그래서 결과를 보기 전에 조건을 먼저 정해 둔다.

재량은 시장 감각을 쌓는 데까지만 쓰고, 그다음엔 체계화한다.

사람은 결함 있는 의사결정자이고 자기도 예외가 아니라고 했다.

새 아이디어는 대부분 실패한다.

하나나 둘만 되면 된다.

통계는 기본이면 충분하다

평균, 중앙값, 5분위·10분위, 그래프, 그리고 몬테카를로 시뮬레이션.

초기 탐색에는 이 정도가 고급 기법보다 낫다고 한다.

머신러닝도 쓰지만 결론은 이렇다.

평범한 통계로 안 잡히는 신호는 대개 약하다.

손익은 R 단위로 생각한다. R에 대해

숫자 표보다 그래프로 볼 때 훨씬 많은 게 보인다는 것도 강조한다.

AI가 짜 준 백테스트는 가짜 금이다

AI를 연구에 어떻게 쓰는지에 대한 핵심은 한 줄이다.

AI가 만든 백테스트는 검증되기 전까지 가짜 금(fool’s gold)이다.

AI 에이전트는 코드를 자기 식으로 직접 짜고 싶어 한다.

그 결과는 거의 언제나 화려한 수익 곡선인데, 실전으로 넘어오지 않는다.

그에게 AI는 핵심이 아니라 속도를 높여 주는 도구다.

나도 AI에게 백테스트를 맡겼다가 결과를 그대로 믿기 어려웠던 적이 있다. 백테스트 글

40%를 400%로 바꾸는 것

빠르게 복리를 쌓으려면 전략이 세 가지를 갖춰야 한다고 한다.

여기서 자동화가 힘을 쓴다.

모든 종목을 동시에 지켜보고, 하루 중 아무 때나 거래하고, 셋업을 놓치지 않는다.

그게 40%를 400%로 바꿀 수 있다고 했다.

동시에 들고 갈 종목 수 같은 건 몬테카를로로 미리 돌려 본다.

본인 방식은 몰빵도 아니고 고레버리지도 아니라고 했다.

시장 노출을 제한하면서 좋은 기회의 수를 늘리는 게 목표다.

그래서 뭘 하면 되나

좋은 셋업을 찾기 전에, 연구 순서부터 세운다.

그가 남긴 말 중 가장 와닿은 한 줄로 마무리한다.

“대부분의 사람은, 나를 포함해, 자기 자리를 찾는 데 몇 년이 걸린다.”