If you test on the same data you optimized on, you don't have a backtest
u/Nvestiq ·
Reddit — r/algotrading
· 2026년 6월 27일, 22:00
· ⬆ 15 포인트
· 💬 16 개 댓글
| Reddit에서 보기 ↗
AI 요약
=== 요약 ===
- 게시물은 최적화에 사용된 동일한 데이터로 전략을 테스트하는 것에 대해 경고하며, 이는 진정한 우위를 밝히기보다는 노이즈에 적합시키기 때문입니다.
- 마지막 20-30% 데이터를 건드릴 수 없는 홀드아웃으로 떼어내고, 이전 부분에서만 반복하며, 홀드아웃에 대해 단 한 번의 최종 테스트를 실행할 것을 주장합니다.
- 품질 평가: 이는 양호한 연구 기반의 실용적인 조언(실사와 유사한 방법론)으로, 투기나 노이즈가 아닙니다.
=== 심리 ===
중립
=== 투자 아이디어 ===
이 게시물에는 실행 가능한 투자 아이디어가 없습니다.
점수15
댓글16
추천 %74%
▶ 전체 게시글 텍스트
This is the first thing we check when someone shows us a strategy, and it's where most "great" backtests fall apart.
If you tune your parameters on a stretch of data and then measure performance on that same stretch, the result tells you nothing. The system didn't learn an edge, it fit the noise in that specific window. It'll look pristine in testing and unravel the moment it touches data it hasn't seen.
So this is what discipline can help fix that:
Carve off the last 20-30% of your data before you do anything and treat it as untouchable. Optimize, tweak, and iterate entirely on the earlier portion. When you're genuinely finished, run the strategy once on the slice you set aside. That single number is the best indicator of whether you have something.
The technique is trivial, but holding the line is not. The instinct to **"adjust one more thing"** after you've glanced at the holdout is exactly how the holdout gets contaminated, and once it's contaminated it's gone.
If the out-of-sample result holds, you might be onto a real edge. If it doesn't, you just saved yourself a drawdown.
Let us know, how tightly does everyone here actually guard that final slice while iterating?