Backtesting without proper WFA is mostly just curve fitting.
u/Kindly_Preference_54 ·
Reddit — r/algotrading
· 2026년 3월 3일, 18:07
· ⬆ 16 포인트
· 💬 9 개 댓글
| Reddit에서 보기 ↗
AI 요약
=== 요약 ===
- 해당 게시물은 개인 알고리즘 트레이딩에서 일반적인 백테스팅 접근법을 비판하며, 이는 종종 엄격한 검증 없이 곡선 맞춤에 불과하다고 주장합니다.
- 작성자의 주장은 적절한 롤링 워크포워드 분석(WFA)이 전략의 견고성을 검증하고 과거 데이터에 곡선 맞춤될 확률을 줄이기 위해 필요하다는 것입니다.
- 품질 평가: 이는 방법론적 논의이지 투자 실사(DD)가 아닙니다. 정량적 전략 개발에 대한 건전하고 널리 인정받는 원칙을 제시하지만, 특정 시장이나 자산을 분석하지는 않습니다. 시스템 개발자에게는 고품질 조언이지만 시장 투기나 노이즈는 포함되어 있지 않습니다.
=== 심리 ===
중립
=== 투자 아이디어 ===
이 게시물에는 실행 가능한 투자 아이디어가 없습니다.
점수16
댓글9
추천 %84%
▶ 전체 게시글 텍스트
I see many posts saying:
“I backtested several years. It works. Now I’ll go paper. If paper works, I go live.”
But when people say “backtested”, they usually mean they tried different parameters several times and chose the best settings. That’s actually limited manual optimization. The problem is they don’t know if the result is just curve fitting. This needs to be refuted.
Most likely outcomes:
* It fails already on paper -> wasted time
* It survives paper by luck -> fails live -> real money lost.
So how do you reduce the probability it’s curve fit? Rolling Walk-Forward Analysis (WFA).
Example (simplified):
1. Sep 2024 – Feb 2025 (in-sample - IS): full optimization + define selection criteria (PF, Sharpe, Recovery Factor, etc. + backward OOS can also serve as criterion).
2. Mar – May 2025 (out-of-sample - OOS): test the selected setup. If fails, change selection criteria.
That’s one WFA round.
Now repeat this process across past data. Not once - many times. Most traders effectively perform one WFA round with the OOS being “the future”. But you can perform many WFA rounds historically and build a statistically meaningful sample. If a strategy survives 12 WFA rounds, what are the chances it won’t survive the 13th?