Open-sourced a systematic strategy research pipeline to reduce backtest false positives - looking for critique
u/ianhooi ·
Reddit — r/algotrading
· 2026년 4월 9일, 07:13
· ⬆ 17 포인트
· 💬 13 개 댓글
| Reddit에서 보기 ↗
AI 요약
=== 요약 ===
- 저자는 암호화폐 전략 연구를 위해 설계된 체계적인 백테스팅 및 검증 파이프라인을 오픈소스로 공개했으며, 과적합으로 인한 허위 양성을 피하기 위해 엄격한 검증(워크포워드 최적화, 순열 테스트, 다중 데이터 분할)이 필요하다는 핵심 논지를 가지고 있습니다.
- 이 게시물은 특정 거래 전략이나 시장 견해를 제시하는 것이 아니라 방법론에 대한 기술적 기여와 동료 검토 요청입니다.
- 품질 평가: 잘 연구된 기술적 논의입니다. 특정 자산에 대한 실사(DD)가 아닌 실사 프레임워크입니다.
=== 심리 ===
중립
=== 투자 아이디어 ===
이 게시물에는 실행 가능한 투자 아이디어가 없습니다.
*참고: 게시물에서 기본 바스켓(BTC, ETH, LTC, XRP)을 언급하지만, 이러한 자산에 대한 방향성, 기간 또는 확신을 표현하지 않습니다. 전체 초점은 특정 거래를 옹호하는 것이 아니라 연구 방법론 개선에 있습니다.*
점수17
댓글13
추천 %100%
▶ 전체 게시글 텍스트
Built and open-sourced a systematic strategy research pipeline for crypto strategy testing. Main goal is to reduce false positives from naive backtests.
This came out of getting burned by unreliable backtest results and deciding to build a stricter validation workflow instead of trusting pretty equity curves.
Current design:
1. A 3-vault structure: in-sample, out-of-sample, and final holdout
2. Walk-forward optimization for adaptive testing instead of one-shot fitting
3. Chart permutation testing on the early stages to check whether apparent edge is stronger than randomized market noise
4. Modular “indicator cartridges” so different signal components can be combined without rewriting the engine
5. Default multi-asset crypto basket currently includes BTC, ETH, LTC, and XRP
A lot of the work is aimed at one question: does a strategy still look real after stricter validation, or was the original result just backtest noise?
It’s open source and I’d genuinely like critique on:
* failure modes I may still be missing
* whether the validation stack is sensible
* where the pipeline could still fool me
Repo: [https://github.com/chinloong0/Strategy-Factory](https://github.com/chinloong0/Strategy-Factory)