ПРАВИЛА И ЭКСПЕРИМЕНТЫ
Лучший тест может быть случайностью
Число перебранных вариантов — часть результата исследования.
Как это устроено
Если перебрать много правил на одной истории и выбрать победителя, можно отобрать удачное совпадение с шумом. Исследования переобучения бэктестов показывают важность учёта всех попыток. Сохраняй версии гипотез и отделяй подбор от оценки; многократное обращение к проверочному периоду постепенно превращает его в часть подбора.
Учебный эксперимент: из 200 наборов параметров показан только самый прибыльный. Для оценки нужны остальные попытки, процедура выбора и результаты на данных, не использованных для этого выбора.
Почему одного красивого графика лучшего варианта недостаточно?
Посмотреть объяснение
Он скрывает число попыток и риск случайного выбора. Нужны прозрачный процесс и независимая проверка.