Переобучение стратегии
Переобучение возникает, когда выбранные правила слишком точно приспосабливаются к особенностям исследованной выборки, включая случайный шум. Высокий исторический результат тогда может плохо переноситься на новые данные. Риск растёт при множестве попыток и скрытом отборе победителя.
Почему лучший вариант может обмануть
При переборе большого числа правил некоторые варианты показывают сильный результат случайно. Если представить только победителя, исчезает информация о количестве попыток и процедуре выбора. Исследование бэктестового переобучения показывает, почему этот отбор важен для оценки результата вне выборки. Число параметров само по себе не описывает весь риск: многократное ручное изменение условий после просмотра графика тоже является поиском и должно оставаться видимым в журнале экспериментов.
Что делает проверку содержательной
Полезно записывать гипотезу и критерий оценки до запуска, сохранять все варианты и выделять данные, не участвовавшие в подборе. Повторное обращение к проверочному периоду постепенно включает его в процесс выбора. Устойчивость соседних параметров и результаты на других периодах дают дополнительный контекст, но не создают гарантии. Вопрос проверки состоит в переносимости зафиксированного правила, поэтому изменение правила после результата должно быть явно отмечено как новый эксперимент.
Один победитель из двухсот
В учебном исследовании проверены 200 сочетаний параметров. Лучшее дало +35%, медианное — −2%. Показать только +35% недостаточно: выбор сделан именно по этой истории. Следующий шаг — зафиксировать выбранное правило и оценить его на ещё не использованных данных. После новой настройки по этому результату потребуется отдельная проверка новой версии.
Условные данные для понимания механики.