ПРАВИЛА И ЭКСПЕРИМЕНТЫ
Не дать модели подсмотреть
В расчёте решения допустима только доступная тогда информация.
Как это устроено
Утечка возникает, когда обучение или оценка используют информацию, недоступную в момент прогноза. Даже нормализация по всей истории может перенести сведения из будущей проверки в обучение. Для временных данных проверяй время появления каждого признака, дату публикации и порядок подготовки выборок.
Учебная ошибка: среднее и разброс рассчитываются на всём ряду, включая следующий год, а затем используется разбиение на обучение и проверку. Преобразование нужно настраивать только по обучающей части.
Можно ли выбирать признаки на всей истории до выделения проверочного периода?
Посмотреть объяснение
Это создаёт утечку из проверки. Отбор и настройка выполняются на обучающих данных, затем применяются к проверочным.