Проверка на новых данных: как заранее разделить историю

Хороший результат на истории, по которой выбирались правила, ещё не подтверждает их устойчивость. Предлагаем обсудить небольшой протокол проверки. До расчётов разделите хронологию на участок разработки и последующий участок проверки. Запишите даты, источник данных, правила обработки пропусков и набор допустимых изменений. Точную длину частей выбирайте осмысленно, объясняя ограничения своей выборки.

На участке разработки можно искать ошибки и уточнять гипотезу. Перед переходом к проверке сохраните окончательную версию. Если после просмотра проверочного результата изменить параметры, этот участок уже участвовал в разработке. Нельзя продолжать называть его совершенно независимой проверкой. Отрицательный результат полезен: он показывает, какие ожидания не подтвердились в выбранных условиях.

Добавьте отдельные проверки реалистичности: доступность информации на момент сигнала, комиссии, задержки исполнения и исключённые инструменты. Для начинающего важнее обнаружить одну серьёзную ошибку, чем получить длинный отчёт с десятками показателей. Сохраните все испытанные версии, чтобы было видно, сколько попыток предшествовало выбранному результату.

Как вы организовали бы такой эксперимент для простого правила и ограниченного объёма данных? Покажите план без подбора выгодных дат задним числом. Какие изменения после первой проверки потребуют новой серии наблюдений, а какие являются исправлением явной технической ошибки и должны быть отдельно задокументированы?

Источники для проверки:

CFA Institute — риски переобучения и многочисленных испытаний — https://www.cfainstitute.org/insights/articles/how-data-can-lead-investment-managers-astray

CME Group — Keep a Trade Log — https://www.cmegroup.com/education/courses/building-a-trade-plan/keep-a-trade-log