Важность размера выборки
Как я уже говорил, люди склонны уделять слишком много внимания редким случаям возникновения какого-то феномена, несмотря на то что со статистической точки зрения из нескольких случаев невозможно извлечь много информации. Это – основная причина подгонки. Правила, которые вступают в действие нечасто, могут вызывать ненамеренную подгонку, приводящую к расхождениям между результатами тестирования прошлого и реального трейдинга.
Хорошим примером этого является сезонность. Тестирование сезонных изменений на протяжении 10 лет предполагает изучение всего 10 случаев возникновения определенного сезонного феномена – со статистической точки зрения такая выборка недостаточна, поэтому все тесты с ее использованием не дают точных прогнозов на будущее.
Давайте рассмотрим правило, которое игнорирует эту концепцию и предполагает использование компьютера для того, чтобы избежать подгонки. Вы могли заметить, что на протяжении нескольких лет результаты сентября были плохими – поэтому мы тестируем правило, улучшающее показатели сентября на некий процент. Вы можете воспользоваться компьютером для поиска любых неудач, связанных с сезонностью, и для улучшения результатов в этих периодах.
Я проделал это для системы, описанной в данной главе. Я провел около 4000 тестов, уменьшавших значение позиции в начале каждого месяца на некоторое количество процентов в течение нескольких дней, а по истечении этого периода начинал вновь торговать в полную силу. За десятилетний период тестирования я обнаружил всего два периода, в которых эти действия приводили к изменениям. Если сокращать позиции на 96 процентов в первые два дня сентября и первые 25 дней июля, можно улучшить результаты. Хотите узнать насколько?
Применение правила улучшает отдачу с 45,7 до 58,2 процента, падение немного вырастает с 39,2 до 39,4 процента, а коэффициент MAR растет с 1,17 до 1,48. И вновь мы думаем, что это отличное правило и что с его применением система заработает лучше.
К сожалению, это правило работает только потому, что в эти периоды в прошлом было существенное падение. Маловероятно, что падения в эти конкретные периоды вновь повторятся. Это – пример самой неправильной подгонки. Удивительно, как много людей, толковых во всех прочих вопросах, умудряются попасться на эту удочку.
Не зная истинной причины, можно подумать, что это отличная система для начала трейдинга. Возможно, вы даже начнете собирать деньги на трейдинг у друзей и родственников, рассказывая им об этой прекрасной системе и ее результатах. Проблема только в том, что на самом деле ваша система приносит не 58,2, а 41,4 процента, падение составляет не 39,4, а 56,0 процентов, а коэффициент MAR равен не 1,48, а 0,74. В итоге все закончится разочарованием в реальных результатах – к сожалению, вы были слишком увлечены легкими поправками системы, что привело к подгонке кривой.
Далее мы обсудим возможности предотвращения проблем, описанных в этой главе. Я покажу вам способы минимизации эффекта трейдера, определения случайных эффектов, корректной оптимизации и предотвращения сверхоптимизации исторических данных – так, чтобы, используя ту или иную систему, вы могли получить реальные сведения, а не иллюзорные прогнозы.
