Сейчас в моём Freqtrade-эксперименте параллельно работают 21 бот в режиме dry-run. В наборе есть разные семейства стратегий, варианты логики выхода и ROI, спот и фьючерсы, конфигурации для Bybit и OKX.
Естественный вопрос к такому эксперименту звучит так: какой бот победил?
Но именно этот вопрос оказался ловушкой.
Главный вывод эксперимента пока не о том, какая торговая стратегия лучше. Он о более общем принципе: множество параллельных экспериментов быстро создаёт данные, но само по себе не создаёт доказательств.
Можно запустить 21 вариант, построить таблицу доходности и выбрать верхнюю строку. Однако лидер таблицы может быть не лучшей системой, а самым удачным пересечением рыночного режима, момента запуска, набора активов, комиссии и небольшого числа сделок.
Что именно сравнивалось
Рабочая среда состоит из 21 активного dry-run-процесса. Это не торговля реальными средствами. Боты отличаются по нескольким измерениям:
- логике входа и выхода;
- настройкам ROI и стопов;
- рынку: спот или фьючерсы;
- бирже и набору торговых пар;
- сроку работы;
- количеству закрытых сделок.
Такой набор полезен для поиска кандидатов и проверки технического поведения. Но он не является чистым научным экспериментом: не все варианты стартовали одновременно, не все используют одинаковую вселенную активов, а объём наблюдений сильно различается.
Поэтому общий рейтинг всех 21 ботов по прибыли был бы удобным, но методологически слабым ответом.
Первый урок: победитель появляется раньше, чем доказательство
Если одновременно наблюдать много вариантов, кто-то неизбежно окажется первым. Чем больше вариантов, тем выше вероятность увидеть яркий результат даже без устойчивого преимущества.
Это классическая проблема множественных сравнений в практической форме. Мы запоминаем победителя и редко задаём симметричный вопрос: сколько других вариантов должно было проиграть, чтобы один из них случайно выглядел выдающимся?
Поэтому первая позиция в рейтинге означает только одно: этот вариант оказался впереди на выбранном отрезке и при выбранном способе измерения.
Она ещё не объясняет:
- повторится ли результат на следующем периоде;
- сохранится ли он после изменения комиссии;
- переживёт ли другой режим рынка;
- получен ли он тем же уровнем риска;
- есть ли за ним достаточное число независимых сделок.
Лидер — это наблюдение. Не доказательство.
Второй урок: небольшая правка может создать другую систему
Особенно показательными оказались сравнения внутри одной семьи стратегий.
В историческом бэктесте базовая версия TrendPullbackPro на широком спотовом наборе Bybit показала положительный результат. Несколько вариантов с изменённой ROI-логикой на том же интервале ушли глубоко в минус. Формально правка выглядела как настройка выхода. Практически она изменила распределение сделок и риск настолько, что получилась другая система.
Похожее расхождение видно и в dry-run-наблюдении. Варианты одного семейства long/short на одном срезе находились по разные стороны нуля: базовая версия была положительной, а некоторые модификации выхода — отрицательными.
Из этого следует важный инженерный вывод: параметр нельзя считать локальным улучшением только потому, что он находится в секции exit или ROI. Он способен изменить частоту сделок, время удержания позиции, состав выходов и чувствительность к рыночному режиму.
Каждая такая модификация — новая гипотеза, которая должна заново пройти проверку.
Третий урок: стоимость исполнения — часть стратегии
Один из самых наглядных тестов — чувствительность к комиссии.
В бэктесте MacdRegimeAtr на широком спотовом наборе Bybit положительный результат при базовом уровне комиссии стал отрицательным при комиссии 0,2%. Нельзя переносить эти числа напрямую в будущее, но направление вывода однозначно: наблюдаемое преимущество было недостаточно широким, чтобы игнорировать стоимость исполнения.
Если стратегия работает только при оптимистичной комиссии, минимальном проскальзывании или идеальном заполнении ордеров, её преимущество принадлежит модели, а не рынку.
Поэтому комиссия — не финальная поправка к красивому результату. Это часть определения самой стратегии.
Четвёртый урок: 21 процесс — не 21 независимый эксперимент
Количество ботов легко перепутать с количеством независимых ставок.
Несколько процессов могут использовать родственные сигналы, один рынок и похожий список активов. В этом случае они будут часто входить в одинаковые позиции и реагировать на одни и те же движения. Их результаты могут выглядеть как несколько подтверждений, хотя фактически это одна идея в нескольких конфигурациях.
В наблюдениях встречались варианты с одинаковым количеством сделок и практически одинаковым результатом. Это не дополнительное доказательство устойчивости. Наоборот, это повод проверить, не являются ли два бота функциональными дублями.
Для оценки эксперимента важнее не число контейнеров, а эффективное число независимых гипотез.
Если десять ботов делают почти одно и то же, статистически это ближе к одному эксперименту с десятью названиями, чем к десяти подтверждениям.
Пятый урок: отсутствие сделок — тоже результат
В последнем проверенном срезе разброс активности был огромным: одни боты накопили больше ста закрытых сделок после контрольной точки, другие — несколько, а некоторые не закрыли ни одной.
Нулевой результат нельзя автоматически считать ни победой, ни поражением.
Он может означать:
- фильтры слишком строгие;
- выбранный рыночный режим ещё не наступил;
- стратегия фактически неактивна на текущей вселенной;
- есть проблема в данных или конфигурации;
- для вывода просто прошло недостаточно времени.
Это ещё одна причина, почему общий рейтинг доходности вводит в заблуждение. Нельзя честно сравнивать вариант со ста сделками и вариант с одной сделкой, не показывая размер выборки и экспозицию.
Три уровня уверенности вместо одного рейтинга
Чтобы не превращать мониторинг в фабрику ложных победителей, я разделяю выводы на три уровня.
1. Наблюдение
Бот оказался впереди на текущем отрезке. Это сигнал посмотреть глубже, но не основание увеличивать риск или объявлять стратегию рабочей.
2. Кандидат
Результат сохраняется после приведения условий к сопоставимому виду. Учитываются комиссия, просадка, число сделок, срок работы и экспозиция. Преимущество не держится на одной аномальной сделке.
3. Подтверждённая гипотеза
Результат повторяется на отложенном периоде или другом рынке, переживает стресс-тесты стоимости исполнения и имеет понятное причинное объяснение. Даже здесь речь идёт не о вечной истине, а о гипотезе с более сильными основаниями.
Сейчас среди 21 бота есть интересные кандидаты. Но называть кого-то доказанным победителем было бы преждевременно.
Как должен выглядеть честный следующий этап
Следующий этап — не запуск ещё двадцати вариантов. Сначала нужно повысить качество сравнения.
-
Сгруппировать ботов по независимым гипотезам. Родственные варианты одной стратегии не считать отдельными подтверждениями.
-
Зафиксировать сопоставимые окна. Сравнивать результаты на одинаковых временных интервалах, рынках и наборах активов.
-
Нормализовать риск. Смотреть не только на абсолютную прибыль, но и на просадку, экспозицию и капитал под риском.
-
Показывать размер выборки. Любой результат должен сопровождаться количеством сделок и длительностью наблюдения.
-
Проводить fee- и slippage-стресс. Кандидат должен сохранять смысл при менее удобных предположениях об исполнении.
-
Оставлять период нетронутым. Финальная проверка должна проходить на данных, по которым параметры не выбирались.
-
Заранее определить критерий провала. Эксперимент полезен только тогда, когда известно, какой результат заставит отказаться от гипотезы.
Вывод шире трейдинга
Этот опыт применим не только к торговым ботам.
Команды одновременно тестируют рекламные креативы, продуктовые механики, модели машинного обучения и варианты ценообразования. Везде возникает одно искушение: запустить много вариантов, найти лидера и назвать его лучшей практикой.
Но параллелизация ускоряет не доказательство. Она ускоряет появление результатов — включая случайные.
Настоящая ценность системы экспериментов определяется не тем, насколько быстро она находит победителя, а тем, насколько хорошо она умеет:
- отделять корреляцию от независимого подтверждения;
- учитывать стоимость и риск;
- повторять результат вне обучающего периода;
- отказываться от красивой, но слабой гипотезы.
Мой главный вывод после параллельной работы 21 Freqtrade-бота прост:
много данных — ещё не много доказательств.
Сильная экспериментальная система не та, которая чаще объявляет победителей. Сильная система быстрее понимает, почему она может ошибаться.
Материал описывает dry-run-наблюдения и исторические бэктесты. Он не является инвестиционной рекомендацией и не отражает результат торговли реальными средствами.