Отправлено: 17.03.13 10:27. Заголовок: История котировок по мажорам
При тестировании стратегий проекта MQLabs используется история котировок реального счета компании Admiral Markets. Здесь приводятся ссылки на файлы истории котировок по мажорам с 2009-го года состоянием на 05.03.2014, минутки: 1. EURUSD 2. USDCHF 3. GBPUSD 4. USDJPY (c 2008-го) 5. EURJPY
Время сервера - GMT+0 (UTC+0). С 01.01.2014 котировки идут по времени GMT+2 (UTC+2), что проявляется в отсутствии воскресного дня.
можно еще eurjpy М1 для 5-знаков за 5 лет хотя бы......?
К сожалению, EURJPY есть тоже только с 2009-го года и только 4 знака. Правда, не ручаюсь, что вся она с АМ, т. к. систематично стал отслеживать эту пару только с год назад. По пятизнакам историю придется получать из имеющихся с делением на 10 (терминал сам это сделает).
Сообщение: 69
Зарегистрирован: 04.03.13
Откуда: Москва
Репутация:
1
Отправлено: 28.04.13 10:03. Заголовок: Да и ранее залитые а..
Да и ранее залитые архивы сейчас недоступны, что-то стал постоянно сбоить zalil.ru Может, Игорь, Вы их перезальете на другой сервер, например www.gfile.ru ?
Отправлено: 29.04.13 20:49. Заголовок: Genry пишет: Да и р..
Genry пишет:
цитата:
Да и ранее залитые архивы сейчас недоступны, что-то стал постоянно сбоить zalil.ru
дело в том, что файлы там не живут вечно. Они удаляются через 10 или 20 дней после последнего скачивания. Видимо, никто их не скачивал, вот их и удалили. На qfile.ru действует такое же ограничение - 20 дней.
Genry пишет:
цитата:
Может, Игорь, Вы их перезальете на другой сервер, например www.gfile.ru ?
Отправлено: 30.04.13 18:51. Заголовок: Опишу небольшое посо..
Опишу небольшое пособие для тестирования на тиковых котировках с качеством моделирования 99%. Может кто то заинтересуется.
1) скачиваем подготовленный терминал с необходимыми скриптами здесь http://rghost.ru/45666817 . Лежать будет месяц. МТ4 билд 4.32 - это последний билд, с которым работает скрипт патч birts_patch_416. 2) тиковые котировки по мажорам от Дукаскопи с 2007г здесь http://dfiles.ru/folders/RW9WK8S3K 3) Распаковываем их в experts\files\ терминала. 4) Запускаем терминал, подключаемся к брокеру. 5) Запускаем скрипт конвертации CSV2FXT, бросая его на ту пару, для которой скачаны котировки. 6) В настройках скрипта выставляем GMTOffset брокера, нужный спрэд, и нужный ТФ, можно сразу несколько, но это будет долго, для каждого ТФ файлик будет весить около 3Гб. Если ТФ не выставить, то сгенерируется ТФ, который открыт на паре. 7) Когда скрипт закончит работу, выскочит окошко с вопросом о переносе истории сгенерированных файлов, из experts\files\: файлы .hst - в history\имя_сервера (туда, где лежат актуальные котировки от брокера), соглашаемся. 8) отключаемся от брокера (включаем галочку – разрешить прокси, вбиваем его данные от балды), чтоб терминал не коннектился после перезагрузки. 9) Перегружаем терминал, к брокеру больше не подсоединяемся. Запускаем скрипт-патч birts_patch_416. Запускаем тест в тестере по всем тикам и проверяем, что качество теста 99%. Патч запускаем каждый раз после запуска терминала.
Как "сшить" несколько файлов CSV в один:
Предположим, файлы csv, которые необходимо объединить в один, находятся в основной директории диска C. - Запустите командную строку (Пуск-Программы-Стандартные) - Наберите команду: cd c:\ - Нажмите энтэр - Наберите команду: copy *.csv имя_файла.csv (где имя_файла - наименование файла, в котором будут объединены все файлы csv из директории C:\) - Нажмите энтэр Когда Windows завершит объединение, вы получите один файл содержащий информацию со всех объединяемых файлов.
Многих ждёт неприятный сюрприз при тестировании своих роботов, особенно если спрэд выставить на 25, для имитации проскальзывания, которое на реале всегда присутствует. Особенно сильно будут реагировать роботы с мелкими целями и стопами.
Отправлено: 04.05.13 11:21. Заголовок: 1. Спред там для 4 з..
1. Спред там для 4 знаков. Если выставить 2, то это = 20 для 5 знаков. 2. Спрэд в любом случае будет фиксированным, либо равным выставленному, либо равным тому, который был в ДЦ на момент включения скрипта. По моему, МТ4 вообще не умеет тестировать с плавающим спрэдом. На счёт формата *.bi5 не знаю, не пробовал, скорее всего нужно переводить в *.csv.
Отправлено: 14.05.13 19:39. Заголовок: Опишу небольшое посо..
цитата:
Опишу небольшое пособие для тестирования на тиковых котировках с качеством моделирования 99%.
С одной стороны, тиковые данные - хорошо. Но если на их основе строить торговую систему, то она получится заточенной под один конкретный характер котировок. При переносе системы на сервер другого брокера или при изменении характера котировок этого же брокера получаем сдувшуюся систему. В итоге получается, что строить системы на основании тиков - путь в никуда.
Другое дело, когда нам необходимо просто проверить систему (не заточенную под тики) с максимальной точностью. Да, в этом случае тики каши не испортят. Но это касается только стратегий с небольшими стопами или профитами.
При переносе системы на сервер другого брокера или при изменении характера котировок этого же брокера получаем сдувшуюся систему. В итоге получается, что строить системы на основании тиков - путь в никуда.
Тут я полностью не согласен. Тесты на тиках более приближены к реалу и брокер тут не при чём. Хотя согласен с тем, что более чувствительны советники с короткими целями, стопами и траллами, об этом я тоже писал. Главное отличие тиков в том, что от открытия минутной свечи до хая, лоу или закрытия может быть вполне приличное расстояние, и внутри этой свечки цена может прогуляться несколько раз вверх и вниз, (на новостях именно так и бывает) и советник за это время может несколько раз отстопиться, а в тесте по минутной свечке, он вместо этих стопов, может взять, например, один профит. Поясню на картинке: http://shot.qip.ru/00cBAi-11aH1sz8Bp/ Тут наглядная ситуация с траллом, но такие ситуации могут быть в любом алгоритме и без траллов, а просто при выставлении бу или стопа. Или, например, зашортить на макушке зелёной свечки с тейком в 70п, и стопом в 70, по тикам, вполне может и тейк сработать, а по свечкам - гарантированный стоп. И за год теста набегает этих пипсов приличное количество, и оно явно больше, чем разница свечек у разных брокеров, и более существенно влияет на результат. В целом, разница теста между тикам и OHLC примерно такая же, как между OHLC и по ценам открытия. Они пригодны только для советников, которые работают исключительно по закрытию баров.
И что значит - характер котировок брокера? Это вообще, какая то мега абстрактная характеристика, под которую принципиально невозможно подстроиться на будущее, и учитывать её нет никакого смысла. Если советник прибылен у одного брокера, но сливает у другого, значит такого советника не задумываясь можно выкинуть в помойку.
Конечно, если у советника стопы в пол фигуры и 30 сделок за год, то по тикам можно и не гонять, но и тесты с таким количеством сделок я считаю полностью бесполезными.
Главное отличие тиков в том, что от открытия минутной свечи до хая, лоу или закрытия может быть вполне приличное расстояние, и внутри этой свечки цена может прогуляться несколько раз вверх и вниз, (на новостях именно так и бывает) и советник за это время может несколько раз отстопиться, а в тесте по минутной свечке, он вместо этих стопов, может взять, например, один профит. Поясню на картинке: http://shot.qip.ru/00cBAi-11aH1sz8Bp/
Здесь приведен размер трала 50 пунктов. На четырехзнаках это какие-то 5 пунктов (это минимальная дистанция для стопов у моего брокера). На мой взгляд, такое расстояние между текущей ценой и стопом - ничто. Ставить такой стоп - играть в рулетку, т. к. цена может задеть, а может и не задеть его. В итоге тестирование таких моментов ничего не даст, потому как на подобных малых расстояниях статистика попросту бессмысленна. Отсюда и делается вывод о том, что пипсовочные системы не могут быть подвергнуты корректному тестированию, даже при условии наличия истории тиков. Приведенный же график вполне приемлем для М1 - свечки по 10-15 четырехзначных пунктов нужно рассматривать как нормальные. Вот если бы там были свечи по 100 пунктов... Кстати, такое тоже бывает, но нужно понимать, когда такое бывает и насколько часто. Насчет профита вместо стопа. В МТ4 принята четкая линия поведения тестера (если вести тест по ценам открытия М1) - в спорных случаях, когда одна свеча задевает и профи, и стоп, то срабатывает стоп. Поэтому здесь даже на иллюзиях поиграть не выйдет.
anavar пишет:
цитата:
И что значит - характер котировок брокера?
Под этим термином подразумеваются различные маршруты движения цены у разных брокеров от цены А до цены В, которые на их графиках равны. Более явный пример: разные High и Low одних и тех же свечей. Так, у одного брокера стоп или профит сработает на свече, а у другого нет. Для такого поведения цен есть как объективные, так и субъективные причины. Объективные: разные способы получения и обработки информации о текущих котировках. Субъективные: брокеры, нечистые на руку, которые, видя близкий стоп, двигают цену к нему на короткое время.
anavar пишет:
цитата:
Это вообще, какая то мега абстрактная характеристика, под которую принципиально невозможно подстроиться на будущее, и учитывать её нет никакого смысла. Если советник прибылен у одного брокера, но сливает у другого, значит такого советника не задумываясь можно выкинуть в помойку.
Верно. Именно об этом я и веду речь. Приходим к выводу, что стратегия должна придерживаться "золотой середины", т. е. не быть сверхчувствительной (до уровня тиков), но и не быть слишком грубой, чтобы успевать за значительными движениями. Под "значительными движениями" подразумеваются изменения цены, превосходящие минимальную дистанцию стопов более чем 5 раз.
Отправлено: 21.05.13 21:22. Заголовок: Ну, не знаю, тестиро..
Ну, не знаю, тестирование вообще штука непонятная. Я последнее время вообще не знаю, как к нему относиться. Мне кажется, что оно нужно только для проверки правильности работы алгоритма, а на результаты лучше вообще не смотреть, чтоб не сбивали с толку и не вселяли ложных ожиданий. Уж больно они зависимы от множества разных факторов и условий теста, не говоря уже про работоспособность на будущем периоде. Я для эксперимента взял советника CaudateCandle, уж больно мне понравилась картинка с евриком, и фактор восстановления хороший, и форвард шикарный, и попробовал его оптимизировать на тиках за тот же период, что и у Вас. Поставил перебор тех же 4 параметров. И картина получилась довольно странная, уж не знаю в чём тут дело, может котировки так сильно отличаются. Вот скрин с результатов оптимизации http://shot.qip.ru/00cHM3-4wn26qlRJ/ Получается какая то рулетка, так как центр распределения находится примерно в середине уровня начального депо и даже чуть ниже. К Вашим результатам ни один проход и близко не подобрался. И значит ли это, что на Адмирале данная стратегия будет зарабатывать, а на Дукасе сидеть в +-0? Где тут та самая золотая середина? Вот и я не знаю... В общем, я так думаю, вопросам правильного тестирования и методам его интерпретации нужно уделять внимания не меньше, чем разработкам новых стратегий. На данный момент, для меня один из главных показателей советника - это не доходность, просадка и т.д. , а устойчивость результатов. Чтоб не было сильных отклонений при смене котировок, при тесте на разных временнЫх периодах, при переборе параметров в разумных, рабочих пределах, и т. д. И чтоб при этом, результаты были большую часть времени на положительной территории. Одновременно с этим поиском устойчивости, не могу избавится от сомнений в реальности существования такого алгоритма в принципе. Вопчем, чем дальше в лес, тем толще партизаны Такая вот рыба у меня получилась...
уж не знаю в чём тут дело, может котировки так сильно отличаются.
Рынок Forex - межбанковский, единой котировки не существует. Есть некое стремление к ней, но тем не мение каждый дилинговый центр выставляет свои котировки. Они в основном не сильно отличаются, но этого достаточно, чтобы индикаторы выдавали сигналы по разному, что в целом и влияет на параметры при тестировании советников. Кроме того, даже в одном ДЦ на разных счетах, разные котировки. И более того, на одном типе счета разные котировки на демо и реале. Уж не знаю точно, но заметил, что при скачивании архива котировок доверять можно толь последним 2,5 месяцам. Чтобы хоть как-то иметь реальную статистику, нужно "тащить" за собой историю по счету. В этом отношении, представленные Scriptong-ом истории котировок реального счета компании Admiral Markets бесценны. Было бы совсем неплохо, если кто-нибудь выложил аналогичные котировки на 5 знаках. Что касаемо результатов любого тестирования, согласен, подбор параметров должен отвечать прежде всего критерию стабильности системы.
Отправлено: 27.05.13 10:51. Заголовок: anavar пишет: И зн..
anavar пишет:
цитата:
И значит ли это, что на Адмирале данная стратегия будет зарабатывать, а на Дукасе сидеть в +-0?
Скорее всего, проблема заключается в спреде. К сожалению, не работал с Дукаскопи плотно. Поэтому сам сказать точно не смогу.
Кстати, у АМ взяты пары с наиболее низкими спредами, которые в пределах европейской и американской сессий держатся стабильно, без разъездов перед новостями. С другой стороны, приведенные тесты не учитывают важный фактор - во время азиатской сессии спреды увеличиваются. А некоторые сигналы стратегии как раз попадают на ночь.
По поводу отличий минутных котировок между брокерами. Стратегия хвостатых свечей как раз и пытается бороться с этим путем усреднения данных. Понятно, что на 100% проблема не решается, но, по моим наблюдениям за последнюю торговую неделю, различие в сигналах составляет не более 10%. Сравнение проводил между двумя разными брокерами на реал-счетах. Причем в тех случаях, когда сигналы совпадали, то они совпадали по времени до минуты.
Рынок Forex - межбанковский, единой котировки не существует
Это понятно, но отличаются они действительно не сильно, обычно в пределах раздвижек спрэда, и такая разница уж точно не должна менять результаты тестирования советника на более чем 1-5%. При сильных изменениях результатов, дело точно не в котировках.
Scriptong пишет:
цитата:
Скорее всего, проблема заключается в спреде. К сожалению, не работал с Дукаскопи плотно. Поэтому сам сказать точно не смогу.
Спред как раз был очень маленьким (6п, 5 знак), я при формировании файла истории забыл его выставить, по этому был текущий спрэд. То есть, результаты должны были даже улучшиться, так как в адмирале спрэд соответствует 20п, 5 знак. Scriptong пишет:
цитата:
С другой стороны, приведенные тесты не учитывают важный фактор - во время азиатской сессии спреды увеличиваются
В тестере МТ4 спрэд всегда фиксированнный, по этому невозможно учесть временное расширение спрэда. Кстати, этот фактор тоже может сильно ухудшить результаты советника на реале в сравнении с тестом. Scriptong пишет:
цитата:
Стратегия хвостатых свечей как раз и пытается бороться с этим путем усреднения данных
Я это прекрасно понимаю, по этому меня и удивили результаты оптимизации на других котировках. Разница оказалась очень существенна.
MT5 в отношении тестов более привлекателен, так как там учитывается плавающий спрэд, да и результаты более развёрнутые. Ещё один плюс, что можно уже и на фьючах тестировать http://www.metaquotes.net/ru/metatrader5/news/3955 там уж точно котировки однозначные.
Отправлено: 16.06.13 20:03. Заголовок: anavar пишет: Я это..
anavar пишет:
цитата:
Я это прекрасно понимаю, по этому меня и удивили результаты оптимизации на других котировках. Разница оказалась очень существенна.
Думаю, что все же имеет место различие самих котировок. То есть то, что я называю "характером поставщика котировок". Возможно, что именно эта стратегия "Хвостатые свечи" очень плохо реагирует на смену характера котировок... Нужно будет понаблюдать не за двумя, а за большим количеством разных ДЦ, чтобы сравнить, насколько у них отличаются хвостатые свечи.
P. S. Хотя именно для противодействия такой ситуации и был разработан метод (максимальное усреднение цен).
anavar пишет: [quote]` Приветствую всех участников форума! Только зарегистрировалась, вот сижу, читаю. И уже появилось, что сказать. Хотя и не строго по теме, но в значительной степени. В отношении разности котировок и упомянутого советника Игоря. Его оптимизировала на котировках от Дукаскопи (качаю не тики, а минутки). В целом, любые советники при оптимизации рассматриваю только через призму долгосрочной устойчивости, так вот советник CaudateCandle показал себя отлично при бэктесте на 15 минутках, евродоллар, 4 знак, спред 2, - прошел со стабильным устойчивым ростом 10 лет с незначительными периодами снижения доходности. Эту оптимизацию делала еще в начале мая месяца т.г. С конца мая поставила его на демосчет, настройки больше не оптимизировала - в настоящее время прирост составил 215%, хотя и был период, около месяца, когда советник поймал ряд стопов, но этот ряд оказался в рамках ожидания серии убытков, полученных при тестировании.
CaudateCandle показал себя отлично при бэктесте на 15 минутках, евродоллар, 4 знак, спред 2, - прошел со стабильным устойчивым ростом 10 лет с незначительными периодами снижения доходности.
Добро пожаловать! У этого советника было продолжение в ветке Память рынка, может Вам будет интересно.
Приветствую всех участников форума! Только зарегистрировалась, вот сижу, читаю. И уже появилось, что сказать. Хотя и не строго по теме, но в значительной степени. В отношении разности котировок и упомянутого советника Игоря. Его оптимизировала на котировках от Дукаскопи (качаю не тики, а минутки). В целом, любые советники при оптимизации рассматриваю только через призму долгосрочной устойчивости, так вот советник CaudateCandle показал себя отлично при бэктесте на 15 минутках, евродоллар, 4 знак, спред 2, - прошел со стабильным устойчивым ростом 10 лет с незначительными периодами снижения доходности. Эту оптимизацию делала еще в начале мая месяца т.г. С конца мая поставила его на демосчет, настройки больше не оптимизировала - в настоящее время прирост составил 215%, хотя и был период, около месяца, когда советник поймал ряд стопов, но этот ряд оказался в рамках ожидания серии убытков, полученных при тестировании.
Доброго времени суток, Нина!
Да, хвостатые свечи получились на редкость удачным подходом к анализу рынка. И здесь главное психологически выдержать серию убыточных сделок (причем не очень то и серьезных!), о которых Вы упомянули. На демо-счете это легко, а вот на реале мне этого добиться не удалось - через месяц убытков отключил все системы, связанные с ними. Ведь никто не даст гарантии на время окончания убыточных сделок. Также, кроме упомянутого Genry материала, укажу еще на одну статью, где использовались хвостатые свечи - Охота на объемы. Часть 3
Отправлено: 04.06.14 10:43. Заголовок: Кто нибудь сталкивал..
Кто нибудь сталкивался с загрузкой котировок из архива после 600 build? Загрузка с нуля. Настройка. http://shot.qip.ru/00klPf-517zmt2j4i/ До загрузки через индернет подгружается всего лишь 2048 баров на всех ТФ. http://shot.qip.ru/00klPf-517zmt2j4j/ После загрузки количество баров увеличивается до 3336648 (по выбранной паре). http://shot.qip.ru/00klPf-617zmt2j4k/ После удаления всех котировок из папок histori/счет и histori/donloads при отключенном интернете, архив все равно грузится по истории 3336648 баров. http://shot.qip.ru/00klPf-617zmt2j4l/ Вопрос - Где эти записи хранятся и можно ли считать, что только 2048 баров реальная история, остальное расчетные данные по старшим ТФ??????
Отправлено: 09.06.14 10:09. Заголовок: Sergey пишет: Кто н..
Sergey пишет:
цитата:
Кто нибудь сталкивался с загрузкой котировок из архива после 600 build?
На мой взгляд в этом случае не совсем корректно говорить именно о билде. Он, конечно, косвенно повлиял на процесс закачки исторических данных, но вряд ли он является первопричиной. Дело ведь в том, какой базой данных обладает тот или иной брокер, какие настройки произведены на его сервере. В тот момент, когда происходило обновление серверной части МТ4 параметры, отвечающие за исторические данные, могли измениться (случайно или умышленно). Отсюда и отличия в процессах закачки данных. Думаю, что при идентичных значениях параметров сервера на разных билдах отличий замечено не будет.
Отправлено: 08.06.15 12:39. Заголовок: Минутную историю кот..
Минутную историю котировок теперь не собираю, т. к. имеется база данных по тикам - здесь. Там же написано, каким образом можно дополнить свою историю котировок тиковыми данными, если в истории есть дыры.
Все даты в формате GMT
2 час. Хитов сегодня: 0
Права: смайлы да, картинки да, шрифты да, голосования нет
аватары да, автозамена ссылок вкл, премодерация откл, правка нет
(на кнопку "Спасибо" тоже нажал ) 
- участник сейчас на форуме