Отправлено: 12.08.14 20:12. Заголовок: Тестирование на реальной истории

Тестирование на реальной истории.
Описана работа скрипта FXTFileMaker, который позволяет конвертировать тиковую историю из TKS-файлов в FXT-файлы и подставлять ее в папку тестера стратегий Meta Trader 4.

 Отправлено: 13.08.14 09:10. Заголовок: Офигенный материал. ..

Офигенный материал. Теперь бы не иметь пробелов в сборщике тиков.

Цитата "Таким образом, важны и символ, и период текущего графика."

Нет времени все проверить, а потому вопрос. Маркируется ли FXT-файл таймфреймом. Если советник использует данные с разных ТФ, то надо ли создавать несколько FXT-файлов.

И далее "...При запуске процесса тестирования следует выбрать тот символ, для которого создавался FXT-файл, и тот же период графика. В противном случае тестер создаст свой тиковый файл на основании моделирования тикового потока."

Можно ли создать FXT-файл на М1, а тестер сформирует соответствующие файлы на остальные периоды?

 Отправлено: 13.08.14 16:02. Заголовок: Sergey пишет: Тепер..

Sergey пишет:

цитата:

Теперь бы не иметь пробелов в сборщике тиков.

На данный момент пробел лишь в истории тиков по Аdmiral Markets - торговая неделя с 30.06.14 по 04.07.14. Причем пробел был допущен по моей вине - недосмотр. В будущем пробелы могут возникнуть только по техническим причинам, т. к. пока все сервера в единственном экземпляре, без дублеров. Над поиском решений для запуска дублеров сейчас тоже ведется работа.

Sergey пишет:

цитата:

Цитата "Таким образом, важны и символ, и период текущего графика."

Они важны только с точки зрения обращения тестера к правильному файлу. Так, если FXT-файл был создан для М15, а в настройках тестера установлен ТФ Н1, то тестер не обратится к сгенерированному FXT-файлу, создав свой тиковый файл.

Sergey пишет:

цитата:

Если советник использует данные с разных ТФ, то надо ли создавать несколько FXT-файлов.

Нет, не нужно. В пределах истории, которая существует в FXT-файле тестер может обращаться к данным любого ТФ. Ведь FXT-файл - это тиковый файл, из которого можно получить любой ТФ, что тестер и делает.

P. S. Для успокоения совести проверил этот момент в двух опытах: 1. На М1 FXT-файле правильно прочитаны данные со всех старших ТФ. 2. На D1 FXT-файле правильно прочитаны данные со всех младших ТФ.

 Отправлено: 14.08.14 07:29. Заголовок: Огромное спасибо за ..

Огромное спасибо за разъяснения. Точность тестирования пробойных стратегий всегда вызывало сомнения из-за невозможности учета проскальзываний во время выхода новостей. Созданный механизм тестирования на реальной тиковой истории трудно переоценить.

 Отправлено: 14.08.14 09:05. Заголовок: Да, тиковая история ..

Да, тиковая история помогает снять розовые очки при взгляде на графики цен во время новостей. Большинство гепов в такие периоды остаются незамеченными (они внутри минутных свечей).
Остается лишь одна неточность в таком тестировании - использование фиксированного спреда тестером. Ведь информация по ценам Ask в тиковой истории имеется, но ее невозможно подставить в тестер легальным путем. Нужно только патчить терминал - некрасивое действие.

 Отправлено: 14.08.14 09:59. Заголовок: Scriptong пишет: ..

Scriptong пишет:

цитата:

Нужно только патчить терминал - некрасивое действие.

Мы видим, что терминал со временем проходит модернизацию. Может есть смысл сделать запрос? Глядишь в будущем и этот момент утрясется. Ведь встроили в тестер настройки по спреду, когда-то и такого не было.

Еще раз огромный респект за проделанную работу.

 Отправлено: 15.08.14 17:05. Заголовок: Sergey пишет: Мы ви..

Sergey пишет:

цитата:

Мы видим, что терминал со временем проходит модернизацию. Может есть смысл сделать запрос?

На форумах MQL4/5 об это сломано немало копий. Разработчики серьезно упираются. Базой для отказов является их категорическая позиция по тиковой истории - не нужна. Их вполне можно понять, т. к. широковещательная передача тиковой истории сервером - дело затратное. С другой стороны, даже этот момент можно решить, значительно уменьшив трафик тиковой истории. Но, опять же, возвращаемся к тому, что позиция категорическая - это не нужно.
Хотя вода камень точит.

 Отправлено: 26.09.14 11:42. Заголовок: Мне не удается сформ..

Мне не удается сформировать файл *.FXT
TKS взят с 4.08 по 19.09 Alpari GBPUSD
Вот настройки


Скрипт ничего не выдает. Ни ошибок, ни результата.
При смешении даты за пределы диапазона выдается ошибка, все работает.

 Отправлено: 26.09.14 11:54. Заголовок: И еще....Уточняю.. Н..

И еще....Уточняю..
Настройка спреда в пунктах. Это применительно к разрядности котировки (то есть в тиках как в тестере терминала)?

 Отправлено: 27.09.14 19:18. Заголовок: Sergey пишет: Скрип..

Sergey пишет:

цитата:

Скрипт ничего не выдает. Ни ошибок, ни результата.

В любом случае должны быть хоть какие-то записи в журнале экспертов (окно "Терминал", вкладка "Эксперты"). Как минимум, о том, что скрипт был присоединен к графику, а потом закончил свое выполнение. Приведите, пожалуйста, эти сведения.

Со своей стороны только что проверил запуск скрипта на чистом терминале с указанными настройками - файл создан в папке tester\history.

Sergey пишет:

цитата:

Это применительно к разрядности котировки (то есть в тиках как в тестере терминала)?

Будет использована величина пунктов, используемая тем счетом, на котором ведется тестирование. У Альпари на большинстве типов счетов (возможно даже на всех) у символа GBPUSD величина пункта равна 0.00001 (пятизначная котировка).

 Отправлено: 28.09.14 11:06. Заголовок: Спасибо за напоминан..

Спасибо за напоминание о журнале. В описании к настройкам не было сказано об обязательном подключении DDL. В этом и оказалась проблема.
После установки соответствующей галочки все получилось.

 Отправлено: 29.09.14 20:56. Заголовок: Sergey пишет: Спаси..

Sergey пишет:

цитата:

Спасибо за напоминание о журнале.

И Вам спасибо. Добавил проверку разрешения на запуск DLL в код скрипта. Теперь подобных казусов быть не должно.

 Отправлено: 30.10.14 15:34. Заголовок: Игорь, у меня опять ..

Игорь, у меня опять вопросы! После переустановки терминала не могу сформировать файл *.FXT
Ошибка "FXTFileMaker_Script_AD: количество баров в истории, предшествующее началу теста, недостаточно. Скрипт отключен."
Раньше эта ошибка устранялась путем предварительной загрузки истории из архива брокера. Теперь не получается.
Пробовал менять даты - не помогает. Даже при выставлении запредельных дат выпадает эта же ошибка.

 Отправлено: 30.10.14 22:00. Заголовок: Sergey пишет: Ошибк..

Sergey пишет:

цитата:

Ошибка "FXTFileMaker_Script_AD: количество баров в истории, предшествующее началу теста, недостаточно.

Начнем с самого простого и очевидного варианта.
У скрипта есть такой настроечный параметр как "Количество баров до начала тестирования". Его можно установить в 0 (используйте новую версию скрипта, в которой убрано ограничение на значение 0). В итоге Вы не будете зависеть от текущей имеющейся истории брокера.

 Отправлено: 31.10.14 14:43. Заголовок: Спасибо! Переустанов..

Спасибо! Переустановка скрипта помогла.

 Отправлено: 31.10.14 20:17. Заголовок: Sergey пишет: Спаси..

Sergey пишет:

цитата:

Спасибо! Переустановка скрипта помогла.

Вчера долго пытался вспомнить, по какой такой причине я запретил устанавливать предысторию, равную нулю. Для этого специально проверил, может ли быть создан подобный FXT-файл. Оказалось, что можно создавать файл тестера без предыстории. То есть я просто не рассмотрел такую возможность при создании скрипта. В итоге код скрипта похудел на 4 строки.

 Отправлено: 27.11.14 16:33. Заголовок: Советник учитывает д..

Советник учитывает данные старшего периода. Нужно ли формировать файл истории по старшему ТФ? И будет ли такое тестирование корректным?

 Отправлено: 27.11.14 19:18. Заголовок: Sergey пишет: Совет..

Sergey пишет:

цитата:

Советник учитывает данные старшего периода. Нужно ли формировать файл истории по старшему ТФ? И будет ли такое тестирование корректным?

Вы уже задавали этот вопрос 13.08.2014 в 09:10 (см. выше по ветке)
И ответ был дан в следующем посте этого же дня:

цитата:

Нет, не нужно. В пределах истории, которая существует в FXT-файле тестер может обращаться к данным любого ТФ. Ведь FXT-файл - это тиковый файл, из которого можно получить любой ТФ, что тестер и делает. P. S. Для успокоения совести проверил этот момент в двух опытах: 1. На М1 FXT-файле правильно прочитаны данные со всех старших ТФ. 2. На D1 FXT-файле правильно прочитаны данные со всех младших ТФ.

Так что для мультипериодного советника достаточно создать файл ЛЮБОГО периода графика для тестируемого диапазона дат, хоть выше по ТФ, хоть ниже.

 Отправлено: 04.06.16 17:43. Заголовок: Scriptong пишет: Та..

Scriptong пишет:

цитата:

Так что для мультипериодного советника достаточно создать файл ЛЮБОГО периода графика для тестируемого диапазона дат, хоть выше по ТФ, хоть ниже.

Если я правильно понял, для тестирования и оптимизации мультипериодного советника в папке MQL4\Files должен находиться FXT-файл любого периода. А исходный TKS-файл тоже должен там присутствовать? Ведь по идее из него советник будет синтезировать FXT-файлы нужных периодов.

 Отправлено: 06.06.16 18:07. Заголовок: genfed пишет: Если ..

genfed пишет:

цитата:

Если я правильно понял, для тестирования и оптимизации мультипериодного советника в папке MQL4\Files должен находиться FXT-файл любого периода.

Да.

genfed пишет:

цитата:

А исходный TKS-файл тоже должен там присутствовать?

Нет, не нужен. Ведь перед тестированием создается FXT-файл. Это и есть тиковый файл, но уже для тестера, в его формате. TKS-файл нужен только на этапе работы скрипта, который конвертирует данные из формата TKS в формат FXT.

 Отправлено: 15.05.16 17:25. Заголовок: В какой папке должен..

В какой папке должен находиться файл TKS для конвертации тиковой истории из TKS-файла в FXT-файл?

 Отправлено: 16.05.16 08:58. Заголовок: genfed пишет: В как..

genfed пишет:

цитата:

В какой папке должен находиться файл TKS для конвертации тиковой истории из TKS-файла в FXT-файл?

В папке <каталог данных терминала>\MQL4\Files. Найти каталог данных можно путем использования главного меню терминала Файл - Открыть каталог данных.

 Отправлено: 16.05.16 15:48. Заголовок: Попытался провести т..

Попытался провести тестирование на реальной истории в соответствии с рекомендациями статьи.
Завел отдельный МТ4, скачал последний файл TKS(EURUSD) от GKFX, поместил скрипт FXTFileMaker на минутный график, ввел начальную и конечную даты в более узком интервале, чем скачанные котировки, указал количество баров до начала тестирования=0, спред=10. Конвертация прошла без замечаний. Тестер на минутках также отработал нормально, но в его журнале сплошные ошибки. Посмотрите, пожалуйста Вашим опытным глазом (не нашел, как вставить файл, даю ссылку на файлообменник)
http://rgho.st/private/8wQjHsByJ/178a464e64b696e59199c333e0c95b69

 Отправлено: 16.05.16 17:32. Заголовок: В этом файле логов в..

В этом файле логов вижу только одну ошибку - 134, которая указывает на то, что не хватает средств на открытие сделки. То есть пока ошибка никак не вяжется именно с подстановкой другой истории. Скорее всего, задан большой объем. Тут два пути решения:

• Увеличить начальный депозит
  
• Уменьшить объем сделок

 Отправлено: 16.05.16 20:06. Заголовок: Благодарю за подсказ..

Благодарю за подсказку! В советнике риск стоял 120%.
Еще вопрос: влияет ли на результат конвертирования и тестирования наличие подключения терминала к интернету?

 Отправлено: 18.05.16 10:08. Заголовок: genfed пишет: Еще в..

genfed пишет:

цитата:

Еще вопрос: влияет ли на результат конвертирования и тестирования наличие подключения терминала к интернету?

На конвертирование тиков в историю для тестера и на тестирование в режиме собственной истории подключение к интернету влиять не может никак - все данные для этого процесса должны иметься локально на компьютере.

Наличие подключение влияет только в случае работы с тестером в "нормальном" режиме, когда он сам перед каждым запуском формирует тиковую историю.

 Отправлено: 24.05.16 17:47. Заголовок: Оптимизировал советн..

Оптимизировал советника на тиковой истории. Все тиковые индикаторы работают отлично.
Но дефрагментатор идентифицирует тиковый массив, как фрагментированный. Можно ли проводить его дефрагментацию?

 Отправлено: 24.05.16 21:37. Заголовок: genfed пишет: Но де..

genfed пишет:

цитата:

Но дефрагментатор идентифицирует тиковый массив, как фрагментированный. Можно ли проводить его дефрагментацию?

Уточните, о каком дефрагментаторе идет речь? О дефрагментаторе диска? Если да, то можно. От этого содержимое файла никак не изменится.

 Отправлено: 22.12.16 10:24. Заголовок: Tick Data Suite: тес..

"Tick Data Suite: тестирование с 99% моделированием" Автор: Владимир aka loopsider

цитата:

Автор пакета TickDataSuite, Cristi Dumitrescu, более широко известный в массах под ником Birt, является пионером этого метода тестирования. Не поручусь за приоритеты, но в широкие массы эта идея проникла явно с его подачи. Не удивительно, что ему удалось реализовать в своем пакете ряд уникальных функций, которых нигде больше нет. Об этих функциях мы сегодня и поговорим...

https://www.argolab.net/tick-data-suite.html

 Отправлено: 26.12.16 15:35. Заголовок: Добрый день! Какое к..

Добрый день! Какое качество моделирования должно выдавать после загрузки тиковых данных?

 Отправлено: 27.12.16 19:44. Заголовок: Xenofan пишет: Добр..

Xenofan пишет:

цитата:

Добрый день! Какое качество моделирования должно выдавать после загрузки тиковых данных?

На минутках - 25%, на остальных ТФ - 90%. 99% - это только в патченном (читать - взломанном) терминале, на который Genry недавно давал ссылку.
Хотя я не понимаю, почему такое внимание обращается на этот показатель. Ведь никому, кроме разработчиков терминала неизвестен его алгоритм расчета и, тем более, что именно он показывает. Ведь терминал не может знать, что история "полная" или "неполная". У меня неоднократно возникали случаи, когда качество было 90%, но впоследствии на этих тестах я обнаруживал месяцы дыр в котировках.

Поэтому для убедительного теста нужно "вручную" проверить качество истории, предоставляемой тестеру. Кстати, если имеется интерес среди здешнего общества, то могу сделать и скрипт, проверяющий качество тиковой истории в зависимости от настроек, заданных пользователем.

 Отправлено: 27.12.16 19:47. Заголовок: Scriptong пишет: Кс..

Scriptong пишет:

цитата:

Кстати, если имеется интерес среди здешнего общества, то могу сделать и скрипт, проверяющий качество тиковой истории в зависимости от настроек, заданных пользователем.

Думаю это будет полезно. Я регулярно даю ссылки на сайт и базу, надеюсь это расшевелит народ.

 Отправлено: 03.01.17 13:11. Заголовок: Genry пишет: Думаю ..

Genry пишет:

цитата:

Думаю это будет полезно. Я регулярно даю ссылки на сайт и базу, надеюсь это расшевелит народ.

Уже два голоса за скрипт

 Отправлено: 27.12.16 12:21. Заголовок: Котировки Альпари на..

Котировки Альпари на 26 декабря 2016 года. UsdCad_m1

 
 2016.12.26,10:09,1.35082,1.35083,1.35082,1.35083,2 
 2016.12.26,10:10,1.35082,1.35082,1.35082,1.35082,1 
 2016.12.26,10:12,1.35082,1.35082,1.35082,1.35082,1 
 2016.12.26,10:13,1.35093,1.35093,1.35082,1.35082,2 
 2016.12.26,10:16,1.35082,1.35082,1.35082,1.35082,1 
 2016.12.26,10:19,1.35082,1.35082,1.35082,1.35082,1 
 2016.12.26,10:36,1.35051,1.35051,1.35020,1.35020,4 
 2016.12.26,10:55,1.35067,1.35067,1.35067,1.35067,1 
 2016.12.26,10:56,1.35064,1.35064,1.35064,1.35064,1 
 2016.12.26,10:57,1.35045,1.35045,1.35045,1.35045,1 
 2016.12.26,11:01,1.35035,1.35035,1.35035,1.35035,1 
 2016.12.26,11:17,1.35038,1.35038,1.35038,1.35038,1 
 2016.12.26,11:21,1.35023,1.35023,1.35016,1.35021,31 
 2016.12.26,11:22,1.35019,1.35021,1.34988,1.34988,18 
 2016.12.26,11:23,1.34993,1.35005,1.34985,1.34989,23 
 2016.12.26,11:24,1.34994,1.34998,1.34989,1.34998,7 
 2016.12.26,11:28,1.34997,1.34997,1.34997,1.34997,1 
 2016.12.26,11:29,1.34998,1.34998,1.34998,1.34998,1 
 2016.12.26,11:31,1.34993,1.34993,1.34993,1.34993,1 
 2016.12.26,11:32,1.34986,1.34986,1.34937,1.34937,7 
 2016.12.26,11:33,1.34922,1.34922,1.34903,1.34903,2 
 2016.12.26,11:36,1.34890,1.34890,1.34890,1.34890,1 
 2016.12.26,11:38,1.34995,1.35000,1.34991,1.34999,18 
 2016.12.26,11:39,1.34994,1.35000,1.34989,1.34994,7 
 2016.12.26,11:50,1.34933,1.34933,1.34923,1.34923,21 
 2016.12.26,11:51,1.34918,1.34918,1.34895,1.34895,5 
 2016.12.26,12:06,1.34741,1.34787,1.34741,1.34770,42 
 2016.12.26,12:07,1.34788,1.34794,1.34751,1.34794,116 
 2016.12.26,12:08,1.34783,1.34794,1.34783,1.34794,12 
 2016.12.26,12:09,1.34785,1.34795,1.34785,1.34785,3 
 2016.12.26,12:10,1.34801,1.34843,1.34801,1.34843,12 
 2016.12.26,12:11,1.34843,1.34843,1.34843,1.34843,9 
 2016.12.26,12:12,1.34853,1.34853,1.34853,1.34853,1 
 2016.12.26,12:13,1.34843,1.34843,1.34843,1.34843,2 
 2016.12.26,12:14,1.34853,1.34853,1.34853,1.34853,1 
 2016.12.26,12:15,1.34843,1.34843,1.34824,1.34843,4 
 2016.12.26,12:16,1.34843,1.34843,1.34843,1.34843,1 
 2016.12.26,12:25,1.34843,1.34843,1.34843,1.34843,1 
 2016.12.26,12:30,1.34844,1.34844,1.34843,1.34843,6 
 

 Отправлено: 27.12.16 19:45. Заголовок: Genry пишет: Котиро..

Genry пишет:

цитата:

Котировки Альпари на 26 декабря 2016 года. UsdCad_m1

Да, рынок был вялый, многие брокеры вообще не работали. Так что ничего удивительного.

 Отправлено: 28.12.16 00:47. Заголовок: На минутках - 25%, н..

цитата:

На минутках - 25%, на остальных ТФ - 90%. 99%

У меня в не патченом терминале на всех ТФ показывает: N/A Еще в разные дни с одними и теми же параметрами результаты теста разнятся.

цитата:

Кстати, если имеется интерес среди здешнего общества, то могу сделать и скрипт, проверяющий качество тиковой истории в зависимости от настроек, заданных пользователем.

Я думаю такой скрипт был бы очень полезен

 Отправлено: 31.12.16 20:49. Заголовок: Xenofan пишет: У ме..

Xenofan пишет:

цитата:

У меня в не патченом терминале на всех ТФ показывает: N/A

Приведите пожалуйста алгоритм (шаги), который используете перед тестированием на реальных тиках.

Xenofan пишет:

цитата:

Еще в разные дни с одними и теми же параметрами результаты теста разнятся.

Скорее всего, спред изменяется. Также от одного дня к другому может изменяться рыночное окружение. Также подобное поведение всегда имеется при тесте на кросс-парах, т. к. тестер берет для расчета стоимости тика текущее рыночное значение для всего периода тестируемой истории.

 Отправлено: 06.01.17 13:38. Заголовок: Xenofan пишет: Я ду..

Xenofan пишет:

цитата:

Я думаю такой скрипт был бы очень полезен

Не только полезен, но и необходим.

 Отправлено: 06.01.17 14:43. Заголовок: genfed пишет: Не то..

genfed пишет:

цитата:

Не только полезен, но и необходим.

Три

 Отправлено: 01.01.17 17:13. Заголовок: Приведите пожалуйста..

цитата:

Приведите пожалуйста алгоритм (шаги), который используете перед тестированием на реальных тиках.

Делаю так как по инструкции, с помощью скрипта объединяю историю котировок, потом конвертирую в формат csv, после этого в формат FXT - все на графике M1. После этого запускаю тестирование за определенный период, например за год. Терминал не патченый - может из за этого так показывает?

 Отправлено: 01.01.17 17:57. Заголовок: Xenofan пишет: Дела..

Xenofan пишет:

цитата:

Делаю так как по инструкции, с помощью скрипта объединяю историю котировок, потом конвертирую в формат csv, после этого в формат FXT - все на графике M1. После этого запускаю тестирование за определенный период, например за год. Терминал не патченый - может из за этого так показывает?

Ммм... Уточните, что за инструкцию используете. Дело в том, что ни здесь, ни здесь нет шага, связанного с конвертированием в csv-файл. Файл TKS напрямую конвертируется в формат FXT. И, если сделано именно так, то качество моделирования будет N/A, но ошибок рассогласования не должно быть. Это важный момент.

 Отправлено: 02.01.17 13:11. Заголовок: Ммм... Уточните, что..

цитата:

Ммм... Уточните, что за инструкцию используете. Дело в том, что ни здесь, ни здесь нет шага, связанного с конвертированием в csv-файл.

Значит это было мое лишнее действие, буду теперь знать. Но, тем не менее файл TKS я не удаляю из папки, просто там лежит 2 файла: CSV и TKS, а значит скрипт берет за основу именно TKS для конвертации в FXT.

 Отправлено: 03.01.17 13:11. Заголовок: Xenofan пишет: CSV..

Xenofan пишет:

цитата:

CSV и TKS, а значит скрипт берет за основу именно TKS для конвертации в FXT.

Да, все верно. Конвертация TKS в CSV перед тестированием не требуется.

 Отправлено: 27.01.17 14:46. Заголовок: Scriptong Посмотрел..

Scriptong
Посмотрел немного код относительно Range баров - нет учета излишка/остатка от i_chartPeriod ........ к сожалению
Игорь, не делали ли Вы подробный расчет рэнжей для этого скрипта ?

(написал сообщение позже, а оно выше моего предыдущего)))

 Отправлено: 30.01.17 22:23. Заголовок: innovision пишет: ..

innovision пишет:

цитата:

Посмотрел немного код относительно Range баров - нет учета излишка/остатка от i_chartPeriod ........ к сожалению

Насчет превышения допустимого количества пунктов в баре у меня нет никаких решений кроме того, которое реализовано. К примеру, настроили бар высотой 10 пунктов. Сначала тики шли так, что высота бара увеличивалась последовательно на один пункт. В итоге пришли к значению 8 пунктов. И тут следующий тик поступает с небольшим гэпом, увеличивая высоту бара до 15 пунктов. Исходя из сути Range-бара, мы не можем сделать бар больше 10 пунктов. Поэтому текущий бар завершается с высотой 8 пунктов, а следующий бар начинается с той цены, которая пришла.
Такой подход приводит к образованию гэпов на графике Range-баров. Да, это непривычно исследователям Rnage-баров, т. к. они до сих пор оперировали плавными графиками, без гэпов. Но объясняется это просто: все имеющиеся индикаторы Range-баров строятся на минутных, а не на тиковых данных, то есть изначально используется сглаженных график, без детализации. А потому там гэпов нет по определению. Да и сама технология построения графика получается немного другой.
Меня уже несколько раз просили сделать вариант сглаженного графика Range-баров, который заполняет гэпы виртуальными свечами. Наверное, в нем тоже можно разглядеть какой-то смысл. Но лично мне на данный момент такой подход не нравится, т. к. пользователь будет видеть на графике множество несуществующих данных. Более того, подобный график (не Range-бары, но очень близкий к нему по смыслу) я уже делал на заказ. В итоге получал головную боль от вопросов: почему советник, основанный на данных сглаженного графика, заключает сделки с большим опозданием. При разборе каждой такой ситуации оказывалось, что в тех местах, где заказчик ожидал открытие сделки, не было реальных тиков. Был гэп, заполненный виртуальными свечами. Получается, что сглаженный график способствует самообману. На таких графиках делают множество тестерных Граалей.

 Отправлено: 27.01.17 11:58. Заголовок: Здравствуйте scripto..

Здравствуйте
scriptong. спасибо за открытый код) - Вы красиво пишете)) Особенно понравился "Сборщик тиков" и класс и структуры - все подробно с комментариями)
Я пока только в массивах тусуюсь(( :). Одним словом - Ваш код для меня есть пример того как нужно кодить)
--
Игорь, вопрос есть по Вашему скрипту "FXTFileMaker_AnyData"
Для теста выбрал золото, скачал последний файл по ссылке из "История тиков" GKFX
Вашим скриптом FXTFileMaker_AnyData сделал FXT для ренджей
Скрытый текст

Получил такую картинку
Скрытый текст

Игорь, что я делаю не так? :)

Вот пример - один и тот же день .. 50пп
Первый - скриптом
Второй - индикатор RangeBarChart_v203e_edu в реальном времени
Скрытый текст

 Отправлено: 30.01.17 22:33. Заголовок: innovision пишет: И..

innovision пишет:

цитата:

Игорь, что я делаю не так? :)

Для золота высота бара 50 пунктов - это ни о чем. Ведь один тик по золоту нередко достигает 200-300 пунктов. В итоге высота Range-бара частенько превышается за пару тиков, начинается следующий бар. Отсюда и частые гэпы. Хотя и на других символах могут быть такие же гэпы (объяснил постом выше).
Чтобы минимизировать количество гэпов, нужно выбирать высоту Range-бара, сопоставимую с дискретностью прихода тиков по заданному символу, не заходя за нижний предел. Для золота этот предел - пара сотен пунктов (на расширенных котировках, три знака).

 Отправлено: 06.06.18 09:24. Заголовок: Добрый день, Игорь! ..

Добрый день, Игорь!

Спасибо большое за полезную статью.
Все сделал по Вашей инструкции:
1) Скачал архивы в tks
2) Преобразовал их в один файл с помощью OneTicksFileMaker_Script_AD
3) Преобразовал tks в fxt с помощью FXTFileMaker_Script_AD

Все работает, но качество моделирования выдает n/a, так и должно быть, или это признак того, что какой-то шаг сделан неверно?

 Отправлено: 06.06.18 11:44. Заголовок: Yan пишет: Все рабо..

Yan пишет:

цитата:

Все работает, но качество моделирования выдает n/a, так и должно быть, или это признак того, что какой-то шаг сделан неверно?

Да. Это нормально, т. к. тестер не может отвечать за историю, которую создали вместо него. Ведь, по сути, скрипт использует недокументированную возможность МТ4, подкладывая тестеру пользовательскую историю и запрещая тестеру изменять или удалять ее.

 Отправлено: 06.06.18 12:13. Заголовок: Понял, спасибо! Еще..

Понял, спасибо!

Еще подскажите пожалуйста по истории котировок, которая у Вас выложена (http://advancetools.net/index.php/instrumenty/tikovye-ob-emy/istoriya-tikov):
для Альпари собраны данные для счета standard или ecn? Ведь тики там разные, если я правильно понимаю.

 Отправлено: 06.06.18 15:12. Заголовок: Yan пишет: Еще подс..

Yan пишет:

цитата:

Еще подскажите пожалуйста по истории котировок, которая у Вас выложена (http://advancetools.net/index.php/instrumenty/tikovye-ob-emy/istoriya-tikov): для Альпари собраны данные для счета standard или ecn? Ведь тики там разные, если я правильно понимаю.

Счет типа Standart, реал.

 Отправлено: 02.07.18 00:17. Заголовок: кто нас дурит?

всем привет. автору спасибо огромное за реал тест.
нашел огромное различие в тиках время бар 18.54. и volume standart2 =299 а скачаный 449 разница пипец!
привожу скрины с алпари счета реал standart2 и тиков скачаных отсюда http://advancetools.net/loads/Ticks_History/2018/2/Alpari/EURUSD.zip
выделил цены между которыми нет тиков на счете standart2.
где делись тики? это алпари их так придержал или фильтронул?

 Отправлено: 02.07.18 10:03. Заголовок: fxman пишет: нашел ..

fxman пишет:

цитата:

нашел огромное различие в тиках время бар 18.54. и volume standart2 =299 а скачаный 449 разница пипец!

Различие в собранных тиках и тех, которые предоставляет брокер всегда есть. Я еще не находил ни одного бара, для которого бы это количество совпадало. Причем разница бывает не только в меньшую, но и большую сторону. Редко, конечно, но бывает.
При сборе тиков учитываются именно те тики, которые дошли до клиентского терминала. То, что пишет в тиковом объеме сам брокер, скорее всего, является числом всех котировок, которые он получает от имеющихся поставщиков. А вот клиентам этот поток фильтруется по алгоритмам, установленным самим брокером.
То, что тики собираются именно в реалтайме, как раз и является преимуществом по сравнению с тиками, которые где-то выложены самим брокером. Ведь большая часть этих тиков не попадает к клиенту. А так получается, что мы оперируем реальной историей, а не кем-то выдуманной.

fxman пишет:

цитата:

где делись тики? это алпари их так придержал или фильтронул?

Ответ на этот вопрос я дал выше. Кроме того, нужно учитывать, что в сети информация тоже теряется. Тики могут просто не дойти до места назначения.

 Отправлено: 02.07.18 13:01. Заголовок: скопировал с базы ал..

скопировал с базы алпари все тики бара 18.54 и посчитал их оказалось 299 и volume на графике м1 тоже показывает 299.
получается что все четко совпало.
но вы утверждаете что реальных тиков было или болше или меньше 299?
точно могу сказать что в вашей тиковой истории их 449.
чтож выходит пока тикал бар Volume[0] он мог набрать менее или более 299 а когда бар пошел в историю стал Volume[1] ==299 ?
остается только самому записать реал тики и проверить на совпадение с базой алпари.
посчитал чуток тиковый объём за бар м1: пришло 132 а показывает 143,не пришло 11 тиков,пока только в меньшую сторону.
считал тики экспертом void OnTick() а он как оказалось и повторы считает стырый Ask Bid ==новый Ask Bid.
но 229 и 449 это в большую сторону.
пускай вместо 229 мнеб пришло 200. пока для меня загадка откуда 449
на какой скорости вы пишите тики что показывает Ping?
посмотрите плиз счет алпари с которого вы считали тики сколько у вас там прописано тиков в истории за этот бар м1 29.06.2018 18:54
я просто скопировал в Exel тики бара и узнал их количество

 Отправлено: 02.07.18 20:28. Заголовок: fxman пишет: скопир..

fxman пишет:

цитата:

скопировал с базы алпари все тики бара 18.54 и посчитал их оказалось 299 и volume на графике м1 тоже показывает 299. получается что все четко совпало.

Так ведь это их собственная база тиков, а не та, что пришла к клиенту.

fxman пишет:

цитата:

но вы утверждаете что реальных тиков было или болше или меньше 299?

Я могу лишь сказать, что их МОГЛО быть больше или меньше. Если имеется в виду данный конкретный случай, то нужно сидеть и сравнивать. Я к сожалению, заняться этим не могу.

fxman пишет:

цитата:

чтож выходит пока тикал бар Volume[0] он мог набрать менее или более 299 а когда бар пошел в историю стал Volume[1] ==299 ?

Брокер имеет возможность (и часто этим пользуется) редактировать историю. Кстати, чаще других это замечено как раз у Альпари. Именно поэтому используется метод сбора тиковой истории онлайн. Думаю, если сравнить итоговую историю за последние 4 года, то обнаружится немало расхождений.

fxman пишет:

цитата:

остается только самому записать реал тики и проверить на совпадение с базой алпари.

Да, именно это я и делаю (только пока без сравнений).

fxman пишет:

цитата:

посчитал чуток тиковый объём за бар м1: пришло 132 а показывает 143,не пришло 11 тиков,пока только в меньшую сторону.

Да, чаще всего доходит меньшее количество тиков.

fxman пишет:

цитата:

считал тики экспертом void OnTick() а он как оказалось и повторы считает стырый Ask Bid ==новый Ask Bid.

Все-таки лучше это делать индикатором (совет разработчиков МТ4).

fxman пишет:

цитата:

пускай вместо 229 мнеб пришло 200. пока для меня загадка откуда 449

Да, я тоже не нашел точного ответа на этот вопрос. Только гора догадок, почему.

fxman пишет:

цитата:

посмотрите плиз счет алпари с которого вы считали тики сколько у вас там прописано тиков в истории за этот бар м1 29.06.2018 18:54

Выходит 152 + 168 = 320

 Отправлено: 02.07.18 20:36. Заголовок: Одним из показателей..

Одним из показателей того, что к тиковому объему не стоит подходить слишком уж серьезно, является разность тиковых объемов у Альпари на разных типах счетов:

ECN (MT5) - 219

Standart3 MT4 - 299

Demo MT4 - 430

 Отправлено: 02.07.18 21:27. Заголовок: 449 это уже фантасти..

449 это уже фантастическая цифра и нефига она нереальная. фантастическая"реальная история" выходит.
можете сделать фотку индикатора где 449?
только у вас есть возможность узнать откуда 449.
демо показывает 430 а пришло 320(и это на индикаторе).
по моим проверкам приходит всегда меньше.
повешу я еще индюка рядом с советником пусть вместе считают.
походу алпари тики вырезает. например за 10 секунд былоб плавное поднятие а после вырезки получилось за 1 секунду резкое поднятие.
маштабная на"бка цена уже есть но нам она недоступна.жеесть.

 Отправлено: 03.07.18 09:17. Заголовок: fxman пишет: можете..

fxman пишет:

цитата:

можете сделать фотку индикатора где 449?

Я же показал рисунок. Или Вы что-то другое имеете в виду?

fxman пишет:

цитата:

по моим проверкам приходит всегда меньше.

Скажем так: в подавляющем большинстве случаев.

fxman пишет:

цитата:

маштабная на"бка цена уже есть но нам она недоступна.жеесть.

Это называется "индивидуальный подход к клиенту"
Ведь у брокера есть возможность коррекции не только массового тикового потока, но и потока, предоставляемого конкретному клиенту.

 Отправлено: 03.07.18 15:55. Заголовок: никак не могу понять..

так у вас выложена база алпари тиков с демо?
никак не могу понять как вы наловили 449 тиков за этот бар м1 29.06.2018 18:54, если на счетах алпари столько не тикала.
максимум на демо и то 430.
мож есть какие предположения?
я попробовал ловить идикатором-редко ловит меньше
а вот советник с такимже кодом-чаще ловит меньше и даже меньше чем индюк, а почему?
в большую сторону словил один раз 94 с 93

 Отправлено: 04.07.18 09:15. Заголовок: fxman пишет: так у ..

fxman пишет:

цитата:

так у вас выложена база алпари тиков с демо?

Нет, с реала Standart3.


fxman пишет:

цитата:

никак не могу понять как вы наловили 449 тиков за этот бар м1 29.06.2018 18:54, если на счетах алпари столько не тикала.

Вы ошибаетесь. Я нигде не писал про 449 тиков. Это Ваши слова.


fxman пишет:

цитата:

мож есть какие предположения?

Предположений масса. Но без воспроизводимых доказательств о них даже говорить не стоит. Будет выглядеть как бред.


fxman пишет:

цитата:

а вот советник с такимже кодом-чаще ловит меньше и даже меньше чем индюк, а почему?

Я уже говорил выше, что советник пропускает тики, а индикатор - нет. Связано со спецификой архитектуры терминала. Только это не значит, что индикатор работает быстрее советника. Речь только о том, что до индикатора доходят все тики (пусть с опозданием, но доходят), которые дошли до клиентского терминала. А целью советника не является обработка каждого тика.

 Отправлено: 04.07.18 19:09. Заголовок: вот он 449 тиков во ..

вот он 449 тиков во всей красе и это с вашей базы алпари. Как могло столько натикать да еще и на реале?
есть мысль что это повторы натикались. на картинке выше видно что много повторов. но смысл слать поток с повторяющимися тиками.
одни вопросы...

 Отправлено: 04.07.18 20:21. Заголовок: fxman пишет: вот он..

fxman пишет:

цитата:

вот он 449 тиков во всей красе и это с вашей базы алпари. Как могло столько натикать да еще и на реале?

Мой рисунок приведен вверху. Там четко видно количество - 430 (это объем, который транслирует брокер). Рисунок я сделал с демо-счета.
Индикатор, который приведен на рисунке, оперирует данными из тикового потока, снятыми с реала. Там набралось 320 тиков, а брокер на этом же реале транслирует 299. Как раз тот случай, о котором я говорил (собранных тиков больше, чем транслированных).
Еще раз повторюсь: я не знаю, почему так происходит. Догадки есть, но все бездоказательные. Поэтому воздух сотрясать зря не буду.
Как у Вас получилось 449 тиков, ума не приложу. У меня этот же файл - 320 тиков.

 Отправлено: 05.07.18 09:35. Заголовок: ссылка на файл EURUS..

ссылка на файл EURUSD1_0.fxt, тестер мт4 билд 1090 на нем я и получил 449 тиков, время в тестере ставить от 2018.06.29 до 2018.06.30
файл маленький всего на 10 минутных баров. качайте тестите. хотелось бы выяснить причину такого количества тиков.
click here
Scriptong пишет:

цитата:

Индикатор, который приведен на рисунке, оперирует данными из тикового потока, снятыми с реала.

а как это вы сделали счет демо а индикатор на реале?
а кто в сети самый быстрый доставщик тиков какая контора?

 Отправлено: 05.07.18 14:58. Заголовок: fxman пишет: ссылка..

fxman пишет:

цитата:

ссылка на файл EURUSD1_0.fxt, тестер мт4 билд 1090 на нем я и получил 449 тиков, время в тестере ставить от 2018.06.29 до 2018.06.30 файл маленький всего на 10 минутных баров. качайте тестите. хотелось бы выяснить причину такого количества тиков. click here

Взял исходный тиковый файл. Да, там действительно 449 тиков. Просто я как-то упустил из виду, что тиком считается не только изменение Bid, но и Ask. На этой свече как раз много подобных моментов: Bid стоит на месте, а Ask изменяется.
К сожалению, в тестере этого невозможно заметить, т. к. тестер оперирует только ценой Bid, вычисляя от нее Ask.
А в том индикаторе, которым я измерил количество тиков, подсчитывается количество изменений цены, а не тиков. Потому и результат другой. Об этом я тоже забыл, давно не пользовался этим индикатором.

fxman пишет:

цитата:

а как это вы сделали счет демо а индикатор на реале?

Какая разница, на каком счете и что запускать? Тиковый поток записан (все равно, где). Затем он подставляется на любой другой тип счета (да хоть на счет другого брокера) и из него берет данные любо из моих тиковых индикаторов. Разве что далее будут поступать тики с текущего счета. Но ведь история то останется такой, которая записана в тиковый файл.

 Отправлено: 05.07.18 19:29. Заголовок: Scriptong пишет: Вз..

Scriptong пишет:

цитата:

Взял исходный тиковый файл. Да, там действительно 449 тиков. Просто я как-то упустил из виду, что тиком считается не только изменение Bid, но и Ask. На этой свече как раз много подобных моментов: Bid стоит на месте, а Ask изменяется.

не важно сколько скачет Ask это все равно тик, volume прописан намертво к истории а тики отражаются на счете в истории тиков, так вот я уже писал что посчитал историю и она совпала с volume на standart2 реал = 299 тиков.
вы ране писали:
Scriptong пишет:

цитата:

Одним из показателей того, что к тиковому объему не стоит подходить слишком уж серьезно, является разность тиковых объемов у Альпари на разных типах счетов: ECN (MT5) - 219 Standart3 MT4 - 299 Demo MT4 - 430

Standart3 и Standart2 совпадают по тикам. вопрос остается открытым откуда 449 тиков на Standart3 реале?
посмотрел бары следующее за баром который 449 тиков там тоже все завышено местами почти в два раза.
где то косяк в коде мож в скрипте что fxt создает.

 Отправлено: 06.07.18 08:53. Заголовок: fxman пишет: вопрос..

fxman пишет:

цитата:

вопрос остается открытым откуда 449 тиков на Standart3 реале?

Столько натикало в онлайн. Что тут странного? А брокер мог потом подкорректировать показания Volume. Цели таких корректировок мне неизвестны. Сразу думать о его кознях - последнее дело, т. к. нужно иметь доказательства, которые можно собрать только с серверов брокера. Скорее всего, какая-то техническая коррекция, связанная с внутренними регламентами предприятия.

 Отправлено: 06.07.18 10:52. Заголовок: отличается все и даж..

отличается все и даже High и Low, и что вы скажете что брокер их сместил?
выложите скрин Standart3 реал этого бара

 Отправлено: 06.07.18 11:14. Заголовок: fxman пишет: выложи..

fxman пишет:

цитата:

выложите скрин Standart3 реал этого бара

К сожалению, у меня нет такой возможности.

 Отправлено: 06.07.18 16:27. Заголовок: а вот ваша вы выклад..

а вот ваша вы выкладывали демо Standart3, различие в Close на 1 пунктик что допустимо т.к время серверное между Standart2 и Standart3 отличается на милесекунды.
выходит ошибка гдето в коде скрипта?

 Отправлено: 09.07.18 19:57. Заголовок: fxman пишет: а вот ..

fxman пишет:

цитата:

а вот ваша вы выкладывали демо Standart3, различие в Close на 1 пунктик что допустимо т.к время серверное между Standart2 и Standart3 отличается на милесекунды. выходит ошибка гдето в коде скрипта?

Никак не пойму, к чему Вы клоните. Вот добрался до реала и загрузил историю, которую дает брокер:

Что Вы тут хотите увидеть?

 Отправлено: 10.07.18 16:08. Заголовок: Scriptong пишет: Ни..

Scriptong пишет:

цитата:

Никак не пойму, к чему Вы клоните.

посмотрите внимательно выше я выложил два скрина, High Open Close Low все они отличаются., а они должны быть одинаковы!
ваш скрипт что создает файл EURUSD1_0.fxt с ошибками!

еще я делал два файла EURUSD1_0.fxt с разными времеными интервалами(1 час и 11 часов) и обнаружил случайно что один и тот же бар имеет разные цены!

 Отправлено: 11.07.18 09:04. Заголовок: fxman пишет: посмот..

fxman пишет:

цитата:

посмотрите внимательно выше я выложил два скрина, High Open Close Low все они отличаются., а они должны быть одинаковы!

Обоснуйте, почему должны?

fxman пишет:

цитата:

ваш скрипт что создает файл EURUSD1_0.fxt с ошибками!

В чем они заключаются?

fxman пишет:

цитата:

еще я делал два файла EURUSD1_0.fxt с разными времеными интервалами(1 час и 11 часов) и обнаружил случайно что один и тот же бар имеет разные цены!

Приведите, пожалуйста, воспроизводимый пример.

 Отправлено: 11.07.18 16:00. Заголовок: Scriptong пишет: Об..

Scriptong пишет:

цитата:

Обоснуйте, почему должны?

да этож элементарно понять.
вы ваще догоняете что я толкую что ваша база тиков алпари не совпадает с реальностью.
база High: 1.16832 реальность High: 1.16826 смотрите картинку выше
откуда появилась эта цена 1.16832 ?
что ж получается ,цена была но алпари говорит что ее не было?

 Отправлено: 17.07.18 10:25. Заголовок: fxman пишет: вы ващ..

fxman пишет:

цитата:

вы ваще догоняете что я толкую что ваша база тиков алпари не совпадает с реальностью.

Дело в том, что ни у Вас, ни у меня нет эталонных котировок. Да их и не может быть. Поэтому говорить о "реальности" нет смысла.
Есть только тики, собранные индикатором в режиме онлайн. Раз такой тик (1.16832) пришел, то он был, как минимум, для моего счета (для других счетов его могло не быть, т.к . у брокера есть возможность предоставления персональных котировок каждому пользователю, см. функционал приложения Meta Manager).
Также этот тик могли впоследствии подчистить, обычное дело. Историю нередко "причесывают", чтобы она выглядела красиво. Наиболее наглядный пример - спайки, которыми часто грешит в Альпари. На предоставляемой ими истории Вы не найдете ни одного такого примера. А вот в тех тиковых данных, которые имеются на сайте advancetools.net, при желании можно найти такие свидетельства, т. к. собранную историю я дополнительно не обрабатываю.