Отправлено: 09.10.13 21:39. Заголовок: Регрессионный анализ

Часть 1.
Статья открывает целый цикл материалов, посвященных регрессионному анализу рыночных процессов. Все рассуждения и выводы автора статьи, приведенные здесь, были сделаны на основании книги Владимира Георгиевича Брюкова "Как предсказать курс доллара".

Часть 2.
Выполнение оценки качества полученного уравнения регрессии.

Часть 3.
Прогнозирование на основании решения уравнения авторегрессии.

Часть 4.
1. Доработан индикатор AutoRegressionFunction, что позволяет решать уравнения авторегрессии любого порядка (вплоть до 36-го)
2. Автоматический выбор порядка уравнения авторегрессии, максимально подходящий для той или иной ситуации.
3. Автоматическая оценка полученного уравнения регрессии и, при необходимости, переход к уравнению другого порядка.
4. Доработан индикатор MultipleCorrelationCoefficient_Evalution. Теперь индикатор отображает прогностические значения, вычисленные по уравнению линейной регрессии.
5. Сопоставление результатов работы двух методов анализа.

Часть 5.
Разработана стратегия по мотивам всего статистического анализа. Результат выдан в виде индикатора и советника.

 Отправлено: 11.11.13 20:53. Заголовок: Спасибо, Игорь! Вы с..

Спасибо, Игорь!
Вы совершили немеряный труд!
По сути создан обширный инструментарий, способный решать задачи бОльшей части метода описанного в книге.
Тема сложная, разработка требует большой концентрации, а Вы выдавали по статье в неделю - есть от чего устать.
Так что более достойный повод отдохнуть сложно представить

Scriptong пишет:

цитата:

1. Есть чувство, что многим не по душе поднятая тема (слишком сложна для понимания),

Вы дали возможность выбора! Приходят знания и задачи, и начинаешь искать софт под них
Те трейдеры, которым это сегодня не надо по прошествии времени будут лопатить инет в поиске этих статей и программ.

Еще раз большущее человеческое спасибо!

 Отправлено: 19.11.13 19:59. Заголовок: Как всегда, спасибо ..

Как всегда, спасибо за поддержку и понимание.

 Отправлено: 13.01.14 00:22. Заголовок: Игорь, день добрый! ..

Игорь, день добрый!
Набрел на статью на Хабрахабре называется Прогнозирование валютных колебаний статистическими методами.
Если будет время - взгляните и после статьи комментарии с некоторыми графиками.
--------------------------------------
И кстати (или не кстати ) пришло в голову, что при расчете валютных колебаний имеет смысл учитывать сезонные колебания,
которые есть у всех валют. Использовать индексы сезонности для сезонной корректировки временного ряда.
Где-то мне попадалась и статья Брюкова по даной теме, а также некоторые подходы описывал Ларри Уильямс для сезонных колебаний
UsdJPY в книге "Секреты торговли на фьючерсном рынке".
Тем более, что эти "колебания" инициируются приличными объемами, что вполне можно поймать.

 Отправлено: 15.01.14 19:31. Заголовок: К регрессионному ана..

К регрессионному анализу еще вернемся - книга Бирюкова до конца не представлена в виде статей на MQLabs.

Genry пишет:

цитата:

Набрел на статью на Хабрахабре называется Прогнозирование валютных колебаний статистическими методами.

Здесь, конечно, очень странное название статьи, которое по сути не оправдывается содержанием. Ведь итогом рассуждений является набор индикаторов, различные сплетения которых на истории дают некий прогноз (кстати, подробностей самой техники прогнозирования почти нет, только общее описание). Что-то вроде нейросети должно получаться на выходе. Но к статистике, на мой взгляд, это все имеет слишком опосредованное отношение.

 Отправлено: 17.01.14 10:06. Заголовок: Scriptong пишет: Зд..

Scriptong пишет:

цитата:

Здесь, конечно, очень странное название статьи, которое по сути не оправдывается содержанием. Ведь итогом рассуждений является набор индикаторов, различные сплетения которых на истории дают некий прогноз (кстати, подробностей самой техники прогнозирования почти нет, только общее описание). Что-то вроде нейросети должно получаться на выходе. Но к статистике, на мой взгляд, это все имеет слишком опосредованное отношение.

Вот что значит попасть под влияние собственных идей - это я про себя. Увидев в начале статьи ссылки на 2 библиотеки и рассуждения о повторяющихся паттернах, я подумал что Хабрахабр анализирует модели паттренов распределения и делает БД "колоколов" с асимметриями и эксцессами и направлением выхода из них цены, чтобы по ним прогнозировать, если в он-лайне будет найдена и
распознана похожая комбинация

А в варианте Хабрахабра по статистике кривых индикаторов у Вас уже была статья по распознаванию паттернов стохастика -"Паттерн дальнего следования" и статья по распознанию свечных паттернов - "История повторяется?".

Я-то надеялся что Хабрахабр взялся решать задачу анализ паттернов распределения , эх ...

 Отправлено: 19.01.14 11:26. Заголовок: Е.П.Чураков "Прогнозирование эконометрических временных рядов"

Scriptong пишет:

цитата:

К регрессионному анализу еще вернемся - книга Бирюкова до конца не представлена в виде статей на MQLabs.

Игорь, день добрый!
Принес домой полезную книгу в бумаге: Е.П.Чураков "Прогнозирование эконометрических временных рядов"
А на обложке еще аннонс: Е.П. Чураков "Математические методы обработки экспериментальных данных в экономике"

При беглом прочтении из интересного в первой книге увидел:

1. Помимо описания моделей стационарных стохастических временных рядов (AR, ARMA), дано описание процесса обработки
нестационарных моделей - ARIMA(p,d,q), процесса авторегрессии порядка p и d раз проинтегрированного скользящего среднего порядка q.

2. Процесс построения временной зависимости линейного тренда ряда и его сезонной составляющей.
Сезонная составляющая в графиках валют очень интересна, вот как ее описывает Ларри Вильямс:

"Позвольте мне показать вам то, о чем я говорю, с помощью недельного графика иены (рис. 10.1), под которым я поместил сезонную схему поведения, повторяющуюся для иены из года в год и базирующуюся на результатах торговли этой валютой в течение последних 27 лет. Индекс представляет собой среднее движение цены за каждый п-й день / п-ю неделю года на протяжении всего периода имеющихся данных (для фъючерсов используем разностъ текущего и предыдущего показателей закрытия, для акций и индексов — частное от деления текущего показателя закрытия на предыдущий) на основе центрированных значений.



Индекс сезонных трендов говорит нам, что в начале каждого года иена обычно слаба и снижается. Это наблюдение я впервые сформулировал в 1973 г. в своей книге о сезонных схемах поведения рынка «Как сезонные факторы влияют на цены биржевых товаров» (How Seasonal Factors Influence Commodity Prices, Windsor Books)."

 Отправлено: 21.01.14 21:01. Заголовок: Genry пишет: Сезонн..

Genry пишет:

цитата:

Сезонная составляющая в графиках валют очень интересна, вот как ее описывает Ларри Вильямс: "Позвольте мне показать вам то, о чем я говорю, с помощью недельного графика иены (рис. 10.1), под которым я поместил сезонную схему поведения, повторяющуюся для иены из года в год и базирующуюся на результатах торговли этой валютой в течение последних 27 лет. Индекс представляет собой среднее движение цены за каждый п-й день / п-ю неделю года на протяжении всего периода имеющихся данных (для фъючерсов используем разностъ текущего и предыдущего показателей закрытия, для акций и индексов — частное от деления текущего показателя закрытия на предыдущий) на основе центрированных значений. Индекс сезонных трендов говорит нам, что в начале каждого года иена обычно слаба и снижается. Это наблюдение я впервые сформулировал в 1973 г. в своей книге о сезонных схемах поведения рынка «Как сезонные факторы влияют на цены биржевых товаров» (How Seasonal Factors Influence Commodity Prices, Windsor Books)."

Да, именно касательно йены что-то постоянно говорят в преддверии их Нового Года (кажется, конец марта). Не помню, что именно, но помню такие разговоры - там есть какое-то фиксированное поведение, которое многие используют в спекуляции. Сейчас быстро и не найду.

 Отправлено: 21.01.14 23:27. Заголовок: Scriptong пишет: Да..

Scriptong пишет:

цитата:

Да, именно касательно йены что-то постоянно говорят в преддверии их Нового Года (кажется, конец марта). Не помню, что именно, но помню такие разговоры - там есть какое-то фиксированное поведение, которое многие используют в спекуляции. Сейчас быстро и не найду.

Кроме йены у Вильямса там-же было про сезонный тренд золота.

Надеюсь, что подход описанный в книге на стр. 86 позволит выделять сезонный тренд в любых инструментах. Осталось найти книги на
просторах инета или в магазинах Днепродзержинска (кошка уранила домашний сканер )

"Детально исследуются характеристики временных рядов, представленных моделями AR, MA, ARMA, ARIMA и уравнениями в терминах стохастического вектора состояния. Систематизированы и развиты методы структурной и параметрической идентификации моделей, включая проблему TS- и DS-рядов. Построены алгоритмы прогнозирования, основанные на винеровском, байесовском и калмановском подходах к проблеме. Приводятся многочисленные примеры, выполненные в среде Mathcad.

Для студентов экономических специальностей вузов и аспирантов, выполняющих научные исследования в области математических методов."

Игорь, первую книгу нашел вот здесь http://www.twirpx.com/file/751184/ , но весит 124мб -
это сканированная копия, так что взять можно через регистрацию.
А вторая книга в pdf (5мб) тут http://www.twirpx.com/file/88674/

 Отправлено: 24.01.14 15:34. Заголовок: MultipleCorrelationCoefficient_Signals

цитата:

Genry пишет: Задался вопросом: - Как реагируют индикаторы асимметрии, эксцесса и критерии на их основе на выбросы объема? А хорошо реагируют -в целом правильно фиксируют, Scriptong пишет:Нужно будет проанализировать.

Игорь, а вот еще интересный момент для анализа. В первой статье " Регрессионный анализ" рассматривался следующий вариант открыти-закрытия позиций:


Рис. 4. Сигналы закрытия позиции

Я понаблюдал за индикатором MultipleCorrelationCoefficient_Signals (он во II индикаторном окне сверху, названия остальных видны на скрине),
вот дополненный рисунок и некоторые выводы:

1. От минимума до минимума индикатор строит кривую "колокола нормального распределения" - т.е. полную фазу роста- убывания.
Про этом в первой фазе, когда значения индикатора растет, на графике фиксируется тренд (обозначено как зона №1).



2. Когда значения индикатора вырастают до 0.9 тренд строит локальный экстремум - входит в зону перекупленности/перепроданности.
Далее он может либо оставаться в этой зоне (на графике обозначена №3), либо выйти. Т.е. если в зоне появилась точка перегиба - теперь
можно закрывать позицию или часть ее.

Я тупо закрывал позицию когда показания индикатора достигали 0.95 -0.97 или ждал подтверждения что значение индикатора
убывает в интервале от 1 до 0.9.
Иногда тренд еще продолжался после входа в зону >= 0.9, но закрыть позу по тренду лучше чем когда тренд развернется
и появится ненужное проскальзывание при закрытии.

3. После формирования точки перегиба в зоне №3 наступает фаза знижения значений индикатора и можно открываться в
противоположном направлении.

Вот пример. Под графиком цены размещены различные индикаторы объема. Видно, как кривая MultipleCorrelationCoefficient_Signals
коррелируется с их показаниями.

 Отправлено: 27.01.14 21:14. Заголовок: Genry пишет: 2. Ког..

Genry пишет:

цитата:

2. Когда значения индикатора вырастают до 0.9 тренд строит локальный экстремум - входит в зону перекупленности/перепроданности. Далее он может либо оставаться в этой зоне (на графике обозначена №3), либо выйти. Т.е. если в зоне появилась точка перегиба - теперь можно закрывать позицию или часть ее.

Да, это качество за индикатором замечено изначально. Но на пути к утопии, как всегда, что-то мешает. В данном случае это тупой флэт.
Проявляется он также хитро, как и поведение рынка по сути. Вот например (пошли да остановились):

Другой пример (где войти - линия не желает уходить от 0.1?):


Я не говорю, что невозможно все это отфильтровать. Точнее, можно отфильтровать многое, но далеко не все моменты, плюс с потерей некоторых хороший сигналов.
А в теории, да, все красиво.

 Отправлено: 28.01.14 10:18. Заголовок: Scriptong пишет: Да..

Scriptong пишет:

цитата:

Да, это качество за индикатором замечено изначально. Но на пути к утопии, как всегда, что-то мешает. В данном случае это тупой флэт. Проявляется он также хитро, как и поведение рынка по сути. Вот например (пошли да остановились):

Scriptong пишет:

цитата:

Я не говорю, что невозможно все это отфильтровать. Точнее, можно отфильтровать многое

Игорь, будете смеяться, но в этой ситуации мне помогает небольшое знание mql и его возможностей

Когда я смотрел на работу индикатора идеи по поводу фильтров у меня были, но не было достаточных знаний для реализации.
А Вас тогда грузить не хотел, еще статистики было мало (теперь набрал , вот и сунулся с предложениями ).

Можно сказать что все гениальное просто, но можно и в форме "в меру своего знания mql я тупо поправил индикатор" - добавил второй
уровень выхода к вашему индикатору. Один уровень установлен 0.95-0.97, второй - 0.5- 0.7 смотрю по паре. И ситуация получилась такая:
если сигнал был сильный - то значение взлетает до 1 и позиция закрывается, как минимум взял импульсную часть тренда.
если сигнал оказался флетовым и значения поднялись до 0.7 - 0.8 и закрылись на 0.7-0.5 - ну тоже что-то взял.

КонеШно есть недостатки - индикатор болтаясь на втором уровне закрытия на графике рисует ненужные крестики, но я поступаю
как сытый кот - жмурюсь и отварачиваюсь от экрана

 Отправлено: 05.02.14 15:27. Заголовок: Genry пишет: КонеШн..

Genry пишет:

цитата:

КонеШно есть недостатки - индикатор болтаясь на втором уровне закрытия на графике рисует ненужные крестики, но я поступаю как сытый кот - жмурюсь и отварачиваюсь от экрана

Формализовать бы нам этого кота...

 Отправлено: 06.09.14 17:23. Заголовок: Scriptong пишет: Ф..

Scriptong пишет:

цитата:

Формализовать бы нам этого кота...

Статья на mql5: Универсальная регрессионная модель для прогнозирования рыночной цены
Yousufkhodja Sultonov ( Юсуфходжа) | 7 февраля, 2011

Ветка: Индикатор Султонова

Сам индикатор (не думаю что версия последняя)

Обсуждение статьи "Универсальная регрессионная модель для прогнозирования рыночной цены"

Sultonov : создать эксперт для мт4 по программе, выполненной на экзель

 Отправлено: 07.09.14 10:29. Заголовок: Кстати, у Султонова ..

Кстати, у Султонова была еще одна тема по использованию тиковых импульсов в торговле, называется " Динамический график"

Суть идеи, в изложении автора, такова:
"Теперь, предлагаю вместо ТФ (таймфреймы) использовать ДФ (динамофреймы). Принцип построения ДФ нужно обсудить.

1. Можно, например, "дневные" ДФ строить также как Д1 и суммирование движения начинать от начала суток, для недельных - от начала недели и т. д., также с ценами OHLC.
2. Можно динамобары образовывать от круглых сумм общего движения цены, например, ДФ 1000 (каждые 1000 пунктов объявляем новым ДФ), ДФ100, ДФ10, ДФ1, ДФ0,1 ,...

Динамофреймы могут оказаться значительно информативнее, чем таймфреймы.

Примерное описание:

Представим себе, что работаем на ДФ 1. Это означает, что, с момента, когда цена приходит в этот бар с ценой О, начинается заполнение
бара абсолютными приращениями цены в виде разности цены тиков: 0,00015 +[-0.00010] ( так обозначил знак "абсолютное значение")
+ 0,00036 +0,00014 + [-0.00024] + [-0.00231] +[-0.00012] + 0.00145 + ........, пока эта сумма не будет равна 1 и тогда цена покинет
динамический бар с ценой С, в промежутке побывав на максимальном Н и минимальном L, а также на любых других, значениях внутри бара.
Динамический бар ДФ 1 завершен! Переходим к следующему бару.
Цена сама себе создала бар своим движением, без услуг времени. SUMMA ABS(Pi - Pi-1) =1. Этот бар содержит 100000 пятизначных
пунктов или 10000 четырехзначных пунктов движения цены. Также можно организовать как более мелкие, так и крупные
ДФ (динамо-фреймы) из ДБ (динамо-баров).

 Отправлено: 07.09.14 12:20. Заголовок: О, ну о Султонове на..

О, ну о Султонове наслышан
Читал его много. Да, очень интересно, можно даже сказать, захватывающе, как художественная литература. Но, когда пытаешься формализовать все, о чем пишется, оказывается, что ничего конкретно то и не описано. То есть в каждом его методе существуют большие пробелы при переходе от данных до рассчитанных значений. Из этой ситуации он выходит просто: "специально умолчал, раскрою только заинтересовавшимся лицам лично".
Таким образом, реализовать большинство методов по его описанию фактически невозможно. Нужно лишь додумывать самому.