МЕТОДЫ ПРОГНОЗИРОВАНИЯ В УСЛОВИЯХ РЫНКА

Э.Е. Тихонов

Методы прогнозирования в условиях рынка

УЧЕБНОЕ ПОСОБИЕ

Невинномысск, 2006

УДК [338.26+004.67](075.8) Э.Е. Тихонов. Методы прогнозирования в условиях рынка: учебное пособие. - Невинномысск, 2006. - 221 с. В учебном пособии рассмотрены вопросы практического применения методов прогнозирования. Особенность данного издания рассмотрение концепций применения методов прогнозирования одновременно с вопросами их практической реализации в современных программных средствах MS Excel, Statistica, Statistica Neural Networks. Пособие состоит из четырех частей. В первой части сделан аналитический обзор методов и моделей прогнозирования. Во второй части на примерах разобраны адаптивные методы прогнозирования, модель Уинтерса (экспоненциального сглаживания с мультипликативной сезонностью и линейным ростом) и модель Тейла-Вейджа. В третьей части подробно разобраны вопросы практической реализации линейных и нелинейных многофакторных моделей в пакете Statistica. В четвертой части описаны практические аспекты нейросетевого прогнозирования с использованием пакета Statistica Neural Networks. Каждый раздел заканчивается контрольными вопросами и заданиями для самостоятельной работы. Пособие предназначено для студентов, изучающих дисциплины: рынок ценных бумаг, менеджмент и компьютерная поддержка принятия решений, прогнозирование и планирование в задачах производственного менеджмента. Рецензенты: д-р техн. наук, проф. д-р техн. наук, проф. ISBN 5-89571-077-8

Н.И. Червяков В.Ф. Минаков

© Северо-Кавказский государственный технический университет, 2006 © Э.Е. Тихонов, 2006

2

Оглавление Введение……………………………………………………………… 6 Глава 1. Аналитический обзор моделей и методов прогнозирования………………………………………………………………. 1.1. Прогнозная экстраполяция………………………………… 1.1.1. Метод наименьших квадратов………………………. 1.1.2. Метод экспоненциального сглаживания…………… 1.1.3. Метод вероятностного моделирования……………... 1.2. Интуитивные (экспертные) методы прогнозирования…... 1.3. Корреляционный и регрессионный анализы……………... 1.4. Модели стационарных временных рядов и их идентификация………………………………………………….. 1.4.1. Модели авторегрессии порядка p (AR(p)-модели)… 1.4.2. Модели скользящего среднего порядка q (МА(q)модели)………………………………………………………. 1.4.3. Авторегрессионные модели со скользящими средними в остатках (ARMA(p, q)-модели)……………………. 1.5. Модели нестационарных временных рядов и их идентификация……………………………………………………... 1.5.1. Модель авторегрессии-проинтегрированного скользящего среднего (ARIMA(p, k, q)-модель)………….. 1.5.2. Модели рядов, содержащих сезонную компоненту.. 1.5.3. Прогнозирование на базе ARIMA-моделей………... 1.6. Адаптивные методы прогнозирования…………………… 1.7. Метод группового учета аргументов……………………… 1.8. Теория распознавания образов……………………………. 1.9. Прогнозирование с использованием нейронных сетей, искусственного интеллекта и генетических алгоритмов…….. Глава 2. Практическая реализация адаптивных методов прогнозирования…………………………………………………… 2.1. Общие положения…………………………………...……... 2.2. Полиномиальные модели временных рядов. Метод экспоненциальной средней………………………………………… 2.2.1. Адаптивная полиномиальная модель нулевого порядка (р=0)………………………………………………... 2.2.2. Адаптивная полиномиальная модель первого порядка (р=1)…………………………………………………. 3

8 11 13 15 19 24 33 40 41 43 45 46 46 48 49 51 55 62 63 71 71 72 73 76

2.2.3. Адаптивная полиномиальная модель второго порядка (р=2)………………………………………………….. 80 2.3. Прогнозирование с использованием модели Уинтерса (экспоненциального сглаживания с мультипликативной сезонностью и линейным ростом)……………………………….. 83 2.4. Прогнозирование объема производства по модели ТейлаВейджа…………………………………………………………… 91 Глава 3. Практическая реализация многофакторных моделей прогнозирования………………………………………………. 97 3.1. Линейные многофакторные модели………………………. 99 3.2. Нелинейные многофакторные модели……………………. 111 Глава 4. Нейросетевое прогнозирование экономических показателей в пакете Statistica Neural Networks………………….. 4.1. Основные возможности пакета Statistica Neural Networks……………………………………………………………... 4.1.1. Создание набора данных…………………………….. 4.1.2. Добавление наблюдений…………………………….. 4.1.3. Удаление лишних наблюдений……………………... 4.1.4. Изменение переменных и наблюдений……………... 4.1.5. Другие возможности редактирования данных……... 4.1.6. Создание новой сети…………………………………. 4.1.7. Создание сети………………………………………… 4.1.8. Сохранение набора данных и сети………………….. 4.1.9. Обучение сети………………………………………... 4.1.10. Оптимизация обучения…………………………….. 4.1.11. Выполнение повторных прогонов…………………. 4.1.12. Ошибки для отдельных наблюдений……………… 4.2. Запуск нейронной сети…………………………………….. 4.2.1. Обработка наблюдений по одному…………………. 4.2.2. Прогон всего набора данных……………………….. 4.2.3. Тестирование на отдельном наблюдении…………... 4.3. Создание сети типа Многослойный персептрон…………. 4.3.1. Создание сети типа многослойный персептрон с помощью мастера…………………………………………… 4.4. Построение нейронной сети без мастера…………………. 4.5. Обучение сети………………………………………………. 4.5.1. Обучение методом обратного распространения ошибки 4.5.2. Обучение с помощью метода Левенберга-Маркара.. 4.5.3. Алгоритм выполнения обучения сети с помощью 4

122 122 122 123 124 124 124 126 126 127 127 129 129 130 131 132 133 134 134 135 147 149 149 155 159

метода Левенберга-Маркара……………………………….. 4.6. Генетические алгоритмы отбора входных данных………. 4.7. Применение нейронных сетей в задачах прогнозирования и проблемы идентификации моделей прогнозирования на нейронных сетях……………………….……. 4.7.1. Сравнительный анализ нейронных сетей.…………. 4.7.2. Исследование нейросетевых структур для курсов акций ОАО «Ростелеком», ОАО «Лукойл», «Сбербанк»…………………………………………………………. 4.8. Сравнительная оценка классических и нейросетевых методов прогнозирования………………………………………….

182

Литература…………………………………………………………… Приложения………………………………………………………….

188 206

5

159 166 168 174

Введение Развитие прогностики как науки в последние десятилетия привело к созданию множества методов, процедур, приемов прогнозирования, неравноценных по своему значению. По оценкам зарубежных и отечественных систематиков прогностики уже насчитывается свыше ста методов прогнозирования, в связи с чем перед специалистами возникает задача выбора методов, которые давали бы адекватные прогнозы для изучаемых процессов или систем [19, 27]. Для тех, кто не является специалистами в прикладной математике, эконометрике, статистике, применение большинства методов прогнозирования вызывает трудности при их реализации с целью получения качественных и точных прогнозов. В связи с этим, каждый метод рассмотрен очень подробно с приведением рекомендаций по практическому применению. Особенностью данного пособия является рассмотрение тонкостей применения того или иного метода. Учебное пособие разделено на четыре части, в каждой из которых рассмотрен свой класс методов прогнозирования. В первой части рассмотрены теоретические аспекты построения и применения методов и алгоритмов прогнозирования. Приведена классификация наиболее распространенных методов. Во второй части рассмотрены классические адаптивные модели прогнозирования, реализованные в MS Excel. Несмотря на то, что они программно реализованы в некоторых статистических и эконометрических пакетах прикладных программ, предложен именно ручной счет, освоив который гораздо легче понимать принципы и специфику данных методов прогнозирования. В третьей части основное внимание уделено применению классических нелинейных многофакторных моделей прогнозирования. Совершено очевидно, что сложные нелинейные многофакторные модели невозможно просчитать вручную, поэтому подробно рассматривается возможность применения пакета Statistica для этих целей. В четвертой части рассмотрены нейросетевые методы прогнозирования и особенности их построения. Многие источники подробно рассматривают теорию нейронных сетей, опуская описание практического их использования. Для понимания того, какие преимущества дают предлагаемые методы анализа данных и прогнозирования, необходимо указать на 6

три принципиальные проблемы, возникающие при прогнозировании. Первая проблема – это определение необходимых и достаточных параметров для оценки состояния исследуемой предметной области. Вторая проблема заключается в так называемом «проклятье размерности». Желание учесть в модели как можно больше показателей и критериев оценки может привести к тому, что требуемая для ее решения компьютерная система вплотную приблизится к «пределу Тьюринга» (ограничению на быстродействие и размеры вычислительного комплекса в зависимости от количества информации, обрабатываемой в единицу времени). Третья проблема – наличие феномена «надсистемности». Взаимодействующие системы образуют систему более высокого уровня, обладающую собственными свойствами, что делает принципиально недостижимой возможность надсистемного отображения и целевых функций с точки зрения систем, входящих в состав надсистемы. Для преодоления перечисленных проблем делаются попытки применения таких разделов современной фундаментальной и вычислительной математики, как нейрокомпьютеры, теория стохастического моделирования (теория хаоса), теория рисков, теория катастроф, синергетика и теория самоорганизующихся систем (включая генетические алгоритмы) [123, 134]. Считается, что эти методы позволят увеличить глубину прогноза за счет выявления скрытых закономерностей и взаимосвязей среди плохо формализуемых обычными методами макроэкономических, политических и глобальных финансовых показателей. Представленное учебное пособие может быть рекомендовано для студентов, аспирантов и преподавателей, занимающихся проблемами совершенствования методов и моделей прогнозирования, а также вопросами их практической реализации.

7

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР МОДЕЛЕЙ И МЕТОДОВ ПРОГНОЗИРОВАНИЯ Как было сказано выше, по оценкам зарубежных и отечественных систематиков прогностики, уже насчитывается свыше 100 методов прогнозирования. Число базовых методов прогностики, которые в тех или иных вариациях повторяются в других методах, гораздо меньше. Многие из этих «методов» относятся скорее к отдельным приемам или процедурам прогнозирования, другие представляют набор отдельных приемов, отличающихся от базовых или друг от друга количеством частных приемов и последовательностью их применения. О проблеме классификации было отмечено во введении. В литературе имеется большое количество классификационных схем методов прогнозирования. Однако большинство из них или неприемлемы, или обладают недостаточной познавательной ценностью. Основной погрешностью существующих классификационных схем является нарушение принципов классификации. К числу основных таких принципов, на наш взгляд, относятся: достаточная полнота охвата прогностических методов, единство классификационного признака на каждом уровне членения, открытость классификационной. Предлагаемая нами схема классификации методов прогнозирования показана на рисунке 1.1 [19]. Безусловно, имеют право на существование частные классификационные схемы, предназначенные для определенной цели или задачи. Каждый уровень детализации определяется своим классификационным признаком: степенью формализации, общим принципом действия, способом получения прогнозной информации. По степени формализации все методы прогнозирования делятся на интуитивные и формализованные. Интуитивное прогнозирование применяется тогда, когда объект прогнозирования либо слишком прост, либо настолько сложен, что аналитически учесть влияние многих факторов практически невозможно. В этих случаях прибегают к опросу экспертов, Полученные индивидуальные и коллективные экспертные оценки используют как конечные прогнозы или в качестве исходных данных в комплексных системах прогнозирования. 8

Методы прогнозирования

Интуитивные методы прогнозирования

Формализованные методы прогнозирования

Индивидуальные экспертные оценки

Коллективные экспертные оценки

Экстраполяционные методы

Системноструктурные методы

Ассоциативные методы

Методы опережающей инфор-

Метод «интервью»

Метод анкетирования

Метод МНК

Функциональноиерархиче-

Метод имитац-го. моделир.

Анализ потока публикаций

Аналитич-е докладные записки

Метод «комиссий»

Экспоненциальное сглаживание

Метод морфологического анализа

Историкологический анализ

Оценка значимости изобретений

Метод сценариев

Метод «мозговых атак»

Вер-ное моделир. адап.ное сг.-е

Матричный метод

Методы теор. распознавания образов

Анализ патентной информации

Сетевое моделир-е

Метод программного прогнозирования

Методы структурной аналогии

Метод эвристического прогнозир.

Граф и дерево целей

Коллективная генерация идей

Нейросетевое прогнозирова-ние Интеллектуальный анализ данных

Прогнозный сценарий

Математические методы

Кор.-ный и рег.- ный анализ

МГУА

Цепи Маркова

Факторный анализ

Распознавание образов

Моделир-е стационарных с.п.

Математическая логика

Вариационные методы

Моделир-е нестац-ых с.п.

Рисунок 1.1. Классификационная схема методов прогнозирования 9

Спектральный анализ

В выборе методов прогнозирования важным показателем является глубина упреждения прогноза. При этом необходимо не только знать абсолютную величину этого показателя, но и отнести его к длительности эволюционного цикла развития объекта прогнозирования. Для этого можно использовать предложенный В. Белоконем безразмерный показатель глубины (дальности) прогнозирования (τ)

τ = ∆t / t , где ∆t – абсолютное время упреждения; t x − величина эволюционного цикла объекта прогнозирования. Формализованные методы прогнозирования являются действенными, если величина глубины упреждения укладывается в рамки эволюционного цикла ( τ > 1 ), то при комплексировании систем прогнозирования большее значение имеют интуитивные методы. В зависимости от общих принципов действия интуитивные методы прогнозирования, например, можно разделить на две группы: индивидуальные экспертные оценки и коллективные экспертные оценки. Методы коллективных экспертных оценок уже можно отнести к комплексным системам прогнозирования (обычно неполным), поскольку в последних сочетаются методы индивидуальных экспертных оценок и статистические методы обработки этих оценок. Но так как статистические методы применяются во вспомогательных процедурах выработки прогнозной информации, на наш взгляд, коллективные экспертные оценки целесообразнее отнести к сингулярным методам прогнозирования. В группу индивидуальных экспертных оценок можно включить (принцип классификации – способ получения прогнозной информации) следующие методы: метод «интервью», аналитические докладные записки, написание сценария. В группу коллективных эксперт10

ных оценок входят анкетирование, методы «комиссий», «мозговых атак» (коллективной генерации идей). Класс формализованных методов в зависимости от общих принципов действия можно разделить на группы экстраполяционных, системно-структурных, ассоциативных методов и методов опережающей информации. В группу методов прогнозной экстраполяции можно включить методы наименьших квадратов, экспоненциального сглаживания, вероятностного моделирования и адаптивного сглаживания. К группе системно-структурных методов – отнести методы функционально-иерархического моделирования, морфологического анализа, матричный, сетевого моделирования, структурной аналогии. Ассоциативные методы можно разделить на методы имитационного моделирования и историко-логического анализа. В группу методов опережающей информации – включить методы анализа потоков публикаций, оценки значимости изобретений и анализа патентной информации. Представленный перечень методов и их групп не является исчерпывающим. Нижние уровни классификации открыты для внесения новых элементов, которые могут появиться в процессе дальнейшего развития инструментария прогностики. Некоторые не названные здесь методы являются или разновидностью включенных в схему методов, или дальнейшей их конкретизацией. 1. 2. 3.

На основе каких признаков можно классифицировать методы прогнозирования? На какие классы можно разделить методы прогнозирования? В чем особенность выбора глубины упреждения прогноза?

1.1. Прогнозная экстраполяция В методическом плане основным инструментом любого прогноза является схема экстраполяции. Различают формальную и прогнозную экстраполяцию. Формальная базируется на предположении о сохранении в будущем прошлых и настоящих тенденций развития объекта прогноза. При прогнозной экстраполяции фактическое развитие увязывается с гипотезами о динамике исследуемого процесса с учетом в перспективе его физической и логической сущности. 11

Основу экстраполяционных методов прогнозирования составляет изучение временных рядов, представляющих собой упорядоченные во времени наборы измерений тех или иных характеристик исследуемого объекта, процесса. Временной ряд y t может быть представлен в следующем виде

yt = xt + S + C + ε t

(1.1)

где xt – детерминированная неслучайная компонента процесса (тренд); S – сезонная составляющая; С – циклическая составляющая; ε t – стохастическая компонента процесса. Если детерминированная компонента (тренд) xt характеризует существующую динамику развития процесса в целом, то стохастическая компонента ε t отражает случайные колебания или шумы процесса. Обе составляющие процесса определяются каким-либо функциональным механизмом, характеризующим их поведение во времени. Задача прогноза состоит в определении вида экстраполирующих функций xt , сезонной и циклической составляющей, и ε t на основе исходных эмпирических данных. Первым этапом экстраполяции тренда является выбор оптимального вида функции, описывающей эмпирический ряд. Для этого проводятся предварительная обработка и преобразование исходных данных с целью облегчения выбора вида тренда путем сглаживания и выравнивания временного ряда, определения функций дифференциального роста, а также формального и логического анализа особенностей процесса. Следующим этапом является расчет параметров выбранной экстраполяционной функции. Наиболее распространенными методами оценки параметров зависимостей являются метод наименьших квадратов и его модификации, метод экспоненциального сглаживания, метод вероятностного моделирования и метод адаптивного сглаживания. 1. 2.

Назовите виды экстраполяции. В чем разница между экстраполяцией и интерполяцией? Назовите основные компоненты временного ряда.

12

1.1.1. Метод наименьших квадратов Сущность метода наименьших квадратов состоит в отыскании параметров модели тренда, минимизирующих ее отклонение от точек исходного временного ряда, т. е. n

2 S = ∑ ( yˆi − yi ) → min

(1.2)

i =1

где yˆ i – расчетные значения исходного ряда; уi – фактические значения исходного ряда; n – число наблюдений. Если модель тренда представить в виде yˆ = f ( xi ; a1 , a 2 ,..., a k , t ) ,

(1.3)

где a1 , a2 ,..., ak – параметры модели; t – время; xi - независимые переменные, то для того, чтобы найти параметры модели, удовлетворяющие условию (1.2), необходимо приравнять нулю первые производные величины S по каждому из коэффициентов a j . Решая полученную систему уравнений с k неизвестными, находим значения коэффициентов a j . Использование процедуры оценки, основанной на методе наименьших квадратов, предполагает обязательное удовлетворение целого ряда предпосылок, невыполнение которых может привести к значительным ошибкам. 1. Случайные ошибки имеют нулевую среднюю, конечные дисперсии и ковариации. 2. Каждое измерение случайной ошибки характеризуется нулевым средним, не зависящим от значений наблюдаемых переменных. 3. Дисперсии каждой случайной ошибки одинаковы, их величины независимы от значений наблюдаемых переменных (гомоскедастичность). 4. Отсутствие автокорреляции ошибок, т. е. значения ошибок различных наблюдений независимы друг от друга. 5. Нормальность. Случайные ошибки имеют нормальное распределение. 6. Значения эндогенной переменной х свободны от ошибок измерения и имеют конечные средние значения и дисперсии. 13

В практических исследованиях в качестве модели тренда в основном используют следующие функции: линейную у = ax + b; квадратичную у = ах2 + bх + с; степенную у = aхn; показательную у a . = ax; экспоненциальную у = аеx; логистическую у = 1 + be − ex

Особенно широко применяется линейная, или линеаризуемая, т. е. сводимая к линейной, форма как наиболее простая и в достаточной степени удовлетворяющая исходным данным. Выбор модели в каждом конкретном случае осуществляется по целому ряду статистических критериев, например по дисперсии, корреляционному отношению и др. Следует отметить, что названные критерии являются критериями аппроксимации, а не прогноза. Однако, принимая во внимание принятую гипотезу об устойчивости процесса в будущем, можно предполагать, что в этих условиях модель, наиболее удачная для аппроксимации, будет наилучшей и для прогноза. Классический метод наименьших квадратов предполагает равноценность исходной информации в модели. В реальной же практике будущее поведение процесса значительно в большей степени определяется поздними наблюдениями, чем ранними. Это обстоятельство породило так называемое дисконтирование, т. е. уменьшение ценности более ранней информации. Дисконтирование можно учесть путем введения в модель (1) некоторых весов β < 1 . Тогда n

S = ∑ β i ( yˆi − yi ) 2 → min

(1.4)

i =1

Коэффициенты β, могут задаваться заранее в числовой форме или в виде функциональной зависимости таким образом, чтобы по мере продвижения в прошлое веса убывали, например β i = a i , где а < 1. К сожалению, формальных процедур выбора параметра не разработано, и он выбирается исследователем произвольно. Метод наименьших квадратов широко применяется для получения конкретных прогнозов, что объясняется его простотой и легкостью реализации на ЭВМ. Недостаток метода состоит в том, что модель тренда жестко фиксируется, и с помощью МНК можно получить надежный прогноз на небольшой период упреждения. Поэтому МНК относится главным образом к методам краткосрочного прогнозирования. Кроме того, существенной трудностью МНК является 14

правильный выбор вида модели, а также обоснование и выбор весов во взвешенном методе наименьших квадратов. 1. 2. 3.

В чем состоит сущность метода наименьших квадратов? Назовите основные предпосылки МНК, уточнение которых является обязательным для получения наилучших оценок параметров временного ряда. В чем состоят достоинства МНК?

1.1.2. Метод экспоненциального сглаживания Весьма эффективным и надежным методом прогнозирования является экспоненциальное сглаживание. Основные достоинства метода состоят в возможности учета весов исходной информации, в простоте вычислительных операций, в гибкости описания различных динамик процессов. Метод экспоненциального сглаживания дает возможность получить оценку параметров тренда, характеризующих не средний уровень процесса, а тенденцию, сложившуюся к моменту последнего наблюдения. Наибольшее применение метод нашел для реализации среднесрочных прогнозов. Для метода экспоненциального сглаживания основным и наиболее трудным моментом является выбор параметра сглаживания α, начальных условий и степени прогнозирующего полинома [6,64,72,151]. Пусть исходный динамический ряд описывается уравнением yt = a0 + a1t +

ap a2 2 t + ... + t p + ε t . 2 p!

(1.5)

Метод экспоненциального сглаживания, являющийся обобщением метода скользящего среднего, позволяет построить такое описание процесса (1.5), при котором более поздним наблюдениям придаются большие веса по сравнению с ранними наблюдениями, причем веса наблюдений убывают по экспоненте. Выражение n

St[k ] ( y ) = α ∑ (1 − α ) St[−k1] ( y ) i

(1.6)

i =0

называется экспоненциальной средней k-го порядка для ряда уt, где α – параметр сглаживания. 15

В расчетах для определения экспоненциальной средней пользуются рекуррентной формулой [151] St[k ] ( y ) = αSt[k −1] ( y ) + (1 − α ) St(−k1) ( y ) . i

(1.7)

Использование соотношения (1.7) предполагает задание начальных условий S0[1] , S0[2 ] ,..., S0[k ] . Для этого можно воспользоваться формулой Брауна– Мейера, связывающей коэффициенты прогнозирующего полинома с экспоненциальными средними соответствующих порядков n

St[k ] = ∑ (− 1)

p

p =0

aˆ p αβ ∞ p j ( p − 1 + j )! , ∑j β j! p! (k − 1)! j = 0

(1.8)

где р = 1, 2, ..., n + 1; aˆ p – оценки коэффициентов; p = 1 − α . Можно получить оценки начальных условий, в частности, для линейной модели β a1; α 2β S0[2 ] = a0 − a1; α S0[1] = a0 −

(1.9)

для квадратичной модели – β β (2 − α ) a1 + a2 ; α 2α 2 2β β (3 − 2α ) S0[2 ] = a0 − a1 + a2 ; 2α 2 α 3β β (4 − 3α ) S0[3] = a0 − a1 + a2 . 2α 2 α S0[1] = a0 −

(1.10)

Зная начальные условия S 0[k ] и значения параметра α , можно

вычислить экспоненциальные средние St[k ] . Оценки коэффициентов прогнозирующего полинома определяются через экспоненциальные средние по фундаментальной теореме Брауна – Мейера. В этом случае коэффициенты и находятся решением системы (р + 1) уравнений с к (р + 1) неизвестными, связывающей параметры прогнозирующего полинома с исходной информацией. Так, для линейной модели получим, 16

aˆ0 = 2St[1] − St[2 ]; α aˆ1 = (St[1] − St[2 ] ); β

(1.11)

для квадратичной модели –

(

)

aˆ0 = 3 St[1] − St[2 ] + St[3];

α aˆ1 = 2 [(6 − 5α )St[1] − 2(5 − 4α )St[2 ] + (4 − 3α )St[3] ]; β aˆ2 =

(1.12)

α 2 [1] [St − 2St[2] + St[3] ). β2

Прогноз реализуется по выбранному многочлену. Соответственно для линейной модели yˆt +τ = aˆ0 + aˆ1τ , для квадратичной модели yˆt +τ = aˆ0 + aˆ1τ +

aˆ2 2 , где τ 2

τ - период прогноза.

Важную роль в методе экспоненциального сглаживания играет выбор оптимального параметра сглаживания α , так как именно он определяет оценки коэффициентов модели, а, следовательно, и результаты прогноза [72, 103, 215]. В зависимости от величины параметра прогнозные оценки поразному учитывают влияние исходного ряда наблюдений: чем больше α , тем больше вклад последних наблюдений в формирование тренда, а влияние начальных условий быстро убывает. При малом α прогнозные оценки учитывают все наблюдения, при этом уменьшение влияния более «старой» информации происходит медленно. Известны два основных соотношения, позволяющие найти приближенную оценку α . Первое соотношение Брауна, выведенное из условия равенства скользящей и экспоненциальной средней α=

2 , где N – число точек ряда, для которых динамика ряда счиN +1

тается однородной и устойчивой (период сглаживания). Вторым является соотношение Мейера α ≈ σ n , где σ n - среднеквадратическая σε ошибка модели; σ ε - среднеквадратическая ошибка исходного ряда. Однако использование последнего соотношения затруднено тем, что 17

достоверно определить σ n и σ ε из исходной информации очень сложно. Выбор параметра α целесообразно связывать с точностью прогноза, поэтому для более обоснованного выбора α можно использовать процедуру обобщенного сглаживания, которая позволяет получить следующие соотношения, связывающие дисперсию прогноза и параметр сглаживания [103, 129]. Для линейной модели – σ x2ˆτ =

α [1 + 4β + 2β 2 + 2α (1 + 3β )τ + 2α 2τ 3 ]σ ε2 . (1.13) (1 + β )2

Для квадратичной модели –

σ x2ˆτ ≈ [2α + 3α 3 + 3α 2τ ]σ ε2 .

(1.14)

Для обобщенной модели вида n

y (t ) = ∑ ai f i (t ) + ε t .

(1.15)

i =1

Дисперсия прогноза имеет следующий вид r

σ x2ˆτ = ∑∑ f i (τ )cov(a j , ak ) f k (τ ) = f TVf (τ )σ ε2 , n

n

(1.6)

j =1 k =1

где σ ε – среднеквадратическая ошибка аппроксимации исходного динамического ряда; fi(t) – некоторая известная функция; V– матрица ковариации коэффициентов модели. Отличительная особенность этих формул состоит в том, что при α = 0 они обращаются в нуль. Это объясняется тем, что, чем ближе к нулю α , тем больше длина исходного ряда наблюдений t → ∞ и, следовательно, тем меньше ошибка прогноза. Поэтому для уменьшения ошибки прогноза необходимо выбирать минимальное α . В то же время параметр α определяет начальные условия, и, чем меньше α , тем ниже точность определения начальных условий, а следовательно, ухудшается и качество прогноза. Ошибка прогноза растет по мере уменьшения точности определения начальных условий [103]. 18

Таким образом, использование формул (1.13)-(1.16) приводит к противоречию при определении параметра сглаживания: с уменьшением α уменьшается среднеквадратическая ошибка, но при этом возрастает ошибка в начальных условиях, что в свою очередь влияет на точность прогноза. Кроме того, при использовании соотношений (1.13)-(1.16) необходимо принимать во внимание следующие обстоятельства, а именно: эти выражения получены для бесконечно длинных рядов без учета автокорреляции наблюдений. На практике мы имеем дело с конечными рядами, характеризующимися внутренней зависимостью между исходными наблюдениями. Все это снижает целесообразность использования соотношений (1.13)-(1.16). В ряде случаев параметр α выбирается таким образом, чтобы минимизировать ошибку прогноза, рассчитанного по ретроспективной информации. Весьма существенным для практического использования является вопрос о выборе порядка прогнозирующего полинома, что во многом определяет качество прогноза. Превышение второго порядка модели не приводит к существенному увеличению точности прогноза, но значительно усложняет процедуру расчета [40, 53]. Рассмотренный метод является одним из наиболее надежных и широко применяется в практике прогнозирования. Одно из наиболее перспективных направлений развития данного метода представляет собой метод разностного прогнозирования, в котором само экспоненциальное сглаживание рассматривается как частный случай [129, 138]. 1. 2.

Определение какого параметра в методе экспоненциального сглаживания является основным? Как правильно выбрать параметр сглаживания?

1.1.3. Метод вероятностного моделирования Прогнозирование с использованием вероятностных моделей базируется на методе экспоненциального сглаживания. Вероятностные модели по своей сути отличны от экстраполяционных моделей временных рядов, в которых основой является описание изменения во времени процесса. Во временных рядах модели представляют собой некоторую функцию времени с коэффициентами, значения которых оценивают19

ся по наблюдениям. В вероятностных моделях оцениваются вероятности, а не коэффициенты. Пусть определено n взаимно независимых и исключающих событий. В каждом случае наблюдения измеряются в единой шкале, помещаются в (n + 1) ограниченный класс и обозначаются так: x1, x2, …, xn. Событие, связанное с наблюдением x(t), соответствует числу интервалов, в которое это событие попадает, т. е. существует единственное значение k, такое, что xk −1 < x(t ) ≤ xk . И поэтому k-e событие связывается с наблюдением x(t). Рассмотрим метод оценивания вероятностей pˆ n (t ) , связанных с различными событиями xk −1 < x(t ) ≤ xk . На первом этапе задаются

начальные значения различных вероятностей: pˆ k (0 ) ; k ≠ 1,2,..., n . Наблюдение х(t) связано с k-м событием следующим образом: если r xk −1 < x(t ) ≤ xk , то строится единичный вектор uk , (k - 1) компонент которого равен 0 и k-й компонент равен 1. Это может быть k-м столбцом единичной матрицы ранга k. Процесс, реализующий оценки вероятностей, описывается вектором сглаживания по формуле r r r pˆ (t ) = αuk + (1 − α ) p(t − 1) .

(1.17)

Каждая компонента вектора меняется по закону простого экспоненциального сглаживания между нулем и единицей. Если вектор r p (t − 1) вероятностный, то все его компоненты должны быть неотрицательными, и их сумма должна быть равна 1. Значение оценки r pk (t ) есть результат экспоненциального сглаживания, и если распределение вероятностей наблюдений х(t) не меняется, то получаемые вероятности и будут действительными вероятностями k-го события. Если существует достаточно длительная реализация процесса, то начальные оценки со временем перестанут оказывать влияние (будут достаточно «взвешены»), и вектор сглаживания будет в среднем описывать вероятности и взаимно исключающих, и независиr мых событий. Значения компонент вектора u (t ) представляют собой выборку с биномиальным распределением, поэтому дисперсии k-й r r компоненты будут pk (1 − pk ) . Дисперсия оценок k-и вероятности определяется соотношением 20

σ k2 =

α 2 −α

r r pk (1 − pk ) ,

(1.18)

где α – константа сглаживания (0 ≤ α ≤ 1) , используемая для получения оценок вектора вероятностей. Возможны два варианта. В первом случае пределы классов заданы так, что pk может быть или очень большим (около 1), или очень малым (около 0). Тогда дисперсия компонент вектора вероятностей будет небольшой. Если форма распределения меняется со временем, большое значение константы сглаживания может быть использовано, чтобы устранить влияние «старой» информации. Во втором случае распределение вероятностей постоянно во времени, нет необходимости «взвешивать» старую информацию. Малое значение константы сглаживания, может быть, позволит уменьшить дисперсию оценок. Тогда можно использовать меньшие интервалы классов с не очень большими вероятностями. Автоматизированные системы прогнозирования требуют постоянного добавления новых значений информации. Некоторые системы могут просто накапливать информацию, затем использовать ее для прогноза. Если мы имеем дело с поступающей информацией, то система может практически бездействовать в течение значительного промежутка времени. Если информация достаточно важна, следует рассматривать ее как непрерывный во времени поток наблюдений или предсказывать распределение поступлений наблюдений. Очевидно, для таких прогнозов следует использовать модель, изложенную выше. Если в какой-то период нет никаких наблюдений, можно перестроить систему на другой вид информации. Кроме того, оценки коэффициентов (или других параметров) в модели прогноза не изменяются, если наблюдения равны нулю; соответственно и прогноз будет тем же [54, 72]. Вероятностная модель оперирует последовательностью наблюдений с учетом их распределения и игнорирует последовательность этой информации уже непосредственно во времени. Поэтому вектор r вероятностей p (t ) , который служит текущей оценкой вероятностей отдельных событий, является оценкой этих вероятностей в будущем. Последовательность наблюдений может быть представлена как временной ряд х(t), где х измерен по некоторой шкале x0 ≤ x ≤ xn а x0 и хn есть минимум и максимум возможных значений наблюдений. 21

Поэтому р-й процентилью будет такое число xp, что для р процентов времени реализуется условие x0 ≤ x(t ) ≤ x p , а (100 – р) процентов

− x p ≤ x(t ) ≤ xn . Кумулятивная вероятность того, что на-

блюдение попадает левее по шкале, для данного класса записывается так k

pr {x ≤ xk } = Pk = ∑ Pi .

(1.19)

i =1

Очевидно, р0 = 0 и рk = 1, 0. Для связи с вероятностью дается несколько иное представление, нежели процентное. Если р = рk для класса k, то в- этом случае [54] k

k

∑ p (t ) = pˆ (t ) < p < pˆ (t ) = ∑ p (t ) . i =1

i

k −1

k

i =1

i

(1.20)

Кумулятивная вероятность pˆ k −1 (t ) для класса хk-1 меньше, чем желаемая вероятность, которая в свою очередь меньше, чем кумулятивная вероятность pˆ k (t ) для следующего класса. Простейшая оценка необходимой процентили может быть получена по линейной интерполяции x p (t ) =

[ pˆ k (t ) − p]xk −1 + ( p − pˆ k −1 (t ))xk pˆ k (t ) − pˆ k −1 (t )

(1.21)

Если классы очень малы (или рk близко к pk-1), линейная интерполяция достаточно хороша. Возможно и интерполирование по полиномам более высокой степени. Около хвостов распределения можно ожидать, что кумулятивная вероятность ведет себя как

p( x ) = 1 − j x или p ( x ) = 1 − δ x , 2

(1.22)

где j или δ - числа меньше единицы. Такие функции могут быть оценены на основании имеющейся информации. Определим дисперсию вероятностей модели следующим образом (1.23) σ x2 = x 2 − x 2 , 22

где величина x 2 может быть оценена экспоненциальным сглаживанием квадратов наблюдений. Можно считать, что наблюдения почти всегда распределены нормально. Тогда вероятностная модель может быть применена непосредственно к этим наблюдениям. Пусть х – случайная величина с ожиданием m и конечной дисперсией σ . Тогда сумма случайных выборок х будет нормально распределена со средним и дисперсией n −1σ 2 , и вероятности как суммы точек наблюдений будут распределены нормально. Пусть случайная величина х распределена между нулем и единицей. Введем функцию ⎧1, если 0 ≤ x ≤ 1, f (x ) = ⎨ ⎩0, если x < 0 или

x > 1.

(1.24)

Пусть yN – сумма N случайных выборок, тогда функция распределения этих сумм будет fN (y) =

⎤ 1 ⎡ N −1 ⎛ N ⎞ ⎛N⎞ N −1 N −2 y − ⎜ ⎟( y − 1) + ⎜ ⎟( y − 2 ) + ...⎥ ⎢ (N − 1)! ⎣ ⎝2⎠ ⎝1⎠ ⎦

(1.25)

где 0 < у < N. Находим среднее значение и дисперсию для величины у y=

N ; 2

σ y2 =

N. 12

(1.26)

Тогда можно выразить точку уp через среднюю и дисперсию распределения y p = y + k pσ y =

N N , + kp 2 12

(1.27)

где kp – некоторый множитель, учитывающий число степеней свободы распределения. Данное соотношение может служить основой оценок для вероятностной модели. При достаточном количестве исходной информации вероятностная модель может дать вполне надежный прогноз. Кроме того, эта модель отличается большой простотой и наглядностью. Оценки, получаемые с помощью этой модели, имеют вполне конкретный смысл. Недостатком модели является требование большого количества наблюдений и незнание начального распределения, 23

что может привести к неправильным оценкам. Тем не менее, при определении процедуры начального распределения или с помощью байесовского метода, корректируя его, можно рассматривать вероятностную модель как эффективный метод прогноза. 1. 2.

В чем состоит основная особенность метода вероятностного моделирования? В чем отличие методов экспоненциального сглаживания и вероятностного моделирования?

1.2. Интуитивные (экспертные) методы прогнозирования Прогнозные экспертные оценки отражают индивидуальное суждение специалистов относительно перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции. Методы экспертных оценок используются для анализа объектов и проблем, развитие которых либо полностью, либо частично не поддается математической формализации, т. е. для которых трудно разработать адекватную модель. Применяемые в прогнозировании методы экспертной оценки разделяют на, индивидуальные и коллективные. Индивидуальные экспертные методы основаны на использовании мнений экспертов-специалистов соответствующего профиля независимо друг от друга. Наиболее часто применимыми являются следующие два метода формирования прогноза: интервью и аналитические экспертные оценки. Метод интервью предполагает беседу прогнозиста с экспертом, в ходе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности интервьюируемого эксперта экспромтом давать заключения по самым различным фундаментальным вопросам. Аналитические экспертные оценки предполагают длительную и тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Этот метод дает возможность эксперту использовать всю необходимую ему информацию об объекте прогноза. Свои соображения эксперт оформляет в виде докладной записки. 24

Основными преимуществами рассматриваемых методов являются возможность максимального использования индивидуальных способностей эксперта и незначительность психологического давления, оказываемого на отдельного работника. Однако эти методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного специалиста-эксперта о развитии смежных областей науки. Методы коллективных экспертных оценок основываются на принципах выявления коллективного мнения экспертов о перспективах развития объекта прогнозирования. В основе применения этих методов лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы, перспективность развития определенного направления исследований, времени свершения того или иного события, целесообразности выбора одного из альтернативных путей развития объекта прогноза и т. д. В настоящее время широкое распространение получили экспертные методы, основанные на работе специальных комиссий, когда группы экспертов за круглым столом обсуждают ту или иную проблему с целью согласования мнений и выработки единого мнения. Этот метод имеет недостаток, заключающийся в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса. В свою очередь в методе Дельфи вместо коллективного обсуждения той или иной проблемы проводится индивидуальный опрос экспертов обычно в форме анкет для выяснения относительной важности и сроков свершения гипотетических событий. Затем производится статистическая обработка анкет и формируется коллективное мнение группы, выявляются, обобщаются аргументы в пользу различных суждений. Вся информация сообщается экспертам. Участников экспертизы просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Эта процедура повторяется 3–4 раза. В результате происходит сужение диапазона оценок. Недостатком этого метода является невозможность учета влияния, оказываемого на экспертов организаторами опросов при составлении анкет. Как правило, основными задачами при формировании прогноза с помощью коллектива экспертов являются: формирование репрезентативной экспертной группы, подготовка и проведение экспертизы, статистическая обработка полученных документов. 25

При формировании группы экспертов основными являются вопросы определения ее качественного и количественного состава. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы; затем составляется список лиц, компетентных в этих областях. Для получения качественного прогноза к участникам экспертизы предъявляется ряд требований, основными из которых являются: высокий уровень общей эрудиции; глубокие специальные знания в оцениваемой области; способность к адекватному отображению тенденции развития исследуемого объекта; наличие психологической установки на будущее; наличие академического научного интереса к оцениваемому вопросу при отсутствии практической заинтересованности специалиста в этой области; наличие производственного и (или) исследовательского опыта в рассматриваемой области. Для определения соответствия потенциального эксперта перечисленным требованиям используется анкетный опрос. Дополнительно к этому часто используют способ самооценки компетентности эксперта. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе также на основании анкеты. Обработка данных дает возможность получить количественную оценку компетентности потенциального эксперта по следующей формуле ⎞ ⎛ m ⎟ ⎜ ∑V j λ , j =3 K = 0,5⎜⎜ m + ⎟⎟ P ⎟⎟ ⎜⎜ ∑V j max ⎠ ⎝ j =1

(1.28)

где Vj – вес градации, перечеркнутой экспертом по j-й характеристике в анкете в баллах; V j max – максимальный вес (предел шкалы) jй характеристики в баллах; т – общее количество характеристик компетентности в анкете; λ – вес ячейки, перечеркнутой экспертом в шкале самооценки в баллах; р – предел шкалы самооценки эксперта в баллах. Установить оптимальную численность группы экспертов довольно трудно. Однако в настоящее время разработан ряд формализованных подходов к этому вопросу. Один из них основан на установлении максимальной и минимальной границ численности группы. При этом исходят из двух условий: высокой средней компетент26

ности групп экспертов и стабилизации средней оценки прогнозируемой характеристики. Первое условие используется для определения максимальной n

численности группы экспертов nmax: CK max ≤

∑k i =1

i

nmax

, где С - константа;

Кmax – максимально возможная компетентность по используемой шкале компетентности; Кi – компетентность i-гo эксперта. Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать «истинным». Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимается, что С=2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства n

nmax ≤

3∑ K i i =1

2k max

.

(1.29)

Далее определяется минимальная численность экспертной группы nmin. Это осуществляется посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется следующим образом: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины B − B′