Теория случайных процессов для экономистов

ОГЛАВЛЕНИЕ Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Принятые сокраще...

Author: Соколов Г.А.

57 downloads 286 Views 6MB Size Report

This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form

DOWNLOAD PDF

ОГЛАВЛЕНИЕ Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Принятые сокращения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5 7

Р А З Д Е Л 1. Введение в теорию случайных процессов . . . .

9

Лекция 1. Определение, классификация и основные характеристики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Лекция 2. Свойства характеристик стохастической связи. . . . . . Лекция 3. Стационарность . . . . . . . . . . . . . . . . . . . . . . . . . . . . Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9 15 19 23

Р А З Д Е Л 2. Дискретные цепи Маркова . . . . . . . . . . . . . . . .

24

Лекция 4. Основные понятия . . . . . . . . . . . . . . . . . . . . . . . . . . Лекция 5. Анализ структуры пространства состояний и классификация цепей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Лекция 6. Долгосрочный прогноз эволюции цепей с одним классом эквивалентности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Лекция 7. Долгосрочный прогноз эволюции цепей с L классами эквивалентности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Лекция 8. Дискретные цепи Маркова с доходами . . . . . . . . . . . Лекция 9. Построение оптимального управления на конечном горизонте . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Лекция 10. Построение оптимального управления на бесконечном горизонте . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Лекция 11. Два класса прикладных задач управления цепями с доходами. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

68 81

Р А З Д Е Л 3. Непрерывные цепи Маркова . . . . . . . . . . . . . .

82

30 38 46 54 59 64

Лекция 12. Простейший поток событий. Пуассоновская цепь. . . 82 Лекция 13. Дифференциально-разностные уравнения Колмогорова и их решение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 Лекция 14. Процессы гибели и размножения (общие сведения) 100 Лекция 15. Процесс чистого размножения (построение вероятностей состояний) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

4

Оглавление

Лекция 16. Процессы чистой гибели (построение вероятностей состояний) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 Лекция 17. Процессы гибели и размножения. Стационарные режимы cистем обслуживания . . . . . . . . . . . . . . . . . . . . . . . . 121 Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 Сборник задач . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . § 1. Элементарные случайные функции (процессы). . . . . . . . . . § 2. Построение дискретных марковских моделей . . . . . . . . . . . § 3. Анализ структуры и предельного поведения дискретных цепей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . § 4. Дискретные цепи с доходами. . . . . . . . . . . . . . . . . . . . . . . § 5. Непрерывные цепи. Уравнения Колмогорова . . . . . . . . . . . § 6. Финальные вероятности состояний непрерывных цепей . . . § 7. Непрерывные процессы гибели и размножения — математические модели экономических систем . . . . . . . . . . . . . . . .

134 134 141 163 178 184 195 200

Анночке посвящается

Предисловие В 1989–2002 гг. по инициативе декана факультета экономической кибернетики Российской экономической академии (РЭА) им. Г. В. Плеханова проф. Еремеева Г. А. читался факультативный курс по дискретным марковским цепям. По материалам этих лекций и семинаров Соколовым Г. А. и Чистяковой Н. А. было подготовлено учебное пособие «Теория вероятностей. Управляемые цепи Маркова в экономике» (ФИЗМАТЛИТ, 2005). После короткого перерыва с 2005 г. по инициативе декана экономико-математического факультета проф. Тихомирова Н. П. чтение курса по случайным процессам возобновилось, но уже на значительно более серьезной основе и в более полном объеме как односеместровый курс. Настоящее пособие подготовлено по материалам этого курса и в результате существенной переработки упомянутого пособия (но с сохранением принятых в нем терминов и основных обозначений). По мнению авторов, оно в полной мере отвечает тем значительным изменениям в тематике изучаемых на факультете дисциплин, которые произошли в последние годы. Сказанное относится в первую очередь к математическому анализу экономических рисков. Предполагается, что читатель знаком с такими дисциплинами, как математический анализ, дифференциальные уравнения, линейная алгебра и теория вероятностей в объеме, предусмотренном принятыми учебными программами. Пособие состоит из 17 лекций, сгруппированных в три раздела, и сборника задач, включающего около 180 задач. Первый раздел (три лекции) является по существу введением в теорию случайных процессов: даются определения основных понятий, в частности, законов распределения и числовых характеристик, доказываются свойства последних, рассматриваются стационарные и взаимно-стационарные процессы.

6

Предисловие

Второй раздел (восемь лекций) посвящен изучению случайных процессов Маркова с дискретным временем и конечным пространством состояний. Первые четыре лекции этого раздела носят теоретический характер: структурный анализ, классификация, законы эволюции цепей различных классов. В последующих четырех лекциях второго раздела рассматриваются неуправляемые и управляемые цепи с доходами, включая методы построения оптимальных управлений на конечных и бесконечных горизонтах. Третий раздел пособия (шесть лекций) посвящен непрерывным цепям Маркова с конечным или счетным множеством состояний. Он, как и второй, также состоит из двух частей. Первая носит теоретический характер: строится система дифференциально-разностных уравнений Колмогорова для вероятностей состояний, изучаются методы ее решения. Значительное внимание уделяется процессам гибели и размножения и их частным случаям. Вторая часть посвящена использованию этих процессов как математических моделей экономических систем, в частности, достаточно подробно рассматриваются стационарные режимы функционирования 11 классов систем обслуживания. В преамбуле к сборнику задач отмечается ряд его особенностей. Автор считает своим долгом выразить благодарность глубокоуважаемым рецензентам и коллегам по кафедре высшей математики РЭА за их критические замечания и благожелательное отношение к книге в целом.

Принятые сокращения и обозначения

БОУ — блок оценки управления БОЦ — блок организации цикла БУУ — блок улучшения управления ВВС — вектор вероятностей состояний ВКВФ — взаимная ковариационная функция ВКРФ — взаимная кореляционная функция ВНВ — вектор начальных вероятностей ВСП — взаимно стационарный процесс ГС — граф состояний ДП — динамическое программирование ДРУ — дифференциально-разностное уравнение ДЦМ — дискретная цепь Маркова ЗР — закон распределения КВФ — ковариационная функция КП — коэффициент переоценки (приведения) КРФ — корреляционная функция КЭ — класс эквивалентности МВП — матрица вероятностей перехода МО — математическое ожидание МОД — матрица одношаговых доходов МПЦ — моноэргодическая поглощающая цепь МРЦ — моноэргодическая регулярная цепь МСП — марковский случайный процесс МЦ — моноэргодическая цепь МЦЦ — моноэргодическая циклическая цепь НОР СВ — независимые одинаково распределенные случайные величины НРЦ — неприводимая регулярная цепь

8

Принятые сокращения и обозначения

НС НЦ НЦМ НЦЦ ОД ОТ ПВ ПГР ПОД ПП ППЦ ПР ПРС ПРЦ ПСЦ ПЦ ПЦЦ ПЧГ ПЧР РГС РФ РЦ СВ СО СОД СП СС ССП СУ ФР ЦП ЭВМ

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

несущественное состояние неприводимая цепь непрерывная цепь Маркова неприводимая циклическая цепь одношаговый доход основная теорема структурного анализа поток вероятности процесс гибели и размножения полный ожидаемый доход простейший поток полиэргодическая поглощающая цепь плотность распределения вероятностей пространство состояний полиэргодическая регулярная цепь полиэргодическая смешанная цепь полиэргодическая цепь полиэргодическая циклическая цепь процесс чистой гибели процесс чистого размножения размеченный граф состояний руководитель фирмы разложимая цепь случайная величина система обслуживания средний одношаговый доход случайный процесс существенное состояние стационарный случайный процесс стратегия управления функция распределения вероятностей циклический подкласс электронная вычислительная машина (компьютер) ЭС — элементарное событие ЭСФ — элементарная случайная функция

РАЗДЕЛ 1 ВВЕДЕНИЕ В ТЕОРИЮ СЛУЧАЙНЫХ ПРОЦЕССОВ

В настоящем разделе (три лекции) излагаются первоначальные сведения о случайных функциях (процессах). Дается их классификация по трем характеристикам: по структуре временн´ ого параметра, по структуре пространства состояний, по стохастической связи сечений случайного процесса. Из множества числовых характеристик рассматриваются математическое ожидание, дисперсия, ковариационная и корреляционная функции. В заключительной лекции изучаются стационарные и взаимно стационарные процессы.

Лекция 1. Определение, классификация и основные характеристики Все экономические процессы производства, снабжения, эксплуатации, потребления и т. п. протекают во времени и пространстве и носят случайный характер, поэтому естественно в качестве их математических моделей рассматривать случайные функции (процессы). Случайным процессом (СП) называют семейство случайных величин (СВ), зависящих от параметра t, пробегающего произвольное множество T . Параметр t называют аргументом СП, T -областью или множеством значений аргумента t. Понятие СП представляет собой обобщение понятия СВ ξ и обозначается ξt , чаще ξ (t) или в более полном виде ξ (t, ω), где ω ∈ Ω — элементарное событие из пространства элементарных событий Ω. Если зафиксировать ЭС ω = ω0 , то мы получим неслучайную

10

Разд. 1. Введение в теорию случайных процессов

функцию x (t, ω0 ), которая называется реализацией, или траекторией СП (рис. 1).

x(t, ω0 )

t x(t, ω1 ) Рис. 1

При фиксированном значении аргумента t = t0 ∈ T получаем СВ ξ (t0 ) = ξ (t0 , ω), называемую сечением СП. Множество возможных значений СП называется пространством состояний и обозначается S . В прикладных исследованиях при анализе экономических, физических, технических и т. п. систем переходы из состояния ξ (t1 ) в состояние ξ (t2 ) обычно описываются в терминах СП, в частности, в терминах элементарных случайных функций (ЭСФ). Под ЭСФ понимают неслучайную функцию от аргумента t, в которой параметры — это СВ, не зависящие от t. Пример 1.1. Пусть ξ (t) = 1 + R (0, 1) t, t > 0; η (t) = = R (−1, 1) e−t , t > 0. Семейства реализаций этих ЭСФ приведены на рис. 2 и 3 соответственно. 1

x3 (t) = 1 + 0,7t

y1 (t) = e−t

x2 (t) = 1 + 0,3t

y0 (t) = 0 t

x1 (t) = 1 t Рис. 2

−1

y2 (t) = −e−t

Рис. 3

Лекция 1. Определение, классификация и основные характеристики

11

Классификация случайных процессов Основными признаками, по которым классифицируются случайные процессы, являются структура пространства состояний S , структура множества значений аргумента T , характер зависимости между СВ — сечениями СП. Если S конечно или счетно, т. е. сечение СП есть дискретная СВ, то СП называют процессом с дискретными состояниями. Если любое сечение СП есть непрерывная СВ, то говорят о процессе с непрерывными состояниями. Если T = {t0 , t1 , ... } — дискретное множество, т. е. СП меняет свои состояния только в фиксированные моменты времени, то речь идет о процессе с дискретным временем. Моменты времени tn в этом случае обозначают просто n и называют øàãàìè, СП обозначают ξn , n = 0, 1, ... . Если T = [0, ∞), т. е. СП меняет свои состояния в любой момент времени t > 0, то говорят о СП с непрерывным временем. В нашем курсе основное внимание уделяется СП с дискретным временем и конечным пространством состояний, а также СП с непрерывным временем и счетным (или конечным) пространством состояний. Важнейшей характеристикой СП является характер взаимной зависимости сечений ξ (t0 ) , ξ (t1 ) , ... , ξ (tn ) , ... , который определяется заданием совместных законов распределения для любых моментов 0 6 t0 < t1 < ... . Приведем несколько примеров. Если совместный ЗР для любых ti является нормальным, то СП называют гауссовским. Если СВ ξ (t0 ) , ξ (ti ) − ξ (ti−1 ), i = 1, 2, ... , n, независимы, то говорят о СП с независимыми приращениями. В частности, если для любых i приращение ξ (ti ) − ξ (ti−1 ) ∈ ∈ N (0, a (ti − ti−1 )), a > 0 — константа, то СП называют винеровским, если же ξ (ti ) − ξ (ti−1 ) ∈ Ïóàñ (λ (ti − ti−1 )), λ > 0 — константа, то СП называют пуассоновским. Особое практическое значение имеют марковские СП (МСП), называемые так по имени нашего выдающегося соотечественника академика Андрея Андреевича Маркова (1856–1922). Марковским называют СП, для которого выполняется так называемое марковское свойство (свойство марковости):

P {a < ξ (t) < b | ξ(t0 ) = x0 , ξ (t1 ) = x1 , ... , ξ (s) = x} = = P {a < ξ (t) < b | ξ (s) = x}, для любых 0 6 t0 < t1 < ... < s < t и любых a < b.

(1.1)

12


Если считать: • состояния ξ (t) в момент t > s «будущим» СП, • состояния ξ (t) в момент t = s «настоящим» CП, • состояния ξ (t) в момент t < s «прошлым» СП, где s — фиксированный момент времени, то марковское свойство означает, что будущее МСП зависит от прошлого через настоящее. МСП с дискретным временем и дискретными состояниями называют дискретной цепью Маркова (ДЦМ). МСП с непрерывным временем и дискретными состояниями называют непрерывной цепью Маркова (НЦМ). Законы распределения и числовые характеристики Исчерпывающей характеристикой СП является совместный ЗР сечений

ξ (t0 ) , ξ (t1 ) , ... , ξ (tn ) : F (t0 , t1 , ... , tn , x0 , x1 , ... , xn ) = = P {ξ (ti ) < xi , i = 0, 1, ... , n}, (1.2) определенный для любых n < ∞ и любых ti . Простейшим из них является одномерный ЗР в форме функции распределения (ФР)

F (t, x) = P {ξ (t) < x} или в форме плотности распределения (распределения)

p (t, x) ,

x ∈ S.

На практике более чем двумерные ЗР, как правило, не используются. Знание одномерных ЗР позволяет определить математическое ожидание и дисперсию СП: Z   x (t) p (t, x) dx,    m (t) = SX   (1.3)  x (t) p (t, x) ,   x∈S

σ 2 (t) = M [ξ˙ (t)]2 ,

где ξ˙ (t) = ξ (t) − m (t). Свойства этих характеристик полностью совпадают со свойствами их аналогов для СВ.

Лекция 1. Определение, классификация и основные характеристики

13

Знание двумерных ЗР pξ (t, t′ , x, x′ ) позволяет найти характеристики стохастической связи двух сечений одного СП:

Kξ t, t′ = M ξ˙ (t) ξ˙ t′ ;

Kξ (t, t′ ) rξ t , t ′ = q , σξ2 (t) σξ2 (t′ )

(1.4)

которые по аналогии с ковариацией и коэффициентом корреляции называются ковариационной (КВФ) и корреляционной (КРФ) функциями соответственно. Наряду со скалярными рассматриваются и векторные СП. Знание двумерного ЗР двух СП ξ (t) и η (t′ ) в точках t и t′ позволяет найти характеристики стохастической связи сечений двух СП:

˙ η˙ t′ ; Kξη t, t′ = M ξ(t)

Kξη (t, t′ ) rξη t, t′ = q , σξ2 (t) ση2 (t′ )

(1.5)

которые называются взаимной ковариационной (ВКВФ) и взаимной корреляционной (ВКРФ) функциями соответственно. Пример 1.2. Покажем, что исчерпывающей характеристикой МСП является двумерный ЗР, другими словами, любой n-мерный ЗР можно выразить через двумерные. Пусть пространство состояний S является дискретным (для простоты), тогда согласно (1.1)

p (t0 , t1 , ... , tn , x0 , x1 , ... , xn ) = P {ξ (t0 ) = x0 , ... , ξ (tn ) = xn } = = P {ξ (t0 ) = x0 , ... , ξ (tn−1 ) = xn−1 }× × P {ξ (tn ) = xn | ξ (ti ) = xi , i = 0, 1, ... , n − 1} = = P {ξ (t0 ) = x0 , ... , ξ (tn−1 ) = xn−1 }× × P {ξ (tn ) = xn | ξ (tn−1 ) = xn−1 } = = P {ξ (t0 ) = x0 , ... , ξ (tn−2 ) = xn−2 }× × P {ξ (tn−1 ) = xn−1 | ξ (tn−2 ) = xn−2 }× × P {ξ(tn ) = xn | ξ (tn−1 ) = xn−1 } = ... ... = P {ξ (t0 ) = x0 }

n− Y1 i=0

P {ξ (ti+1 ) = xi+1 | ξ (ti ) = xi }.

14


Подставим в полученное выражение формулу

P {ξ (ti+1 ) = xi+1 | ξ (ti ) = xi } = и продолжим цепочку равенств:

P {ξ (ti ) = xi , ξ (ti+1 ) = xi+1 } P {ξ (ti ) = xi }

p(t0 , t1 , ... , tn | x0 , x1 , ... xn ) = = P {ξ (t0 ) = x0 }

n− Y1 i=0

P {ξ (ti ) = xi , ξ (ti+1 ) = xi+1 } = P {ξ (ti ) = xi }

=

n− Y1 i=0

P {ξ (ti ) = xi , ξ (ti+1 ) = xi+1 } n− Y1 i=1

.

P {ξ (ti ) = xi }

Таким образом, исчерпывающей характеристикой МСП является плотность (распределение) вида p (s, t, x, y), где 0 6 s < t; x, y ∈ S , x 6= y . Отсюда, в свою очередь, следует, что исчерпывающей характеристикой ЦМ является пара функций

P {ξ (t0 ) = x0 }, t0 > 0, x0 ∈ S ;

(1.6)

P {ξ (t) = x | ξ (t0 ) = x0 }, t > 0, x ∈ S. Пример 1.3. Покажем, что СП с независимыми приращениями является марковским. Пусть 0 6 t0 < t1 < t2 < ... и СВ ξ (t0 ), ξ (t1 ) − ξ (t0 ), ξ (t2 ) − − ξ (t1 ) , ... попарно независимы. Это означает, что любое приращение ξ (tn+1 ) − ξ (tn ) не зависит от прошлого, если известно ξ (tn ) = xn , т. е. для всех t > tn выполняется свойство

P {ξ (t) 6 x | ξ (ti ) = xi , i = 0, 1, ... , n} = P {ξ (t) 6 x | ξ (t0 ) = x0 }, эквивалентное марковскому свойству. В частности, винеровский СП является марковским, при этом ξ (tn+1 ) − ξ (tn ) ∈ ∈ N (0, a (tn+1 − tn )) и СВ ξ (t) при условии ξ (t0 ) = x0 также имеет нормальный закон распределения с нулевым математическим ожиданием и дисперсией, равной сумме

a (t1 − t0 ) + a (t2 − t1 ) + ... + a (tn − tn−1 ) + a (t − t0 ) = a (t − t0 ) .

Лекция 2. Свойства характеристик стохастической связи

15

Замечание. Предположение о независимости приращений более ограничительно, чем марковское свойство. Пример 1.4. Ветвящийся случайный процесс. Пусть ξ0 = x0 — заданный размер исходной популяции (например, число мужчин, образующих исходную семью). Каждый индивидуум независимо от других порождает новые индивидуу∞ P мы с распределением pk > 0, k = 0, 1, 2, ... , pk = 1. k=0

Общее количество всех прямых потомков индивидуумов из исходной популяции образует первое поколение размера ξ1 . Индивидуум первого поколения порождает второе размера ξ2 и т. д. Вообще, n-е поколение складывается из потомков индивидуумов (n − 1)-го поколения, порожденных с вероятностями pk , k = 0, 1, 2, ... , размер его обозначим ξn . Последовательность ξ0 , ξ1 , ... , ξn , ... образует ДЦМ. Действительно, по определению ветвящегося СП вероятности pk не зависят от номера порождающего индивидуума, следовательно, любые приращения ξn+1 − ξn и ξm+1 − ξm , m 6= n, суть независимые СВ, то есть ветвящиеся СП относятся к классу СП с независимыми приращениями и, как следствие (пример 1.3), являются марковскими.

Лекция 2. Свойства характеристик стохастической связи Основные свойства ковариационной функции Kξ t, t′ = M ξ˙ (t) ξ˙ t′ :

(2.1)

Свойство 1. При равенстве аргументов (t = t′ ) КВФ равна дисперсии СП (см. (1.3)). Свойство 2. КВФ симметрична относительно своих аргументов (см. (1.4)): Kξ t, t′ = Kξ t′ , t . (2.2) Свойство 3. Если η (t) = ξ (t) + ϕ (t) , то Kη t, t′ = Kξ t, t′ ,

(2.3)

где ϕ (t) — неслучайная функция. Д о к а з а т е л ь с т в о. Фиксируя t и t′ и используя свойства ковариации СВ, получим

16


Kη t, t′ = Cov (η (t) , η t′ ) = Cov ξ (t) + ϕ (t) , ξ t′ + ϕ t′ = = Cov ξ (t) , ξ t′ = Kξ t, t′ . Свойство 4. Если η (t) = ξ (t) ϕ (t) , то Kη t, t′ = Kξ t, t′ ϕ (t) ϕ t′ .

(2.4)

Д о к а з а т е л ь с т в о. Фиксируя t и t′ и используя свойства ковариации СВ, получим Kη t, t′ = Cov η (t) , η t′ = Cov ξ (t) ϕ (t) , ξ t′ ϕ t′ = =ϕ (t) ϕ (t′ ) Cov (ξ (t) , ξ (t′ )) = ϕ (t) ϕ (t′ ) Kξ (t, t′ ).

Свойство 5.

p |Kξ t, t′ | 6 Dξ (t) Dξ (t′ ) .

(2.5)

Это свойство является аналогом неравенства ковариации из теории СВ. График ковариационной функции представлен на рис. 4. Kξ (t, t′ )

t′

t′ = t t Рис. 4

Основные свойства корреляционной функции

Kξ (t, t′ ) rξ t, t′ = q σξ2 (t) σξ2 (t′ )

Лекция 2. Свойства характеристик стохастической связи

17

являются следствием свойств ковариационной функции и определения КРФ: Свойство 6. Свойство 7. Свойство 8.

rξ (t, t) = 1. rξ (t, t′ ) = rξ (t′ , t) .

(2.6)

|rξ (t, t′ ) | 6 1.

3. Основные свойства взаимной ковариационной функции Kξη (t, t′ ) = M ξ (t) η t′ :

Свойство 9. При одновременной перестановке индексов и аргументов ВКВФ не изменяется: Kξη t, t′ = Kηξ t′ , t . (2.7)

Д о к а з а т е л ь с т в о. ˙ξ (t) η˙ t′ = η˙ t′ ξ˙ (t) ⇒ Kξη t, t′ = M [ξ˙ (t) η˙ t′ ] = = M [η˙ t′ ξ˙ (t)] = Kηξ t′ , t . Свойство 10.

Kξξ t, t′ = Kξ t, t′ .

Свойство 11. Прибавление к СП ξ (t) и η (t) неслучайных слагаемых ϕ (t) и ψ (t) соответственно не изменяет их ВКВФ: если γ (t) = ξ (t) + ϕ (t) и δ (t) = η (t) + ψ (t), то Kγδ t, t′ = Kξη t, t′ . (2.8) Д о к а з а т е л ь с т в о практически повторяет доказательство свойств 1–5: Kγδ t, t′ = Cov[ξ (t) + ϕ (t) , η t′ + ψ t′ ] = = Cov[ξ (t) , η t′ = Kξη t, t′ .

Свойство 12. Если СП ξ (t) и η (t) умножаются на неслучайные множители ϕ (t) и ψ (t) соответственно, то ВКВФ умножается на произведение ϕ (t) ψ (t′ ): если γ (t) = ξ (t) ϕ (t) и δ (t) = η (t) ψ (t), то Kγδ t, t′ = Kξη t, t′ ϕ (t) ψ t′ . (2.9)

18


Свойство 13.

p |Kξη t, t′ | 6 Dξ (t) Dη (t′ )

(2.10)

— аналог неравенства ковариации.

СП ξ (t) и η (t) называются некоррелированными, если Kξη (t, t′ ) = 0 при любых значениях t и t′ , и коррелированными в противном случае. Продолжим изучение свойств КВФ: Свойство 14. Ковариационная функция суммы γ (t) = = ξ (t) + η(t) двух коррелированных СП равна Kγ t, t′ = Kξ t, t′ + Kη t, t′ + Kξη t, t′ + Kξη t′ , t . (2.11) Д о к а з а т е л ь с т в о. Kγ t, t′ = Cov[γ t), γ(t′ ] = Cov[ξ (t) + η (t) , ξ t′ + η t′ ] = = Cov ξ (t) , ξ t′ + Cov η (t) , η t′ + + Cov ξ (t) , η t′ + Cov η (t) , ξ t′ = = Kξ t, t′ + Kη t, t′ + Kξη t, t′ + Kηξ t, t′ = = Kξ t, t′ + Kη t, t′ + Kξη t, t′ + Kξη t′ , t .

Следствие 1. Ковариационная функция суммы двух некоррелированных СП равна сумме их ковариационных функций: Kγ t, t′ = Kξ t, t′ + Kη t, t′ . (2.12)

Следствие 2. Дисперсия суммы двух некоррелированных СП равна сумме их дисперсий.

Следствие 3. КВФ суммы СП и некоррелированной с ним СВ равна сумме КВФ СП и дисперсии СВ (предлагается доказать читателю). Основные свойства взаимной корреляционной функции

Kξη (t, t′ ) rξη t, t′ = q σξ2 (t) ση2 (t′ )

19

Лекция 3. Стационарность

являются следствием свойств ВКВФ и определения ВКРФ: Свойство 15.

rξη (t, t′ ) = rηξ (t′ , t) .


rξξ (t, t′ ) = rξ (t, t′ ) .


(2.13)

|rξη (t, t′ ) | 6 1.

Лекция 3. Стационарность СП называется стационарным в узком смысле, если его nмерная плотность распределения не изменяется при сдвиге всех его временн´ ых аргументов на произвольную величину ∆:

pn (t1 , t2 , ..., tn , x1 , x2 , ..., xn ) = = pn (t1 + ∆, t2 + ∆, ..., tn + ∆, x1 , x2 , ..., xn ). В частности, а) одномерная ПР ССП p1 (t, x) не зависит от t, т. е. p1 (t, x) = = p (x). Отсюда следует, что математическое ожидание и дисперсия ССП являются постоянными величинами, не зависящими от времени: ∞ Z

M ξ (t) =

Dξ (t) =

xp1 (x) dx = mξ = const (t) ,

−∞ ∞ Z

−∞

(x − mξ )2 p1 (x) dx = σξ2 = const (t) ;

б) двумерная ПР ССП p2 (t1 , t2 , x1 , x2 ) будет зависеть не от аргументов t1 и t2 , а от их разности τ = t2 − t1 : действительно,

p2 (t1 , t2 , x1 , x2 ) = p2 (t1 + ∆, t2 + ∆, x1 , x2 ) |∆=−t1 = = p2 (0, t2 − t1 , x1 , x2 ) = p2 (τ , x1 , x2 ) .

Отсюда, интегрируя от −∞ до ∞, получим ZZ Kξ (t1 , t2 ) = (x1 − mξ ) (x2 − mξ ) p2 (t1 , t2 , x1 , x2 ) dx1 dx2 =

=

ZZ

(x1 − mξ ) (x2 − mξ ) p2 (τ , x1 , x2 ) dx1 dx2 = Kξ (τ ) ,

20


т. е. КВФ ССП зависит от сдвига аргументов τ . Cогласно свойству 2 КВФ — симметричная функция, следовательно, для ССП

Kξ (t1 , t2 ) ⇒ Kξ (t1 − t2 ) = Kξ (−τ ) ; Kξ (t2 , t1 ) ⇒ Kξ (t2 − t1 ) = Kξ (τ ) ,

где

τ = t2 − t1 .

Из равенства Kξ (t1 , t2 ) = Kξ (t2 , t1 ) следует Kξ (τ ) = Kξ (−τ ), т. е. для ССП ковариационная функция есть четная функция сдвига между двумя сечениями этого процесса. Так как дисперсия равна КВФ при равенстве аргументов, то для ССП

σξ2 (t) = Kξ (t, t) = Kξ (t − t) = Kξ (0) > 0, т. е. дисперсия ССП равна значению его КВФ в начале координат (τ = 0). Наконец, из неравенства ковариации (2.5) следует, что для ССП q |Kξ (τ ) | 6 Kξ (0) Kξ (0) = Kξ (0) , т. е. абсолютная величина КВФ ССП не превышает ее значения в начале координат. Подведем итог — КВФ ССП обладает следующими свойствами:

•

Kξ (t1 , t2 ) = Kξ (τ ) ;

•

Kξ (τ ) = Kξ (−τ ) ;

•

Kξ (0) = σξ2 (t) ∀ t;

•

|Kξ (τ ) | 6 Kξ (0) ,

где τ = t2 − t1 . Перейдем к анализу свойств корреляционной функции ССП. Имеем

Kξ (t, t′ ) Kξ (τ ) rξ t, t′ = q = = rξ (τ ) . Kξ (0) σξ2 (t) σξ2 (t′ )

21

Лекция 3. Стационарность

Согласно свойствам КВФ основные свойства КРФ имеют вид

•

rξ (τ ) = rξ (−τ ) ;

•

rξ (0) = 1;

•

|rξ (τ ) | 6 1.

СП называется стационарным в широком смысле, если

M ξ (t) = const,

Dξ (t) = const,

Kξ (t1 , t2 ) = Kξ (t2 − t1 ) .

Из стационарности СП в узком смысле следует стационарность в широком смысле, но обратное утверждение в общем случае неверно. ССП ξ (t) и η (t) называются взаимно стационарными (ВСП), если ВКВФ зависит только от разности аргументов τ = = t′ − t Kξη t, t′ = Kξη (τ ). (3.1) ВКВФ ВСП обладает свойством

Kξη (τ ) = Kηξ (−τ ) .

(3.2)

Действительно, согласно (2.7) и (3.1) Kξη t, t′ = Kηξ t′ , t ⇒ Kξη t′ − t = Kηξ t − t′ ⇒

⇒ Kξη (τ ) = Kηξ (−τ ) .

Из стационарности каждого СП ξ (t) и η (t) не следует взаимная стационарность. Аналогичным свойством обладает и взаимная корреляционная функция, т. е. rξη (τ ) = rηξ (−τ ) . (3.3) Действительно, по определению КРФ

Kξη (τ ) rξη (τ ) = q ; Kξ (0) Kη (0) rηξ (−τ ) = q

Kηξ (−τ )

Kξ (0) Kη (0)

⇒ (3.2) ⇒ (3.3) .

22


Пример 3.1. Рассматриваются два СП ξ (t) = a, η (t) = γ , где a — неслучайная величина, γ — СВ с M γ = mγ , Dγ = = σγ2 > 0. Найти числовые характеристики этих СП. Являются ли они стационарными, взаимно стационарными? Решение.

Kξ

Kη

M ξ (t) = a, Dξ (t) = 0, t, t = M ξ˙ (t) ξ˙ t′ = M 0 = 0 ⇒ ξ (t) − CCП; ′

M η (t) = mγ , Dη (t) = σγ2 , t, t′ = M η˙ (t) η˙ t′ = M (γ − mγ )2 = σγ2 ⇒ η (t) − CCП;

Kξη t, t′ = M ξ˙ (t) η˙ t′ = M 0 (γ − mγ ) = 0 ⇒ ⇒ ξ(t), η (t) − ВСП. Пример 3.2. Рассматриваются два СП: ξ (t) = cos (t + ϕ), η (t) = sin (t + ϕ), где ϕ ∈ R (0, 2π) . Найти числовые характеристики этих СП. Являются ли они стационарными, взаимно стационарными? Решение. 1 M ξ (t) = 2π

2Zπ

cos (t + x) dx = 0,

0

Kξ t, t′ = M ξ˙ (t) ξ˙ t′ = M cos (t + ϕ) cos t′ + ϕ = =

1 M cos t′ − t + cos t′ − t + 2ϕ = 2 1 1 = cos t′ − t = cos τ = Kξ (τ ) ⇒ ξ (t) − ССП; 2 2

1 σξ2 (t) = Kξ (t, t) = Kξ (0) = , 2 1 M η (t) = 2π

2Zπ 0

r (τ ) =

Kξ (τ ) = Kξ (0)

sin (t + x) dx = 0,

1 2

cos τ 1 2

= cos τ ,

23

Литература

Kη t, t′ = M η˙ (t) η˙ (t) = M sin (t + ϕ) sin t′ + ϕ =

1 M [cos t − t′ − cos t + t′ + 2ϕ = 2 1 1 = cos t′ − t = cos (τ ) ≡ Kη (τ ) ⇒ η (t) − ССП; 2 2

=

ση2 (t) = Kη (0) =

1 , 2

r (τ ) =

Kη (τ ) = Kη (0)

1 2

cos (τ ) 1 2

= cos (τ ) .

Kξη t, t′ = M ξ˙ (t) η˙ t′ = M [cos (t + ϕ) sin t′ + ϕ ] = =

1 M [sin t + t′ + 2ϕ + sin t′ − t ] = 2 =

1 sin τ ≡ Kξη (τ ) ⇒ ξ (t) , 2

η (t) − ВСП.

Литература 1. Вентцель Е.С., Овчаров Л.А. Теория случайных процессов и е¨е инженерные приложения. — М.: Наука, 1991. 2. Вентцель А.Д. Курс теории случайных процессов. — М.: Мир, 1975. 3. Карлин С. Основы теории случайных процессов. — М.: Мир, 1971. 4. Соколов Г.А., Чистякова Н.А. Теория вероятностей. — М.: Экзамен, 2005. 5. Володин Б.Г., Ганин М.П., Динер И.Я. и др. Руководство для инженеров по решению задач теории вероятностей. — Л.: Судпромгиз, 1962. 6. Гмурман В.Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 1979. 7. Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике. — М.: Высшая школа, 1979.

РАЗДЕЛ 2 ДИСКРЕТНЫЕ ЦЕПИ МАРКОВА

Второй раздел посвящен изучению случайных процессов Маркова с дискретным временем и конечным пространством состояний. Он состоит из двух частей. В первой рассматриваются основные свойства ДЦМ: на базе анализа структуры пространства состояний дается классификация цепей с последующим изучением законов эволюции цепей различных классов. Во второй части (на базе первой) изучаются свойства неуправляемых цепей с доходами. Знание этих свойств позволяет сформулировать задачи построения оптимального управления и изложить методы их решения. В заключение приводятся примеры решения практических задач двух классов.

Лекция 4. Основные понятия В первой лекции было дано общее определение марковских случайных процессов и их частных случаев — дискретных цепей. Тем не менее настоящую лекцию мы начнем с определения конечной цепи Маркова, изучению которой мы посвятим ближайшие лекции. Рассмотрим экономическую или техническую систему, которая может находиться в одном из несовместных состояний i пространства состояний S = {1, 2, ... , N }. В процессе своего функционирования система в дискретные моменты времени, называемые шагами и обозначаемые n = 0, 1, 2, ... , переходит из состояния ξn = i в состояние ξn+1 = j с условной вероятностью pij . Эта вероятность не зависит ни от состояний системы в предшествующие моменты времени (свойство марковости),

Лекция 4. Основные понятия

25

ни от текущего времени (свойство однородности). Предполагается, что в нулевой момент времени (n = 0) система находится в одном из состояний пространства S с распределением (0) (0) (0) π1 , π2 , ... πN .

Итак, СП ξ0 , ξ1 , ... ξn , ... смены состояний называется простой однородной дискретной (конечной) цепью Маркова, если для всех n > 1 и i, j , i0 , i1 , ... ∈ S выполняется марковское свойство P {ξn = j | ξ0 = i0 , ξ1 = x1 , ... , ξn−1 = i} =

=P {ξn = j | ξn−1 = i} = pij . (4.1) (0) (0) 0 Вероятности π1 , π2 , ... , πN и (pi1 , pi2 , ... , piN ) ∀ i образуют

так называемые стохастические векторы, т. е. векторы с неотрицательными элементами, удовлетворяющими условию нормиN N P P (0) рованности πi = 1 и pij = 1. i=1

j=1

Матрица P = (pij ), состоящая из стохастических векторовстрок, сама является стохастической и называется матрицей вероятностей перехода (МВП). При анализе ДЦМ широко используется геометрическая наглядная схема, называемая размеченным графом состояний (РГС), или просто графом состояний (ГС). Каждому состоянию ДЦМ на схеме соответствует круг (прямоугольник) с номером состояния внутри него или рядом. Если из состояния i в состояние j возможен одношаговый переход (pij > 0), то из вершины i в вершину j проводится дуга со стрелкой, рядом с которой может быть указано значение pij . Пример 4.1. Рассмотрим вычислительный центр с тремя ЭВМ. Их состояние контролируется ежесуточно. Если контролер признает ЭВМ исправной, то она продолжает работать, в противном случае направляется в ремонт. Вероятность исправной ЭВМ выйти из строя за истекшие сутки обозначим r, а вероятность ремонтируемой ЭВМ войти в строй за то же время q . Процессы выхода из строя и восстановления ЭВМ независимы. Введем в рассмотрение состояния: i = 0 — все три ЭВМ исправны, i = 1 — ровно одна ЭВМ неисправна, i = 2 — ровно две неисправны, i = 3 — все три неисправны.

26

Разд. 2. Дискретные цепи Маркова

Построим МВП и РГС. Для этого найдем вероятности перехода. Очевидно, p00 = (1 − r)3 , p01 = 3r (1 − r)2 , p02 = 3r2 (1 − r), p03 = r3 ,

p10 = q (1 − r)2 , p11 = 2qr (1 − r) + (1 − q) (1 − r)2 ,

p12 = qr2 + 2(1 − q)r(1 − r), p13 = (1 − q) r2 ,

p20 = q 2 (1 − r) , p21 = q 2 r + 2 (1 − r) q (1 − q) ,

p22 = (1 − q)2 (1 − r) + 2rq (1 − q) , p23 = (1 − q)2 r,

p30 = q 3 , p31 = 3q 2 (1 − q) , p32 = 3q (1 − q)2 , p33 = (1 − q)3 . 3 X Легко проверить, что pij = 1, i = 0, 1, 2, 3. i=0

При r = 0, 2 и q = 0, 3 получаем МВП  0,512 0,384 0,096 0,008  0,192 0,544 0,236 0,028 P =  0,072 0,354 0,476 0,098 0,027 0,189 0,441 0,343

РГС имеет вид, представленный на рис. 5.



 . 

p11 1

p10

p12 p01 p20

p00

0

p21 2

p02 p 31 p30

p13 p32

p03

p22

p23 3

p33 Рис. 5

Пример 4.2. Задача о холодильниках (управление запасами). Магазин электротоваров в начале каждой недели размещает заказы на два холодильника. Еженедельный спрос


27

на

холодильники задается распределением вероятностей: спрос 0 1 2 . Пусть в состоянии i магазин вероятность 0,2 0,5 0,3

имеет для продажи i холодильников. Пространство состояний S = {0, 1, 2}. Процесс функционирования магазина моделируется ДЦМ с МВП   1 0 0 P =  0,8 0,2 0  0,3 0,5 0,2 и РГС, представленным на рис. 6. 1 0

0,8

0,3

0,2 1 0,5

2 0,2 Рис. 6

Две задачи теории дискретных цепей Пусть последовательность ξn , n = 0, 1, 2, ... , образует ДЦМ с МВП P , вектором начальных вероятностей (ВНВ) (0) (0) (0) ( 0 ) π = π1 , π2 , ... , πN и пространством состояний S =

= {0, 1, 2, ... , N }. Рассмотрим две задачи.

(n)

Задача 1. Найти для всех i, j ∈ S вероятности перехода pi,j системы из состояния i в состояние j за n шагов — другими словами, построить (N × N )-матрицу вероятностей перехода за (n) n шагов P = pij .

Решение. Рассмотрим три момента времени (три шага) 0, m, n (0 < m < n), зафиксируем состояния в моменты 0 и n: ξ0 = i, ξn = j , и обозначим произвольное состояние в момент m: ξm = d; i, j , d ∈ S (рис. 7). В принятых обозначениях

28

Разд. 2. Дискретные цепи Маркова (n)

— вероятность перехода системы из i в j за n шагов,

(m)

— вероятность перехода системы из i в d за m шагов,

(n−m)

— вероятность перехода системы из d в j за (n − m) шагов.

pij

pid pdj

i d

) (m p id

pd(jn−m) j

0

m (n − m)

{

{

i

m

n−m (m)

n

n

Рис. 7

По формуле полной вероятности получим Колмогорова–Чепмена N X (n) (m) (n−m) pij = pid pdj , i, j ∈ S ,

уравнение (4.2)

d=1

или в матричной форме

P (n) = P (m) P (n−m) , где

Из (4.3) следует



 P (0) = I =  

(4.3)



1 1

... 1

 . 

P (n) = P (n−m) P (m) ;

(4.4)

действительно, достаточно в (4.3) положить m : = n − m, n − − m : = m. Из (4.3) и (4.4) следует: при m = 1 и m = n − 1 получаем

P (n) = P n−1 P = P P (n−1) .

(4.5)

29


Из (4.5) следует: P (n) = P P (n−1) = P P P (n−2) = ... = P n , т. е. МВП ДЦМ за n шагов есть n-я степень матрицы одношаговых переходов. Читателю рекомендуется доказать, что P n — стохастическая матрица (доказав предварительно, что произведение стохастических матриц есть стохастическая матрица). Задача 2. Найти для всех j ∈ S вероятности состояний (n) системы πj через n шагов — другими словами, построить N -вектор вероятностей состояний системы (ВВС) через n шагов (n) (n) (n) π (n) = π1 , π2 , ... , πN .

Решение. Рассмотрим события {ξ0 = i}, i ∈ S , как гипотезы (0) с вероятностями πi . Тогда события {ξn = j} могут произойти совместно с каждой из перечисленных гипотез с условными (n) вероятностями pij (рис. 8). По формуле полной вероятности получаем N X (n) (0) (n) πj = πi pij , j ∈ S (4.6) i=1

или в векторно-матричной форме

π (n) = π (0) P n .

(4.7)

i j (n)

i

πj

(n) pij

(0)

πi

n

0

n

Рис. 8

Из (4.7) следует

π (n) = π (0) P n = π (0) P n−1 P = π (n−1) P , или (n)

πj

=

N X i=1

(n−1)

πi

pij ,

j ∈ S.

(4.8)

(4.9)

30


Пример 4.3 (продолжение примера 4.2).   1   1   0,8 0,2   ⇒ P =  0,3 0,5 0,2  ⇒ P 2 =  0,96 0,04   0,76 0,20 0,04



 1 . ⇒ P 3 =  0,992 0,008 0,932 0,06 0,008 (n)

Легко видеть, что при n → ∞ и при j 6= i имеем pi0 → 1, (n) pij → 0. В лекции 6 эта закономерность будет обоснована. Если π (0) = (0,167; 0,333; 0,500), то согласно (4.7)

π (2) = π (0) P 2 = (0,867; 0,113; 0,02) ⇒ ⇒ π (3) = π (0) P 3 = (0,963; 0,033; 0,004) ; (n)

заметим, что при n → ∞ и при i 6= 0 π0

(n)

→ 1, πi

→ 0.

Пример 4.4. Доказать, что последовательность ξ0 , ξ1 , ..., ξn , ... состоит из независимых СВ тогда и только тогда, когда МВП P = (pij ) состоит из одинаковых строк pij = pj ∀ i, j. Действительно, пусть СВ ξi независимы, тогда

pij = P {ξn = j | ξn−1 = i} = P {ξn = j} = pj ∀ i, j , n. Обратно, пусть pij = pj ∀ i, j , т. е. P {ξn = j | ξn−1 = i} = P {ξn = = j} ∀ i, j . Таким образом, условная вероятность события совпадает с безусловной, что свидетельствует о независимости СВ ξi .

Лекция 5. Анализ структуры пространства состояний и классификация цепей Структура ДЦМ нас интересует с точки зрения механизма возможных переходов системы из состояния в состояние. Но возможные переходы полностью отражены в графе состояний (ГС), так как для их анализа существенно не значение вероятностей перехода pij , а факт pij = 0 или pij > 0. Отсюда следует, что анализ структуры ДЦМ сводится к анализу ее ГС.

Лекция 5. Анализ структуры пространства состояний

31

Итак, рассмотрим ГС (рис. 9). Вершины i и j соединены дугой, если pij > 0. В нашем графе p22 > 0, p23 > 0, p51 > 0 и т. д. Дуга (i, i) называется петлей. Путем длины n, связывающим i с j (в этом случае говорят, что j следует за i), называется последовательность n дуг вида Пn (i, j) = = {(i, k) , (k , l) , ... , (m, j)}. Существование Пn (i, j) означает возможность перехода в ДЦМ из состояния i в состояние j за n шагов. Путь Пn (i, i) называется контуром длины n. В нашем графе имеются петли (2,2) и (1,1),пути (5,3), (3,2), (2,2), (2,3), (3,4) или (4,3), (3,4). Последний является контуром. 2

3

5

4

1 Рис. 9

Говорят, что вершина j достижима из вершины i, если существует путь Пn (i, j). Обозначение достижимости: i → j . Вершины i и j сообщаются друг с другом (обозначение: i ↔ j), если (i → j) ∧ (j → i). Другими словами, вершины iи j сообщаются, если возможны как переход i → j , так и возвращение j → i. Вершина i, сообщающаяся с любой следующей за ней, называется существенной, в противном случае несущественной. Таким образом, каждая вершина может быть либо существенной, либо несущественной. В нашем ГС вершина 2 достижима из вершин 2, 3, 4 и 5; вершина 1 достижима из вершин 1 и 5; пары вершин (2, 2), (2, 3), (2,4), (3, 4), (1, 1) являются сообщающимися. Других сообщающихся нет. Вершина 5 является несущественной, все остальные — существенные. Основная теорема структурного анализа. 1) За любой вершиной следует хотя бы одна вершина. 2) За существенной вершиной следуют только существенные. 3) Для всякой несущественной вершины найдется существенная, следующая за ней.

32


Д о к а з а т е л ь с т в о. 1) Если за вершиной i не следует ни N P одна вершина, то pij = 0 ∀ i ⇒ pij = 0, что противоречит j=1

определению МВП конечной цепи.

2) Пусть i — существенная вершина. В силу первого утверждения найдутся вершины j и k , такие, что i → j → k . Поскольку i — существенная вершина, найдется путь возврата из k в i: i → j → k → ... → i. Таким образом, из всякой вершины k , в которую возможен переход из вершины j , возможно и возвращение, т. е. j — существенная вершина. 3) Смысл этого утверждения состоит в том, что за несущественной вершиной могут следовать несущественные вершины, но обязательно следует хотя бы одна сщественная. Пусть за несущественной вершиной следует последовательность несущественных (и тогда попарно различных) вершин: i → → j1 → j2 → ... → jk . Но таких вершин может быть лишь конечное число, поэтому на некотором шаге (например, k -м) окажется, что список несущественных вершин исчерпан. Согласно первому утверждению существует вершина, следующая за jk -й, и эта вершина может быть только существенной. Из основной теоремы (ОТ) вытекают следующие утверждения. а) Множество вершин S ГС разбивается на два подмножества — существенных (Sc ) и несущественных (Sн ) вершин. б) Множество Sc замкнуто в том смысле, что если система в процессе эволюции окажется в состоянии i ∈ Sc , то в силу утверждения 2) ОТ она никогда его не покинет. в) Множество Sн открыто в том смысле, что в силу утверждения 3) ОТ при старте из несущественного состояния система обязательно перейдет из Sн в Sc . г) Множество Sн может быть пустым (например, на рис. 10), тогда как согласно ОТ множество Sc всегда содержит хотя бы одну вершину. 2

1 Рис. 10

д) Отношение сообщаемости на множестве Sc обладает свойствами рефлексивности, симметричности и транзитивности, поэтому Sc можно разбить на замкнутые классы сообщающихся


33

вершин, называемые классами эквивалентности (КЭ). КЭ, состоящий из одной вершины, и сама такая вершина называются поглощающими. Универсальный алгоритм построения КЭ изложен в [1], но если ГС не очень сложен, то можно строить их в соответствии с определением. Берется произвольная вершина i ∈ Sc , и к ней присоединяются все вершины, сообщающиеся с i (т. е. все вершины, принадлежащие контуру Ïn (i, i)). В результате будет получен K1 — первый КЭ. Если множество вершин K1 6= S , то выбирается произвольная вершина j ∈ S\K1 и к ней присоединяются все вершины, сообщающиеся с j (т. е. все вершины, принадлежащие контуру Пn (j , j)). В результате будет получен K2 — T второй КЭ; очевидно, K1 K2 = ∅. Этот процесс продолжается до тех пор, пока не будут исчерпаны все существенные вершины, т. е. пока не будут построены все попарно непересекающиеся КЭ, образующие разбиение множества Sc . На рис. 9 ГС имеет два КЭ: K1 = {2, 3, 4}, K2 = {1}. Структура класса эквивалентности Рассмотрим ГС ДЦМ, состоящей из единственного КЭ (рис. 11) со множеством вершин Sc . Он разбивается на d = 4 циклических подкласса (ЦП) Ck , k = 0, 1, ... , d − 1, обладающие следующими свойствами: • в пределах каждого ЦП вершины не связаны дугами и не имеют петель, • подклассы циклически замкнуты, т. е. C0 → C1 → C2 → → ... → Cd−1 → C0 . 1

2

C0

3

C1 4

5

C2

6 Рис. 11

2 Г.А. Соколов

7

C3

34


КЭ с d > 1 ЦП называются циклическими; КЭ, который не является циклическим, другими словами, состоящий из единственного подкласса C0 = Sc , называется регулярным. Легко проверить, что наличие хотя бы одной петли в ГС КЭ является достаточным условием его регулярности. Действительно, любой КЭ может быть либо циклическим (d > 1), либо регулярным. Если вершина i имеет петлю, то никакое истинное подмножество множества вершин этого КЭ, содержащее вершину i, не может быть ЦП; следовательно, последовательности, состоящей хотя бы из двух ЦП, не существует, т. е. данный КЭ не является циклическим и поэтому регулярен. Алгоритм построения последовательности ЦП КЭ Введем предварительно два полезных понятия: • если i — вершина ГС, то Γ (i) = {j : pij > 0} — образ вершины i; S • если C — подмножество вершин ГС, то Γ (C) = Γ (i) — i∈C

образ подмножества C . Шаг 1. Выбираем произвольную вершину i ∈ Sc и образуем подмножество S0 = {i}. Шаг 2. Строим последовательность Sk = Γ (Sk−1 ), k = 1, 2, ... , до тех пор пока впервые Sk не пересечется хотя бы с одним из предшествующих Sk−1 , Sk−2 , ... , S0 . Шаг 3. Если Sk = S0 , то требуемая последовательность построена: C0 = S0 , C1 = S1 , ... , Ck−1 = Sk−1 , d = k. Если Sk 6= S0 , но Sk пересекается с Sk1 , Sk2 , ... , то эти подмножества исключаются последовательности, Sk S Sиз построенной S заменяется на Sk Sk1 Sk2 ... , члены полученной последовательности нумеруются заново числами 0, 1, 2, ... и процесс продолжается согласно шагу 2. Пример 5.1. Рассмотрим КЭ на рис. 11 и воспользуемся изложенным алгоритмом. Шаг 1. Выбираем вершину i = 1 и формируем множество S0 = = {1}. Шаг 2. Строим последовательно S1 = Γ (S0 ) = {3} ⇒ S2 = Γ (3) = {4} ⇒

⇒ S3 = Γ (4) = {5, 6, 7} ⇒ S4 = Γ (5, 6, 7) = {1, 2}.


35

Шаг 3. S4 пересекается,Sно не совпадает с S0 ⇒ S0 исключаем, S4 заменяем на S4 S0 = S4 и после перенумерации получаем последовательность

S0 = {3} ⇒ S1 = {4} ⇒ S2 = {5, 6, 7} ⇒ S3 = {1, 2}.

Шаг 4. В соответствии с шагом 2 строим S4 = Γ (1, 2) = {3} и обнаруживаем S3 = S0 ⇒ конец ⇒ последовательность ЦПК имеет вид

C0 = {3} ⇒ C1 = {4} ⇒ C2 = {5, 6, 7} ⇒ C3 = {1, 2}. Пример 5.2. ГС (рис. 12) отличается от ГС предыдущего примера лишь наличием петли (6,6). 2

1 3

4

5

6

7

Рис. 12

Шаг 1. Выбираем вершину 1 и формируем множество S0 = {1}. Шаг 2. Строим последовательно — см. пример 5.1: S1 = {3} ⇒ S2 = {4} ⇒ S3 = {5, 6, 7} ⇒ S4 = {1, 2, 6}.

Шаг 3. S4 пересекается, но не совпадает с S0 ⇒ построенная последовательность Si корректируется: S0 = {3} ⇒ S1 = = {4} ⇒ S2 = {1, 2, 5, 6, 7}. Шаг 4. В соответствии с шагом 2 алгоритма строим множество S3 = {1, 2, 3, 6}, которое пересекается с S2 и S3 ⇒вновь корректируется последовательность Si :

S0 = {4} ⇒ S1 = {1, 2, 5, 6, 7} ⇒ S2 = {1, 2, 3, 5, 6, 7}. Шаг 5. В соответствии с шагом 2 алгоритма строим множество S3 = {1, 2, ... , 7}, которое пересекается со всеми предыдущими, и после корректировки получаем 2*

36


S0 = {1, 2, ... , 7} ⇒ S1 = {1, 2, ... , 7} ⇒ S1 = S0 ⇒ конец ⇒ последовательность ЦПК состоит из единственного подкласса, совпадающего с Sc . Классификация ДЦМ Цепи, для которых Sн = ∅, а Sc образует единственный КЭ, называются неразложимыми, или неприводимыми (НЦ). НЦ могут быть регулярными (НРЦ), если КЭ — регулярный, или циклическими (НЦЦ), если КЭ — циклический. Цепь, содержащая как существенные, так и несущественные состояния, называется разложимой (РЦ), или приводимой. РЦ может включать ровно один КЭ — тогда она называется моноэргодической (МЦ), — либо два или более КЭ — тогда она называется полиэргодической (ПЦ). МЦ может быть регулярной (МРЦ), если КЭ — регулярный, или циклической (МЦЦ), если КЭ — циклический. ПЦ может быть регулярной (ПРЦ), если все КЭ — регулярные, циклической (ПЦЦ), если все КЭ — циклические, или смешанной (ПСЦ), если цепь содержит хотя бы один регулярный и хотя бы один циклический КЭ. Частным случаем МЦ и ПЦ являются моноэргодическая поглощающая (МПЦ) и полиэргодическая поглощающая (ППЦ) цепи, когда каждый КЭ является поглощающим. Схема классификации цепи представлена на рис. 13. ЦМ

НЦ

НРЦ

РЦ

НЦЦ

МЦ

МРЦ

МЦЦ

ПЦ

ПРЦ

МПЦ

ППЦ

Рис. 13

ПЦЦ

ПСЦ

37


Каноническая нумерация состояний и каноническая форма МВП Рассмотрим наиболее общий тип ДЦМ — ПЦ с L КЭ, занумерованными в произвольном порядке числами 1, 2, ... , L. Каноническая нумерация состояний (вершин ГС) осуществляется по следующему правилу: сначала в соответствии с номерами КЭ произвольно нумеруются существенные состояния (вершины ГС) числами 1, 2, ... , Nс ; затем также произвольно нумеруются несущественные состояния (вершины ГС) числами Nс + 1, Nс + 2, ... , N . Канонической нумерации состояний (вершин ГС) однозначно соответствуют канонические формы МВП и матрицы смежности ГС A = (aij ), где aij = 1, если i → j , и aij = 0, если i не влечет j . Пример 5.3. Пусть ГС ДЦМ представлен на рис. 14. Требуется дать полный структурный анализ (ПСА), т. е: • построить разбиение множества всех состояний S на подмножества существенных Sc и несущественных Sн состояний, а также разбиение Sc на классы эквивалентности; • построить для каждого КЭ последовательность его ЦПК; • определить тип цепи и построить МВП в канонической форме. Итак, по определению Sc = {1, 2, 3, 4, 5, 6}, Sн = {7, 8, 9}. Sc разбивается на три КЭ: K1 = {1, 2}, K2 = {3, 4, 5}, K3 = {6} — все они, очевидно, регулярные ⇒ цепь является полиэргодической регулярной. МВП в канонической форме имеет вид



1

2

3

4

5

6

7

8

9

1/3 2/3 T1 0 0 0 0 0 0  2  1 0 0 0 0 0 0 0 0  3  0 0 0 1 /2 1 /2 0 0 0 0   4  0 0 1/2 0 1/2 T2 0 0 0   0 1 /2 1 /2 0 T3 0 0 0 5  T  6  0 0 0 0 0 1 0 0 0   0 0 1 /3 1 /3 1 /3 0 0 0 7  0  0 0 R 0 0 1 /3 Q 1 /3 8  1 /3 1 /3 1 /3 0 0 0 0 0 1 /3 0 9 1



       .         

Блок T управляет переходами на множестве существенных состояний. Он, в свою очередь, разбивается на три блока Ti ,

38


1

9

6

5

2

8

7

4

3

Рис. 14

i = 1, 2, 3. Блок Ti управляет переходами на множестве состояний i-го КЭ. Блок R управляет переходами из несущественных состояний в существенные, блок Q управляет переходами из несущественных состояний в несущественные, блок 0 — нулевой.

Лекция 6. Долгосрочный прогноз эволюции цепей с одним классом эквивалентности Эволюция ДЦМ описывается МВП и ВВС за n шагов:

P (n) = P n ,

π (n) = π (0) P n ;

следовательно, долгосрочный прогноз определяется матрицей lim P (n) и вектором lim π (n) .

n→∞

n→∞

В связи с этим возникают вопросы: • при каких условиях эти пределы существуют, • если они существуют, то как их найти, • при каких условиях существуют стационарные режимы? Ответам на эти вопросы предпошлем несколько замечаний, определений и утверждений. Вектор π = (π1 , π2 , ... , πN ) называется неподвижным для матрицы P (P -неподвижным), если πP = π . Вектор π является P -неподвижным тогда и только тогда, когда он является P n неподвижным ∀ n > 2: действительно, пусть πP = π , тогда πP 2 = πP = π ⇒ πP 3 = πP = π ⇒ ... ⇒ ⇒ πP n = πP = π ; пусть πP n = π , тогда πP n−1 = π ⇒ πP = π . Вектор вероятностей состояний π (n) = π (0) P n называется стационарным, если он не зависит от n. Говорят, что (n) n последовательность матриц P = pij при n → ∞ сильно сходится к матрице Π = (πij ), а последовательность векторов

Лекция 6. Прогноз эволюции цепей с одним классом эквивалентности 39

(n) (n) (n) π (n) = π1 , π2 , ... , πN сильно сходится к вектору π = = (π1 , π2 , ... , πN ), если имеет место поэлементная сходимость (n) (n) pij → πij и πi → πi . Матрица Π и вектор π называются финальной МВП и финальным ВВС соответственно. В основе анализа предельного поведения ДЦМ лежит так называемая Эргодическая теорема (теорема 1). Если P — МВП регулярного КЭ, то   π lim P n = Π =  ...  , π > 0. n→∞ π

Доказательство см., например, в [1]. Согласно этой теореме для регулярного КЭ имеет место сильная сходимость P n → Π , при этом строго стохастический вектор-строка π является одновременно P -неподвижным, финальным и стационарным ВВС. Действительно, при n → ∞   π1 π2 ... πN  π1 π2 ... πN   π (n) = π (0) P n → π (0)   ... ... ... ...  =

π1 π2 ... πN

=

π1

N X i=1

(0) πi , π2

N X i=1

(0) πi , ...

, πN

N X i=1

(0) πi

!

=

= (π1 , π2 , ... , πN ) ∀ π (0) , т. е. финальный ВВС является единственным и совпадает со строкой финальной МВП. Далее, P n = P n−1 P → π = πP , т. е. π есть P -неподвижный вектор. Наконец, π (n) = hπ (0) = πi = = πP n = π , т. е. если начальный ВВС неподвижен, то вектор π стационарен при любом n; если же начальный ВВС произволен, то вектор π стационарен на ∞. Рассмотрим циклический КЭ, для него последовательность 0 1 n P не имеет предела при n → ∞: например, P = ⇒ 1 0 1 0 0 1 ⇒ P2 = ⇒ P3 = ⇒ ... (рис. 15). В этом 0 1 1 0

40


случае от матрицы P можно перейти к регуляризованной по Эйлеру матрице   1 0 0 Pe = αI + (1 − α) P , 0 < α < 1, I =  0 1 0  , 0 0 1

которая есть МВП регулярного КЭ (рис. 16), мало отличающаяся от исходной МВП P при малых значениях α. Покажем, что Pe — стохастическая матрица. Действительно,

peij = (1 − α) · pij > 0 при i 6= j ,

peij = (1 − α) pii + α · 1 > α > 0 при i = j.

Более того, peii > 0; следовательно, регуляризованный циклический класс эквивалентности уже является регулярным и

e > 0. lim Pe n = Π

n→∞

e и принимается в качестве финальной матрицы поМатрица Π следовательности P n . 1−α

1

1

2

α

1 Рис. 15

α

1−α Рис. 16

Отметим еще одно замечательное свойство матриц P и Pe : вектор π является одновременно неподвижным стохастическим вектором обеих матриц P и Pe, т. е. N X π = πP , π = π Pe, πi > 0, πi = 1. i=1

Действительно, пусть π = π Pe , тогда

π = π (αI + (1 − α) P ) = απ + (1 − α) πP ⇒ ⇒ (1 − α) πP = π − απ ⇒ (1 − α) πP = (1 − α) π ⇒ π = πP. В дальнейшем мы будем говорить о так называемой слабой сходимости циклических матриц P n к матрице Π , все строки которой совпадают с P -неподвижным вектором π , понимая под e. этим сильную сходимость Pen → Π


Выше при изучении механизма переходов системы из одного состояния в другое отмечалось, что при старте из любого несущественного состояния система рано или поздно перейдет в одно из существенных состояний некоторого КЭ и при дальнейшей эволюции никогда не покинет этот класс. Если данное свойство перевести на теоретико-вероятностный язык, то получим следующую теорему. Теорема 2 (общая теорема о предельном поведении конечной цепи Маркова). При старте из любого несущественного состояния вероятность оказаться в существенном после n шагов стремится к 1 при n → ∞. Отсюда следует, что если все существенные состояния являются поглощающими, то при n → ∞ система будет поглощена одним из них. Найдем вероятность bij поглощения системы j -м поглощающим состоянием при ее старте из i-го несущественного. Уже на первом шаге она будет поглощена с вероятностью pij . Если этого не произойдет, то система на первом шаге с вероятностью pik окажется в k -м несущественном состоянии и при дальнейшей эволюции с вероятностью bkj будет поглощена j -м поглощающим. По формуле полной вероятности получаем X bij = pij + pik bkj , j ∈ Sc , i, k ∈ Sн . (6.1) k∈Sн

Если вспомнить (см. лекцию 4), что МВП в канонической форме имеет вид ! T 0 P = , R Q где Q = (pij ), i, j ∈ Sн , R = (pij ), i ∈ Sн , j ∈ Sc , и обозначить B = (bij ), i ∈ Sн , j ∈ Sc , то в матричной записи (6.1) примет вид

B = R + QB ⇒ B = (I − Q)−1 R,

(6.2)

(доказательство существования обратной матрицы см. в [1]). Итак, нами доказано следующее утверждение. Теорема 3. Если все существенные состояния конечной цепи Маркова являются поглощающими, то матрица вероятностей поглощения системы при ее старте из несущественного состояния равна B = (I − R)−1 R.

42


Перейдем к анализу отдельных классов ДЦМ. Неприводимые цепи Пусть P — МВП, а π (0) — ВНВ некоторой цепи. Согласно эргодической теореме сильно или слабо   π P n → Π =  ...  > 0, π тогда

∀π (0)

⇒

π (n) = π (0) P n → π (0) Π = π > 0 при n → ∞, π (0) = π ⇒ π (n) = π ∀ n,

т. е. ВВС на n-м шаге сходится к положительному вектору π , являющемуся строкой финальной МВП, а также единственным P -неподвижным и единственным стационарным вектором. Таким образом, построение финальной МВП, финального ВВС, стационарного ВВС сводится к построению P -неподвижного вектора π , т. е. к решению вырожденной системы уравнений π = πP в классе стохастических векторов π (в том числе для циклических цепей). В нижеследующих примерах требуется построить финальный ВВС π и финальную МВП Π . Пример 6.1. Пусть ГС представлен имеет вид  0,5 0 0  0,25 0,5 0,25 P =  0 0 0,5 0 0,5 0 1

2

4 Рис. 17

на рис. 17, а МВП НРЦ  0,5 0  . 0,5  0,5

3


Решение. Система уравнений для определения неподвижного вектора π имеет вид  π1 = 0,5π1 + 0,25π2 ,      π = πP ,  π = 0,5π + 0,5π , 4 2 2 4 P ⇒ ⇒   πi = 1 π3 = 0,25π2 + 0,5π3 ,    i=1 1 = π1 + π2 + π3 + π4

⇒ π = (1/6, 2/6, 1/6, 2/6) ;

следовательно,



1 /6  1 /6 Π =  1 /6 1 /6 Пример 6.2. Пусть ГС имеет вид  0  0   P = 0   1 /3 2 /3

2 /6 2 /6 2 /6 2 /6

1 /6 1 /6 1 /6 1 /6

 2 /6 2 /6  . 2 /6  2 /6

представлен на рис. 18, а МВП НЦЦ  0 0 1 /3 2 /3 0 0 1 0    0 0 0 1 .  2 /3 0 0 0  0 1 /3 0 0

3

1 5

2 4

Рис. 18

Решение. Система уравнений для определения неподвижного вектора π имеет вид  π 2 = 2 /3 π 4 ,     π = πP ,        P  π 3 = 1 /3 π 5 , 5 ⇒ ⇒ π 4 = 1 /3 π 1 + π 2 , πi = 1,   i=1     π 5 = 2 /3 π 1 + π 3 ,     π = (π1 , ..., π5 )  π1 + ... + π5 = 1

44


⇒ π = (1/4, 1/6, 1/12, 1/4, 1/4) ⇒  1/4 1/6 1/12  1/4 1/6 1/12   ⇒ Π =  1/4 1/6 1/12   1/4 1/6 1/12 1/4 1/6 1/12

1 /4 1 /4 1 /4 1 /4 1 /4

1 /4 1 /4 1 /4 1 /4 1 /4



   .  

Моноэргодические цепи По определению МЦ имеет несущественные состояния, а существенные образуют единственный КЭ, который может быть как регулярным, так и циклическим. МВП в канонической форме имеет вид i\j 1 2

... Nc Nc + 1 Nc + 2

... N

1

            

2

...

Nc

Nc + 1 Nc + 2

... N

T

0

R

Q

            

Матрица P разбита на четыре блока T , Q, 0, R размерностями соответственно (Nc × Nc ), (Nн × Nн ), (Nc × Nн ), (Nн × Nc ). По правилам возведения в степень блочных матриц имеем ! n 0 T Pn = , R(n) Qn где R(n) в отличие от T n и Qn не есть n-я степень матрицы R. При n → ∞согласно  эргодической теореме и ее следствиπc ям T n → Πc =  ...  > 0, где πñ = (π1 , π2 , ... , πNc ); согласно πc теореме 2 Qn → 0, а Rn сходится к (Nн × Nc )-матрице с одинаковыми строками, равными πñ , так как с вероятностью 1 система


окажется в одном из существенных состояний. Таким образом, сильно или слабо при n → ∞



   πc 0 π P n → Π =  ... ...  =  ...  , π πc 0

где π = (πc , πн ), πc = (π1 , π2 , ... , πNc ), πн = 0, т. е. финальная МВП состоит из одинаковых векторов-строк π , при этом ее подвектор πñ > 0 есть T -неподвижный вектор; следовательно, π — единственный P -неподвижный вектор. Наконец, π есть стационарный ВВС: действительно, сильно или слабо при n → ∞

(0) (0) (0) (0) (0) π (n) = π (0) P n → π (0) Π = π1 , π2 , ... , πNc , πNc +1 , ... , πN × 

 π1 ... πNc 0 ... 0 ×  ... ... ... ... ... ...  = π1 ... πNc 0 ... 0 ! N N X X (0) (0) πi , ... , πNc πi , 0, ... , 0 = = π1 i=1

i=1

= (π1 , π2 , ... , πNc , 0, ... , 0) = π. Пример 6.3. Пусть ГС моноэргодической цепи представлен на рис. 19, а МВП P имеет вид



0,5

  1   0    0  0

0

0,5

0

0

0

1

0

0

0,5

0

0

0

0

T

R

0,5 0,5

0

0

Q



 0    0 .  0,5   0

Матрица P разбита на четыре блока T , Q, R, 0 размерностями соответственно (3 × 3), (2 × 2), (2 × 3), (3 × 2).

46


4

2 1

5

3 Рис. 19

Найдем вектор πc из системы уравнений

πc = πc T ⇒ hпервое уравнение исключаетсяi ⇒   π2 = π3 , ⇒ π3 = 0,5π1 , ⇒ πc = (0,5; 0,25; 0,25) ⇒  π1 + π2 + π3 = 1 

 0,5 0,25 0,25 0 0 ⇒ π = (0,5; 0,25; 0,25; 0; 0) ⇒ Π =  ... ... ... ... ...  . 0,5 0,25 0,25 0 0

Пример 6.4. Пусть последовательность ξ0 , ξ1 , ... является ДЦМ с одним КЭ. Доказать, что этот случайный процесс асимптотически стационарен. Данное утверждение следует из примера 4.4, согласно которому указанная цепь состоит из независимых СВ тогда и только тогда, когда ее МВП состоит из одинаковых строк. Выше мы получили, что для неприводимых и моноэргодических цепей финальные (в сильном или слабом смысле) матрицы Π состоят из одинаковых строк; следовательно, СВ ξn асимптотически независимы и, будучи одинаково распределенными, имеют M ξn → → const и Kξ (n, n′ ) → 0 при n, n′ → ∞.

Лекция 7. Долгосрочный прогноз эволюции цепей с L классами эквивалентности Полиэргодические поглощающие цепи По определению ППЦ имеют Nн несущественных (Nн > 1) и Nc существенных (Nc > 2) состояний. Последние образуют L = Nc поглощающих КЭ. МВП P в канонической форме имеет вид

Лекция 7. Прогноз эволюции цепей с L классами эквивалентности

i\j



1 2

... Nc Nc + 1 Nc + 2

... N

            

1

2

...

Nc

... N

Nc + 1 Nc + 2

1

0 1

R

             

1

T

47

Q

где матрица P разбита на четыре блока блока: T с единичной главной диагональю, R, Q, 0 — размерностями соответственно (Nc × Nc ), (Nн × Nc ), (Nн × Nн ), (Nн × Nн ); N = Nc + Nн .

Очевидно,

Pn

=

Tn

0

R(n) Qn



!

  , где T n =  



1 1

... 1

  , 

при n → ∞ по теореме 2 Qn → 0, а по теореме 3 Rn → B =

= (I − Q)−1 R = (bij ), i ∈ Sн , j ∈ Sc ; P n → финальная матрица Π имеет вид i\j 1

1



2

L

L+1

при n → ∞, где

L+2

... N

1

 1   ...    L   L + 1  bL+1,1 bL+1,2   L + 2  bL+2,1 bL+2,2  ...  ...  ... bN ,1 bN ,2 N 2

...

Ï

0

T 1

...

bL+1,L

...

bL+2,L

R ...

...

...

bN ,L

Q



      ;        

48


при этом 

      Π=     

π1 π2 ... πL πL+1 πL+2 ... πN



     i 6 L;   πi = (0, ... , 1, 0, ... , 0) ,  i ,    πi = (bi1 , bi2 , ... , biL , 0, ..., 0) , i > L;   

т. е. в общем случае все строки πi различны. Финальный ВВС (в отличие от НЦ и МЦ) зависит от ВНВ и равен π (n) = π (0) P n → π (0) Π . Все строки πi , i = 1, 2, ... , N , являются P -неподвижными стохастическими векторами, в чем легко убедиться непосредственной проверкой равенства πi = πi P , i = 1, 2, ... , N , где P есть МВП в канонической форме. Пример 7.1. Пусть ГС полиэргодической поглощающей цепи представлена на рис. 20, а МВП имеет вид i\j 1 2 3 4 5 6



1

2

3

4

5

6

1 0 0 0 0 0  1 0 0 0 0  0   0 T 1 0 0 0    0 2 /3 1 /3 0 0 0   1 /3 R 0 1 /3 Q 1 /3  2 /3 0 0 0 1 /3 0 6

3 2

1 5

4 Рис. 20



     .    


49

Построим матрицы B и Π :     0 0 0 1 0 0 Q =  1/3 0 1/3  ⇒ I − Q =  −1/3 1 −1/3  ⇒ 0 1 /3 0 0 −1/3 1

⇒ (I − Q)−1

  8 /9 0 0 9 = 1 /3 1 1 /3  ⇒ 8 1 /9 1 /3 1 i\j

1

2

3

 0 2 /3 1 /3   ⇒ 5  5 /8 1 /4 1 /8  7/8 1/12 1/24 6 4

⇒B=





    ⇒Π=   

1 0 0 0 1 0 0 0 1 0 2 /3 1 /3 5 /8 1 /4 1 /8 7/8 1/12 1/24

0 0 0 0 0 0

0 0 0 0 0 0

0 0 0 0 0 0



    .   

Полиэргодические цепи По определению ПЦ содержит хотя бы одно несущественное состояние (Nн > 1), а Nc существенных состояний образуют L (L > 2) КЭ, причем хотя бы один из них содержит не менее двух состояний. В канонической форме МВП P имеет вид

N1



  P = ...    NL    N2

Nн

N1

N2

...

T1 0 ... 0

0 ... 0 T2 ... 0 ... T ... 0 ... TL

R

N L Nн

 0 0    0   0   

Q

50


и разбивается на ряд блоков: (Ni × Ni )-блок Ti , управляющий переходами на множестве состояний i-го КЭ, i = 1, 2, ... , L; (Nн × Nc )-блок R, управляющий переходами из НС в СС; (Nн × Nн )-блок Q, управляющий переходами на множестве НС; наконец, (Nc × Nн )-блок 0. По правилам возведения в степень блочных матриц получаем   T1n 0 ... 0 0    0 T2n ... 0 0     ... ... T n ... 0(n)  n  . P =  n  0 0 ... TL 0     

R(n)

Qn

При N → ∞ матрица P n сильно или слабо сходится к финальной матрице Π , состоящей из двух блоков: (Nc × N )-блока Πñ , соответствующего переходам из СС, и (Nн × N )-блока Πн , Πñ соответствующего переходам из НС: Π = . Πн Согласно теореме 2 Qn → 0 при n → ∞, следовательно, последние Nн столбцов матрицы Π — нулевые. Согласно теореме 1 и следствиям из этой теоремы при n → ∞ сильно или слабо  T  πl  ...  n T Tl → Πl =  (7.1) , T πl где πlT — стохастическое решение системы уравнений

πlT = πlT Tl ,

l = 1, 2, ... , L.

(7.2)

Отсюда следует, что Nl состояниям l-го КЭ с МВП Tl в матрице Π соответствуют Nl одинаковых векторов-строк финальных вероятностей состояний: l

π =

0 ... 0 ... 0 ... 0 πlT ... πlT 0 ... 0 ... 0 ... 0 0 ... 0 | {z } | {z } | {z } | {z } | {z } | {z } N1 ... Nl−1 Nl Nl+1 ... NL Nн

l = 1, 2, ... , L,

!

,

(7.3)


т. е.



 π1  π2   Πc =   ...  , πL

51

(7.4)

π l есть (Nl × N )-блок, состоящий из Nl одинаковых N -мерных векторов-строк. Перейдем к построению блока Πн . При старте из i-го НС (i > Nc + 1) и n → ∞ система с вероятностью bil , l = 1, 2, ... , L, будет поглощена (захвачена) l-м КЭ и дальнейшая ее эволюция определяется финальным ВВС — строкой π l . Отсюда следует, что i-я строка матрицы Π при i > > Nc + 1 может быть получена по формуле полной вероятности πi =

L X

bil π l ,

(7.5)

l=1

и тогда

Согласно (7.3)–(7.6)



 π Nc + 1  π Nc + 2   Πн =   ...  . πN 

π1 ... π1 π2 ... π2 ... πL ... πL

            Π =         π Nc + 1   π Nc + 2   ... πN

(7.6)



            ,            

(7.7)

52


где строка π i , i = 1, 2, ... , L, повторяется Ni раз,

L P

Ni = Nc .

i=1

Открытым остался вопрос определения вероятностей поглощения bil . Чтобы найти их, необходимо от исходной ПЦ перейти к так называемой приведенной ППЦ и воспользоваться теоремой 3. Приведение осуществляется путем замены: b, • КЭ 1,2,. . .,L поглощающими состояниями b 1, b 2, ... , L • дуг, ведущих из каждого НС в различные состояния одного и того же КЭ, одной дугой с суммарным значением вероятностей переходов. Поясним эту процедуру примером. Пример 7.2 (продолжение примера 5.3). Пусть ГС полиэргодической цепи представлен на рис. 14, а МВП — та же, что в примере 5.3. Структурный анализ этой цепи был осуществлен в рамках 1 = {1, 2}, b 2 = {3, 4, 5}, b 3= примера 5.3. ГС включает три КЭ: b = {6}, Sн = {7, 8, 9}. Цепь является полиэргодической регулярной. Матрица P имеет каноническую форму. Она разбита на ряд блоков: (2 × 2)-блок T1 , (3 × 3)-блок T2 и (1 × 1)-блок T3 соответствуют трем КЭ; (3 × 6)-блок содержит вероятности перехода из НС в СС; (3 × 3)-блок содержит вероятности переходов на множестве НС; (6 × 3)-блок равен 0. Найдем неподвижные векторы πlT из уравнений: 1 /3 2 /3 T T T T π1 = π1 T1 ⇒ π1 = π1 ⇒ π1T = (3/5, 2/5) , 1 0   0 1 /2 1 /2 π2T = π2T T2 ⇒ π2T = π2T  1/2 0 1/2  ⇒ 1 /2 1 /2 0

⇒ π2T = (1/3, 1/3, 1/3) ,

π3T = (1) . Тогда согласно (7.4) 

   Πс =    

3/5 2/5 0 0 0 0 0 3/5 2/5 0 0 0 0 0 0 0 1/3 1/3 1/3 0 0 0 0 1/3 1/3 1/3 0 0 0 0 1/3 1/3 1/3 0 0 0 0 0 0 0 1 0

0 0 0 0 0 0

0 0 0 0 0 0



   .   


53

Для построения матрицы вероятностей поглощения перейдем к ППЦ с ГС, представленным на рис. 21, и МВП, имеющей вид

Pпр =

b 1 b 2 b 3 7 8 9

        

b 2

b 1

b 3

7

8

9

1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 2 /3 1 /3 0 0 0 1 /3 0 0 1 /3 0 1 /3 2 /3 0 0 0 1 /3 0

b 3

9

b 1

8



    .   

b 2

7 Рис. 21

В рамках примера 7.1 была построена матрица b 1

b 2

b 3

 0 2 /3 1 /3   B = 8  5 /8 1 /4 1 /8  9 7/8 1/12 1/24 7



Следуя (7.5) и (7.8), получим:

π 7 = 0 · π 1 + 2 /3 π 2 + 1 /3 π 3 = =

0 0 2 /9 2 /9 2 /9 1 /3 0 0 0 ,

π 8 = 5 /8 π 1 + 1 /4 π 2 + 1 /8 π 3 = =

3/8 2/8 1/12 1/12 1/12 1/8 0 0 0 , (7.8)

π9 = 7/8π 1 + 1/12π 2 + 1/24π 3 = =

21/40 14/40 1/36 1/36 1/36 1/24 0 0 0

54


и



0

0

2 /9

2 /9

2 /9

1 /3 0 0 0



  Πн =  3/8 2/8 1/12 1/12 1/12 1/8 0 0 0  . (7.9) 21/40 14/40 1/36 1/36 1/36 1/24 0 0 0

Наконец, согласно (7.8) и (7.9) получаем финальную матрицу Πс . Π= Πн

Лекция 8. Дискретные цепи Маркова с доходами Рассмотрим экономическую систему с конечным числом состояний S = {1, 2, ... , N }, функционирование которой моделируется ДЦМ с МВП P = (pij ) . При переходе из состояния i в состояние j система получает одношаговый доход (ОД) rij , быть может, отрицательный. Совокупность ОД образует (N × N )матрицу (МОД) R = (rij ). Доход, который система может получить за n шагов, есть СВ с распределением вероятностей, определяемым вероятностными связями цепи. Математическое ожидание этой СВ называется полным ожидаемым доходом (ПОД) за n шагов. Как вычислить ПОД, и какими свойствами он обладает? Полный ожидаемый доход Пусть система находится в состоянии i и ей предстоит функционировать (например, производить и продавать производимую продукцию) n шагов (например, n месяцев). Обозначим ПОД при этих условиях vi (n), он может быть получен следующим образом. На первом шаге , переходя в j -е состояние (с вероятностью pij ), система получит доход rij , а за оставшиеся (n − 1) шагов она получит доход, равный vj (n − 1) . Следовательно, ПОД за n шагов при этом условии будет равен rij + vj (n − 1), что позволяет воспользоваться формулой полного математического ожидания и написать рекуррентное соотношение

vi (n) =

N X j=1

pij [rij + vj (n − 1)],

(8.1)

55

Лекция 8. Дискретные цепи Маркова с доходами

или

vi (n) = qi +

N X j=1

где qi =

N P

j=1

pij vj (n − 1) ,

(8.2)

pij vj (n − 1), i = 1, 2, ... , N , — средний одношаговый

получаемый при переходеиз i-го  состояния. v1 (n) Введем в рассмотрение вектор ПОД V (n) =  ...  и вектор vN (n)   q1 СОД Q =  ... , тогда в векторно-матричной форме рекурqN рентное соотношение (8.2) примет вид доход (СОД),

V (n) = Q + P V (n − 1) ,

V (0) = 0,

n = 1, 2, ... .

(8.3)

Пример 8.1. Задача руководителя фирмы (РФ). Рассмотрим фирму с двумя состояниями: сбыт производимой продукции высокий (i = 1) и сбыт низкий (i = 2). ГС, моделирующий производственную деятельность фирмы, имеет вид, представленный рис. 22, а МВП ДЦМ имеет вид ! 0,5 0,5 P = . 0,4 0,6 0,5 0,5

1

2

0,6

0,4

Рис. 22

При МОД R =

9 3 3 −7

!

для СОД имеем:

q1 = 0,5 · 9 + 0,5 · 3 = 6, q2 = 0,4 · 3 − 0,6 · 7 = −3 ⇒ Q =

6 −3

;

56


тогда соотношение (8.3) принимает вид ! ! ! ! v1 (n) 6 0,5 0,5 v1 (n − 1) + = = v2 (n) −3 0,4 0,6 v2 (n − 1)

=

6 + 0,5v1 (n − 1) + 0,5v2 (n − 1)

−3 + 0,4v1 (n − 1) + 0,6v2 (n − 1)

!

.

Результаты вычислений по этой формуле при n = 1, 2, ... сведем в табл. 8.1, а графики функций vi (n) приведем на рис. 23. n

0

v1 (n)

0

v2 (n)

0

1

4

Т а б л и ц а 8.1 5 →∞

2

3

6

7,5

8,55

9,555

10,5555

→∞

−3

−2, 4

−1,44

−0,444

0,5556

→∞

vi (n)

10

v1 (n) 5

v2 (n) 0

45◦

n

−5 Рис. 23

Из таблицы и графиков видно, что если n → ∞, то v1 (n), v2 (n) → ∞, v1 (n) − v2 (n) → 10, vi (n) − vi (n − 1) → 1, i = 1, 2. В [1] эти экспериментальные результаты теоретически обоснованы. Аналогами соотношений (8.1)–(8.3), учитывающими приведение будущих доходов к текущему времени, являются

57

Лекция 8. Дискретные цепи Маркова с доходами

viβ (n) =

N X j=1

pij [rij + βvjβ (n − 1)] ⇒

⇒ viβ (n) = qi + β

N X j=1

pij vjβ (n − 1) ,

i = 1, 2, ... , n ⇒

⇒ Vβ (n) = Q + βP Vβ (n − 1) ,

Vβ (0) = 0, (8.4)

где β (0 < β 6 1) — коэффициент переоценки (КП): по определению доход в один рубль, полученный через n лет, эквивалентен β n рублям в настоящий момент. Пример 8.2. Продолжим рассмотрение примера 8.1, полагая β = 0,5 и используя соотношение (8.4). Результаты сведены в табл. 8.2. Т а б л и ц а 8.2 5 →∞

n

0

1

2

3

4

v1β (n)

0

6

6,75

7,01

7,14

7,2

v2β (n)

0

−3

−2,46

−2,34

−2,27

−2,7

7,266

−2,211

В отличие от табл. 8.1 величины viβ (n) имеют конечные пределы, которые далее будут исследованы теоретически. Всюду в дальнейшем предполагается, что β < 1; случай β = 1 достаточно подробно рассмотрен в [1]. Асимптотика полного ожидаемого дохода В результате n-кратного применения формулы (8.4) получаем

Vβ (n) = Q + βP V (n − 1) = Q + βP (Q + βP V (n − 2)) = = Q + βP Q + (βP )2 V (n − 2) =

= Q + βP Q + (βP )2 (Q + βP V (n − 3)) = = Q + βP Q + (βP )2 Q + (βP )3 Q + ... + + (βP )n Vβ (0) =

n− X1 i=0

(βP )i Q. (8.5)

58


Отсюда следует формула для так называемого предельного дохода

Vβ∞ = lim Vβ (n) = n→∞

∞ X i=0

(βP )i Q = (1 − βP )−1 Q < ∞.

(8.6)

Здесь мы воспользовались леммой об обратной матрице (доказательство см. [1, прил. 5]). Пример 8.3. Продолжим рассмотрение задачи руководителя фирмы (примеры 8.1 и 8.2) и вычислим предельный доход. При β = 0,5 имеем ! ! 0,5 0,5 0,25 0,25 Pb = βP = 0,5 = ⇒ 0,4 0,6 0,20 0,30

⇒ I − Pb =

0,75 −0,25 −0,20 0,70

⇒ Vβ∞ = I − Pb

−1

!

−1 = ⇒ I − Pb

1,474 0,526 0,421 1,579

!

⇒

! 1,474 0,526 6 Q= = −3 0,421 1,579 ! 7,266 = ⇒ см. табл. 8.2. −2,211

Управляемые дискретные цепи Маркова с доходами ДЦМ с доходами называется управляемой, если на каждом шаге n процесса функционирования системы и в каждом состоянии i = 1, 2, ... , N человек может по своему усмотрению выбрать строку МВП pki i = pik1i , ... , pkiNi и строку МОД riki = ki = rik1i , ... , riN из множества заданных. Величина ki называется стратегией управления в i-м состоянии, Ki = {ki } — множество стратегий управления в i-м состоянии, |Ki | < ∞. Вектор стратегий k = (k1 , k2 , ... , kN ) называется политикой. Если стратегия или политика выбираются на n-м шаге, то ki или k снабжаются индексом n: kin или kn = (k1n , k2n , ... , kN n ). Последовательность выбранных на каждом шаге политик образует

Лекция 9. Оптимальное управление на конечном горизонте

59

управление k = k 1 , k2 , ... , однозначно определяющее функционирование системы. Пусть nmax — продолжительность горизонта управления. Если nmax < ∞, то говорят о конечном, если nmax = = ∞, то говорят о бесконечном горизонте управления. Для управляемых ДЦМ с доходами ПОД на горизонте продолжительностью nmax принято обозначать Vβ (nmax , k) , тогда задача оптимального управления на конечном горизонте состоит в построении управления k∗ , максимизирующего ПОД Vβ (nmax , k). При бесконечном горизонте (следуя [1]) оптимальное управление будем искать в классе так называемых стаци онарных управлений kc = k , k, ... , т. е. управлений, представляющих собой последовательность политик, не зависящих от n. В качестве критерия оптимальности примем (так как β < 1) предельный доход, функционально зависящий от политики k. Итак, задача оптимального управления на бесконечном го∗ ризонте состоит в определении политики k , максимизирующей предельный доход.

Лекция 9. Построение оптимального управления на конечном горизонте Напомним постановку задачи: найти управление k = = k1 , k 2 , ... , k nmax , где kn = (k1n , k2n , ... , kN n ), kin ∈ Ki , максимизирующее ПОД V (nmax , k) на интервале функционирования системы продолжительностью nmax (< ∞) шагов, если для всех стратегий kin заданы  k   k  q1 1n p11n     Qkn =  ...  , P kn =  ...  . kN n kN n qN pN

Здесь qikin — СОД в i-м состоянии на n -м шаге, отвечающий kin kin kin kin стратегии kin ; pi = pi1 , pi2 , ... , piN — i-я строка МВП

P kn , отвечающая политике kn ; n — число шагов до завершения горизонта управления n = 1, 2, ... , nmax . Соотношение (8.4), если P и Q зависят от k, принимает вид Vβ n, k n = Qkn + βP kn Vβ n − 1, kn−1 , (9.1) n = 1, 2, ... , nmax , Vβ (0) = 0.

60


∗ ∗ Обозначим оптимальные значения kn и Vβ∗ (n) ≡ Vβ n, k n и положим Vβ∗ (0) ≡ Vβ (0); тогда, опираясь на (9.1), последовательно находим методом динамического программирования (ДП): ∗

Vβ∗ (1) = max Qk1 → k1 , Vβ∗ (1); k1

Vβ∗ (2)

∗

= max[Qk2 + βP k2 Vβ∗ (1)] → k2 , Vβ∗ (2) ; k2

.........................................

Vβ∗ (n)

=

max[Qkn kn

+ βP kn Vβ∗ (n − 1)]

→

∗ kn , Vβ∗ (n) ;

(9.2)

......................................... и т. д. до n = nmax . Результаты вычислений сводятся в табл. 9.1. Важное замечание: метод ДП решает задачу на конечном горизонте управления не только при β < 1, но и при β = 1. Т а б л и ц а 9.1

i

n

1

v1∗ (n)

...

...

N

∗ vN (n)

1

k1∗n

...

...

N

∗ kNn

0

1

2

...

nmax

Пример 9.1 (продолжение примеров 8.1–8.3). Рассмотрим задачу РФ с управлением. Фирма производит и продает произведенные изделия. Она может находиться в одном из двух состояний: объем сбыта высокий (i = 1) или объем сбыта низкий (i = 2). По усмотрению РФ возможны две стратегии управления: без рекламной поддержки (k = 1) и с рекламной поддержкой сбыта изделий (k = 2). При k = 1, если объем сбыта высокий, то с вероятностью 0,5 он останется таким же в следующем месяце; если же объем сбыта низкий, то в следующем месяце он может


61

стать высоким с вероятностью 0,4. Таким образом, МВП имеет вид 0,5 0,5 1 P = , 0,4 0,6 при этом месячный доход составит 9 ед., если сбыт останется высоким, или 3 ед. в противном случае. При низком уровне сбыта месячный доход составит 3 ед., если в следующем месяце сбыт станет высоким, или −7 ед. в противном случае. Таким образом, МОД при k = 1 принимает вид 9 3 1 R = . 3 −7 В случае рекламной поддержки МВП и МОД с учетом стоимости рекламы имеют соответственно вид 0,8 0,2 4 4 2 2 P = и R = . 0,7 0,3 1 −19 Требуется найти оптимальное управление фирмой при горизонте длительностью 5 месяцев. Полагая β = 0,5 и переходя от МВП P k к матрице Pbk = βP k , удобно все исходные данные сосредоточить в табл. 9.2 и, опуская индекс β (для упрощения), записать соотношения (9.2) в обозначениях pbkij по каждому состоянию i = 1, 2 и для двух возможных стратегий k = 1, 2: ) ( 2 P ki1 ki1 ∗ ∗ n = 1 ⇒ vi (1) = max qi + pbij vj (0) = ki1

j=1

= max{qi1 , qi2 } → vi∗ (1) , ki∗1 ;

n = 2 → vi∗ (2) = max{qiki2 + ki2

n > 2 → vi∗ (n) = max{qikin + kin

2 P

j=1 2 P

pbijki2 vj∗ (1)} → vi∗ (2) , ki∗2 ;

j=1

pbijkin vj∗ (n − 1)} →

∗ , i = 1, 2. → vi∗ (n), kin

Решение примера по формулам (9.3):

(9.3)

62


Т а б л и ц а 9.2 Cостояние i

Cтратегия k

pbik1

1 (высокий объем сбыта)

1 (без рекламы)

0,25

2 (с рекламой)

0,4

2 (низкий объем сбыта)

1 (без рекламы) 2 (с рекламой)

k pbij

pbki2

rik1

k rbij

СОД

rik2

qik

3

6

0,25

9

0,4

4

4

4

0,2

0,3

3

−7

−3

0,35

0,15

1

−19

−5

n = 1 ⇒ vi∗ (1) = max qiki1 = max{qi1 , qi2 } = ki1

=

(

i = 1 : max{6, 4} = 6,

∗ ∗ ⇒ k11 = 1, k21 = 1;

i = 2 : max{−3, −5} = −3 2 X ki2 ki2 ∗ ∗ n = 2 ⇒ vi (2) = max qi + pbij vj (1) = ki2

j=1

 i = 1 : max{6 + 0,25 (6) − 0,25 (3) ;     4 + 0,4 (6) − 0,1 (3)}, = =  i = 2 : max{−3 + 0,2 (6) − 0,3 (3) ;    −5 + 0,35 (6) − 0,15 (3)} =

(

∗ = 1, i = 1 : max{6,75; 6; 1} = 6,75 ⇒ k12

∗ = 1; i = 2 : max{−2, 7; −3,35} = −2,7 ⇒ k22 2 X n = 3 ⇒ vi∗ (3) = max qiki3 + pbijki3 vj∗ (2) = ki3

j=1

 i = 1 : max{6 + 0,25 · 6,75 + 0,25 (−2,7) ;     4 + 0,4 · 6,75 − 0,1 · 2,7}, = =  i = 2 : max{− 3 + 0,2 · 6,75 − 0,3 · 2,7;    −5 + 0,35 · 6,75 − 0,15 · 2,7} =

(

∗ = 1, i = 1 : max{7,01; 6,67} = 7,01 ⇒ k13

∗ = 1; i = 2 : max{−2,46; −3,04} ⇒ −2,46 ⇒ k23


n=4⇒

vi∗ (4)

= max ki4

qiki4

+

2 X

j=1

ki4 ∗ vj (3) pbij

63

=

  i = 1 : max{6 + 0,25 · 7,01 − 0,25 · 2,46;     4 + 0,4 · 7,01 − 0,1 · 2,46}, = =  i = 2 : max{−3 + 0,2 · 7,01 − 0,3 · 2,46;     −5 + 0,35 · 7,01 − 0,15 · 2,46} =

n=5⇒

=

(

∗ = 1, i = 1 : max{7,137; 6,618} = 7,137 ⇒ k14

∗ = 1; i = 2 : max{−2,336; −2,916} = −2,336 ⇒ k24

vi∗ (5)

= max ki5

qiki5

+

2 X

j=1

ki5 ∗ pbij vj (4)

=

 i = 1 : max{6 + 0,25 · 7,137 − 0,25 · 2,336;      4 + 0,4 · 7,137 − 0,1 · 2,336},

 i = 2 : max{−3 + 0,2 · 7,137 − 0,3 · 2,336;     −5 + 0,35 · 7,137 − 0,15 · 2,336} =

(

=

∗ = 1, i = 1 : max{7,2; 6,622} = 7,2 ⇒ k15

∗ = 1. i = 2 : max{−2,273; −2,852} = −2,273 ⇒ k25

Таким образом, при всех n и в обоих состояниях оптимальное управление не требует проведения рекламной кампании. Табл. 9.1 для рассмотренного примера имеет вид, представленный в табл. 9.3. Т а б л и ц а 9.3

i

n

0

1

2

3

4

6,75

7,01

7,137

5

1

v1∗

(n)

0

6

2

∗ vN (n)

0

−3

−2,7

−2,46

−2,336

−2,273

1

k1∗n

–

1

1

1

1

1

2

k2∗n

–

1

1

1

1

1

7,2

64


Лекция 10. Построение оптимального управления на бесконечном горизонте Напомним, что при n → ∞ оптимальное управление строится в классе стационарных управлений, т. е. управлений, представляющих последовательность политик. Критерием оптимальности является конечный предельный доход −1 Vβ∞ k = I − βP k Qk . (10.1) ∗

Мы рассмотрим два метода построения политики k , максимизирующей (10.1): ∗ Vβ k = max V k . (10.2) k

Метод полного перебора предельно прост, но он реализуем лишь при малых значениях числа возможных политик. Второй, наиболее популярный, — метод Ховарда — лишен этого недостатка, но технически сложнее. Исходными данными для обоих методов являются матрицы P k и Rk , представленные в виде совокупности строк pki i и riki , i ∈ S , ki ∈ Ki . Метод полного перебора

Этот метод реализуется обычно на ЭВМ по схеме, представленной на рис. 24, и состоит в следующем. Последовательно, для всех возможных политик k по формуле (10.1) вычисляются значения критерия Vβ∞ k . На каждом шаге вычислительного процесса определяется и сохраняется в памяти лучшая политика. Таким образом, оптимальное решение будет получено автоматически по завершении перебора (без повторений) всех возможных вариантов. Pk

Vβ∞ (k) max Vβ∞ (k)

Qk

∀k

k

Rk Рис. 24

Лекция 10. Оптимальное управление на бесконечном горизонте

65

Пример 10.1 (продолжение примеров 8.1–8.3, 9.1). По исходным данным в табл. 9.2 вычислим значение критерия для каждой из четырех политик k , полагая β = 0,5. 0,25 0,25 0,75 −0,25 1,1 b k = (1, 1) ⇒ I − P = I − = ⇒ 0,2 0,3 −0,2 0,7 −1 = ⇒ I − pb1,1 = 0,475 ⇒ I − Pb1,1 1 = 0,475

0,7 0,25 0,2 0,75

⇒ Vβ∞ (1, 1) =

=

1,473 0,526 0,421 1,579

1,473 0,526 0,421 1,579

6 −3

=

⇒

7,26 −2,21

;

k = (1, 2) ⇒ I − Pb 1,2 = 0,25 0,25 0,75 −0,25 =I− = ⇒ I − Pb1,2 = 0,55 ⇒ 0,35 0,15 −0,35 0,85 1,545 0,454 = ⇒ 0,636 1,364 1,545 0,454 6 7,0 = ⇒ Vβ∞ (1, 2) = , 0,636 1,364 −5 −3,0

⇒ (I − Pb 1,2 )−1 =

1 0,55

0,85 0,25 0,35 0,75

в памяти ЭВМ остается политика (1, 1). Далее аналогично анализируется политика, скажем, k = 6,101 = (2, 2) с результатом Vβ∞ (2, 2) = . В памяти ЭВМ −3,367 вновь сохраняется k = (1, 1). Перебор всех возможных политик завершается рассмотрением k = (2, 1) со значением предельного дохода Vβ∞ (2, 1) = 6,25 = . Таким образом, оптимальным при n → ∞ оказыва−2,50 ется первый из рассмотренных вариантов — (1, 1), не требующий рекламной поддержки ни в одном из состояний, что согласуется с результатом примера 9.1. 3 Г.А. Соколов

66


Алгоритм Ховарда Согласно (9.1)

Vβ n, k n = Qkn + βP kn Vβ n − 1, kn−1 , причем lim Vβ n, k n < ∞, что позволяет записать это соотn→∞ ношение в скалярной форме (опустив для простоты некоторые индексы) и перейти к пределу при n → ∞. В результате будет получена система N уравнений относительно N неизвестных предельных доходов vi∞ : N X vi (n) = qi + β pij vj (n − 1) ⇒ hn → ∞i ⇒ j=1 X k piji vj∞ , i = 1, 2, ... , N , (10.3) ⇒ vi∞ = qiki + β если стратегии ki считать фиксированными. Эта система уравнений лежит в основе итерационного алгоритма Ховарда, блоксхема которого представлена на рис. 25. Блок выбора управления k

Блок оценки управления (БОУ) Определение v∞i из системы уравнений N X ki v∞i = qiki + β pij v∞j , j=1

нет

1, 2, ... , N ; ki фиксированы

Блок организации цикла (БОЦ) ′

k =k ?

Блок улучшения управления (БУУ) ′ Определение k из условия N X k qiki + β piji vj∞ → max, j=1

ki

1, 2, ... , N ; vj∞ фиксированы

Блок выбора предельных доходов v∞i Рис. 25

да

конец

67

Лекция 10. Оптимальное управление на бесконечном горизонте

Работа алгоритма начинается либо с блока выбора управления (политики), либо с блока выбора предельных доходов. В первом исходные данные формируются в виде k , qiki , pkiji , i = = 1, 2, ... , N . Во втором — как правило, в виде k ′ = 0, vi∞ = 0 ∀ i. В блоке оценки управления (БОУ) определяются предельные доходы vi∞ в результате решения системы уравнений (10.3) при фиксированных qiki и pkiji . В блоке улучшения управления (БУУ) для каждого i определяется новое значение ki′ , максимизирующее правую часть (10.3) при фиксированных значениях предельных доходов vi∞ . В блоке организации цикла (БОЦ) сравниваются старое ki и новое ki′ значения i-й стратегии, i = 1, 2, ... , N . Если ki′ 6= ki хотя бы при одном значении i, то БОУ и БУУ циклически замыкаются через БОЦ. Если же для всех i выполняется ki′ = ki , то БОЦ останавливает процесс итераций и полученные значения ki , vi∞ объявляются оптимальными. Обоснование алгоритма Ховарда имеется в [1]. Заметим, что изложенный алгоритм Ховарда позволяет найти оптимальную политику при n → ∞ всегда, когда предельный доход конечен, в том числе при β = 1 (см. лекцию 11). Пример 10.2 (продолжение примеров 8.1–8.3, 9.1, 10.1). Рассмотрим решение задачи РФ с помощью алгоритма Ховарда. Основные соотношения

• Оценка управления: vi∞ = qiki + β • Улучшение управления: max ki

qiki

N P

j=1

+β

ki pij vj∞ ⇒ vi∞ ; N P

j=1

ki pij

vj∞

!

⇒ ki ,

где β = 0,5, i = 1, 2, ... , N , N = 2, ki ∈ {1, 2}, рамками обведены фиксируемые параметры. Исходные данные содержатся в табл. 10.1 (здесь pbkij = βpkij ). Итак: • нулевая итерация: полагаем k = (0, 0), v1∞ = v2∞ = 0. • первая итерация: в БУУ находим max q1k1 , q1k2 = max (6, 4) = 6 ⇒ k1′ = 1, max q2k1 , q2k2 = max (−3, −5) = −3 ⇒ k2′ = 1; 3*

68


Т а б л и ц а 10.1

i

k

pki1

pki2

1

1

0,5

0,5

0,25

0,25

6

1

2

0,8

0,2

0,4

0,1

4

2

1

0,4

0,6

0,2

0,3

−3

2

2

0,7

0,3

0,35

0,15

−5

в БОУ решаем систему уравнений ( v1∞ = 6 + 0,25v1∞ + 0,25v2∞ ,

v2∞ = −3 + 0,2v1∞ + 0,3v2∞

pbik1

pbik2

qik

⇒ v1∞ = 7,26, v2∞ = −2,21;

• вторая итерация: в БУУ находим k1 k1 max q1k1 + pb11 v1∞ + pb12 v2∞ =

k1 ∈{1,2}

= max (6 + 0,25 · 7,26 − 0,25 · 2,21; 4 + 0,4 · 7,26 − 0,1 · 2,21) = max

k2 ∈{1,2}

q2k2

= max (7,26; 6,68) = 7,26 ⇒ k1′ = 1; k2 k2 + pb21 v1∞ + pb22 v2∞ =

= max (−3 + 0,2 · 7,26−0,3 · 2,21; −5 + 0,35 · 7,26−0,15 · 2,21) =

= max (−2,21; −2,79) = −2,21 ⇒ k2′ = 1.

Политики, полученные на первой и второй итерациях, совпадают, следовательно, оптимальная политика равна (1, 1). Соответствующие ей предельные доходы найдены в БОУ на первой итерации и равны v1∞ = 7,26 и v2∞ = −2,21, что совпадает с предыдущими результатами.

Лекция 11. Два класса прикладных задач управления цепями с доходами В предыдущих трех лекциях мы рассмотрели в качестве примера «задачу руководителя фирмы», точнее, весьма общую схему, охватывающую многие задачи управления экономическими процессами. Некоторые из них, отличающиеся большим разнообразием фабулы, вошли в сборник задач. В настоящей

69

Лекция 11. Два класса прикладных задач

лекции предполагается познакомить вас еще с двумя примерами столь же общего характера, которые также будут использованы в сборнике задач и как задачи для «текущего» решения, и как темы курсовых (самостоятельных) работ. Управление запасами в условиях неопределенности Рассмотрим n-шаговый процесс функционирования магазина, в котором шаг представляет собой некоторый интервал времени, например, месяц. В начале n-го шага магазин заказывает kin единиц однородного и неделимого товара по цене c руб. Это количество добавляется к i единицам товара (i = 0, 1, 2, ... ), которое могло оказаться непроданным на предыдущих шагах. Таким образом, в начале каждого шага мгновенно создается так называемый сформированный запас в количестве t = i + + kin единиц. Величина запаса ограничена, например, емкостью склада N. На протяжении шага запасенный товар продается по цене d руб., d > c > 0, в соответствии со спросом. Спрос задается дискретной случайной величиной с распределением вероятностей p (m), m = 0, 1, 2, ... , M , M > N . Если в начале шага запас равен t, то к концу шага он снизится до s c условной вероятностью  p (t − s) , s = 1, 2, ... , t,    M X pts = (11.1)  p (m) , s = 0,   m=t

так что МВП примет следующий вид: t\s 0



0

1

2

...

N

1

0

0

...

0

...

0

...

0

...

...

 M  X  p(m) p(0) 0 1   m=1  M  X P =  p(m) p(1) p(0) 2    m=2  ...  ... ... ...  M  X  p(m) p(N − 1) p(N − 2) N m=N

... p(0)



        .       

70


Если спрос превышает запас, то возникает так называемый неудовлетворенный спрос (НС), который облагается штрафом, равным e за каждую единицу НС. Получим рекуррентные соотношения ДП для ПОД в случаях конечного и бесконечного горизонтов управления. Для этой цели заметим, что t = i + kin , s = t − m = i + kin − m, 0 6 m 6 i + kin ,

pi+kin ,i+kin −m

 p (m) , m = 1, 2, ... , i + kin − 1,    M X =  p (m) , m = i + kin .  

(11.2)

m=i+kin

СОД зависит от двух величин i и kin . Его можно представить в виде суммы двух слагаемых. Первое есть ожидаемый доход от продажи товара   i+k M in −1 X X d m p (m) + (i + kin ) p (m) m=1

m=i+kin

за вычетом МО штрафа за неудовлетворенный спрос

e

M −i−k X in

m p (i + kin + m).

m=1

Это слагаемое (обозначим его q (i + kin )) зависит от суммы i + + kim . Второе слагаемое — это стоимость заказа q (kin ) = ckin , оно зависит, очевидно, только от kin . Таким образом, СОД равен

q (i, kin ) = q (i + kin ) + q (kin ) ,

(11.3)

и эту функцию удобно представить в виде матрицы i\kin



0

1

2

...

...  ... 1   ... 2  Q = (q(i, kin )) =  ... ... ... ... ...   ... N −2   0 ... N −1 0 0 ... N 0

N −2

N −1

N

... 0 0 0

0 ... 0 0 0

0 0 ... 0 0 0



    ,    


71

где 0 6 i, kin 6 N , 0 6 i + kin 6 N . Для ее построения достаточно по формуле (11.3) найти элементы первой строки q (0, kin ) , kin = 0, 1, 2, ... , N , и далее воспользоваться соотношением (докажите!)

q (i − 1, kin + 1) = q (i, kin ) + c, i = 0, 1, 2, ... , N ,

kin = N − i. (11.4)

В этих обозначениях имеем q (i, kin ) + vi∗ (n) = max 06kin 6N −i

+β

i+k Xin m=0

∗ pi+kin ,i+kin −m vi+k (n − 1 ) , in −m

i = 0, 1, 2, ... , N ,

n > 1,

vi∗ (0) = 0. (11.5)

∗ ), i = 1, 2, ... , N , n > 1 — оптимальОтсюда получаем, что (kin ное управление при n < ∞. Переходя в (11.5) к пределу при n → ∞, получим соотношение ) ( i+k Xi ∗ ∗ vi∞ = max q(i, ki ) + β pi+ki ,i+ki −m vi+k , i −m,∞ 06ki 6N −i

m=0

i = 0, 1, 2, ... , N , (11.6) лежащее в основе алгоритма Ховарда построения оптимального стационарного управления ∗ (k1∗ , k2∗ , ... , kN ).

Пример 11.1. Пусть N = 2, n 6 3, c = 10, d = 15, e = 2, β = = 0,5, i = 0, 1, 2; распределение вероятностей имеет вид ! m 0 1 2 3 . p (m) 0,1 0,5 0,3 0,1

72


Тогда t\s 0

0



1

2



1 0 0  P = 1  0,9 0,1 0  , 2 0,4 0,5 0,1

i\kin 0

Q=

1 2

0

1

2

 −2,8 2,5 −0,7    12,5 9,3 −  . 19,3 − − 

Следуя (11.5), полагаем последовательно n = 1, 2, 3, а при каждом n находим для каждого i = 0, 1, 2 максимум ПОД по всем возможным значениям стратегий. Итак, пусть n = 1, тогда:

v0∗ (1) = max q (0, k01 ) = 2,5, 06k01 62

v1∗ (1) = max q (1, k11 ) = 12,5, 06k11 61

∗ k01 = 1, ∗ k11 = 0,

v2∗ (1) = max q (2, k21 ) = q (2, 0) = 19,3, 06k21 60

∗ k21 = 0.

Пусть n = 2, тогда:

n v0∗ (2) = max q (0, 0) + 0,5p00 v0∗ (1) ; q (0, 1) + 0,5 p11 v1∗ (1) + p∗10 (1) v0∗ (1) ; o q (0, 2) + 0,5 p22 v2∗ (1) + p21 v1∗ (1) + p20 v0∗ (1) = n

− 2,8 + 0,5 · 1 · 2,5; 2,5 + 0,5(0,1 · 12,5 + 0,9 · 2,5); o ∗ − 0,7 + 0,5(0,1 · 19,3 + 0,5 · 12,5 + 0,4 · 2,5) = 4,25, k02 = 1; n v1∗ (2) = max q (1, 0) + 0,5 p11 v1∗ (1) + p10 v0∗ (1) ; = max

o q (1, 1) + 0,5 p22 v2∗ (1) + p21 v1∗ (1) + p20 v0∗ (1) =

n = max 12,5 + 0,5(0,1 · 12,5 + 0,9 · 2,5); o ∗ 9,3 + 0,5(0,1 · 19,3 + 0,5 · 12,5 + 0,4 · 2,5) = 14,25, k12 = 0;

73


v2∗ (2) = q (2, 0) + 0,5 p22 v2∗ (1) + p21 v1∗ (1) + p20 v0∗ (1) = = 19,3 + 0,5(0,1 · 19,3 + 0,5 · 12,5 + 0,4 · 2,5) = 23,89,

∗ k22 = 0.

Пусть n = 3, тогда: n v0∗ (3) = max q (0, 0) + 0,5p00 v0∗ (2) ;

q (0, 1) + 0,5 p11 v1∗ (2) + p10 v0∗ (2) ; o q (0, 2) + 0,5 p22 v2∗ (2) + p21 v1∗ (2) + p20 v0∗ (2) = n = max 0 + 0,5 · 1 · 4,25, 2,5 + 0,5 0,1 · 14,25 + 0,9 · 4,25 ; o ∗ − 0,7 + 0,5(0,1 · 23,89 + 0,5 · 14,25 + 0,4 · 4,25) = 5,125, k03 = 1,

n v1∗ (3) = max q (1, 0) + 0,5 p11 v1∗ (2) + p10 v0∗ (2) ;

o q (1, 1) + 0,5 p22 v2∗ (2) + p21 v1∗ (2) + p20 v0∗ (2) =

n = max 12,5 + 0,5(0,1 · 14,25 + 0,9 · 4,25); 9,3 + 0,5(0,1 · 21,6 + o + 0,5 · 14,25 + 0,4 · 4,25) = 15,125,

∗ k13 = 0,

+ 0,5(0,1 · 23,89 + 0,5 · 14,25 + 0,4 · 4,25) = 24,907,

∗ k23 = 0.

v2∗ (3) = q (2,0) + 0,5 p22 v2∗ (2) + p21 v1∗ (2) + p20 v0∗ (2) = 19,3 +

Для рассмотренного примера оптимальное управление на конечном горизонте состоит в том, что на всех шагах только в нулевом состоянии магазину следует заказать одну единицу товара. Табл. 11.1 значений ПОД имеет вид Т а б л и ц а 11.1

PP P n i PPP P

0

1

2

3

0

0

2,5

4,25

5,125

1

0

12,5

14,25

15,125

2

0

19,3

23,89

24,907

74


Неуправляемый режим функционирования состоит в том, что независимо от n магазин всегда заказывает (N − i) единиц товара, т. е. i + kin = N . Тогда СОД будет зависеть только от i. Действительно, ! N −1 M X X q (i, kin ) = d mp (m) + N p (m) − = m=N

m=1

= −e следовательно,

vi (n) = const + ci + β

M −N X m=1

N X

m=0

mp (N + m) − c (N − i) = const + ci,

pN ,N −m vN −m (n − 1) , n > 1,

vi (0) = 0,

и мы получили рекуррентное соотношение для ПОД в неуправляемом режиме. В частности, для рассматриваемого примера

vi (n) = 10i − 0,5+ + 0,5 p22 v2 (n − 1) + p21 v1 (n − 1) + p20 v0 (n − 1) = = 10i − 0,5 + 0,5 0,1v2 (n − 1) + 0,5v1 (n − 1) + 0,4v0 (n − 1) , n > 1,

Значения ПОД, в табл. 11.2.

вычисленные

по

vi (0) = 0,

этой

i = 0, 1, 2.

формуле,

сведены

Т а б л и ц а 11.2

PP P n i PPP P

0

1

2

3

0

0

−0,5

2,75

4,375

1

0

9,5

12,75

14,375

2

0

19,5

22,75

24,375

Следуя (11.6), найдем оптимальное стационарное управление при n → ∞. Фиксируем управление k0 = 1, k1 = k2 = 0 и находим его оценку v0∞ , v1∞ , v2∞ , являющуюся решением системы

75


уравнений (индекс ∞ для упрощения записи опускается)  v = q (0,1) + 0,5(p11 v1 + p10 v0 ),    0 ⇒ v1 = q (1,0) + 0,5(p11 v1 + p10 v0 ),    v2 = q (2,0) + 0,5(p22 v2 + p21 v1 + p20 v0 )

  v = 6, v0 = 2,5 + 0,5(0,1v1 + 0,9v0 ),      0  ⇒ v1 = 12,5 + 0,5(0,1v1 + 0,9v0 ), ⇒ v1 = 16,       v2 = 19,3 + 0,5(0,1v2 + 0,5v1 + 0,4v0 ) v2 = 25,79.

Фиксируем полученные значения ПОД и пытаемся улучшить управление. Пусть i = 0, тогда n max q (0, 0) + 0,5p00 v0 ; q (0, 1) + 0,5(p11 v1 + p10 v0 ); o q (0, 2) + 0,5(p22 v2 + p21 v1 + p20 v0 ) =

n = max 0 + 0,5 · 1 · 6; 2,5 + 0,5(0,1 · 16 + 0,9 · 6); o − 0,7 + 0,5(0,1 · 25,79 + 0,5 · 16 + 0,4 · 6) = = 6,

k0′ = 1 = k0 .

Совершенно аналогично, рассматривая второе и третье состояния, убеждаемся в том, что ki′ = ki , i = 1, 2; следовательно, в классе стационарных управление k0 = 1, ki = 0, i = 1, 2 является оптимальным. В заключение остановимся кратко на некоторых особенностях построения оптимального стационарного управления методом полного перебора. Формулы (10.1), (10.2) остаются в силе; при этом, фиксируя политику k = (k0 , k1 , ... , ki , ... , kN ) и полагая i := i + ki для всех i, по матрице P строим матрицу P k . Вектор Qk строится по матрице Q путем выбора элементов q (i, ki ) для каждого i. Например, для рассматриваемого примера имеется шесть вариантов политик:

k1 = (0,0,0) ,

k2 = (1,0,0) ,

k3 = (2,0,0) ,

k4 = (0,1,0) ,

k5 = (1,1,0) ,

k6 = (2,1,0) ;

76


в частности, для k5 имеем



 0,9 0,1 0   P 5 =  0,4 0,5 0,1  , 0,4 0,5 0,1



 2,5   Q5 =  9,3  . 19,3

Управление по остановке Пусть работа некоторой системы моделируется ДЦМ со множеством состояний S = {1, 2, ... , N } и МВП P . Предположим, что человек имеет возможность наблюдать траекторию цепи, т. е. состояния i в дискретные моменты времени n = 0, 1, 2, ... . Если в момент n человек останавливает работу системы в состоянии i, то он получает доход fi (fi — заданная функция). Внеся определенную неотрицательную плату ci , человек может не останавливать работу системы в надежде через один или несколько шагов оказаться в состоянии j , которому соответствует больший доход fj . Какого правила должен придерживаться человек, если он хочет получить максимальный доход? Это правило определяет некоторое управление ДЦМ, которое называется управлением по остановке, т. е. в каждом состоянии i и на каждом шаге n возможны две стратегии управления: kin = 1 — «остановка» и kin = 0 — «продолжение». Из рекуррентного соотношения ДП (9.3) с учетом специфических особенностей управления по остановке следует рекуррентное соотношение для определения последнего:

 ( ) N  P  ∗ ∗   vi (n) = max fi , pij vj (n − 1) − ci , n = 1, 2, ... ;     v ∗ (0 ) = f , i i

j=1

(11.7)

i ∈ S,

т. е. в любом состоянии оптимальный доход есть максимум из двух доходов: это доход от остановки процесса, равный fi , и доN X ход от его продолжения, равный pij vj∗ (n − 1) − ci . Решаем j=1

систему (11.7):


77

при n = 1

vi∗ (1)

X N ∗ = max fi , pij vj (0) − ci = j=1

= max fi ,

j=1

pij fj − ci , i ∈ S ⇒

 N   1, если f > X p f − c , i ij j i ⇒ ki1 = j=1   0 в противном случае;

при n = 2

vi∗ (2)

N X

X N ∗ = max fi , pij vj (1) − ci , j=1

i∈S⇒

 N   1, если f > X p v ∗ (1) − c ; i ij j i ⇒ ki2 = j= 1   0 в противном случае;

при произвольном n > 1 X N ∗ ∗ vi (n) = max fi , pij vj (n − 1) − ci , j=1

⇒ kin

(11.8)

(11.9)

i∈S⇒

 N   1, если f > X p v ∗ (n − 1) − c , i ij j i = j=1   0 в противном случае.

(11.10)

Мы получили метод построения оптимального управления по остановке на конечном горизонте. Рассмотрим ряд его свойств. Свойство 1. Для всех i ∈ S последовательность оптимальных значений ПОД vi∗ (n) не убывает по n:

fi = vi∗ (0) 6 vi∗ (1) 6 ... 6 vi∗ (n) 6 ... .

(11.11)

Д о к а з а т е л ь с т в о. Воспользуемся методом математической индукции. Согласно (11.8) vi∗ (1) > fi = vi∗ (0). Предположим,

78


что (11.11) справедливо для n − 1, и покажем, что оно справедливо также для n. Cогласно (11.10) N X ∗ vi (n) = max{fi , pij vj∗ (N − 1) − ci } > j=1

> max{fi ,

N X j=1

pij vj∗ (n − 2) − ci } = vi∗ (n − 1) .

Свойство 2. Для всех i ∈ S и n > 0 оптимальные значения ПОД ограничены с двух сторон:

min fj 6 vi∗ (n) 6 max fj . j

j

Д о к а з а т е л ь с т в о. Действительно, согласно предыдущему свойству vi∗ (n) > fi > min fj . Для доказательства правой части j

неравенства заметим, что vi∗ (0) = fi 6 max fj , и вновь воспользуj

емся методом математической индукции. Пусть vi∗ (k) 6 max fj , j

k = 1, 2, ... , n − 1, тогда согласно (11.10) X N ∗ ∗ vi (n) = max fi , pij vj (n − 1) − ci 6 j=1

6 max fi ,

N X j=1

pij max fj − ci j

= max fi , max fj − ci 6 max fi . j

j

Следствие. Если при i = m функция fi достигает ∗ максимума, то оптимальные стратегии равны kmn для всех n > 1. Cвойство 3. Последовательность оптимальных значений ПОД при n → ∞ имеет конечный предел (называемый предельным доходом и обозначаемый vi∗ ). Это свойство следует из предыдущих, так как по известной теореме математического анализа неубывающая и ограниченная сверху числовая последовательность имеет конечный предел. Свойство 4 (монотонности). Если при некотором m выпол∗ = 1, то при всех n < m имеет место k ∗ = 1; если няется kim in ∗ = 0, то при всех n > m справедливо равенство k ∗ = 0. же kim in Это свойство очевидно.

79


Рассмотрим бесконечный горизонт управления. В силу свойства 3 в соотношении (11.7) можно перейти к пределу при n → ∞ и получить систему n уравнений с n неизвестными, которая позволяет найти оптимальное стационарное управление по остановке: X N vi∗ = max fi , pij vj∗ − ci , i = 1, 2, ... , N. (11.12) j=1

Система (11.12) лежит в основе итерационного алгоритма Ховарда, аналогичного рассмотренному в лекции 10. В БОУ решается система  fi ∀ i : ki = 1,    N vi = X  pij vj − ci ∀ i : ki = 0   j=1

относительно переменных vi , которые оценивают управление (k1 , k2 , ... , kN ). В БУУ предпринимается попытка улучшить N X управление. Для этой цели вычисляются выражения pij vj − j=1

− ci ∀ i и сравниваются с fi . По результатам сравнения получаем: N P для тех i, для которых pij vj − ci 6 fi , полагаем ki = 1; для j=1

остальных i полагаем ki = 0.

Пример 11.2. Пусть N = 5, n 6 3, все исходные данные содержатся в табл. 11.3. Т а б л и ц а 11.3

i

p1

p2

p3

p4

p5

f

c

1

0

1

0

0

0

10

4

2

0

0

1

0

0

2

1

3

0

0,5

0

0,5

0

2,5

1

4

0

0

0

0

1

8

3

5

0,5

0

0

0,5

0

4

2

Здесь pj , j = 1, 2, ... , 5 — j -й столбец МВП.

80


В силу свойства 2, следуя (11.8)–(11.10), получим при n = 1:

v1∗ (1) = f1 = 10 ⇒ k1∗n = 1 ∀ n > 1, v2∗ (1) = max{f2 ; 1 · f3 − c2 } =

∗ = max{2; 2,5 − 0,5} = 2 ⇒ k21 = 1,

v3∗ (1) = max{f3 ; p32 f2 + p34 f4 − c3 } =

∗ max{2,5; 0,5 · 2 + 0,5 · 8 − 1} = 4 ⇒ k31 = 0,

v4∗ (1) = max{f4 ; p45 f5 − c4 } =

∗ = 1, = max{8; 1 · 4 − 3} = 8 ⇒ k41

v5∗ (1) = max{f5 ; p54 f4 + p51 f1 − c5 } =

∗ = max{4; 0,5 · 8 + 0,5 · 10 − 2} = 7 ⇒ k51 = 0,

результаты сведем в табл. 11.4. Т а б л и ц а 11.4

vi∗

i

1

2

3

4

5

(1)

10

2

4

8

7

1

1

0

1

0

∗ kin

Пусть n = 2, тогда: ∗ v1∗ (2) = f1 = 10 ⇒ k12 = 1,

v2∗ (2) = max{f2 ; p23 v3∗ (1) − c2 } =

∗ = max{2; 1 · 4 − 2} = 2 ⇒ k22 = 1,

v3∗ (2) = max{f3 ; p32 v2∗ (1) + p34 v4∗ (1) − c3 } =

∗ = max{2,5; 0,5 · 2 + 0,5 · 8 − 1} = 4 ⇒ k32 = 0,

v4∗ (2) = max{f4 ; p45 v5∗ (1) − c4 } =

∗ = max{8; 1 · 7 − 3} = 8 ⇒ k42 = 1,

v5∗ (2) = max{f5 ; p54 v4∗ (1) + p51 v1∗ (1) − c5 } =

∗ = max{4; 0,5 · 8 + 0,5 · 10 − 2} = 7 ⇒ k42 = 0.


81

Результаты этого шага совпадают с приведенными в табл. 11.4. Следовательно, те же результаты будут получены и для последующих шагов. Это не закономерность — это особенность данного примера, в силу которой управление k = (1, 1, 0, 1, 0) является оптимальным и в классе стационарных управлений.

Литература 1. Соколов Г.А., Чистякова Н.А. Теория вероятностей. Управляемые цепи Маркова в экономике. — М.: ФИЗМАТЛИТ, 2005. 2. Кемени Д.Д., Снелл Д.Л. Конечные цепи Маркова. — М.: Наука, 1970. 3. Ховард Р.А. Динамическое программирование и марковские процессы. — М.: Советское радио, 1964. 4. Феллер В. Введение в теорию вероятностей и ее приложения. — М.: Мир, 1964.

РАЗДЕЛ 3 НЕПРЕРЫВНЫЕ ЦЕПИ МАРКОВА

В третьем разделе курса рассматриваются непрерывные цепи Маркова (НЦМ), дифференциально-разностные уравнения Колмогорова и их решение методом Лапласа. Значительное внимание уделяется непрерывным цепям гибели и размножения и их частным случаям — цепям чистой гибели и чистого размножения. Для последних строятся рекуррентные соотношения относительно вероятностей состояний. В частных случаях цепей чистой гибели и чистого размножения (цепи Пуассона, геометрические, биномиальные) эти вероятности строятся в явном виде. Для цепей гибели и размножения подробно излагаются методы анализа стационарных режимов. В заключение рассматриваются 11 типов наиболее важных чисто практических экономических систем. Всего НЦМ посвящены шесть лекций и пять практических занятий.

Лекция 12. Простейший поток событий. Пуассоновская цепь На предыдущих лекциях мы рассмотрели ДЦМ, когда система может находиться в одном из дискретных состояний i ∈ S и в фиксированные моменты времени t0 , t1 , ... может переходить из одного состояния в другое. Предположим, что эти переходы осуществляются не в фиксированные, а в случайные моменты времени некоторого интервала. СП с дискретными состояниями и непрерывным временем называется марковским (непрерывной цепью Маркова — НЦМ), если для любого момента времени t0 условная вероятность любого состояния в будущем (t > t0 )

Лекция 12. Простейший поток событий

83

зависит от ее состояния в настоящем (при t = t0 ) и не зависит от того, когда и каким образом система пришла в это состояние. Иначе говоря, будущее зависит от прошлого через настоящее (рис. 26).

t < t0 (прошлое)

t > t0 (будущее)

t0 (настоящее) Рис. 26

Определение. СП ξ (t) образует НЦМ, если для всех целых n и произвольной последовательности t1 < t2 < ... < t < s выполняется марковское свойство

P {ξ (s) = j|ξ(t1 ) = i1 , ... , ξ (tn−1 ) = in−1 , ξ(t) = i} = = P {ξ (s) = j|ξ (t) = i} = pij (t, s) . (12.1) Вероятности pij (t, s) называются вероятностями перехода из состояния i в момент t в состояние j в момент s. Всюду в дальнейшем будем предполагать, что вероятности перехода зависят не от моментов времени, а от их разности: pij (t, s) = = pij (s − t); такие НЦМ называются однородными. При изучении НЦМ в отличие от ДЦМ нас будут больше интересовать не вероятности перехода из состояния в состояние, а вероятности состояний в момент t, т. е. πj (t) = P {ξ (t) = j}. Естественно, между ними очень тесная связь. Пусть πj (0) = = P {ξ (0) = j}, тогда по формуле полной вероятности

πj (t) =

N X

πi (0) pij (t) .

(12.2)

i=1

Если же при t = 0 система с вероятностью 1 находится в состоянии i, то pij (t) = πj (t). В основе всей теории НЦМ лежат свойства так называемых простейших потоков событий и пуассоновских случайных процессов. Перейдем к их изучению.

X

84

Разд. 3. Непрерывные цепи Маркова

Простейший поток событий и пуассоновский процесс Потоком событий называется последовательность однородных событий, появляющихся одно за другим в случайные моменты времени t0 , t1 , t2 , ... , tn , ... , где Tn = tn+1 − tn > 0, n = = 0, 1, 2, ... (рис. 27), например, поток клиентов в парикмахерскую, поток автомашин в ремонтную мастерскую и т. п. Предположим, что поток событий обладает тремя свойствами: стационарности, ординарности и отсутствия памяти. T1 0

t1

Tn−1 t2

...

tn−1

Tn tn

t tn+1

Рис. 27

Стационарность означает, что вероятность появления того или иного числа событий в интервале (t, t + ∆t) зависит от ∆t, но не зависит от t. Ординарность означает, что события появляются поодиночке, а не группами. Точнее, вероятность появления одного события в интервале длительностью ∆t равна λ∆t + o (∆t), где λ > 0 — интенсивность потока, а вероятность появления в этом интервале двух и более событий равна o (∆t). Отсутствие памяти означает независимость появления того или иного числа событий на непересекающихся интервалах времени. Поток событий, обладающий этими свойствами, называется простейшим (ПП). Введем в рассмотрение так называемый пуассоновский СП ξ (t), равный количеству событий ПП, появившихся в интервале времени длительностью t. В силу стационарности ПП всегда можно считать, что этот интервал имеет вид (0, t). Обозначим πk (t) = P {ξ (t) = k}, k = 0, 1, 2, ... , и, чтобы построить формулу для вычисления этой вероятности, рассмотрим три промежутка времени длительностями t, h, t + h. Пусть Atk = = {ξ (t) = k}, Ahk = {ξ (h) = k}, At+h = {ξ (t + h) = k} — события, k состоящие в том, что на них появилось k событий ПП (рис. 28). Тогда k [ t+h Ak = Atj Ahk−j (12.3) j=0

85


и в силу несовместности слагаемых и независимости сомножителей в непересекающихся промежутках получим

πk (t + h) =

k X j=0

πj (t) πk−j (h) ⇒

⇒ πk (t + h) = Rk + πk−1 (t) π1 (h) + πk (t) π0 (h) , (12.4) где в силу ординарности

Rk =

k−2 X

πj (t) πk−j (h) 6

j=0

6 πk (h) + πk−1 (h) + ... + π2 (h) 6 6 P {ξ (h) > 1} = o(h), (12.5)

π1 (h) = λh + o (h) ,

π0 (h) = 1 − λh + o (h) . At+h k t t

h Ahk

Atk Рис. 28

Поясним последнее равенство (12.5):

P {ξ (h) = 0} + P {ξ (h) = 1} + P {ξ (h) > 1} =

= P {ξ (h) = 0} + [λ (h) + o (h)] + [o (h)] = 1 ⇒

⇒ P {ξ (h) = 0} = π0 (h) = 1 − λh + o (h) .

Продолжая (12.4), получим

πk (t + h) = o (h) + πk−1 (t) (λh + o (h)) + πk (t) (1 − λh + o(h)) = = πk (t) − λhπk (t) + λhπk−1 (t) + o (h) ⇒ ⇒

πk (t + h) − πk (t) o (h) = −λπk (t) + λπk−1 (t) + . h h

86


Переходим к пределу при h → 0:

π˙ k (t) = −λπk (t) + λπk−1 (t) ,

k > 1.

(12.6)

К полученной бесконечной системе дифференциальноразностных уравнений присоединим еще одно, соответствующее k = 0. Полагая в (12.4) k = 0, с учетом (12.5) получим

π0 (t + h) = π0 (t) π0 (h) = = π0 (t) (1 − λh + o (h)) = π0 (t) − λhπ0 (t) + o (h) ⇒ π0 (t + h) − π0 (t) o (h) = −λπ0 (t) + . h h Переходим к пределу при h → 0: ⇒

π˙ 0 (t) = −λπ0 (t) .

(12.7)

В результате получаем систему дифференциально-разностных уравнений для вероятностей состояний пуассоновского процесса (12.6), (12.7) с начальным условием π0 (0) = 1. Найдем ее решение, рассматривая последовательно отдельные уравнения, начиная с 0-го: согласно (12.7) и с учетом начального условия получаем

π0 (t) = ce−λt ⇒ π0 (t) = e−λt ,

t > 0.

Подставляем полученное решение в первое уравнение:

π˙ 1 (t) = −λπ1 (t) + λe−λt и решаем методом вариации произвольной постоянной. Для однородного уравнения

π˙ 1 (t) = −λπ1 (t) решение очевидно:

π1 (t) = ce−λt .

Полагаем

c = c (t) ⇒ π˙ (t) = c˙ (t) e−λt − λc (t) e−λt ⇒ ⇒ hподставляем в первое уравнениеi ⇒ ⇒ c˙ (t) e−λt − λc (t) e−λt = −λc (t) e−λt + λe−λt ⇒

87


⇒ hпосле сокращенияi ⇒ ⇒ c˙ (t) = λ ⇒ c (t) = λt ⇒ π1 (t) = λte−λt ,

t > 0.

Далее по индукции получаем

(λt)k −λt e , k = 0, 1, 2, ... . (12.8) k! Итак, распределение количества событий ПП в интервале длительностью t или, другими словами, одномерное распределение пуассоновского процесса в момент t есть распределение Пуассона с параметром λt. Отсюда следует, что πk (t) =

M ξ (t) = Dξ (t) = λt.

(12.9)

Найдем закон распределения длительности интервала T между двумя соседними событиями ПП. В силу стационарности этот закон не зависит от номеров событий. Очевидно, неравенство T > t имеет место тогда и только тогда, когда в интервале длительностью t не появится ни одно событие потока. Следовательно,

P {T > t} = π0 (t) = e−λt ⇒ FT (t) = 1 − e−λt ,

t>0⇒

⇒ T ∈ Экс (λ) ⇒ M T = 1/λ, DT = 1/λ2 . (12.10) Пуассоновский процесс в теории СП играет примерно такую же роль, как нормальный закон в теории СВ. Так, сумма n независимых СП при некоторых не очень жестких предположениях сходится к пуассоновскому при n → ∞. В заключение найдем его ковариационную и корреляционную функции. Рассмотрим интервалы (0, t) и (0, t′ ), t < t′ (рис. 29). Очевидно, ξ t′ = ξ (t) + ξ t′ − t , ξ t′ ∈ Пуас λt′ , ξ (t) ∈ Пуас (λt) , ξ t′ − t ∈ Пуас λ t′ − t . t′ − t

t 0

t Рис. 29

t′

88


Для центрированного процесса имеем ˙ξ t′ = ξ t′ − λt′ = ξ t′ − λ t + t′ − t = = ξ (t) + ξ t′ − t − λt − λ t′ − t ⇒ ⇒ ξ˙ t′ = ξ˙ (t) + ξ˙ t′ − t ⇒ K t, t′ = M ξ˙ (t) ξ˙ t′ = = M {ξ˙ (t) [ξ˙ (t) + ξ˙ t′ − t ]} = M (ξ˙ (t))2 + M ξ˙ (t) ξ˙ t′ − t = = Dξ (t) + M ξ˙ (t) M ξ˙ t′ − t = Dξ (t) = λt. Аналогично, при t > t′ имеем Kξ (t, t′ ) = λt′ ; следовательно,

λ min (t, t′ ) min (t, t′ ) = √ Kξ t, t′ = λ min t, t′ ⇒ rξ t, t′ = √ √ . tt′ λt λt ′

График поверхности Kξ (t, t′ ) представлен на рис. 30. Kξ (t, t′ ) 1

0

t′

t

t′ = t Рис. 30

Лекция 13. Дифференциально-разностные уравнения Колмогорова и их решение Построение системы уравнений При анализе НЦМ переходы из состояния в состояние удобно представлять себе как происходящие под воздействием простейших потоков событий. Отсюда следует, что для всех i и j :

Лекция 13. Дифференциально-разностные уравнения Колмогорова

89

• вероятность перехода i → j за время ∆t есть P {ξ (t + ∆t) = j | ξ (t) = i} = λij ∆t + o (∆t) ;

(13.1)

• время пребывания в состоянии i до перехода в состояние j есть СВ Tij ∈ Экс (λij ) . Пусть: A = {ξ (t + ∆t) = i} — событие, состоящее в том, что в момент t + ∆t система находится в состоянии i; B — событие, состоящее в том, что в момент t система находилась в состоянии i и за время ∆t не вышла из него; C — событие, состоящее в том, что в момент t система находилась в состоянии, отличном от i, и за время ∆t перешла в состояние i. Очевидно, B и C — несовместные события и [ A = B C. (13.2)

Обозначим πi (t) вероятность того, что в момент t система находится в состоянии i. Тогда согласно (13.1) " # X P (B) = πi (t) 1 − λij ∆t + o (∆t) , (13.3) j6=i

где

P

λij ∆t + o (∆t) есть вероятность того, что за время ∆t

j6=i

система вышла из состояния i; X P (C) = πj (t) λji ∆t + o (∆t) . j6=i

Далее, согласно (13.2)

πi (t + ∆t) = P (A) = P (B) + P (C) = 

= πi (t) 1 −

X j6=i



λij ∆t + o (∆t) +

(13.4)

90


+

X j6=i

πj (t) λji ∆t + o (∆t) + πi (t) λii ∆t − πi (t) λii ∆t =

= πi (t) − πi (t)

N X

λij ∆t +

j=1

N X

πj (t) λji ∆t + o (∆t) . (13.5)

j=1

Отсюда πi (t + ∆t) − πi (t) = ∆t

= −πi (t)

N X

λij +

j=1

N X j=1

πj (t) λji +

o (∆t) (13.6) ∆t

и после перехода к пределу при ∆t → 0 получаем систему уравнений Колмогорова

π˙ i (t) = −

N X j=1

λij πi (t) +

N X

λji πj (t) ,

i = 1, 2, ... , N ,

(13.7)

j=1

причем для любого t (в том числе t = 0) должно выполняться нормировочное условие N X πi (t) = 1. (13.8) i=1

Система уравнений (13.7) составляется на основе графа состояний, размеченного значениями интенсивности λij ПП событий. Назовем потоком вероятности (ПВ), переводящим систему i → j , произведение

πi (t) λij .

(13.9)

Тогда система (13.7) составляется по следующему мнемоническому правилу: производная вероятности любого состояния равна сумме ПВ, переводящих систему в это состояние, минус сумма ПВ, выводящих систему из этого состояния. Пример 13.1. Техническое устройство (ТУ) может находиться в одном из двух состояний: 1 — ТУ работает, 2 — ТУ находится в ремонте. На ТУ в первом состоянии действует ПП отказов с интенсивностью λ, переводящий ТУ в состояние 2; на ТУ во втором состоянии действует ПП восстановлений с интенсивностью µ, переводящий ТУ в состояние 1.


91

ГС представлен на рис. 31. Составить систему уравнений Колмогорова, считая, что в начальный момент времени (t = 0) ТУ работает. λ 1

2

µ Рис. 31

Воспользуемся мнемоническим правилом. Для состояния 1 суммарный ПВ, переводящий ТУ в это состояние, есть µπ2 (t), а выводящий из этого состояния есть λπ1 (t), следовательно,

π˙ 1 (t) = µπ2 (t) − λπ1 (t) .

(13.10)

Для состояния 2 суммарный ПВ, переводящий ТУ в это состояние, есть λπ1 (t), а выводящий из этого состояния есть µπ2 (t); следовательно, π˙ 2 (t) = λπ1 (t) − µπ2 (t) . (13.11) Начальное условие:

π 1 (0 ) = 1 . Нормировочное условие: π1 (t) + π2 (t) = 1.

(13.12)

Отбрасывая уравнение (13.11) и добавляя (13.12), окончательно получим систему уравнений Колмогорова в виде ( π˙ 1 (t) = µπ2 (t) − λπ1 (t) , (13.13) π1 (t) + π2 (t) = 1, π1 (0) = 1, которая ниже будет решена. Поскольку в НЦМ переход i → j происходит под воздействием ПП событий с интенсивностью λij , постольку время пребывания системы в i-м состоянии перед переходом в j -е равно длительности интервала времени между соседними событиями этого потока и согласно (12.10) есть СВ, распределенная по экспоненциальному закону с параметром λij . Преобразование Лапласа Для решения систем дифференциально-разностных уравнений с постоянными коэффициентами широко используется

92


преобразование Лапласа. Назовем неотрицательную функцию l (t), t > 0, оригиналом, а ее преобразование по Лапласу — функцию ∞ Z L (x) = l (t)e−xt dt (13.14) 0

— изображением (образом). Все основные пары «оригинал ↔ изображение» содержатся в табл. 13.1. Преобразование Лапласа всегда существует, если l (t) растет не быстрее показательной функции, т. е. если существует число c, такое, что Zτ lim l (t) ect dt < ∞. τ →∞

0

Рассмотрим основные свойства преобразования Лапласа. Начнем с фундаментального преобразования: если l (t) = Aeαt , t > 0, α > 0, то ∞ ∞ Z Z A αt −xt L (x) = Ae e dt = A e−(x−α)t dt = , x > α; x−α 0

0

в частности, при α = 0: A ↔

A . x

Обоснование варианта 2: ! ∞ Z X n n X li (t) → li (t) e−xt dt = i=1

0

i=1

=

n Z X

li (t) e−xt dt =

интегрирование по частям

∞

i=1 0

n X

Li (x) ,

i=1

Обоснование варианта 1:

l˙ (t) →

∞ Z 0

l˙ (t)e−xt dt =

∞ Z

e

−xt

dl (t) =

0

= −l (0) + x

∞ Z 0

=

l (t)e−xt dt = xL(x) − l (0) .


Т а б л и ц а 13.1 Преобразования Лапласа

l(t)

Вариант

dl(t) dt n X li (t)

1 2

i=1

3 4 n X

5

L(x) xL(x) − l(0) n X

c

c/x

cl(t)

cL(x)

eαi t

1 pn (x)

p′ (αi ) i=1 n n

X eαi t 1 + pn (0) αi p′n (αi )

6

1 xpn (x)

i=1

n X

7

i=1

g (αi ) αi t e p′n (αi ) lim l(t)

8

t→∞

lim l(t)

9

Li (x)

i=1

t→0

g (x) pn (x) lim xL(x)

x→0

lim xL(x)

x→∞

10

l (t/c)

cL (cx)

11

l (t − c)

e−cx L (x)

12

e−ct l (t)

L (x + c)

13

tl (t)

−

dL (x) dx

В таблице приняты обозначения: n Y pn (x) = (x − αi ) , αi 6= αj ∀ i 6= j , i=1

g (x) = x + βm−1 xm−1 + ... + β1 x + β0 , m

m < n.

93

94


Обоснование варианта 5 проведем для n = 2. Предварительно найдем

p2 (x) = (x − α1 ) (x − α2 ) = x2 − (α1 + α2 ) x + α1 α2 ⇒ ( α1 − α2 при x = α1 , ⇒ p2′ (x) = 2x − (α1 + α2 ) ⇒ p′2 (x) |x=αi = α2 − α1 при x = α2 . Рассмотрим оригинал и далее воспользуемся этими результатами и фундаментальным свойством 2 X eα 1 t eα i t eα 2 t = + ⇒ p2′ (t) α1 − α2 α2 − α1

i=1

⇒

1 1 + = (α1 − α2 ) (x − α1 ) (α2 − α1 ) (x − α2 )

=

1 1 = , ч. т. д. (x − α1 ) (x − α2 ) p2 (x)

Обоснование варианта 6 также проведем для n = 2. Оригинал имеет вид

eα 1 t eα 2 t 1 + + = p2 (0) α1 p2′ (α1 ) α2 p2′ (α2 ) =

eα 1 t eα 2 t 1 + + . α1 α2 α1 (α1 − α2 ) α2 (α2 − α1 )

Воспользуемся фундаментальным преобразованием, изображение каждого слагаемого и суммы в целом:

найдем

1 1 ⇒ , α1 α2 xα1 α2

eα 1 t 1 , ⇒ α1 (α1 − α2 ) α1 (α1 − α2 ) (x − α1 ) eα 2 t 1 ⇒ ; α2 (α2 − α1 ) α2 (α2 − α1 ) (x − α2 )

тогда изображение суммы после приведения к общему знамена1 телю примет требуемый вид . xp2 (x)


95

Решение системы уравнений Колмогорова методом Лапласа Метод Лапласа включает три этапа: • переход от дифференциально-разностных уравнений относительно πi (t) к линейным алгебраическим уравнениям относительно изображений Li = Li (x). Изображением системы 13.7 и 13.8 является  n n P P   xL − π ( 0 ) = − λ L + λji Lj , i = 1, 2, ... , n, (13.15) i i ij i   j=1 j=1 n  P   Li = 1/x, 

(13.16)

i=1

причем одно из уравнений (13.15) исключается; • определение Li путем решения системы (13.15), (13.16); • обратный переход от изображений Li к оригиналам πi (t). Все переходы выполняются с помощью таблицы преобразований Лапласа. Пример 13.2 (продолжение примера 13.1). Найдем решение системы уравнений (13.13). Используя формулы 1–4 из табл. 13.1, получим систему уравнений в изображениях ( xL1 (x) − π1 (0) = −λL1 (x) + µL2 (x), (13.17) L1 (x) + L2 (x) = 1/x. Из первого уравнения найдем, с учетом равенства π1 (0) = 1,

L2 (x) =

(x + λ) L1 (x) − 1 µ

(13.18)

и подставим во второе:

L1 (x) +

(x + λ) L1 (x) − 1 = 1/x ⇒ µ x+µ ⇒ L1 (x) = = hλ + µ = −αi = x (x + λ + µ) µ 1 + . (13.19) = x (x − α) x − α

96


Для каждого слагаемого из правой части (13.19) найдем оригиналы: µ → hформулы 4 и 6 из табл. 13.1i ⇒ x (x − α) i 1 eαt µ h ⇒µ + = 1 − e−(λ+µ)t , −α α λ+µ 1 → hформула 5 из табл. 13.1i ⇒ eαt = e−(λ+µ)t . x−α Отсюда следует (формула 2 из табл. 13.1), что

µ λ −(λ+µ)t + e ⇒ λ+µ λ+µ λ ⇒ π2 (t) = 1 − π1 (t) = 1 − e−(λ+µ)t . λ+µ L1 (x) → π1 (t) =

(13.20) (13.21)

Графики функций πi (t) представлены на рис. 32. Здесь же нанесены асимптоты µ λ π1 = lim π1 (t) = и π2 = 1 − π1 = . t→∞ λ+µ λ+µ 1

π2 π2 (t) 0,5

π1 (t) π1

−

1 λ−µ ln , λ>µ λ+µ 2λ Рис. 32

Финальные вероятности состояний Во многих случаях, когда СП длится достаточно долго, возникает вопрос о предельном поведении вероятностей состояний πi (t) при t → ∞. Его решение для НЦМ аналогично решению


97

для ДЦМ, а именно: если число состояний конечно и имеется единственный КЭ по параметру интенсивности, то существуют финальные вероятности состояний

πi = lim πi (t) > 0. t→∞

(13.22)

Это означает, что с течением времени в системе устанавливается предельный стационарный режим, когда система переходит из состояния в состояние, но вероятности состояний как функции времени остаются неизменными. В стационарном режиме i-я финальная вероятность может быть истолкована как среднее относительное время пребывания системы в i-м состоянии. Система, для которой существуют финальные вероятности, и соответствующий СП называются эргодическими. Существуют три способа вычисления финальных вероятностей состояний: • по определению согласно (13.22); • путем решения системы линейных алгебраических уравнений, которая строится по системе уравнений Колмогорова (13.7), (13.8), если в последней положить πi (t) = πi , π˙ i (t) = 0, и имеет вид  N N P P    λij πi = λji πj , i = 1, 2, ... , N , (13.23)   j=1 j=1

 N  P   πi = 1. 

(13.24)

i=1

Заметим, что система (13.23) может быть построена по мнемоническому правилу, которое является следствием мнемонического правила построения системы уравнений Колмогорова: в стационарном режиме для каждого состояния i сумма N P λji πj всех входящих потоков вероятности равна сумме

j=1 N P

λij πi всех выходящих потоков;

j=1

• наконец, третий способ определения финальных вероятностей состояний основан на формуле 8 из табл. 13.1, согласно которой πi = lim πi (t) = lim xLi (x) . t→∞


x→0

98


Пример 13.3 (продолжение примеров 13.1 и 13.2). Найдем финальные вероятности состояний. Первый способ — см. пример 13.2. Второй способ — полагая в системе (13.13) πi (t) = πi , π˙ i (t) = 0 или используя мнемоническое правило, получим ( µπ2 = λπ1 µ λ ⇒ π1 = , π2 = . λ+µ λ+µ π1 + π2 = 1 Третий способ — согласно (13.19):

xL1 (x) =

x+µ µ λ −−−→ π1 = ⇒ π2 = 1 − π1 = . x + λ + µ x→0 λ+µ λ+µ

Пример 13.4. Жизненный цикл студента включает как минимум три состояния: занятия (i=1), развлечения (i = 2) и сон (i = 3) с переходами 1 → 2 → 3 → 1 → ... . Время пребывания в каждом состоянии — экспоненциальное с параметрами 5, 1, 1 соответственно. Определить вероятности состояний студента в произвольный момент времени t и при t → ∞, если в начальный момент времени (t = 0) студент занимается. Если жизненный цикл студента моделируется НЦМ, то граф состояний, размеченный интенсивностями переходов, примет вид, представленный на рис. 33. 1

5 2

1

3

1 Рис. 33

По ГС (следуя мнемоническому правилу) составляем систему уравнений Колмогорова

 π˙ 1 (t) = π3 (t) − 5π1 (t),       π˙ 2 (t) = 5π1 (t) − π2 (t),  π˙ 3 (t) = π2 (t) − π3 (t),      π 1 (0 ) = 1 .


99

Исключаем первое уравнение и добавляем нормировочное условие:  π˙ 2 (t) = 5π1 (t) − π2 (t),      π˙ (t) = π (t) − π (t), 3

2

3

 π1 (t) + π2 (t) + π3 (t) = 1,     π 1 (0 ) = 1 .

Переходим к изображениям:   xL2 = 5L1 − L2 ,    xL3 = L2 − L3 ,     L1 + L2 + L3 = 1 . x

Из первого и второго уравнений соответственно находим

L1 =

(x + 1) L2 , 5

L3 =

L2 x+1

и подставляем в третье:

(x + 1) L2 L2 1 + L2 + = , 5 x+1 x откуда получаем

L2 =

5 (x + 1) 5 ⇒ L3 = , xp2 (x) xp2 (x)

где

 p2 (0) = 11;       α = −2,38, α2 = −4,62,    1 α1 и α2 — корни p2 (x); p2 (x) = x2 + 7x + 11 ⇒   (    p′2 (α1 ) = 2,24,   ′   p2 (x) = 2x + 7 ⇒ p2′ (α2 ) = −2,24.

С помощью табл. 13.1 переходим от изображений к оригиналам: 4*

100

L2 =


5 (x + 1) = x (x − α1 ) (x − α2 ) 1 1 =5 + ⇒ (x + 2,38) (x + 4,62) x (x + 2,38) (x + 4,62)

⇒ hформулы 5 и 6i ⇒ π2 (t) =

e−4,62t e−2,38t 1 e−2,38t e−4,62t =5 + = + + + −2,24 2,24 11 −2,24(−4,62) 2,24 (−2,38) h i = 5 0,09 + 0,26e−2,38t − 0,35e−4,62t ; аналогично 5 L3 = ⇒ x (x + 2,38) (x + 4,62) h i ⇒ π3 (t) = 5 0,09 + 0,1e−4,62t − 0,187e−2,38t ;

наконец, π1 (t) = 1 − π2 (t) − π3 (t). При t → ∞, очевидно, π2 (t) → π2 = 0,45; π3 (t) → π3 = 0,45; π1 (t) → π1 = 1 − π2 − π3 = 0,1. Замечание. Полученные результаты свидетельствуют, что 90 % своего времени студент тратит на сон и развлечения и только 10 % — на занятия. Реальны ли эти цифры?

Лекция 14. Процессы гибели и размножения (общие сведения) Непрерывным процессом (цепью) гибели и размножения (ПГР) ξ (t) называют частный вид НЦМ, удовлетворяющий двум условиям: • процесс S = {i} может принимать только значения i = = 0, 1, 2, ... , N 6 ∞; • состояния i изменяются либо на +1 (i → i + 1) под воздействием ПП размножения с интенсивностью λi , т. е.

P {ξ (t + ∆t) = i + 1|ξ (t) = i} = λi ∆t + o (∆t) ,

либо на −1 (i → i − 1) под воздействием ПП гибели с интенсивностью µi , т. е.

P {ξ (t + ∆t) = i − 1|ξ (t) = i} = µi ∆t + o (∆t) .

101

Лекция 14. Процессы гибели и размножения

ПГР имеет два частных случая: процесс чистого размножения (ПЧР), когда µi = 0 ∀ i, и процесс чистой гибели (ПЧГ), когда λi = 0 ∀ i. Размеченные ГС и соответствующие им системы дифференциально-разностных уравнений являются исчерпывающим описанием указанных процессов: см. рис. 34 для ПГР, 35 для ПЧР, 36 для ПЧГ и соответствующие формулы (14.1), (14.2) и (14.3). λ0

λ1 1

0 µ1

λ2

2 µ2

λi

λi−1 i

i−1

µi

µi−1

λi+1 i+1

N

(∞)

µN

µi+1

Рис. 34

 π˙ 0 (t) = µ1 π1 (t) − λ0 π0 (t),      .........................................     π ˙ i (t) = λi−1 πi−1 (t) + µi+1 πi+1 (t) − (λi + µi ) πi (t),    .........................................     π˙ N (t) = λN −1 πN −1 (t) − µN πN (t) , N < ∞,     N  P   πi (t) = 1, π0 (0) = 1; 

(14.1)

i=0

λ0 0

λ1 1

λ2 2

λi

λi−1 i−1

i

λi+1 i+1

λN−1 N

(∞)

Рис. 35

 π˙ 0 (t) = −λ0 π0 (t),      ........................   π˙ i (t) = λi−1 πi−1 (t) − λi πi (t),    ........................     π˙ N (t) = λN −1 πN −1 (t);

(14.2)

102


0

2

1

µ1

µ2

i

i−1

µi−1

µi

i+1

µi+1

N µN

Рис. 36

  π˙ N (t) = −µN πN (t),       ........................ π˙ i (t) = µi+1 πi+1 (t) − µi πi (t),    ........................     π˙ (t) = µ π (t). 0

(14.3)

1 1

Термины «гибель» и «размножение» имеют биологическое происхождение: рассматривалась популяция (множество) индивидуумов, способных как к увеличению своей численности (только к увеличению), так и к ее снижению (только к снижению). При увеличении говорилось о рождении нового члена популяции, при снижении — о гибели члена популяции. Для изучения эволюции популяций в общем случае были предложены ПГР, в частных случаях — ПЧР и ПЧГ соответственно. В экономических приложениях ПГР широко используются как математические модели функционирования разнообразных систем (хозяйств). Предполагается, что в рамках этих систем изделия могут производиться по законам ПП размножения, но могут и списываться (в силу старения, выхода из строя) по законам ПП гибели. ПГР используются также как математические модели огромного класса систем обслуживания (СО), функционирующих во времени в условиях неопределенности. Термин СО понимается в самом широком смысле — это и парикмахерская, и магазин, и поликлиника, и служба скорой помощи, и служба движения наземного, морского или воздушного транспорта, и служба снабжения потребителей товарами, и любая организация, занимающаяся производством, эксплуатацией или ремонтом каких-либо изделий. Общим для всех этих СО является наличие случайного потока клиентов, покупателей, пациентов и т. п. Все они называются требованиями (заявками). Количество требований, поступивших и находящихся в СО, называют состоянием системы и обозначают малыми латинскими буквами i, j , k , ... . Поток требований, поступающих в систему, будем считать простейшим


103

с интенсивностью, зависящей в общем случае от состояния λi . Эти входящие потоки являются потоками размножения. Второй общий элемент всех СО — это количество обслуживающих приборов m = 1, 2, ... . Обслуживающими приборами являются и парикмахеры, и кассовые аппараты, и мастера по ремонту отказавших изделий, и бригады скорой помощи, и ЭВМ. Потоки обслуженных требований также будем считать простейшими, но с интенсивностью µi . Эти выходящие потоки являются потоками гибели. Из сказанного следует, что длительность интервала времени между двумя поступившими (обслуженными) требованиями есть СВ, подчиненная экспоненциальному ЗР с параметром λi (µi ). СО могут существенно отличаться друг от друга организацией как процесса поступления требований, так и процесса их обслуживания. Так, количество источников поступающих требований, количество обслуживающих приборов, время ожидания обслуживания, время пребывания требований в системе и т. п. могут быть как конечными, так и бесконечными. Всюду в дальнейшем при рассмотрении конкретных систем и задач мы будем пользоваться формальным языком ПГР наряду с содержательным языком экономических систем, систем обслуживания, т. е. языком хозяйств, парикмахерских, ремонтных мастерских и т. п. Пример 14.1. Рассмотрим СО, состоящую из основного прибора, находящегося в рабочем режиме, и дублирующего прибора, находящегося в холодном резерве (т. е. он отключен и в этом состоянии из строя выйти не может). Если основной прибор выходит из строя, то он начинает восстанавливаться, а вместо него мгновенно включается в работу дублирующий прибор. Длительность безотказной работы основного прибора имеет экспоненциальный ЗР с параметром λ = 1, длительность восстановления также имеет экспоненциальный ЗР с параметром ν = 1. Найти ЗР времени безотказной работы системы, если ее отказ наступает при отказе обоих приборов. Решение. Функционирование СО моделируется ПГР с тремя состояниями i = 0, 1, 2, где i — число отказавших приборов. Размеченный ГС см. на рис. 37. Здесь λ0 = λ1 = λ, ν = µ1 , µ2 = 0.

104


ν=1 0

2

1 λ=1

λ=1

Рис. 37

Система уравнений Колмогорова имеет вид  π˙ 0 (t) = π1 (t) − π0 (t),      π˙ 1 (t) = π (t0 ) − 2π1 (t),   π˙ 2 (t) = π1 (t),    π0 (0) = 1.

Заменяем второе уравнение нормировочным условием  π˙ 0 (t) = π1 (t) − π0 (t),      π˙ 2 (t) = π1 (t),  π0 (t) + π1 (t) + π2 (t) = 1,     π 0 (0 ) = 1

и решаем систему методом Лапласа. Линейная система уравнений в изображениях имеет вид   xL0 − 1 = L1 − L0 ,    xL2 = L1 ,     L0 + L1 + L2 = 1 . x Из первых двух уравнений находим соответственно:

L0 =

L1 + 1 , x+1

L2 =

L1 x

и подставляем в третье:

L1 + 1 L1 1 1 1 + L1 + , = ⇒ L1 = ⇒ L2 = x+1 x x p2 (x) xp2 (x) где

p2 (x) = x2 + 3x + 1 = (x + 0,38) (x + 2,62) ⇒ ⇒ p′2 (x) = 2x + 3 ⇒ p′2 (−0,38) = 2,24,


105

p2′ (−2,62) = −2,24 ⇒ p2 (0) = 1. Далее переходим от изображений к оригиналам и получаем

  π1 (t) = 0,446 e−0,38t + e−2,62t ,

 π (t) = 1 − 0,17e−0,38t − 0,17e−2,62t 2

⇒

⇒ π1 (t) + π0 (t) = 1 − π2 (t) = 1,17e−0,38t + 0,17e−2,62t

— распределение времени безотказной работы СО. Финальные вероятности состояний равны π1 = π0 = 0, π2 = = 1, что и следовало ожидать. Пример 14.2. Этот пример отличается от предыдущего лишь тем, что резервный прибор находится в рабочем состоянии (горячее резервирование). ГС представлен на рис. 38, т. е. λ0 = 2λ, λ1 = λ = 1, µ1 = ν = 1, µ2 = 0. ν=1 2

1

0 2λ = 2

λ=1

Рис. 38

Составляем систему уравнений Колмогорова

 π˙ 0 (t) = π1 (t) − 2π0 (t),      π˙ 1 (t) = 2π0 (t) − 2π1 (t),   π˙ 2 (t) = π1 (t),    π0 (0) = 1.

Заменяем второе уравнение нормировочным условием

 π˙ 0 (t) = π1 (t) − 2π0 (t),      π˙ 2 (t) = π1 (t),  π0 (t) + π1 (t) + π2 (t) = 1,     π 0 (0 ) = 1

106


и решаем систему методом Лапласа. Линейная система в изображениях принимает вид  xL0 − 1 = L1 − 2L0 ,     xL2 = L1 ,     L0 + L1 + L2 = 1 . x Из первых двух уравнений находим:

L1 + 1 L1 , L2 = x+2 x и подставляем в третье, из которого получаем L0 =

L1 (x) =

2 , p2 (x)

L2 (x) =

2 , xp2 (x)

где

p2 (x) = x2 + 4x + 2 = (x + 3,41) (x + 2,82) ⇒ ⇒ p′2 (x) = 2x + 4 ⇒ p′2 (−3,41) = −2,82, p2′ (−2,82) = 2,82 ⇒ p2 (0) = 2. Переходим от изображений к оригиналам:   π1 (t) = 0,71 e−0,59t − e−3,41t , ⇒  π (t) = 1 + 0,21e−3,41t − 1,2e−0,59t 2

⇒ π0 (t) + π1 (t) = 1 − π2 (t) = 1,2e−0,59t − 0,21e−3,41t

— распределение времени безотказной работы. При t → ∞:

π1 (t) → π1 = 0,

π2 (t) → π2 = 1,

π0 (t) → π0 = 0.

Обратите внимание, что при t=1   0,81 для горячего резерва, π0 (t) + π1 (t) =  0,66 для холодного резерва.

Лекция 15. Процессы чистого размножения

107

Лекция 15. Процессы чистого размножения (построение вероятностей состояний) Рассмотрим процесс производства изделий (автомашин, холодильников и т. п.) на заводе. Пусть СП ξ (t) есть число изделий, произведенных к моменту t, если ξ (0) = 0. Предположим, что поток производимых изделий – простейший с параметром λi . Требуется найти одномерный ЗР СП ξ (t), а также M ξ (t) и Dξ (t). Указанный процесс моделируется процессом чистого размножения. Его размеченный ГС представлен на рис. 35, а система уравнений Колмогорова (14.2) имеет вид   π˙ 0 (t) = −λ0 π0 (t),      ........................ (15.1) π˙ i (t) = λi−1 πi−1 (t) − λi πi (t) ,    . . . . . . . . . . . . . . . . . . . . . . . .    π˙ (t) = λ N N −1 πN −1 (t) с начальным условием π0 (0) = 1. Решением 0-го уравнения с учетом начального условия является π0 (t) = e−λ0 t . (15.2) Рассмотрим i-е уравнение, 1 6 i 6 N − 1, и найдем его решение методом вариации произвольной постоянной. Для однородного уравнения π˙ i (t) = −λi πi (t) имеем πi (t) = ci e−λi t ⇒ hполагаем ci = ci (t)i ⇒ πi (t) = ci (t) e−λi t ⇒

⇒ π˙ i (t) = c˙i (t) e−λi t − ci (t) λi e−λi t ⇒ (15.3)

⇒ hподставляем в исходное ДРУi ⇒

⇒ c˙i (t) e−λi t − ci (t) λi e−λi t = λi−1 πi−1 (t) − λi ci (t) e−λi t ⇒ ⇒ c˙i (t) = λi−1 πi−1 (t) eλi t ⇒ hинтегрируем от 0 до ti ⇒ Zt ⇒ ci (t) − ci (0) = λi−1 πi−1 (τ )eλi τ dτ ⇒ 0

⇒ hподставляем в (15.3)i ⇒

108


Zt

⇒ πi (t) = [ci (0) + λi−1 πi−1 (τ ) eλi τ dτ ]e−λi t ⇒ 0

⇒ hс учетом начального условия πi (0) = ci (0) = 0 для i > 1 получаем рекуррентную формулуi ⇒

⇒ πi (t) = e

−λi t

Zt

λi−1 πi−1 (τ ) eλi τ dτ , (15.4)

0

что совместно с (15.2) позволяет последовательно найти π0 (t) , π1 (t) , ..., πN −1 (t). Если N < ∞, то

πN (t) = 1 −

N −1 X

πi (t).

(15.5)

i=0

Рассмотрим три частных случая ПЧР, допускающих решение в явном виде. ПЧР с интенсивностью λi = λ (пуассоновский ПЧР) ГС представлен на рис. 39. λ 0

λ 1

λ 2

λ i−1

λ i

λ

N

i+1

Рис. 39

Найдем решение системы (14.2) в этом частном случае. Согласно (15.2)

π0 (t) = e−λt , t > 0 ⇒ Zt D − λt ⇒ воспользуемся (15.4): πi (t) = e λπi−1 (τ )eλτ dτ , 0

полагая последовательно i = 1, 2, ... N

⇒ π1 (t) = e

−λt

Zt 0

λe−λτ eλτ dτ = λte−λt ,

E

⇒

t>0⇒

109


⇒ π2 (t) = e

− λt

Zt

λ2 τ e−λτ eλτ dτ =

(λt) 2 −λt e , 2

t > 0, ... , ⇒

0

⇒ πi (t) =

(λt) i −λt e , i!

t > 0,

i > 0.

Итак, ПЧР (с постоянной интенсивностью λ) в момент t есть случайное число рождений ξ (t) в интервале (0, t), подчиненное ЗР Пуассона с параметром λt. Отсюда следует, что: NP −1 • πN (t) = 1 − πi (t), если N < ∞; i=0

• M ξ(t) = Dξ (t) = λt; • длительность интервала времени между соседними рождениями есть СВ, подчиненная экспоненциальному ЗР с параметром λ; • длительность интервала времени, содержащего (k + 1) рождений, есть СВ, подчиненная ЗР Эрланга с параметрами (λt, k). ПЧР с интенсивностью λi = iλ, i > 1 ( геометрический ПЧР) ГС представлен на рис. 40. λ 1

2λ 2

(i − 1)λ

i−1

iλ i

i+1

(N − 1)λ

N

Рис. 40

Найдем решение системы (14.2), которая в этом частном случае принимает вид

 π˙ 1 (t) = λπ1 (t) ,       ............................ π˙ i (t) = (i − 1) λπi−1 (t) − iλπi (t) ,    ............................    π˙ N (t) = (N − 1)λπN −1 (t) .

µ

110


Решение первого уравнения: D π1 (t) = e−λt , t > 0 ⇒ далее воспользуемся (15.4): −iλt

πi (t) = (i − 1) λe

Zt

πi−1 (τ ) eiλτ dτ ,

0

E

полагая последовательно i = 2, 3, ... ⇒

⇒ π2 (t) = λe

−2λt

Zt 0

⇒ π3 (t) = 2λe

e−λτ e2λτ dτ = e−λt 1 − e−λt ,

−3λt

Zt 0

t > 0 ⇒ ... ⇒ πi (t) = e

t>0⇒

2 e2λτ 1 − e−λτ dτ = e−λt 1 − e−λt ,

−λt

i−1 1 − e−λt ,

t > 0,

1 6 i 6 N − 1.

Итак, ПЧР (с интенсивностью λi = iλ) в момент t есть случайное число ξ (t) рождений в интервале (0, t), подчиненное геометрическому ЗР с вероятностью успеха p = e−λt . Отсюда следует, что: 1 1−p λt 1 − eλt , • M ξ (t) = = eλt , Dξ (t) = = e p p2

• πN (t) = 1 −

NP −1

πi (t).

i=1

ПЧР с интенсивностью λi = (N − i) λ, 0 6 i 6 N (биномиальный ПЧР) ГС представлен на рис. 41. 0

1 Nλ

2 (N − 1)λ

i−1

i

(N −i+1)λ (N −i)λ Рис. 41

N

i+1

λ

111


Найдем решение системы (14.2), которая в этом частном случае принимает вид    π˙ 0 (t) = −N λπ0 (t),     ................................... π˙ i (t) = (N − i + 1) πi−1 (t) − (N − i) πi (t),    ...................................    π˙ N (t) = λπN −1 (t).

Решение нулевого уравнения: D π0 (t) = e−N λt , t > 0 ⇒ далее воспользуемся (15.4): −(N−i)λt

πi (t) = e

Zt

(N − i + 1)λπi−1 (τ ) e(N−i)λτ dτ ,

i > 1,

0

полагая последовательно i = 1, 2, ...

⇒ π1 (t) = e

−(N −1)λt

Zt

E

N λe−N λτ e(N −1)λτ dτ =

0

= N λe

−(N −1)λt

Zt 0

e−λτ dτ = N e−(N −1)λt 1 − e−λt =

N −1 1 1 − e−λt e−λt ⇒ π2 (t) = = CN =e

−(N −2)λt

Zt 0

N (N − 1) λe−(N −1)λτ 1 − e−λτ e(N −2)λτ dτ =

= N (N − 1) λe

−(N −2)λt

Zt 0

e−λτ 1 − e−λτ dτ =

1 − λτ 1 −2λτ t −(N −2)λt = N (N − 1) λe − e + e = λ 2λ 0 1 −(N −2)λt 1 −2λt − λt = N (N − 1) e e −e − +1 = 2 2

⇒

112


2 N −2 2 e−λt = CN 1 − e−λt ⇒ ... ⇒

i N −i i 1 − e − λt e−λt , 0 6 i 6 N , t > 0. ⇒ πi (t) = CN (15.6) Итак, ПЧР (с интенсивностью λi = (N − i) λ) в момент t есть случайное число ξ (t) рождений в интервале (0, t), подчиненное биномиальному ЗР с вероятностью успеха p = 1 − e−λt . Отсюда следует, что M ξ (t) = N p = N 1 − e−λt ,

Dξ (t) = N p (1 − p) = N e−λt 1 − e−λt .

Приведем примеры по надежности экономических систем, аналогичные рассмотренным в лекции 14. Пример 15.1. Рассмотрим систему, состоящую из одного основного прибора и (N − 1) эквивалентных ему, находящихся в холодном резерве. Время безотказной работы основного прибора подчинено экспоненциальному закону с параметром λ. Как только основной прибор откажет, ему на смену в работу включается один из резервных. Система откажет, как только откажут все N приборов. Пусть i — состояние, состоящее в том, что в системе отказали i приборов, i = 1, 2, ... , N . При t = 0 система находится в состоянии i = 0. Требуется определить вероятность πi (t), i = 0, 1, 2, ... , N , каждого состояния в момент t. Очевидно, функционирование системы моделируется ПЧР (λt)i −λt с (N + 1) состояниями и λi = λ. В этом случае πi (t) = e , i! N − 1 X i = 0, 1, ... , N − 1, πN (t) = 1 − πi (t). i=0

Пример 15.2. Этот пример отличается от предыдущего одним: все резервные приборы находятся в том же состоянии, что и основной. В этом случае функционирование системы также моделируется ПЧР с (N + 1) состояниями, но интенсивности вычисляются сложнее. Если отказало i приборов, то остальные (N − i) продолжают работать; следовательно, на них воздействует поток отказов с интенсивностью λi = (N − i) λ,

Лекция 16. Процессы чистой гибели

113

i = 0, 1, 2, ... , N − 1, λN = 0. Мы получаем биномиальный процесс чистого размножения с вероятностями состояний i N −i i πi (t) = CN 1 − e−λt e−λt , i = 0, 1, 2, ... , N.

Лекция 16. Процессы чистой гибели (построение вероятностей состояний) Рассмотрим процесс эксплуатации изделий (станков, автомашин, инструментов и т. п.) в некотором хозяйстве. Пусть СП ξ (t) есть число изделий, находящихся в эксплуатации к моменту t, причем ξ (0) = N и ξ (t) принимает значения i = N , N − 1, ... , 0. Предположим, что новые изделия в хозяйство не поступают, а старые выходят из строя и списываются по законам простейшего потока с параметром µi . Требуется найти ЗР СП ξ(t), а также его математическое ожидание и дисперсию. Изложенный процесс моделируется ПЧГ. Его РГС представлен на рис. 36, а соответствующая система уравнений Колмогорова (14.3) имеет вид   π˙ N (t) = −µN πN (t),      ........................ (16.1) π˙ i (t) = µi+1 πi+1 (t) − µi πi (t),    ........................    π˙ (t) = µ π (t) 1 1 0 с начальным условием πN (0) = 1. Решением N -го уравнения с учетом начального условия является πN (t) = e−µN t , t > 0. (16.2) Рассмотрим i-е уравнение, 1 6 i 6 N − 1, и воспользуемся для его решения методом вариации произвольной постоянной. Для однородного уравнения π˙ i (t) = −µi πi (t) решение имеет вид

πi (t) = ci e−µi t ⇒

⇒ hполагаем ci = ci (t)i ⇒ πi (t) = ci (t) e−µi t ⇒ π˙ i (t) = = c˙i (t) e−µi t − µi ci (t) e−µi t ⇒ hподставляем в исходное ДРУi ⇒ ⇒ c˙i (t) e−µi t − µi ci (t) e−µi t = µi+1 πi+1 (t) − µi ci (t) e−µi t ⇒

114


⇒ c˙i (t) = µi+1 eµi t πi+1 (t) ⇒ hинтегрируем от 0 до ti ⇒ Zt

⇒ ci (t) − ci (0) = µi+1 πi+1 (τ ) eµi τ dτ ⇒ 0

⇒ hподставляем ci (t) в формулу для πi (t)i ⇒ Zt

⇒ πi (t) = [ci (0) + µi+1 πi+1 (τ ) eµt τ dτ ]e−µi t ⇒ 0

⇒ hс учетом начального условия πi (0) = ci (0) = 0 для 1 6 i 6 N − 1 получаем рекуррентную формулуi ⇒

⇒ πi (t) = e

−µi t

Zt

µi+1 πi+1 (τ ) eµi τ dτ , (16.3)

0

что совместно с (16.2) позволяет последовательно найти πN (t) , πN −1 (t) , ... , π1 (t), а также N X π0 (t) = 1 − πi (t), i=1

M ξ (t) =

N X

iπi (t),

Dξ (t) =

i=1

N X i=1

i2 πi (t) − [M ξ (t)]2 .

(16.4)

Рассмотрим три частных случая ПЧГ, допускающих решение в явном виде. ПЧГ с интенсивностью µi = µ, 1 6 i 6 N ( пуассоновский ПЧГ) ГС представлен на рис. 42. 0

1 µ

2 µ

i

i−1 µ

µ

N

i+1 µ

µ

Рис. 42

Найдем решение системы (14.3) в этом частном случае. Решение N -го уравнения согласно (16.2) имеет вид

115


πN (t) = e−µt ,

D t > 0 ⇒ далее воспользуемся (16.3): −µt

πi (t) = e

Zt

µπi+1 (t)eµτ dτ ,

0

E

полагая последовательно i = N − 1, N − 2, ... , 1 ⇒

⇒ πN −1 (t) = e ⇒ πN −2 (t) = e

−µt

−µt

Zt

Zt

µe−µτ eµτ dτ = µte−µt ,

t>0⇒

0

µe

−µτ

(µt)2 −µt µτ e dτ = e ⇒ ... ⇒ 2 µτ

0

⇒ πi (t) = πN −(N −i) (t) = π0 (t) = 1 −

N X

(µt)N −i −µt e , (N − i)!

1 6 i 6 N;

πi (t).

(16.5)

i=1

Итак, ПЧГ (с интенсивностью µi = µ) в момент t есть случайное число оставшихся в живых индивидуумов, подчиненное аналогу ЗР Пуассона с параметром µt, при этом случайное число погибших индивидуумов η (t) = N − ξ (t) имеет ЗР Пуассона, соответствующий его общепринятому определению:

P {η (t) = j} = P {N − ξ (t) = j} = P {ξ (t) = N − j} = = πN −j (t) =

(µt)j −µt e . j!

Отсюда следует, что M ξ (t) = N − µt, Dξ (t) = µt. ПЧГ с интенсивностью µi = iµ, 1 6 i 6 N (биномиальный ПЧГ) ГС представлен на рис. 43. 0

1 µ

2

i

i−1

2µ

iµ Рис. 43

N

i+1 (i+1)µ

Nµ

116


Найдем решение системы (16.1) в этом частном случае:  π˙ N (t) = −N µπN (t),     ........................................     π˙ i (t) = (i + 1) µπi+1 (t) − iµπi (t) , 1 6 i 6 N − 1, (16.6) ........................................     π˙ 0 (t) = µπ1 (t) ,     π N (0 ) = 1 . Решение N -го уравнения с учетом начального условия

πN (t) = e−N µt , ⇒

D

t>0⇒

(16.7)

далее согласно (16.3):

−iµt

πi (t) = e

Zt

(i + 1)µπi+1 (τ ) eiµτ dτ ,

0

полагая последовательно i = N − 1, N − 2, ... , 1

⇒ πN −1 (t) = e

−(N −1)µt

Zt

Zt

(16.8)

E ,⇒

N µe(N −1)µτ e−N µτ dτ =

0

= e−(N −1)µt N µe−µτ dτ = e−(N −1)µt N 1 − e−µt = 0

1 = CN e−µt

=e

−(N −2)µt

N −1

Zt 0

1 − e−µt

N −(N −1)

,

t > 0 ⇒ πN −2 (t) =

(N − 1)µe(N −2)µτ N e−(N −1)µτ 1 − e−µτ dτ =

= N (N − 1) e

−(N −2)µt

Zt 0

2 = CN e−µt

N −2

µe−µτ 1 − e−µτ dτ =

1 − e−µt

N −(N −2)

⇒ ... ⇒

117

Лекция 16. Процессы чистой гибели j ⇒ πN −j (t) = CN e−µt

N −j

i ⇒ πi (t) = CN e−µt

i

1 − e−µt

N −(N −j)

1 − e−µt

N −i

,

⇒ hi = N − ji ⇒

0 6 i 6 N. (16.9)

Итак, ПЧГ (с интенсивностью µi = iµ) в момент t есть случайное число ξ (t) оставшихся в живых индивидуумов, подчиненное биномиальному ЗР с вероятностью успеха e−µt , при этом случайное число погибших к моменту t индивидуумов N − ξ (t) также подчиняется биномиальному ЗР, но с вероятностью успеха 1 − e−µt . Отсюда следует, что M ξ (t) = N e−µt , Dξ (t) = N e−µt 1 − e−µt . ПЧГ с интенсивностью µi = (N − i) µ, 1 6 i 6 N − 1 (геометрический ПЧГ) ГС представлен на рис. 44. 0

1

(N −1)µ

2 (N −2)µ

i−1 (N −i)µ

i

N −1

i+1 (N −i−1)µ

1

Рис. 44

Найдем решение системы (14.3) в этом случае:

 π˙ N −1 (t) = −µπN −1 (t),      .....................................        π˙ i (t) = (N − i − 1) µπi+1 (t) − (N − i) µπi (t) ,   i = 1, 2, ... , N − 2,       .....................................     π˙ 0 (t) = (N − 1) µπ1 (t).

Начальное условие πN −1 (0) = 1. Решение (N − 1)-го уравнения с учетом начального условия:

118


πN −1 (t) = e−µt ,

t>0⇒ −(N−i)µt

πi (t) = e

Zt

D

далее воспользуемся (16.3):

(N − i − 1) µπi+1 (τ )e(N−i)µτ dτ ,

0

E

полагая последовательно i = N − 2, N − 3, ... , 1 ⇒

⇒ πN −2 (t) = e

−2µt

Zt

µe

−µτ 2µτ

e

dτ = µe

−2µt

0

=e

−µt

=e

1−e

−µt

−µt

1−e

⇒ πN −3 (t) e

−µt 2

−3µt

Zt 0

1 µτ t e = µ 0

2µe−µτ 1 − e−µτ e3µτ dτ =

⇒ ... ⇒ πN −j (t) = e−µt 1 − e−µt

⇒ hi = N − ji ⇒ πi (t) = e−µt 1 − e−µt 1 6 i 6 N − 2 ⇒ π0 (t) = 1 −

N −i−1

N −1 X

j−1

⇒

,

πi (t). (16.10)

i=1

Итак, ПЧГ (с интенсивностью µi = (N − i) µ) в момент t есть случайное число ξ (t) оставшихся в живых индивидуумов, подчиненное аналогу геометрического ЗР с вероятностью успеха e−µt , при этом случайное число η (t) = N − ξ (t) погибших индивидуумов имеет стандартный геометрический ЗР с той же вероятностью успеха j−1 P {η (t) = j} = e−µt 1 − e−µt , j > 1. Отсюда следует, что

1 − e−µt = eµt eµt − 1 . − 2 µt e Основные результаты, полученные в настоящей лекции, представлены в табл. 16.1. Между формулами, относящимися к ПЧР, и формулами, относящимися к ПЧГ, существует тесная связь. Эта связь обусловлена следующей их особенностью. Пусть количество состояний конечно (N < ∞), η (t) (ξ (t)) — случайное число M ξ (t) = N − eµt ,

Dξ (t) =

119


Т а б л и ц а 16.1 Процесс чистого размножения (рис. 35)

Процесс чистой гибели (рис. 36)

Рекурентные формулы Zt

πi (t) = λi−1 e−λi t πi−1 (τ )eλi τ dτ ,

Zt πi (t) = µi+1 e−µi t πi+1 (τ )eµi τ dτ ,

0

0

π0 (t) = eλ0 t , πN (t) = 1 −

N −1 X

πi (t) πN (t) = eµN t , π0 (t) = 1 −

i=0

N X

Пуассоновский ПЧР

Пуассоновский ПЧГ

λi = λ, i = 0, 1, ... , N − 1;

µi = µ, i = 0, 1, ... , N ;

(λt) −λt e , i! i = 0, 1, ... , N − 1; N −1 X πN (t) = 1 − πi (t), i

πi (t) =

i=0

πi (t)

i=0

(µt)N −i −µt e , (N − i)! i = N , N − 1, ... , 1; N X π0 (t) = 1 − πi (t),

πi (t) =

i=0

m = σ = λt

m = N − µt, σ 2 = µt

Геометрический ПЧР

Биномиальный ПЧГ

λi = iλ, i = 1, ... , N − 1; i−1 πi (t) = e−λt 1 − e−λt ,

µi = iµ, i = 1, ... , N ; i N −i i πi (t) = CN e−µt 1 − e−µt ,

i=1 m = eλt , σ 2 = eλt eλt − 1

m = N e−µt , σ 2 = N e−µt 1 − e−µt

Биномиальный ПЧР

Геометрический ПЧГ

λi = (N − i)λ, i = 0, 1, ... , N − 1; i N −i i πi (t) = CN 1 − e−λt e−λt ,

µi = (N − i)µ, i = 0, 1, ... , N − 1; N −i−1 πi (t) = e−µt 1 − e−µt ,

σ 2 = N e−λt 1 − e−λt

i=0 m = N − eµt , σ 2 = eµt eµt − 1

2

i = 1, ... , N − 1; N −1 X πN (t) = 1 − πi (t),

i = 0, 1, ... , N ; m = N 1 − e−λt ,

i = 0, 1, ... , N ;

i = N − 2, N − 1, ... , 1; N −1 X π0 (t) = 1 − πi (t),

120


изделий, списанных (эксплуатируемых) к моменту t, тогда ξ (t) + + η (t) = N , или в терминах номеров состояний i + j = N . Очевидно, СП увеличения числа списанных есть процесс их размножения, в то время как СП уменьшения числа эксплуатируемых есть процесс их гибели; при этом, очевидно,

ξ (t) + η (t) = N ⇒ i + j = N ⇒ ⇒ P {η (t) = j} = P {ξ(t) = N − j = i}. Отсюда следует процедура перехода от формул для ПЧР к формулам для ПЧГ и наоборот, основанная на правилах: λ ↔ µ, i ↔ N − j , j ↔ N − i. Так, например, формула для вероятности числа эксплуатируемых изделий преобразуется в формулу для вероятности числа размножений списанных изделий:

πi (t) =

(µt)N −i −µt e , (N − i)!

i = N , N − 1, ... , 1 → → πj (t) =

(λt)j −λt e , j!

j = 0, 1, ... , N − 1.

Интенсивность гибели µj = (N − j) µ преобразуется по нашему правилу в интенсивность размножения λi = iλ, что влечет в свою очередь преобразование вероятностей

πj (t) = e−µt 1 − e−µt

N −j−1

,

j = N − 2, ... , 1 →

i−1 → πj (t) = e−λt 1 − e−λt ,

i = 1, 2, ... , N − 1.

Рассмотрите третью пару вероятностей состояний самостоятельно! Пример 16.1. В примерах 15.1 и 15.2 рассматривались задачи анализа надежности резервированных систем, состоящих из N приборов. В качестве математической модели выхода их из строя был принят ПЧР ξ (t) числа отказавших приборов. Получены следующие формулы для вероятностей состояний:

Лекция 17. Стационарные режимы cистем обслуживания

121

πi (t) = P {ξ (t) = i} =  i   (λt) e−λ,t 0 6 i 6 N − 1, если λi = λ, i! =  i N −i  i CN 1 − e−λt e−λt , 0 6 i 6 N , если λi = (N − i) λ.

Если в этих примерах под состоянием понимать не число отказавших, а число эксплуатируемых приборов j = N − i, то в качестве математической модели следует принять процесс η (t) их чистой гибели, тогда

πj (t) = P {η (t) = j} =

  (µt)N −j −µt   e , 1 6 j 6 N , если µj = µ, (N − j)! =  N −j  j −µt j  CN e 1 − e−µt , если µj = jµ,

где µ = λ, j = N − i.

Лекция 17. Процессы гибели и размножения. Стационарные режимы cистем обслуживания Финальные вероятности состояний В лекциях 15 и 16 было установлено, что для вероятностей состояний πi (t) ПЧР и ПЧГ в случае произвольных значений интенсивностей λi и µi существуют достаточно простые рекуррентные формулы, а в основных частных случаях эти функции можно найти в явном виде. К сожалению, для построения вероятностей состояний ПГР в лучшем случае можно воспользоваться методом Лапласа, а в худшем — численными методами. Однако для процессов этого класса существуют весьма эффективные методы построения финальных вероятностей состояний, т. е. вероятностей состояний в предельном стационарном режиме. Рассмотрим процесс производства и эксплуатации однотипных изделий (станков, автомашин, холодильников и т. п.). Пусть СП ξ (t) есть число изделий, произведенных и эксплуатируемых к моменту t. Предположим, что новые изделия поступают, а старые списываются по законам ПП с интенсивностями λi и µi соответственно.

122


Требуется найти финальные вероятности состояний в двух случаях: • нет ограничений на число эксплуатируемых изделий, • число эксплуатируемых изделий не превышает N < ∞. Приступая к решению, необходимо прежде всего выяснить, существуют ли финальные вероятности

πi = lim πi (t) , t→∞

и если существуют, то найти способ их вычисления. Предположим, что искомые вероятности существуют. Воспользуемся РГС (рис. 34) и системой уравнений Колмогорова, с которыми мы познакомились в лекции 14:  π˙ 0 (t) = µ1 π1 (t) − λ0 π0 (t),     .........................................      π˙ i (t) = λi−1 πi−1 (t) + µi+1 πi+1 (t) − (λi + µi ) πi (t),    (17.1) .........................................     π˙ N (t) = λN −1 πN −1 (t) − µN πN (t) , N < ∞,      N P    π (t) = 1, π (0) = 1. i

0

i=0

Полагая в (17.1) πi (t) = πi , π˙ i (t) = 0 ∀ i, перейдем от ДРУ к линейным алгебраическим уравнениям  µ1 π1 − λ0 π0 = 0,      ...............................     λi−1 πi−1 + µi+1 πi+1 − (λi + µi ) πi = 0,    (17.2) ...............................    λN −1 πN −1 − µN πN = 0,      N  P   πi = 1.  i=0

относительно финальных вероятностей. Следствием мнемонического правила построения системы ДРУ по ГС (лекция 13) является мнемоническое правило построения системы (17.2): для любого состояния входящий и выходящий потоки вероятностей равны.

123


Переходя к решению, введем обозначения

zi = −λi πi + µi+1 πi+1 ,

0 6 i 6 N − 1,

(17.3)

и запишем в этих обозначениях систему (17.2):   z0 = 0,      ........ zi−1 = zi ,    ........   z N −1 = 0 .

Отсюда следует zi = 0, 0 6 i 6 N − 1, или, что эквивалентно,

zi−1 = 0,

1 6 i 6 N ⇒ hвозвращаемся к (17.3)i ⇒

  λi−1 πi−1 = µi πi , 1 6 i 6 N , N P ⇒ ⇒  πi = 1 i=0

⇒ πi =

λi−1 λi−1 λi−2 πi−1 = · π = ... = µi µi µi−1 i−2 i

=

Y λk−1 λi−1 λi−2 ... λi−i , π0 ⇒ πi = π0 µi µi−1 ... µi−(i−1) µk

1 6 i 6 N , (17.4)

k=1

где вероятность π0 определяется из нормировочного условия

π0 +

N X i=1

πi = π0 + π0

N Y i X λk−1 =1⇒ µk i=1 k=1

⇒ π0 =

i N Y X λk−1 1+ µk i=1 k=1

Если N → ∞, то получаем очевидный аналог (17.5) !−1 ∞ Y i X λk−1 π0 = 1 + . µk

!−1

. (17.5)

(17.6)

i=1 k=1

Из формул (17.4) и (17.5), т. е. при конечном N , следует, что финальные вероятности состояний всегда существуют,

124


а из формул (17.4) и (17.6), т. е. при N → ∞, следует, что финальные вероятности состояний существуют, если ряд в (17.6) сходится, а он сходится всегда, когда λk−1 6 α < 1, µk

(17.7)

т. е. всегда, когда начиная с некоторого k и для всех последующих интенсивность потока размножения меньше интенсивности потока гибели. Признаки классификации систем обслуживания Из многочисленных признаков классификации СО мы остановимся лишь на четырех: • интенсивность простейшего входящего потока требований, • интенсивность простейшего потока обслуженных требований, • число обслуживающих приборов (канальность), • количество требований в системе. Далее рассматриваются четыре варианта возможных значений интенсивности входящего потока требований: • λi = λ ∀ i — постоянная интенсивность (неограниченный поток), (M − i) λ, 0 6 i 6 M , • λi = — ограниченный поток (M 0, i > M источников требований), • λi = iλ — интенсивность пропорциональна номеру состояния, const • λi = — интенсивность обратно пропорциональна ноi+1 меру состояния (переполняющий поток). Число обслуживающих приборов может принимать три значения: • m = 1 — одноканальная система„ • 1 < m < ∞ — m-канальная система, • m = ∞ — ∞-канальная система (для каждого вновь поступившего требования найдется свободный прибор). Предположение, состоящее в том, что поток требований, обслуженных каждым прибором, является простейшим с интенсивностью µ, имеет ряд следствий. Во-первых, время обслуживания требований каждым прибором подчинено экспоненциальному

125


закону с параметром µ; во-вторых, интенсивность µi обслуживания равна µ для одноканальной системы, iµ для ∞-канальной системы, наконец, для m-канальной системы ( iµ, 1 6 i 6 m, µi = (17.8) mµ, i > m. Количество требований в системе ограничивается числом K (K > m). Разность K − m интерпретируется как число мест для ожидающих обслуживания (ограничение на длину очереди). При K = m количество требований в системе ограничивается числом обслуживаюших приборов (система с потерями), при K = ∞ число требований в системе неограничено. (K + 1)-е требование, поступающее в систему, не обслуживается и теряется. Формально это ограничение задается следующим назначением интенсивности входящего потока требований: ( λ, i 6 K − 1, (17.9) λi = 0, i > K. 11 классов систем обслуживания (N → ∞) 1. Система Эрланга (одноканальная система с неограниченным входящим потоком) — рис. 45. λ

λ 1

0 µ

λ 2

µ

λ

λ i

i−1 µ

µ

λ i+1

µ

µ

Рис. 45

λi = λ, (17.4) ⇒

=

i > 0;

µi = µ,

i > 1;

K = ∞.

λk−1 λ = = ρ ⇒ πi = π0 ρi , i > 1 ⇒ (17.6) ⇒ µk µ !−1 ∞ X i ⇒ π0 = 1 + ρ = hρ < 1i =

1 1−ρ

− 1

i=1

= 1 − ρ ⇒ πi = (1 − ρ) ρ,

i = 0, 1, 2, ... . (17.10)

126


Мы получили исключительное геометрическое распределение с вероятностью успеха 1 − ρ, следовательно, ρ ρ M ξ (∞) = , Dξ(∞) = . 1−ρ (1 − ρ)2 2. Одноканальная система с переполняющим входящим потоком — рис. 46. c

c/2

1

0

2

µ

c/(i + 1)

c/i i

i−1 µ

µ

i+1 µ

Рис. 46

c λi = , i > 0; µi = µ > 1; i+1 λ c/k c (17.4) ⇒ k−1 = = ⇒ πi = µk µ kµ

K = ∞.

i Y c 1 = π0 = π0 (c/µ)i , i = 0, 1, 2, ... ⇒ kµ i! k=1

∞ i X 1 −1 c ⇒ = e−c/µ ⇒ < ∞, (17.6) ⇒ π0 = 1 + µ µ i! Dc

E

i=1

i c 1 −c/µ ⇒ πi = e , µ i!

i = 0, 1, 2, ... . (17.11)

Получено распределение Пуассона с параметром c/µ; следовательно, c M ξ (∞) = Dξ (∞) = . µ 3. ∞-канальная система с неограниченным входящим потоком — рис. 47. λ 0

λ 1

µ

λ 2

i

i−1 iµ

2µ Рис. 47

λ

λ

i+1 (i + 1)µ

127


λi = λ,

i > 0;

µi = iµ,

i > 1.

i Dλ E Y λk−1 λ λ ρi (17.4) ⇒ = ⇒ = ρ ⇒ πi = π0 = π0 ⇒ µk kµ µ kµ i! k=1

⇒ h(17.6) , ρ < 1i ⇒ π0 = ⇒ πi =

∞ i X ρ

1+

i=1

ρi −ρ e , i!

i!

!−1

= e−ρ ⇒

i = 0, 1, 2, ... . (17.12)

λ Получено распределение Пуассона с параметром ρ = ; следоваµ тельно, λ M ξ (∞) = Dξ (∞) = . µ 4. m-канальная система с неограниченным входящим потоком — рис. 48. λ

λ 1

0 µ

λ 2

m−1

m−2

2µ

λ

λ

λ

(m−1)µ

m mµ

m+1 mµ

Рис. 48

λi = λ,

i = 0, 1, 2, ... ;

µi =

(

iµ,

0 6 i 6 m,

im,

i > m;

K = ∞.

Значения πi следует разбить на две части, соответствующие i ∈ {0, 1, 2, ... , m} и i ∈ {m + 1, m + 2, ... }. Пусть i 6 m, тогда согласно (17.4) получим

Dλ E Y λ λk−1 λ ρi = ⇒ = ρ ⇒ πi = π0 = π0 . µk kµ µ kµ i! i

(17.13)

k=1

Пусть i > m, тогда согласно (17.4) m

Yρ λ λk−1 ρ = = ⇒ πi = π0 µk mµ m k k=1

i Y

ρ ρi = π0 , m m!mi−m k=m+1 (17.14)

128


где согласно (17.6) π0 =

m X ρi

1+

i=1

i!

∞ X

+

i=m+1

ρi m!mi−m

− 1

.

5. Одноканальная система с ограниченным входящим потоком — рис. 49. Mλ

(M −1)λ

1

0 µ

λ

2λ

2

M −1

M −2 µ

µ

M µ

Рис. 49

λi =

(

(M − i) λ, 0,

0 6 i 6 M,

i > M;

µi = µ,

1 6 i 6 M.

Dλ

E = ρ ⇒ πi =

Воспользуемся (17.4) и (17.6): λk−1 µk

  (M − k + 1) λ , µ =  0, k > M

16k6M

⇒

µ

i i Y Y (M − k + 1) λ = π0 = π0 (M − k + 1) ρ = µ k=1

k=1

= π0 ρi M (M − 1) (M − 2) ... (M − i + 1) = = π0 ρi

M (M − 1) (M − 2) ... (M − i + 1) (M − i) ... 1 = (M − i) (M − i − 1) ... 1

= π0 ρi

M! , (M − i)! где

1 6 i 6 M ⇒ πi = 0,

π0 =

M X i=0

i > M,

M! ρ (M − i)! i

!−1

. (17.15)


129

6. Одноканальная система с ограничением K на число требований, находящихся в системе (K > m = 1) — рис. 50. λ

λ 1

0

λ 2

µ

λ

λ K−1

K−2

µ

µ

µ

K µ

Рис. 50

λi =

(

0,

i > K,

λ,

0 6 i < K;

µi = µ,

1 6 i 6 K.

Cогласно (17.4) и (17.6)

 λ Dλ E λk−1  , 1 6 k 6 K , µ = ⇒ =ρ K  i   π0 Q ρ = π0 ρi , 1 6 i 6 K , ⇒ πi = ⇒ k=1   0, i > K K X

⇒ π0 =

i=0

ρi

!−1

=

1−ρ . (17.16) 1 − ρK+1

7. m-канальная система с неограниченным входящим потоком и с потерями — рис. 51. λ 0

λ 1

µ

λ 2

λ

λ m−2

2µ

m−1

(m−1)µ

m mµ

Рис. 51

λi =

(

λ,

0 6 i 6 m − 1,

0,

i > m;


µi = iµ,

1 6 i 6 m;

K = m.

130


Согласно (17.4) и (17.6) λk−1 µk

  λ , 1 6 k 6 m, Dλ E kµ = ⇒ =ρ ⇒  µ 0, k > m

i Y ρ ρi = π0 , 1 6 i 6 m ⇒ (17.17) k i! k=1 !−1 m X ρi i > m ⇒ π0 = ⇒ формулы Эрланга. i!

⇒ πi = π0

⇒ πi = 0,

i=0

8. ∞-канальная система с ограниченным входящим потоком (с M источниками требований) — рис. 52. Mλ

0

(M −1)λ

1 µ

λ

2λ

2

M −2

M −1

(M −1)µ

2µ

M Mµ

Рис. 52

λi =

(

(M − i) λ, 0,

0 6 i 6 M − 1,

i > M; µi =

(

iµ, 0,

1 6 i 6 M,

i > M;

K = M = m.

Согласно (17.4) и (17.6)

 

λk−1 =  µk

(M −k+1)λ , kµ

0,

k>M

1 6 k 6 M,

⇒

Dλ

µ

E =ρ ⇒

i Y M −k+1 M −1 M −2 M −i+1 i πi = π0 ρ = π0 ρ M · ... = k 2 3 i k=1

131


= π0

ρi M (M − 1) ... (M − i + 1) (M − i) (M − i − 1) ...1 · = i! (M − i) (M − i − 1) ...1 = π0 ρi

M! i i = π0 CM ρ, i! (M − i)!

⇒ πi = 0,

M X

i > M ⇒ π0 =

16i6M ⇒ i i CM ρ

i=0

!−1

= (1 + ρ)−M . (17.18)

9. m-канальная система с ограниченным входящим потоком (с M источниками требований) и ограничением K на число требований, находящихся в системе — рис. 53. M λ (M −1)λ

0

1 µ

2

m−2

2µ

m−1

(m−1)µ

(M −K+1)λ

(M −m)λ

(M −m+2)λ

m mµ

m+1

K

K−1

mµ

mµ

Рис. 53

M > K > m;

λi =

(

(M − i) λ, 0,

0 6 i 6 K − 1,

i > K; µi =

(

iµ, mµ,

0 6 i 6 m,

m < i 6 K.

Разобьем множество значений i на два подмножества: [ {0 6 i 6 m} {m + 1 6 i 6 K}.

Пусть 0 6 i 6 m, тогда согласно примеру 8 при M = m λk−1 (M − K + 1)λ i i = ⇒ πi = π0 CM ρ; µk kµ

пусть m + 1 6 i 6 K , тогда согласно (17.4) и (17.7) Dλ E λk−1 (M − k + 1) λ = ⇒ =ρ ⇒ µk mµ µ i i m Y Y Y λk−1 λk−1 ⇒ πi = π0 = π0 = µk µk k=1

5*

k=m+1 k=1

(17.19)

132


=

m DY E λk−1 i i m m = CM ρ |i=m = CM ρ = µk k=1

=

m m π0 CM ρ

i Y M −k+1 ρ= m

k=m+1

=

m π0 CM

i Y ρi (M − k + 1) = mi−m k=m+1

m = π0 CM

ρi (M − m) (M − m − 1) ... (M − i + 1) = mi−m

m = π0 CM

ρi (M − m)! i! i i · = π0 CM ρ . (17.20) i−m m (M − i)! m!mi−m

Из нормировочного условия получаем

π0 =

m X

K X

i i CM ρ +

i=m+1

i=0

i! i i CM ρ m!mi−m

!−1

.

Два частных случая класса 9 10. m-канальная система с ограниченным входящим потоком и с потерями M > K = m (рис. 54). Mλ

0

1 µ

(M −m+2)λ (M −m+1)λ

(M −1)λ

2

m−2

2µ

m−1

(m−1)µ

m

mµ

Рис. 54

В этом случае из двух формул (17.19) и (17.20) остается только первая и мы получаем распределение Энгсета: i ρi CM πi = P , m k ρk CM k=0

i = 0, 1, 2, ... , m.

(17.21)

133


11. m-канальная система с ограниченным входящим потоком, при этом число требований в системе не должно превышать M , т. е. M = K > m — рис. 55. Mλ

0

(M −1)λ

1 µ

2

λ

(M −m)λ m

m−1 mµ

2µ

m+1

M

M −1 mµ

mµ

Рис. 55

Формулы (17.19), (17.20) остаются в силе, но

π0 =

m X i=0

i i CM ρ +

M X

i=m+1

i! i i CM ρ m!mi−m

!−1

.

Литература 1. Вентцель Е.С., Овчаров Л.А. Теория случайных процессов и ее инженерные приложения. — М: Наука. 1991. 2. Баруча-Рид А.Т. Элементы теории марковских процессов и их приложения. — М.: Наука, 1969. 3. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. — М.: Наука, 1987. 4. Клейнрок Л. Теория массового обслуживания. — М.: Машиностроение, 1979. 5. Саати Т. Элементы теории массового обслуживания и ее приложения. М.: Советское радио, 1965. 6. Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, 1964.

СБОРНИК ЗАДАЧ Настоящий «Сборник» продолжает лекционную часть семестрового курса по случайным процессам для экономистов. В нем используются обозначения, терминология, методология решения, наконец, тематическая последовательность материала, принятая в лекциях. Первый параграф «Сборника» соответствует первому параграфу лекций. Параграфы 2–4 «Сборника» охватывают материал, посвященный в лекциях дискретным цепям Маркова с доходами и без доходов; наконец, в §§5–7 предлагаются задачи, относящиеся к непрерывным цепям Маркова и их экономическому приложению. Часть задач имеют достаточно подробные решения; для остальных, как правило, дается или ответ, или подсказка. Многие задачи заимствованы из тех руководств, которые перечислены в списках литературы разделов, без «персональных» ссылок. По мнению автора, примеры и задачи, содержащиеся в обеих частях настоящего пособия, обеспечивают в полном объеме проведение аудиторных и домашних занятий, а также выполнение курсовых работ.

§ 1. Элементарные случайные функции (процессы) 1.1. СП имеет вид ξ (t) = c, где c — неслучайная величина. Найти МО, D и КВФ; является ли СП стационарным? Ответ: M ξ (t) = c, Dξ (t) = Kξ (t, t′ ) = 0; СП стационарен. 1.2. СП имеет вид ξ (t) = α, где α ∈ N m, σ 2 . Найти МО, D, КВФ; является ли СП стационарным? Ответ: M ξ(t) = m, Dξ(t) = Kξ (t, t′ ) = σ 2 ; CП стационарен. 1.3. СП ξ (t) представляет собой неслучайную функцию f (t). Найти МО, D, КВФ, является ли СП стационарным? Ответ: M ξ (t) = f (t) , Dξ (t) = Kξ (t, t′ ) = 0; СП стационарен, если f (t) = const, и нестационарен в противном случае.

§ 1. Элементарные случайные функции (процессы)

1.4. СП имеет вид ξ (t) = f (t) +

n P

135

αi ϕi (t), где f (t) и

i=1

ϕi (t) — неслучайные функции, а αi — независимые СВ с M αi = = 0 и Dαi = σi2 . Найти МО, D и КВФ. n P Ответ: M ξ (t) = f (t), Dξ (t) = σi2 ϕ2i (t), Kξ (t, t′ ) =

=

n P

i=1

i=1

σi2 ϕi (t) ϕi (t′ ).

1.5. Найти МО, D, КВФ и ВКВФ СП ξ (t) = a (t) ξ + b (t) и η (t) = c (t) ξ + d(t), где a (t), b (t), c (t), d (t) — неслучайные функции, ξ — СВ с математическим ожиданием m и дисперсией σ 2 . Решение.

M ξ (t) = a (t) m + b (t) ,

M η (t) = c (t) m + d (t) ,

Dξ(t) = a2 (t) σ 2 , Dη (t) = c2 (t) σ 2 , Kξ t, t′ = cov a (t) ξ + b(t), c t′ η + d t′ = = cov a (t) ξ , a t′ ξ = a (t) a t′ σ 2 ,

Kξη t, t′ = cov a (t) ξ + b (t) , c t′ ξ + d t′ = = cov a (t) ξ , c t′ ξ = a (t) c t′ σ 2 .

1.6. Пусть ξ (t) = α1 cos ω1 t + α2 sin ω1 t и η (t) = β1 cos ω2 t + + β2 sin ω2 t — два СП, где α1 , α2 , β1 , β2 — СВ с МО, равными нулю, дисперсиями, равными соответственно Dαi = 1, Dβi = 4, и корреляционной матрицей, равной

α1



α1

1

   β1  0,5

α2 β2

α2

β1

β2

0,5 1 1

−0,5



−0,5   .  1

Найти ВКВФ и вычислить ее значение при t = 0, t′ = 1.

136

Сборник задач

Решение. Kξη t, t′ = cov α1 cos ω1 t + α2 sin ω1 t, β1 cos ω2 t′ + β2 sin ω2 t′ =

= cos ω1 t cos ω2 t cov (α1 , β1 ) + cos ω1 t sin ω2 t′ cov (α1 , β2 ) +

+ sin ω1 t cos ω2 t′ cov (α2 , β1 ) + sin ω1 t sin ω2 t′ cov (α2 , β2 ) = = cos ω1 t cos ω2 t′ · 0,5 · 1 · 2 + sin ω1 t sin ω2 t′ · (−0,5) · 1 · 2 =

= cos ω1 t + ω2 t′ ;

Kξη t, t′ = cos ω1 t + ω2 t′ |t=0,t′ =1 = cos ω2 .

1.7. СП имеет вид ξ (t) = α cos (ωt − β) , где α ∈ N 0, σ 2 , β ∈ R (0, 2π) — независимые СВ, ω > 0 — неслучайный параметр. Найти МО, D, КВФ; является ли СП стационарным? Решение.

ξ (t) = α cos (ωt − β) = α (cos ωt cos β + sin ωt sin β) = = hU = α cos β , V = α sin βi = U cos ωt + V sin ωt. D Найдем характеристики СВ U и V : предварительно M cos β = M sin β = 0, =

2Zπ 0

M sin2 β = M cos2 β =

1 1 cos2 x dx = 2π 4π

2Zπ

(1 + cos 2x) dx =

0

M sin β cos β = M

2π 1 = , 4π 2

E

1 sin 2β = 0 ⇒ 2

⇒ M U = M αM cos β = 0 ⇒ hаналогичноi ⇒ M V = 0 ⇒ ⇒ DU = M (α cos β)2 = M α2 M cos2 β = σ 2 M cos2 β = ⇒ hаналогичноi ⇒ DV = M (α sin β)2 =

σ2 ⇒ 2

σ2 ⇒ 2

⇒ cov (U , V ) = M U V = M α2 sin β cos β = σ 2 M sin β cos β = 0 ⇒ ⇒ hСВ U и V некоррелированыi ⇒ Dξ (t) =


137

σ2 ⇒ Kξ t, t′ = 2 = cov U cos ωt + V sin ωt, U cos ωt′ + V sin ωt′ = = cov U cos ωt, U cos ωt′ + cov V sin ωt, V sin ωt′ = = cos2 ωtDU + sin2 ωtDV =

= DU cos ωt cos ωt′ + DV sin ωt sin ωt′ =

σ2 cos ω(t′ − t) ⇒ 2

⇒ СП ξ (t) стационарен. 1.8. Рассмотрим СП ξ (t) =

N P

i=0

αi cos (ωi t − βi ), αi ∈ N 0, σi2 ,

βi ∈ R (0, 2π), i = 0, 1, 2, ... , n — независимые СВ. Найти МО, D, КВФ; является ли СП стационарным? Решение. Согласно примеру 1.7 СП ηi (t) = Ui cos ωi t + + Vi sin ωi t имеет некоррелированные СВ Ui и Vi c нулевыми МО, σ2 σ2 дисперсиями, равными , и КВФ Kηi (t, t′ ) = i cos ωi (t′ − t). 2 2 Следовательно, СП ξ (t) как сумма некоррелированных СП имеет n X M ξ (t) = M ηi (t) = 0, i=0

Dξ (t) =

n X

n

Dηi (t) =

i=0

Kξ t, t′ =

n X i=0

1 Kηi t, t′ = 2

и является стационарным процессом. 1.9. СП η (t) =

n P

1X 2 σi , 2 i=0

n X i=0

σi2 cos ωi t′ − t

ai ξi (t) + b, ξi (t) — стационарные некорре-

i=0

лированные СП с M ξi (t) = mi , Dξi (t) = σi2 , Kξi (τ ), где ai , b — неслучайные числа. Найти числовые характеристики СП η (t); является ли он стационарным? n n P P Ответ: M η (t) = ai mi , Kη (τ ) = a2i Kξi (τ ), η (t) — стационарный СП.

i=1

i=0

138


1.10. СП η (t) =

n Q

ξi (t), ξi (t) — независимые стационарные

i=1

СП с M ξi (t) = mi и КВФ Kξi (τ ), i = 1, 2, ... , n. Найти характеристики СП η (t). n n Q Q mi , Kη (τ ) = Kξi (τ ), η (t) — стациоОтвет: M η (t) = i=1

нарный СП.

i=1

1.11. Показать, что СП ξ (t) = cos (t + ϕ) и η (t) = sin (t + ϕ), где ϕ ∈ R (0, 2π), стационарны и взаимно стационарны. Решение.

1 M ξ (t) = 2π

2Zπ

1 cos (t + x)dx = 0, M η (t) = 2π

0

2Zπ

sin (t + x)dx = 0,

0

Kξ t, t′ = M ξ˙ (t) ξ˙ t′ = M cos(t + ϕ) cos t′ + ϕ =

1 M [cos t′ − t + cos t + t′ + 2ϕ ] = 2

′ = t − t = τ , M cos t + t′ + 2ϕ = 0 = =

=

Kξ (τ ) 1 1 1 = cos τ , cos τ ⇒ Dξ (t) = cos 0 = ⇒ r (τ ) = 2 2 2 Kξ (0)

Аналогично определяются

Kξη

1 1 Kη t, t′ = cos τ ⇒ Dη (t) = ⇒ r (τ ) = cos τ , 2 2 t, t′ = M ξ˙ (t) η˙ t′ = M cos (t + ϕ) sin t′ + ϕ = =

=

1 M [sin t′ − t + sin t′ + t + 2π ] = 2

1 1 1 2 sin τ sin t′ − t = sin τ ⇒ rξη (τ ) = q = sin τ. 2 2 1 1 · 2 2

Таким образом, СП ξ (t) и η (t) стационарны и взаимно стационарны.


139

1.12. Найти числовые характеристики СП η (t) = ξ1 cos ωt + + ξ2 sin ωt, где независимые СВ ξ1 и ξ2 подчинены стандартному нормальному закону, а ω — неслучайный параметр. Решение.

′

M η (t) = M ξ1 cos ωt + M ξ2 sin ωt = 0, Dη (t) = Dξ1 cos2 ωt + Dξ2 sin2 ωt = 1,

K t, t = cov[ξ1 cos ωt + ξ2 sin ωt, ξ1 cos ωt′ + ξ2 sin ωt′ ] = = cov ξ1 cos ωt, ξ1 cos ωt′ + cov ξ2 sin ωt, ξ2 sin ωt′ = = cos ωt cos ωt′ + sin ωt sin ωt′ = cos ω t′ − t = rη t, t′ . 2

1.13. Пусть ξ (t) — стационарный СП с КВФ Kξ (τ ) = ae−bτ , где a > 0, b > 0 — константы. Найти КВФ СП η (t) = cξ (t), где c > 0 — константа. 2 Ответ: K (t, t′ ) = ac2 e−bτ . 1.14. Являются ли стационарными СП ξ (t) и η (t) = ξ˙ (t), если ξ (t) = t + α sin t + β cos t, где НОР СВ α и β имеют нулевые математические ожидания? Решение. M ξ (t) = t ⇒ СП ξ (t) не является стационарным, ξ˙ (t) = α sin t + β cos t ⇒ M ξ˙ (t) = 0 ⇒ ⇒ Kξ˙ t, t′ = cov α sin t + β cos t, α sin t′ + β cos t′ = = cov α sin t, α sin t′ + cov β cos t, β cos t′ =

= σα2 sin t sin t′ + σβ2 cos t cos t′ = = hσα = σβ = σi = σ 2 cos t′ − t ⇒ СП ξ˙ (t) стационарен.

1.15. Являются ли СП ξ (t) = −α sin t + β cos t и η (t) = = α cos t + β sin t стационарными и взаимно стационарными, если α и β — некоррелированные СВ с нулевыми математическими ожиданиями и единичными дисперсиями. Решение. Kξ t, t′ = cov −α sin t + β cos t, −α sin t′ + β cos t = = cov −α sin t, −α sin t′ + cov β cos t, β cos t′ =

140


= sin t sin t′ Dα + cos t cos t′ Dβ = cos t′ − t ⇒ hаналогичноi ⇒ ⇒ Kη t, t′ = cos t′ − t ⇒ оба СП стационарны; Kξη t, t′ = cov −α sin t + β cos t, α cos t′ + β sin t′ = = cov −α sin t, α cos t′ + +cov β cos t, β sin t′ = = − sin t cos t′ + cos t sin t′ = sin t′ − t ⇒

⇒ СП взаимно стационарны.

1.16. Найти числовые характеристики СП η (t) = ξ (t) + ϕ (t) и γ (t) = ξ (t) ϕ (t) , если ξ (t) — СП, а ϕ (t) — детерминированная функция. Решение.

M η (t) = mξ (t) + ϕ (t) ,

M γ (t) = mξ (t) ϕ (t) ,

Kη t, t′ = cov ξ (t) + ϕ (t) , ξ t′ + ϕ t′ = Kγ

= cov ξ (t) , ξ t′ = Kξ t, t′ , t, t′ = cov ξ (t) ϕ (t) , ξ t′ ϕ t′ = ϕ (t) ϕ t′ Kξ t, t′ ,

Kηγ t, t′ = cov ξ (t) + ϕ (t) , ξ t′ ϕ t′ = = cov ξ (t) , ξ t′ ϕ t′ = ϕ t′ Kξ t, t′ .

1.17. Определить числовые характеристики СП η (t) = = a (t) ξ (t) + b (t) , если a(t) и b(t) — детерминированные функции, а Kξ (t, t′ ) и mξ (t) заданы. 1.18. Определить КВФ СП ξ (t) =

n P

i=1

(αi cos it + βi sin it), ес-

ли αi и βi — независимые СВ, M αi = M βi ∀ i, Dαi = Dβi = σi2 ∀ i. Является ли СП ξ (t) стационарным? n P Ответ: Kξ (t, t′ ) = σi2 cos i (t′ − t) . i=1

§ 2. Построение дискретных марковских моделей

141

1.19. Найти числовые характеристики СП ξ (t) = e(α+β)t , если (α, β) ∈ N N m1 , m2 , σ12 , σ22 , r . 1.20. Найти числовые характеристики СП ξ (t) = αt (1 + αt), если α ∈ R(0, 1).

1.21. Найти числовые характеристики СП ξ (t) = α2 cos 2t + + β sin t, если (α, β) ∈ N N (0, 0, 1, 1, 0) . 1.22. Даны два СП ξ1 (t) = α1 cos2 ω1 t + α2 sin2 ω2 t и ξ2 (t) = = β1 cos2 ω2 t + β2 sin2 ω2 t, где СВ αi , βi имеют нулевые математические ожидания, единичные дисперсии и коэффициенты корреляции, равные    0,5, i = j = 1, r (αi , βj ) = −0,5, i = j = 2,   ij = 2. 0,

1.23. Пусть ξ (t) и η (t)некоррелированные СП с 2 ′ ′ mξ (t) = t2 , Kξ t, t′ = ea(t+t ) ; mη (t) = 1, Kη t, t′ = eb(t −t) . Найти КВФ СП γ (t) = ξ (t) + tη (t) + cos t.

1.24. Пусть ξ (t) и η (t) −некоррелированные СП с 2 ′ mξ (t) = t, 5Kξ t, t′ = tt′ ; mη (t) = −t, Kη t, t′ = tt′ ea (t+t ) .

Найти МО и КВФ СП γ (t) = t2 [ξ (t) + η (t)]. Как изменится КВФ СП γ (t), если СП ξ (t) и η (t) — коррелированные с ВКВФ ( 1 − |t′ − t|, |t′ − t| < 1, ′ Kξη t, t = 0, |t′ − t| > 1?

§ 2. Построение дискретных марковских моделей Во всех задачах этого параграфа требуется построить ГС и МВП, а также финальные ВВС и МВП. 2.1. Рассмотрим производственную линию, где каждая единица выпускаемой продукции с вероятностью p является

142


бракованной. Процедура контроля качества изделий состоит из двух этапов. На первом проверяется каждое изделие, пока не появятся a годных изделий подряд. Тогда реализуется второй этап контроля, который состоит в следующем. Из каждых b последующих изделий наугад выбирается одно и проверяется. Если оно будет годным, то второй этап повторяется, в противном случае контроль осуществляется по правилам первого этапа. Решение. Введем в рассмотрение два состояния: i = 1 (i = 2) соответствует первому (второму) этапу контроля. Тогда РГС примет вид, представленный на рис. 56. Эта цепь является неприводимой регулярной с МВП



P =

1 − (1 − p)a (1 − p)a 1−

1−p b

1−p b

1−(1−p)a 1−(1−p)a

1

2



.

1 (1−p) b

1 1− (1−p) b Рис. 56

Строим неподвижный для матрицы P стохастический вектор π в результате решения системы уравнений

  πP = π , N P ⇒ hв данном случаеi ⇒  πi = 1 i=1

  π (1 − p)a + π 1 − p = π , 1 2 2 b ⇒ ⇒ hиз первого уравненияi ⇒  π1 + π2 = 1 1−p b π ⇒ hиз нормировочного условияi ⇒ ⇒ π1 = (1 − p)a 2 1−

143




−1 1−p 1−  b + 1 ⇒ π2 =   ⇒ hфинальный ВВСi ⇒ (1 − p)a

  −1  −1  1−p 1−p 1−p 1−  1 − b  1 − b    b + 1 ⇒ π = + 1 ,        a a  (1 − p)a ⇒ (1 − p) (1 − p) π π

⇒ hфинальная МВПi Π =

!

.

2.2. Рассматривается процесс перекладывания игральной кости с одной грани равновероятно на любую из четырех соседних. Решение. Пусть номер грани есть состояние дискретной модели этого процесса (N = 6). Для каждой грани соседними являются четыре грани, отличные от противоположной, т. е. для первой — отличные от шестой, для второй — отличные от пятой, наконец, для третьей — отличные от четвертой (рис. 57). Следовательно, моделирующая цепь имеет ГС, представленный на рис. 58, и МВП с элементами ( 0, i = j , j = 7 − i, 1 6 i, j 6 6; pij = 1 /4 иначе. Цепь является неприводимой регулярной с бистохастической МВП ⇒ π = 1/4 ∀ i. 1 2

1

2

5

3

4

3

6 Рис. 57

Рис. 58

144


2.3. Вычислительный центр (ВЦ) состоит из трех идентичных ЭВМ. Каждая из них с вероятностью p = 0,2 выходит из строя и восстанавливается с вероятностью q = 0,7. В процессе своего функционирования ВЦ может оказаться в одном из четырех состояний i ∈ {0, 1, 2, 3}, где i — число работающих ЭВМ. На одном и том же шаге одни ЭВМ могут выйти из строя, а другие — восстановиться. Ответ: ГС — см. рис. 59, вероятности перехода равны

p2j

p1j

p3,j       =     

= C33−j p3−j (1 − p)j ,

j = 0, 1, 2, 3;

p2 (1 − q),

j = 0,

(1 − q)C21 p(1 − p) + p2 q , (1 − p)(1 −

q)2

+

qC21 p(1

(1 − q)2 q ,

j = 1, − p),

 p(1 − q)2 ,      (1 − p)(1 − q)2 + pC 1 q(1 − q), 2 = 1 q(1 − q) + pq 2 ,  ( 1 − p)C  2    2 (1 − p)q , p0j = C3j q j (1 − q)3−j ,

j = 2, j = 3; j = 0, j = 1, j = 2, j = 3;

j = 0, 1, 2, 3.

0

1

3

2 Рис. 59

2.4. Имеются два набора по три монеты. В первом наборе все монеты имеют вероятность выпадения герба p1 , во втором — p2 . Бросается один набор; если выпало хотя бы два герба, то в следующий раз бросается тот же набор, в противном случае — другой.


145

Решение. Моделирующая цепь имеет четыре состояния: i = 1 (i = 3), если выпало менее 2Г (двух гербов) при бросании первого (второго) набора; i = 1 (i = 4), если выпало не менее 2Г при бросании первого (второго) набора. На рис. 60 приведен ГС ⇒ цепь является неприводимой регулярной. 1

2

3

4 Рис. 60

Для построения МВП найдем вероятности введенных выше событий:  1 X     C3i p1i (1 − p1 )3−i , P1 = P {i = 1} =     i=0    3  X    C3i p1i (1 − p1 )3−i ,  P2 = P {i = 2} =   i=2

1  X    P = P {i = 3 } = C3i p2i (1 − p2 )3−i ,  3    i=0     3  X    C3i p2i (1 − p2 )3−i ;   P4 = P {i = 4} =

i=2

тогда для МВП получим  0 0 P3 1 − P3   P1 1 − P1 0 0  P =  P1 1 − P1 0 0  0 0 P3 1 − P3



   .  

146


Неподвижный вектор легко получить из системы уравнений:  1   π , = 1   1 − P1 1 − P3    2+ +   P1 P3   (π2 + π3 )P1 = π1 ,          (π2 + π3 )(1 − P1 ) = π2 ,  1 − P1 π1 , ⇒ π2 = P 1  (π1 + π4 )P3 = π3 ,          π3 = π1 ,    π1 + π2 + π3 + π4 = 1      1 − P3   π4 = π1 . P3

2.5. Подбрасывается правильная монета (Г — герб, Ц — цифра) и рассматриваются исходы (Г,Г), (Г,Ц), (Ц,Г), (Ц,Ц) в двух последовательных опытах. Если в (n, n + 1)-х опытах имел место, например, исход (Г,Ц), то в (n + 1, n + 2)-х опытах возможны лишь исходы (Ц,Ц) или (Ц,Г), аналогично и в других случаях. Ответ: РГС представлен на рис. 61. 1/2

1/2

Ö

1/2 1/2

1/2

ÖÖ 1/2

1/2

1/2

Ö

Рис. 61

2.6. Семь школьников играют в мяч: первый бросает его второму, второй — наугад третьему или седьмому, третий — наугад первому, второму или седьмому, четвертый — первому, пятый — наугад одному из первых четырех, шестой — наугад второму или седьмому, наконец, седьмой — наугад одному из игроков с четным номером.

147


2.7. Модель восполнения запасов. Рассматривается система, в которой запасается товар с целью удовлетворения случайного спроса, имеющего распределение, представленное в табл. 2.1. Т а б л и ц а 2.1

x

0

1

2

3

4

5

p (x)

0,05

0,15

0,25

0,25

0,20

0,10

В исходном состоянии запас равен 5 и расходуется на протяжении шага в соответствии со спросом. К началу каждого шага запас восполняется до исходного уровня. Ответ: см. Ö рис. 62. ÖÖ Ö 0,05 1 1 0,15

4

0,10

5

1

1

1

0,25 0,25

0,20

1

3

2

0

Рис. 62

2.8. Рассматривается игра двух лиц M (с капиталом в m ставок) и K (с капиталом в k ставок). На каждом шаге игры M выигрывает одну ставку с вероятностью p и проигрывает с вероятностью q = p − 1. Текущее состояние игры i = 0, 1, 2, ... m + + k равно текущему капиталу игрока M . Игра продолжается до состояния i = 0 (разорение M ) или i = m + k (разорение K ). Задача имеет ряд вариантов (табл. 2.2). Т а б л и ц а 2.2 № варианта

m

k

p

1

2

3

0,5

2

1

4

0,6

3

4

1

0,5

148


Ответ (для варианта 1): РГС — см.  1 0 0 0 0 Ö  ÖÖ  0,616 0 0 0 0  Ö  0,360 0 0 0 0 Π=  0,190 0 0 0 0    0,076 0 0 0 0 0 0 0 0 0 1

0,4

0

рис. 63, матрица  0 0,384    0,640  . 0,810    0,924  1

0,6

1 0,4

1

2

5 0,4

0,6

0,4

3

4

0,6

0,6 Рис. 63

2.9. Система обслуживания. Клиенты поступают в систему обслуживания в моменты времени 0,1,2,. . . и обслуживаются одним мастером по очереди. За один шаг обслуживается один клиент. Если в системе находится i клиентов, то на очередном шаге в систему поступит j новых клиентов с условной вероятностью, заданной табл. 2.3. Т а б л и ц а 2.3

PP PP j PP i P

0

1

2

3

4

5

0

0

0,2

0,2

0,3

0,2

0,1

1

0

0,3

0,4

0,2

0,1

2

0,1

0,4

0,3

0,2

3

0,2

0,5

0,3

4

0,5

0,5

5

1,0

Ö ÖÖ Ö

149


Ответ: РГС — см. рис. 64. 0,3

0 0,1

0,2 0,2

1 0,2

0,3

5

4 0,5

0,1

0,1

0,2

1

0,4

2

0,2 0,3 0,3 0,5

3

0,4

0,2

0,5

Рис. 64

2.10. Мобильность профессий при смене поколений. Рассмотрим шесть вузов: технический, металлургический, педагогический, нефтяной, физический и экономический. Дети выпускников педагогического и нефтяного институтов с вероятностью 1 поступают в те же учебные заведения. 60 % детей металлургов идут по стопам своих родителей, остальные предпочитают технический вуз. Только 19 % детей выпускников последнего стремятся получить высшее техническое образование, остальные считают более перспективными, причем в равной мере, нефтяной, физический и экономический институты. 50 % детей как физиков, так и экономистов сохраняют преемственность профессий, остальные уже подали заявления в экономический и педагогический вузы соответственно. 2.11. Некий коммивояжер (К) совершает деловые поездки из города 0 по следующим маршрутам. Прежде всего, из города 0 он посещает либо город 1, либо 2; из города 1 путь К лежит либо в город 3, либо в 4; из города 2 К едет либо в город 4, либо в 5; из городов 3, 4, 5 К возвращается в город 0. При этом поездки 0 ⇒ 2, 1 ⇒ 3, 2 ⇒ 4, осуществляются в том случае, если при бросании двух, четырех или шести монет выпадают два, три или четыре герба соответственно. Второй вариант этой задачи отличается от первого незначительно: из городов 3 и 5 К возвращается в город 0 через город 4. Ответ: для первого варианта задачи моделирующая цепь — неразложимая циклическая, для второго варианта — неразложимая регулярная.

150


2.12. У профессора имеются пять излюбленных вопросов, один из которых он задает на каждом экзамене. Если в прошлый раз он задал вопрос 1 или 2, то в этот раз он не задает эти вопросы, а бросает две игральные кости: если выпадет хотя бы одна единица, то он задает вопрос 3, если же выпадут четные цифры, то вопрос 4. Если в прошлый раз профессор задал один из вопросов 3, 4, 5, то в этот раз он снова бросает две игральные кости и задает вопрос 1, если Ö сумма выпавших цифр — четная. ÖÖ второй вариант задачи, когда профессор задает Возможен Ö вопрос, выбранный наугад из множества возможных. Ответ: МВП для первого и второго вариантов имеют вид соответственно     11/36 9/36 16/36 1 /3 1 /3 1 /3   11/36 9/36 16/36  1 /3 1 /3 1 /3       ,  .  1 /2 1 /2   1 /2 1 /2  1 /2 1 /2 1 /2 1 /2 2.13. A и B играют в шахматы несколько партий. A выигрывает одну партию с вероятностью p и проигрывает с вероятностью q = p − 1. Игра продолжается до тех пор, пока один из игроков не выиграет две партии. Ответ: РГС представлен на рис. 65. 0-0

p

q

1-0

0-1

q

p

q

p

1-1

0-2

q

2-0

p

1

1 2-1

1-2

1

1 Рис. 65

Ö ÖÖ Ö

151


2.14. На поверхности пруда плавают шесть листьев с номерами 1,2,. . ., 6. На i-м листе сидит лягушка и раз в минуту перепрыгивает на другой лист. С внутренних листов (2, 3, 4, 5) она перепрыгивает на соседние i − 1 или i + 1 с равными вероятностями. С внешних (i = 1, 6) она перепрыгивает на один из листов противоположной четности также с равными вероятностями. Ответ: РГС – см. рис. 66. 1/2

1

1/2

2

1/3

3

1/2

1/3 1/3

1/3

6

1/2

1/3 1/2

5

1/3

1/2

1/2

4

1/2 Рис. 66

2.15. Идет борьба трех конкурентов A, B , C . A устраняет любого из своих противников с вероятностью 2/3, B — с вероятностью 1/2, C — с вероятностью 1/3. Каждый конкурент пытается устранить наиболее сильного (в смысле этих вероятностей) противника. Все эти попытки они производят одновременно. Побежденный конкурент выбывает из дальнейшей борьбы. Подсказка: под состоянием процесса борьбы можно понимать множество действующих конкурентов: ∅, A, B , C , (A, B ), (A, C ), (B , C ) (A, B , C ). Ответ: рис. 67.

∅

A

B

A, C

C

B, C

A, B , C

Рис. 67

2.16. Рассматривается система с N возможными состояниями. Из состояния i возможен переход в одно из состояний j противоположной четности с вероятностью, пропорциональной номеру j .

152




Подсказка: pij = cj , c = 

X

j 6N

 −1

j  , где сумма берется

по четным j , если i — нечетное число, и наоборот.

2.17. Задача о разборчивой невесте. Невеста знакомится последовательно с N женихами. Познакомившись с i-м женихом, она с вероятностью pi выходит замуж, т. е. переходит в (N + 1)-e состояние, а с вероятностью qi = 1 − pi навсегда отвергает его предложение и знакомится с (i + 1)-м, если i 6 N − 1. Развод и повторное замужество считаются аморальными. Если невеста отвергает предложение N -го q1 q2 q3 q4 жениха, то она переходит 3 2 4 5 1 в (N + 2)-е состояние «вечной свободы». Задача имеет два варианта: p2 p3 p4 p5 p1

q5 6

N = 5,

N = 5, pi = i/(N + 1), i = 1, 2, ... N.

7

1

pi = 0,5 ∀ i;

1 Рис. 68

Ответ: рис. 68.

2.18. Напитки на завтрак. Некий человек пьет на завтрак один из следующих напитков: кефир, молоко, чай, какао, кофе, сок. Он не пьет один и тот же напиток два дня подряд; более того, на следующий день после молока он не пьет ни кефир, ни сок, после кофе для него запретны чай, кефир и молоко, после сока — кефир. Один из возможных напитков он выбирает наугад. Решение. Если под состоянием моделирующей цепи понимать тип утреннего напитка, то ее МВП примет вид i\j 1 2 3 4 5 6

      

1

2

3

0 1 /5 1 /5 0 0 1 /3 1 /5 1 /5 0 0 0 0 0 1 /4 1 /4

4

1 /5 1 /3 1 /5 1 /2 1 /4

5

6

 1 /5 1 /5 1 /3 0  .  1 /5 1 /5   0 1 /2  1 /4 0

Возможен второй вариант этой задачи. Множество напитков разбивается на три группы: (1), (2,3,4), (5,6). После напитков первой


153

группы человек пьет один из напитков второй, после второй — третьей, после третьей — один из напитков первой группы. Ответ для первого варианта: рис. 69. 2

1

3

6

5

4 Рис. 69

2.19. В двух урнах размещены N черных и N белых шаров так, что каждая содержит N шаров. Шары перенумерованы. Из каждой урны наугад извлекают по одному шару и меняют их местами. Состоянием в моделирующей ДЦМ является число белых шаров в первой урне. Решение. Найдем условные вероятности pjk следующих событий: в первой урне после перекладывания оказалось k белых шаров, если до перекладывания в этой урне находилось j белых шаров 0 6 j , k 6 N . Пусть (j , N − j) — состав белых и черных шаров в первой урне, тогда во второй урне состав имеет вид (N − j , j). Возможны три результата перекладывания шаров: • в первой урне j → j + 1, что возможно в единственном случае, когда из второй урны в первую переложили белый шар, а из первой во вторую черный, тогда N −j 2 pi,j+1 = ; N

• в первой урне j → j − 1, что возможно также в единственном случае, когда из второй урны в первую переложили черный шар, а из первой во вторую белый, тогда 2 j pi,j−1 = ; N • в первой урне j → j . Вероятность этого события проще всего найти как вероятность противоположного события (j → j + 1) ∪ (j → j − 1), т. е.

154


pj ,j = 1 −

j N

2

−

N −j N

2

=

2j(N − j) , N2

j = 0, 1, 2, ... N.

Полагая N = 5,получим так называемый процесс случайного блуждания с отражающими экранами. ГС представлен на рис. 70, а МВП имеет вид j\k 0



   2 P = 3   4 1

5

0

0

1

2

3

4

5

0 1 0 0 0 0 1/25 8/25 16/25 0 0 0 0 4/25 12/25 9/25 0 0 0 0 9/25 12/25 4/25 0 0 0 0 16/25 8/25 1/25 0 0 0 0 1 0

1

3

2

4



    .   

5

Рис. 70

Данная цепь является неприводимой регулярной; финальный ВВС (неподвижный вектор матрицы P ) определяется из системы уравнений  1/25 · π1 = π0 ,        π0 + 8/25 · π1 + 4/25 · π2 = π1 ,    16/25 · π + 12/25 · π + 9/25 · π = π , 1 2 3 2  4 / 25 · π + 8 / 25 · π + π = π ,  4 4 3 5     1/25 · π4 = π5 ,     π0 + π1 + π2 + π3 + π4 + π5 = 1.

2.20. N шаров один за другим наугад размещаются по N урнам. Пусть i — число занятых урн после размещения очередного шара, i = 0, 1, 2, ... N .

Решение. Найдем вероятности перехода i → j . Из состояния i возможны переходы, во-первых, в состояние i + 1, если


155

очередной шар попал в пустую урну, и, во-вторых, в состояние i, если очередной шар попал в занятую урну. Очевидно,

N −i i , i = 0, 1, 2, ... N − 1; pi,i = , i = 0, 1, 2, ... N. N N РГС представлен на рис. 71, цепь является моноэргодической поглощающей. pi,i+1 =

1/N 1

0 1

2/N

N

2 N −1 N

1

N −2 N Рис. 71

2.21. В урне содержатся два неокрашенных шара. В последовательные моменты времени t0 < t1 < t2 < ... извлекается один шар, окрашивается в белый или черный цвет и возвращается в урну. Если шар не был окрашен, то выбор цвета случаен, если же был окрашен, то цвет меняется. Подсказка: • принять за состояние моделирующей цепи тройку чисел (x, y , z), где x, y , z — числа неокрашенных, белых и черных шаров соответственно, x + y + z = 2; • из состояний (0,0,2) и (0,2,0) возможен переход только в состояние (0,1,1) с вероятностью 1; • из состояния (0,1,1) возможны переходы только в состояния (0,0,2) и (0,2,0) с вероятностями 1/2; • из состояния (1,1,0) возможны переходы в состояния (0,2,0) и (0,1,1) с вероятностями 1/4 и в состояние (1,0,1) с вероятностью 1/2 и т. д. 2.22. В урне содержатся M белых и N черных шаров. Из нее наугад извлекаются n шаров и отбрасываются. Эксперимент продолжается снова и снова, пока в урне не останется менее n шаров. Рассмотреть два варианта: M = 5, N = 3, n = 2; M = 8, N = 5, n = 3. Подсказка: • в качестве состояния моделирующей цепи принять состав шаров в урне после очередного извлечения; • для определения вероятностей перехода из состояния в состояние воспользоваться формулой гипергеометрического распределения, согласно которой вероятность извлечь m белых

156


и (n − m) черных шаров из урны, содержащей S шаров, в том C m C n−m числе T белых, равна T nS−T . CS 2.23. В двух урнах 1 и 2 размещены N шаров. На каждом шаге рассматриваемого процесса наугад выбирается один шар. Этот шар помещается в урну 1 с вероятностью p или в урну 2 с вероятностью q = 1 − p. Решение. Под состоянием моделирующей цепи будем понимать i — число шаров в урне 1, 0 6 i 6 N . Пусть в урнах 1 и 2 размещено соответственно i и (N − i) шаров. Чтобы осуществить N −i переход i → i + 1, нужно с вероятностью выбрать шар N из урны 2 и с вероятностью p поместить его в урну 1⇒ pi,i+1 = i N −i = p. Чтобы перейти i → i − 1, нужно с вероятностью N N выбрать шар из урны 1 и с вероятностью q поместить его в урну i q . Тогда 2 ⇒ pi,i−1 = N i N −i i N −i pi,i = 1 − pi,i−1 − pi,i+1 = 1 − q − p= p+ q. N N N N Для N = 5 РГС представлен на рис. 72. Моделирующая цепь является неприводимой регулярной. 1 q 5

q

2 q 5

1

0 p

1 4 p+ q 5 5

4 p 5

4 q 5

3 q 5

2

3

3 p 5

2 3 p+ q 5 5

3 2 p+ q 5 5

2 p 5

q

4

1 p 5

5

p

4 1 p+ q 5 5

Рис. 72

2.24. В двух урнах 1 и 2 размещены N шаров. На каждом шаге рассматриваемого процесса бросается монета с вероятностью выпадения герба p. При выпадении Г извлекается шар из урны 1, в противном случае шар извлекается из урны 2. Затем снова бросается та же монета и при выпадении Г извлеченный шар помещается в урну с четным числом шаров, в противном случае — в урну с нечетным числом шаров. Подсказка: • состояние i = число шаров в урне 1, 0 6 i 6 N , при i = 0, N процесс перекладывания шаров обрывается;

157


• pi,i+1 = pi,i =

(

(

pq , q2,

i четно, i нечетно;

pi,i−1 =

(

pq ,

i четно,

p2 ,

i нечетно;

p2 + q 2 , i четно, 2pq ,

i нечетно.

2.25. В двух урнах 1 и 2 размещены N шаров. На каждом шаге рассматриваемого процесса выбирается урна 1 с вероятностью p1 = i/N или урна 2 с вероятностью p2 = (N − i)/N , где i (N − i) — число шаров в урне 1 (в урне 2). Из выбранной урны наугад извлекается шар и помещается в одну из этих урн с теми же вероятностями. Решение. Пусть i = число шаров в урне 1 = состояние моделирующей цепи (0 6 i 6 N ), найдем вероятности переходов i → j . Чтобы перейти i → i + 1, нужно выбрать урну 2 (с вероятностью p2 ) и извлеченный из нее шар положить в урну 1 i(N − i) (с вероятностью p1 ) ⇒ pi,i+1 = p1 p2 = . Чтобы перейти N2 i → i − 1, нужно выбрать урну 1 и извлеченный из нее шар положить в урну 2; очевидно, pi,i−1 = pi,i+1 ⇒ pi,i = 1 − pi,i+1 − pi,i+1 =

i(N − i) i2 + (N − i)2 = . N2 N2 На рис. 73 приведен (при N = 5) РГС процесса случайного блуждания с поглощающими экранами. Цепь является полиэргодической поглощающей. Матрица поглощения имеет вид =1−2

P =

i\j

0

5

1

0,8 0,6 0,4 0,2

0,2 0,4 0,6 0,8



   3 2 4



.   

В задачах 2.26–2.29 рассматривается блуждание пешехода по улицам незнакомого города. Он идет от перекрестка к перекрестку, где направление дальнейшего движения выбирает наугад. Схемы городов представлены на рис. 74–77. Состоянием моделирующей цепи является номер перекрестка, которому на ГС соответствует вершина. Каждому отрезку пути пешехода между соседними перекрестками на ГС соответствует дуга

158

Сборник задач 4/25

6/25

1

0

1

4/25

6/25

3

2 6/25

17/25

6/25 13/25

4/25

4

1

5

4/25 13/25

17/25

Рис. 73

с двумя стрелками на концах (что позволяет вдвое сократить число дуг и тем самым значительно упростить граф без потери его информативности). Таким образом, ГС цепи, моделирующей процесс случайного блуждания пешехода по городским улицам, практически совпадает со схемой города. 2.26. См. рис. 74.

1

2 3 5

4

6

7 9

8 Рис. 74

Решение. МВП имеет вид i\j



P =

1

2

3

4

5

1 /3 1 /3 1 /3 1  1 /4 1 /4 2  1 /4  1 /4 1 /4 1 /4 1 /4 3  1 /4 1 /4 4  1 /4   1 /6 1 /6 1 /6 5  1 /4 1 /4 6  7 1 /4   8 9

6

7

8

9

1 /4

1 /6 1 /6 1 /4 1 /4 1 /3 1 /3 1 /4 1 /4 1 /4

1 /4 1 /6 1 /4 1 /4 1 /4 1 /3 1 /4



      .        

Эта цепь является неприводимой и регулярной. Действительно, применяя алгоритм построения последовательности ЦП КЭ, получаем пересечение


159

(1) → (2, 3, 4) → (1, 2, 3, 4, 5, 6, 9) → → hпересечение с предшествующими множествамиi → → (1, 2, 3, 4, 5, 6, 9) → (1, 2, ... , 9) → (1, 2, ... , 9) ⇒ ⇒ (1, 2, 3, 4, 5, 6, 9) ⇒ hсовпадение с одним из предшествующих множествi ⇒ hодин подклассi. 2.27. См. рис. 75.

Рис. 75

2.28. См. рис. 76.

Рис. 76

2.29. См. рис. 77.

Рис. 77

В задачах 2.30–2.33 рассматривается процесс случайного блуждания мыши в лабиринте. Лабиринт представляет собой совокупность ячеек — плоский аналог пчелиных сот, но в отличие от сот некоторые пары ячеек могут иметь односторонние или двусторонние проходы. Посаженная в одну из ячеек, мышь

160


наугад выбирает один из проходов (если он имеется) и перебегает во вторую, из второй в третью ячейку и т. д. Лабиринт задается схемой (см. рисунки к примерам), на которой изображены N ячеек со стрелками, пересекающими те их смежные стенки, в которых существуют проходы. Процесс перемещения мыши моделируется ДЦМ. Ее ГС состоит из N вершин, взаимно однозначно соответствующих ячейкам лабиринта. Вершины i и j связаны дугой i → j , если из ячейки i возможен переход в ячейку j . Вероятность перехода равна для всех j , для которых существует дуга i → j , pij = = 1/ki , где ki — число дуг, исходящих из вершины i. Переходя к примерам, заметим, что схемы лабиринтов представлены на рис. 78, 80–82. 2.30. См. рис. 78. 4

5

1

8

9

6

3

7

2

Рис. 78

Данному лабиринту соответствует РГС на рис. 79. Имеем полиэргодическую поглощаюшую цепь с четырьмя поглощающими состояниями. МВП в канонической форме имеет вид i\j

1

1

1



2

3

4

 1   1 3  1 4  P =  1 /3 5  1 /3  6  1 /3 1 /3  7 1 /3 1 /3  8 1 /3 1 /3 2

9

5

6

7

8

9

1 /3 1 /3 1 /3 1 /3 1 /4 1 /4 1 /4 1 /4



      .        

161


4

5

1

8

9

6

3

7

2

Рис. 79

Здесь:

Sc = {1, 2, 3, 4},

Sн = {5, 6, 7, 8, 9},

T = {pij : i ∈ Sс , j ∈ Sс }, R = {pij : i ∈ Sн , j ∈ Sc }, Q = {pij : i ∈ Sн , j ∈ Sн }, 0 = {pij : i ∈ Sс , j ∈ Sн }; i\j 5

R(n) −−−→ B = n→∞



   7  8 6

9

1

0,417 0,417 0,417 0,083 0,25

2

0,083 0,417 0,083 0,083 0,25

3

0,083 0,083 0,417 0,417 0,25

4

0,417 0,083 0,083 0,417 0,25



 ,    

где T , R, Q, 0 — блоки МВП, B — матрица вероятностей поглощения. 2.31. См. рис. 80.

Рис. 80 6 Г.А. Соколов

162


2.32. См. рис. 81.

Рис. 81

2.33. См. рис. 82.

Рис. 82

Следующие четыре задачи описаны Феллером и представляют собой частные случаи урновой модели Пойа: урна содержит b черных и r красных шаров. Из урны извлекается один шар и возвращается обратно, причем в урну добавляется c шаров того же и d шаров противоположного цвета. Затем снова производится случайное извлечение и повторяется тот же процесс. В результате получаем цепь ξn , n = 1, 2, ... , где n — номер извлечения. Эта цепь не обязана быть марковской. Например, пусть ξn = 1, если шар, извлеченный на n-м шаге, оказался черным, и ξn = 0 в противном случае, тогда:

P {ξn = 1 | ξn−1 = 1, ξn−2 = 1} =

b−2 , b+r−2

§ 3. Анализ структуры дискретных цепей

P {ξn = 1 | ξn−1 = 1, ξn−2 = 0} =

163

b−2 , b+r−2

т. е. наша условная вероятность зависит от предпредыдущего шага, следовательно, цепь ξn не является марковской. В то же время аналогичная проверка двумерной цепи (ξn , ηn ), n = 1, 2, ... , где ξn (ηn ) — число черных (красных) шаров в урне после n-го извлечения, свидетельствует о ее марковости. Читателю рекомендуется продолжить решение этого примера в рамках задачи 2.34. Заметим, что во всех последующих задачах возможны ситуации, когда процесс извлечения шаров обрывается, это — когда значение цепи ξn или ηn при некотором n становится равным нулю или когда объем урны ограничен числом C и при некотором n значение суммы ξn + ηn становится равным этому числу. 2.34. b = r = 2, c = −1, d = 0. 2.35. b = 2, r = 3, c = −1, d = 1 (модель миграции населения). 2.36. b = 3, r = 5, c = 1, d = 0, C = 12 (модель эпидемии). 2.37. b = 3, r = 5, c = 0, d = 1, C = 12 (модель службы безопасности).

§ 3. Анализ структуры и предельного поведения дискретных цепей ДЦМ в данном параграфе задаются ГС без указания вероятностей перехода. Для одних задач используется явная форма представления ГС, для других — матрица смежности A = (aij ) где aij = 1, если существует дуга i → j , и aij = 0 в противном случае. По ГС следует выполнить полный структурный анализ цепи, включая построение множества существенных состояний, их разбиение на КЭ и структурный анализ каждого КЭ, определение типа цепи и самостоятельный выбор МВП с ее записью в канонической форме. Анализ предельного поведения цепи включает построение финальной МВП, самостоятельный выбор вектора начальных вероятностей и определение векторов вероятностей состояний. 6*

164


3.1. 

3.2.

1 2 3 4 5 6 7 8 9 10

 1  2 1 1 1    3 1 1 1     4 1     1 5    1 1 1 1  6   1 1 1 7     8   1  9 1 10 1



1 1 1 1 1 1



3.5. 1



10

10

1 1 1 1 1 1 1

1 1 1 1 1

                 



1

1 2 3 4 5 6 7 8 9 10

1



 1      3 1    41 1 1 1 1    1 1 1 1 51 1    1 6    1 1  7     1 8     1 9 1 1 10 2

3.6.

1 2 3 4 5 6 7 8 9 10

1

 1   3 1  4  1 5  6   7  1 1 8   1 9 2

1 1

3.4.

1 2 3 4 5 6 7 8 9 10

     3 1      4     5     1 6  1 1 1  1 7    1 1 1 1  8    1 9 1 10 2

1 2 3 4 5 6 7 8 9 10

   3  4  1 1 5  1 6   1 7  8 1  9 2

3.3. 1



1

1 1 1 1 1 1 1 1 1

1 1



       1         1

1



   3  4  5  6   7  8  9 2

10

1 2 3 4 5 6 7 8 9 10

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

                 

165


3.7. 

1

3.8.

1 2 3 4 5 6 7 8 9 10

1

1

   1 3 1  4 1  5 1  1 1 6   7  8  1 9 1 10 2



        1  1   1   1    1 1

3.9. 

1

1

1 1

10



   3  4  5  6   7  8  9 2

10

1



      1   1    1      1 1

1



1



   3  4  5  6   7  8  9 2

1 2 3 4 5 6 7 8 9 10

1 1 1 1

1 1 1 1

1

1 1 1 1 1

10



     1  1   1     1   1 1 1

3.12.

1 2 3 4 5 6 7 8 9 10

1 1

1

1 1 1 1 1

1 1

1 1

1 1 1 1

1 2 3 4 5 6 7 8 9 10

 1  1     3 1    4 1 1 1   1 1 1 1 1  5    1 6     1 1 7     1 8   1 1  9 1 10 2

3.11. 1



3.10.

1 2 3 4 5 6 7 8 9 10

   1 3  4 1 1   1 5  1 6   7  1 8 1 1   9 2

1

1



         1     1   



1 2 3 4 5 6 7 8 9 10

 1  2 1 1 1    3 1     4 1    1 1 1 1 1 5    1 1 1 6     1 7     1 8     1 9 1 10 1

166


3.13. 

1

3.14.

1 2 3 4 5 6 7 8 9 10

1

1

1

   1 3 1 1  4 1   1 5  1 1 6   1 7  8  9 2

10



       1     1   1 1  1 1 1 1 1

 1 2 1 1 1 1    3 1 1 1 1 1      4 1     1 1 1 5     1 6    1 1 1 1 7    1 1 1 1 1 8    1 1 1 9 1 10

3.15. 1



3.16.

1 2 3 4 5 6 7 8 9 10

 1 1 1 1 1   1 1 1     1 1  1 1 1   1 1   1    1  1 1 1 1 1 1

1   3  4  5  6   7 1  8  9 2

10



1

   3  4  5  6   7  8  9 2

10

3.17. 1



   3  4  5  6   7  8  9 2

10

1 2 3 4 5 6 7 8 9 10



1

1 2 3 4 5 6 7 8 9 10

1 1

1 1 1

1 1 1 1 1 1

1

1 1 1 1 1

1

                 

3.18.

1 2 3 4 5 6 7 8 9 10

1

1 1 1

1

1 1

1 1 1 1 1

1 1 1 1

1 1 1 1 1 1 1 1 1

                 

1



1 2 3 4 5 6 7 8 9 10

1



  1 1     3 1     4 1 1    1 1 5 1     1 1 1 6   1  7     1 8     1 9 1 10 2

167


3.19. 

1

3.20.

1 2 3 4 5 6 7 8 9 10

1

1

1

1   1 3  4 1 1 1 1   1 5  1 1 6   1 1 1 1 7  1 1 1 8 1  1 9 1 10 2

                 

1



1



   1 1      1  1 1 1 1 1   1 1   1 1   1  1

10

1



   3  4  5  6   7  8  9 2

10



1 2 3 4 5 6 7 8 9 10

1

1 1 1 1   1 3 1 1 1  4 1 1   1 1 5  1 1 1 6   1 1 7  81  1 1 1 1 1 1 9 1 1 1 10 2

3.23. 1



3.22.

1 2 3 4 5 6 7 8 9 10

 1   3  4 1   5  1 6 1 1 1  7  8  9 2

1 2 3 4 5 6 7 8 9 10

1

 1  1     3 1     4 1 1 1     1 5 1 1    1 1 6   1 1 1 1 7     1 8   1  9 1 10 2

3.21. 1



                 

3.24.

1 2 3 4 5 6 7 8 9 10

1 1

1 1

1 1

1 1 1

1 1 1

1



  1    1   1    1    1 1   1

1



1 2 3 4 5 6 7 8 9 10

1

1 1   1 3  4 1  5  6   7  1 8   1 9 2

10

1 1

1



       1 1    1       1

168


3.25. 

1

3.26.

1 2 3 4 5 6 7 8 9 10

1



  1     3 1 1 1     4 1 1     1 1 1 5    1 1 1 6    1 7     1 8    1 9 1 10 2

1 2 3 4 5 6 7 8 9 10

3.27. 

1

1

10

1 2 3 4 5 6 7 8 9 10

1 1 1         1 1  1 1   1  1 1

1 1 1 1 1 1 1 1

1 1 1

1 1

1 1 1 1

1 1 1 1 1 1 1



       1         1 

1



1 2 3 4 5 6 7 8 9 10

1 1 1 1



      3    4 1 1    1 1 1 5   1 1 1 1 6 1 1    7 1 1      1 1 1 8    1 1 9 1 1 1 1 10 2

Для задач 3.29–3.67 ГС задаются в явном виде. 3.29.

 1 1 1 1 1 1         1 1 1  1 1 1     1  1 1 1 1 1 1

3.28.

1 2 3 4 5 6 7 8 9 10

   1 1 3  4 1  5 1  6 1  7  1 8  9 2



169


3.30. 4

3

2

1

10

9 8

6

5

2

3

4

7

6

5

8

9

10

7

3.31. 1

3.32. 1

2 6 5

4

3

7 10

8

9

3.33. 3

2

1

5

4

9

7 6 8 10

170


3.34. 7 6

5 1

8

9

3

2

4

3.35. 1

2

3

4

8

7

6

5

3.36.

3.37. 2 1

3 6

7 8

9

5 10

4

171


3.38.

3.39.

3.40.

1

2

3

6

5

4

8

7

3.41.

10

9

2 3

1

8

7 9 10

6

4

5

172


3.42. 3

2

4

1

5

6

7 8

9

10

2

3

3.43.

3.44. 1

5

4

6

7

8

9

10

3.45. 3

1 2

4 6 5

8 7 9 10


3.46. 2

1

3 4

7

6

5

8

9

10

3.47.

5

3 4

2 1

8

6 7

10

9

3.48.

1 2

3 5

4 6

7 9

8

10

3.49. 6

1

2

7

3

8

5 9

4

173

174


3.50.

3.51.

3.52. 1

2

5

3 4

9

6

8

7

10

3.53.

7 8

4

3

1 2

5

6 9

10

175


3.54.

2

4

3

5

1 9

6

7

8

10

3.55. 1

3

2

8

7

6

5

4

9

10

3.56. 5 6 7 1

2

3

4 8 9 10

176


3.57. 1

4

3

2

5 10

9

8

6

7

3.58.

3.59. 2

1

10

5

4

8

3.60.

3

6

7

2

3

7

1

8

9

4

10 6

9

5

177


3.61. 4

3

2

6

1

5

7

8

9

10

3.62. 1

2 4

5

3

6

7 9

10

8

3.63.

3.64.

1

2

3

4

5

10

9

8

7

6

1

2

3

4

5

6

8

9

10

7

178


3.65. 2 3

1 8

9

4

10

7

5

6

3.66. 1

2

3

4

5

10

9

8

7

6

3.67. 1

5

2

6

4

3

7

8

9

10

§ 4. Дискретные цепи с доходами Данный параграф «Сборника» включает десять задач, которые примыкают к трем примерам, рассмотренным в лекциях: • руководителя фирмы (лекции 8–10), • об оптимальной остановке (лекция 11), • управления запасами в условиях неопределенности (лекция 11). Первые шесть задач являются основными и могут использоваться в качестве тем курсовых (самостоятельных) работ. Исходные данные формируются на ЭВМ самостоятельно с учетом соответствующих рекомендаций.

§ 4. Дискретные цепи с доходами

179

В рамках нижеследующих задач читателю предлагается выполнить такое задание: • построить граф (графы) состояний моделирующей ДЦМ в неуправляемом режиме, • найти значения ПОД в неуправляемом режиме для n = = 1, 2, 3, 4, 5 и построить графики vi (n) ∀ i по приведенным исходным данным, • найти оптимальное управление для n 6 5 (методом динамического программирования) и для n → ∞ (двумя методами — полного перебора и Ховарда по тем же исходным данным). 4.1. Управление запасами в условиях неопределенности. Рассмотрим n-шаговый процесс функционирования магазина, шаг представляет собой некоторый интервал времени, например, месяц. В начале n-го шага магазин заказывает kin единиц однородного и неделимого товара по цене c руб. Это количество добавляется к i единицам товара (i = 0, 1, 2, ... ), которое могло оказаться непроданным после предыдущих шагов. Таким образом, в начале каждого шага мгновенно создается так называемый сформированный запас в количестве t = i + kin единиц. Величина запаса ограничена, например, емкостью склада N . На протяжении шага запасенный товар продается по цене d руб., d > c > 0, в соответствии со спросом. Спрос представляет собой ДСВ с распределением вероятностей p(m) m = = 0, 1, 2, ... , M , M > N . Если спрос m превышает запас t, то неудовлетворенный спрос наказывается штрафом e(m − t). В неуправляемом режиме i + kin = N . Исходные данные:

M = 5, N = 3, c ∈ (0, 10), d = c + ∆, ∆ ∈ (0, 5) ⇒ ⇒ c = 10R1 , ∆ = 5R2 , e = 8R3 , β = R4 , Rm+4 p(m) = , m = 1, 2, ... , 5, R5 + R6 + ... + R9

где R1 , R2 , ... , R9 — независимые случайные числа, равномерно распределенные на интервале (0,1). 4.2. Задача коммивояжера о заключении контракта на поставку товаров («управление по остановке»). Некий коммивояжер (К) объезжает N городов, занумерованных числами 1, 2, ... , N , в соответствии с заданной МВП. Находясь в n-й момент времени (n = 0, 1, 2, ... ) в i-м городе, К может принять одно из двух решений: kin = 1 — «остановка», т. е. заключение

180


контракта и прекращение поездок; kin = 0 — объезд городов продолжается. Исключение составляют поглощающие состояния с принудительной остановкой и заключением контракта. При заключении контракта в городе i К получает доход fi ; если же он продолжает поездку из города i, то вносит определенную плату ci > 0. Отказ от заключения контракта в городе i связан с надеждой через один или несколько шагов оказаться в городе j и получить доход fj ≫ fi . Итак, какого правила должен придерживаться К, чтобы получить максимальный доход? Это правило и есть так называемое управление по остановке. Исходные данные:

N = 5, fi ∈ (0, 100), ci ∈ (0, 10), P = (pij ), i, j = 1, 2, 3, 4, 5 ⇒ ⇒ fi = 100Ri , ci = 10Ri+5 , pij =

Rij , Ri1 + Ri2 + Ri3 + Ri4 + Ri5

где Ri , Rij — независимые случайные числа. 4.3. Задача о ремонтной мастерской (РМ). Рассмотрим РМ с состояниями i = 0, 1, 2, ... , N , N = 3, где i — число клиентов. В дискретные моменты времени n = 1, 2, ... в РМ обращается один потенциальный клиент с вероятностью pi или никто не обращается с вероятностью qi = 1 − pi . Каждый клиент может быть обслужен с вероятностью Pi в течение одного периода или не обслужен с вероятностью Qi = 1 − Pi . В последнем случае он остается в РМ. Если РМ находится в состоянии i, то по прошествии одного периода она может оказаться в состоянии j (i − 1 6 j 6 i + 1) с вероятностями  1 p = qi Pi ,    i,i−1 p1i,i = qi Qi + pi Pi , 0 < i < N ;    1 pi,i+1 = pi Qi , ( 1 ( 1 p0,0 = q0 , pN ,N −1 = PN , i = 0; i = N. p10,1 = p0 , p1N ,N = QN , При переходе из состояния в состояние РМ получает доходы, образующие МОД R. Назовем этот режим неуправляемым (k = 1).


181

Для повышения рентабельности РМ ее руководство рассматривает две возможности: • модернизацию технических средств ремонта (k = 2); • модернизацию технических средств ремонта с переходом на круглосуточный график работы (k = 3). Эти усовершенствования позволяют увеличить вероятности pi и Pi на a % при k = 2 и на A % при k = 3, но требуют определенных затрат, которые приводят к снижению доходов на b % и B % соответственно. Исходные данные:

N = 3, pi , Pi ∈ (0,5; 0,8),  0 25 0  R =  100 125 25 100

i = 0, 1, 2, 3,  0  0 ⇒ 125

⇒ pi = 0,5 + 0,3Ri , R0 > R1 > R2 > R3 , bi , R b1 > R b2 > R b3 , Pi = 0,5 + 0,3R

где Ri — равномерно распределенные случайные числа; a = 10, A = 20, b = 7, B = 14. 4.4. Задача Ховарда о водителе такси (ВТ). Область деятельности ВТ охватывает три города: А, В и С. Если ВТ находится в городах А или С, то у него имеется три стратегии: • курсировать в надежде поймать случайного пассажира (k = 1), • поехать на стоянку такси и ждать пассажира в очереди (k = 2), • надеть наушники и ждать вызова по радио (в городе В этой возможности нет) (k = 3). Для каждого города i и каждой стратегии k задаются вероятности pkij того, что следующий рейс будет совершен в город k . Неуправляемый j , и соответствующие этим рейсам доходы rij режим соответствует k = 1. Исходные данные: k pkij ∈ (0, 1), rij ∈ (1, 51), b ∈ (0, 1) ⇒ X k k k k ⇒ pkij = Rij / Rij , rij = 1 + 50Rij ∀ i, j , k ; β = R, j

где R c различными индексами — независимые случайные числа.

182


4.5. Задача о замене станочного оборудования. Станочное оборудование цеха может находиться в одном из трех состояний i, i = 1, 2, 3. В первом из них руководитель цеха может принять одно из двух решений: k = 1 или k = 2, во втором — одно из трех решений k = 1, k = 2 или k = 3, в третьем — одно из двух решений k = 2 или k = 3. Если k = 1, то оборудование остается прежним; если k = 2 или k = 3, то старое оборудование продается по цене ci и покупается новое оборудование или отличного качества (k = 2) по цене d2 или хорошего качества (k = 3) по цене d3 . Эта модернизация осуществляется мгновенно в начале рассматриваемого шага, и к его завершению станочное оборудование может перейти из i-го состояния в j -е с заданной вероятностью pkij . При этом цех получает одношаговый доход k 1 rij = rij + ci − d k ,

k > 2.

Неуправляемый режим соответствует k = 1. Исходные данные:

R11 > R12 > R13 > R22 > R23 ⇒ R1j ⇒ p11j = , j = 1, 2, 3; R11 + R12 + R13 p2j =

  

0,

R2j   , R22 + R23

j = 1, j = 2, 3;

p3j =

⇒ p2ij = p11j ∀ i, j ; p32j = p33j  200 190  1 β = R, R =  − 170 − −

c2 = 70,

c3 = 40,

d2 = 80,

(

0,

j = 1, 2,

1,

j=3

⇒

= p12j ∀ j ;  180  160  , 150

d3 = 50.

Здесь, как и выше, R c нижними индексами — случайные числа, β — коэффициент переоценки; в матрице R1 черточки означают, что соответствующие элементы не определены. 4.6. Задача управления рекламной кампанией. Фирма может рекламировать свои изделия с помощью одного из трех средств: радио (k = 1), телевидения (k = 2) и газеты (k = 3).

183


Недельные затраты на рекламу Ck , k = 1, 2, 3, заданы. Сбыт произведенных изделий оценивается либо как отличный (i = 1), либо как хороший (i = 2), либо как удовлетворительный (i = 3). Функционирование фирмы моделируется ДЦМ с заданными матрицами P k , Rk , k = 1, 2, 3, и заданным КП β . Неуправляемый режим соответствует k = 3. Исходные данные: k pkij ∈ (0, 1), rij ∈ (30, 300), ci ∈ (10, 30) ⇒

⇒ Rik1 > Rik2 > Rik3 , z = Rik1 + Rik2 + Rik3 ⇒ ! Rik1 Rik2 Rik3 k ⇒ pi = , , , i, k = 1, 2, 3 ⇒ z z z k

k

k

⇒ Ri1 > Ri2 > Ri3 , k

⇒

rik

= 270

k

k

k

k

z = Ri1 + Ri2 + Ri3 ⇒ ! k

Ri1 Ri2 Ri3 , , z z z

+ 30, i, k = 1, 2, 3 ⇒

⇒ R1 > R2 > R3 ⇒ ci = 20Ri + 10, i = 1, 2, 3, β = R4 . 4.7. Задача садовника. Садовник в начале каждого сезона проводит химический анализ почвы. По его результатам оценивается продуктивность сада на новый сезон как хорошая (состояние 1), удовлетворительная (состояние 2) или плохая (состояние 3). Вероятности переходов из одного состояния в другое можно представить в виде матрицы P 1 . Садовник может изменить эти вероятности, если применит удобрения того или иного типа, тогда МВП станет равной P 2 или P 3 . С каждым состоянием почвы связан доход, задаваемый МОД R1 , R2 или R3 в зависимости от использования или неиспользования удобрений. 4.7. Задача капитана судна. Судно совершает регулярные рейсы между двумя портами 1 и 2. Продолжительность рейса от порта до порта составляет одни сутки. В каждом порту капитан решает вопрос о загрузке судна стандартным грузом или спецгрузом. Рейс со спецгрузом приносит больший доход, но он будет доставлен в порт отплытия только через сутки. Последующий маршрут судна определяется МВП (P 1 или P 2 ) и характеризуется вектором СОД (Q1 или Q2 ) .

184


§ 5. Непрерывные цепи. Уравнения Колмогорова Во всех задачах этого параграфа требуется по размеченному графу состояний составить систему дифференциальноразностных уравнений для вероятностей состояний, а также найти решение при произвольном t и t → ∞. 5.1. См. рис. 83. 2

1

1, 5

2 1

3

π2 ( 0 ) = 1

0,5 Рис. 83

Решение. По мнемоническому правилу (лекция 13) составляем систему уравнений   π˙ (t) = 2π2 (t) − π1 (t),   1 π˙ 3 (t) = 0,5π2 (t) − 1,5π3 (t),    π (t) + π (t) + π (t) = 1, π (0) = 1. 1

2

3

2

Используя таблицу изображений по Лапласу (лекция 13), строим систему линейных алгебраических уравнений относительно Li ≡ ≡ Li (x) — образ системы дифференциально-разностных уравнений     xL1 = 2L2 − L1 , 2 L2 0,5L2 , L3 = ⇒ xL3 = 0,5L2 − 1,5L3 , ⇒ L1 =  x+1 x + 1,5   L + L + L = 1/x 1

2

3

⇒

2 0,5 1+ + x + 1 x + 1,5

L2 =

1 ⇒ x

x2 + 5 x + 5 1 L2 = ⇒ (x + 1)(x + 1,5) x  2(x + 1,5)   L1 = ,   xp2 (x) (x + 1)(x + 1,5) ⇒ ⇒ L2 =  x x2 + 5x + 5 0,5(x + 1)   ,  L3 = xp2 (x) ⇒

185

§ 5. Непрерывные цепи. Уравнения Колмогорова

где p2 (x) = x2 + 5x + 5 = (x + 3,62)(x + 1,38), т. е. корни функции p2 (x) равны

a1 = −3,62;

a2 = −1,38 ⇒ p2 (0) = 5 ⇒ p′2 (x) = 2x + 5 ⇒ ⇒ p′2 (a1 ) = −2,24,

p′2 (a2 ) = 2,24.

Используя табл. 13.1, переходим от изображений Li к оригиналам πi : −3,62t 2 3 e e−1,38t L1 = + ⇒ π1 (t) = 2 + + p2 (x) xp2 (x) 2,24 2,24

1 e−3,62t e−1,38t +3 + + = 5 −2,24(−3,62) −2,24(−1,38)

= 0,6 − 0,52e−3,62t + 0,57e−1,38t ; 0,5 0,5 L3 = + ⇒ π3 (t) = 0,5 p2 (x) xp2 (x)

+ 0,5

e−3,62t e−1,38t + −2,24 2,24

1 e−3,62t e−1,38t + + 5 −2,24(−3,62) 2,24(−1,38)

+

=

= 0,1 − 0,16e−3,62t + 0,06e−1,38t ; p2 (t) = 1 − p1 (t) − p3 (t) = 0,3 − 0,94e−3,62t − 0,64e−1,38t . Финальные вероятности состояний можно найти тремя способами.    π1 = 0,6, а) π(t) −−−→ π2 = 0,3, t→∞   π3 = 0,1.

б) Полагая в системе уравнений Колмогорова π(t) ˙ = 0, πi (t) = = πi ∀ i, получим     2π2 − π1 = 0, π = 0,6,     1 0,5π2 − 1,5π3 = 0, ⇒ π2 = 0,3,      π +π +π =1  π = 0,1. 1

2

3

3

186


в) Используя свойства изображений, получим  2(x + 1,5)   −−→ π1 = 0,6,   xL1 = p2 (x) − x→0 ⇒ π2 = 1 − π1 − π3 = 0,3.   0,5 (x + 1 )   xL3 = −−−→ π3 = 0,1 p2 (x) x→0 5.2. См. рис. 84.

1/3 1

2

π2 ( 0 ) = 1

7/12 1 /4

1 /4

3 Рис. 84

Решение. По ГС, используя мнемоническое правило (лекция 13), получаем систему уравнений Колмогорова:  1 7   π1 (t), π˙ 1 (t) = π2 (t) −   3 12    1 1 π˙ 3 (t) = π2 (t) − π3 (t),   4 4      π1 (t) + π2 (t) + π3 (t) = 1, π2 (0) = 1.

С помощью табл. 13.1 переходим к системе линейных алгебраических уравнений относительно изображений Li = Li (x) и находим ее решение:  7   1 7  L2 = 3 x + L1 ,   xL1 = L2 − L1 ,   12     3 12     1 /4 L 1 1 /4 1 1 ⇒ L3 = = , xL = L − L , 3 2 3   x + 1 /4 xp2 (x)   4 4           L 1 = x + 1 /4 , L1 + L2 + L3 = 1/x xp2 (x)

где

187


p2 (x) = 3x2 +

7 16 9 5 x+ =3 x+ x+ ⇒ 2 15 12 12

⇒ a1 = − ⇒ p2 (0) =

9 5 , a2 = − — корни полинома ⇒ 12 12

15 ′ 7 , p2 (x) = 6x + ⇒ p′2 (a1 ) = −1, 16 2

p′2 (a2 ) = 1.

Возвращаемся вновь к табл. 13.1 и для изображений L1 и L3 находим оригиналы: " # 1 16 e(−9/12)t e(−5/12)t L3 ⇒ π3 (t) = + + = 4 15 −1(−9/12) 1(−5/12)

= 0,27 + 0,33e(−9/12)t − 0,6e(−5/12)t ; L1 =

1 /4 + 1p2 (x) ⇒ xp2 (x)

⇒ π1 (t) = 0,27 + 0,33e(−9/12)t − 0,6e(−5/12)t +

e(−9/12)t e(−5/12)t + = −1 1

= 0,27 − 0,67 e(−9/12)t + 0,4e(−5/12)t ⇒ π2 (t) = 1 − π1 (t) − π3 (t) =

= 0,46 + 0,34 e(−9/12)t + 0,20e(−5/12)t . Найдем финальные вероятности состояний тремя способами.  π1 (t) −−−→ π1 = 0,27,   t→∞    π2 (t) −−−→ π2 = 0,46, а) t→∞      π3 (t) −−−→ π3 = 0,27. t→∞

б) Положим в системе уравнений πi (t) = πi ∀ i и получим   1 7    π − π = 0,   1 2   3 12       1 1 ⇒ π2 − π3 = 0,     4 4          π +π +π =1 1 2 3

Колмогорова π(t) ˙ = 0,

π1 = 0,27, π2 = 0,46, π3 = 0,27.

188


в) Согласно свойствам изображений  x + 1 /4   xL1 = −−−→ π1 = 0,27,   3 (x + 9 / 12 )(x + 5 / 12 ) x→0      (x + 7/12)(x + 1/4) xL2 = −−−→ π2 = 0,46,  (x + 9 / 12 )(x + 5 / 12 ) x→0       1 /4   xL3 = −−−→ π = 0,27. (x + 9/12)(x + 5/12) x→0 3 5.3. См. рис. 85.

0,5

1 1

2

3

π1 ( 0 ) = 1

1 0,5 Рис. 85

Ответ:

=

L1 =

(x + 1)(2x + 1) , xp2 (x)

x+1 , p (x) = 2x2 + 6x + 3, xp2 (x) 2

L2 =

2x + 1 , xp2 (x)

L3 =

π1 (t) = 1/3 + 0,622e−2,366t +

+ 0,045e−0,634t , π1 (0) = 1, π2 (t) = 1/3 − 0,455e−2,366t − − 0,122e−0,634t , π3 (t) = 1/3 − 0,167e−2,366t − 0,167e−0,634t . 5.4. См. рис. 86.

2 1

2

1

3

π2 ( 0 ) = 1

2 0,5 Рис. 86

Ответ: L1 =

2x + 1,5 , xp2 (x)

L2 =

x2 + 2,5x + 1 x+2 , L3 = , xp2 (x) xp2 (x)

p2 (x) = x2 + 5,5x + 4,5, π1 (t) = 1/3 − 0,476e−4,5t + 0,142e−t , π2 (t) = 2/9 + 0,633e−4,5t + 0,144e−t , π2 (0) = 1, π3 (t) = 4/9 − − 0,157e−4,5t − 0,28e−t .


189

5.5. См. рис. 87. 1

1 1

0 1

2

π1 ( 0 ) = 1

2 Рис. 87

x+2 , xp2 (x)

Ответ: L0 =

(x + 2)(x + 1) x+1 , L2 = , xp2 (x) xp2 (x)

L1 =

p2 (x) = x2 + 5x + 5, π0 (t) = 2/5 − 0,20e−3,62t − 0,18e−1,38t , π1 (t) = 2/5 + 0,523e−3,62t + 0,057e−1,38t , π1 (0) = 1, π2 (t) = 1/5 − − 0,323e−3,62t + 0,123e−1,38t . 5.6. См. рис. 88. 1

1/2

1

0 1

2

π1 ( 0 ) = 1

2 Рис. 88

(x + 2) (x + 2)(x + 1) x+1 , L1 = 2 , L2 = , xp2 (x) xp2 (x) xp2 (x) 4 2 2 p2 (x) = 2(x + 3)(x + 1,5), π0 (t) = − e−3t − e−1,5t , π1 (t) = 9 9 9 4 4 −3t 1 −1,5t 1 2 −3t 1 −1,5t = + e + e , π1 (0) = 1, π2 (t) = − e + e . 9 9 9 9 9 9 Ответ: L0 = 2

5.7. См. рис. 89. 1

1/2

1

2

1

3

π1 ( 0 ) = 1

1 Рис. 89

Решение: Согласно мнемоническому правилу (лекция 13) составляем систему уравнений Колмогорова для первых двух состояний

190


 π˙ 1 (t) = −2 π1 (t), π1 (0) = 1,    π˙ 2 (t) = 0,5 π3 (t) + π1 (t) − π2 (t),    π1 (t) + π2 (t) + π3 (t) = 1.

С помощью табл. 13.1 переходим к системе линейных алгебраических уравнений в изображениях  1   L = , 1    x+2  xL , − 1 = − 2 L   1 1     2(x + 1) , xL2 = L1 − L2 + 0,5 L3 , ⇒ L2 =   x(x + 2)(2x + 3)       L1 + L2 + L3 = 1/x 2 1  L =  = . 3 x(2x + 3) x(x + 1,5) Возвращаясь вновь к табл. 13.1, найдем оригиналы для изображений L1 и L3 :

L1 :

p1 (x) = x + 2 ⇒ p′1 (x) = 1 ⇒ a = −2 ⇒ π1 (t) = e−2t ,

L3 :

p1 (x) = x + 1,5 ⇒ p′1 (x) = 1 ⇒ a = −1,5 ⇒ ⇒ π3 (t) =

Следовательно,

2 1 − e−1,5t ; 3

π2 (t) = 1 − π1 (t) − π3 (t) = 1/3 − e−2t + 2/3 e−1,5t . Найдем финальные вероятности состояний тремя способами.   π (t) → π1 = 0,   1 а) При t → ∞ имеем: π2 (t) → π2 = 1/3,    π (t) → π = 2/3. 3

3

б) Полагая в системе уравнений Колмогорова π(t) ˙ = 0, πi (t) = = πi ∀ i, получим     −2 πi = 0, 0,5 π3 − π2 = 0 ⇒ π1 = 0, π2 = 1/3, π3 = 2/3,    π + π + π = 1. 1

2

3


191

в) Аналогичные реэультаты можно получить с помощью изображений. 5.8. См. рис. 90. 1

0

1/2

1

1

2

1/2

π1 ( 0 ) = 1

1/2 Рис. 90

Ответ: L0 =

2x + 1 4 x2 + 8 x + 3 8x2 + 21x + 7 , L1 = , L2 = , xp2 (x) xp2 (x) x(2x + 1)p2 (x)

p2 (x) = 4(x + 2,31)(x + 1,19), π0 (t) = 0,09 − 0,346 e−2,31t + + 0,258 e−1,19t , π1 (t) = 0,273 + 0,568 e−2,31t + 0,16 e−1,19t , π1 (0) = 1. 5.9. См. рис. 91. 1

1

2

1

1 4

1

1

π3 ( 0 ) = 1

3

Рис. 91

Решение. Система уравнений Колмогорова, составленная по мнемоническому правилу (лекция 13) относительно состояний 1, 2, 4 и дополненная нормировочным условием, имеет вид  π˙ 1 (t) = π4 (t) − 2π1 (t),       π˙ 2 (t) = π1 (t) − π2 (t),

 π˙ 4 (t) = π3 (t) − π4 (t),      π1 (t) + π2 (t) + π3 (t) + π4 (t) = 1.

192


Переходим к системе линейных алгебраических уравнений относительно изображений:  1+x   , L1 =   xp3 (x)       xL1 = L4 − 2L1 , 1       L = ,    xL2 = L1 − L2 ,  2 xp3 (x) ⇒   xL4 = L3 − L4 , (1 + x)2 (2 + x)       L = , 3    xp (x) 3  L1 + L2 + L3 + L4 = 1/x,      (1 + x)(2 + x)   L4 = , xp3 (x)

где p3 (x) = 1 + (1 + x)(x2 + 4x + 5) = x3 + 5x2 + 9x + 6. Из курса высшей алгебры известно, что полином третьей степени с действительными (в нашем случае — целочисленными) коэффициентами имеет хотя бы один действительный корень α, который является делителем свободного члена (в нашем случае — 6). Непосредственной проверкой легко убедиться в том, что α = −2 и p3 (x) = (x + 2)(x2 + 3x + 3), причем квадратичный сомножитель не имеет действительных корней. При стандартном продолжении получаем

p3 (0) = 6,

p′3 (x) = 3x2 + 10x + 9 ⇒ p3 (−2) = 1

и переходим к построению оригиналов по формулам табл. 13.1:

L1 =

1 1 1 1 1 e−2t e−2t + ⇒ π1 (t) = + + = + e−2t , xp3 (x) p3 (x) 6 (−2)1 1 6 2

L2 =

1 1 1 ⇒ π2 (t) = − e−2t , xp3 (x) 6 2

x 3 2 + + удобно сначала найти прообразы p3 (x) p3 (x) p3 (x) для каждого слагаемого, а затем сложить их. для L4 =


193

Итак,

 x −2 −2t   ⇒ e ,   p3 (x) 1      x 3 ⇒ e−2t , ⇒ p (x) 1  3       1 1 2 e−2t   ⇒2 + = − e−2t xp3 (x) 6 (−2)1 3

⇒ L4 ⇒ π4 (t) =

1 1 ⇒ π3 (t) = . 3 3

Найдем финальные вероятности состояний тремя способами.    π1 (t) → π1 = 1/6,     π2 (t) → π2 = 1/6, а) При t → ∞  π3 (t) → π3 = 1/3,      π4 (t) → π4 = 1/3.

б) Положим в системе уравнений Колмогорова π(t) ˙ = 0, πi (t) = πi ∀ i, тогда  π4 − 2π1 = 0,      π − π = 0, 1 1 1 2 ⇒ π1 = π2 = , π3 = π4 = .  6 3 π3 − π4 = 0,     π1 + π2 + π3 + π4 = 1 в) Воспользуемся свойствами изображений:  xL1 → π1 = 1/6,        xL2 → π2 = 1/6, При x → 0 xL3 → π3 = 1/3,        xL4 → π4 = 1 . 3

5.10. Рассматривается процесс работы ЭВМ. Поток отказов — простейший с интенсивностью λ. Неисправность 7 Г.А. Соколов

194


обнаруживается по прошествии времени ∆, τ — время ремонта. ∆ и τ имеют экспоненциальное распределение с параметрами ν и µ соответственно. Ответ: если i = 0 (ЭВМ исправна и работает), то L0 = (x + ν)(x + µ) = ; если i = 1 (ЭВМ неисправна, но это не обнаxp2 (x) l(x + µ) ружено), то L1 = ; если i = 2 (ЭВМ ремонтируется), то xp2 (x) νλ L2 = , где p2 (x) = x2 + (ν + µ + λ)x + νµ + λµ + ν λ. xp2 (x) 5.11. В цехе две взаимозаменяемые технологические линии сборки изделий. Для работы цеха достаточно, чтобы работала хотя бы одна линия. Поток отказов — простейший с интенсивностью λ = 1. При выходе из строя линия начинает мгновенно ремонтироваться и через ∆ единиц времени (∆ ∈ Экс (µ = 1)) полностью восстанавливается. Какова вероятность, что за время t цех ни разу не прекратит свою работу? 2

1 1

0 1

2 2

Рис. 92

Решение. На рис. 92 представлен РГС моделирующей цепи, где i = 0 — исправны обе линии, i = 1 — исправна одна линия, вторая ремонтируется, i = 2 — ремонтируются обе линии. Система уравнений Колмогорова, дополненная нормировочным условием, имеет вид

 π˙ 0 (t) = π1 (t) − 2π0 (t), π1 (0) = 1,    π˙ 2 (t) = π1 (t) − 2π2 (t),    π0 (t) + π1 (t) + π2 (t) = 1.

Переходим к системе уравнений относительно изображений:

§ 6. Финальные вероятности состояний непрерывных цепей

 xL0 = L1 − 2L0 ,     xL2 = L1 − 2L2 ,     L0 + L1 + L2 = 1 x

195

 L1 + 1   L0 = ,   x+2     2 L1 = , ⇒ L2 =  x+2 x(x + 2)(x + 4)      2   L1 = . x(x + 4)

Переходим от изображений к оригиналам:

L1 ⇒ hp1 (x) = x + 4 ⇒ a = −4, p′1 (x) = 1, p1 (0) = 4i ⇒ 1 e−4t 1 ⇒ π1 (t) = 2 + = 1 − e−4t , 4 (−4)1 2 D 2 L2 = ⇒ p2 (x) = x2 + 6x + 8 ⇒ p2 (0) = 8, p∗2 (x) = 2x + 6, xp2 (x) E a1 = −4, a2 = −2, p∗2 (−4) = −2, p∗2 (−2) = 2 ⇒ 1 e−4t e−2t 1 1 1 ⇒ π2 (t) = 2 + + = + t−4t − e−2t ⇒ 8 −4(−2) −2(2) 4 4 2 ⇒ π0 (t) = 1 − π1 (t) − π2 (t). 1 1 1 , π2 (t) → π2 = , π0 (t) → π0 = . 2 4 4 Вероятность того, что за время t цех ни разу не прекратит свою работу, равна 3 1 1 3 1 − π0 (t) = − e−4t − e−2t −−−→ . t→∞ 4 4 4 2 При t → ∞: π1 (t) → π1 =

5.12. Рассмотрите предыдущую задачу при дополнительном предположении: второе состояние является поглощающим.

§ 6. Финальные вероятности состояний непрерывных цепей В задачах этого параграфа требуется найти финальные вероятности состояний по размеченному графу состояний. Для этой цели с помощью мнемонического правила (лекция 13) строится и затем решается система линейных алгебраических уравнений 7*

196


(в дальнейшем — просто система уравнений) относительно указанных вероятностей. 6.1. См. рис. 93. 1

λ1 λ3

3

λ1 λ2

λ2

2

λ3 Рис. 93

Решение. Составляем систему уравнений для первого и второго состояний и решаем ее:

  2λ π = λ2 π2 + λ3 π3 ,   1 1 λi , 2λ2 π2 = λ1 π1 + λ2 π2 , ⇒ πi =  λ1 + λ2 + λ3   π + pi + π = 1 1

2

3

6.2. См. рис. 94. 0

1

3

4

2

5 Рис. 94

Ответ:

π0 π1 π2 π3 π4 π5 0,2 0,25 0,2 0,15 0,15 0,05

6.3. См. рис. 95.

.

i = 1, 2, 3.


3

λ30

0

λ01

1

197

λ23 λ12

λ40

2 λ24

4 Рис. 95

Решение. Составляем систему уравнений относительно состояний 0, 1, 3, 4 и решаем ее:  λ01 π0 = λ12 π1 ,        λ12 π1 = (λ23 + λ24 )π2 , ⇒ λ30 π3 = λ23 π2 ,    λ40 π4 = λ24 π2 ,     π0 + π1 + π2 + π3 + π4 = 1  λ   π1 = 01 π0 ,   λ12      λ01   π2 = π0 ,   λ23 + λ24      λ01 λ23   π3 = π0 ,   λ30 (λ23 + λ24 ) ⇒ λ01 λ24   π4 = π0 ,    λ ( 40 λ23 + λ24 )     λ λ01 λ01 λ23   π0 = 1 + 01 + + +    λ12 λ23 + λ24 λ30 (λ23 + λ24 )    − 1   λ λ  01 23  + .  λ40 (λ23 + λ24 ) 6.4. См. рис. 96.

µ

0

λ

µ

1 λ/2 Рис. 96

λ

2

198


Ответ:

   

π1

π2

3λ 3λ2    2µ π0 2µ2 π0

π0 3λ 3λ2 1+ + 2µ 2µ2

!−1

6.5. См. рис. 97.

λ

2λ

1

      

.

3λ

4

3

2 4λ Рис. 97

Решение. Составляем систему уравнений относительно состояний 2, 3, 4 и решаем ее:  1   π2 = π1 ,    2   2λπ2 = π1 ,    1      π3 = π1 ,  3λπ3 = 2λπ2 , 3 ⇒ 1   , 4λ π = 3λ π   4 3 π4 = π1 ,       4   π1 + π2 + π3 + π4 = 1    π1 = 12 . 25

6.6. Рассматривается одноканальная СО. На ее вход поступает простейший поток требований с интенсивностью λ, время обслуживания — экспоненциальное с параметром µ. Канал время от времени выходит из строя с интенсивностю ν . Ремонт отказавшего канала начинается мгновенно, время ремонта — экспоненциальное с параметром γ . Подсказка: см. РГС на рис. 98. λ

ν

0

µ

1 2γ Рис. 98

2

199


Ответ:

  

π1

π2

λ λν  π0  µ+ν γ(ν + µ)

π0 λ λν 1+ + µ + ν γ(ν + µ)

− 1

    

.

6.7. В условиях предыдущей задачи допускается, что канал может выходить из строя в неработающем состоянии с интенсивностью δ . Подсказка: см. РГС на рис. 99. δ µ

0

1

λ

ν

2

γ Рис. 99

    

Ответ:

π1

π2

λ λν + µδ + νδ π0 p0 µ+ν γ(ν + µ)

π0 λ λν + µδ + νδ 1+ + µ+ν γ(ν + µ)

−1

    

.

6.8. Рассматривается одноканальная СО, в которой очередь на обслуживание не превышает двух требований. Канал может выходить из строя. Требование, которое обслуживалось в момент отказа, становится в очередь, если очередь меньше двух, в противном случае покидает систему необслуженным. Решение. Введем обозначения: • для интенсивностей потоков: требований — λ, обслуживаний — µ, отказов — ν , восстановлений отказавшего канала — γ ; • для состояний: канал свободен, очереди нет — 00, канал занят, очереди нет — 10, канал занят, в очереди одно требование — 11, канал отказал, в очереди одно требование — 21, канал отказал, в очереди два требования — 22, канал занят, в очереди два требования — 12. РГС представлен на рис. 100. Система уравнений, составленная для всех состояний, кроме 11, и ее решение имеют вид

200


 µπ10 = λπ00 ,       µπ11 + γπ21 + λπ00 = (µ + λ + ν)π10 ,      λπ11 = (µ + ν)π12 , ⇒  νπ = (γ + λ )π ,  10 21      λπ21 + ν(π11 + π12 ) = γπ22 ,     π00 + π10 + π11 + π21 + π22 + π12 = 1

⇒

µ 00

           µ

λ

10 ν

µ

λ

γ 21

 π00       λ = 2, π10      µ = 1, π11 ⇒  ν = 0,5, π12       γ=1 π21     π22 11 γ

ν

λ

λ

12

ν

22

Рис. 100

6.9. См. рис. 101. 7

1

3

6

2

5 Рис. 101

Матрица интенсивностей имеет вид

4

= 3/61, = 6/61, = 14/61, = 56/183, = 1/61, = 55/183.

§ 7. Непрерывные процессы гибели и размножения

i\j

1

2

3

4

5

6

7

4 1/20 1/30  48 1 / 20 2  48 3   24 4  5 12  6 8 8 7 6 1

(λ) =



201



    .      

Ответ: i 1 2 3 4 5 6 7 . πi 0,915 0,077 0,001 0,002 0,004 0,00016 0,000214 6.10. См. рис. 102. 2

1

1

2

4

4

3 3 Рис. 102

Ответ:

(

i 1 2 3 4 πi 12/25 6/25 4/25 3/25

)

.

§ 7. Непрерывные процессы гибели и размножения — математические модели экономических систем В задачах 7.3–7.12 данного параграфа требуется найти вероятности каждого состояния для всех t > 0, а в задачах 7.13–7.19 только финальные вероятности. Цепи могут быть заданы своими РГС. 7.1. Простейший поток отказов ЭВМ имеет интенсивность λ = 0,1 мин−1 . Каждый нечетный отказ устраняется первой ремонтной бригадой, а каждый четный — второй. Какова вероятность, что каждая из бригад имеет хотя бы ∆ = 5 мин на устранение одного отказа?

202


Подсказка: какой ЗР имеет время между соседними отказами для каждой из бригад? 7.2. Смешиваются два простейших потока отказов ЭВМ с интенсивностями λ1 = 0,3 мин−1 и λ2 = 0,7 мин−1 соответственно. Какова вероятность, что в течение 2 мин ЭВМ будет функционировать без отказов? Подсказка: какова интенсивность суммы двух независимых простейших потоков? 7.3. См. рис. 103, p3 (0) = 1. µ3

µ2

2

3

1

Рис. 103

Решение: Имеем ПЧГ с N = 3 и произвольными значениями интенсивности. Согласно лекции 16

p3 (t) = e−µ3 t , p2 (t) = e

−µ2 t

Zt

µ3 π3 (τ )e

0

µ2 τ

dτ = e

−µ2 t

Zt

µ3 e−µ3 τ eµ2 τ dτ =

0

Zt

= e−µ2 τ µ3 e−(µ3 −µ2 )τ dτ = 0

π1 (t) = 1 − π2 (t) − π3 (t) = 1 − e−µ3 t −

µ3 e−µ2 t − e−µ3 t , µ3 − µ2

µ3 e−µ2 t − e−µ3 t . µ3 − µ2

При t → ∞: π3 (t) → π3 = 0, π2 (t) → π2 = 0, π1 (t) → π1 = 1. 7.4. См. рис. 104, p1 (0) = 1. λ1

1

λ2

2

3

Рис. 104

Ответ: π1 (t) = e−λ1 t , π2 (t) =

λ1 e−λ2 − eλ1 . λ1 − λ2


203

7.5. См. рис. 105, π3 (0) = 1. µ

µ

2

3

1

Рис. 105

Решение: Имеем ПЧГ с N = 3 и равными интенсивностями. Согласно лекции 16

π3 (t) = e−µt , π2 (t) = µte−µt , π1 (t) = 1 − π2 (t) − π3 (t) = 1 − (1 − µt)e−µt ;

при t → ∞: π3 (t) → π3 = 0, π2 (t) → π2 = 0, π1 (t) → π1 = 1. 7.6. См. рис. 106, π1 (0) = 1. λ

λ

2

1

3

Рис. 106

Ответ: πi (t) =

(λt)i −λt e , i = 1, 2. i!

7.7. См. рис. 107, π3 (0) = 1. 2µ

3µ

2

1

3

Рис. 107

Решение: Имеем ПЧГ с N = 3 и интенсивностями µi = iµ. Согласно лекции 16 π3 (t) = e−3µt , π2 (t) = 3e−3µt 1 − e−µt , π1 (t) = 1 − π2 (t) − π3 (t);

при t → ∞: π1 (t) → π1 = 1.

7.8. См. рис. 108, π1 (0) = 1. λ

1

2λ

2

3

Рис. 108

Ответ: π1 (t) = e−λt , π2 (t) = e−λt 1 − e−λt .

204


7.9. Вычислительный центр состоит из четырех ЭВМ. Бригада из четырех человек проводит их профилактический ремонт. Суммарный поток моментов окончания ремонтов для всей бригады — простейший с интенсивностью 0,5. После окончания ремонта ЭВМ проверяется: с вероятностью p = 0,8 она оказывается работоспособной (время проверки равно нулю), а с вероятностью 1 − p ЭВМ оказывается неработоспособной и ее профилактика повторяется. В начальный момент все ЭВМ нуждаются в профилактическом ремонте. Дополнительно найти математическое ожидание числа ЭВМ, успешно прошедших профилактику к моменту t = 4. Решение. Пусть i (i = 0, 1, 2, 3, 4) — число ЭВМ, успешно прошедших профилактику. Последняя заканчивается с вероятностью p и продолжается с вероятностью 1 − p. Это означает, что интенсивность потока моментов окончания ремонтов сокращается в p раз, следовательно, РГС принимает вид, приведенный на рис. 109. Мы получаем ПЧР с постоянной интенсивностью pλ, для которого (лекция 15) (pλt)i −pλt πi (t) = e , i = 0, 1, 2, 3, i! 3 X π4 (t) = 1 − πi (t). i=0

pλ

0

pλ

1

pλ

2

pλ

3

4

Рис. 109

Требуемое математическое ожидание, очевидно, равно 4 X

πi (4) = pλ = 2 = i=0 " 2 3 # 2·4 2·4 2·4 (−2)4 =e 1· +2 +3 + 4(1 − 0,042) = 3,94. 1! 2! 3!

7.10. В условиях предыдущей задачи за каждым членом бригады закреплена своя ЭВМ, которую он ремонтирует. Решение. Поток моментов окончания профилактики для каждого члена бригады уже имеет интенсивность pλ/4, а интенсивности ПЧР числа отремонтированных ЭВМ становятся равными

205


λi = (1 − i/4) pλ, i = 0, 1, 2, 3, так как в каждом i-м состоянии (i ЭВМ прошли профилактику) они сокращаются на (i/4)pλ, i = = 0, 1, 2, 3 (рис. 110). В остальном процедура решения аналогична, но вероятности состояний вычисляются по формулам Z1 − λ0 t −λi t λi−1 πi−1 (τ )eλi τ dτ , π0 (t) = e , πi (t) = e 0

i = 0, 1, 2, ... , N − 1. pλ

0

(3/4)pλ

1

(2/4)pλ

2

(1/4)pλ

3

4

Рис. 110

7.11. Рассматривается процесс накопления информации в базах данных, хранимых в ЭВМ. Поступающий поток единиц информации — простейший с интенсивностью λ = 1. Решение. Имеем ПЧР числа накопленных единиц информации с постоянной интенсивностью, т. е. имеем согласно лекции 15 пуассоновский процесс ξ(t) с параметром λt, тогда M ξ(t) = = Dξ(t) = λt = t. 7.12. В условиях предыдущей задачи информация не только накапливается, но и расходуется по законам простейшего потока с интенсивностью µi = iµ = 2i. Решение. Имеем ПГР с N = ∞, согласно примеру 3 из ρi λ лекции 17 при t → ∞: πi = e−ρ , ρ = , i = 0, 1, ... ⇒ M ξ(t) = i! µ λ = Dξ(t) = = 0,5. µ 7.13. Рассматривается ремонтная мастерская, которая может одновременно ремонтировать не более m = 5 автомашин. Шестая автомашина, прибывшая в мастерскую, покинет ее без ремонта. Входящий поток — простейший с интенсивностью λ = 1, время ремонта одной автомашины — экспоненциальное с параметром µ = 0,5. Решение. Математической моделью этой системы является ПГР с параметрами ( λ, i < m, λi = µi = iµ, i = 1, 2, ... , m. 0, i > m,

206


ρi Согласно примеру 7 из лекции 17 ρ = λ/µ = 2 ⇒ πi = π0 = i! 0 − 1 i 1 5 2 2 2 2 = π0 , где π0 = + + ... + = 0,1376. i! 0! 1! 5!

7.14. Рассматривается одноканальная система обслуживания с экспоненциальным временем обслуживания (µ = 1) и переполняющим входящим потоком требований 1 , i = 0, 1, ... , N = ∞. λi = i+1 Решение.

= π0

Согласно

примеру

2

(1/µ)i !/i!

= π0 /i!, i = 0, 1, ... , 1 , i = 0, 1, ... . ⇒ πi = e i!

из

где

лекции

π0 =

17

e−1/µ

=

πi − e 1

= ⇒

7.15. Рассматривается трехканальная система с неограниченным входящим потоком, λ/µ = 0,5 и λ = 1 (рис. 111).

2

4

6

6

5

4

3

2

1

0

1

1

1

1

1

6

Рис. 111

Решение. Согласно примеру 4 из лекции 17  ρi λ π0     π0 i! = ρ = µ = 0,5 = 2i i! , i 6 3, πi = ⇒   ρi π0 4,5   π0 = i = i π0 , i > 3 µ!µi−m 6 2 3! 3i−3

⇒ π0 =

3 ∞ X X 1 4,5 1+ + i 2 i! 6i

i=1

i=4

!−1

= 0,6.

7.16. Рассматривается одноканальная СО с ограниченным ( 3 − i, 0 6 i 6 3, входным потоком требований λi = и экс0, i>3 поненциальным временем обслуживания (µ = 2) (рис. 112).


0

1

2

3

2

2

3

2

1

207

2

Рис. 112

Подсказка: см. пример  4/19,     6/19, Ответ: πi =  6/19,    3/19,

5 из лекции 17.

i = 0, i = 1, i = 2, i = 3.

7.17. Рассматривается трехканальная СО с потерями, λ = 1, i 6 3, = µ = 2i (рис. 113). 0, i > 3,

2

Подсказка: см. пример  0,75,     0,375, Ответ: πi =  0,094,    0,62,

3

2

1

0

1

1

1

4 Рис. 113

6

7 из лекции 17.

i = 0, i = 1, i = 2, i = 3.

7.18. Рассматривается трехканальная СО с потерями, ρ = = λ/µ = 0,5. Подсказка: см. пример 7 из лекции 17. Ответ: π0 = 0,61, π1 = 0,305, π2 = 0,076, π3 = 0,013. 7.19. Бригада из трех рабочих обслуживает пять станков. Каждый рабочий в каждый момент времени может обслуживать не более одного станка, и каждый станок может обслуживаться не более чем одним рабочим. Один станок выходит из строя и восстанавливается под воздействием простейших потоков событий с интенсивностями λ = 1 и µ = 2 соответственно. Подсказка: см. пример 11 из лекции 17.

Теория случайных процессов для экономистов

Recommend Documents