Марковские процессы

Н.И.Портенко, А.В.Скороход, В.М.Шуренков МАРКОВСКИЕ ПРОЦЕССЫ (Итоги науки и техн. Соврем, пробл. матем. Фундам. направления. — ВИНИТИ, 1989, — 46, — 2 С.5—248)

Систематически излагается теория марковских процессов — важного самостоятельного раздела теории случайных процессов. Основным определениям предшествует рассмотрение ряда модельных примеров. После детального изучения марковского свойства (существование переходной вероятности, законы входа и т. п.) рассматриваются марковские процессы, траектории которых обладают определенными свойствами регулярности. Особое внимание уделяется диффузионным процессам, их связям с дифференциальными уравнениями в частных производных и стохастическими дифференциальными уравнениями. Отдельно излагается теория однородных процессов (полугрупповая теория, строго марковские процессы, скачкообразные процессы, мультипликативные и аддитивные функционалы). Описывается локальное строение непрерывных марковских процессов со значениями конечномерном линейном пространстве. Завершается изложение эргодической теорией, традиционно содержащей теоремы типа закона больших чисел, утверждения о существовании пределов переходных вероятностей, «интегральные» предельные теоремы для отношений. МАРКОВСКИЕ ПРОЦЕССЫ СОДЕРЖАНИЕ Глава 1. Марковское свойство 6 § 1. Стохастически определенные системы 7 1.1. Динамические системы со случайными возмущениями 7 1.2. Стохастически определенные системы. Вероятности перехода 8 1.3. Процессы с конечным множеством состояний 11 1.4. Диффузионные процессы 14 § 2. Марковское свойство 17 2.1. Определение марковского процесса 17 2.2. Марковская случайная функция 21 2.3. Марковские случайные функции на случайных интервалах 30 Глава 2. Регулярные марковские процессы 31 § 1. Условия непрерывности и отсутствия разрывов второго рода 31 1.1. Стохастически непрерывные процессы 31 1.2. Условия отсутствия разрывов второго рода 33 1.3. Непрерывные процессы 46 1.4. Винеровский процесс 48 1.5. Диффузионные процессы 50 1.6. Процессы с независимыми приращениями 56 § 2. Строго марковские процессы 58 58 2.1. Моменты остановки и порождаемые ими σ-алгебры 2.2. Прогрессивная измеримость 60 2.3. Строго марковские процессы 62 Глава 3. Диффузионные процессы 69

§ 1. Аналитические методы 1.1. Определение диффузионного процесса 1.2. Уравнения А. Н. Колмогорова 1.3. Обобщенные диффузионные процессы 1.4. Квазидиффузионные процессы § 2. Метод стохастических дифференциальных уравнений 2.1. Стохастические дифференциальные уравнения Ито 2.2. Мартингальная постановка задачи 2.3. Абсолютно непрерывная замена меры Глава 4. Однородные марковские процессы § 1. Общие свойства однородных марковских процессов 1.1. Однородный марковский процесс 1.2. Вероятность перехода § 2. Полугрупповая теория днородных марковских процессов 2.1. Связанная с процессом полугруппа операторов 2.2. Теорема Хилле-Иосида 2.3. Стохастически непрерывные процессы в топологическом пространстве 2 4. Процессы со счетным множеством состояний § 3. Строго марковские процессы 3.1. Определение. Достаточные условия 3.2. Характеристический оператор 3.3. Феллеровские процессы на компакте 3.4. Регулярно-феллеровские процессы в локально компактном пространстве 3.5. Скачкообразные процессы § 4. Мультипликативные и аддитивные функционалы. Преобразования процессов 4.1. Моменты обрыва процесса 4.2. Аддитивные функционалы 4.3. Случайная замена времени § 5. Непрерывные процессы в Rd 5.1. Случайная замена времени и квазидиффузионные процессы 5.2. Одномерные непрерывные процессы Глава 5. Эргодическая теория § 1. Однородные цепи Маркова (элементы общей теории) 1.1. Неотрицательные ядра 1.2. Вероятности перехода 1.3. Операторы сдвига 1.4. Строго марковское свойство § 2. Марковские процессы и эргодическая теория 2.1. Физические предпосылки 2.2. Абстрактные эргодические теоремы

70 70 73 75 87 88 88 113 117 126 126 126 129 131 131 135 137 139 142 142 144 148 150 153 157 157 160 165 169 169 174 178 178 178 181 183 183 184 184 185

2.3. Применения к операторам сдвига 190 2.4. Эргодические теоремы для переходных вероятностей 192 § 3. Счетные цепи Маркова 194 3.1. Классификация состояний 194 3.2. Возвратные цепи 197 3.3. Пределы переходных вероятностей 200 § 4. Харрисовы цепи 202 4.1. Возвратность по Харрису 203 4.2. «Искусственная» регенерация 210 4.3. Предельные теоремы для переходных вероятностей 213 § 5. Марковское вмешательство случая 215 5.1. Вложенные цепи Маркова 217 5.2. Эргодичность 220 5.3. Марковское восстановление 223 5.4. Финальные вероятности 227 5.5. Предельные теоремы для отношений 230 5.6. Применения к харрисовым цепям 236 § 6. Эргодические процессы Маркова 237 6.1. Эргодичность 238 6.2. Финальные вероятности 239 6.3. Пример: процесс восстановления 243 Литература 245 Именной указатель Неве (Neveu J.) с. 182, 185, 187, 188, Броун (Brown R.) с. 69 189, 190, 191, 245 Ватанабэ (Watanabe S.) с. 169, 244 Ниренберг (Nirenberg L.) с. 89, 244 Варадан (Varadhan S. R. S.) с. 124, Олейник О. А. с. 89, 244 125, 244 Портснко Н. И. с. 124, 125, 244 Гихман И. И. с. 19, 50, 88, 92, 108, Радкевич Е. В. с. 89, 244 119, 131, 181, 182, 195, 244, 245 Скороход А. В. с. 19, 50, 88, 92, 108, Деллашери (Dellacherie С.) с. 244 119, 131, 181, 182, 195, 244, 245 Дынкин Е. Б. с. 26, 126, 244 Струк (Stroock D. W.) с. 124, 125, 244 Икэда (Ikeda N.) с. 169, 244 Феллер (Feller W.) с. 245 Колмогоров А. Н. с. 14, 244 Кон (Kohn J. J.) с. 89, 244 Фридман (Friedman А.) с. 50, 52, 53, Крылов Н. В. с. 89, 109, 244 75, 89, 244, 245 Шуренков В. М. с. 223, 242, 245 Кузнецов С. Е. с. 28 Предметный указатель Дебют множества 61 Вектор переноса 70 Вероятности финальные 239 Дифференциал стохастический 93 Вероятность перехода 10; 181 Дифференцируемость мер, соответствующих решениям — — однородная 129 стохастических — — переходная 181 Время жизни 128

дифференциальных уравнений 120 Единственность сильная 105 — слабая 105 Закон входа 22 Замена времени случайная 165 Матрица диффузии 70 — стохастическая 11 Мера инвариантная 190 — положительная 197 Метод локализации 117 Множество инвариантное 186 — поглощающее 191 — функций тотальное 133 Момент взрыва 100 — марковского вмешательства 215 — остановки 183 Момент первого возвращения 195 — — выхода из системы подмножеств 39 — — попадания в множество 62 — регенерации 210 Оператор квазиинфинитезимальный 172 — полугруппы производящий 134 — производящий слабый 138 — сдвига случайного процесса 128 — — случайной последовательности 183 — характеристический 146 Операторы, удовлетворяющие принципу максимума 149 Оценки решений стохастических дифференциальных уравнений 98 Период марковского процесса 239 — состояния 196 — счетной цепи 197 — харрисовой цепи 215 Полугруппа слабо измеримая 132 — операторов, связанная с процессом 131

Последовательность случайная эргодическая 221 Поток допустимый для момента марковского вмешательства 218 — — для цепи Маркова 211 Преобразование консервативное 189 —, сохраняющее меру 185 Пример марковского процесса, не обладающего строго марковским свойством 67 — непрерывного марковского процесса, не являющегося диффузионным 72 Проблема мартингалов 106 Пространство входов 23 — фазовое 7 Процесс винсровский 48 — восстановления 243 — диффузионный 70; 174 — — обобщенный 75 — квазидиффузионный 88; 172 — марковский 17 — — однородный 128 — — периодический 239 — — — прогрессивно измеримый 143 — — — стохастически непрерывный 137 — — феллеровский 139 — — сингулярный 242 — — эргодический 237 — регулярно-феллеровский 150 Процесс с независимыми приращениями 57 — скачкообразный 153 — случайный эргодический 220 — строго марковский 63 Процессы марковские без разрывов второго рода 33 — — непрерывные 46 — — стохастически непрерывные 32 —, обрывающиеся на бесконечности 152

— однородные обрывающиеся 128 — прогрессивно измеримые 60 Разложение циклическое счетной цепи 197 — — харрисовой цепи 215 Резольвента полугруппы 133 Решение сильное 104 — слабое 104 — фундаментальное 51 Система динамическая 7 — — с дискретным вмешательством случая 8 — стохастически определенная 9 — — уравнений Колмогорова первая 142 Системы динамические с дискретным вмешательством случая однородные 126 Состояние возвратное 195 — — положительное 196 — — нулевое 196 — непрерывного процесса регулярное — существенное 195 Состояния сообщающиеся 195 Стохастическое дифференциальное уравнение 96 Строго марковское свойство 183 Теорема Биркгофа — Хинчина 186 — восстановления Феллера — Эрдёша — Полларда 200 — Ионеску Тулчи 182 — Хилле — Иосида 135 — Хопфа 189 — Чакона — Орнштейна 187 — эргодическая максимальная 188 Теоремы марковского восстановления 223 — эргодические 185 Точки поглощающие 147 Уравнение инвариантности 185 — Колмогорова обратное 135 — — прямое 135

— — — Чепмена 11 — — — для однородного процесса 130 Уравнение резольвентное 133 Уравнения Колмогорова для диффузионных процессов 15; 73 — — неоднородного марковского процесса с конечным множеством состояний 14 Формула Дынкина 145 — Ито 93 W-функционал 160 Функционал аддитивный 160 — мультипликативный 158 W-функция 160 Функция инвариантная 208 — сдвига 224 — случайная марковская 21 — распределения решетчатая 243 Функции случайные марковские непрерывные 46 — — — стохастически непрерывные справа 32 — — — — эквивалентные 33 — — — — — в широком смысле 33 Цепь Маркова вложенная 216 — — возвратная 195 — — — нулевая 196 Цепь Маркова возвратная по Харрису 203 — — — положительная 196 — — — топологически 156 — — неприводимая 203 — — — счетная 195 — — однородная 178 — — периодическая 215 — харрисова 206 Шаг решетчатого ядра 224 Ядро неотрицательное 178 — — абсолютно непрерывное 180 — — конечное 179 —— — ограниченное 179

— — стохастическое 179 — решетчатое 224

— сингулярное 224