Курс теории вероятностей

Лазакович Н.В., Сташуленок С.П., Яблонский О.Л. КУРС ТЕОРИИ ВЕРОЯТНОСТЕЙ Учебное пособие Лазакович Н.В., Сташуленок С...

Author: Лазакович Н.В. | Сташуленок С.П. | Яблонский О.Л.

12 downloads 359 Views 7MB Size Report

This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form

DOWNLOAD PDF

Лазакович Н.В., Сташуленок С.П., Яблонский О.Л.

КУРС ТЕОРИИ ВЕРОЯТНОСТЕЙ Учебное пособие

Лазакович Н.В., Сташуленок С.П., Яблонский О.Л. Курс теории вероятностей [Электронный ресурс]: Учебное пособие. — Электрон. текст. дан. (6.3 Мб) и анимации в системе Mathematica (102 Мб). — Мн.: “Электронная книга БГУ”, 2003, www.elbook.bsu.by. — 1 электрон. опт. диск CD-ROM.

МИНСК «Электронная книга БГУ» 2003

© Лазакович Н.В., Сташуленок С.П., Яблонский О.Л., 2003 © Научно-методический центр «Электронная книга БГУ», 2003 [email protected]

Краткая авторская аннотация В основу учебного пособия положен годовой курс лекций, которые авторы в течение ряда лет читали для студентов механико-математического факультета Белорусского государственного университета. В книге содержатся следующие разделы: вероятностные пространства, независимость, случайные величины, числовые характеристики случайных величин, характеристические функции, предельные теоремы, основы теории случайных процессов, элементы математической статистики и приложения, в которых приведены таблицы основных вероятностных распределений и значения некоторых из них. Большинство глав включает в себя дополнения, куда вынесены вспомогательный материал и темы для самостоятельного изучения. Изложение сопровождается большим количеством примеров, упражнений и задач, иллюстрирующих основные понятия и поясняющих возможные применения доказанных утверждений. Для студентов математических специальностей университетов.

СОДЕРЖАНИЕ ПРЕДИСЛОВИЕ ......................................................................................... 5 ВВЕДЕНИЕ.................................................................................................. 6 Глава 1. ВЕРОЯТНОСТНЫЕ ПРОСТРАНСТВА .................................... 9 § 1. Терминология теории вероятностей .............................................. 9 § 2. Аксиоматика Колмогорова............................................................ 15 § 3. Примеры вероятностных пространств......................................... 20 ДОПОЛНЕНИЯ К ГЛАВЕ 1 .................................................................... 26 § 1. Основные понятия комбинаторики .............................................. 26 § 2. Классические теоретико-вероятностные модели ....................... 30 § 3. Частотное (статистическое) определение вероятности ............. 33 § 4. Борелевские сигма-алгебры .......................................................... 34 Задачи ..................................................................................................... 36 Глава 2. НЕЗАВИСИМОСТЬ................................................................... 39 § 1. Условные вероятности................................................................... 39 § 2. Независимость событий ................................................................ 43 § 3. Независимые испытания ............................................................... 46 ДОПОЛНЕНИЯ К ГЛАВЕ 2 .................................................................... 51 § 1. Предельные теоремы в схеме Бернулли ...................................... 51 § 2. Цепи Маркова ................................................................................. 54 Задачи ..................................................................................................... 58 Глава 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ ..................................................... 60 § 1. Случайные величины и их распределения .................................. 60 § 2. Классификация случайных величин ............................................ 67 § 3. Многомерные случайные величины ............................................ 79 § 4. Независимость случайных величин ............................................. 86 ДОПОЛНЕНИЯ К ГЛАВЕ 3 .................................................................... 91 § 1. Функциональные преобразования случайных величин............. 91 Задачи ..................................................................................................... 93 Глава 4. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СЛУЧАЙНЫХ ВЕЛИЧИН.................................................................. 95 § 1. Математическое ожидание и его свойства.................................. 95 § 2. Моменты случайных величин..................................................... 103 § 3. Неравенства. Коэффициент корреляции ................................... 109 ДОПОЛНЕНИЯ К ГЛАВЕ 4 .................................................................. 116 § 1. Интеграл Лебега ........................................................................... 116 § 2. Интегралы Римана – Стилтьеса и Лебега – Стилтьеса ............ 117 § 3. Условные математические ожидания ........................................ 120 Задачи ................................................................................................... 124 3

Глава 5. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ ............................... 127 § 1. Определение и простейшие свойства ......................................... 127 § 2. Формулы обращения для характеристических функций ......... 136 § 3. Непрерывность соответствия между множествами функций распределения и характеристических функций ............................... 141 ДОПОЛНЕНИЯ К ГЛАВЕ 5 .................................................................. 149 § 1. Производящие функции ............................................................... 149 § 2. Решетчатые распределения.......................................................... 151 § 3. Многомерные характеристические функции............................. 152 § 4. Многомерное нормальное распределение и связанные с ним распределения ...................................................................................... 154 Задачи.................................................................................................... 158 Глава 6. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ..................................................... 161 § 1. Центральная предельная теорема ............................................... 161 § 2. Сходимость случайных величин ................................................. 172 § 3. Законы больших чисел ................................................................. 176 ДОПОЛНЕНИЯ К ГЛАВЕ 6 .................................................................. 189 § 1. Сходимость рядов ......................................................................... 189 Задачи.................................................................................................... 195 Глава 7. ОСНОВЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ ............. 198 § 1. Определение случайного процесса ............................................ 198 § 2. Случайные процессы с независимыми приращениями ........... 204 § 3. Корреляционная теория случайных процессов......................... 216 § 4. Марковские случайные процессы .............................................. 228 ДОПОЛНЕНИЯ К ГЛАВЕ 7 .................................................................. 235 § 1. Обобщенные случайные процессы ............................................ 235 Задачи ................................................................................................... 249 Глава 8. ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ ....... 252 § 1. Основные понятия и элементы выборочной теории................. 253 § 2. Оценивание неизвестных параметров ........................................ 260 § 3. Проверка статистических гипотез .............................................. 281 § 4. Параметрические гипотезы.......................................................... 287 § 5. Линейная регрессия и метод наименьших квадратов............... 294 Задачи.................................................................................................... 299 ПРИЛОЖЕНИЯ....................................................................................... 301 ЛИТЕРАТУРА ......................................................................................... 307 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ............................................................... 309 УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ ............................................................. 314

ПРЕДИСЛОВИЕ В основу настоящего учебного пособия положен расширенный курс лекций, которые в течение ряда лет читают авторы на механико-математическом факультете Белорусского государственного университета. Его содержание полностью соответствует программе годового курса теории вероятностей и математической статистики для студентов математических специальностей университетов. Материал пособия разбит на введение, восемь глав (вероятностные пространства, независимость, случайные величины, числовые характеристики случайных величин, характеристические функции, предельные теоремы, основы теории случайных процессов, элементы математической статистики) и приложения, в которых приводятся таблицы основных вероятностных распределений и значений некоторых из них. Первые семь глав имеют дополнения, которые, с одной стороны, должны сделать пособие самодостаточным, с другой – вынести часть материала данного курса на самостоятельное изучение. В конце каждой главы приводятся задачи, значимость которых различна: одни носят характер простых упражнений, в других предлагается доказать утверждения, сформулированные, но не доказанные в основном тексте, третьи должны дать дополнительные сведения к рассматриваемому кругу вопросов. Каждый параграф пособия имеет свою нумерацию определений, теорем, лемм, утверждений, упражнений, примеров и соотношений. Пособие снабжено иллюстрациями, выполненными в Mathematica 4.1, которые можно посмотреть после нажатия на ссылку Иллюстрация в Mathematica. Кроме этого некоторые теоремы снабжены схемами доказательства, для просмотра которых достаточно нажать Схема доказательства. Авторы считают своим долгом выразить искреннюю благодарность рецензентам, чьи критические замечания и полезные советы, несомненно, способствовали улучшению содержания пособия. Мы также признательны Н. В. Чесалину и всем студентам, оказавшим помощь в наборе текста пособия. Н. В. Лазакович, С. П. Сташулёнок, О. Л. Яблонский

ВВЕДЕНИЕ Теория вероятностей – это большой, интенсивно развивающийся раздел математики, изучающий случайные явления. Казалось бы, науке, в частности, математике, нет дела до случайных явлений, ведь наука открывает законы, которые помогают предсказывать течение того или иного процесса или явления, а случайное явление – как раз такое явление, исход которого предсказать невозможно. Однако и случайные явления подчиняются некоторым закономерностям, которые называют вероятностными. Прежде всего условимся, что мы будем иметь дело не со всеми случайными явлениями, а с массовыми, т. е. с такими, исходы которых в принципе возможно наблюдать в одних и тех же условиях много раз. Пусть при N-кратном осуществлении некоторого комплекса условий случайное событие A происходит N ( A ) раз. Отношение N ( A ) N называется относительной частотой события A. Оказывается, для больших N относительная частота события A в массовых явлениях обладает так называемым свойством устойчивости, которое состоит в том, что отношение N ( A ) N ко-

леблется относительно одного и того же числа. Это число P ( A ) в соответствующей математической модели называют вероятностью события A. Устойчивость относительных частот событий – объективное свойство массовых случайных явлений реального мира. Отсутствие устойчивости относительных частот в сериях испытаний свидетельствует о том, что условия, в которых проводятся испытания, претерпевают значительные изменения. Теория вероятностей – это наука, которая изучает математические модели массовых случайных явлений. Если говорить конкретнее, то теория вероятностей устанавливает такие связи между вероятностями случайных событий в математических моделях, которые позволяют вычислять вероятности сложных событий по вероятностям более простых событий. Призванная изучать количественные характеристики случайных событий, теория вероятностей, как и всякая точная наука, стала таковой лишь тогда, когда было четко сформулировано понятие вероятностной модели, и была создана ее аксиоматика. В этой связи естественно хотя бы кратко остановиться на основных этапах развития теории вероятностей. 6

Возникновение теории вероятностей как науки относится к середине XVII в., и связано с именами Б. Паскаля, П. Ферма, Х. Гюйгенса. Хотя отдельные задачи, касающиеся подсчета шансов в азартных играх, рассматривались и ранее – в XV–XVI в. итальянскими математиками. Первые общие методы решения таких задач были, по-видимому, даны в знаменитой переписке Паскаля и Ферма, начавшейся в 1654 г. и в первой книге по теории вероятностей «О расчетах в азартной игре», опубликованной Гюйгенсом в 1657 г. Истинная теория вероятностей начинается с работы Я. Бернулли «Искусство предположения» (1713), в которой была доказана первая предельная теорема – закон больших чисел и работы А. Муавра «Аналитические методы» (1730), в которой сформулирована и доказана так называемая центральная предельная теорема. В 1812 г. вышел большой трактат П. Лапласа «Аналитическая теория вероятностей», в котором обобщалась теорема Муавра на несимметричный случай схемы Бернулли, и давались применения вероятностных методов к теории ошибок наблюдений. К этому же периоду в развитии теории вероятностей, когда центральное место в исследованиях занимали предельные теоремы, относятся работы С. Пуассона и К. Ф. Гаусса. С именем Пуассона в современной теории вероятностей связаны понятия распределения и процесса, носящих его имя. Гауссу принадлежит заслуга создания теории ошибок. Следующий важный период в становлении теории вероятностей связан с именами П. Л. Чебышева, А. А. Маркова, А. М. Ляпунова, создавших в начале XIX в. эффективные методы доказательства предельных теорем для сумм независимых случайных величин. Современный период в развитии теории вероятностей начинается с установления аксиоматики. Первые работы в этом направлении принадлежат С. Н. Бернштейну, Р. Мизесу и Э. Борелю. В 1933 г. вышла книга А. Н. Колмогорова «Основные понятия теории вероятностей», в которой была предложена аксиоматика, получившая всеобщее признание и позволившая охватить не только все классические разделы теории вероятностей, но и дать строгую основу для развития ее новых разделов – теории случайных процессов и математической статистики. Изложение теории вероятностей в настоящей книге основано на аксиоматическом подходе А. Н. Колмогорова.

7

ЛАТИНСКИЙ АЛФАВИТ Aa

а

Jj

йот(жи)

Ss

эс

Bb

бэ

Kk

ка

Tt

тэ

Cc

цэ

Ll

эль

Uu

у

Dd

дэ

Mm

эм

Vv

вэ

Ee

е

Nn

эн

Ww

дубль-вэ

Ff

эф

Oo

О

Xx

икс

Gg

же

Pp

пэ

Yy

игрек

Hh

аш

Qq

ку

Zz

зэт

Ii

и

Rr

эр

ГРЕЧЕСКИЙ АЛФАВИТ Αα

альфа

Ιι

йота

Ρρ

ро

Ββ

бета

Κκ

каппа

Σσ

сигма

Γγ

гамма

Λλ

ламбда

Ττ

тау

∆δ

дельта

Μµ

мю

Υυ

ипсилон

Εε

эпсилон

Νν

ню

Φφ

фи

Ζζ

дзета

Ξξ

кси

Χχ

хи

Ηη

эта

Οο

омикрон

Ψψ

пси

Θθ

тэта

Ππ

пи

Ωω

омега

8

Глава 1. ВЕРОЯТНОСТНЫЕ ПРОСТРАНСТВА

В настоящей главе на основании аксиоматики Колмогорова строится математическая модель произвольного случайного явления – вероятностное пространство и приводятся наиболее распространенные примеры таких моделей. Исторически в теории вероятностей сложилась своя терминология. Изложение материала начнем с обсуждения этой терминологии и ее интерпретации в теории множеств. § 1. Терминология теории вероятностей

Для математического описания экспериментов со случайными исходами, прежде всего, потребуется понятие пространства элементарных событий (исходов). Таким пространством будем называть любое множество элементарных событий, обладающих следующими свойствами. Во-первых, все они взаимно исключают друг друга – являются непересекающимися, т. е. в результате эксперимента происходит одно и только одно элементарное событие. Во-вторых, каждый интересующий нас результат эксперимента может быть однозначно описан с помощью элементарных событий, которые будем обозначать ω ,ω∈Ω . Пространство элементарных событий можно трактовать как множество всех исходов исследуемого случайного явления. Отметим, что само понятие пространства элементарных событий математически является неопределяемым – оно исходно, так же как понятие точки в геометрии. Конкретная природа Ω нас, как правило, интересовать не будет. П р и м е р 1. Рассмотрим опыт с бросанием игральной кости. Пространство элементарных событий имеет вид Ω = {ω1 , ω2 , ω3 , ω4 , ω5 , ω6 } , где ωk – элементарное событие, состоящее в том, что на верхней грани кубика выпала цифра k , k = 1, ..., 6 . П р и м е р 2 . Внутрь единичного квадрата бросается частица. В этом случае пространство элементарных событий может быть описано следующим образом: Ω = {ω = ( x , y ) : 0 ≤ x, y ≤ 1} , т. е. здесь элементарное событие – произвольная точка квадрата.

В реальном мире случайное событие – это исход какого-либо эксперимента, который может как произойти, так и не произойти. В том случае, когда число элементарных событий не более чем счетно, случайным событием будем называть любое подмножество A ⊆ Ω эле9

ментов из Ω (событие A произошло, если произошло какое-либо из элементарных событий ω ∈ A ). Понятно, что элементарные события являются случайными событиями. В случае, когда пространство Ω несчетно бесконечно, случайными событиями будем называть элементы некоторой σ -алгебры A подмножеств из Ω (необходимость этого будет выяснена позже). О п р е д е л е н и е 1. Класс A подмножеств пространства Ω назовем алгеброй событий, если 1) ∅ ∈ A , Ω ∈ A ; 2) из того, что A ∈ A следует A = Ω \ A ∈ A ; 3) из соотношений A ∈ A , B ∈ A следует, что A ∪ B ∈ A . О п р е д е л е н и е 2. Алгебра A называется σ-алгеброй (сигмаалгеброй), если из того, что An ∈ A для всех n ∈ N следует, что ∞

∪ A ∈A. n

n =1

У п р а ж н е н и е 1. Докажите, что σ-алгебра замкнута относительно всех теоретико-множественных операций. У п р а ж н е н и е 2. Установите, совпадают ли понятия алгебры и σ-алгебры? Достоверным событием будем называть случайное событие, которое всегда происходит при осуществлении данного комплекса условий. Несложно видеть, что оно совпадает со всем пространством элементарных событий, поэтому будем его обозначать Ω . Невозможным событием назовем случайное событие, которое никогда не происходит при реализации данного комплекса условий. Обозначать невозможное событие будем ∅. Так, в примере 1, событие, состоящее в выпадении не менее одного очка, является достоверным, а событие, состоящее в том, что выпало семь очков – невозможным. У п р а ж н е н и е 3. Укажите невозможное и достоверное события для примера 2. Пусть дано некоторое пространство элементарных событий Ω . Определим теперь операции между двумя событиями A и B. Произведением или пересечением событий назовем событие, обозначаемое A ∩ B или AB, которое происходит тогда и только тогда, когда одновременно происходят события A и B. События A и B назовем несовместными, если A ∩ B = ∅ (т. е. вместе произойти они не могут). Суммой или объединением событий A и B назовем событие, обозначаемое A ∪ B или A + B (в случае, когда они несовместны), которое происхо10

дит тогда и только тогда, когда происходят A или B, или оба вместе. Разностью событий A и B назовем событие A \ B , происходящее тогда и только тогда, когда произошло А, но не произошло B. Событием, противоположным событию A, будем называть событие A =Ω \ A . Симметрической разностью назовем событие A∆ B , которое происходит тогда и только тогда, когда происходит хотя бы одно из событий A \ B или B \ A . Иллюстрация в Mathematica

Рис. 1. Сумма, произведение, разность событий А и В; событие, противоположное A и симметрическая разность B и A. П р и м е р 3. Бросается игральная кость. Тогда Ω = {1, 2, 3, 4, 5, 6 } (см. пример 1). Рассмотрим следующие случайные события: A = {выпало четное число очков}, т. е. A = { 2, 4, 6 } , B = {выпавшее число очков больше трех}, т. е. B = { 4, 5, 6 } . Найдите A, B , A ∪ B, A ∩ B, A \ B . Являются ли события A и B несовместными? Р е ш е н и е: A = {1, 3, 5} , B = {1, 2, 3} , A ∪ B = { 2, 4, 5, 6 } , A ∩ B = { 4, 6 } , A \ B = { 2 } . События

А и В не являются несовместными, так как A ∩ B ≠ ∅.

У п р а ж н е н и е 4. В рамках примера 2 задайте случайные события A и B и найдите A, B , A ∪ B, A ∩ B, A \ B . Выясните, являются ли A и B несовместными событиями? 11

Пусть

{ An } n=1 ∞

– бесконечная последовательность случайных со-

бытий. Обозначим через A* множество всех тех и только тех элементарных событий, которые принадлежат бесконечному числу множеств An . Тогда ∞

∞

A = ∩∪ Am . *

n =1 m = n

Действительно, если ω ∈ A , т. е. ω принадлежит бесконечному числу множеств An , то *

∞

ω ∈ ∪ Am для каждого n, и, следовательно,

m=n

∞

∞

ω ∈ ∩∪ Am , n =1 m = n

т. е.

∞

∞

A* ⊂ ∩∪ Am . n =1 m = n

Если

∞

∞

ω ∈ ∩∪ Am , n =1 m = n

то ω ∈ A*. Пусть A* – множество тех и только тех ω ∈ Ω , которые принадлежат всем An , за исключением конечного числа. Тогда, проводя рассуждения, аналогичные приведенным выше, получаем ∞

∞

A* = ∪∩ Am . n =1 m = n

*

Множество A можно интерпретировать как событие, состоящее в том, что произойдет бесконечно много событий из последовательно∞ сти { An } . Множество A* есть событие, состоящее в том, что проn =1

изойдут все события An , начиная с некоторого номера, или, что то же самое, не произойдет только конечное число событий из последова∞ тельности { An } . Очевидно, что A* ⊆ A*. Событие A* называется n =1

верхним пределом последовательности событий { An }

∞

A* = lim An . n→∞

12

n =1

,

Событие A* называется нижним пределом последовательности событий { An }

∞ n =1

, A* = lim An . n→∞

Если A* = A* , то говорят, что последовательность событий { An }

∞ n =1

имеет предел lim An = lim An = lim An . n →∞

n→∞

n→∞

У п р а ж н е н и е 5. Пусть { An } – монотонно убывающая последовательность событий, т. е. A1 ⊃ A2 ⊃ ... ⊃ An ⊃ ... . Докажите, что ∞

lim An = ∩ An . n →∞

n =1

У п р а ж н е н и е 6. Пусть { An } – монотонно возрастающая последовательность событий, т. е. A1 ⊂ A2 ⊂ ... ⊂ An ⊂ ... . Покажите, что ∞

lim An = ∪ An . n →∞

n =1

У п р а ж н е н и е 7. Пусть I A – индикатор события A (характеристическая функция множества A). Докажите справедливость следующих соотношений: 1) I A* = lim I An ⇔ A* = lim An ; n→∞

n→∞

2) I A = lim I An ⇔ A* = lim An ; *

n→∞

n→∞

3) I A = lim I An ⇔ A = lim An . n→∞

n→∞

У п р а ж н е н и е 8. Докажите правило де Моргана: если имеются некоторые соотношения между событиями, выраженные через символы ∩, ∪, ⊂, ⊃ , то при переходе к противоположным событиям все символы необходимо повернуть на 180 , т. е. заменить соответственно на ∪, ∩, ⊃, ⊂ . Подытоживая все, сказанное выше, приведем таблицу, показывающую, как некоторые понятия теории множеств интерпретируются в теории вероятностей. 13

Таблица 1 Обозначения

Ω ω A ∅

A A⊂ B

Язык теории множеств

Язык теории вероятностей

Универсальное множество, множество всех ω Элемент множества Ω Некоторое множество элементов ω Пустое множество Дополнение множества A

A – подмножество B

Пространство элементарных событий (элементарных исходов эксперимента), достоверное событие Элементарное событие Событие A (если ω ∈ A , то говорят, что наступило событие A) Невозможное событие Событие, противоположное событию A Из наступления события A необходимо следует событие B Событие, состоящее в том, что произошло или A, или B, или оба вместе Событие, состоящее в том, что произошло и A, и B

Объединение множеств A и B; A∪ B множество точек, входящих хотя бы в одно из множеств A или B Пересечение множеств A и B; A∩ B множество точек, входящих и в A, ивB A ∩ B = ∅ A и B – непересекающиеся мно- A и B – несовместные события жества A\ B Событие, состоящее в том, что Разность множеств A и B произойдет A, но не произойдет B Событие, состоящее в том, что Множество всех тех ω, которые принадлежат бесконечному числу произойдет бесконечное число lim An n →∞ множеств из последовательности событий из последовательности { An } { An } lim An n →∞

lim An

Множество всех тех ω, которые принадлежат всем An , за исключением конечного числа (множество всех тех ω, которые не принадлежат только конечному числу множеств An )

Событие, состоящее в том, что произойдут все события An , за исключением конечного числа (событие, состоящее в том, что не произойдет только конечное число из событий последовательности { An } )

Если lim An = lim An , то последо- Если lim An = lim An , то последоn →∞

n →∞

n →∞

n →∞

вательность множеств { An } имеет вательность событий { An } имеет предел lim An = lim An = lim An n →∞

n →∞

n →∞

14

предел lim An = lim An = lim An n →∞

n →∞

n →∞

§ 2. Аксиоматика Колмогорова

В этом параграфе будет построена математическая модель произвольного случайного явления, т. е. аксиоматика теории вероятностей, предложенная в 1933 г. А. Н. Колмогоровым. О п р е д е л е н и е 1. Вероятностным пространством называется тройка ( Ω, A ,P ) , где Ω – пространство элементарных событий, A – некоторая σ-алгебра подмножеств из Ω , функция P : A → R и обладает следующими свойствами: 1°. P ( A ) ≥ 0 для всех A ∈ A (неотрицательность P); 2°. P ( Ω ) = 1 (нормированность P); 3°. P ( A + B ) = P ( A ) + P ( B ) для любых A, B ∈ A , A ∩ B = ∅ (аддитивность P); 4°. Для любых событий B1 , B2 ,..., Bn ,... ∈ A , таких, что Bn ↓ ∅ , т. е. B1 ⊃ B2 ⊃ ... ⊃ Bn ⊃ ... и ∞

∩B

n

выполняется

= ∅,

n =1

P ( Bn )  → 0 (непрерывность P). n→∞

Функция P называется вероятностью. З а м е ч а н и е 1. Вероятностное пространство является математической моделью произвольного случайного явления. Действительно, учитывая, что исходы такого явления случайны, для его описания необходимо рассматривать как все исходы (это заложено в Ω ), так и вероятности, с которыми они происходят (за это отвечает Ρ ). В простейших случаях, т. е. в случаях когда число элементов не более чем счетное, для полного описания случайного явления можно было бы ограничиться двойкой (Ω, P) (см. гл. 1, § 3). В общем случае, т. е. когда число элементов несчетное, в Ω могут найтись подмножества, для которых вероятность P определить нельзя. Причина этого заключается в существовании так называемых неизмеримых множеств, что в свою очередь кроется в топологической структуре классических пространств (прямой, плоскости и т. д.). Поэтому приходится отказаться от того, чтобы назвать событием любое подмножество Ω . Следует 15

выделить среди всех подмножеств класс A измеримых подмножеств. Из курса теории меры (см., напр., [1], [20], [29]) известно, что A является σ-алгеброй. Элементы A называются случайными событиями. Отметим также, что с точки зрения теории меры, функция P – конечная мера, а ( Ω, A ,P ) – пространство с мерой. Покажем, что P – это σ-аддитивная мера. Для этого введем аксиому σ-аддитивности P: 3∗. Пусть A1 , A2 , ..., An , ... ∈ A и Ai ∩ Aj = ∅ для i ≠ j . Тогда

 ∞  ∞ P  ∑ An  = ∑ P ( An ) .  n=1  n=1 У т в е р ж д е н и е 1. Система аксиом 1°– 4° эквивалентна системе аксиом 1°, 2°, 3*. Д о к а з а т е л ь с т в о . Рассмотрим сначала необходимость. Пусть выполняются аксиомы 1°– 4°. Докажем справедливость аксиомы 3*. Несложно видеть, что ∞  n−1  Ak =  ∑ Ak  + Bn , ∑ k =1  k =1  где ∞

Bn = ∑ Ak , k =n

поэтому в силу справедливости аксиомы 3°  ∞  n−1 P  ∑ Ak  = ∑ P ( Ak ) + P ( Bn ) .  k =1  k =1 Переходя к пределу при n → ∞ в последнем равенстве и учитывая аксиому 4°, получаем  ∞  ∞ P  ∑ Ak  = ∑ P ( Ak ) .  k =1  k =1 Докажем теперь достаточность. Покажем, что из системы аксиом 1°, 2°, 3* вытекает аксиома 4°. Пусть случайные события B1 , B2 , ..., Bn , ... ∈ A таковы, что B1 ⊃ B2 ⊃ ... ⊃ Bn ⊃ ... и ∞

∩B

n

n =1

16

= ∅.

Введем в рассмотрение случайные события A1 , A2 , ..., An , ... , положив по определению A1 = B1 \ B2 , A2 = B2 \ B3 , ..., An = Bn \ Bn+1 , ... , тогда ∞

∞

B1 = ∑ Ak , Bn = ∑ Ak . k =1

k =n

*

В силу справедливости аксиомы 3 имеем ∞

∞

k =1

k =n

P ( B1 ) = ∑ P ( Ak ) , P ( Bn ) = ∑ P ( Ak ) , поэтому

P ( Bn ) → 0 , n→∞

как остаток сходящегося ряда. З а м е ч а н и е 2. Происхождение аксиом 1°, 2°, 3° можно объяснить, исходя из свойства статистической устойчивости частот (см. также § 3 из дополнений к гл. 1). Пусть А и В – несовместные события, N ( A ) / N и N ( B ) / N – их относительные частоты в какой-либо

длинной серии из N наблюдений. Так как N ( A ) ≥ 0 , то N ( A ) / N ≥ 0 , следовательно, число P ( A ) , к которому близко отношение N ( A ) / N ,

должно быть неотрицательным. Для достоверного события N ( Ω ) = N ,

поэтому надо потребовать, чтобы P ( Ω ) = 1 . Для несовместных собы-

тий N ( A + B ) = N ( A ) + N ( B ) , откуда

N ( A + B ) N ( A) N ( B ) = + , N N N что и приводит к аксиоме 3°. Аксиома 4° (или 3*) имеет несколько иное происхождение, связанное не с реальным свойством устойчивости частот, а с требованиями развиваемой на основе аксиоматики математической теории. Поясним сказанное на примере. Пусть на единичный квадрат случайно бросается частица, причем вероятность ее попадания в любой внутренний квадрат со сторонами, параллельными сторонам основного квадрата, равна площади внутреннего квадрата. С помощью аксиомы 3° можно получить вероятность попадания частицы в любую фигуру, составленную из объединения конечного числа квадратов. Если мы хотим иметь также возможность находить вероятности попадания частицы в более сложные фигуры, например, в круг, то это можно сделать с помощью аксиомы 3∗, приближая круг фигурами, составленными из конечных сумм таких квадратов. 17

Свойства вероятностей 1. Если A ⊂ B , то P ( A ) ≤ P ( B ) .

Д о к а з а т е л ь с т в о. Так как B = A + ( B \ A ) , то из аксиомы 3* по-

лучаем P ( B ) = P ( A ) + P ( B \ A ) , поэтому, учитывая, что P ( B \ A ) ≥ 0 , получаем требуемое. 2. Если A ⊂ B , то P ( B \ A ) = P ( B ) − P ( A ) . Д о к а з а т е л ь с т в о вытекает из свойства 1. 3. Для любого случайного события A справедливо P ( A ) = 1 − P ( A ) . Д о к а з а т е л ь с т в о следует из свойства 2, если B = Ω, и аксиомы 2°. 4. P ( ∅ ) = 0 . Д о к а з а т е л ь с т в о вытекает из аксиомы 2° и свойства 3 при A = Ω. З а м е ч а н и е 3. Иногда ошибочно считают, что событие нулевой вероятности есть невозможное событие. Это не так. Например, пусть выбирается наугад число из отрезка [ 0;1] . Положим Ω = [ 0;1] ,

A – борелевская σ-алгебра на [ 0;1] (т. е. наименьшая σ-алгебра, со-

держащая все интервалы ( a; b ) ⊂ [ 0;1] ), P – мера Лебега на [ 0;1] , а M –

множество рациональных точек отрезка [ 0;1] . Тогда вероятность того, что событие M произойдет, равна нулю. Однако это событие может произойти, т. е. оно не является невозможным. Отметим также, что событие, вероятность которого равна единице, не обязательно является достоверным событием. 5. Для каждого случайного события A выполняется 0 ≤ P ( A ) ≤ 1 . Д о к а з а т е л ь с т в о следует из включений ∅ ⊂ A ⊂ Ω, свойств 1 и 4 и аксиомы 2°. 6. Пусть A и B – случайные события. Тогда P ( A ∪ B ) = P( A) + P( B ) − P ( A ∩ B ) .

Д о к а з а т е л ь с т в о. Очевидно, что A ∪ B = A + ( B \ ( A ∩ B ) ) , а

поэтому в силу аксиомы 3° и 2-го свойства вероятностей получаем требуемое. 7. Пусть A1 , ..., An – случайные события. Тогда

18

 n  n P  ∪ Ak  = ∑ P ( Ai ) − ∑ P ( Ai1 ∩ Ai2 ) + ∑ P ( Ai1 ∩ Ai2 ∩ Ai3 ) − ... + 1≤i1 0, y ∈ R n ,

где n

ρ n ( x, y ) = ∑ 2−k +1 ρ1 ( xk , yk ), x = ( x1 , ..., xn ) , y = ( y1 , ..., yn ). k =1

Докажите, что B 0 ( R n ) = B ( R n ) . Задачи 1. Установите справедливость следующих свойств операций ∪ и ∩ : 1) A ∪ B = B ∪ A, A ∩ B = B ∩ A (коммутативность); 2) A ∪ ( B ∪ C ) = ( A ∪ B ) ∪ C , A ∩ ( B ∩ C ) = ( A ∩ B ) ∩ C (ассоциативность);

3) A ∩ ( B ∪ C ) = ( A ∩ B ) ∪ ( A ∩ C ) , A ∪ ( B ∩ C ) = ( A ∪ B ) ∩ ( A ∪ C ) (дистрибутивность); 4) A ∪ A = A, A ∩ A = A (идемпотентность). Покажите также, что A ∪ B = A ∩ B. 2. Докажите, что P ( A B ) = P ( A) + P ( B ) − 2P ( A ∩ B ) = P ( A ∪ B ) − P ( A ∩ B ). 3. Пусть множество Ω состоит из N элементов. Покажите, что общее число d ( N ) различных разбиений множества Ω определяется формулой ∞

d ( N ) = e−1 ∑ k =0

kN . k!

У к а з а н и е. Сначала убедитесь в том, что N −1

d ( N ) = ∑ C Nk −1d (k ) , d (0) = 1. k =0

4. Пусть A1 , ..., An – события и величины S0 , S1 , ..., Sn определены следующим образом:

36

(

)

S0 = 1, Sr = ∑ P Ak … Ak , 1 ≤ r ≤ n, Ir

1

r

где суммирование распространяется по неупорядоченным подмножествам I r = {k1 , ..., kr } множества {1, ..., n}. Пусть событие Bm состоит в том, что одновременно произойдет в точности m событий из A1 , ..., An . Покажите, что n

P ( Bm ) = ∑ (−1)

r −m

Crm Sr .

r =m

В частности, для m = 0 P ( B0 ) = 1− S1 + S 2 − ... ± S n .

Покажите также, что вероятность того, что одновременно произойдут по крайней мере m событий из A1 , ..., An , равна n

P ( B1 ) + ... + P ( Bn ) = ∑ (−1)

r −m

Crm−−11Sr .

r =m

В частности, вероятность того, что произойдет по крайней мере одно из событий A1 , ..., An , равна P ( B1 ) + ... + P ( Bn ) = S1 − S 2 + S3 − ... ± S n .

5. Используя вероятностные соображения, докажите справедливость следующих тождеств: n

1)

∑C k =0 n

2)

k 2 n

∑ (−1) k =0 m

4)

= 2n ;

∑ (C ) k =0 n

3)

k n

= C2nn ;

n−k

Cmk = Cmn −1 , m ≥ n −1;

∑ k (k −1)C

k m

= m (m −1) 2m−2 , m ≥ 2.

k =0

6. З а д а ч а Б а н а х а. Некий математик носит с собой два коробка спичек, число которых в каждом из коробков равно N . Каждый раз, когда ему нужна спичка, он берет наудачу один из коробков. Когда-нибудь наступит такой момент, что вынутый коробок окажется пуст. Найдите вероятность того, что: а) второй коробок содержит r спичек; б) в момент, когда впервые один из коробков оказался пуст, в другом было r спичек; в) отсутствие спичек будет впервые обнаружено не в том коробке, который опустел первым; r = 0, 1, …, N . 7. З а д а ч а о б а л л о т и р о в к е. Пусть два кандидата R и S получили на выборах соответственно r и s , r > s , голосов. Какова вероятность того, что кандидат R в течение всех выборов по количеству полученных голосов был впереди S ? При этом предполагается выполненной следующая несколько наивная

37

процедура подсчета голосов: каждый избиратель отдает свой голос или кандидату 1 R или кандидату S с вероятностью , последовательно опрашиваются все изби2 ратели и на каждом шаге подсчитывается разность голосов, поданных за R и за S. 8. З а д а ч а о п ь я н и ц е. Пьяница стоит на расстоянии одного шага от края утеса. Он шагает случайным образом либо к краю утеса, либо от него. На каждом шаге вероятность отойти от края равна p , а шаг к краю утеса имеет вероятность q = 1− p. Чему равна вероятность того, что пьяница не избежит падения? 9. С е м е й н а я з а д а ч а. В семье четыре сестры, они моют посуду по очереди. Из четырех разбитых тарелок три разбиты младшей сестрой, и поэтому ее называют неуклюжей. Можно ли ее оправдать, приписывая эти неудачи случайности? Обсудите связь с размещением шаров по ящикам. 10. З а д а ч а Бюффона. Плоскость разграфлена параллельными прямыми, расстояния между которыми 2a (рис. 5). На нее наудачу бросается игла длины 2l , l < a. Найдите вероятность того, что игла пересечет какуюнибудь прямую. Слово «наудачу» подразумевает следующее: центр иглы случайно попадает на отрезок длины 2a, перпендикулярный параллельным пряРис. 5 мым, вероятность того, что угол ϕ, образованный иглой и проведенными прямыми, будет заключаться между углами α и β , пропорциональна α − β , и положение центра иглы и величина ϕ независимы. 11. Т е о р е т и к о - в е р о я т н о с т н а я ф о р м у л и р о в к а в е л и к о й т е о р е м ы Ф е р м а. В двух урнах содержится одно и то же количество шаров, несколько черных и несколько белых в каждой. Из них вынимаются n (n ≥ 3) шаров с возвращением. Найдите число n и содержимое обеих урн, если вероятность того, что все белые шары взяты из первой урны, равна вероятности того, что из второй урны взяты либо все белые, либо все черные шары. 12. R различимых шаров раскладывают по n ящикам. Найдите вероятность того, что останется ровно m пустых ящиков. 13. R неразличимых шаров раскладывают по n ящикам. Определить вероятность того, что останется ровно m пустых ящиков. 14. Два игрока A и B играют в следующую игру. На первом шаге игрок A расставляет разные числа от 1 до 18 по своему усмотрению на шести гранях трех игральных костей. На втором шаге игрок B, внимательно изучив кости, выбирает одну. На третьем шаге A выбирает одну из оставшихся костей. После этого каждый бросает кость. Побеждает тот, на чьей кости выпало большее количество очков. Какому из игроков игра более выгодна? 38

Глава 2. НЕЗАВИСИМОСТЬ В этой главе изложены понятия независимости случайных событий, классов случайных событий, испытаний со случайными исходами и некоторые вопросы, связанные с ними. Отметим, что независимость является одним из важнейших понятий теории вероятностей: именно это понятие определило то своеобразие, которое выделяет теорию вероятностей из общей теории, занимающейся исследованием измеримых пространств с мерой. Изучение независимости случайных событий начнем с обсуждения понятия условной вероятности. § 1. Условные вероятности Условная вероятность оценивает то изменение в степени уверенности о наступлении некоторого события, которое происходит после получения дополнительной информации. Рассмотрим два случайных события A и B. Пусть известно, что событие B наступило, но неизвестно, какое конкретно из элементарных событий ω, составляющих событие B, произошло. Что можно сказать в этом случае о вероятности наступления события A ? П р и м е р 1. Пусть дважды брошена симметричная игральная кость, A – событие, состоящее в том, что при первом бросании выпала единица, а B – событие, состоящее в том, что сумма появившихся очков строго меньше четырех. Вычислим условную вероятность события A , если известно, что произошло событие B.

{

}

Имеем Ω = ( i, j ) : i = 1, 6, j = 1, 6 , A = {(1, 1) , (1, 2 ) , (1, 3) , (1, 4 ) , (1, 5 ) ,

(1, 6 )} ,

B = {(1, 1) , (1, 2 ) , ( 2, 1)} , A ∩ B = {(1, 1) , (1, 2 )}. Следовательно, по оп-

ределению классической вероятности,

Ρ ( A) =

6 36

1

3

6

36

= , Ρ ( B) =

=

1 12

, Ρ ( A ∩ B) =

2 36

=

1 18

.

Если событие B произошло, то событие A может произойти лишь тогда, когда произойдут элементарные события (1, 1) или (1, 2 ) , поэтому естественно считать, что n ( A ∩ B) n ( A ∩ B) 2 n (Ω) Ρ ( A ∩ B) , Ρ ( A | B) = = = = n( B) n ( B) 3 Ρ ( B) n (Ω) где n ( X ) – число элементарных событий, входящих в случайное событие X . 39

П р и м е р 2. Внутрь области Ω случайным образом бросается точка. Пусть событие A заключается в том, что точка попала в треугольную область A, а событие B – в том, что точка попала в пятиугольную область B (рис. 1). Определим вероятность события A при условии, что произошло событие B. Обозначим S ( X ) – площадь области X , тогда

Рис. 1

S ( A ∩ B) Ρ ( A ∩ B) S ( A ∩ B) S (Ω) Ρ ( A | B) = = = . S ( B) S ( B) Ρ ( B) S (Ω)

Дадим теперь определение условной вероятности, согласующееся с интуитивным представлением о ней. О п р е д е л е н и е 1. Пусть вероятность события B – положительная величина, т. е. Ρ ( B ) > 0 . Условной вероятностью события A при условии, что произошло событие B, называется число Ρ( A ∩ B) . Ρ( A | B) = Ρ( B) У п р а ж н е н и е 1. Пусть задано вероятностное пространство ( Ω, A , Ρ ) , A ∈ A , B ∈ A , Ρ ( B ) > 0. Обозначим Ρ B ( A) = Ρ ( A | B ). Докажите, что функция Ρ B ( A ) : A → R является вероятностью.

У п р а ж н е н и е 2. Обозначим A B = A ∩ B = { A ∩ B : A ∈ A }. До-

кажите, что ( B, A B , Ρ B ) – вероятностное пространство. На практике часто бывает так, что известны или достаточно просто определяются именно условные вероятности и с их помощью необходимо вычислить безусловную вероятность некоторого случайного события. Простейшей формулой для решения задач такого типа является формула умножения вероятностей. Теорема 1 (Теорема умножения). Пусть Ρ ( A ) > 0, Ρ ( B ) > 0. Тогда Ρ ( A ∩ B ) = Ρ ( A) ⋅ Ρ ( B | A) = Ρ ( B ) ⋅ Ρ ( A | B ). Д о к а з а т е л ь с т в о теоремы следует из определения условной вероятности. Распространим теорему умножения на случай, когда число сомножителей равно n. 40

Теорема 2 (Теорема умножения). Пусть Ρ ( A1 ∩ A2 ∩… ∩ An−1 ) > 0. Тогда Ρ ( A1 ∩ A2 ∩… ∩ An ) =

= Ρ ( A1 ) ⋅ Ρ ( A2 | A1 ) ⋅ Ρ ( A3 | A1 ∩ A2 ) ⋅ … ⋅ Ρ ( An | A1 ∩… ∩ An−1 ) . Д о к а з а т е л ь с т в о теоремы проводится методом математической индукции с использованием результатов теоремы 1.

П р и м е р 3. Студент знает 20 вопросов из 25. Экзаменатор задал ему три вопроса. Какова вероятность того, что студент ответит на все вопросы? Р е ш е н и е . Введем следующие события: A1 = {студент ответил на первый вопрос} , A2 = {студент ответил на второй вопрос} , A3 = {студент ответил на третий вопрос} .

Найдем числовые значения вероятностей Ρ ( A1 ) , Ρ ( A2 | A1 ) , Ρ ( A3 | A1 ∩ A2 ) : 20 19 , так как всего вопросов – 25, а «хороших» – 20; Ρ ( A2 | A1 ) = , так 25 24 как при подсчете этой вероятности необходимо учесть, что на первый вопрос уже 18 дан ответ, Ρ ( A3 | A1 ∩ A2 ) = . 23 Искомую вероятность Ρ ( A1 ∩ A2 ∩ A3 ) находим по теореме 2

Ρ ( A1 ) =

Ρ ( A1 ∩ A2 ∩ A3 ) = Ρ ( A1 ) ⋅ Ρ ( A2 | A1 ) ⋅ Ρ ( A3 | A1 ∩ A2 ) =

20 19 18 ⋅ ⋅ ≈ 0, 496. 25 24 23

Следующая простая, но важная формула, которая называется формулой полной вероятности, является основным средством при подсчете вероятностей сложных событий с использованием условных вероятностей. Приведем сначала следующее определение. О п р е д е л е н и е 2. Конечное или счетное число случайных событий A1 , A2 , …, An , … образует полную группу событий (разбиение), если: 1. Ρ ( Ai ) > 0, i = 1, 2, …; 2. Ai ∩ Aj = ∅, i ≠ j;

3.

∑A

k

= Ω.

k

Теорема 3 (Формула полной вероятности). Пусть случайные события A1 , …, An образуют полную группу событий. Тогда для про-

41

извольного события B, рассматриваемого на том же вероятностном пространстве, n

Ρ ( B ) = ∑ Ρ ( Ak ) ⋅ Ρ ( B | Ak ). k =1

Д о к а з а т е л ь с т в о . Представим событие B в виде  n  n B = B ∩ Ω = B ∩  ∑ Ak  = ∑ ( B ∩ Ak ).  k =1  k =1 Тогда, пользуясь свойством аддитивности вероятности и теоремой 2 умножения, получим n

n

k =1

k =1

Ρ ( B ) = ∑ Ρ ( Ak ∩ B ) = ∑ Ρ ( Ak ) ⋅ Ρ ( B | Ak ). З а м е ч а н и е 1. Формула полной вероятности верна и при выполнении следующих условий на события Ai : 1. Ρ ( Ai ) > 0 , 2. Ai ∩ Aj = ∅ , i ≠ j , 3. B ⊂ ∑ Ai . i

П р и м е р 4. Студент выучил 20 билетов из 25 и идет отвечать вторым. Какова вероятность, что он вытянет «счастливый» билет? Р е ш е н и е . Введем случайные события A1 = {первый отвечающий выбрал «счастливый» билет}, A2 = A1. Тогда 20 5 19 20 Ρ ( A1 ) = , Ρ ( A2 ) = , Ρ ( B | A1 ) = , Ρ ( B | A2 ) = , 25 25 24 24 где событие B = {второй отвечающий выбрал «счастливый» билет}, 20 19 5 20 4 Ρ ( B) = ⋅ + ⋅ = . 25 24 25 24 5 Таким образом, вероятность выбрать «счастливый» билет такая же, как, если бы студент отвечал первым.

Во многих приложениях теории вероятностей встречается следующая задача. Пусть до опыта об исследуемом случайном явлении имеются гипотезы A1 , A2 , …, An . После опыта становится известной информация о результатах этого явления, но не полная: результаты наблюдений показывают, не какой конкретно элементарный исход ω∈ Ω произошел, а что наступило некоторое событие B. Считая, что до опыта были известны (априорные) вероятности Ρ ( A1 ) , …, Ρ ( An ) и условные вероятности Ρ ( B | A1 ) , …, Ρ ( B | An ) , необходимо опреде-

42

лить послеопытные (апостериорные) вероятности

Ρ ( A1 | B ) , …,

Ρ ( An | B ) . Решение поставленной задачи дают формулы Байеса. Теорема 4 (Формулы Байеса). Пусть выполнены условия теоремы 3 и Ρ ( B ) > 0 . Тогда для любых значений k = 1, 2, …, n имеют место формулы : Ρ ( Ak ) ⋅ Ρ ( B | Ak ) Ρ ( Ak | B ) = n . ∑ Ρ ( Ak ) ⋅ Ρ ( B | Ak ) j =1

Д о к а з а т е л ь с т в о . По определению условной вероятности, Ρ ( Ak ∩ B ) . Ρ ( Ak | B ) = Ρ( B) Применив к числителю теорему умножения, а к знаменателю формулу полной вероятности, получим требуемое. П р и м е р 5. В урне находятся 2 шара (оба белые, или оба черные, или один черный и один белый). Из урны достали один шар, он оказался белым. Какова вероятность того, что и второй шар белый? Р е ш е н и е . Введем следующие события: A1 = {в урне находятся два белых шара}, A2 = {в урне находятся два черных шара}, A3 = {в урне находятся белый и черный шары}, B = {вынутый из урны шар оказался белым}. Тогда Ρ ( A1 ) = Ρ ( A2 ) = Ρ ( A3 ) = 1 3 и Ρ ( A1 | B ) =

Ρ ( A1 ) ⋅ Ρ ( B | A1 ) = Ρ ( A1 ) ⋅ Ρ ( B | A1 ) + Ρ ( A2 ) ⋅ Ρ ( B | A2 ) + Ρ ( A3 ) ⋅ Ρ ( B | A3 ) 1 ⋅1 2 3 = = . 1 1 1 1 3 ⋅1 + ⋅ 0 + ⋅ 3 3 3 2

§ 2. Независимость событий

В этом параграфе введем понятие независимости событий, опираясь на аппарат условных вероятностей. Пусть A и B – такие случайные события, что Ρ ( A ) > 0, Ρ ( B ) > 0 и A не зависит от B. Из последнего естественно предположить, что Ρ ( A | B ) = Ρ ( A ) . Но из тео-

ремы умножения Ρ ( A ∩ B ) = Ρ ( A ) ⋅ Ρ ( B | A ) = Ρ ( B ) ⋅ Ρ ( A | B ) , а поэтому, во-первых, Ρ ( B | A ) = Ρ ( B ) (т. е. событие B не зависит от события

A ), а во-вторых, Ρ ( A ∩ B ) = Ρ ( A ) ⋅ Ρ ( B ) . Эти соображения обосновывают естественность следующего определения. 43

О п р е д е л е н и е 1. События A и B называются независимыми, если

Ρ ( A ∩ B ) = Ρ ( A) ⋅ Ρ ( B ). (1) З а м е ч а н и е 1. В приведенном определении вероятности событий A и B могут быть равными нулю. У п р а ж н е н и е 1. Пусть Ρ ( A ) = 0 , а B – произвольное случайное событие. Докажите, что события A и B независимы. У п р а ж н е н и е 2. Пусть Ρ ( A ) = 1, а B – произвольное случайное событие. Докажите, что события A и B независимы. У п р а ж н е н и е 3. Пусть события A и B независимы. Являются ли независимыми следующие пары событий: A и B , A и B, A и B ? У п р а ж н е н и е 4. Пусть события A и B несовместны. Будут ли они независимыми? Обычно независимость A и B, которую иногда называют теоретико-вероятностной, или статистической, независимостью (в отличие от причинной независимости реальных явлений), не устанавливается с помощью равенства (1), а постулируется на основе какихлибо внешних соображений. Равенство (1) позволяет вычислить вероятность Ρ ( A ∩ B ) , зная вероятности Ρ ( A ) и Ρ ( B ) двух независимых событий A и B. При установлении независимости событий A и B часто используется следующий принцип: события A и B, реальные прообразы которых A и B причинно независимы, независимы в теоретико-вероятностном смысле. И, конечно, из теоретико-вероятностной независимости событий A и B не следует причинная независимость их реальных прообразов A и B . Следующий пример показывает, что независимость может исчезнуть, если незначительно изменить вероятностную модель (см. также гл. 2, задача 9). П р и м е р 1. Из колоды в пятьдесят две карты случайно вынимается одна. Рассмотрим следующие случайные события: A – вынута карта бубновой масти, B – вынута дама. Являются ли события A и B независимыми? Найдем вероятности событий A, B и A ∩ B. Всего в колоде 13 карт бубно13 1 = . В колоде четыре дамы, значит, вероятность вой масти, поэтому Ρ ( A ) = 52 4 4 1 вынуть даму Ρ ( B ) = = . Произведением событий A и B является случайное 52 13 1 событие – {вынута бубновая дама} , поэтому Ρ ( A ∩ B ) = . Проверим выпол52

44

1 1 1 = ⋅ . Таким образом, A и 52 13 4 B независимы в теоретико-вероятностном смысле. Решим такую же задачу при условии, что в колоду добавлен джокер. Очевидно, что при подсчете вероятностей изменятся лишь знаменатели, так как карт теперь стало 53. Следовательно, проверка равенства (1) дает следующий результат: 1 13 4 ≠ ⋅ . 53 53 53 Значит, если в колоде есть джокер, то события A и B становятся зависимыми. нение равенства P ( A ∩ B ) = P ( A ) P ( B ) , получим

О п р е д е л е н и е 2. Случайные события A1 , …, An называются попарно независимыми, если для любых i ≠ j , i, j = 1, 2, …, n, Ρ ( Ai ∩ Aj ) = Ρ ( Ai ) ⋅ Ρ ( Aj ) .

О п р е д е л е н и е 3. Случайные события A1 , …, An называются независимыми в совокупности, если для любого подмножества индексов {i1 , ..., ik } ⊆ {1, 2, ..., n}

(

)

k

( )

Ρ Ai1 ∩ Ai2 ∩ ... ∩ Aik = ∏ Ρ Ai j . j =1

Пусть даны события A, B, C. Запишем, что означают попарная независимость случайных событий и независимость случайных событий в совокупности: 1) Ρ ( A ∩ B ) = Ρ ( A ) ⋅ Ρ ( B ) ; 2) Ρ ( A ∩ C ) = Ρ ( A ) ⋅ Ρ ( C ) ;

3) Ρ ( B ∩ C ) = Ρ ( B ) ⋅ Ρ ( C ) ; 4) Ρ ( A ∩ B ∩ C ) = Ρ ( A ) ⋅ Ρ ( B ) ⋅ Ρ ( C ) . Попарная независимость – это выполнение первых трех условий. Если к тому же выполняется и условие 4, то это означает, что события независимы в совокупности. Очевидно, что независимость в совокупности сильнее, т. е. из нее вытекает попарная независимость. Обратное, вообще говоря, не верно. Это показывает следующий пример. П р и м е р 2 (П р и м е р Б е р н ш т е й н а ). На плоскость бросают тетраэдр, три грани которого окрашены соответственно в красный, зеленый и синий цвета, а на четвертой есть все цвета. Рассмотрим следующие события: A = {выпала грань, содержащая красный цвет} , B = {выпала грань, содержащая зеленый цвет} , С = {выпала грань, содержащая синий цвет} .

Покажем, что события A, B, C независимы попарно, но зависимы в совокупности. Имеем 45

1 1 1 Ρ ( A ∩ B ) = Ρ ( A ∩ C ) = Ρ ( B ∩ C ) = , Ρ ( A) = Ρ ( B ) = Ρ ( C ) = , Ρ ( A ∩ B ∩ C ) = . 4 2 4 Тогда P ( A ∩ B ) = P ( A ) P ( B ) , P ( A ∩ C ) = P ( A ) P ( C ) , P ( B ∩ C ) = P ( B ) P ( C ) , т. е. события A, B и C попарно независимы. Но P ( A ∩ B ∩ C ) ≠ P ( A ) P ( B ) P ( C ) , а значит, A, B, C не являются независимыми в совокупности.

Пусть имеется два класса событий. Под независимостью этих классов событий по определению будем понимать, что любой представитель одного класса независим с любым представителем из другого. По аналогии для n классов случайных событий можем ввести определения попарной независимости и независимости в совокупности. Сделайте это самостоятельно. О п р е д е л е н и е 4. Сигма-алгебры A1 , …, A n называются независимыми, если для любых Ak ∈ A k , k = 1, 2, … n, n

Ρ ( A1 ∩ A2 ∩ ... ∩ An ) = ∏ Ρ ( Ak ).

(2)

k =1

У п р а ж н е н и е 5. Установите связь независимости, заданной соотношениями (2), с попарной независимостью и независимостью в совокупности классов событий. § 3. Независимые испытания

Цель этого параграфа – построить математическую модель n независимых испытаний, каждое из которых имеет конечное число исходов. Напомним, что под испытанием мы понимаем эксперимент со случайными исходами. Рассмотрим сначала следующий простейший пример. П р и м е р 1. Пусть на отрезок [ 0;1] независимо друг от друга случайным

образом бросаются две частицы (точки), каждая из которых с одинаковой возможностью может попасть в любую точку отрезка [ 0;1] . Событие A – первая частица попала в борелевское подмножество A ⊆ [ 0;1] , событие B – вторая частица попала в борелевское подмножество B ⊆ [ 0;1] . Необходимо построить вероятностное пространство, в котором можно было бы описать эти испытания. Очевидно, что мы не можем в качестве искомого взять «одномерное» геометрическое пространство ( Ω, A , Ρ ) , где Ω = [ 0;1] , A = B [ 0;1] , Ρ – мера Лебега. В этом случае независимость событий A и B будет определяться взаимным расположением подмножеств A и B на отрезке [ 0;1] . Для того, чтобы события A и B были независимы при любых борелевских подмножествах A и B, в качестве вероят-

46

( Ω, A , Ρ ) рассмотрим Ω = [ 0;1] × [ 0;1] , A = B ([ 0;1] × [ 0;1]) ,

ностного пространства следующее:

Ρ – мера Лебега на R 2 . Несложно видеть (см. рис. 2), что при таком подходе события A и B независимы для любых борелевских множеств A и B (проверьте это самостоятельно, используя аксиоматику геометрического вероятностного пространства).

Эту идею положим в основу для решения задачи данного параграфа. ПоРис. 2 скольку математическая модель любого испытания с конечным числом исходов – конечное вероятностное пространство, то в нашем случае n испытаний имеем n вероятностных пространств. Пусть ( Ωi , A i , Ρi ) , i = 1, n, – конечные вероятностные пространства, где Ωi = {ωi } , A i = P (Ωi ), Pi ( ωi ) = pi , i = 1, n. Вложим все эти пространства в более общее, которое конструктивно зададим следующим образом: Ω = ω = ( ω1 , …, ωn ) : ωi ∈ Ωi , i = 1, n , A = P ( Ω ) ,

{

}

Ρ ( ω) = P1 ( ω1 ) ⋅ … ⋅ Pn ( ωn ) ,

для любого A ∈ A

P ( A ) = ∑ P ( ω). ω∈A

Построенная так вероятность Ρ называется прямым произведением вероятностей Pi и обозначается Ρ = P1 × P2 × … × Pn . Аналогично в этом случае A = A1 × A 2 × … × A n есть прямое произведение σ-алгебр. В построенном вероятностном пространстве выделим класс событий A, называемых параллелепипедами, который определим следующим образом: пусть Ai ∈ A i , i = 1, n, параллелепипед A = A1 × A2 × … × An составлен из тех и только тех элементарных событий ω = ( ω1 ,…, ωn ) , для которых ωi ∈ Ai , i = 1, n. Из определения вероятности Ρ ( ω) вытекает, что вероятность параллелепипеда равна

Ρ ( A ) = ∑ Ρ ( ω) = ω∈A

n

∑ P ( ω ) ⋅… ⋅ ∑ P ( ω ) ⋅… ⋅ ∑ P ( ω ) = ∏ P ( A ).

ω1∈A1

1

1

ωi ∈Ai

47

i

i

ωn ∈An

n

n

k =1

k

k

Обозначим через A m′ подалгебру алгебры A , состоящую из всех тех параллелепипедов, у которых A i = Ωi для i ≠ m. Установим изоморфизм Ai′ ~ Ai ∈ A ( Ai′ = Ω1 × Ω2 × … × Ωi−1 × Ai × Ωi+1 × … × Ω n ∈ Ai′). Поэтому вместо событий Ai из вероятностного пространства ( Ωi , Ai , Ρi ) будем рассматривать изоморфные события Ai′ из подалгебры A i′ вероятностного пространства ( Ω, A , Ρ ) . Очевидно, что

Ρ ( Ai′ ) = Pi ( Ai ) . Сигма-алгебры A1′, A 2′, …, A n′ независимы, так как n

A = A1 × A2 × … × An = ∩ Ak′ , k =1

и отсюда получаем, что  n  n ′ Ρ  ∩ Ak  = ∏ Ρ ( Ak′ )  k =1  k =1

для любых Ak′ ∈ A k′. С х е м а Б е р н у л л и (б и н о м и а л ь н а я с х е м а). Пусть проводятся n независимых испытаний. Известно, что в каждом испытании возможны два исхода: либо происходит событие A (успех), либо событие A не происходит (неуспех). Данная схема называется схемой Бернулли. При этом предполагается, что вероятность р успеха и q = 1 − p неуспеха не изменяются при переходе от испытания к испытанию. Простейшим примером такой схемы является следующий эксперимент. П р и м е р 2. n раз бросается монета. Очевидно, что в любом испытании возможны два исхода – выпадение орла или решки.

Опишем математическую модель схемы Бернулли, т. е. построим соответствующее вероятностное пространство: Ωi = {0, 1} , A i = {∅, {0}, {1}, Ωi } , Pi (1) = p , Pi ( 0 ) = q , p + q = 1. Тогда прямое произведение вероятностных пространств ( Ω, A , P ) имеет вид: Ω = {( ω1 , ω2 , ..., ωn ) = ω; ωi = 0, 1} , A = P (Ω) , n

P ( ω ) = ∏ p ωi q1−ωi . i =1

Для любого события А из Ω 48

P ( A) = ∑ P ( ω ). ω∈A

Пусть событие В состоит в том, что при n независимых испытаниях в схеме Бернулли произошло ровно k успехов, т. е. B = ω ∈ ( ω1 , ..., ωn ) ∈Ω : ω1 + ... + ωn = k , ωi = 0, 1, i = 1, n .

{

}

Так как для ω ∈ B (см. общую схему) P ( ω ) = p k ⋅ q n−k , а число элементарных событий ω ∈ B равно Cnk , то P ( B ) = Cnk p k q n−k = Pn ( k ) , k = 0, n.

Вероятности Pn ( k ) , k = 0, n, называются биномиальными вероятностями. П р и м е р 3. Известно, что левши составляют 1 %. Найти вероятность того, что среди 200 человек найдется хотя бы трое левшей. Для решения этой задачи используется схема Бернулли, в которой проводятся 200 независимых испытаний с вероятностью успеха в отдельном испытании, равной 1 100 . Тогда P200 ( 0 ) – вероятность того, что среди 200 человек нет левшей, P200 (1) – есть один левша, P200 ( 2 ) – есть двое левшей. Искомая вероятность равна  1  0 = 1 − C200 ⋅   100 

1 − P200 ( 0 ) − P200 (1) − P200 ( 2 ) = 0

 99  ⋅   100 

200

1

 1  1 − C200 ⋅   100 

199

 99  ⋅   100 

 1  2 − C200 ⋅   100 

2

198

 99  ⋅   100 

.

П о л и н о м и а л ь н а я с х е м а. Более сложная схема n независимых испытаний получается, когда при каждом испытании возможно появление одного из k попарно несовместных исходов A1 , A2 , …, Ak . Такая схема называется полиномиальной схемой. При k = 2 она превращается в схему Бернулли. Пусть i-е испытание связано с вероятностным пространством ( Ωi , Ai , Pi ) , i = 1, n, где Ωi = {1, 2, ..., k} состоит из номеров исходов A1 , ..., Ak , A i = P ( Ω ) , Pi ( j ) = p j , p j ≥ 0, j = 1, k , p1 + ... + pk = 1.

Тогда согласно общей схеме прямое произведение ( Ω, A , P ) может быть представлено следующим образом: Ω = ω = ( ω1 , ..., ωn ): ωi = 1, k , A = P ( Ω ) ,

{

}

P ( ω ) = P1 ( ω1 ) ⋅ P2 ( ω2 ) ⋅ ... ⋅ Pn ( ωn ) .

49

Пусть событие B состоит в том, что в n испытаниях полиномиальной схемы событие A1 произойдет ровно m1 раз, A2 – ровно m2 раз, …, Ak – ровно mk раз, m1 + ... + mk = n. Вероятность события В обозначается Pn ( m1 , ..., mk ) и называется полиномиальной вероятностью. Так как для любого ω∈ Ω (см. общую схему) P ( ω ) = p1m1 ⋅ p2m2 ⋅ ... ⋅ pkmk , а количество элементарных событий ω ∈ B равно (см. дополнения к гл. 1, § 1) n! Cnm1 ⋅ Cnm−2m1 ⋅ ... ⋅ Cnm−km1 −...−mk −1 = , m1 ! ... mk ! то для любых mi ≥ 0, m1 + ... + mk = n, получаем n! Pn ( m1 , ..., mk ) = ⋅ p1m1 ⋅ ... ⋅ pkmk . m1 ! ... mk ! П р и м е р 4. В некотором обществе блондины составляют 40 %, брюнеты – 30 %, шатены – 20 %, рыжие – 10 %. Случайно выбираются 6 человек. Найти вероятность того, что число блондинов и шатенов среди них одинаково. Очевидно, что возможны только четыре выборки, при которых число блондинов и шатенов одинаково: среди шести выбранных нет блондинов и шатенов, один блондин и один шатен, два шатена и два блондина, три шатена и три блондина. Введем следующие события: A1 = {случайно выбранный человек является блондином} , A2 = {случайно выбранный человек является шатеном} ,

A3 = A1 ∩ A2 . Вероятности этих событий будут равны соответственно Ρ ( A1 ) = Ρ ( A3 ) =

4 2 , Ρ ( A2 ) = , 10 10

4 . Тогда искомая вероятность запишется в виде 10 P6 ( 0, 0, 6 ) + P6 (1,1, 4 ) + P6 ( 2, 2, 2 ) + P6 ( 3,3, 0 ) ,

6! m m m Ρ ( A1 ) 1 Ρ ( A2 ) 2 Ρ ( A3 ) 3 – вероятность того, что из m1 !m2 !m3 ! шести случайно выбранных человек m1 являются блондинами, m2 – шатенами, m3 – рыжими или брюнетами, причем m1 + m2 + m3 = 6 .

где P6 ( m1 , m2 , m6 ) =

50

ДОПОЛНЕНИЯ К ГЛАВЕ 2 § 1. Предельные теоремы в схеме Бернулли

Схема независимых испытаний служит вероятностной моделью многих реальных явлений, поэтому представляет значительный интерес задача подсчета вероятностей Pn ( т ) (т. е. того, что в n независимых испытаниях схемы Бернулли произошло ровно m успехов). При больших значениях n и m есть трудности в получении численного значения этих вероятностей. Естественным образом возникает задача нахождения асимптотических формул, позволяющих приближенно m вычислять вероятности Pn ( т ) и их суммы ∑ m2= m Pn ( т ) для достаточно больших 1

значений n. Сначала исследуем случай больших n и малых p. Рассмотрим последовательность серий E11 , E21 , E22 , E31 , E32 , E33 ,

………………… En1 , En 2 , En 3 ,… , Enn , ……………………… , для которой все события одной серии независимы и вероятность успеха pn в каждом испытании некоторой серии зависит только от номера серии. Обозначим µ n – число наступивших успехов в n-й серии. Теорема 1 (Локальная предельная теорема Пуассона). Если pn → 0, n → ∞, так, что pn ⋅ n → a , то a m −a ⋅e . m! Д о к а з а т е л ь с т в о. Пусть зафиксировано число m. Тогда справедливы следующие соотношения: n! n−m n−m = ⋅ pnm ⋅ (1 − pn ) = Pn ( m ) = Ρ ( µ n = m ) = Cnm ⋅ pnm ⋅ (1 − pn ) m !⋅ ( n − m ) ! Ρ ( µ n = m ) = Cnm pnm (1 − pn )

( npn ) = ( npn )

m

m!

m

⋅

n ( n − 1)… ( n − ( m − 1) ) n

m

n−m

→

⋅ (1 − pn )

−m

n

⋅ (1 − pn ) =

1 am −a −m − ( − npn )  1   m −1  pn … 1 − 1 − 1 − 1 − → ⋅e . p p ( ) ( ) n n     m!  n   n  m! П р и м е р 1. Рассмотрим теперь продолжение прим. 3 (см. гл. 2, § 3). Воспользовавшись локальной предельной теоремой Пуассона, найдем приближенное численное значение вероятности того, что среди 200 человек хотя бы трое левшей.

=

51

На практике обычно пользуются пуассоновским приближением уже тогда, когда n ≥ 100, p ≤ 1/100. 1 и Итак, P ( A ) = 1 − P200 ( 0 ) − P200 (1) − P200 ( 2 ) . Имеем, что n = 200 , p = 100 a = np = 2, поэтому искомая вероятность будет приближенно равна 20 −2 21 −2 22 −2 ⋅ e − ⋅ e − ⋅ e = 1 − 5 ⋅ e−2 ≈ 0,323. 0! 1! 2! Приведем без доказательства теорему, позволяющую определять точность «пуассоновского» приближения. Теорема 2 (Интегральная предельная теорема Пуассона) [34]. В схеме Бернулли для любого n ∈ N , любого p ∈ ( 0;1) и для любого числового множества 1−

B справедливо неравенство am −a a2 ⋅ e ≤ , где a = np. n m∈B m ! Теорема, которая будет доказана ниже, дает асимптотическую формулу для биномиальной вероятности при p не близких к 0 или 1. Теорема 3 (Локальная предельная теорема Муавра – Лапласа). Если в → ∞ , то для любого C > 0 равномерно по всем x, схеме Бернулли σ = npq  n →∞ Ρ (µn ∈ B ) − ∑

m − np   x ∈  x ∈ R : x ≤ C, x = , m ∈ N ∪ {0} σ   справедливо соотношение x2  µ n − np  − 1 Ρ = x = ⋅ e 2 ⋅ (1 + o (1) ) , σ π 2 npq   где o (1) – бесконечно малая величина при σ → ∞

(1)

Иллюстрация в Mathematica Схема доказательства

Д о к а з а т е л ь с т в о. Прологарифмировав равенство n! Pn ( m ) = ⋅ p m ⋅ q n−m , m !( n − m ) ! получим   n! ⋅ p m ⋅ q n − m  = ln Pn ( m ) = ln   m !( n − m ) !  = ln n ! − ln m ! − ln ( n − m ) ! + m ln p + ( n − m ) ln q.

(2)

Известна асимптотическая формула Стирлинга ln n ! = n ln n + ln 2πn − n + θn ,

(3)

где 1 . 12n Воспользовавшись соотношением (3), получим θn ≤

ln Pn ( m ) = n ln n + ln 2πn − n + θn − m ln m − ln 2πm + m − θm − − k ln k − ln 2π k + k − θ k + m ln p + k ln q,

(4)

где k = n − m. Для законности применения формулы Стирлинга убедимся, что m → ∞, k → ∞. Действительно  xqσ   xq  m = np + xσ = np  1 + (5)  = np 1 +  → ∞, σ   npq   xp  k = n − m = n − np − xσ = nq − xσ = nq 1 −  → ∞. σ  Из математического анализа известно, что ln (1 + ε ) = O ( ε ) при ε → 0, ln (1 + ε ) = ε − поэтому

(6)

ε2 + O ( ε3 ) при ε → 0, 2

1 2πn 1 = ln ln 2 2πm2πk 2

1 =  xq  xp  2πnpq 1 +  1 −  σ  σ  1 1  xq  1  xp  1 1 (7) = ln − ln 1 +  − ln 1 −  = ln + O  . σ 2  σ σ 2π 2  σ 2π σ Очевидно, что  1   1   1  θn = O  2  , θm = O  2  , θk = O  2  , σ  σ  σ  1 (8) θn + θm + θk = O   . σ Вернемся к равенству (4). Рассмотрим оставшиеся слагаемые правой части этого равенства: n ln n − m ln m − k ln k + m ln p + k ln q = m ln n + k ln n − m ln m − k ln k + m ln p + k ln q =  xq   xp  np  1 +  nq 1 −  m k σ σ = − m ln − k ln = − ( np + xσ ) ln  − ( nq − xσ ) ln  = np nq np nq ln 2πn − ln 2πm − 2πk =

 xq x 2 p 2  xp x 2 p 2  1   1  = − ( np + xσ )  − + O  3   − ( nq − xσ )  − − + O  3  = 2 2  σ   σ   σ 2σ  σ 2σ  npxq npx 2 q 2 x 3 q 2 nqx 2 p 2 x3 p 2  1    nq xp  1  2 = − + x2q − − + O − − + x p − + + O   =    2 2 2σ 2σ σ 2σ 2σ  σ    σ   σ x2 1 + O  . 2 σ  Подставив в равенство (4) соотношения (7) – (9), получим =−

53

(9)

1 x2 1 ln Pn ( m ) = ln − + O , σ 2π 2 σ 1

2

2

2

x x x O  − − − 1 1  1  1  ⋅e 2 ⋅e σ = ⋅ e 2 1 + O    = ⋅ e 2 ( o (1) + 1) . Pn ( m ) = σ 2π σ 2π  σ   σ 2π  Теорема доказана. Теорема 4 (Интегральная предельная теорема Муавра – Лапласа). При выполнении условий теоремы 3 равномерно по −∞ ≤ a < b ≤ +∞ выполнено предельное соотношение 2

b x − µ − np 1   2 Ρa ≤ n ≤ b → e dx. ∫ σ 2π a   Более общий вариант этой теоремы будет доказан в гл. 6, поэтому здесь ее доказательство мы опускаем. Для просмотра иллюстрации нажмите кнопку Анимация. З а м е ч а н и е 1. Ю. В. Прохоров показал, что

sup Pn ( k ) − k

a k e − a 2a ≤ min ( 2, a ) . k! n

З а м е ч а н и е 2. Теорема Берри – Эсеена утверждает, что в интегральной предельной теореме Муавра – Лапласа  µ − np  p2 + q2 sup P  n . ≤ x  − Φ ( x) ≤  npq  npq x∈R   § 2. Цепи Маркова

Непосредственным обобщением схемы независимых испытаний является схема так называемых цепей Маркова. Мы ограничимся изложением элементов этой теории. Представим себе, что производится последовательность испытаний, в каждом из которых может осуществиться одно и только одно из r несовместных событий A1 ( t ) , A2 ( t ) , … , Ar ( t ) , t = 0, 1, … , T , – номер испытания. Будем говорить, что последовательность испытаний образует цепь Маркова, если условная вероятность того, что в t + 1-м испытании осуществится событие A1 ( t + 1) , i = 1, r , зависит только от того, какое событие произошло при t-м испытании и не изменяется от добавочных сведений о том, какие события происходили в более ранних испытаниях. Изложим теперь понятие цепей Маркова, учитывая терминологию и модели, введенные в теме «Независимые испытания» (см. гл. 2, § 3). Пусть параметр t (время) дискретен, t = 0, 1, … , T , и алгебры A 0 , A1 , … , AT (1)

54

описывают последовательность случайных испытаний. Цепь Маркова определим следующим образом. В последовательности испытаний (1) зафиксируем какойнибудь момент времени t. Алгебру событий A t назовем настоящим, алгебру A 0t −1 , порожденную алгебрами A 0 , A1 , … , A t −1 (т. е. A 0t −1 = σ {A 0 , A1 , … , A t −1} ), назовем прошлым, а ал-

гебру событий A tT+1 = σ {A t +1 , A1 , … , AT } – будущим. Любое событие из A 0t −1 также назовем прошлым, из A tT+1 – будущим, из A t – настоящим. О п р е д е л е н и е 1. Последовательность испытаний (1) будем называть цепью Маркова, если при любом фиксированном настоящем Ai ( t ) , t = 1, ..., T − 1,

прошлое A 0t −1 и будущее A tT+1 независимы, т. е. для любых A ∈ A 0t −1 и B ∈ A tT+1 Ρ ( AB | Ai ( t ) ) = Ρ ( A | Ai ( t ) ) P ( B | Ai ( t ) ) , i = 1, r. .

(2)

З а м е ч а н и е 1. Так как Ρ ( AB | C ) = Ρ ( B | AC ) , Ρ( A| C) если Ρ ( AC ) > 0 , то условие (2) равносильно условию

Ρ ( B | Ai ( t ) ⋅ A ) = Ρ ( B | Ai ( t ) ) , i = 1, ..., r , t = 1, ..., T − 1.

(3)

Пусть состояние некоторой системы описывается точкой фазового пространства E = {1, 2, … , r} . Эволюция изучаемой системы описывается траекторией ω = {ω0 , ω1 , … , ωT } , где ωt = i, если в момент времени t система находилась в состоянии i. Обозначим Ai ( t ) = {ω : ωt = i} , i = 1, r , t = 0, T . Вычислим вероятность того, что траектория ω = {ω0 , ω1 , … , ωT } равна {i0 , i1 , … , iT } , ik = 1, r ,

k = 0, T . По теореме умножения с учетом условия (3) имеем

(

Ρ ( ω = {i0 , i1 , … , iT } ) = Ρ Ai0 ( 0 )

(

= Ρ Ai0 ( 0 )

T

) ∏ Ρ ( A ( t ) | A ( 0 ) A (1) … A ( t − 1) ) = it

t =1

i0

i1

it −1

T

) ∏ Ρ ( A ( t ) | A ( t − 1) ). it

t =1

it −1

(4)

В дальнейшем будем рассматривать однородные цепи Маркова, в которых условные вероятности Ρ ( Aj ( t ) | Ai ( t − 1) ) = pij , называемые переходными вероятностями, не зависят от t. Таким образом, чтобы вычислить вероятность любой траектории ω в однородной цепи Маркова, достаточно задать начальное распределение pi ( 0 ) = Ρ ( Ai ( 0 ) ) , i = 1, r , и матрицу переходных вероятностей

55

 p11 p12 … p1r  p p22 … p2 r  P =  21 .  …………………     pr1 pr 2 … prr  Формула (4) запишется тогда так:

(5)

T

Ρ ( ω = ( i0 , i1 , … , iT ) ) = pi0 ( 0 ) ∏ pi t =1

t −1 it

.

(6)

Отметим, что элементы матрицы (5) обладают следующими свойствами: r

∑p j =1

= 1, pij ≥ 0.

ij

(7)

Любая квадратная матрица (5) со свойствами (7) называется стохастической. Введем переходные вероятности за t шагов pij ( t ) = P ( A j ( t + s ) Ai ( s ) ) . Матрица r P ( t ) =  pij (t )  i , j =1

так же будет стохастической. Из формулы полной вероятности, используя (3) и условие однородности, получаем r

pij ( t + s ) = ∑ pik ( t ) pkj ( s ) или в матричной форме

k =1

P (t + s ) = P (t ) P ( s ).

Через начальные вероятности pi ( 0 ) и переходные вероятности pij ( t ) мо-

жем выразить распределение вероятностей pi ( t ) = P ( Ai ( t ) ) при любом t: r

pi ( t ) = ∑ pk ( 0 ) pki ( t ) . k =0

П р и м е р 1. Блуждание с поглощением. Пусть по точкам 0, 1, 2, … , N прямой блуждает частица. Время t дискретно. Если в момент t частица была в точке i , то в момент t + 1 она, независимо от ее положения в более ранние моменты времени, с вероятностью pij попадет в точку j. Если матрица переходных вероятностей задается равенствами

p00 = pNN = 1,

pi ,i +1 = p,

pi ,i −1 = 1 − p

для

i = 1, 2, … , N − 1 и pij = 0 при i − j > 1, то получаем цепь Маркова, которая описывает блуждание частицы по целым точкам отрезка [ 0; N ] с поглощением на концах. П р и м е р 2. Блуждание с отражением. Пусть переходные вероятности pi ,i +1 , pi ,i −1 для i = 1, 2, … , N − 1 и pij для i − j > 1 остаются такими как и в прим. 1. Если p00 = 1 − p, p01 = p, pNN = p, pN , N −1 = 1 − p, то полученная цепь

56

Маркова моделирует блуждание по целым точкам отрезка [ 0; N ] с отражением на концах. Теорема 1 (О предельных вероятностях). Если при некотором t0 все эле-

менты матрицы P ( t0 ) положительны, то существуют пределы lim pij ( t ) = p j , j = 1, r.

(8)

t →∞

Предельные вероятности p j не зависят от начального состояния i и являются единственным решением системы r

∑ xk pkj = x j , j = 1, r, k =1

r

∑x j =1

j

= 1.

(9)

M j ( t ) = max pij ( t ) ,

Д о к а з а т е л ь с т в о. Обозначим

i

m j ( t ) = min pij ( t ) . i

Так как m j ( t ) ≤ pkj ( t ) ≤ M j ( t ) при любом k = 1, r , то из равенства

pij ( t + 1) = ∑ pik pkj ( t ) k

следует, что при всех i Отсюда

m j ( t ) ≤ pij ( t + 1) ≤ M j ( t ) . m j ( t ) ≤ m j ( t + 1) ≤ M j ( t + 1) ≤ M j ( t ) .

Таким образом, при t → ∞ имеются пределы у последовательностей m j ( t ) и M j ( t ) . Докажем, что эти пределы совпадают.

Пусть i и j таковы, что pik ( t + t0 ) = M k ( t + t0 ) , p jk ( t + t0 ) = mk ( t + t0 ) , тогда r

M k ( t + t0 ) − mk ( t + t0 ) = ∑ ( pil ( t0 ) − p jl ( t0 ) ) plk ( t ) . l =1

Разобьем сумму в правой части этого равенства на сумму ∑ + положительных слагаемых и сумму ∑ − отрицательных слагаемых

M k ( t + t0 ) − mk ( t + t0 ) ≤ M k ( t ) ∑ + ( pil ( t0 ) − p jl (t0 ) ) + + mk ( t ) ∑ l

Так как

l

−

( p (t ) − p (t )) = M (t ) ∑ il

0

jl

0

k

+

+ mk ( t ) ∑ − .

(10)

0 = ∑ ( pil ( t0 ) − p jl ( t0 ) ) = ∑ + + ∑ − , l

то ∑+ = − ∑− .

Обозначим

∑ ( p (t ) − p (t )) = d . +

il

0

jl

0

ij

l

Из условий теоремы следует, что все dij < 1 , поэтому d = max dij ( t ) < 1. Из (10) i, j

имеем 57

M k ( t + t0 ) − mk ( t + t0 ) ≤ d ( M k ( t ) − mk ( t ) )

и t  t 

0 ≤ M k ( t ) − mk ( t ) ≤ d  0  → 0

при t → ∞. Так как mk ( t ) ≤ pik ( t ) ≤ M k ( t ) , то отсюда следует (8). Перейдем в r

r

k =1

k =1

уравнениях pij ( t + 1) = ∑ pik ( t ) pkj к пределу при t → ∞. Получаем p j = ∑ pk pkj . Кроме того,

r

∑p j =1

j

= 1, т. е. предельные вероятности удовлетворяют системе (9).

Предположим, что какие-либо x1 , … , xr удовлетворяют (9). Тогда они при любом t удовлетворяют системе r

x j = ∑ xk pkj ( t ).

(11)

k =1

Это доказывается по индукции: r

∑x k =1

k

r r r r  r  pkj ( t + 1) = ∑ xk ∑ pki pij ( t ) = ∑  ∑ xk pki  pij ( t ) = ∑ xi pij ( t ) = x j . k =1 i =1 i =1  k =1 i =1  r

Переходя в равенстве (11) к пределу при t → ∞, получаем x j = ∑ xk p j = p j . Теоk =1

рема доказана. З а м е ч а н и е 2. Можно проверить, что цепь Маркова, описывающая блуждание с отражением в прим. 2, удовлетворяет условиям теоремы 1. Предельные вероятности в этом случае можно найти с помощью системы уравнений (9). Задачи 1. Приведите примеры, показывающие, что, вообще говоря, равенства P ( A | B ) + P A | B = 1, P ( A | B ) + P A | B = 1

(

)

(

)

неверны. 2. В урне М шаров, из которых M 1 белого цвета. Рассматривается выборка объема n. Пусть B j – событие, состоящее в том, что извлеченный на j-м шаге шар белого цвета, а Ak – событие состоящее в том, что в выборке объема n имеется ровно k белых шаров. Покажите, что как для выбора с возвращением, так и для выбора без возвращения k P ( B j | Ak ) = . n 3. Пусть A1 , ..., An – независимые события. Докажите, что n  n  P  ∪ Ak  = 1 − ∏ P Ak . k =1  k =1  4. Пусть A1 , ..., An – независимые события. Докажите, что вероятность того, что ни одно из этих событий не произойдет равна

( )

58

n

∏ (1 − P ( A ) ). k

k =1

5. Пусть А и В независимые события. В терминах вероятностей этих событий выразите вероятности событий, состоящих в том, что произойдет в точности k, по меньшей мере k и самое большее k из событий А и В ( k = 0, 1, 2 ) . 6. Пусть событие А таково, что оно не зависит от самого себя. Покажите, что тогда P ( A ) равна 0 или 1. 7. Пусть A и B – независимые события и P ( A ∪ B ) = 1. Докажите, что либо

А, либо В имеет вероятность, равную 1. 8. Предположим, что события А и B1 независимы и события А и B2 также независимы. Покажите, что события А и B1 ∪ B2 независимы тогда и только тогда, когда события А и B1 ∩ B2 независимы. 9. Монета бросается n раз. Событие А состоит в том, что герб выпадет не более одного раза. Событие В состоит в том, что герб и решка выпадает не менее одного раза каждый. Покажите, что: 1) при n = 2 события А и В зависимы, 2) при n = 3 события А и В независимы, 3) при n = 4 события А и В зависимы. 10. Докажите, что в теореме Пуассона имеет место следующая скорость сходимости: a k e − a 2a 2 sup Pn ( k ) − . ≤ k! n k 11. Два игрока независимым образом подбрасывают (каждый свою) симметричные монеты. Покажите, что вероятность того, что у каждого после п подбрасываний будет одно и тоже число гербов, равна n

2−2 n ∑ ( Cnk ) . 2

k =0

Выведите равенство n

C2nn = ∑ ( Cnk ) . 2

k =0

12. Игральная кость бросается n раз. Найдите вероятность того, что последовательность выпавших очков является монотонно убывающей.

59

Глава 3. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ В предыдущих главах в качестве математических моделей исследуемых случайных явлений рассматривались вероятностные пространства ( Ω, A , Ρ ) . Однако теория вероятностей не достигла бы такого расцвета и не была бы столь широко используема на практике, если бы изучала только случайные события. Возвращаясь к истокам возникновения теории вероятностей, вспомним, что уже в азартных играх интерес играющих вызывает не наступление случайного исхода, а связанный с ним выигрыш или проигрыш, т. е. определенная числовая величина, поставленная в соответствие этому исходу. Поэтому вполне естественной является задача определения и развития теории функций на вероятностных пространствах. § 1. Случайные величины и их распределения

Одним из основных понятий теории вероятностей является понятие случайной величины. Случайная величина – это величина, принимающая те или иные значения, в зависимости от случая. Примерами случайных величин могут быть число очков, выпадающих при однократном подбрасывании игральной кости, число бракованных среди взятых наугад n изделий, число попаданий в цель при n выстрелах и т. д. Случайная величина ξ есть число, которое ставится в соответствие каждому возможному исходу эксперимента, т. е. ее можно рассматривать как функцию ξ = ξ ( ω) на пространстве элементарных событий Ω . Следует отметить, что при изучении случайных величин нам часто придется отвечать на вопрос: какова вероятность того, что значения случайной величины ξ ( ω) принадлежат тому или иному множеству? Следовательно, для достаточно широкого класса множеств { B} на числовой прямой мы должны быть уверены, что множество {ω : ξ(ω) ∈ B} принадлежит σ-алгебре A , и поэтому можно рассматривать вероятность Ρ {ω∈ Ω : ξ(ω) ∈ B}. Оказывается (в этом убедимся далее), достаточно предположить, что для любого c ∈ R было выполнено {ω∈ Ω : ξ ( ω) ≤ c} ∈ A , чтобы для любого борелевского

множества B выполнялось {ω∈ Ω : ξ ( ω) ∈ B} ∈ A . В силу вышесказанного, естественным является следующее определение.

60

О п р е д е л е н и е 1. Пусть ( Ω, A , Ρ ) – произвольное вероятностное пространство. Случайной величиной называется функция ξ : Ω → R, такая что для любого c ∈ R (1) {ω∈ Ω : ξ ( ω) ≤ c} ∈ A . Таким образом, случайная величина – это числовая измеримая функция. Напомним, что условие (1) – условие измеримости функции. В дальнейшем будем использовать также другое определение случайной величины. О п р е д е л е н и е 2. Случайной величиной называется функция ξ : Ω → R, такая, что для любого борелевского множества B ∈ B ( R )

ξ−1 ( B ) ∈ A .

(2)

Здесь по определению ξ−1 ( B ) = {ω∈ Ω : ξ ( ω) ∈ B}. Докажем эквивалентность этих определений. Для этого понадобятся факты, которые сформулируем в виде упражнения. У п р а ж н е н и е 1. Докажите, что справедливы равенства: ∞  ∞ −1 −1  −1 −1 1) ξ ( ∅ ) = ∅, 2) ξ ( R ) = Ω, 3) ξ  ∩ Ak  = ∩ ξ ( Ak ),  k =1  k =1 ∞  ∞ 4) ξ −1  ∪ Ak  = ∪ ξ−1 ( Ak ), 5) ξ −1 ( A \ B ) = ξ −1 ( A ) \ ξ−1 ( B ) .  k =1  k =1 У т в е р ж д е н и е 1. Определения 1 и 2 эквивалентны. Д о к а з а т е л ь с т в о. Покажем, что условие (1) эквивалентно условию (2). Н е о б х о д и м о с т ь. Пусть выполняется условие (1). Рассмотрим класс K тех множеств B ∈ R, для которых ξ −1 ( B ) ∈ A , т. е. K = { B : B ⊆ R, ξ −1 ( B ) ∈ A }.

Из упражнения 1 вытекает, что K – σ-алгебра и любые полуинтервалы ( a; b ] ∈ K . B ( R ) по определению наименьшая σ-алгебра, содержащая все полуинтервалы вида ( a; b ]. Таким образом, B ( R ) ⊆ K

и, следовательно, для любого B ∈ B ( R ) ξ −1 ( B ) ∈ A , а значит, справедливо (2). Д о с т а т о ч н о с т ь. Пусть имеет место (2). Тогда, взяв в качестве борелевского множества B полуинтервал ( −∞; c ] , где c – произвольное действительное число, приходим к справедливости условия (1). Таким образом, утверждение 1 доказано полностью.

61

П р и м е р 1. Бросается симметричная монета. Вероятностное пространство ( Ω, A , Ρ ) зададим таким образом: Ω = {г, р} , где {г} – событие, состоящее в

том, что выпал герб, {р} – событие, состоящее в том, что выпала решка. В таком

случае A = {∅, Ω, {г} , {р}} и Ρ ({г} ) = Ρ ({р} ) = 1 2. На этом вероятностном

пространстве определим функцию ξ : Ω → R, ξ ({г} ) = 0, ξ ({р} ) = 1. Убедимся в том, что ξ – случайная величина. Несложно видеть, что для любых c < 0 {ω∈ Ω : ξ ( ω) ≤ c} = ∅ ∈ A , если 0 ≤ c < 1, то {ω∈ Ω : ξ ( ω) ≤ с} = {г} ∈ A , и, наконец, для любых c ≥ 1 {ω∈ Ω : ξ ( ω) ≤ c} = Ω ∈ A , т. е. выполняется условие измеримости (1) и, следовательно, ξ – случайная величина. В качестве модельных вероятностных пространств рассматриваемого примера могут быть взяты различные вероятностные пространства. Графики исходной случайной величины ξ будут зависеть от их вида. Рассмотрим два примера 1) Ω = [ 0;1] , {г} = [ 0;1 2] , {р} = (1 2;1] , Ρ – мера Лебега на [ 0;1] ;

2) Ω = [ 0;1] , {г} = [1 4;3 4] , {р} = [ 0;1 4 ) ∪ [3 4;1] , Ρ – мера Лебега на [ 0;1] . Тогда график случайной величины ξ можно изобразить двумя способами (см. рис. 1). Более того, если учесть, что в качестве множества {г} можно взять любое подмножество отрезка [ 0;1] , мера Лебега которого равна 1 2 , а в качестве {р} – его дополнение:

{р} = [ 0;1] \ {г} ,

то придем к тому, что одна и та же случайная величина ξ имеет бесконечное число графиков. Заметим также, что множество {г} на отрезке [0;1] выбирается Рис. 1 случайным образом (в силу специфики исходной задачи), поэтому элемент случайности присущ и самим графикам.

Подытоживая все вышесказанное, приходим к выводу: функция ξ – числовая измеримая функция, значения которой в силу случайного расположения элементов из области определения Ω являются случайными числами.

62

У п р а ж н е н и е 2. Докажите, что функция ξ из примера 1 удовлетворяет соотношению (2).

П р и м е р 2. На отрезок [ 0;1] числовой прямой наугад бросают частицу,

причем считают, что все положения частицы одинаково возможны. Вероятностное пространство ( Ω, A , Ρ ) зададим стандартным образом: Ω = [ 0;1] , A = B ([ 0;1]) – борелевская σ-алгебра на [0;1], Ρ – мера Лебега.

Определим функцию ξ : Ω → R следующим образом: ξ ( ω) = ω для любых ω∈ Ω. Заметим, что

c < 0, ∅ ∈ A ,  {ω∈ Ω : ξ ( ω) ≤ c} = [0; c ] ∈ A , 0 ≤ c < 1, Ω ∈ A , c ≥1  т. е. ξ – случайная величина. П р и м е р 3. Пусть ( Ω, A , Ρ ) – произвольное вероятностное пространство,

A - некоторое случайное событие ( A∈ A ) и 1, ω∈ A, I A (ω) =  0, ω∉ A. Так как ∅, c < 0, {ω∈ Ω : ξ ( ω) ≤ c} =  A, 0 ≤ c < 1, Ω, c ≥ 1, 

то {ω∈ Ω : ξ ( ω) ≤ c} ∈ A для любых c ∈ R, , т. е. I A – случайная величина. Случайную величину I A называют индикатором случайного события A.

У п р а ж н е н и е 3. Покажите, что, если в прим. 3 A∉ A , то функция I A не является случайной величиной. Из прим. 1 было видно, что, хотя случайная величина и является числовой измеримой функцией, работать с ней как с обычной (неслучайной) функцией нельзя. Сейчас определим функцию распределения случайной величины, которая, с одной стороны, является неслучайной функцией, а с другой – несет всю информацию, заложенную в случайной величине. О п р е д е л е н и е 3. Функцией распределения случайной величины ξ называется функция Fξ : R → [ 0;1] , такая, что для любых x ∈ R Fξ ( x ) = Ρ {ω∈ Ω : ξ ( ω) ≤ x}.

(3)

З а м е ч а н и е 1. Корректность определения 3 непосредственно вытекает из (1).

63

П р и м е р 4. Найдем функцию распределения случайной величины ξ из прим. 1 и построим ее график. Несложно видеть, что для x < 0 {ω∈ Ω : ξ ( ω) ≤ x} = ∅, если же 0 ≤ x < 1, то и, наконец, для x ≥ 1

{ω∈ Ω : ξ ( ω) ≤ x} = {г} , {ω∈ Ω : ξ ( ω) ≤ x} = Ω,

поэтому по определению функции распределения имеем 0, x ∈ ( −∞;0 ) ,  Fξ ( x ) = 1 2, x ∈ [ 0;1) ,  x ∈ [1; +∞ ) . 1, График функции Fξ ( x ) имеет вид

Рис. 2

У п р а ж н е н и е 4. Найдите функции распределения случайных величин из прим. 2 и 3 и постройте их графики. На практике часто бывают полезными соотношения из следующего упражнения. У п р а ж н е н и е 5. Докажите, что для любых a, b ∈ R, a < b, справедливы следующие равенства: 1) Ρ ( a < ξ ≤ b ) = Fξ ( b ) − Fξ ( a ) ; 2) Ρ ( ξ < b ) = Fξ ( b − 0 ) ;

3) Ρ ( a ≤ ξ ≤ b ) = Fξ ( b ) − Fξ ( a − 0 ) ; 4) Ρ ( ξ = a ) = Fξ ( a ) − Fξ ( a − 0 ) ;

5) Ρ ( a ≤ ξ < b ) = Fξ ( b − 0 ) − Fξ ( a − 0 ) ;

6) Ρ ( a < ξ < b ) = Fξ ( b − 0 ) − Fξ ( a ) . Р е ш е н и е . 1) Используя свойство 2 (гл. 1, § 2) вероятностей и пункт 5 упражнения 1, имеем Ρ ( a < ξ ≤ b ) = Ρ ( ω∈ Ω : a < ξ ( ω) ≤ b ) = Ρ ω∈ Ω : ξ −1 ( ( a; b ]) =

(

64

)

(

) (

) (

)

= Ρ ξ −1 ( ]−∞; b ] \ ]−∞; a ]) = Ρ ξ −1 ( ]−∞; b ]) − Ρ ξ −1 ( ]−∞; a ]) = = Ρ ( ξ ≤ b ) − Ρ ( ξ ≤ a ) = Fξ ( b ) − Fξ ( a ) . 2) Несложно видеть, что ∞ {ω∈ Ω : ξ ( ω) < b} = ∑ ω∈ Ω : b − n 1− 1 < ξ ( ω) ≤ b − 1n ,  n =1  поэтому по аксиоме счетной аддитивности вероятностей и доказанному выше п. 1) получаем Ρ ( ξ < b ) = Ρ ( ω∈Ω : ξ ( ω) < b ) = Ρ ( ω∈Ω : ξ ( ω) ≤ b − 1) + ∞ 1 1  + ∑ Ρ  ω∈ Ω : b − < ξ ( ω) ≤ b −  = Fξ ( b − 1) + n −1 n n=2  N   1 1  1   + lim ∑  Fξ  b −  − Fξ  b − = lim Fξ  b −  = Fξ ( b − 0 ) .   N →∞ n n − 1   N →∞  N   n=2  Доказательства остальных пунктов этого упражнения непосредственно вытекают из рассмотренных выше первых двух. В следующей теореме мы рассмотрим свойства функции распределения. Теорема 1. Функция распределения Fξ ( x), x ∈ R, обладает следующими свойствами: 1) Fξ монотонно неубывающая функция;

2) Fξ ( x) непрерывна справа для любых x ∈ R ; 3) Fξ (−∞) = 0; 4) Fξ (+∞) = 1. З а м е ч а н и е 2. В п. 3 и 4 по определению полагаем Fξ ( −∞ ) = lim Fξ ( x ) , Fξ ( +∞ ) = lim Fξ ( x ) . x →−∞

x →+∞

Д о к а з а т е л ь с т в о. 1) Убедимся в том, что для любых x1 < x2 Fξ ( x1 ) ≤ Fξ ( x2 ) . Используя п. 4 упражнения 1 и аксиому аддитивности вероятностей, имеем Fξ ( x2 ) = Ρ ( ξ ≤ x2 ) = Ρ ξ −1 ( ]−∞; x2 ]) = Ρ ξ −1 ( ]−∞; x1 ] + ] x1; x2 ]) =

(

(

)

) (

)

= Ρ ξ −1 ( ]−∞; x1 ]) + ξ−1 ( ] x1; x2 ]) = Ρ ( ξ ≤ x1 ) + Ρ ( x1 < ξ ≤ x2 ) = = Fξ ( x1 ) + Ρ ( x1 < ξ ≤ x2 ) ,

поэтому по аксиоме неотрицательности вероятностей Fξ ( x2 ) ≥ Fξ ( x1 ).

65

2) Покажем, что для любого x ∈ R 1  lim Fξ  x +  = Fξ ( x ) . n →∞ n  1  Рассмотрим события Bn = ω∈ Ω : x < ξ ( ω) ≤ x + . Очевидно, что n 

B1 ⊇ B2 ⊇ …;

∞

∩B

n

= ∅.

n =1

По аксиоме непрерывности вероятностей Ρ ( Bn )  → 0, n→∞ но 1 1   Ρ ( Bn ) = Ρ  x < ξ ( ω) ≤ x +  = Fξ  x +  − Fξ ( x ) . n n   Следовательно, 1  lim Fξ  x +  = Fξ ( x ) . n →∞ n  3), 4) Очевидно равенство

Ω=

n =+∞

∑ {ω∈ Ω : n − 1 < ξ ( ω) ≤ n},

n =−∞

поэтому, учитывая аксиому σ-аддитивности вероятностей и п. 1 упражнения 4, получаем 1 = Ρ (Ω) =

= lim

N →∞

∞

(

)

∑ Ρ {n − 1 < ξ ( ω) ≤ n} = lim

n =−∞ N

N →∞

N

∑ Ρ (n − 1 < ξ ≤ n) =

n =− N +1

∑ ( F ( n ) − F ( n − 1) ) = lim ( F ( N ) − F ( − N ) ) =

n =− N +1

ξ

ξ

N →∞

ξ

ξ

= Fξ ( +∞ ) − Fξ ( −∞ ) . Свойства 3) и 4) доказаны. Теорема 2 [29]. Если функция F удовлетворяет свойствам 1)–4) функции распределения, то она является функцией распределения некоторой случайной величины. З а м е ч а н и е 3. Очевидно, что множество точек разрыва у функции распределения не более, чем счетно. Действительно, число точек разрыва, величина скачков в которых больше 1 n , не превышает n, n = 1, 2, … . Пронумеруем сначала точки разрыва, величина скачков которых лежит в промежутке (1 2;1] , затем в промежутке (1 3;1 2] и т. д.

66

В некоторых случаях бывает удобно пользоваться следующей характеристикой случайной величины. О п р е д е л е н и е 4. Распределением вероятностей случайной величины ξ называется функция Pξ : B ( R ) → [ 0;1] такая, что для любого B ∈ B ( R ) Pξ ( B ) = Ρ ( ξ ∈ B ) . П р и м е р 5. Найдем распределение вероятностей случайной величины из прим. 1: 1) пусть {0} ∈ B, {1} ∈ B, тогда Pξ ( B ) = 1; 2) если {0} ∈ B, {1} ∉ B, то Pξ ( B ) = 1 2; 3) в случае, когда {0} ∉ B, {1} ∈ B Pξ ( B ) = 1 2; 4) если {0} ∉ B, {1} ∉ B, то Pξ ( B ) = 0.

У п р а ж н е н и е 6. Найдите распределения вероятностей случайных величин из прим. 2 и 3. Теорема 3 [29]. Распределение вероятностей Pξ однозначно определяется по функции распределения Fξ . З а м е ч а н и е 4. Из данной теоремы следует, что функция распределения Fξ и распределение вероятностей Pξ взаимно однозначно определяют друг друга (то, что Fξ однозначно определяется по Pξ очевидно, для этого достаточно в качестве борелевских множеств B брать полуинтервалы ( −∞; x ] , x ∈ R ). Всюду в дальнейшем по определению будем считать, что задать случайную величину – это значит задать ее функцию распределения или распределение вероятностей. Таким образом, каждая случайная величина дает такое отображение ξ = ξ(ω) множества Ω в числовую прямую R, которое порождает новое вероятностное пространство

( R, B ( R ) , P ) , ξ

поэтому в дальнейшем природа вероятностного про-

странства нас интересовать не будет. § 2. Классификация случайных величин

О п р е д е л е н и е 1. Говорят, что случайная величина ξ имеет распределение Q, если Q ( B ) = Pξ ( B ) при любом B ∈ B ( R ) .

67

В этом параграфе разобьем множество всех случайных величин на три класса в зависимости от типа их распределения. 1. Дискретные случайные величины (распределения)

О п р е д е л е н и е 2. Случайная величина ξ называется дискретной, если она принимает не более чем счетное число значений. Задание такой случайной величины по определению равносильно заданию закона распределения: ξ : x1 , x2 , …, xn , … (1) Ρ : p1 , p2 , …, pn , …, где pn = Ρ ( ξ = xn ) ,

∑p

n

= 1.

n

Следующее утверждение отражает связь между функцией распределения и законом распределения. У т в е р ж д е н и е 1. Закон распределения и функция распределения взаимно однозначно определяют друг друга. Д о к а з а т е л ь с т в о. Пусть ξ имеет закон распределения (1). Найдем функцию распределения. При этом будем полагать, что x1 < x2 < … < xn < … . Тогда по определению функции распределения имеем 0, если x < x1 ,  если x1 ≤ x < x2 ,  p1 ,  Fξ ( x ) =  p1 + p2 , если x2 ≤ x < x3 ,  p + p + p , если x ≤ x < x , 2 3 3 4  1 ... .  Следующий график (рис. 3) дает представление о найденной функции Fξ ( x ) .

68

Рис. 3

Пусть теперь известна функция распределения дискретной случайной величины ξ. Тогда, учитывая, что P ( ξ = x ) = Fξ ( x ) − Fξ ( x − 0 ) (см. § 1, п. 4 упражнения 5), легко восстанавливаем закон распределения ξ: x1 x2 … xn … Ρ : Fξ ( x1 ) − Fξ ( x1 − 0 ) Fξ ( x2 ) − Fξ ( x2 − 0 ) … Fξ ( xn ) − Fξ ( xn − 0 ) … .

П р и м е р 1. Найдем закон распределения случайной величины, если известна функция распределения этой величины x < 0, 0,  Fξ ( x ) = 1 2, 0 ≤ x < 1, 1, x ≥ 1.  Опираясь на выше доказанное утверждение, записываем закон распределения

ξ:

0

1

Ρ : 1 2 = Fξ ( 0 ) − Fξ ( 0 − 0 )

1 2 = Fξ (1) − Fξ (1 − 0 ) .

Примеры дискретных случайных величин (распределений)

1. С л у ч а й н а я в е л и ч и н а Б е р н у л л и ( р а с п р е д е л е н и е Б е р н у л л и ). Закон распределения имеет вид: ξ: 0 1, Ρ : 1 − p p, ( 0 < p < 1) . Такому распределению соответствует бросание монеты, на одной стороне которой – 0, а на второй – 1. Иллюстрация в Mathematica

69

2. Б и н о м и а л ь н а я с л у ч а й н а я в е л и ч и н а ( б и н о м и а л ь н о е р а с п р е д е л е н и е ). Закон распределения запишется следующим образом ξ: 0 1 … k … n Ρ : Pn ( 0 )

Pn (1)

…

Pn ( k )

…

Pn ( n ) ,

где Pn ( k ) = Cnk ⋅ p k ⋅ q n−k , 0 < p < 1, q = 1 − p. Число успехов в n испытаниях схемы Бернулли имеет биномиальное распределение. Иллюстрация в Mathematica 3. С л у ч а й н а я в е л и ч и н а П у а с с о н а ( р а с п р е д е л е н и е П у а с с о н а с п а р а м е т р о м λ ). Закон распределения задается следующим образом: k Ρ ( ξ = k ) = λ ⋅ e −λ , k = 0, 1, 2, 3, …, k! где λ > 0 - параметр. Распределение Пуассона носит название закона редких событий, поскольку оно всегда появляется там, где производится большое число испытаний, в каждом из которых с малой вероятностью происходит «редкое» событие. По закону Пуассона распределены, например, число вызовов, поступивших на телефонную станцию, число распавшихся нестабильных частиц и т. д. Иллюстрация в Mathematica 4. Г е о м е т р и ч е с к а я с л у ч а й н а я в е л и ч и н а ( г е о м е т р и ч е с к о е р а с п р е д е л е н и е ). Закон распределения имеет вид: k −1 Ρ ( ξ = k ) = p (1 − p ) , 0 < p < 1, k = 1, 2, … . Пусть производятся независимые испытания, причем в каждом испытании возможны два исхода - «успех» с вероятностью p или «неуспех» с вероятностью 1 − p, 0 < p < 1. Обозначим через ξ число испытаний до первого появления «успеха», тогда ξ будет геометрической случайной величиной. Иллюстрация в Mathematica 5. Г и п е р г е о м е т р и ч е с к а я с л у ч а й н а я в е л и ч и н а ( г и п е р г е о м е т р и ч е с к о е р а с п р е д е л е н и е ). Закон распределения имеет вид: C k C n−k Ρ ( ξ = k ) = M nN − M , k = max ( 0, M + n − N ) , … min ( M , n ) . CN

70

Пусть имеется N деталей, среди них находится M бракованных. Выбираем наудачу n деталей. Обозначим через ξ число бракованных деталей среди выбранных, тогда ξ будет гипергеометрической случайной величиной. Иллюстрация в Mathematica 6. О т р и ц а т е л ь н а я биномиальная случайная величина (отрицательное биномиальное распред е л е н и е ). Закон распределения запишется следующим образом k Ρ ( ξ = k ) = Cnn+−k1−1 p n (1 − p ) , 0 < p < 1, k = 0, 1, … . Данное распределение имеет число «неуспехов» в испытаниях схемы Бернулли до появления n -ого «успеха». Иллюстрация в Mathematica 7. Р а в н о м е р н а я д и с к р е т н а я с л у ч а й н а я в е л и чина (дискретное равномерное распределен и е ). Закон распределения запишется следующим образом ξ: 1 2 … k … n 1 1 1 1 . … … n n n n Представляет собой распределение n равновероятных событий. Иллюстрация в Mathematica 8. Л о г а р и ф м и ч е с к о г о р я д а с л у ч а й н а я в е л и ч и н а ( л о г а р и ф м и ч е с к о г о р я д а р а с п р е д е л е н и е ). Закон распределения имеет вид: θk Ρ (ξ = k ) = − , 0 < θ < 1, k = 1, 2, … . k ln (1 − θ ) Данное распределение возникает в некоторых задачах экономики. Иллюстрация в Mathematica Ρ:

2. Абсолютно непрерывные случайные величины (распределения)

О п р е д е л е н и е 3. Распределение случайной величины ξ называется абсолютно непрерывным, а сама случайная величина - абсолютно непрерывной случайной величиной, если для любого B ∈ B ( R )

Pξ ( B ) = ∫ pξ ( x ) dx, B

(2)

где pξ ( x ) , x ∈ R, - интегрируемая по Лебегу функция. Функция pξ ( x ) называется плотностью распределения случайной величины ξ.

71

Теорема 1 [29]. Для того чтобы случайная величина ξ была абсолютно непрерывной, необходимо и достаточно, чтобы для любого x∈R x

Fξ ( x ) =

∫ p ( t ) dt.

(3)

ξ

−∞

З а м е ч а н и е 1. Из представления (3) видно, что функция распределения абсолютно непрерывной случайной величины является абсолютно непрерывной функцией. Свойства плотности распределения +∞

1)

∫ p ( t ) dt = 1 (вытекает из того, что Fξ ( +∞ ) = 1 ). ξ

−∞

2) pξ ( t ) ≥ 0 почти всюду (следует из того, что Fξ - монотонно неубывающая функция). 3) Fξ′ ( x ) = pξ ( x ) для любых x, являющихся точками непрерывности плотности. Теорема 2. Для того чтобы функция p = p ( x ) была плотностью распределения некоторой случайной величины ξ, необходимо и достаточно, чтобы она удовлетворяла свойствам 1) и 2) плотности. Д о к а з а т е л ь с т в о. Если функция p ( x ) удовлетворяет свойствам 1) и 2) плотности распределения, то функция F ( x) =

x

∫ p ( t ) dt

−∞

удовлетворяет свойствам 1)–4) функции распределения (теорема 1, § 1, гл. 3). Таким образом, по теореме 2 (гл. 3, § 1) существует случайная величина ξ, для которой функция F будет функцией распределения. Тогда p будет плотностью распределения ξ. Примеры абсолютно непрерывных случайных величин (распределений)

1. Н о р м а л ь н а я с л у ч а й н а я в е л и ч и н а, и л и случайная величина Гаусса (нормальное распредел е н и е ). Случайная величина ξ имеет нормальное распределение (распределение Гаусса), если ее плотность распределения имеет вид: pξ ( x ) =

1 ⋅e σ 2π

−

( x − a )2 2 σ2

72

,

σ > 0,

a ∈ R.

Если a = 0, σ = 1, то данное распределение называется стандартным нормальным распределением. С плотностью и функцией распределения стандартного нормального распределения мы уже встречались в локальной и интегральной теоремах Муавра – Лапласа. Важная роль этого распределения объясняется тем, что оно обычно возникает в явлениях, подверженных действию большого числа малых случайных явлений. Так математическая теория выборочного метода в статистике для расчета некоторых показателей (ошибка выборки, доверительный интервал, связь между признаками) широко использует нормальное распределение. Иллюстрация в Mathematica 2. Э к с п о н е н ц и а л ь н а я (п о к а з а т е л ь н а я) с л у ч а й н а я в е л и ч и н а (э к с п о н е н ц и а л ь н о е р а с п р е д е л е н и е). Случайная величина ξ имеет экспоненциальное (показательное) распределение с параметром λ ( λ > 0 ), если ее плотность имеет вид: x < 0, 0, pξ ( x ) =  − λx λe , x ≥ 0. Экспоненциальному распределению подчиняется время распада атомов различных элементов. Оно обладает важным свойством - отсутствием последействия. Несложно убедиться в том, что вероятность распада атома за время x2 , при условии, что перед этим он уже прожил время x1 , совпадает с безусловной вероятностью распада того же самого атома за время x2 . Именно это свойство и представляет собой отсутствие последействия. Иллюстрация в Mathematica 3. Р а в н о м е р н а я н а [ a; b ] с л у ч а й н а я в е л и ч и н а

[ a; b] р а с п р е д е л е н и е). Равномерно распределенная на отрезке [ a; b ] случайная величина ξ имеет (р а в н о м е р н о е н а о т р е з к е плотность распределения

0, x ∉ [ a; b ] ,  pξ ( x ) =  1  b − a , x ∈ [ a; b ]. Равномерное распределение реализует принцип геометрической вероятности при бросании точки на отрезок [ a; b ] . Иллюстрация в Mathematica

73

4. С л у ч а й н а я в е л и ч и н а К о ш и (р а с п р е д е л е н и е К о ш и ). Случайная величина ξ имеет распределение Коши, если ее плотность представима в виде: pξ ( x ) = 1 ⋅ 2 c 2 , c > 0, x ∈ R. π x +c Распределение Коши совпадает с распределением вероятностей отношения ξ1 ξ2 , где ξ1 , ξ2 - независимые стандартные нормальные случайные величины. Такое же распределение имеет tg α - тангенс случайной величины α, равномерно распределенной на отрезке  π π .  − 2 ; 2  Иллюстрация в Mathematica 5. Г а м м а - р а с п р е д е л е н и е. Случайная величина ξ имеет гамма-распределение с параметрами α и λ ( α, λ > 0 ), если ее плотность имеет вид: x ≤ 0, 0,  pξ ( x ) =  λ α α−1 −λx x > 0. Γ(α) x e ,  ∞

Здесь Γ ( α ) = ∫ y α−1e − y dy – гамма-функция. 0

При α = 1 получаем экспоненциальное распределение, а при α = n / 2 , β = 1/ 2 , где n целое положительное получаем хи-квадрат распределение с n степенями свободы (см. Дополнение к главе 5, §4). Иллюстрация в Mathematica 6. Б е т а - р а с п р е д е л е н и е. Случайная величина ξ имеет бета-распределение с параметрами α и β ( α, β > 0 ), если ее плотность имеет вид: x ∉ ( 0;1) , 0,  pξ ( x ) =  1 β−1 x α−1 (1 − x ) , x ∈ ( 0;1) .  Β ( α, β )  1

Здесь Β ( α, β ) = ∫ y α−1 (1 − y ) 0

β−1

dy =

Γ ( α ) Γ (β ) – бета-функция. Γ (α + β)

74

Если η и ζ независимые случайные величины, имеющие гаммараспределение с одинаковыми параметрами, тогда случайная величиη имеет бета распределение с теми же параметрами. на η+ζ Иллюстрация в Mathematica 7. Л о г а р и ф м и ч е с к и н о р м а л ь н а я ( л о г н о р м а л ь ная) случайная величина (логнормальное расп р е д е л е н и е ). Случайная величина ξ имеет логарифмически нормальное распределение (логнормальное распределение) с параметрами σ и µ ( σ > 0, µ ∈ R ), если ее плотность распределения имеет вид: x < 0, 0,  2 ( ln( x / µ )) pξ ( x ) =  − 2 1 ⋅ e 2 σ , x ≥ 0.   σx 2π Такое распределение имеет неотрицательная случайная величина, натуральный логарифм которой, то есть ln ξ , имеет нормальный закон распределения с дисперсией σ2 и средним ln µ . Иллюстрация в Mathematica 8. О т р а ж е н н а я н о р м а л ь н а я с л у ч а й н а я в е л и ч и н а ( о т р а ж е н н о е н о р м а л ь н о е р а с п р е д е л е н и е ). Случайная величина ξ имеет отраженное нормальное распределение с параметром σ ( σ > 0 ), если ее плотность распределения имеет вид: x < 0, 0,  x2 pξ ( x ) =  − 2 2 1 ⋅ e 2 σ , x ≥ 0. σ π  Такое распределение имеет модуль η случайной величины η , подчиняющейся симметричному нормальному закону распределения с дисперсией σ2 и средним a = 0 . Иллюстрация в Mathematica 9. Р а с п р е д е л е н и е экстремальных значений. Случайная величина ξ имеет распределение экстремальных значений с параметрами α и β ( α ∈ R, β > 0 ), если ее плотность распределения имеет вид:

pξ ( x ) =

e

75

α− x −e β

β

α− x β

Это предельное распределение для наименьшего или наибольшего значения в больших выборках. Иллюстрация в Mathematica 10. С л у ч а й н а я в е л и ч и н а Л а п л а с а ( р а с п р е д е л е н и е Л а п л а с а ) . Случайная величина ξ имеет распределение Лапласа, если ее плотность распределения имеет вид: x−a

− pξ ( x ) = 1 ⋅ e b , b > 0, a ∈ R. 2b Такое распределение имеет разность двух независимых одинаково распределенных показательных случайных величин. Иллюстрация в Mathematica 11. Л о г и с т и ч е с к а я с л у ч а й н а я в е л и ч и н а (л о г и с т и ч е с к о е р а с п р е д е л е н и е). Случайная величина ξ имеет логистическое распределение, если ее плотность имеет вид:

pξ ( x ) =

e

−

x −a b

, b > 0, a ∈ R. x−a 2 −   b 1 + e b    Данное распределение часто используется вместо нормального распределения при исследовании, например, медико-биологических объектов. Иллюстрация в Mathematica 12. С л у ч а й н а я в е л и ч и н а П а р е т о ( р а с п р е д е л е н и е П а р е т о ) . Случайная величина ξ имеет распределение Парето с параметрами a и b ( a, b > 0 ), если ее плотность распределения имеет вид: x < a, 0, pξ ( x ) =  b − b−1 x ≥ a. a bx , Это распределение используют в экономике для описания величины дохода, причем a – минимально возможный доход. Иллюстрация в Mathematica 13. С л у ч а й н а я величина Вейбулла-Гнеденко ( р а с п р е д е л е н и е В е й б у л л а - Г н е д е н к о ) . Случайная величина ξ имеет распределение Вейбулла-Гнеденко с параметрами α и λ ( α, λ > 0 ), если ее плотность распределения имеет вид: x ≤ 0, 0, pξ ( x ) =  α−1 −λx α αλx e , x > 0.

76

Данное распределение используют в статистической теории надежности для описания распределения времени безотказной работы. Иллюстрация в Mathematica 14. С л у ч а й н а я в е л и ч и н а Р э л е я ( р а с п р е д е л е н и е Р е л е я ) . Случайная величина ξ имеет распределение Рэлея с параметром σ2 , если ее плотность распределения имеет вид: x ≤ 0, 0,  pξ ( x ) =  1 − x 22  2 xe 2 σ , x > 0. σ Если η и ζ независимые случайные величины, имеющие нормальное распределение с параметрами a = 0 и σ2 , тогда случайная величина η2 + ζ 2 имеет распределение Рэлея с параметром σ2 . Это распределение находит широкое применение в теории стрельбы и статистической теории связи. Иллюстрация в Mathematica 15. С р а в н е н и е нормальной и равномерной случайных величин. Иллюстрация в Mathematica 3. Сингулярные случайные величины (распределения)

Точку x ∈ R называют точкой роста функции распределения Fξ ( x ) , если для каждого ε > 0 выполняется неравенство

Fξ ( x + ε ) − Fξ ( x − ε ) > 0.

О п р е д е л е н и е 4. Случайная величина ξ имеет сингулярное распределение, если ее функция распределения непрерывная функция, множество точек роста которой имеет нулевую меру Лебега. Примером такой случайной величины является случайная величина, функция распределения которой - функция Кантора. Таким образом, множество случайных величин (распределений) можно разбить на три класса: дискретные, абсолютно непрерывные и сингулярные величины (распределения). И эта классификация полная, что подтверждается следующей теоремой, которую мы приводим без доказательства. Теорема 3 (Лебег). Любая функция распределения F ( x ) , x ∈ R, единственным образом представима в виде F ( x ) = a1F1 ( x ) + a2 F2 ( x ) + a3 F3 ( x ) ,

77

где F1 ( x ) – дискретная функция распределения, F2 ( x ) – абсолютно непрерывная функция распределения, F3 ( x ) – сингулярная функция распределения, ai ≥ 0 и a1 + a2 + a3 = 1. В дальнейшем нам придется производить алгебраические операции над случайными величинами, в силу чего полезными могут оказаться понятия и факты, которые изложены далее. Прежде всего, напомним, что функция g : R n → R m называется борелевской функцией, если из того, что B ∈ B ( R m ) следует, что g −1 ( B ) ∈ B ( R n ) .

У п р а ж н е н и е 1. Докажите, что любая непрерывная функция является борелевской. У т в е р ж д е н и е 2. Пусть g : R → R – борелевская функция, ξ – случайная величина, тогда g ( ξ ) также является случайной величиной. Д о к а з а т е л ь с т в о. Покажем, что g ( ξ ) : Ω → R – измеримая

числовая функция. То, что g ( ξ ) – числовая функция, очевидно. Проверим по определению 2 выполнимость условия измеримости, т. е., что

 g ( ξ ( ω) )  для любых B ∈ B ( R ) . Имеем

−1

( B)∈ A

{

}

 g ( ξ ( ω) )  ( B ) = ω∈ Ω : g ( ξ ( ω) ) ∈ B = = {ω∈ Ω : ξ ( ω ) ∈ g −1 ( B )} ∈ A , −1

так как g −1 ( B ) ∈ B ( R ) , то доказательство утверждения завершено. Рассмотрим несколько примеров, в которых требуется найти функцию распределения функции от случайной величины.

П р и м е р 2. Пусть функция распределения случайной величины ξ равна Fξ . Найдем функцию распределения случайной величины η = ξ 2 . Р е ш е н и е. Имеем

0, Fη ( x ) = Ρ ( η ≤ x ) = Ρ ( ξ ≤ x ) =  Ρ − x ≤ ξ ≤ x , Следовательно, 2

(

78

)

x < 0, x ≥ 0.

x < 0, 0, Fη ( x ) =  x ≥ 0.  Fξ x − Fξ − x − 0 , Если случайная величина ξ имеет плотность распределения pξ ( x ) , то

( )

(

)

плотность распределения η равна x < 0, 0,  pη ( x ) =  1  p x − pξ − x  , x > 0.  2 x  ξ  П р и м е р 3. Пусть ξ случайная величина с непрерывной и строго монотонной функцией распределения Fξ . Найдем функцию распределения случайной

( )

(

)

величины η = Fξ ( ξ ) . Р е ш е н и е. Так как при всех x ∈ R 0 ≤ F ( x ) ≤ 1, то Fη ( x ) = 0 при x < 0 и Fη ( x ) = 1 при x ≥ 1. Пусть 0 ≤ x ≤ 1 и обозначим через z точку z = Fξ−1 ( x ) такую,

что Fξ ( z ) = x. Событие {η = Fξ ( ξ ) ≤ x} произойдет тогда и только тогда, когда произойдет событие {ξ ≤ z} . Следовательно, 0, если x < 0,  Fη ( x ) =  x, если 0 ≤ x < 1, 1, если x ≥ 1. 

Таким образом, случайная величина η имеет равномерное на отрезке [ 0;1] распределение. П р и м е р 4. Пусть ξ равномерно распределена на отрезке [ 0;1] . Найдем 1 функцию распределения случайной величины η = ln . ξ 1 Р е ш е н и е. Так как ln > 0, если ξ ∈ ( 0;1) , то Ρ ( ξ ≤ x ) = 0 при x < 0. ξ Пусть x ≥ 0, тогда  1  1  Ρ  ln ≤ x  = Ρ  ≤ e x  = 1 − e− x .  ξ  ξ  Следовательно, η имеет экспоненциальное распределение с параметром λ = 1.

§ 3. Многомерные случайные величины

Ясно, что на каждом вероятностном пространстве можно определить не одну случайную величину. На практике необходимость учета непредсказуемых воздействий также весьма редко приводит к рассмотрению только одной случайной величины. Итак, в этом параграфе мы обобщим результаты § 2 на случай нескольких случайных величин.

79

Пусть ( Ω, A , Ρ ) – произвольное вероятностное пространство, ξ1 , …, ξ n – случайные величины, заданные на этом вероятностном пространстве. О п р е д е л е н и е 1. Совокупность ξ ( ω) = ( ξ1 ( ω) , ξ 2 ( ω) , …, ξn ( ω) ) называется n-мерной случайной величиной (случайным вектором). О п р е д е л е н и е 2. Функция ξ : Ω → R n , такая что для любого B ∈ B ( Rn )

ξ −1 ( B ) ∈ A , называется n-мерной случайной величиной (случайным вектором). У п р а ж н е н и е 1. Докажите эквивалентность определений 1 и 2.

П р и м е р 1. Пусть бросаются две игральные кости. Тогда двумерной случайной величиной является вектор ξ = ( ξ1 , ξ2 ) , где ξi – число очков, выпавших на i-ой кости, i = 1, 2. П р и м е р 2. На квадрат [ 0;1] × [ 0;1] бросается частица. Декартовы координаты ( ξ1 , ξ 2 ) точки образуют двумерную случайную величину.

О п р е д е л е н и е 3. Функция Fξ : R n → [ 0;1] называется функцией распределения n-мерной случайной величины (случайного вектора) ξ = ( ξ1 , …, ξ n ) , если для любого вектора x = ( x1 , …, xn ) ∈ R n

(

)

Fξ ( x ) = Ρ ω∈ Ω : ( ξ1 ( ω) ≤ x1 ) ∩ ( ξ 2 ( ω) ≤ x2 ) ∩… ∩ ( ξ n ( ω) ≤ xn ) .

З а м е ч а н и е 1. Функцию распределения n-мерной случайной величины также будем называть многомерной функцией распределения. Свойства многомерной функции распределения 1°. Fξ монотонно не убывает по каждой переменной. 2°. Fξ непрерывна справа по каждой переменной. 3°. Fξ ( x1 ,…, xk −1 , −∞, xk +1 ,…, xn ) = 0 для любого k = 1, n. 4°. (Свойство согласованности функции распределения) F( ξ1 ,ξ2 ,…,ξk ,…,ξn ) ( x1 ,…, xk −1 , +∞, xk +1 ,…, xn ) = = F( ξ1 ,ξ2 ,…,ξk −1 ,ξk +1 ,…,ξn ) ( x1 ,…, xk −1 , xk +1 ,…, xn )

80

для любого k = 1, n. З а м е ч а н и е 2. Доказательство свойств 1°–4° проводится аналогично одномерному случаю. Для одномерных случайных величин этих свойств было достаточно, чтобы функция, обладающая ими, была функцией распределения. Для n-мерных случайных величин, когда n > 1 , этих свойств недостаточно. Необходимо еще одно свойство, которое мы сейчас рассмотрим. Обозначим I k = ( ak ; bk ] , ∆ kIk – преобразование, применение которого к функции g ( x1 , …, xn ) дает:

∆ kIk g ( x1 , ..., xn ) = g ( x1 , …, xk −1 , bk , xk +1 , …, xn ) − − g ( x1 , …, xk −1 , ak , xk +1 , …, xn ) .

5°. Для любых интервалов I k , k = 1, n,

(

(

))

∆ nI n … ∆1I1 Fξ ( x1 , …, xn ) = ∆ nI n ∆ nI n−−11 … ∆1I1 Fξ ( x1 , …, xn ) ≥ 0. Д о к а з а т е л ь с т в о. Из п. 1 упражнения 1 § 2 следует, что ∆ nIn … ∆1I1 Fξ ( x ) = Ρ ( ξ1 ∈ I1 ∩… ∩ ξ n ∈ I n ) , а поэтому из аксиомы неотрицательности вероятностей приходим к доказательству свойства 5°. З а м е ч а н и е 3. Свойство 5° не вытекает из свойств 1°–4°. Покажем это на примере. Пусть 1, если x1 > 0, x2 > 0, x1 + x2 > 1, F ( x1 , x2 ) =  0, для остальных x1 , x2 . Функция F ( x1 , x2 ) , x1 , x2 ∈ R, удовлетворяет свойствам 1°–4°. Покажем, что она не удовлетворяет свойству 5°. Пусть I1 = I 2 = ( 0;1]. Тогда ∆ 2I 2 ∆1I1 F ( x1 , x2 ) = ∆ 2I 2 ( F (1, x2 ) − F ( 0, x2 ) ) = = F (1, 1) − F ( 0, 1) − F (1, 0 ) + F ( 0, 0 ) = −1.

Теорема 1 [41]. Если функция F : R n → R удовлетворяет свойствам 1°–5°, то она является функцией распределения некоторой nмерной случайной величины. У п р а ж н е н и е 2. Приведите пример двумерной функции распределения. По аналогии с одномерным случаем введем понятие распределения вероятностей n-мерной случайной величины (случайного вектора).

81

О п р е д е л е н и е 4. Функция Pξ : B ( R n ) → [ 0;1] называется распределением вероятностей n-мерной случайной величины ξ = ( ξ1 , ..., ξ n ) , если для любого B ∈ B ( R n ) Pξ ( B ) = Ρ ( ω∈ Ω : ξ ( ω) ∈ B ) .

У п р а ж н е н и е 3. Докажите, что Pξ является вероятностной

(

)

мерой на измеримом пространстве R n , B ( R n ) .

Теорема 2 [29]. Распределение вероятностей однозначно определяется функцией распределения Fξ .

У п р а ж н е н и е 4. Покажите, что для любого B ∈ B ( R n )

x = ( x1 , x2 , …, xn ) .

Pξ ( B ) = ∫ dFξ ( x ), B

У п р а ж н е н и е 5. Можно ли утверждать, что многомерная функция распределения имеет не более чем счетное число точек разрыва? Классификация n-мерных случайных величин (случайных векторов) 1. Дискретные случайные векторы Случайный вектор называется дискретным, если он принимает не более чем счетное число значений. Задать дискретный случайный вектор, значит, задать его закон распределения, т. е. задать вероятности Ρ ( ξ = x ) для всех возможных значений x случайного вектора ξ. П р и м е р 3. П о л и н о м и а л ь н ы й з а к о н р а с п р е д е л е н и я с п а р а м е т р а м и ( N , p ) (ср. с полиномиальной схемой). Распределение случайного вектора ξ = ( ξ1 , … , ξn ) называется полиномиальным с параметрами N , p = ( p1 , … , pn ) , если ξ k = 0, N , k = 1, n;

n

∑ξ k =1

k

= N ; Ρ ( ξ1 = k1 ∩…∩ ξ n = kn ) =

N! p1k1 … pnkn . k1 ! … kn !

Рассмотрим понятие закона распределения в простейшем случае, а именно: пусть n = 2 ,

ξ = ( ξ1 , ξ2 ) , plm = Ρ ( ( ξ1 = xl ) ∩ ( ξ2 = xm ) ) ,

82

∞

∑p

l ,m =1

lm

= 1, plm ≥ 0,

тогда закон распределения случайного вектора ξ (его также называют совместным законом распределения случайных величин ξ1 и ξ2 ) можно представить в виде табл. 1: Таблица 1

ξ1

x1

x2

…

xl

y1

p11

p21

…

pl1 …

y2

p12

p22

…

pl 2 …

…

…

…

…

…

ym

p1m

p2 m …

plm …

…

…

…

…

ξ2

…

…

… …

П р и м е р 4. Пусть случайный вектор ξ = ( ξ1 , ξ2 ) имеет приведенный в табл. 1 закон распределения. Найдем законы распределения координат ξ1 , ξ 2 . Cначала рассмотрим случай, когда закон распределения имеет следующий вид: ξ2

ξ1

0 1

0

1

14 14 14 14

Несложно видеть, что Ρ ( ξ1 = 0 ) = Ρ ( ξ1 = 0 ) ∩ ( ( ξ2 = 0 ) + ( ξ 2 = 1) ) = =Ρ

(((ξ

1

(

)

)

= 0 ) ∩ ( ξ2 = 0 ) ) + ( ( ξ1 = 0 ) ∩ ( ξ 2 = 1) ) =

= Ρ ( ( ξ1 = 0 ) ∩ ( ξ2 = 0 ) ) + Ρ ( ( ξ1 = 0 ) ∩ ( ξ 2 = 1) ) = поэтому законы распределения ξ1 и ξ 2 имеют вид: ξ1 : 0 1 ξ2 : 0

1 1 1 + = , 4 4 2

1

Ρ: 1 2 1 2 Ρ: 1 2 1 2 . В общем случае, используя данные табл. 1, получаем ξ1 : x1 x2 … xl … ξ2 : y1 y2 … Ρ:

m

m

∑p ∑p i =1

1i

i =1

2i

m

… ∑ pli …

Ρ:

i =1

l

l

∑p ∑p i =1

i1

i =1

i2

…

ym … l

∑p i =1

im

….

У п р а ж н е н и е 6. Пусть случайные величины ξ1 , ξ2 имеют законы распределения из прим. 4 Можно ли найти закон распределения вектора ξ = ( ξ1 , ξ 2 ) (совместный закон распределения)? У к а з а н и е. В общем случае – нет. Для ответа нужно знать связь между ξ1 и ξ2 (cм., например, § 4).

83

2. Абсолютно непрерывные случайные векторы

О п р е д е л е н и е 5. Распределение вероятностей n-мерной случайной величины (случайного вектора) ξ = ( ξ1 , …, ξ n ) называется абсолютно непрерывным распределением, а сама случайная величина ξ – абсолютно непрерывной n-мерной случайной величиной, если для любого множества B ∈ B ( R n ) Pξ ( B ) = ∫…∫ pξ ( x1 , …, xn ) dx1 … dxn , B

(1)

где pξ : R n → R интегрируемая по Лебегу функция.

Функция pξ называется плотностью распределения n-мерной случайной величины или многомерной плотностью распределения. Несложно видеть, что функция распределения абсолютно непрерывной n-мерной случайной величины для любых x ∈ R n допускает представление x1

xn

Fξ ( x ) = ∫ … ∫ pξ ( t1 , …, tn ) dt1 … dtn . −∞

(2)

−∞

Для этого в равенстве (1) достаточно в качестве борелевского множества взять B = ( −∞; x1 ] × … × ( −∞; xn ]. Таким образом, распределение вероятностей однозначно определяет функцию распределения и в многомерном случае. Справедливо и обратное утверждение (см., напр., [29]). Свойства многомерной плотности распределения 1°. pξ ( x ) ≥ 0 для почти всех x ∈ R n . Д о к а з а т е л ь с т в о вытекает из равенства (1) и того, что Pξ ( B ) ≥ 0 для любых B ∈ B ( R n ) . 2°.

∫ p ( x ) dx = 1. ξ

Rn

Д о к а з а т е л ь с т в о следует из равенства (2) и того, что Fξ ( +∞, …, + ∞ ) = 1. 3°. Если существует ∂ n Fξ ( x1 , …, xn ) , ∂x1 … ∂xn то

84

p ( x1 , …, xn ) =

∂ n Fξ ( x1 , …, xn )

. ∂x1 … ∂xn Для д о к а з а т е л ь с т в а смотрите равенство (2). 4°. Для любого k = 1, n +∞

∫ p ( x , …, x ) dx ξ

−∞

1

n

k

= p( ξ1 , …, ξk −1 , ξk +1 , …, ξn ) ( x1 , …, xk −1 , xk +1 , …, xn ) .

Д о к а з а т е л ь с т в о вытекает из равенства (2) и свойства 3° многомерной функции распределения. У т в е р ж д е н и е 1. Для того чтобы функция p ( x ) , x ∈ R n , была плотностью распределения некоторой n-мерной случайной величины ξ, необходимо и достаточно, чтобы она удовлетворяла свойствам 1° и 2°. Д о к а з а т е л ь с т в о. Если функция p ( x1 , …, x2 ) удовлетворяет свойствам 1° и 2°, то функция F ( x1 , …, x2 ) , определенная по формуле (2) будет удовлетворять свойствам 1°–5°, многомерной функции распределения. Тогда по теореме 1 существует n-мерная случайная величина ξ , для которой F ( x1 , …, x2 ) будет функцией распределения, а p ( x1 , …, x2 ) соответственно плотностью распределения. Утверждение доказано.

П р и м е р 5. Р а в н о м е р н о е р а с п р е д е л е н и е н а б о р е л е в с к о м м н о ж е с т в е G и з R n . Распределение вероятностей n-мерной случайной величины ξ называется равномерным на множестве G, а величина ξ –

равномерно распределенной на G, если для любых B ∈ B ( R n ) Pξ ( B ) =

B∩G , G

где A – мера Лебега борелевского множества A и G < ∞. В этом случае плотность распределения ξ имеет вид: 1 , если ( x1 , … , xn ) ∈ G, G p ( x1 , … , xn ) =  0, если ( x1 , … , xn ) ∉ G.  П р и м е р 6. М н о г о м е р н о е н о р м а л ь н о е р а с п р е д е л е н и е с п а р а м е т р а м и ( a , σ2 ) . Распределение вероятностей n-мерной случайной величины называется многомерным нормальным распределением с параметрами a = ( a1 , … , an ) и σ 2 = σij  i , j =1 n

85

(симметричная неотрицательно определенная матрица), если для любых B ∈ B ( Rn ) Pξ ( B ) = n

exp { 1 ( x − a ) A ( x − a ) } dx, ∫ 2 ( 2π ) A

T

n 2

где A =  aij  , σ 2 = A−1 , xAxT = i , j =1

B

n

∑a xx ,

i , j =1

ij i

j

A – определитель матрицы A.

3 . Сингулярные случайные векторы

О п р е д е л е н и е 6. Распределение вероятностей n-мерной случайной величины (случайного вектора) ξ = ( ξ1 , …, ξ n ) называется сингулярным, а сама случайная величина ξ – сингулярной n-мерной случайной величиной (сингулярным вектором), если 1) Fξ – непрерывная функция, 2) существует множество S ∈ B ( R n ) нулевой меры Лебега, та-

кое, что Ρ ( ξ ∈ S ) = 1.

У п р а ж н е н и е 7. Сравните определение 6 при n = 1 с определением сингулярной случайной величины (см. § 2). П р и м е р 7. Пусть случайная величина ξ1 имеет непрерывную функцию

распределения Fξ1 ( x ) , g : R → R – непрерывная, строго монотонно возрастающая функция, g −1 – обратная функция, кроме того ξ 2 = g ( ξ1 ) . Тогда случайный вектор ξ = ( ξ1 , ξ2 ) будет сингулярным, так как

F( ξ1 ,ξ2 ) ( x1 , x2 ) = Ρ ( ξ1 ≤ x1 ∩ ξ 2 ≤ x2 ) = Ρ ( ξ1 ≤ x1 ∩ g ( ξ1 ) ≤ x2 ) =

(

)

= Ρ ( ξ1 ≤ x1 ∩ ξ1 ≤ g −1 ( x2 ) ) = Ρ ξ1 ≤ min ( x1 ; g −1 ( x2 ) ) =

(

)

= Fξ1 min ( x1 ; g −1 ( x2 ) ) − непрерывная функция. Рассмотрим множество S = {( x1 , x2 ) : xi ∈ R, i = 1, 2, x2 = g ( x1 )} ∈ B ( R n ) . Множество S – кривая в R 2 , мера Лебега которой равна 0 и

(

)

Ρ ( ( ξ1 , ξ2 ) ∈ S ) = Ρ ( ξ1 , g ( ξ1 ) ) ∈ S = 1.

§ 4. Независимость случайных величин

Понятие независимости случайных величин представляет собой перенос понятия независимости случайных событий на случайные величины и опять-таки отражает отсутствие связи между случайными

86

величинами. Иными словами, независимость случайных величин ξ и η можно охарактеризовать следующим образом: знание значений, которые приняла случайная величина ξ, не дает никакой новой информации о распределении случайной величины η. О п р е д е л е н и е 1. Сигма-алгебра (σ-алгебра) A ξ = ξ −1 ( B ( R ) ) называется сигма-алгеброй, порожденной случайной величиной ξ. Пусть случайные величины ξ1 , …, ξ n определены на одном и том же вероятностном пространстве ( Ω, A , Ρ ) . О п р е д е л е н и е 2. Случайные величины ξ1 , …, ξ n называются независимыми, если независимы σ-алгебры A1 , …, A n , порожденные этими случайными величинами, т. е. для любых B1 , …, Bn ∈ B ( R ) имеет место равенство n

Ρ ( ξ1 ∈ B1 ∩ ξ 2 ∈ B2 ∩… ∩ ξ n ∈ Bn ) = ∏ Ρ ( ξ k ∈ Bk ) . k =1

(1)

Теорема 1 (Критерий независимости) [5]. Случайные величины ξ1 , …, ξ n независимы тогда и только тогда, когда для любых x1 , …, xn ∈ R n

F( ξ1 ,…,ξn ) ( x1 , …, xn ) = ∏ Fξk ( xk ) .

(2)

k =1

Теорема 2. Пусть случайные величины ξ1 , …, ξ n абсолютно непрерывны и существует плотность распределения p( ξ1 , …, ξn ) ( x1 , …, xn ) случайного вектора ξ = ( ξ1 ,…, ξ n ) .

Они независимы тогда и только тогда, когда для любых x1 ,…, xn ∈ R n

p( ξ1 ,…,ξn ) ( x1 ,… , xn ) = ∏ pξk ( xk ) .

(3)

k =1

Д о к а з а т е л ь с т в о. Н е о б х о д и м о с т ь. Пусть случайные величины ξ1 , …, ξ n абсолютно непрерывны, независимы и существует плотность p( ξ1 , …, ξn ) . Тогда, во-первых, в силу справедливости равенства (2) и абсолютной непрерывности случайных величин ξ1 , …, ξ n для любых x1 , …, xn ∈ R n

n

k =1

k =1

F( ξ1 , …, ξn ) ( x1 , …, xn ) = ∏ Fξk ( xk ) = ∏

87

xk

∫ p ( t ) dt ξk

−∞

k

k

=

x1

xn

= ∫ … ∫ pξ1 ( t1 )… pξn ( tn ) dt1 … dtn , −∞

(4)

−∞

во-вторых, учитывая существование плотности p( ξ1 , …, ξn ) для любых x1 , …, xn ∈ R x1

xn

F( ξ1 , …, ξn ) ( x1 , …, xn ) = ∫ … ∫ p( ξ1 , …, ξn ) ( t1 , …, tn ) dt1 … dtn . −∞

(5)

−∞

Из равенства для любых x1 , …, xn ∈ R правых частей записанных выше соотношений приходим к справедливости равенства (3). Необходимость доказана. Д о с т а т о ч н о с т ь. Пусть справедливо равенство (3). Тогда, воспользовавшись соотношениями (4) и (5), приходим к справедливости равенства (2), а это означает, что случайные величины ξ1 , …, ξ n независимы. Теорема доказана. У п р а ж н е н и е 1. Можно ли заменить равенство (3), выполняющееся для любых x1 , …, xn ∈ R , на аналогичное, но справедливое для почти всех по мере Лебега x1 , …, xn ∈ R n ? У п р а ж н е н и е 2. Требование существования плотности случайного вектора ( ξ1 , …, ξn ) достаточно для доказательства в одну сторону. Зададим вопрос: в какую? П р и м е р 1. Пусть случайная величина ξ – стандартная нормальная случайная величина, т. е. 2

1 − x2 pξ ( x ) = e , x ∈ R. 2π Приведите пример абсолютно непрерывной случайной величины η, независимой со случайной величиной ξ. Р е ш е н и е. В качестве искомой случайной величины ξ можно взять произвольную случайную величину с плотностью pη ( y ) и совместную плотность

распределения p( ξ, η) ( x, y ) задать следующим образом: 2

1 − x2 p( ξ, η) ( x, y ) = e pη ( y ) , 2π

x, y ∈ R.

Теорема 3. Дискретные случайные величины ξ1 , …, ξ n независимы тогда и только тогда, когда для любых x1 , …, xn возможных значений соответственно ξ1 , …, ξ n выполнено равенство n

Ρ ( ξ1 = x1 ∩ ξ 2 = x2 ∩… ∩ ξ n = xn ) = ∏ Ρ ( ξ k = xk ) . k =1

88

(6)

Д о к а з а т е л ь с т в о проведем для случая n = 2 . Общий случай доказывается методом математической индукции. Итак, покажем, что для любых x1 , x2 ∈ R Ρ ( ξ1 = x1 ∩ ξ 2 = x2 ) = Ρ ( ξ1 = x1 ) Ρ ( ξ2 = x2 ) . (7) Н е о б х о д и м о с т ь. Пусть случайные величины ξ1 и ξ 2 независимы, т. е. Ρ ( ξ1 ∈ B1 ∩ ξ 2 ∈ B2 ) = Ρ ( ξ1 ∈ B1 ) Ρ ( ξ 2 ∈ B2 ) для любых борелевских множеств B1 и B2 . Если взять B1 = { x1} , B2 = { x2 } , то приходим к справедливости (7). Д о с т а т о ч н о с т ь. Пусть выполняется соотношение (7), тогда Ρ ( ξ1 ∈ B1 ∩ ξ 2 ∈ B2 ) = ∑ ∑ Ρ ( ξ1 = x1 ∩ ξ 2 = x2 ) = =

∑ ∑ Ρ (ξ

x1∈B1 x2∈B2

1

x1∈B1 x2∈B2

= x1 ) Ρ ( ξ 2 = x2 ) = ∑ Ρ ( ξ1 = x1 ) ∑ Ρ ( ξ 2 = x2 ) = x1∈B1

x2∈B2

= Ρ ( ξ1 ∈ B1 ) Ρ ( ξ 2 ∈ B2 ) для любых борелевских множеств B1 и B2 . Теорема доказана. У т в е р ж д е н и е 1. Если ξ1 , …, ξ n – независимые случайные величины, gi : R → R, i = 1, n, – борелевские функции, то случайные величины g1 ( ξ1 ) , …, g n ( ξ n ) также независимы.

Д о к а з а т е л ь с т в о. Пусть Bk = { x : g k ( x ) ≤ yk } , k = 1, n, – борелевские множества. Тогда  n   n  n Ρ  ∩ ( g k ( ξ k ) ≤ yk )  = Ρ  ∩ ( ξk ∈ Bk )  = ∏ Ρ ( ξ k ∈ Bk ) =  k =1   k =1  k =1 n

= ∏ Ρ ( g k ( ξ k ) ≤ yk ) k =1

для любых yk ∈ R, k = 1, n. В силу критерия независимости (2) g1 ( ξ1 ) , …, g n ( ξ n ) являются независимыми случайными величинами. Утверждение доказано. П р и м е р 2. Пусть вероятностное пространство

( Ω, A , Ρ )

задано сле-

дующим образом: Ω = [ 0;1] , A = B ([ 0;1]) , Ρ – мера Лебега. Рассмотрим на этом вероятностном пространстве случайную величину ξ ( ω) = ω. Найдем все случайные величины η независимые с ξ на данном вероятностном пространстве. Используя утверждение 1, несложно показать, что только тривиальные (вырожденные) случайные величины η будут независимы с ξ.

89

Напомним, что случайная величина η называется вырожденной, если существует такая константа c ∈ R, что Ρ ( ξ = c ) = 1. Данный пример показывает, что необходимо с должной осторожностью относиться к фразе «пусть на произвольном вероятностном пространстве ( Ω, A , Ρ ) заданы независимые случайные величины ξ и η (произвольные!)». На самом деле ситуация несколько иная: случайные величины ξ и η действительно могут рассматриваться на произвольных вероятностных пространствах ( Ω1 , A1 , Ρ1 ) и

( Ω2 , A 2 , Ρ2 )

соответственно. А вот пространство ( Ω, A , Ρ ) строится по ним так,

чтобы случайные величины ξ и η были независимы.

90

ДОПОЛНЕНИЯ К ГЛАВЕ 3 § 1. Функциональные преобразования случайных величин

Пусть на произвольном вероятностном пространстве ( Ω, A , Ρ ) задана дискретная случайная величина ξ с законом распределения ξ : x1 , … , xn , … p:

pi > 0,

p1 , … , pn , … ,

∑p

i

= 1.

i

Функция g : R → R – борелевская функция. Тогда очевидно, что закон распределения случайной величины g ( ξ ) имеет вид g ( ξ ) : g ( x1 ) , g ( x2 ) , … , g ( xn ) , … Ρ:

p1 ,

p1 ,

…,

pn ,

…,

pi > 0,

∑p

i

= 1.

i

Многомерный случай описывается аналогично. Пусть ξ = ( ξ1 , … , ξn ) – n-мерная абсолютно непрерывная случайная величина с плотностью распределения pξ ( x ) , x = ( x1 , … , xn ) ∈ R n . Рассмотрим случайный вектор η = ( η1 , … , ηn ) , где ηi = gi ( ξi ) , i = 1, n. Функции gi : R → R – непрерывные, для которых существуют обратные преобразования: ξi = gi−1 ( ηi ) , i = 1, n. Обозначим g ( x ) = ( g1 ( x ) , … , g n ( x ) ) ,

g −1 ( x ) = ( g1−1 ( x ) , … , g n−1 ( x ) ) .

Теорема 1. Если случайный вектор ξ имеет плотность распределения pξ ,

()

η = g ξ , где функция g = ( g1 , … , g n ) непрерывно дифференцируема и имеет обратную функцию g −1 = ( g1−1 , … , g n−1 ) , , то случайный вектор η имеет плотность распределения pη , которая определяется по формуле pη ( x ) = pξ ( g −1 ( x ) ) Ig −1 ( x ) ,

где n

 ∂g −1 ( x )  Ig ( x ) =  i  ,  ∂x j  i , j =1 а A – определитель матрицы A. −1

Д о к а з а т е л ь с т в о. Пусть B ∈ B ( R n ) . Тогда из определения плотности распределения и формулы замены переменных в многомерном интеграле имеем

91

(

) ∫ p (x) d x = ∫ p (g ( )

Ρ ( η∈ B ) = Ρ g ( ξ ) ∈ B =

g −1 B

ξ

ξ

−1

( y ) ) Ig −1 ( y ) dy.

B

Из этого равенства и определения абсолютно непрерывного случайного вектора приходим к доказательству теоремы 1. Формулы композиции (свертки)

Пусть на вероятностном пространстве ( Ω, A , Ρ ) даны две случайные величины ξ и η и известна связь между ними, т. е. известна совместная функция распределения Fξ,η ( x, y ) . Найдем функцию распределения суммы ξ + η. Для этого воспользуемся формулой (см. § 3 упражнение 4) Ρ ( ξ ∈ B ) = ∫ dFξ ( x ) B

для любых B ∈ B ( R ) . Пусть ξ = ( ξ, η) , тогда из этой формулы получаем n

(

)

Fξ+η ( z ) = Ρ ( ξ + η ≤ z ) = Ρ ( ξ, η ) ∈ B : B = {( x, y ) : x + y ≤ z} = =

∫∫

x+ y≤ z

т. е.

Fξ+η ( z ) =

dF( ξ, η) ( x, y ),

∫∫

x+ y≤ z

dF( ξ, η) ( x, y ).

(1)

Пусть ξ и η независимы, тогда из (1) имеем

 z− y  Fξ+η ( z ) = ∫∫ dFξ ( x ) dFη ( y ) = ∫  ∫ dFξ ( x )  dFη ( y ) = x+ y≤ z −∞  −∞  +∞

+∞

=

∫

Fξ ( z − y ) − Fξ ( −∞ ) dFη ( y ) =

−∞

+∞

∫ F ( z − y ) dF ( y ). ξ

η

−∞

Учитывая, что Fξ+η ( z ) симметрично относительно ξ и η, получаем +∞

Fξ+η ( z ) =

∫

Fξ ( z − y ) dFη ( y ) =

−∞

+∞

∫ F ( z − y ) dF ( y ). η

ξ

(2)

−∞

Пусть случайная величина ξ произвольна, а случайная величина η абсолютно непрерывна и они независимы, тогда из (2) следует

Fξ+η ( z ) =

+∞

+∞

∫ F ( z − y ) dF ( y ) = ∫ F ( z − y ) p ( y ) dy. ξ

η

ξ

−∞

η

(3)

−∞

С другой стороны

Fξ+η ( z ) =

+∞

∫

Fη ( z − y ) dFξ ( y ) =

−∞

+∞ z − y

∫∫

pη ( t ) dt dFξ ( y ) =

−∞ −∞

 +∞  (4) = ∫ ∫ pη ( t − y ) dt dFξ ( y ) = ∫  ∫ pη ( t − y ) dFξ ( y )  dt , z ∈ R. −∞ −∞ −∞  −∞  Следовательно, можно сделать вывод, что сумма независимых случайных величин, одна из которых абсолютно непрерывна, а вторая произвольна, является +∞ z

z

92

абсолютно непрерывной случайной величиной. В нашем случае из соотношения (4) следует, что существует плотность pξ+η и она равна

pξ+η ( t ) =

+∞

∫ p ( t − y ) dF ( y ), η

t ∈ R.

ξ

(5)

−∞

Пусть случайные величины ξ и η абсолютно непрерывны и независимы, тогда из равенства (5), учитывая то, что его левая часть симметрична относительно ξ и η , получаем

pξ+η ( t ) =

+∞

+∞

∫ p ( t − y ) p ( y ) dy = ∫ p ( t − y ) p ( y ) dy. η

ξ

ξ

−∞

(6)

η

−∞

Формулы (1) – (6) называют формулами композиции, или свертками. Задачи 1. Проверьте следующие свойства индикаторов I A = I A ( ω ) :

I ∅ ≡ 0, I Ω ≡ 1, I A + I A ≡ 1, I A I B = I AB , I A∪ B = I A + I B − I AB , n

(

n

)

(

)

I n = 1 − ∏ 1 − I Ak , I n = ∏ 1 − I Ak , k =1 ∪ Ak ∪ Ak k =1 k =1 k =1

n

I

n

∑ Ak

= ∑ I Ak , I A∆B = ( I A − I B ) .

k =1

2

k =1

2. Пусть ξ1 , … , ξ n – независимые случайные величины и

ξ min = min ( ξ1 , … , ξ n ) , ξ max = max ( ξ1 , … , ξ n ) . .

Покажите, что n

n

P ( ξ min > x ) = ∏ P ( ξ k > x ), P ( ξ max ≤ x ) = ∏ P ( ξ k ≤ x ), x ∈ R. k =1

k =1

3. Пусть ξ = max ( ξ, 0 ) , ξ = min ( ξ, 0 ) . Выразите функции распределения +

−

ξ + и ξ − через функцию распределения ξ. 4. Покажите, что случайная величина ξ не зависит от самой себя в том и только в том случае, когда P ( ξ = const ) = 1. 5. При каких условиях на ξ случайные величины ξ и sinξ независимы? 6. Пусть ξ и η независимые случайные величины с известными функциями распределения. Найдите функции распределения случайных величин ξη и ξ /η. 7. Покажите, что, если для любого x ∈ R P ( ξ = x ) = 0, то случайная величи-

на ξ – абсолютно непрерывная или сингулярная. Верно ли обратное утверждение? 8. Пусть ξ – случайная величина. Будет ли ξ случайной величиной? 9. Докажите, что функции x + = max ( x, 0 ) ,

x ∈ R, являются борелевскими.

93

x − = min ( x, 0 ) ,

x = x+ + x− ,

10. На отрезке [ 0; a ] независимо друг от друга берут две точки с равномерным распределением. Найдите функцию и плотность распределения расстояния между ними. 11. Пусть случайные величины ξ1 , … , ξ n , n ≥ 0, независимы и одинаково

распределены с функцией распределения F ( x ) и плотностью p ( x ) , x ∈ R, (если она существует); ξ − = min ( ξ1 , … , ξ n ) , ξ + = max ( ξ1 , … , ξ n ) , ξ = ξ + − ξ − . Докажи-

те, что ( F ( y ) )n − ( F ( y ) − F ( x ) )n , y > x,  F ξ + , ξ − ( x, y ) =  n ( ) ( F ( y ) ) , y ≤ x, n ( n − 1)  F ( y ) − F ( x )  n − 2 p ( x ) p ( y ) , y > x,   p ξ + , ξ − ( x, y ) =  ( ) 0, y ≤ x,  ∞ n −1  n ∫  F ( y ) − F ( y − x )  p ( y ) dy, x > 0, Fξ ( x ) =  −∞ 0, x ≤ 0,  ∞  n−2 n n − 1 ) ∫  F ( y ) − F ( y − x ) p ( y − x ) p ( y ) dy, x > 0,  ( pξ ( x ) =  −∞ 0, x ≤ 0. 

12. Пусть случайные величины ξ1 , … , ξ n , n ≥ 2, независимы и одинаково

распределены с функцией распределения F ( x ) и плотностью p ( x ) . Упорядочив их по возрастанию, образуем «вариационный» ряд ξ (1) ≤ ξ ( 2) ≤ … ≤ ξ ( n ) . Найдите плотность распределения ξ ( k ) , k = 1, n, и двумерную плотность распределения

(ξ

(k )

, ξ ( l ) ) , 1 ≤ k < l ≤ n.

13. На прямоугольнике 0 ≤ x ≤ a, 0 ≤ y ≤ b случайно с равномерным распределением берется точка. Докажите, что ее координаты ( ξ, η ) независимы. 14. На круге x 2 + y 2 ≤ R 2 случайно с равномерным распределением берется точка. Покажите, что ее координаты ( ξ, η ) зависимы. 15. Пусть F ( x ) , x ∈ R, – функция распределения случайной величины ξ.

Найдите функцию распределения случайной величины F ( ξ ) . 16. Пусть ξ1 , … , ξ n – независимые одинаково распределенные экспоненциальные случайные величины с параметром λ, λ > 0. Докажите, что  λ nt n −1e − λt , t ≥ 0,  pξ1 +...+ξn ( t ) =  ( n − 1) ! 0, t < 0.  17. Случайные величины ξ1 , ξ 2 независимы и экспоненциально распределены с параметром λ = 1. Найдите плотность распределения случайной величины η, если ξ1 η= . ξ1 + ξ2

94

Глава 4. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СЛУЧАЙНЫХ ВЕЛИЧИН В предыдущей главе было установлено, что каждая случайная величина характеризуется своей функцией распределения. Так, две случайные величины, имеющие одинаковые функции распределения, неразличимы, несмотря на то, что они могут быть заданы на различных вероятностных пространствах и описывать разные явления. Однако в том случае, когда случайные величины имеют различные функции распределения и их необходимо сравнить, возникают определенные трудности. В общем случае непонятно, как сравнивать функции распределения, и поэтому хотелось бы характеризовать каждую случайную величину некоторым (неслучайным) числом, возможно, несколькими числами, которые и позволили бы произвести упорядочение случайных величин в некотором смысле. Такие числовые характеристики будут рассмотрены в этой главе. § 1. Математическое ожидание и его свойства Пусть

( Ω, A , Ρ )

– произвольное вероятностное пространство,

ξ = ξ ( ω) , ω∈ Ω, – случайная величина на этом пространстве. Цель этого параграфа – определить число, которое играло бы роль вероятностного среднего значения случайной величины. О п р е д е л е н и е 1. Математическим ожиданием случайной величины ξ называется число

M ξ = ∫ ξ ( ω) d Ρ ( ω) = ∫ ξ ( ω) Ρ ( d ω). Ω

Ω

З а м е ч а н и е 1. Математическое ожидание случайной величины ξ – это интеграл Лебега от этой величины по вероятностной мере (см. дополнения к гл. 4, § 1). Свойства математического ожидания

Поскольку свойства математического ожидания – это свойства интеграла Лебега, то большинство из них приведем без доказательства. 1. Если Ρ ( ξ = c ) = 1, то M ξ = c. 2. Если ξ – интегрируемая неотрицательная случайная величина, то M ξ ≥ 0. 3. Если ξ ≤ c, то M ξ ≤ c. 95

4. Если ξ ≤ η и η – интегрируема, то ξ также интегрируема и M ξ ≤ M η. 5. Если ξ и η – интегрируемые случайные величины, то для любых a, b ∈ R случайная величина aξ + bη также интегрируема и M ( aξ + bη) = a ⋅ M ξ + b ⋅ M η. 6. Случайные величины ξ и ξ одновременно интегрируемы и Mξ ≤ M ξ . 7. Теорема о монотонной сходимости. Пусть {ξ n } , n ≥ 1, – последовательность неотрицательных интегрируемых случайных величин таких, что ξ n ↑ ξ поточечно при n → ∞. Если sup M ξ n < ∞, , то ξ n

также интегрируема и

M ξ = lim M ξ n . n→∞

8. Теорема о мажорируемой сходимости. Если для всех ω∈ Ω ξ n  →ξ, n→∞

ξ n ≤ η, n = 1, 2, … и M η < ∞, то M ξ = lim M ξ n . n→∞

9. Свойство мультипликативности математических ожиданий. Пусть ξ1 , …, ξn – независимые случайные величины, M ξ i < ∞, i = 1, n. Тогда существует M ( ξ1ξ2 … ξn ) и

M ( ξ1ξ2 … ξn ) = M ξ1 ⋅ M ξ 2 ⋅ … ⋅ M ξ n . З а м е ч а н и е 1. Обратное утверждение, вообще говоря, неверно (приведите пример, показывающий это, см. также гл. 4, § 2 прим. 2). Схема Д о к а з а т е л ь с т в о проведем для случая n = 2 . Общий случай доказательства использует математическую индукцию. Отметим, что доказательство проводится по схеме построения интеграла Лебега (см. дополнения к гл. 4). 1) Пусть ξ1 , ξ2 – простые случайные величины, т. е. m

ξ1 ( ω) = ∑ ck I Ak ( ω) , k =1

l

ξ 2 ( ω) = ∑ b j I B j ( ω) , j =1

где m

∑ Ak = Ω, k =1

96

l

∑B j =1

j

= Ω.

Из того, что случайные величины ξ1 , ξ 2 независимы, следует, что

Ak и B j независимы для любых k = 1, m, j = 1, l. Покажем это. По критерию независимости дискретных случайных величин имеем Ρ ( ξ1 = ck ) ∩ ( ξ 2 = b j ) = Ρ ( ξ1 = ck ) Ρ ( ξ 2 = b j )

(

)

для любых k = 1, m, j = 1, l. Но P(ξ1 = ck ∩ ξ2 = b j ) = P( Ak ∩ B j ), Ρ ( ξ1 = ck ) = Ρ ( Ak ) , Ρ ( ξ2 = b j ) = Ρ ( B j ) ,

поэтому Ak и B j независимы для любых k = 1, m, j = 1, l. Очевидно, что m

l

m

l

ξ1 ( ω) ξ2 ( ω) = ∑∑ ck b j I Ak ( ω) I B j ( ω) = ∑∑ ck b j I Ak ∩ B j ( ω) . k =1 j =1

k =1 j =1

Теперь, учитывая все вышесказанное и определение математического ожидания для простых случайных величин, получаем l

m

l

M ξ1ξ2 = ∑∑ ck b j Ρ ( Ak ∩ B j ) =∑∑ ck b j Ρ ( Ak ) Ρ ( B j ) = m

k =1 j =1 m

= ∑ ck Ρ ( Ak ) k =1

k =1 j =1

l

∑b Ρ( B ) = M ξ M ξ . j =1

j

j

1

2

2) Пусть ξ1 , ξ2 ≥ 0 и независимы. Тогда найдутся последовательности простых случайных величин ξ1n и ξ2n , такие что ξ1n ↑ ξ1 , ξ2 n ↑ ξ2 при n → ∞ поточечно. В частности, в качестве искомых случайных величин можно взять следующие: n 2n k −1 ξi n ( ω ) = ∑ I ( ω) , i = 1, 2. n k − 1 k   k =1 2  n 0 существует такое натуральное число n0 , что для любых n > n0

g n ( x ) − g ( x ) < ε, ∀x ∈ [ a; b ]. (2) Неравенство (2) следует из того, что функция g равномерно непрерывна на отрезке [ a; b ]. Из теоремы Лебега о предельном переходе под знаком интеграла в силу справедливости (2) получим M g ( ξ ) = lim M g n ( ξ ) . (3) n →∞

Так как g n ( ξ ) – простая случайная величина, то n

n

M g n ( ξ ) = ∑ g ( xnk ) ⋅ Ρ ( xn ,k −1 < ξ ≤ xnk ) = ∑ g ( xnk ) × k =1

k =1

n

xnk

k =1

xn , k −1

×  Fξ ( xnk ) − Fξ ( xn , k −1 )  = ∑ g ( xnk ) n

=∑

xnk

∫

dFξ ( x ) =

b

∫ g ( x ) dF ( x ) = ∫ g ( x ) dF ( x ). nk

k =1 xn , k −1

ξ

ξ

n

(4)

a

Из неравенства (2) следует, что b

b

∫ g ( x ) dF ( x ) − ∫ g ( x ) dF ( x ) < ε, ξ

n

a

ξ

(5)

a

а из соотношений (3) – (5) следует доказательство п. 1). 2) Пусть g ( x) ≥ 0, x ∈ R – непрерывная функция. Положим по определению x > N, 0, gN ( x) =   g ( x ) , x ≤ N . Тогда очевидно, что g N ( x ) ↑ g ( x ) , x ∈ R, и поэтому по теореме о n →∞

монотонной сходимости M g ( ξ ) = lim M g N ( ξ ) . N →∞

В силу уже доказанного п. 1) 99

(6)

N

Mg N ( ξ ) =

∫ g ( x ) dF ( x ).

(7)

ξ

−N

Так как ∞

N

∫ g ( x ) dF ( x ) → ∫ g ( x ) F ( x ) , ξ

(8)

ξ

N →∞

−N

−∞

то из соотношений (6) – (8) следует доказательство п. 2). 3) Пусть g : R → R – непрерывная функция. Положим по определению g + ( x ) = max ( 0, g ( x ) ) , g − ( x ) = − min ( 0, g ( x ) ) , x ∈ R. Тогда g + ( x ) ≥ 0, g − ( x ) ≥ 0 и g ( x ) = g + ( x ) − g − ( x ) , x ∈ R. Согласно доказанному п. 2) ∞

+

M g (ξ) =

∫ g ( x ) dF ( x ) , +

M g (ξ) = −

ξ

−∞

∞

∫ g ( x ) dF ( x ) , −

ξ

−∞

а поэтому в силу линейности интеграла Римана – Стилтьеса окончательно получаем M g ( ξ) = M ( g ( ξ) − g (ξ)) = +

−

∞

∞

∫ g ( x ) dF ( x ) − ∫ g ( x ) dF ( x ) = +

ξ

−∞ ∞

=

−

ξ

−∞

∞

∫ ( g ( x ) − g ( x ) ) dF ( x ) = ∫ g ( x ) dF ( x ). +

−

ξ

−∞

ξ

−∞

Свойство 10 математического ожидания доказано. З а м е ч а н и е 3. Свойство 10 справедливо и в том случае, когда ξ = ( ξ1 , …, ξ n ) – случайный вектор, g : R n → R – борелевская функ-

ция и M g ( ξ ) < ∞.

Из свойства 10 и соответствующих свойств интеграла Лебега – Стилтьеса вытекают следующие утверждения. С л е д с т в и е 1. Пусть ξ – абсолютно непрерывная случайная величина с плотностью распределения pξ ( x ) , g : R → R – борелевская функция, M g ( ξ ) < ∞. Тогда

100

M g (ξ) =

∞

∫ g ( x ) p ( x ) dx. ξ

−∞

С л е д с т в и е 2. Пусть ξ – дискретная случайная величина с законом распределения ξ : x1 x2 … xn …, Ρ : p1 p2 … pn …, g : R → R – борелевская функция, M g ( ξ ) < ∞. Тогда ∞

M g ( ξ ) = ∑ g ( xn ) pn . n =1

П р и м е р 1. Пусть случайная величина ξ принимает конечное число различных значений a1 , a2 , … , am ; pk = Ρ ( ξ = ak ) , k = 1, m. Будем повторять n раз

эксперимент, в котором наблюдается величина ξ. Через x1 , … , x n обозначим наблюдаемые значения этой случайной величины. Тогда среднее значение наблюдаемых чисел равно m k 1 n xk =∑ ai i , ∑ n k =1 n i =1 где ki – число появлений события ( ξ = ai ) в этой серии экспериментов. Т. е. m 1 n x = ai ν n ( ξ = ai ) , (9) ∑ k ∑ n k =1 i =1 где ν n ( A ) – частота появления события A в n испытаниях. Заметим, что при n→∞ ν n ( A) → Ρ ( A) ,

(см. дополнения к гл.1, § 3), т. е. 1 n ∑ xk → M ξ. n k =1 Таким образом, математическое ожидание случайной величины ξ можно трактовать как вероятностное среднее этой величины. П р и м е р 2. Математическое ожидание дискретной случайной величины имеет аналог в теоретической механике. Пусть на прямой расположена система материальных точек с массами pn и пусть xn – координата n-ой точки. Тогда центр тяжести системы будет иметь координату ∑ xn pn ∑ xn pn x= n = n = ∑ xn pn , n 1 ∑ pn n

совпадающую с математическим ожиданием случайной величины ξ , имеющей закон распределения

101

ξ : x1 x2 ... xn ..., Ρ : p1 p2 ... pn ... . П р и м е р 3. Пусть случайная величина ξ имеет распределение Бернулли ξ: 0 1 Ρ : 1− p p , где 0 < p < 1. Тогда M ξ = 0 ⋅ (1 − p ) + 1⋅ p = p.

П р и м е р 4. М а т е м а т и ч е с к о е о ж и д а н и е б и н о м и а л ь н о й с л у ч а й н о й в е л и ч и н ы. Пусть закон распределения случайной величины ξ имеет следующий вид P(ξ = k ) = Cnk p k (1 − p ) n − k , k = 0, n, 0 < p < 1. Тогда согласно следствию 2 n n k n−k n−k M ξ = ∑ kCnk p k (1 − p ) = np ∑ Cnk p k (1 − p ) = k =0 k =1 n n

= np ∑ Cnk−−11 p k −1 (1 − p ) k =1

n−k

n −1

= np ∑ Cnk−1 p k (1 − p )

n − k −1

= np.

k =0

П р и м е р 5. М а т е м а т и ч е с к о е о ж и д а н и е г е о м е т р и ч е с к о й с л у ч а й н о й в е л и ч и н ы. Пусть k Ρ ( ξ = k ) = (1 − p ) p, k = 1, 2, … , 0 < p < 1. Тогда ∞

(

)

M ξ = ∑ k (1 − p ) p = (1 − p ) p 1 + 2 (1 − p ) + 3 (1 − p ) + … = k

k =0

=

(1 − p ) p = 1− p .

2

p p2 П р и м е р 6. М а т е м а т и ч е с к о е о ж и д а н и е с л у ч а й н о й в е л и ч и н ы П у а с с о н а с п а р а м е т р о м λ. Пусть λ k −λ Ρ (ξ = k ) = e , k = 0, 1, 2,… , λ > 0. k! Тогда ∞ ∞ λ k −1 λ k −λ −λ Mξ = ∑k e = e λ ∑ = e−λ λeλ = λ. k! k =0 k =1 ( k − 1) ! П р и м е р 7. М а т е м а т и ч е с к о е о ж и д а н и е р а в н о м е р н о й н а о т р е з к е [ a; b ] с л у ч а й н о й в е л и ч и н ы. Пусть плотность распреде-

ления ξ равна  1 , x ∈ [ a; b ] ,  pξ ( x ) =  b − a  x ∉ [ a; b ] . 0, Тогда по следствию 1 102

∞

Mξ =

b

x a +b ∫ xp ( x ) dx = ∫ b− a dx = 2 . ξ

−∞

a

П р и м е р 8. М а т е м а т и ч е с к о е о ж и д а н и е п о к а з а т е л ь н о й с п а р а м е т р о м λ (λ > 0) с л у ч а й н о й в е л и ч и н ы. Пусть x < 0, 0, pξ ( x ) =  −λx λe , x ≥ 0. Тогда ∞ ∞ ∞ ∞ ∞ 1 M ξ = ∫ xpξ ( x ) dx = ∫ xλe −λx dx = − ∫ xd ( e −λx ) = − xe −λx + ∫ e −λx dx = . 0 λ 0 0 0 −∞ П р и м е р 9. М а т е м а т и ч е с к о е о ж и д а н и е н о р м а л ь н о й с л у ч а й н о й в е л и ч и н ы с п а р а м е т р а м и ( a, σ2 ) . Пусть pξ ( x ) =

1 σ 2π

e

−

( x − a )2 2 σ2

.

Тогда ∞

− 1 xe Mξ = ∫ σ 2π −∞

( x − a )2 2σ

2

∞

− 1 ( ) dx = x − a e ∫ σ 2π −∞ ∞

− 1 +a e ∫ σ 2π −∞

( x − a )2 2 σ2

dx +

( x − a )2 2 σ2

dx = a,

так как ∞

∫ ( x − a) e

−∞

−

( x − a )2 2 σ2

∞

dx = ∫ ze

−

z2

∞

2 σ2

dz = 0,

−∞

∫e

−

( x − a )2 2 σ2

dx = σ 2π .

−∞

П р и м е р 10. М а т е м а т и ч е с к о е о ж и д а н и е с т а н д а р т н о й с л у ч а й н о й в е л и ч и н ы К о ш и. Пусть 1 1 pξ ( x ) = ⋅ . π 1+ x 2 В этом случае ∞ ∞ x 1 x p x dx = ∫−∞ ξ ( ) π −∞∫ 1+ x 2 dx = +∞, и, следовательно, математическое ожидание случайной величины ξ не существует.

§ 2. Моменты случайных величин

Математическое ожидание не всегда является удовлетворительной характеристикой случайной величины. Наряду со средним значением хотелось бы, по крайней мере, иметь и число (числа), характеризующее «разброс» случайной величины относительно своего среднего значения, что и будет рассмотрено в этом параграфе. 103

Пусть ξ – случайная величина, определенная на вероятностном пространстве ( Ω, A , Ρ ) . Для натуральных m величина M ξ m , если она определена, называется моментом m-го порядка случайной величины ξ. В частности, момент первого порядка ξ – это ее математичеm

ское ожидание. Величина M ξ называется абсолютным моментом m-го порядка случайной величины ξ. Моменты (абсолютные моменты) случайной величины ( ξ − M ξ ) называются центральными моментами (абсолютными центральными моментами) случайной величины ξ . Несложно видеть, что центральные моменты четного порядка и абсолютные центральные моменты случайной величины ξ характеризуют степень «разброса» значений этой величины относительного ее среднего значения. Наиболее употребительной числовой характеристикой случайной величины является ее второй центральный момент. О п р е д е л е н и е 1. Дисперсией случайной величины ξ называется число 2 D ξ = M (ξ − M ξ) , число σ ξ = D ξ называется среднеквадратическим отклонением случайной величины ξ. Свойства дисперсии

1. D ξ = M ξ2 − ( M ξ ) . Д о к а з а т е л ь с т в о. Учитывая определение дисперсии и линейность математического ожидания, имеем 2

(

)

D ξ = M ( ξ − M ξ ) = M ξ2 − 2ξ M ξ + ( M ξ ) = 2

2

= M ξ2 − 2 ( M ξ ) + ( M ξ ) = M ξ2 − ( M ξ ) . 2

2

2

2. D ξ ≥ 0. Д о к а з а т е л ь с т в о. Так как подынтегральная 2 ( ξ − M ξ ) ≥ 0, то по свойству 2 интеграла Лебега D ξ ≥ 0.

функция

3. D ( ξ + c ) = D ξ, где c – константа. Д о к а з а т е л ь с т в о. Из определения дисперсии и линейности математического ожидания следует 104

D ( ξ + c ) = M ((ξ + c ) − M (ξ + c )) = M (ξ + c − M ξ − c ) = 2

2

= M ( ξ − M ξ ) = D ξ. 2

4. D ( cξ ) = c 2 Dξ, где c – константа. Д о к а з а т е л ь с т в о аналогично доказательству свойства 3:

D ( cξ ) = M ( cξ − M ( cξ ) ) = M ( cξ − c M ξ ) = c 2 M ( ξ − M ξ ) = c 2 D ξ. 2

2

2

5. D ξ = 0 тогда и только тогда, когда существует константа c такая, что Ρ ( ξ = c ) = 1 . Д о к а з а т е л ь с т в о. Н е о б х о д и м о с т ь. Пусть D ξ = 0, т. е. M ( ξ − M ξ ) = 0. По свойствам интеграла Лебега Ρ ( ξ − M ξ = 0 ) = 1, 2

значит, Ρ ( ξ = M ξ ) = 1. Таким образом, существует константа с = M ξ

такая, что Ρ ( ξ = c ) = 1. Необходимость доказана. Д о с т а т о ч н о с т ь. Пусть существует константа c такая, что 2 Ρ ( ξ = c ) = 1. Тогда D ξ = D c = M ( c − M c ) = M 0 = 0. Свойство 5 доказано. Для формулировки следующего свойства понадобится числовая характеристика случайных величин ξ и η, устанавливающая вероятностную связь между ними. О п р е д е л е н и е 2. Ковариацией случайных величин ξ и η называется число cov ( ξ, η) = M ( ξ − M ξ )( η − M η) .

6. D ( ξ + η ) = D ξ + D η + 2cov ( ξ, η ) . Д о к а з а т е л ь с т в о. Воспользовавшись определениями дисперсии, ковариации и линейностью математического ожидания, получаем D ( ξ + η) = M ( ( ξ + η) − M ( ξ + η) ) = M ( ( ξ − M ξ ) + ( η − M η) ) = 2

2

= M ( ξ − M ξ ) + 2M ( ξ − M ξ )( η − M η) + M ( η − M η ) = 2

2

D ξ + 2cov ( ξ, η) + D η. 7. Если случайные величины ξ и η независимы, то D ( ξ + η) = D ξ + D η. Д о к а з а т е л ь с т в о. Учитывая свойство 6, для доказательства свойства 7 достаточно показать, что cov ( ξ,η) = 0 , если ξ и η независимы. 105

Отметим, что из независимости случайных величин ξ и η вытекает независимость ξ − M ξ и η − M η, так как ξ − M ξ = g1 ( ξ ) , η − M η = g 2 ( η) , где g1 ( x ) = x − M ξ, g 2 ( x ) = x − M η – борелевские функции. Поэтому по свойству мультипликативности математических ожиданий получаем cov ( ξ, η) = M ( ξ − M ξ ) M ( η − M η) =

= M ( ξ − M ξ )( η − M η ) = ( M ξ − M ξ )( M η − M η ) = 0. У п р а ж н е н и е 1. Воспользовавшись свойством 10 математического ожидания и следствиями 1 и 2 § 1, докажите, что ∞

Mξ = k

1)

k

ξ

−∞ ∞

k

Mξ = M (ξ − M ξ) = k

∫ x dF ( x ),

∫

x dFξ ( x ), k

−∞ ∞

∫ ( x − M ξ)

dFξ ( x ),

k

−∞ k

∞

M ξ − Mξ =

∫

x − M ξ dFξ ( x ), k

k = 1, 2, …;

−∞

2) если случайная величина ξ − абсолютно непрерывна с плотностью распределения pξ , то ∞

Mξ = k

k

Mξ = M (ξ − M ξ) = k

∫ x p ( x ) dx, k

ξ

−∞ ∞

∫

x pξ ( x ) dx, k

−∞ ∞

∫ ( x − M ξ)

k

pξ ( x ) dx,

−∞ k

M ξ − Mξ =

∞

∫

x − M ξ pξ ( x ) dx, k

k = 1, 2, …;

−∞

3) если случайная величина ξ дискретна с законом распределения

ξ : x1 … Ρ : p1 …

то 106

xn … pn …,

∞

M ξ k = ∑ xnk pn , n =1 ∞

M ξ = ∑ xn pn , k

k

n =1 ∞

M ( ξ − Mξ ) = ∑ ( xn − M ξ ) pn , k

k

n =1

∞

M ξ − Mξ = ∑ xn − Mξ pn , k

k

k = 1, 2, … .

n =1

П р и м е р 1. Пусть ξ – случайная величина, имеющая дисперсию D ξ. Введем новую случайную величину η = ξ − a. Найдем число a, доставляющее минимум M η2 . Воспользовавшись свойствами дисперсии, имеем

M η2 = D η + ( M η ) = D ξ + ( M ξ − a ) . 2

2

Первое слагаемое от a не зависит, а второе принимает минимальное значение при a = M ξ. Таким образом, в качестве a следует взять M ξ, а минимальное значение M η2 совпадает с дисперсией D ξ. П р и м е р 2. Бросаются две игральные кости. Пусть ξ1 – число очков, выпавших на одной кости, а ξ 2 – на другой. Рассмотрим случайные величины η1 = ξ1 + ξ 2 (сумма очков на обеих костях), η2 = ξ1 − ξ 2 (разность очков). Тогда cov ( η1 , η2 ) = M ( ( ξ1 + ξ2 ) − M ( ξ1 + ξ2 ) ) ( ( ξ1 − ξ 2 ) − M ( ξ1 − ξ 2 ) ) =

(

= M ( ξ1 − M ξ1 ) − ( ξ 2 − M ξ 2 ) 2

2

) = Dξ − Dξ . 1

2

Случайные величины ξ1 и ξ 2 одинаково распределены, значит, D ξ1 = D ξ 2 и

cov ( η1 , η2 ) = 0. Однако, случайные величины η1 и η2 зависимы, поскольку, на-

пример, из равенства η1 = 2 обязательно следует равенство η2 = 0. Таким образом, в свойстве 7 дисперсии обратное утверждение, вообще говоря, неверно. П р и м е р 3. Д и с п е р с и я с л у ч а й н о й в е л и ч и н ы Б е р н у л л и. Поскольку M ξ = p (см. гл. 4, § 1), то по определению дисперсии, учитывая упражнение 1, имеем 2 2 2 D ξ = M ( ξ − p ) = ( 0 − p ) (1 − p ) + (1 − p ) p = = p 2 − p 3 + p − 2 p 2 + p 3 = p (1 − p ) .

П р и м е р 4. Д и с п е р с и я б и н о м и а л ь н о й с л у ч а й н о й в е л и ч и н ы . Учитывая то, что биномиальная случайная величина ξ имеет то же распределение, что и сумма ξ1 + … + ξ n независимых случайных величин Бернулли, по свойствам дисперсии имеем n

D ξ = D ( ξ1 + … + ξn ) = ∑ D ξ k = np (1 − p ) . k =1

107

П р и м е р 5. Д и с п е р с и я с л у ч а й н о й в е л и ч и н ы П у а с с о н а с п а р а м е т р о м λ. Математическое ожидание этой случайной величины было найдено в § 1 прим. 6, M ξ = λ. Вычислим второй момент ∞

M ξ2 = ∑ k 2 k =0

∞ ∞ λ k −λ λ k −1 −λ λj e = λ∑ k e = λ ∑ ( j + 1) e−λ = k! j! ( k − 1)! k =1 j =0

∞  ∞ λj  λj = λ  ∑ j e −λ + ∑ e −λ  = λ ( M ξ + 1) = λ 2 + λ. j =0 j !  j =0 j !  Следовательно, 2 D ξ = M ξ 2 − ( M ξ ) = λ 2 + λ − λ 2 = λ.

П р и м е р 6. Д и с п е р с и я геометрической случайной в е л и ч и н ы. Известно, что (см. гл. 4, § 1, прим. 5) 1− p Mξ = . p Найдем момент второго порядка, учитывая следующие равенства: ∞ ∞ ∞ 1 1 2 k k −1 k −2 1 , 1 , − p = k − p = k ( k − 1)(1 − p ) = 3 . ( ) ( ) ∑ ∑ ∑ 2 p p p k =0 k =0 k =1 Заметим, что второе равенство получается в результате дифференцирования по переменной p обеих частей первого равенства, а третье аналогичным образом получается из второго. Таким образом ∞

∞

∞

M ξ 2 = ∑ k 2 (1 − p ) p = p ∑ k ( k − 1)(1 − p ) + ∑ k (1 − p ) p = k

k =0

k

k =0

p (1 − p )

k

k =0

2 1 − p 2 (1 − p ) 1 − p + = + , p3 p p2 p 2

2

а 2 (1 − p ) 1 − p (1 − p ) (1 − p ) + 1 − p = 1 − p . + − = D ξ = M ξ − ( M ξ) = 2 2 p p p p2 p p2 П р и м е р 7. Д и с п е р с и я р а в н о м е р н о р а с п р е д е л е н н о й н а о т р е з к е [ a; b ] с л у ч а й н о й в е л и ч и н ы. Известно, что (см. гл. 4, 2

2

2

2

2

§ 1, прим. 7) Mξ =

a+b . 2

Найдем M ξ 2 . Имеем b

1 1 b3 − a 3 1 2 2 Mξ = x dx = = ( b + ab + a 2 ) , ∫ 3 b−a 3 b−a a 2

поэтому D ξ = M ξ − ( M ξ) 2

(a − b) . 1 1 = ( b 2 + ab + a 2 ) − ( b 2 + 2ab + a 2 ) = 3 4 12 2

2

108

П р и м е р 8. Ц е н т р а л ь н ы е м о м е н т ы н о р м а л ь н о й с л у ч а й н о й в е л и ч и н ы с п а р а м е т р а м и ( a, σ2 ) . Известно (см. гл. 4, § 1, прим. 9), что M ξ = a. Используя упражнение 1, имеем 1 ( x−a )

∞

1 n −2 M (ξ − M ξ) = x − a e ( ) ∫ σ 2π −∞ x−a В результате подстановки = z получим σ n

M (ξ − M ξ)

n

σ

2

2

dx.

2

∞

z − σn n 2 z e dz. = ∫ 2π −∞

Если n – нечетное, то M ( ξ − M ξ ) = 0, если же n – четное, то n

M (ξ − M ξ)

2k

2σ 2 k = 2π

∞

∫z

2k

e

−

z2 2

dz ,

0

1 2 z = t , получим 2 ∞ 1 k− 2k σ2 k 2k σ2 k  1 2 −t t e dt = = Γ  k +  = ( 2k − 1) !!σ 2 k . ∫ 2 π 0 π 

и, выполнив замену переменной M (ξ − M ξ)

2k

В частности, D ξ = σ 2 . П р и м е р 9. М о м е н т ы п о к а з а т е л ь н о й с п а р а м е т р о м λ с л у ч а й н о й в е л и ч и н ы. По формулам для абсолютно непрерывного случая (см. упражнение 1) имеем ∞ ∞ ∞ Γ ( k + 1) k ! 1 = k. M ξ k = ∫ x k λe −λx dx = λ ∫ x k e −λx dx = k ∫ t k e− t dt = λ 0 λk λ 0 0 В частности, 1 2 M ξ = , M ξ2 = 2 . λ λ

§ 3. Неравенства. Коэффициент корреляции

В этом параграфе рассмотрены неравенства для математических ожиданий, которые часто используются в дальнейшем изложении, а также коэффициент корреляции – число, характеризующее степень зависимости двух случайных величин. Н е р а в е н с т в о Ч е б ы ш е в а. Если g = g ( x ) – положительная неубывающая на [ 0;∞ ) функция, то для любого ε > 0

Ρ ( ξ ≥ ε) ≤

M g (ξ) . g (ε)

109

(1)

Д о к а з а т е л ь с т в о. Из свойств математического ожидания имеем M g ( ξ ) ≥ M g ( ξ ) I{ ξ ≥ε} ≥ M g ( ε ) I{ ξ ≥ε} = = g ( ε ) M I{ ξ ≥ε} = g ( ε ) Ρ ( ξ ≥ ε ) .

Неравенство (1) доказано. С л е д с т в и е 1. Для любого ε > 0 Mξ Dξ , Ρ( ξ − M ξ ≥ ε) ≤ 2 . Ρ ( ξ ≥ ε) ≤ ε ε Д о к а з а т е л ь с т в о. Первое неравенство непосредственно вытекает из неравенства Чебышева, если g ( x) = x, а второе – доказывается также, как и неравенство (1). Н е р а в е н с т в о И е н с е н а. Пусть g : R → R – борелевская выпуклая вниз (вверх) функция и M ξ < ∞, тогда M g ( ξ ) ≥ g ( M ξ ) ( g ( M ξ ) ≥ M g ( ξ )).

Д о к а з а т е л ь с т в о. Напомним, что функция g : ( c; d ) → R, −∞ ≤ c < d ≤ +∞ называется выпуклой вниз функцией, если для любых x1 , x2 ∈ ( c; d ) и любого θ∈ [ 0;1]

g ( θx1 + (1 − θ ) x2 ) ≤ θg ( x1 ) + (1 − θ ) g ( x2 ) . (2) Выпуклая вниз функция обладает следующим свойством: для любых x, a ∈ ( c; d ) существует константа m такая, что g ( x ) − g ( a ) ≥ m ( x − a ).

(3)

Докажем неравенство (3). Пусть точки x1 , x2 ∈ ( c; d ) таковы, что x1 < a < x2 . Возьмем число θ =

x2 − a x2 − x1

..

Подставим так определенное θ

в неравенство (2). Тогда

g (a) ≤

x2 − a x2 − x1

⋅ g ( x1 ) +

a − x1 x2 − x1

⋅ g ( x2 )

или после очевидных преобразований ( x2 − a ) ( g ( a ) − g ( x1 ) ) ≤ ( a − x1 ) ( g ( x2 ) − g ( a ) ). Из последнего неравенства следует, что существует такая константа m, что g ( x1 ) − g ( a ) g ( x2 ) − g ( a ) ≤m≤ . x1 − a x2 − a 110

Неравенство (3) для x < a вытекает из первого неравенства, а для x > a − из второго. Подставив в неравенство (3) x = ξ и a = Mξ, получим g ( ξ ) ≥ g ( M ξ ) + m ( ξ − M ξ ). Взяв математические ожидания от обеих частей последнего неравенства, приходим к доказательству неравенства Иенсена для выпуклой вниз функции. Если же функция g выпуклая вверх, то все неравенства в доказательстве поменяются на противоположные. У п р а ж н е н и е 1. Можно ли в неравенстве Иенсена снять условие борелевости на функцию g ? Н е р а в е н с т в о Л я п у н о в а. Для любых положительных α 1, q > 1, то

1

p

+

(

1

q

M ξη ≤ M ξ

p

q

= 1, M ξ < ∞, M η < ∞,

) (

p 1 p

Mη

)

q 1q

.

Д о к а з а т е л ь с т в о. Так как функция y = ln x является выпуклой вверх на ( 0;∞ ) , то для любых x1 > 0, x2 > 0 и θ∈ [ 0;1] ln ( θx1 + (1 − θ ) x2 ) ≥ θ ln x1 + (1 − θ ) ln x2 .

Отсюда

θx1 + (1 − θ ) x2 ≥ x1θ x12−θ .

Взяв

x1 =

ξ

p

Mξ

p

,

x2 =

η

q

Mη 111

q

,

θ=

1

p

,

1− θ =

1

q

,

получим p

q

ξ 1 ξ 1 η p + q ≥ p pMξ qMη Mξ

(

η

) (M η ) 1 p

1q

q

.

Если взять математические ожидания от обеих частей последнего неравенства, то приходим к доказательству неравенства Гёльдера. З а м е ч а н и е 2. Неравенство Гёльдера для p = q = 2 называется н е р а в е н с т в о м К о ш и – Б у н я к о в с к о г о, или Ш в а р ц а и имеет вид Μ ξη ≤ M ξ 2 M η2 . Н е р а в е н с т в о М и н к о в с к о г о. Если p p M ξ < ∞, M η < ∞, p > 1,

то p

M ξ+η 1

(

p

p

ξ + η ≤ 2 p−1 ξ + η

p

)

p 1 p

.

),

p

то получаем, что M ξ + η < ∞. Используя неравенство Гёльдера, имеем p p −1 p −1 p −1 M ξ+η =M ξ+η ξ+η ≤M ξ ξ+η +M η ξ+η ≤

) ( ) ( ) (  Mξ = (M ξ + η ) ( ) + (M η )  Разделив обе части неравенства на ( M ξ + η ) (

≤ Mξ

p 1 p

M ξ+η p

1q

( p −1)q

( p −1)

+ Mη

p

p 1 p

p 1 p

M ξ+η p 1 p

p

( p −1)q

)

1q

=

.  

( p −1)

p

, получим до-

казательство. Пусть на вероятностном пространстве ( Ω, A , Ρ ) заданы случайные величины ξ и η с конечными дисперсиями, причем D ξ > 0, D η > 0. О п р е д е л е н и е 1. Коэффициентом корреляции случайных величин ξ и η называется число 112

ρ ( ξ, η) =

cov ( ξ, η) DξDη

=

M ( ξ − M ξ )( η − M η) DξDη

.

Свойства коэффициента корреляции

1. ρ ( ξ, η) ≤ 1. Д о к а з а т е л ь с т в о вытекает из неравенства Коши – Буняковского Μ ξ η ≤ M ξ 2 M η2 , если положить по определению ξ = ξ − M ξ и η = η − M η. 2. Если случайные величины ξ и η независимы, то ρ ( ξ, η) = 0. З а м е ч а н и е 3. Обратное утверждение, вообще говоря, неверно. Приведите пример, показывающий это. В случае, когда ρ ( ξ, η) = 0, случайные величины ξ и η называются некоррелированными. Д о к а з а т е л ь с т в о свойства 2 следует из того, что M ξη − M ξ M η M ξ M η − M ξ M η ρ ( ξ, η) = = = 0. DξDη DξD η 3. ρ ( ξ, η) = 1 тогда и только тогда, когда существуют такие

константы a ≠ 0 и b, что Ρ ( η = aξ + b ) = 1. Д о к а з а т е л ь с т в о. Н е о б х о д и м о с т ь. а) Пусть ρ ( ξ, η) = −1. Введем в рассмотрение нормированные случайные величины ξ1 и η1 , положив по определению ξ − Mξ η − Mη , η1 = . ξ1 = Dξ Dη Используя свойства математического ожидания и дисперсии, несложно видеть, что M ξ1 = M η1 = 0, D ξ1 = D η1 = 1, ρ ( ξ, η) = M ξ1η1. Поэтому D ( ξ1 + η1 ) = D ξ1 + D η1 + 2cov ( ξ1 , η1 ) = 1 + 1 + 2ρ ( ξ, η ) = 0. Из последнего соотношения по свойству 5 дисперсии делаем вывод, что существует константа c такая, что Ρ ( ξ1 + η1 = c ) = 1, 113

или

 ξ − Mξ η − Mη  Ρ  + = c  = 1. Dη  Dξ  Таким образом, существуют константы Dη Mξ Dη ≠ 0, b = M η + + c D η, a=− Dξ Dξ такие что Ρ ( η = aξ + b ) = 1. б) Случай, когда ρ ( ξ, η) = 1, доказывается аналогично, если исследовать D ( ξ1 − η1 ) . Необходимость доказана. Д о с т а т о ч н о с т ь. Пусть существуют a ≠ 0 и b, такие что Ρ ( η = aξ + b ) = 1. Учитывая свойства математического ожидания и дисперсии, получаем M ( ξ − Mξ )( η − Mη) M ( ξ − M ξ ) ( aξ + b − M ( aξ + b ) ) ρ ( ξ, η) = = = Dξ Dη D ξ D ( aξ + b )

=

M ( ξ − M ξ )( aξ − a M ξ ) D ξ D ( aξ )

=

a Dξ a = . a Dξ a

(4)

Взяв модули от левой и правой частей соотношения (4), приходим к доказательству достаточности. Свойство доказано. З а м е ч а н и е 4. Из свойства 3 следует, что коэффициент корреляции является мерой линейной зависимости случайных величин. Чем ближе ρ ( ξ, η) к единице, тем ближе к прямой будут размещаться в среднем значения случайного вектора ( ξ, η) .

П р и м е р 1. Некоторые применения неравенства Чебышева (п р а в и л о т р е х с и г м). Неравенство Чебышева дает оценку вероятностей «значительных» отклонений случайной величины от ее математического ожидания. Запишем это неравенство в следующей форме: Dξ 1 Ρ ξ − Mξ > k Dξ ≤ 2 = 2, k Dξ k где k – произвольное положительное число. Тогда 1 Ρ ξ − M ξ ≤ k D ξ = 1− Ρ ξ − M ξ > k D ξ ≥ 1− 2 . k

(

(

)

)

(

114

)

1 8 = , мож9 9 но утверждать, что значение случайной величины ξ принадлежит интервалу Например, если взять k = 3, то с вероятностью большей, чем 1 −

(M ξ − 3

)

D ξ; M ξ + 3 D ξ .

Предположим, что случайная величина ξ нормально распределена с параметрами a и σ 2 . Тогда  ξ−a  Ρ ( ξ − a ≤ 3σ ) = Ρ  ≤ 3  = 2Φ 0 ( 3) ≈ 0,997,  σ  x

1 −t 2 2 где Φ 0 ( x ) = e dt , и ее значение находим по табл. 2 (см. Приложения). 2π ∫0

115

ДОПОЛНЕНИЯ К ГЛАВЕ 4 § 1. Интеграл Лебега

Случайная величина ξ называется простой, если она может принимать только конечное число значений. О п р е д е л е н и е 1. Интегралом Лебега от простой случайной величины ξ, принимающей значения x1 , … , xn с вероятностями pi = Ρ ( ξ = xi ) называется число n

∫ ξ ( ω) d P ( ω) = ∑ xi pi . i =1

Ω

О п р е д е л е н и е 2. Индикатором I A случайного события A называется случайная величина ω∈ A, 1, I A = I A ( ω) =  0, ω∉ A. Индикаторы обладают следующими очевидными с в о й с т в а м и: 1. I Ω ( ω) ≡ 1; 2. Если события A1 , … , An попарно несовместны, то n

I

n

∑ Ak

( ω) = ∑ I Ak ( ω). k =1

k =1

У п р а ж н е н и е 1. Докажите, что для того, чтобы случайная величина ξ была простой, необходимо и достаточно, чтобы она была представима в виде n

ξ ( ω) = ∑ xk I Ak ( ω),

(1)

k =1

где случайные события A1 , … , An попарно несовместны, а среди чисел x1 , … , xn могут быть равные. У п р а ж н е н и е 2. Докажите, что если случайную величину ξ можно записать в виде (1), то n

∫ ξ ( ω) d Ρ ( ω) = ∑ xk Ρ ( Ak ). i =1

Ω

Пусть ξ – неотрицательная случайная величина. Обозначим j −1 j   < ξ ( ω) ≤ n  , B nj = ( ω∈ Ω : ξ ( ω) > n ) , Anj =  ω∈ Ω : j = 1, 2, … , n 2 2   n⋅ 2 n

ξ n ( ω) = ∑ j =1

j −1 I j ( ω) + nI B j ( ω) . n 2n An

Заметим, что 1. При любом n случайная величина ξ n является простой:

116

(2)

1 n ⋅ 2n − 1 , n. ξ n : 0, n , … , 2 2n 2. ξ n ( ω) ≤ ξ n+1 ( ω) при любом ω∈ Ω. 3. ξ n ( ω) ≤ ξ ( ω) для всех n ∈ N и ω∈ Ω. 4. Для любого ω∈ Ω такого, что ξ ( ω) ≤ n 1 . 2n Таким образом, для всех ω∈ Ω ξ n ( ω) ↑ ξ ( ω) при n → ∞. ξ ( ω) − ξn ( ω) ≤

О п р е д е л е н и е 3. Интегралом Лебега от неотрицательной случайной величины ξ называется число

∫ ξ ( ω) d Ρ ( ω) = lim ξ ( ω) d Ρ ( ω) , n →∞

Ω

n

где элементы последовательности {ξn } определяются соотношениями (2).

Пусть ξ – произвольная случайная величина. Обозначим, как и раньше, ξ + ( ω) = max ( 0, ξ ( ω) ) , ξ − ( ω) = max ( 0, − ξ ( ω) ) . Тогда ξ + ≥ 0, ξ − ≥ 0, , ξ = ξ + − ξ− . О п р е д е л е н и е 4 . Интегралом Лебега от произвольной случайной величины ξ называется число

∫ ξ ( ω) d Ρ ( ω) = ∫ ξ ( ω) d Ρ ( ω) − ∫ ξ ( ω) d Ρ ( ω), +

Ω

−

Ω

Ω

если оба выражения в правой части конечны. Доказательства корректности этих определений и свойств интеграла Лебега можно найти, например, в [41]. § 2. Интегралы Римана – Стилтьеса и Лебега – Стилтьеса

Пусть ξ = ξ ( ω) – случайная величина, определенная на вероятностном пространстве

( Ω,

( R, B ( R ) , Ρ ) , ξ

A , Ρ ) . Рассмотрим другое вероятностное пространство –

порожденное случайной величиной ξ . Случайные величины, оп-

ределенные на этом пространстве, являются борелевскими функциями g = g ( x ) действительной переменной x ∈ R. Интеграл Лебега от функции g по мере Ρ ξ обозначим

∫ g ( x ) Ρ ( dx ) = ∫ gd Ρ . ξ

ξ

(1)

R

Так как мера Ρ ξ однозначно определяется по функции распределения Fξ , то интеграл (1) записывают также так:

∫ g ( x ) dF ( x ). ξ

R

117

(2)

В такой записи данный интеграл называют интегралом Лебега – Стилтьеса от функции g по функции Fξ . Отметим, что если мера Ρ ξ является мерой Лебега, то искомый интеграл записывается в виде (3) ∫ g ( x ) dx R

и называется интегралом Лебега. Пусть функция F = F ( x ) – функция распределения. О п р е д е л е н и е 1. Интегралом Римана – Стилтьеса от функции g по функции F , если x ∈ [ a; b ] , называется число b

N −1

∫ g ( x ) dF ( x ) = lim ∑ g ( xi ) ( F ( xi+1 ) − F ( xi ) ), ∆x → 0

a

i =0

если предел существует и не зависит от выбора точек xi , xi , где a = x0 < x1 < … < xN = b, xi ∈ ( xi , xi +1 ] , ∆x = max ( xi +1 − xi ) , i = 0, N − 1.

О п р е д е л е н и е 2. Под интегралом +∞

∫ g ( x ) dF ( x )

−∞

понимается число, равное пределу b

lim

∫ g ( x ) dF ( x ).

a →−∞ b →+∞ a

З а м е ч а н и е 1. Интеграл +∞

∫ g ( x ) dF ( x )

−∞

существует, если функция g непрерывная или кусочно-непрерывная. З а м е ч а н и е 2. Интеграл Римана – Стилтьеса обладает всеми свойствами интеграла Римана. У т в е р ж д е н и е 1. Пусть F ( x ) = a1 F1 ( x ) + a2 F2 ( x ) . Тогда b

b

b

∫ g ( x ) dF ( x ) = a ∫ g ( x ) dF ( x ) + a ∫ g ( x ) dF ( x ). 1

a

1

a

2

2

a

Д о к а з а т е л ь с т в о вытекает из равенства F ( xi +1 ) − F ( xi ) = a1 ( F1 ( xi +1 ) − F1 ( xi ) ) + a2 ( F2 ( xi +1 ) − F2 ( xi ) ) и определения интеграла. У т в е р ж д е н и е 2. Если функция F ( x ) – непрерывно дифференцируемая функция и p ( x ) = F ′ ( x ) , то

118

b

b

a

a

∫ g ( x ) dF ( x ) = ∫ g ( x ) p ( x ) dx. В правой части этого равенства – интеграл Римана. Д о к а з а т е л ь с т в о. Так как по теореме о среднем F ( xi +1 ) − F ( xi ) =

xi +1

∫ p ( x ) dx = p ( x ) ( x

− xi ) ,

i +1

i

xi

где xi ∈ ( xi ; xi +1 ] , то из определения интеграла Римана – Стилтьеса имеем b

N −1

N −1

( )( x

∫ g ( x ) dF ( x ) = lim ∑ g ( xi ) ( F ( xi+1 ) − F ( xi ) ) = lim ∑ g ( xi ) p xi ∆x →0

a

∆x → 0

i =0

i =0

i +1

− xi ).

Взяв xi = xi , получим доказательство этого утверждения.

У т в е р ж д е н и е 3. Если функция F ( x ) является ступенчатой со скачками в точках xk , причем величина скачка в точке xk равна pk , и ∞

∑ g(x ) p k

k =1

k

< ∞,

то +∞

∫

−∞

∞

g ( x ) dF ( x ) = ∑ g ( xk ) pk . k =1

Д о к а з а т е л ь с т в о. Пусть точки разбиения a = t0 < t1 < … < t N = b и диаметр разбиения ∆t = max ( ti +1 − ti ) выбраны так, что при каждом i = 0, N − 1 про-

межуток ( ti ; ti +1 ] содержит не больше одной точки из множества { x1 , x2 , …} . То-

гда F ( ti +1 ) − F ( ti ) = pk , если промежуток ( ti ; ti +1 ] содержит точку xk , и F ( ti +1 ) −

− F ( ti ) = 0, если ни одна из точек x1 , x2 , … не попадает в промежуток ( ti ; ti +1 ] ,

i = 0, N − 1. Взяв ti = xk , если xk ∈ ( ti ; ti +1 ] по определению интеграла Римана –

Стилтьеса получаем b

N −1

∫ g ( x ) dF ( x ) = lim ∑ g ( xk ) ( F ( ti+1 ) − F ( ti ) ) = ∆t → 0

a

i =0

∑

k : xk ∈[ a ;b ]

g ( xk ) pk .

Отсюда +∞

∫

g ( x ) dF ( x ) = lim

−∞ ∞

если

∑ g(x ) p k =1

k

k

b

∞

∫ g ( x ) dF ( x ) = ∑ g ( xk ) pk ,

a →−∞ b →+∞ a

k =1

< ∞.

З а м е ч а н и е 3. Многомерные интегралы Римана – Стилтьеса и Лебега – Стилтьеса определяются аналогичным образом (см., напр., [13]).

119

§ 3. Условные математические ожидания

1. Условное математическое ожидание относительно событий и дискретных случайных величин. Ранее было установлено, что условная вероятность Ρ B = Ρ B ( A ) = Ρ ( A | B ) , Ρ ( B ) > 0, A, B ∈ A обладает всеми свойствами вероятности, поэтому корректно следующее определение. О п р е д е л е н и е 1. Условным математическим ожиданием M ( ξ | B ) случайной величины ξ относительно события B называется число M ( ξ | B ) = ∫ ξ ( ω) PB ( d ω) = ∫ ξ ( ω) d PB ( ω), Ω

Ρ ( B ) > 0.

Ω

З а м е ч а н и е 1. Из определения 1 вытекает, что это условное математическое ожидание обладает всеми свойствами математического ожидания. У т в е р ж д е н и е 1. Если M ξ < ∞, то 1 M (ξ | B) = M I B ξ. . Ρ ( B) Д о к а з а т е л ь с т в о. Пусть ξ = I A , тогда

Ρ ( A ∩ B) 1 = I A∩ B ( ω ) Ρ ( d ω ) = Ρ ( B) Ρ ( B ) Ω∫ Ω 1 1 M ξ IB. = I A ( ω) Ρ ( d ω) = ∫ Ρ ( B) B Ρ ( B) Для произвольных случайных величин ξ доказательство совпадает с доказательством формулы замены переменной в интеграле Лебега. У т в е р ж д е н и е 2. (Ф о р м у л а п о л н о г о математическог о о ж и д а н и я). Если события B1 , B2 , … образуют полную группу событий и M ξ < ∞, то

M ( ξ | B ) = ∫ I A ( ω) Ρ B ( d ω) = Ρ B ( A ) =

∞

M ξ = ∑ Ρ ( Bk ) M ( ξ | Bk ) . k =1

Д о к а з а т е л ь с т в о. Очевидно, что ∞

1 ≡ I Ω ( ω) = I ∞ ( ω) = ∑ I B k ( ω) , k =1 ∑ Bk k =1

∞

M ∑ ξ I Bk = M ξ < ∞. k =1

Поэтому по теореме о мажорируемой сходимости получаем ∞  ∞  ∞ M ξ = M  ∑ ξ I Bk  = ∑ M ξ I Bk = ∑ Ρ ( Bk ) M ( ξ | Bk ). k =1  k =1  k =1 Утверждение 2 доказано. У т в е р ж д е н и е 3. Если событие B не зависит от событий, порожденных случайной величиной ξ, то M ( ξ | B ) = M ξ. 120

Д о к а з а т е л ь с т в о. Из условия утверждения 3 вытекает, что случайные величины ξ и I B независимы, поэтому M ξ I B = M ξ M I B = Ρ ( B ) M ξ.

Отсюда, учитывая утверждение 1, имеем 1 M (ξ | B) = M ξ ⋅ I B = M ξ. Ρ ( B) Утверждение 3 доказано. О п р е д е л е н и е 2. Пусть η – дискретная случайная величина, которая принимает значения y1 , y2 , y3 , … с вероятностями Ρ ( η = yi ) ≠ 0, i = 1, 2, 3… . Условным математическим ожиданием случайной величины ξ относительно случайной величины η называется такая случайная величина M ( ξ | η ) , которая для ω∈ ( η = yi ) равна M ( ξ | η)( ω) = M ( ξ | η = yi ) , i = 1, 2, 3,… .

З а м е ч а н и е 2. Из данного определения вытекает, что M(ξ | η) = g (η), где g – некоторая борелевская функция, которая однозначно определяется в точках y1 , y2 , y3 ,… . У т в е р ж д е н и е 4. Если ξ и η независимые случайные величины, то M ( ξ | η) = M ξ. Д о к а з а т е л ь с т в о аналогично доказательству утверждения 3. У т в е р ж д е н и е 5. Если Ρ ( η = y ) ≠ 0 и M g ( ξ, η) < ∞, то M ( g ( ξ, η) η = y ) = M ( g ( ξ, y ) η = y ) . Д о к а з а т е л ь с т в о непосредственно следует из утверждения 1. У т в е р ж д е н и е 6. Пусть случайная величина η является дискретной и M ξ < ∞, тогда для любой борелевской функции g M ( ξ g ( η) | η) = g ( η) M ( ξ | η) .

Д о к а з а т е л ь с т в о. Пусть случайная величина η принимает значения y1 , y2 , y3 , … и Ρ ( η = yi ) ≠ 0, тогда для ω∈ ( η = yi ) по утверждению 5 имеем M ( ξ g ( η) | η ) ( ω) = M ( ξ g ( η ) | η = yi ) = M ( ξ g ( yi ) | η = yi ) =

= g ( yi ) M ( ξ | η = yi ) = g ( η ( ω) ) M ( ξ | η )( ω) ,

i = 1, 2, 3, … .

Отсюда следует равенство для всех ω∈ Ω. У т в е р ж д е н и е 6. (Т о ж д е с т в о В а л ь д а). Если случайные величины ξ1 , ξ2 , … , ξ n – независимы, одинаково распределены и M ξi < ∞, i = 1, n, а случайная величина τ независима с ними и принимающая значения 1, 2, … и M τ < ∞, то M Sτ = M ξ1τ, где S τ = ξ1 + … + ξτ .

121

Д о к а з а т е л ь с т в о. Из доказанных утверждений имеем ∞

∞

∞

k =1

k =1

M Sτ = ∑ Ρ ( τ = k ) M ( Sτ | τ = k ) = ∑ Ρ ( τ = k ) M ( Sk | τ = k ) = ∑ Ρ ( τ = k ) M Sk = k =1

∞

= M ξ1 ∑ k Ρ ( τ = k ) = M ξ1 M τ. k =1

Утверждение 6 доказано. У т в е р ж д е н и е 7. Пусть M ξ < ∞, η – дискретная случайная величина. Тогда для любой ограниченной борелевской функции h M ( h ( η) M ( ξ | η) ) = M h ( η) ξ.

Д о к а з а т е л ь с т в о следует из формулы полного математического ожидания. 2. Условное математическое ожидание относительно непрерывных случайных величин. Пусть случайная величина η имеет непрерывную плотность распределения pη , причем pη ( y ) ≠ 0 для любых y ∈ R. О п р е д е л е н и е 3. Пусть M ξ < ∞. Под условным математическим ожиданием M ( ξ | η = y ) будем понимать число

M ( ξ | η = y ) = lim M ( ξ | y ≤ η ≤ y + ∆y ) . ∆y →+0

Теорема 1. Если случайные величины ξ и η имеют непрерывную совместную плотность распределения p( ξ, η) ( x, y ) , M ξ < ∞, pη ( y ) ≠ 0, y ∈ R, то

M (ξ | η = y) =

∞

∫x

p( ξ, η) ( x, y )

dx. p y ( ) η −∞ Д о к а з а т е л ь с т в о. Из условия теоремы и утверждения 1 имеем 1 lim M ( ξ | y ≤ η ≤ y + ∆y ) = lim M ξ I ( y ≤η≤ y +∆y ) = ∆y →+0 ∆y →+0 Ρ ( ξ | y ≤ η ≤ y + ∆y ) 1

= lim

∆y →+0 y +∆y

∫

y +∆y

∞

∫ ∫

pη ( z ) dz −∞

x

y

∞

p( ξ, η) ( x, z ) dzdx = ∫ x −∞

p( ξ, η) ( x, y ) pη ( y )

dx.

y

Теорема 1 доказана. О п р е д е л е н и е 4 . Условной плотностью распределения случайной величины ξ при условии, что случайная величина η приняла значение y , называется функция p( ξ, η) ( x, y ) , pξ|η ( x | y ) = x, y ∈ R. pη ( y ) З а м е ч а н и е 3. Если pη ( y ) = 0, y ∈ R, то по определению полагаем, что pξ|η ( x | y ) = 0.

122

З а м е ч а н и е 4. Воспользовавшись доказательством теоремы 1, для любого B ∈ B ( R ) получаем: Ρ ( ξ ∈ B | η = y ) = lim Ρ ( ξ ∈ B | y ≤ η ≤ y + ∆y ) = ∫ pξ|η ( x | y ) dx. ∆y → 0

B

О п р е д е л е н и е 5. Условным математическим ожиданием случайной величины ξ относительно случайной величины η, имеющих непрерывную совместную плотность распределения, называется случайная величина M ( ξ | η )( ω) , которая для ω∈ ( η = y ) принимает значения M ( ξ | η = y ) . З а м е ч а н и е 5. Из определения 5 следует, что M ( ξ | η) является функци-

ей от η, т. е. M ( ξ | η)( ω) = g ( η ( ω) ) , ω∈ Ω. Из теоремы 1 получаем, что g ( y) =

p( ξ, η) ( x, y )

∞

∫x

dx. p y ( ) η −∞ Теорема 2. Если случайные величины ξ и η имеют непрерывную совместную плотность распределения и M ξ < ∞, то для любой непрерывной ограниченной функции h : R → R M ( M ( ξ | η) h ( η) ) = M h ( η) ξ. (1) Д о к а з а т е л ь с т в о. Из формулы замены переменных в интеграле Лебега имеем ∞ ∞ ∞ ∞  M h ( η) ξ = ∫ ∫ h ( y ) x p( ξ, η) ( x, y ) dx dy = ∫  ∫ x pξ|η ( x y ) dx  h ( y ) pη ( y ) dy = −∞ −∞ −∞  −∞  ∞

=

∫ M ( ξ | η = y ) h ( y ) p ( y ) dy = M ( M ( ξ | η) h ( η) ) . η

−∞

Теорема 2 доказана. 3. Условное математическое ожидание относительно произвольных случайных величин. Пусть ( Ω, A , Ρ ) – произвольное вероятностное пространство, F – σ-подалгебра A , ξ – случайная величина, заданная на ( Ω, A , Ρ ) и имеющая конечное математическое ожидание. О п р е д е л е н и е 6. Условным математическим ожиданием случайной величины ξ относительно σ-алгебры F , называется F-измеримая случайная величина M ( ξ | F ) такая, что для любых A∈ F

∫ ξ ( ω) Ρ ( d ω) = ∫ M ( ξ | F )( ω) Ρ ( d ω). A

A

З а м е ч а н и е 6. Корректность данного определения вытекает непосредственно из теоремы Радона – Никодима. Зададим на вероятностном пространстве еще одну случайную величину – η ( ω) , ω∈ Ω. Через A η обозначим σ-алгебру, порожденную случайной величиной −1 η. Напомним, что по определению A η = η ( B ( R ) ) .

123

О п р е д е л е н и е 6. Условное математическое ожидание M ( ξ | A η ) называется условным математическим ожиданием случайной величины ξ относительно случайной величины η и обозначается M ( ξ | η) . Приведем без доказательств основные свойства условного математического ожидания. Доказательства можно найти, например, в [5]. Свойства условного математического ожидания

1. Если Ρ ( ξ = C ) = 1, то M ( ξ | η) = C , C ∈ R. 2. Если M ξi < ∞; i = 1, 2; a, b ∈ R, то

M ( a ξ1 + b ξ 2 | η) = a M ( ξ1 | η ) + b M ( ξ 2 | η ) .

3. Если ξ1 ≤ ξ 2 и M ξ 2 < ∞, то

M ( ξ1 | η) ≤ M ( ξ 2 | η) .

4. Если ξ n ≥ 0, n = 1, 2, … , и ξ n ↑ ξ при n → ∞, причем M ξ < ∞, то M ( ξn | η) ↑ M ( ξ | η) . n→∞

5. Если случайные величины ξ и η независимы и M ξ < ∞, то M ( ξ | η) = M ξ. 6. Если M ξ < ∞, то

M ( M ( ξ | η) ) = M ξ.

7. Для любой ограниченной борелевской функции g : R → R M ( ξ g ( η) | η) = g ( η) M ( ξ | η) , если M ξ < ∞. Задачи 1. Пусть ξ – неотрицательная случайная величина с функцией распределения F ( x ) . Покажите, что ∞

Mξ =

∫ (1 − F ( x ) ) dx 0

и для любой неотрицательной константы c M min ( ξ, c ) =

c

∫ (1 − F ( x ) ) dx. 0

2. Найдите Mξ i , Dξ i и cov ( ξ i , ξ j ) в полиномиальном распределении

n! p1m1 … pkmk , m1 ! m2 ! … mk ! где mi , i = 1, k , – целые неотрицательные числа, m1 + … + mk = n, p1 + … + pk = 1. P ( ξ1 = m1 , ..., ξ k = mk ) =

124

3. Случайные величины ξ , η – координаты точки, равномерно распределенной в круге x 2 + y 2 ≤ R 2 . Найдите коэффициент корреляции ξ и η. 4. Пусть случайная величина ξ принимает конечное число неотрицательных значений x1 , … , xk . Докажите, что Mξ n +1 = max ( x1 , ..., xk ) , lim n Mξ n = max ( x1 , ..., xk ) . n →∞ Mξ n n →∞ 5. Пусть случайная величина ξ принимает целые неотрицательные значения и Mξ < ∞ . Покажите, что lim

∞

Mξ = ∑ P ( ξ ≥ k ). k =1

6. Покажите, что простые случайные величины ξ и η некоррелированы тогда и только тогда, когда они независимы. 7. Имеется n писем, адреса на конвертах которых написаны в случайном порядке. Пусть ξ – число писем, которые будут получены теми, кому они предназначены. Покажите, что Mξ = 1. 8. Пусть ξ и η – независимые случайные величины, принимающие целые неотрицательные значения и Mξ < ∞. Докажите, что ∞

M min ( ξ, η) = ∑ P ( ξ ≥ k ) P ( η ≥ k ). k =1

9. Пусть Mξ 2 < ∞. Покажите, что для любой c ∈ R 2 M ( ξ − c ) ≥ Dξ. 10. Пусть ξ и η – случайные величины с конечными моментами второго порядка. Докажите, что для любых a, b ∈ R M ( η − aξ − b ) ≥ M ( η − a0 ξ − b0 ) = (1 − ρ 2 ( ξ, η ) ) Dη, 2

где

a0 =

2

cov ( ξ, η ) , b0 = Mη − a0 Mξ; Dξ

если Dξ = 0, то a0 = 0. 11. Пусть случайные величины ξ1 и ξ 2 независимы, одинаково распределены и имеют конечные вторые моменты. Покажите, что случайные величины η1 = ξ1 + ξ 2 и η2 = ξ1 − ξ 2 некоррелированы. 1 12. Случайная величина ξ имеет биномиальное распределение с p = . Най2 πξ дите Mη , где η = sin . 2 13. В N телефонах-автоматах ведутся разговоры. Длительность разговора, измеряемая в секундах, имеет геометрическое распределение с математическим ожиданием µ. Найдите среднее время ожидания до первого освобождения телефона-автомата.

125

14. Случайные величины ξ1 , … , ξ n+1 – независимые случайные величины n

Бернулли. Пусть ηi ≡ ξ i + ξ i +1 ( mod 2 ) , η = ∑ ηi . i =1

Найдите Mη и Dη. 15. Пусть ξ – невырожденная нетривиальная случайная величина, Dξ < ∞. Покажите, что   ξ − Mξ < 3, 2  > 0,9; 1) P  −3, 2 <   Dξ   ξ−a   < 2  > 0,999, 2) P  −2 < b  

(

где a = Mξ, b = M ( ξ − a )

10

)

1 10

< ∞.

16. Пусть случайные величины ξ1 , ξ 2 имеют совместное нормальное распределение. Покажите, что они независимы тогда и только тогда, когда некоррелированы. 17. Случайные величины ξ и η независимы и нормально распределены с одними и теми же параметрами а и σ 2 . Докажите, что σ M max ( ξ, η ) = a + . π 18. Пусть случайные величины ξ1 , … , ξ n независимы и одинаково распреде-

лены, причем M ( ξi − Mξ i ) = 0. Докажите, что случайные величины ξ = 3

1 n ∑ ξi и n i =1

2 1 n ξ i − ξ ) независимы. ( ∑ n i =1 19. Случайные величины ξ1 , … , ξ n , … независимы и равномерно распреде-

лены в (0;1). Пусть ν – случайная величина, равная такому k, при котором впервые сумма ξ1 + … + ξ k превосходит 1. Покажите, что Mν = e. 20. Пусть ξ – стандартная случайная величина Коши. Найдите M min ( ξ , 1) .

126

Глава 5. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ В гл. 3 было установлено, что случайная величина полностью определяется своей функцией распределения (либо плотностью распределения, если она абсолютно непрерывна, либо законом распределения – в дискретном случае). В этой главе введено и изучено еще одно понятие – характеристическая функция случайной величины. В частности, показано, что множества функций распределения и характеристических функций гомеоморфны, т. е. между ними существует взаимно однозначное и взаимно непрерывное соответствие. Отметим так же, что характеристическая функция есть преобразование Фурье – Стилтьеса функции распределения (преобразование Фурье плотности распределения в абсолютно непрерывном случае). Роль этих преобразований в неслучайном анализе нельзя переоценить. Особая эффективность аппарата характеристических функций в теории вероятностей будет показана в гл. 6 при исследовании предельного поведения сумм независимых случайных величин. § 1. Определение и простейшие свойства Для определения характеристических функций необходимо распространить понятие математического ожидания на комплексные случайные величины. Пусть ξ и η случайные величины, определенные на вероятностном пространстве ( Ω, A , Ρ ) , с конечными математическими ожиданиями, ς = ξ + iη , где i – мнимая единица. Тогда по определению математическое ожидание комплексной случайной величины ς есть M ς = M ξ + i M η. Несложно видеть, что определяемое таким образом математическое ожидание обладает всеми свойствами математического ожидания действительных случайных величин, которые не связаны с упорядоченностью. О п р е д е л е н и е 1. Характеристической функцией действительнозначной случайной величины ξ называется функция f ξ ( t ) дей-

ствительного переменного t

f ξ ( t ) = M eitξ . З а м е ч а н и е 1. Характеристическая функция существует для любой действительнозначной случайной величины ξ , так как для любых t ∈ R 127

eitξ = cos t ξ + i sin tξ = 1

и

f ξ ( t ) = M eitξ ≤ M eitξ = M1 = 1.

З а м е ч а н и е 2. Из формулы замены переменных в интеграле Лебега имеем +∞

f ξ ( t ) = ∫ eitx dFξ ( x ),

(1)

−∞

где Fξ – функция распределения случайной величины ξ. Отсюда видно, что характеристическая функция есть преобразование Фурье – Стилтьеса функции распределения. Пусть ξ – абсолютно непрерывная случайная величина с плотностью pξ ( x ) . В этом случае +∞

f ξ ( t ) = ∫ eitx pξ ( x ) dx,

(2)

−∞

т. е. характеристическая функция – это преобразование Фурье плотности. Наконец, если ξ дискретная случайная величина с законом распределения ξ : x1 , …, xn , … Ρ : p1 , …, pn , …, то ∞

f ξ ( t ) = ∑ eitxn pn . n =1

(3)

Свойства характеристических функций

1°. f ξ ( 0 ) = 1, f ξ ( t ) ≤ 1 для любого действительного t.

Д о к а з а т е л ь с т в о. Из определения характеристической функции и свойств математического ожидания следует: f ξ ( 0 ) = Me0 = M1 = 1, f ξ ( t ) = M eitξ ≤ M eitξ = M1 = 1. 2°. Характеристическая функция f ξ ( t ) равномерно непрерывна на R. Для доказательства свойства 2 воспользуемся леммой. Л е м м а 1. Для любых ϕ∈ R и любых n ∈ N справедливо неравенство 128

iϕ

n −1

( iϕ )

k =0

k!

e −∑

k

≤

n

ϕ

.

n!

(4)

Д о к а з а т е л ь с т в о л е м м ы. Используем метод математической индукции. Пусть n = 1 , докажем, что eiϕ − 1 ≤ ϕ . Несложно видеть, что 1 iϕ ( e − 1), i 0 а поэтому, взяв модули от обеих частей, получим ϕ

iu ∫ e du =

ϕ

iϕ

ϕ

e − 1 = ∫ e du ≤ ∫ eiu du = ϕ . iu

0

0

Предположим, что неравенство (4) справедливо и докажем, что n

iϕ

e −∑

( iϕ )

k

≤

k!

k =0

ϕ

n +1

( n + 1)!

.

(5)

Очевидно, что k k ϕ  n −1 iu )  1  i ϕ n ( iϕ )  ( iu  du =  e − ∑ . ∫0  e − ∑    k ! k ! i k =0 k =0     Поэтому, учитывая справедливость неравенства (4), имеем n

iϕ

e −∑

k =0

( iϕ )

k

ϕ

n −1

(iu )

k =0

k!

≤ ∫ e −∑

k!

iu

0

ϕ

≤ ∫

0

u

n

n!

du =

ϕ

k

du ≤

n +1

( n + 1)!

,

таким образом, лемма доказана. Д о к а з а т е л ь с т в о с в о й с т в а 2°. Покажем, что для любого ε > 0 существует δ > 0, , что для всех h < δ и t ∈ R Пусть A = { ξ ≤ c } и

f ξ ( t + h ) − f ξ ( t ) < ε.

1, ω ∈ A, I A ( ω) =  0, ω ∉ A. Тогда

fξ ( t + h ) − fξ ( t ) = M e (

i t + h )ξ

− M eitξ = M eitξ ( eihξ − 1) ≤ M eihξ − 1 = 129

{

}

{

}

= M eihξ − 1 ⋅ I A + M eihξ − 1 ⋅ I A = I1 + I 2 . Так как согласно лемме 1 | eihξ − 1| ≤ h ξ , то I1 ≤ c h . В свою очередь I 2 = M eihξ − 1 I A ≤ 2 M I A = 2Ρ ( A ) ,

таким образом

f ξ ( t + h ) − f ξ ( t ) ≤ c h + 2Ρ ( ξ > c ) .

Убедимся, что число Ρ ( ξ > c ) за счет выбора c может быть сколь угодно малым. Имеем Ρ ( ξ > c ) = Ρ ( ξ > c ) + P ( ε < −c ) = 1 − Fξ ( c ) + Fξ ( −c − 0 ) . Из этого равенства следует, что за счет выбора c можно сделать ε Ρ( ξ > c) < . 2 Теперь в качестве δ возьмем δ = ε 2c . Свойство 2° доказано. 3°. Если случайные величины ξ и η связаны следующим образом Ρ ( η = aξ + b ) = 1, a, b ∈ R, то f η ( t ) = eibt f ξ ( at ) . Д о к а з а т е л ь с т в о. По определению характеристической функции и свойствам математического ожидания имеем it aξ + b f η ( t ) = M eitη = M e ( ) = M eitaξ eibt = eibt f ξ ( at ) . Свойство 3° доказано. 4°. Если случайные величины ξ1 , …, ξ n независимы, то для любых t∈R n

f ξ1 +…+ξ n ( t ) = ∏ f ξ k ( t ). k =1

Д о к а з а т е л ь с т в о. Известно, что если случайные величины ξ1 , ξ 2 , …, ξ n – независимы, а g1 , g 2 , …, g n – борелевские функции, то g1 ( ξ1 ) , g 2 ( ξ 2 ) , …, g n ( ξ n ) также независимы. В нашем случае

g1 ( x ) = g 2 ( x ) = … = g n ( x ) = eitx , x ∈ R. Поэтому по свойству мультипликативности математического ожидания имеем f ξ1 +…+ξ n ( t ) = M e

it ( ξ1 +…+ ξ n )

n

= M∏e k =1

Свойство 4° доказано. 130

itξ k

n

= ∏ Me k =1

itξ k

n

= ∏ f ξ k ( t ). k =1

5°. f ξ ( t ) = f ξ ( −t ) , где f ξ ( t ) комплексное сопряжение к f ξ ( t ) . Д о к а з а т е л ь с т в о. По свойствам операции комплексного сопряжения получаем f ξ ( t ) = M eitξ = M eitξ = M e − itξ = f ξ ( −t ) . Свойство 5° доказано. 6°. Пусть момент n-го порядка mn = M ξ n конечен, тогда для всех k ≤ n существует производная k-го порядка характеристической k функции f ξ( ) ( t ) и f ξ( ) ( 0 ) = i k mk . (6) Кроме того, имеет место следующее разложение по формуле Тейлора характеристической функции с остаточным членом в форме Пеано k

n

(it )

k =0

k!

f ξ (t ) = ∑ где Rn ( t ) = o ( t n ) , t → 0.

k

mk + Rn (t ),

(7)

З а д а ч а. Является ли f ( t ) = e −t характеристической функцией какой-либо случайной величины? Р е ш е н и е. Несложно убедиться в том, что f (1) ( 0 ) = 0, f ( 2) ( 0 ) = 0. 4

Предположим, что существует такая характеристическая функция f ξ , что f ξ ( t ) = f ( t ) . Из того, что f ( ) ( 0 ) = 0, f ( 1

2)

( 0) = 0

и соотношения (6) следует

M ξ = 0, M ξ 2 = 0, а поэтому D ξ = 0. По свойству дисперсии в итоге имеем Ρ ( ξ=0 ) = 1 и f ξ ( t ) ≡ 1.

Получили противоречие.

Данное решение – это частичное решение для случайных величин, имеющих конечный момент второго порядка, но оно будет полным, если учесть, что справедлив следующий факт [5]: если существует производная четного порядка характеристической функции 2n f ξ( ) ( t ) , n ∈ N , то конечен момент m2 n . Д о к а з а т е л ь с т в о с в о й с т в а 6°. Имеем f ξ ( t ) = M eitξ . Формально продифференцируем обе части этого равенства k раз по t. Тогда 131

f ξ( ) ( t ) = i k M ξ k eitξ , (8) и если подставить t = 0 в соотношение (8), то получим равенство (6). Докажем правомочность дифференцирования, используя метод математической индукции. Предположим, что существует f ξ( k ) и выполняется равенство (8) для k < n. Нужно доказать, что существует k +1 k +1 f ξ( ) ( t ) и f ξ( ) ( t ) = i k +1 M ξk +1eitξ , t ∈ R. По определению производной ( k + 1) -го порядка имеем k

(k )

ihξ −1 ( t + h ) − fξ( ) ( t ) (5) k k itξ e f ξ ( t ) = lim = lim i M ξ e = lim M ηh = h →0 h →0 h →0 h h = i k +1 M ξ k +1eitξ . Последнее равенство получено по теореме о мажорируемой сходимости, так как ηh  → i k +1ξ k +1eitξ , ηh ≤ ξ k +1 , h →0 k

fξ

( k +1)

k +1

а случайная величина ξ интегрируема по условию для k < n. Для доказательства равенства (7) введем, как и раньше, событие A = { ξ ≤ c} и воспользуемся леммой 1. В результате получим n

fξ ( t ) − ∑

( it )

k =0

k!

k

mk ≤ M e − ∑

n −1

+M e − ∑ k =0

( itξ )

k =0

 itξ n−1 ( itξ )k +M e − ∑  k! k =0  itξ

n

itξ

( itξ )

k

k!

k

n

=M e −∑ itξ

k =0

( itξ )

k

IA +

k!

n +1  ( itξ )n tξ IA ≤ M IA + −  n ! n 1 ! + ( )  n +1

n

n

t t tξ n n M ξ I A + 2 M ξ I A. IA + M IA ≤ c k! n! n! ( n + 1)!

В силу конечности mn = M ξ n первое слагаемое в последнем вы-

ражении есть o ( t n ) при t → 0, а так как n

n

n

M ξ IA = M ξ − M ξ IA → 0 при c → 0, то за счет выбора с второе слагаемое есть o(t n ) при t → 0. Таким образом, свойство 6° доказано.

132

7°. Характеристическая функция f ξ ( t ) является неотрицательно определенной функцией, т. е. для любого n ∈ N , любых действительных чисел t1 , t2 , …, tn и любых комплексных чисел z1 , z2 , …, zn n

n

∑∑ f ( t ξ

k =1 j =1

k

− t j ) zk z j ≥ 0.

Д о к а з а т е л ь с т в о. Из определения характеристической функции и свойств операции комплексного сопряжения следует: n

n

n

n

∑∑ fξ ( tk − t j ) zk z j = ∑∑ M e k =1 j =1

(

)

i tk −t j ξ

k =1 j =1

n

n

k =1

j =1

zk z j = M ∑ eitk ξ zk ∑ e j z j = it ξ

2

n

= M ∑ eitk ξ zk ≥ 0, k =1

что и требовалось доказать. Теорема Бохнера [11]. Если функция f ( t ) – непрерывная, неотрицательно определенная и f ( 0 ) = 1, то она является характеристической функцией некоторой случайной величины. Примеры характеристических функций П р и м е р 1. Х а р а к т е р и с т и ч е с к а я ф у н к ц и я с л у ч а й н о й в е л и ч и н ы Б е р н у л л и. Так как закон распределения ξ имеет вид ξ: 0 1, Ρ : 1 − p p, 0 < p < 1, то, используя равенство (3), имеем f ξ ( t ) = eit 0 (1 − p ) + eit1 p = (1 − p ) + peit . П р и м е р 2. Х а р а к т е р и с т и ч е с к а я функция а л ь н о й с л у ч а й н о й в е л и ч и н ы. Имеем n−k Ρ ( ξ = k ) = Cnk p k (1 − p ) , k = 0, n,

биноми-

поэтому по определению характеристической функции дискретной случайной величины n

n

k =0

k =0

f ξ (t ) = ∑ eitk P(ξ = k) = ∑ Cnk (eit p ) k (1 − p ) n − k = (eit p + 1 − p) n .

В последнем равенстве использована формула бинома Ньютона. П р и м е р 3. Х а р а к т е р и с т и ч е с к а я ф у н к ц и я с л у ч а й н о й в е л и ч и н ы П у а с с о н а. Так как λ k −λ Ρ (ξ = k ) = λ > 0, k = 0, 1, … , e , k! то ∞ λ k −λ ∞ it k e −λ f ξ ( t ) = ∑ eitk e = ∑ (e λ) = exp {eit λ − λ} = exp λ ( eit − 1) . k! k! k =0 k =0

{

133

}

П р и м е р 4. Х а р а к т е р и с т и ч е с к а я ф у н к ц и я ч е с к о й с л у ч а й н о й в е л и ч и н ы. Известно, что n−k Ρ ( ξ = k ) = p k (1 − p ) , k = 0, 1, … ,

геометри-

поэтому ∞

∞

1 . 1 − (1 − p ) eit k =0 k =0 П р и м е р 5. Х а р а к т е р и с т и ч е с к а я ф у н к ц и я р а в н о м е р н о й н а о т р е з к е [ a; b ] с л у ч а й н о й в е л и ч и н ы. Так как плотность f ξ ( t ) = ∑ eitk (1 − p ) p = p ∑ ( (1 − p ) eit ) = p k

k

распределения случайной величины ξ имеет вид  1 , x ∈ [ a; b ] ,  pξ ( x ) =  b − a 0, x ∉ [ a; b ] ,  то по определению характеристической функции для абсолютно непрерывных случайных величии имеем (см. (2)) +∞ b 1 eibt − eiat f ξ ( t ) = ∫ eitx pξ ( x ) dx = ∫ eitx dx = . b − a it b − a ( ) −∞ a

Пусть случайная величина ξ равномерно распределена на отрезке [ −1;1] , то-

гда

sin t t ∈ R. , t П р и м е р 6. Х а р а к т е р и с т и ч е с к а я ф у н к ц и я н о р м а л ь н о й с л у ч а й н о й в е л и ч и н ы с п а р а м е т р а м и ( a, σ2 ) . Рассмотрим fξ ( t ) =

сначала случай, когда a = 0, σ = 1, тогда 2

1 −2x pξ ( x ) = e , x ∈ R, 2π и 2

+∞

−x 1 itx 2 fξ ( t ) = e e dx. ∫ 2π −∞ Продифференцируем обе части последнего равенства по t 2

+∞

x itx − 1 2 f ξ′ ( t ) = ixe dx (9) ∫ 2π −∞ (дифференцирование под знаком интеграла по t законно, так как интеграл в равенстве (9) сходится равномерно относительно x ∈ R ). Интегрируя (9) по частям, получим

+∞

+∞ x  −x  − i itx − x2 t itx itx 2 2 e d e e e e e dx = −t f ξ ( t ) . = − −   ∫−∞   ∫ 2π 2π −∞   −∞ Следовательно, f ξ ( t ) удовлетворяет следующей задаче Коши:

i f ξ′ ( t ) = − 2π

+∞

2

2

134

2

 f ξ′ ( t ) = −t f ξ ( t ) ,   f ξ ( 0 ) = 1. Решая ее, находим f ξ ( t ) = e

−t 2 2

, t ∈ R.

Пусть случайная величина ξ имеет нормальное распределение с параметрами ( a, σ 2 ) . Рассмотрим случайную величину ξ−a . σ Она является нормальной случайной величиной с параметрами ( 0, 1) (докажите это самостоятельно). Следовательно, η=

fη (t ) = e

−t 2 2

,

но, так как ξ = σ η + a, то по свойству 3° характеристических функций имеем

fξ ( t ) = e

iat −

σ2 t 2 2

, t ∈ R.

П р и м е р 7. Х а р а к т е р и с т и ч е с к а я функция показат е л ь н о й с п а р а м е т р о м λ ( λ > 0 ) с л у ч а й н о й в е л и ч и н ы. Так как x < 0, 0, pξ ( x ) =  − λx λe , x ≥ 0, то +∞

fξ ( t ) = λ ∫ e 0

itx − λx

e x( it −λ ) dx = λ it − λ

+∞

= 0

λ , t ∈ R. λ − it

П р и м е р 8. Х а р а к т е р и с т и ч е с к а я ф у н к ц и я с л у ч а й н о й в е л и ч и н ы К о ш и. Имеем 1 a , pξ ( x ) = π a2 + x2 следовательно, +∞ +∞ a dx a cos tx itx fξ ( t ) = ∫ e 2 = ∫ 2 dx. 2 x +a π −∞ π −∞ x + a 2

Заметим, что f ξ ( t ) – четная функция, поэтому достаточно знать ее значения

при t > 0. Дифференцируя по t обе части последнего равенства, получим +∞ a − x sin tx f ξ′ ( t ) = ∫ 2 dx. π −∞ x + a 2 Из курса математического анализа известно, что +∞ +∞ sin tx a sin tx ∫ x dx = π (t > 0), поэтому a = π −∞∫ x dx. −∞ Складывая почленно равенства (10) и (11), получим 135

(10)

(11)

+∞

a a 2 sin tx f ξ′ ( t ) + a = ∫ 2 dx. π −∞ x + a 2 x Продифференцируем обе части последнего равенства по t. В результате получим f ξ'' ( t ) = a 2 f ξ ( t ) . Следовательно f ξ ( t ) = c1e at + c2 e − at , t > 0. Так как f ξ ( t )

ограниченная функция на R, то c1 = 0, а из условия f ξ ( 0 ) = 1 получаем c2 = 1. Итак, при t > 0 f ξ ( t ) = e − at , но учитывая четность этой функции, окончательно имеем f ξ ( t ) = e − a t , t ∈ R.

У п р а ж н е н и е 1. Пусть плотность распределения случайной величины ξ имеет вид pξ ( x ) =

(

a

Убедитесь в том, что f ξ ская функция.

, a > 0, θ∈ R.

) ( t ) = exp ( itθ − a t )

π a2 + ( x − θ)

2

– ее характеристиче-

§ 2. Формулы обращения для характеристических функций

Задача этого параграфа – установить биекцию между множеством характеристических функций и множеством функций распределения. Пусть случайная величина ξ абсолютно непрерывна, т. е. существует плотность распределения pξ ( x ) . По определению характеристическая функция fξ ( t ) =

+∞

∫e

itx

pξ ( x ) dx

−∞

есть преобразование Фурье плотности. Из курса математического анализа известно (см. также следствие 2), что, если f ξ ( t ) ∈ L1 ( R ) , то существует обратное преобразование Фурье, т. е. +∞ 1 pξ ( x ) = e − itx f ξ ( t ) dt. ∫ 2π −∞ Из приведенных формул видно, что в данном случае существует биекция между множеством характеристических функций и множеством плотностей распределения. В общем случае fξ ( t ) =

+∞

∫e

itx

−∞

136

dFξ ( x ).

Из этой формулы следует, что каждой функции распределения соответствует единственная характеристическая функция. Покажем, что справедливо и обратное утверждение, т. е. что характеристическая функция однозначно определяет функцию распределения. Для этого сначала дадим явное представление функции распределения через характеристическую функцию. Формулы, описывающие это представление, называют формулами обращения для характеристических функций. В этом параграфе приведем две такие формулы. Вывод первой будем проводить по схеме, предложенной в [34]. Сначала приведем вспомогательные утверждения. Л е м м а 1. Пусть случайные величины ξ и η являются независимыми, F ( x ) – функция распределения случайной величины ξ, а η – равномерно распределена на отрезке [ a; b ]. Тогда существует плотность распределения pξ+η , которая выражается формулой: F ( x − a) − F ( x − b) . b−a Д о к а з а т е л ь с т в о. По формуле свертки, учитывая вид плотности случайной величины η, имеем pξ+η ( x ) =

Fξ+η ( x ) =

+∞

+∞

1

b

∫ F ( x − t ) p ( t ) dt = ∫ F ( x − t ) p ( t ) dt = b − a ∫ F ( x − t ) dt. ξ

−∞

η

η

−∞

a

После дифференцирования обеих частей этого равенства по х получаем доказательство леммы 1. Л е м м а 2 [34]. Пусть случайные величины ξ и η независимы и абсолютно непрерывны, причем плотность распределения pξ ( x ) = p ( x ) – ограниченная функция. Через pθ ( x ) обозначим плотность распределения случайной величины ξ + θη, θ∈ R. Тогда в точках непрерывности p ( x ) справедливо равенство p ( x ) = lim pθ ( x ) . θ→0

Д о к а з а т е л ь с т в о ф о р м у л ы о б р а щ е н и я. Пусть случайные величины ξ, η, ς независимы, причем ξ – произвольная случайная величина, F ( x ) – ее функция распределения, а f ( t ) – характеристическая функция; случайная величина η равномерно распределена на отрезке [ −1;1] , а ς – нормальная случайная величина с пара-

метрами ( 0, 1) .

137

Рассмотрим линейную комбинацию ξ + l η + σ ς, где l , σ ∈ R. Несложно видеть, что данная случайная величина абсолютно непрерывна, ибо 2-я и 3-я компоненты суммы – абсолютно непрерывные случайные величины. Известно (см. дополнения к гл. 3, § 1), что, если в сумме независимых случайных величин хотя бы одна компонента абсолютно непрерывна, то сумма – абсолютно непрерывная случайная величина. Найдем представление характеристической функции данной случайной величины. В гл. 5, § 1 было показано, что характеристическая функция η sin t fη ( t ) = , t поэтому sin tl f lη ( t ) = f η ( lt ) = . tl Аналогично, так как fς ( t ) = e

−

t2 2

, то f σς ( t ) = e

−

σ 2t 2 2

.

Таким образом, 2 2

sin tl − σ 2t f ξ+lη+σς = f ( t ) e ∈ L1 ( R ) , tl следовательно, существует обратное преобразование Фурье 2 2 +∞ 1 sin tl − σ 2t − itx pξ+l η+σ ς ( x ) = (1) ∫ e f ( t ) tl e dt . 2π −∞ Из леммы 1 следует: F ( x + l )− F ( x − l ) . pξ+l η ( x ) = (2) 2l Из леммы 2 получаем, что для любой точки x, являющейся точкой непрерывности плотности pξ+l η pξ+l η ( x ) = lim pξ+l η+σ ς ( x ) .

(3)

σ→0

Из формул (1) – (3) следует +∞

2 2

1 sin tl − σ 2t − itx (4) F ( x + l ) − F ( x − l ) = lim ∫ e f ( t ) e dt , σ→0 π t −∞ где x + l , x − l – произвольные точки непрерывности функции распределения F ( x ) . 138

Формула (4) – формула обращения. Таким образом, доказана Теорема 1 (Формула обращения). Пусть функции F и f – соответственно функция распределения и характеристическая функция случайной величины ξ. Тогда для любых точек непрерывности x + l и x − l (для l > 0 ) функции F справедливо равенство (4). Приведем еще одно представление формулы обращения для характеристических функций. Теорема 2 (Формула обращения). Пусть функции F и f – соответственно функция распределения и характеристическая функция случайной величины ξ. Тогда для любых точек непрерывности x1 и x2 ( x1 < x2 ) функции F 1 T e − itx1 − e − itx2 f ( t ) dt. (5) ∫ T →∞ 2 π −T it Д о к а з а т е л ь с т в о. Из определения характеристической функции f ( t ) и теоремы Фубини имеем F ( x2 ) − F ( x1 ) = lim

Q (T ) =

 e − itx1 − e − itx2 +∞ itx  ∫ ∫ ∫ e dF ( x )  dt = 2 π −T 2 π −T  it it −∞  it ( x − x1 ) it x − x − e ( 2)  1 +∞  T e = dt  dF ( x ) = ∫∫ 2π −∞  −T it  1

T

=

=

e − itx1 − e − itx2

1

+∞ T

∫ ∫

f ( t ) dt =

1

T

sin t ( x − x1 ) − sin t ( x − x2 )

dt dF ( x ) =

2π −∞ −T t T +∞ 1 sin t ( x − x1 ) − sin t ( x − x2 )

1 +∞ T ( x − x1 ) sin u

π −∞ 0

π −∞ T ( x − x2 ) u

∫ ∫

dt dF ( x) =

t

∫

∫

du dF ( x).

Так как T

lim ∫

T →+∞ −T

sin u u

du = π,

то 0, 1 1 T ( x − x1 ) sin u  du =  , ψ ( x ) = lim ∫ T →∞ π T x − x ( 2) u 2 1, Поэтому +∞

если x < x1 или x > x2 ; если x = x1 или x = x2 ; если x1 < x < x2 .

lim Q (T ) = ∫ ψ ( x ) dF ( x ) = M ψ ( ξ ) =

T →+∞

−∞

139

1 1 = Ρ ( ξ = x1 ) + Ρ ( ξ = x2 ) + Ρ ( x1 < ξ < x2 ) , 2 2 но так как x1 и x2 – точки непрерывности функции распределения F , то Ρ ( ξ = x1 ) = Ρ ( ξ = x2 ) = 0, а Ρ ( x1 < ξ < x2 ) = F ( x2 ) − F ( x1 ) . Теорема доказана. С л е д с т в и е 1 (Теорема единственности). Каждой характеристической функции соответствует единственная функция распределения. Д о к а з а т е л ь с т в о. Из формулы обращения (5) для любых x ∈ R имеем 1 T e − ity − e − itx F ( x ) = lim lim f ξ ( t ) dt , ∫ y →−∞ T →+∞ 2 π −T it где y пробегает точки непрерывности функции F . Теорема единственности доказана. З а м е ч а н и е 1. Из теоремы единственности и определения характеристической функции вытекает существование биекции между множествами функций распределения и характеристических функций. С л е д с т в и е 2. Пусть характеристическая функция f ξ случайной величины ξ интегрируема на R, тогда существует плотность распределения pξ и 1 +∞ − itx ∫ e f ξ ( t ) dt , x ∈ R. 2π −∞ Д о к а з а т е л ь с т в о. Пусть точки a и b являются точками непрерывности функции распределения Fξ , тогда по формуле обращения (5) имеем 1 T e − ita − e − itb Fξ ( b ) − Fξ ( a ) = lim f ξ ( t ) dt = ∫ T →+∞ 2π −T it b b 1 1 T  +∞ e − itx f t dt  dx = b p x dx. − itx f t e dxdt = lim = ( ) ∫ ξ ∫ ∫ ∫ ∫ ξ( )  ξ( ) T →+∞ 2π −T a a 2 π  −∞ a  Таким образом, pξ ( x ) =

x

Fξ ( x ) = ∫ pξ ( y ) dy, −∞

т. е. pξ – плотность распределения случайной величины ξ. Следствие 2 доказано. 140

С л е д с т в и е 3. Пусть ξ – целочисленная случайная величина, pk = Ρ ( ξ = k ) , тогда 1 π − ikt pk = ∫ e f ξ ( t ) dt , k = 0, ± 1, ± 2, …, 2π −π где f ξ – характеристическая функция ξ. Д о к а з а т е л ь с т в о. По определению характеристической функции дискретной случайной величины имеем (см. гл. 5, § 1, равенство (3)) fξ ( t ) = Умножая это равенство на e сходится равномерно, так как

+∞

∑e

j =−∞

− ikt

itj

pj.

и интегрируя ряд почленно (он

p j eitj = p j ,

+∞

∑p

j =−∞

j

= 1 ) на отрезке

[ −π; π], приходим к доказательству следствия 3.

§ 3. Непрерывность соответствия между множествами функций распределения и характеристических функций

В § 2 показано, что между множествами функций распределения и характеристических функций существует взаимно однозначное соответствие (биекция). Цель этого параграфа – установить, что это соответствие и взаимно непрерывно, т. е. является гомеоморфизмом. Для этого, прежде всего, определимся с топологиями на данных множествах. На множестве характеристических функций будем рассматривать топологию поточечной или равномерной на компактах сходимости. На множестве функций распределения будет задействована топология, так называемой, слабой сходимости. О п р е д е л е н и е 1. Говорят, что последовательность функций распределения { Fn } слабо сходится к функции F и обозначают Fn ⇒ F , n →∞

если

Fn ( x )  → F ( x) n→∞ для любых x, являющихся точками непрерывности функции F . З а м е ч а н и е 1. Данным определением мы будем пользоваться и в том случае, когда F не является функцией распределения.

141

То, что слабый предел последовательности функций распределения не обязательно является функцией распределения, показывает следующий пример. П р и м е р 1. Рассмотрим {Fn } , где

последовательность

0, Fn ( x ) =  1,

функций

распределения

x < n, x ≥ n,

тогда Fn ⇒ F , где F ( x ) ≡ 0, x ∈ R. n →∞

З а м е ч а н и е 2. Очевидно, что любая последовательность функций распределения слабо сходится к функции Дирихле. Л е м м а 1. Пусть последовательность функций распределения {Fn } для любых x ∈ D, где множество D всюду плотно на R, сходится к функции распределения F при n → ∞, тогда Fn ⇒ F . n →∞

Д о к а з а т е л ь с т в о. Пусть точка x – произвольная, но фиксированная точка непрерывности функции F . Покажем, что Fn ( x )  → F ( x ). n→∞ Так как D = R, то существуют точки x′, x′′ ∈ D, такие что x′ < x < x′′. Из условия леммы непосредственно вытекает, что F ( x′ ) = lim Fn ( x′ ) ≤ lim Fn ( x ) ≤ lim Fn ( x ) ≤ lim Fn ( x′′ ) = F ( x′′ ) , n→∞

n →∞

n→∞

n→∞

но x – точка непрерывности F , следовательно, числа F ( x′ ) , F ( x′′ ) могут быть сделаны сколь угодно близкими. Лемма 1 доказана. Л е м м а 2 (Первая теорема Хелли). Из любой последовательности функций распределения можно извлечь слабо сходящуюся подпоследовательность, причем предельная функция F обладает следующими свойствами: 1. F ( x ) монотонно не убывает, 2. F ( x ) непрерывна справа, 3. 0 ≤ F ( x ) ≤ 1 для любых x ∈ R. Д о к а з а т е л ь с т в о проведем методом диагонализации Кантора. Пусть D = { xk } – счетно и всюду плотно на R. Рассмотрим чи-

словую последовательность { Fn ( x1 )}. Учитывая то, что Fn – функция распределения, имеем 142

0 ≤ { Fn ( x1 )} ≤ 1, n ≥ 1. По теореме Вейерштрасса из этой числовой последовательности можно извлечь сходящуюся подпоследовательность Fn 1 ( x1 ) , предел

{

которой обозначим через F ( x1 ) .

}

Теперь рассмотрим числовую последовательность

{

}

{F ( x )} , n1

2

0 ≤ Fn1 ( x2 ) ≤ 1. Из этой ограниченной числовой последовательности

выделим сходящуюся подпоследовательность

{F ( x )} , n2

2

а ее предел

обозначим через F ( x2 ) . И так далее. Наконец, рассмотрим диагональную последовательность функций распределения Fnn , Fnn ⊂ { Fn } , и по построению

{ } { }

Fnn ( xk )  → F ( xk ) n→∞

для любых xk ∈ D. Следовательно, по лемме 1, Fnn ⇒ F . n→∞

Доказательство того, что функция F обладает свойствами из условия леммы 2, следует из свойств пределов. Л е м м а 3 (Вторая теорема Хелли ). Пусть последовательность функций распределения { Fn } при n → ∞ слабо сходится к функции F такой, что F ( +∞ ) − F ( −∞ ) = 1. Тогда для любой непрерывной и ограниченной функции g : R → R +∞

+∞

→ ∫ g ( x ) dF ( x ). ∫ g ( x ) dF ( x )  n

n →∞

−∞

(1)

−∞

З а м е ч а н и е 3. Несложно видеть, что лемму 3 можно сформулировать следующим образом: пусть Fn ⇒ F , где Fn и F – функции n →∞

распределения. Тогда для любой непрерывной ограниченной функции g : R → R выполняется соотношение (1). Схема Д о к а з а т е л ь с т в о проведем в два этапа. доказательства 1) Покажем, что для любых a < b – точек непрерывности функции F выполняется соотношение b

b

→ ∫ g ( x ) dF ( x ). ∫ g ( x ) dF ( x )  n

n→∞

a

(2)

a

Так как g ( x ) – непрерывна на отрезке [ a; b ] , следовательно, она

и равномерно непрерывна на [ a; b ] . Поэтому для любого ε > 0 суще143

[ a; b] : a = x0 < x2 < … < xL = b , g ( x ) − g ε ( x ) < ε , для любых x ∈ [ a; b ] , где по определению g ε ( x ) = g ( xk ) , ∀x ∈ ( xk −1; xk ] k = 1, L.

ствует такое разбиение отрезка

что

В силу того, что множество точек непрерывности функции F всюду плотно, будем считать, что все xk – точки непрерывности функции F . Теперь, учитывая ограниченность функции g и свойства интеграла Римана – Стилтьеса, имеем b

b

∫ g ( x ) dF ( x ) − ∫ g ( x ) dF ( x ) = n

a

a

b

b

b

b

a

a

a

a

= ∫ g ( x ) dFn ( x ) − ∫ g ε ( x ) dFn ( x ) + ∫ g ε ( x ) dFn ( x ) − ∫ g ε ( x ) dF ( x ) + b

b

a

a

b

+ ∫ g ε ( x)dF ( x ) − ∫ g ( x ) dF ( x ) ≤ ∫ g ( x ) − g ε ( x ) dFn ( x ) + n

+∑

xk

a

n

xk

b

∫ g ( x ) dF ( x ) − ∑ ∫ g ( x ) dF ( x ) + ∫ g ( x ) − g ( x ) dF ( x ) ≤ k

k =1 xk −1

n

k =1 xk −1

ε

k

a

≤ ε ( Fn ( b ) − Fn ( a ) ) + ε ( F ( b ) − F ( a ) ) + L

+ ∑ g ( xk )  Fn ( xk ) − Fn ( xk −1 ) − F ( xk ) + F ( xk −1 )  ≤ k =1

L

≤ 2ε + M ∑ ( Fn ( xk ) − F ( xk ) ) − ( Fn ( xk −1 ) − F ( xk −1 ) ) . k =1

Для доказательства соотношения (2) сначала выбираем L достаточно большим, а затем устремляем n → ∞ и учитываем сходимость последовательности функции распределения Fn к функции F в точках xk , k = 1, L, при n → ∞. 2) Покажем, что справедливо соотношение (1). Так как по замечанию 3 F – функция распределения, то для любого ε > 0 существуют точки − X , X – точки непрерывности функции F такие что ε ε F (−X ) < , 1− F ( X ) < . 2 2 Из того, что Fn ⇒ F при n → ∞ найдется такое n0 ∈ N , что для всех n > n0 144

Fn ( − X ) < ε, 1 − Fn ( X ) < ε. Учитывая все вышесказанное, а также ограниченность функции g , получаем +∞

+∞

−∞

−∞

∫ g ( x ) dFn ( x ) − ∫ g ( x ) dF ( x ) ≤

≤

∫ g ( x ) dF ( x ) + ∫ g ( x ) dF ( x ) − ∫ g ( x ) dF ( x ) + n

n

x >X

+

x ≤X

x ≤X

∫ g ( x ) dF ( x ) ≤ M ( F ( − X ) + 1 − F ( X ) ) + ε + + M ( F ( − X ) + 1 − F ( X ) ) ≤ 3M ε + ε. n

n

x >X

Лемма 3 доказана. Заметим, что справедливо утверждение, обратное второй теореме Хелли: У т в е р ж д е н и е 1 [13]. Если для любой непрерывной и ограниченной функции g : R → R +∞

+∞

∫ g ( x ) dF ( x ) → ∫ g ( x ) dF ( x ), n

n →+∞

−∞

−∞

где { Fn } , n = 1, 2, …, F – функции распределения, то Fn ⇒ F . n →∞

Теорема 1 (Прямая предельная теорема). Если последовательность функций распределения { Fn } слабо сходится к функции распределения F при n → ∞, то последовательность соответствующих характеристических функций { f n } сходится поточечно к характеристической функции f . З а м е ч а н и е 4. Поточечную сходимость последовательности характеристических функций в этой теореме можно заменить равномерной сходимостью на любом компакте из R . Д о к а з а т е л ь с т в о этой теоремы непосредственно вытекает из 2-й теоремы Хелли и определения характеристической функции: в качестве функции g возьмем g ( x ) = eitx , x ∈ R, а на i, t смотрим как на параметры. Теорема 2 (Обратная предельная теорема). Пусть последовательность характеристических функции { f n } сходится поточечно к функции f , непрерывной в точке 0. Тогда последовательность соот145

ветствующих функций распределения { Fn } слабо сходится к функции распределения F и f является характеристической функцией, соответствующей функции распределения F . Схема Д о к а з а т е л ь с т в о. Пусть { Fn } – последовательность функций доказательства распределения соответствующих последовательности характеристических функций { f n }. Из 1-ой теоремы Хелли следует, что существует слабо сходящаяся подпоследовательность Fnk ⊂ { Fn } ,

{ }

такая что Fnk ⇒ F . Докажем теперь, что F является функцией рас-

пределения. Для этого достаточно показать что F ( +∞ ) − F ( −∞ ) = 1. В дальнейшем для доказательства понадобится следующее неравенство: пусть ξ – произвольная случайная величина, f – ее характеристическая функция, тогда для любых τ > 0 и x > 0 τ 1 1 f t dt − ( ) 2τ −∫τ τx (3) . Ρ( ξ ≤ x) ≥ 1 1− τx Положим τ x = 2, тогда неравенство (3) примет вид τ

1 1 − f t dt ( ) τ 2τ −∫τ 2 1 (4) P( ξ ≤ x) ≥ =2 ∫τ f ( t ) dt − 1. 1 2 τ − 1− 2 Докажем неравенство (3). Из определения характеристической функции и теоремы Фубини следует τ τ τ 1 1 1 1 sin τξ itξ f ( t ) dt = M e dt = M ∫ eitξ dt = M = ∫ ∫ 2τ −τ 2τ −τ 2τ −τ 2τ ξ =

1 sin τξ 1 sin τξ I{ ξ ≤ x} + M I{ ξ > x} ≤ M τ ξ τ ξ

sin τξ sin τξ 1 I{ ξ ≤ x} + M I{ ξ > x} ≤ Ρ ( ξ ≤ x ) + 1− Ρ( ξ ≤ x) . τξ τξ τx Несложно видеть, что последнее неравенство совпадает с неравенством (3).

(

≤M

146

)

Так как функция f непрерывна в точке 0 и является поточечным пределом характеристических функций { f n } , то f ( 0 ) = 1 и для любого ε > 0 существует такое τ 0 > 0, что для всех τ, удовлетворяющих неравенству 0 < τ ≤ τ 0 , выполнено τ

1 ε > − f t dt 1 . ( ) 2τ −∫τ 4

(5)

Из того, что f n → f при n → ∞ вытекает для всех n > n0 и τ ∈ ( 0;τ0 ] , τ

τ

1 1 ε f n ( t ) dt − f ( t ) dt < . ∫ ∫ 2τ − τ 2τ − τ 4

(6)

Из неравенств (5) и (6) следует, что для любых n > n0 и τ , таких что 0 < τ ≤ τ 0 τ

1 ε f t dt > − 1 . ( ) n 2τ −∫τ 2

(7)

Из неравенств (7) и (5) имеем 2  2  2    ε Fn k   − Fn k  − − 0  ≥ Ρ  ξ n k ≤  ≥ 2  1 −  − 1 = 1 − ε, τ  τ  τ    2 для всех n > n0 и 0 < τ ≤ τ 0 . Из последнего неравенства в силу произвольности τ и ε получаем F ( +∞ ) − F ( −∞ ) = 1, т. е. F – функция распределения. По прямой предельной теореме из доказанного следует ∞

f nk ( t )  → ∫ eitx dF ( x ), t ∈ R. nk →∞ −∞

Но по условию теоремы f n ( t )  → f ( t ) , t ∈ R, n→∞ следовательно, f (t ) =

∞

∫e

itx

dF ( x )

−∞

– характеристическая функция, соответствующая функции распределения F . Докажем теперь, что 147

Fn ⇒ F . n →∞

Предположим противное: пусть Fn ⇒ F при n → ∞. Тогда существует подпоследовательность Fmk ⊂ { Fn } , Fmk ⇒ F * , F * ≠ F ,

{ }

причем F и F * – функции распределения. По прямой предельной теореме имеем f nk ( t ) → f ( t ) , f mk ( t ) → f * ( t ) , k → ∞,

и по теореме единственности f ( t ) ≠ f * ( t ) , но этого не может быть, так как f n ( t )  → f (t ) , n →∞ следовательно, f ( t ) = f * ( t ). Теорема доказана.

148

ДОПОЛНЕНИЯ К ГЛАВЕ 5 § 1. Производящие функции

Для неотрицательных целочисленных случайных величин удобно пользоваться производящими функциями. О п р е д е л е н и е 1. Пусть ξ – целочисленная неотрицательная случайная величина. Производящей функцией ϕξ случайной величины ξ называется функция комплексного переменного z , z ≤ 1, ∞

ϕξ ( z ) = Mz ξ = ∑ z k P(ξ = k ).

(1)

k =0

З а м е ч а н и е 1. Так как | eit | = 1, t ∈ R, то для z = eit очевидно равенство ϕξ ( z ) = f ξ ( t ) , где f ξ – характеристическая функция случайной величины ξ. Свойства производящих функций

1°. Если ξ1 , … , ξ n – независимые случайные величины, то ϕξ1 +…+ ξ n ( z ) = ϕξ1 ( z ) ⋅… ⋅ ϕξ n ( z ) ,

| z |≤ 1.

Д о к а з а т е л ь с т в о. Из определения производящей функции и независимости случайных величин z ξ1 , … , z ξn имеем ϕξ1 +…+ ξ n ( z ) = M z ξ1 +…+ ξ n = M z ξ1 ⋅… ⋅ z ξ n = M z ξ1 ⋅… ⋅ M z ξ n = ϕξ1 ( z ) ⋅… ⋅ ϕξ n ( z ) . 2°. Если Ρ ( η = aξ + b ) = 1, то ϕη ( z ) = z b ϕaξ ( z ) .

Д о к а з а т е л ь с т в о. По определению производящей функции и свойствам математического ожидания получаем ϕη ( z ) = M z η = M z aξ +b = z b M z aξ = z b ϕaξ ( z ) . 3°. Если ϕξ – производящая функция случайной величины ξ , то 1 , k = 0, 1, 2, … . k! Д о к а з а т е л ь с т в о непосредственно вытекает из определения производящей функции. 4°. Если M ξ n < ∞, то ϕ(ξn ) (1) = M ξ ( ξ − 1)… ( ξ − n + 1) . Ρ ( ξ = k ) = ϕ(ξk ) ( 0 )

Д о к а з а т е л ь с т в о. Так как ∞

M ξ n = ∑ k n Ρ ( ξ = k ) < ∞, k =0

то при всех | z | ≤ 1 будет сходиться ряд ∞

∑ k ( k − 1)…( k − n + 1) z

k −n

k =0

Отсюда

149

Ρ ( ξ = k ) = ϕ(ξn ) ( z ) .

∞

ϕ(ξn ) (1) = ∑ k ( k − 1)… ( k − n + 1) Ρ ( ξ = k ) = M ξ ( ξ − 1)… ( ξ − n + 1) . k =0

Свойство 4° доказано. 5°. Пусть ξ1 , ξ 2 , … – последовательность независимых неотрицательных целочисленных одинаково распределенных случайных величин, а τ – независимая с ними целочисленная положительная случайная величина и M τ < ∞. Тогда ϕ sτ ( z ) = ϕ τ ϕ ξ 1 ( z ) ,

(

)

где S τ = ξ1 + … + ξτ (это значит S τ ( ω) = ξ1 ( ω) + … + ξ n ( ω) , , если ω∈ ( τ = n ) , n ∈ N ). Д о к а з а т е л ь с т в о. Из свойств условного математического ожидания имеем ∞

(

∞

)

ϕsτ ( z ) = Mz sτ = ∑ M z sn | τ = n Р ( τ = n ) = ∑ Mz sn Р ( τ = n ) = n =1 ∞

n =1

(

)

= ∑ ϕξn1 ( z ) Р ( τ = n ) = ϕτ ϕξ1 ( z ) . n =1

Свойство 5° доказано. П р и м е р 1. Найдем п р о и з в о д я щ у ю ф у н к ц и ю б и н о м и а л ь н о й с л у ч а й н о й в е л и ч и н ы. По определению производящей функции имеем n

n

k =0

k =0

ϕξ ( z ) = Μ z ξ = ∑ z k Ρ ( ξ = k ) = ∑ z k Cnk p k (1 − p )

n−k

n

= ∑ Cnk ( pz ) (1 − p ) k

n−k

=

k =0

= (1 − p + pz ) , | z |≤ 1. П р и м е р 2. П р о и з в о д я щ а я ф у н к ц и я г е о м е т р и ч е с к о й с л у ч а й н о й в е л и ч и н ы. Так как k Ρ ( ξ = k ) = (1 − p ) p, k = 0, 1, 2, … , k

то ∞

p z ≤ 1. , 1 − (1 − p ) z k =0 П р и м е р 3. О д н о р о д н о е случайное блуждание на п р я м о й. Рассмотрим случайное блуждание частицы по целочисленным точкам числовой прямой, описываемое следующей схемой: в начальный момент времени t = 0 частица находится в точке x = 0, а затем в моменты времени t = 1, 2, … совершает скачки на единицу вправо с вероятностью p или на единицу влево с вероятностью q = 1 − p. С помощью аппарата производящих функций можно показать следующее (см., напр., [10]): 1) вероятность того, что частица когда-либо вернется в исходную точку равна 1 − | p − q |; ϕξ ( z ) = M z ξ = ∑ z k (1 − p ) p = k

150

2) математическое ожидание числа шагов до первого возвращения частицы в 4 pq 1 исходное положение равно , в частности, при p = q = , среднее число шаp−q 2 гов до первого возвращения бесконечно. § 2. Решетчатые распределения

Будем говорить, что дискретная случайная величина ξ имеет решетчатое распределение, если существуют числа a и h ( h > 0 ), такие что все возможные значения ξ могут быть представлены в виде a + kh, k ∈ Z . Число h называют шагом распределения. Условие решетчатости можно выразить в терминах характеристических функций. Теорема 1. Для того чтобы случайная величина ξ имела решетчатое распределение, необходимо и достаточно, чтобы при некотором t ≠ 0 модуль ее характеристической функции был равен единице. Д о к а з а т е л ь с т в о. Н е о б х о д и м о с т ь. Пусть случайная величина ξ имеет решетчатое распределение и pk = Ρ ( ξ = a + kh ) , k ∈ Z . Тогда характеристическая функция ξ равна fξ ( t ) =

∞

∑

k =−∞

pk eit ( a + kh ) = eita

∞

∑ pe

k =−∞

ikht

k

.

Поэтому 2π ia  2π  ia 2 π ∞ f ξ   = e h ∑ pk ei 2 πk = e h  h  k =−∞

и  2π  f ξ   = 1.  h 

Д о с т а т о ч н о с т ь. Пусть при некотором t1 ≠ 0 f ξ ( t1 ) = 1. Тогда f ξ ( t1 ) = eit1a ,

a ∈ R,

и ∞

∫e

it1 x

dFξ ( x ) = eit1a .

−∞

Отсюда ∞

∫e

it1 ( x − a )

dFξ ( x ) = 1,

−∞

следовательно, ∞

∫ cos t ( x − a ) dF ( x ) = 1, ξ

1

−∞

или 151

∞

∫ (1 − cos t ( x − a ) ) dF ( x ) = 0. Последнее равенство можно записать в виде M (1 − cos t ( ξ − a ) ) = 0, но так как 1 − cos t ( ξ − a ) ≥ 0, то по свойству интеграла Лебега Ρ (1 − cos t ( ξ − a ) = 0 ) = 1, ξ

1

−∞

1

1

1

поэтому возможные значения ξ имеют вид 2π a+k , k ∈ Z, t1 т. е. случайная величина ξ имеет решетчатое распределение. Теорема 1 доказана. Шаг распределения h называется максимальным, если ни при каких h1 > h нельзя представить все возможные значения ξ в виде b + kh1 , k ∈ Z . Теорема 2. Шаг распределения h будет максимальным тогда и только то2π гда, когда модуль характеристической функции при 0 < t < строго меньше h единицы и  2π  f ξ   = 1.  h  2π Д о к а з а т е л ь с т в о. Если при 0 < t1 < h f ξ ( t1 ) = 1,

2π 2π , то шаг h не может – шаг распределения, а так как h < t1 t1 быть максимальным. У п р а ж н е н и е 1. Докажите, что, если f ξ ( t ) = f ξ ( αt ) = 1 для двух раз-

то из теоремы 1

личных точек t и αt , где α – иррациональное число, то случайная величина ξ является вырожденной, т. е. существует a ∈ R такое, что Ρ ( ξ = a ) = 1. У п р а ж н е н и е 2. Докажите, что если f ξ ( t ) ≡ 1, то случайная величина ξ – вырожденная. § 3. Многомерные характеристические функции

Пусть ξ = ( ξ1 , … , ξ m ) – случайный вектор, определенный на вероятностном пространстве ( Ω, A , Ρ ) . О п р е д е л е н и е 1. Многомерной характеристической функцией случайного вектора ξ назовем функцию fξ ( t ) = M e (

i t , ξ)

152

,

n

где t = ( t1 , …, tn ) ∈ R n , ( t , ξ ) = ∑ tk ξ k . k =1

По аналогии с одномерным случаем отметим также, что: 1) в общем случае многомерная характеристическая функция допускает и такое представление i(t , x) f ξ ( t ) = ∫ e dFξ ( x ) , t ∈ R n , Rn

где Fξ – функция распределения случайного вектора ξ; 2) если случайный вектор ξ абсолютно непрерывен, то fξ ( t ) =

∫e

i( t , x )

pξ ( x ) dx ,

t ∈ Rn ,

Rn

где pξ – плотность распределения случайного вектора ξ; 3) если ξ – дискретен с возможными значениями x1 , x2 , … , xk , … из R n , то ∞

fξ ( t ) = ∑ e (

i t , xk )

k =1

Ρ ( ξ = xk ).

Свойства многомерных характеристических функций

1°. При всех t ∈ R n f ξ ( t

) ≤ 1,

fξ ( 0 ) = 1.

2°. Многомерная характеристическая функция равномерно непрерывна в R по всем переменным. 3°. Если ξ1 , ξ2 , … , ξn – независимые случайные векторы, то n

n

f ξ1 +…+ξn ( t ) = ∏ f ξk ( t ). k =1

4°. Характеристическая функция случайного вектора ( ξ1 , … , ξ m ) , m < n, равна

f( ξ1 , …, ξm ) ( t1 , … , tm ) = f( ξ1 , …, ξn ) ( t1 , … , tm , 0, 0, … , 0 ) .

5°. f ξ1 +…+ξm ( t ) = f( ξ1 , …, ξm ) ( t , t , … , t ) , t ∈ R. 6°. Случайные величины ξ1 , … , ξ n независимы тогда и только тогда, когда n

f( ξ1 , …, ξn ) ( t1 , … , tn ) = ∏ f ξk ( tk ) k =1

для всех t = ( t1 , ..., tn ) ∈ R . n

7°. Если η = C ξ – линейное преобразование n

ηl = ∑ Clk ξ k , k =1

с матрицей C = [Clk ] , l = 1, m, k = 1, n, то 153

l = 1, m,

fη ( t ) = f ξ ( C *t ) , где C * – сопряженная к C матрица, преобразующая вектор t = ( t1 , … , tm ) по формуле m

∑C k =1

l = 1, n.

t,

lk l

З а м е ч а н и е 1. Если m = n, det C ≠ 0 и существует плотность pξ ( x ), то существует плотность распределения случайного вектора η = C ξ и 1 pη ( x ) = pξ (C −1 x ). (1) |C | Доказательство равенства (1) непосредственно вытекает из формулы замены переменных в n-мерном интеграле. З а м е ч а н и е 2. Из свойств 3° и 7° следует, что если η = C ξ + b , то fη ( t ) = e (

i a, t

)

fξ ( C *t ) .

8°. f ξ ( − t ) = f ξ ( t ) = f − ξ ( t ) . Введем в рассмотрение смешанные моменты, положив по определению mα1 … αn = M ξ1α1 … ξαn n , где αi – целые неотрицательные числа, i = 1, n. 9°. Если конечны все смешанные моменты mα1 … αn с α1 + … + α n = r , то mα1 … αn = i α

∂ α f ξ ( 0, … , 0 ) ∂t1α1 … ∂tnαn

α = α1 + … + α n ≤ r ,

,

и r

fξ ( t ) = ∑ iα α= 0

( ) при

где Rr ( t ) = o t

r

t1α1 … tnαn mα1 … αn + Rr ( t ) , ∑ α=α1 +…+α n α1 ! … α n ! t = t1 + … + tn → 0.

§ 4. Многомерное нормальное распределение и связанные с ним распределения

Будем говорить, что случайный вектор ξ = ( ξ1 , … , ξ n ) имеет нормальное или гауссовское распределение, если характеристическая функция имеет вид fξ ( t ) = e

i(a, t ) −

1 ( Bt , t ) 2

,

t ∈ Rn ,

(1)

где a = ( a1 , … , an ) ∈ R n , а B = [blk ] – симметричная n × n -матрица, неотрицательно определенная, т. е. ( Bt , t ) ≥ 0 для любых t ∈ R n . Случайный вектор с характеристической функцией вида (1) называется также ( a , B ) -нормальным случайным вектором. 154

Из равенства (1) и свойства 4° многомерной характеристической функции (§ 3) следует, что каждая компонента ξ k , k = 1, n, нормального случайного вектора ξ имеет характеристическую функцию fξ ( t ) = k

b itak − kk t 2 2 e ,

t ∈ R,

т. е. нормально распределена с M ξ k = ak , D ξ k = bkk . Поскольку конечны все M ξ 2k , k = 1, n, то конечны и смешанные моменты M ξ k … ξl , k , … , l = 1, n, поэтому по свойству 9° многомерной характеристической функции имеем ∂2 fξ 0 ( 0 ) cov ( ξ k , ξl ) = M ( ξ k − ak )( ξl − al ) = − =b , kl ∂tk ∂tl где ξ0 = ξ − a .

Таким образом матрица B = [blk ] – это ковариационная матрица случайного

вектора ξ = ( ξ1 , … , ξ n ) . Пусть ковариационная матрица B нормального случайного вектора ξ диагональна с одинаковыми диагональными элементами bkk = σ 2 > 0 и M ξ = 0. Такое нормальное распределение называется сферическим. Несложно получить, что плотность ξ в этом случае имеет вид pξ ( x ) =

1

 1 exp − 2  2σ

n

∑x

2 k

 . 

(2) k =1 σ n ( 2π ) Из сферического нормального распределения получим вид плотностей нескольких стандартных распределений, имеющих большое значение в математической статистике и других приложениях теории вероятностей. Х и-к в а д р а т р а с п р е д е л е н и е ( χ 2 - р а с п р е д е л е н и е ). Рассмотрим случайную величину χ 2n = ξ12 +…+ ξ 2n , n 2

где ξ1 , … , ξ n – независимые нормально распределенные с параметрами ( 0, 1) случайные величины. Найдем плотность распределения случайной величины χ n . Вероятность события x < χ n < x + dx можно получить из n-мерной сферической нормальной плотности (2) с σ = 1, интегрируя ее по n-мерному сферическому слою радиуса x и толщины dx, в результате, поскольку ( n − 1) -мерный объем

( n − 1) -мерной сферы радиуса

x пропорционален x n −1 , получим

pχn ( x ) = Cn x n −1e

−

x2 2

, x ≥ 0.

Для определения Cn воспользуемся тем, что

155

∞

∫ p ( x ) = 1, χn

0

откуда получим ∞

Cn ∫ x 0

n −1

e

−

x2 2

n

−1 n dx = 2 2 Γ   Cn = 1  2

и 0, x < 0,   2 x n −1  − 2 (3) pχn ( x ) =  x e , x ≥ 0. n 1 − n  2  2 Γ  2   Иллюстрация в Mathematica Используя 1 pχ2 ( x ) = pχ x , x ≥ 0, n 2 x n имеем 0, x < 0,   n x  x 2 −1 − (4) pχ2 ( x ) =  2 , x ≥ 0. e n  n2  n  2 Γ   2  Иллюстрация в Mathematica Распределение с плотностью (4) называется хи-квадрат распределением 2 ( χ - распределением) с n степенями свободы. Плотность (3) задает хираспределение ( χ- распределение) с n степенями свободы. При n = 3 выражение (3) называется плотностью распределения Максвелла и в кинетической теории газов дает распределение абсолютной величины скорости частиц. Распределение С т ь ю д е н т а. Пусть случайные величины ξ0 , ξ1 , …, ξn независимы и нормально распределены с параметрами ( 0, 1) . В статистике часто используют случайную величину ξ0 τn = , 1 n 2 ∑ ξk n k =1 называемую отношением Стьюдента. Распределение случайной величины τ n , называемое распределением Стьюдента с n степенями свободы, имеет следующую плотность  n +1 n +1 Γ   x 2 − 2 2  (5) sn ( x ) =  , x ∈ R. 1 +  n n nπ Γ   2

( )

156

Иллюстрация в Mathematica Формулу (5) можно вывести следующим образом. Пусть χ n = ξ12 + … + ξ 2n ,

тогда ξ0 n χn есть отношение двух независимых случайных величин, распределение которых известно (числитель имеет нормальное распределение с параметрами 0, σ = n , τn =

(

)

а знаменатель – распределение (3)). Функция распределения S n ( x ) случайной величины τ n равна S n ( x ) = Ρ ( τn ≤ x ) =

∫∫

u ≤ x, v > 0 v

pξ

n

0

( u ) pχ ( v ) dudv = an ∫∫ u

 1  u2 −  + v2   n −1 2  n 

v e

n

v

du dv,

≤ x, v > 0

где 1 2n π

an =

1

.

n −1 2

n 2 Γ   2 От переменных ( u , v ) перейдем к новым переменным ( y, z ) по формулам

u = y z, Якобиан преобразования равен

v = z.

(6)

∂ ( u, v ) = z, ∂ ( y, z )

поэтому

∫∫

 1  u2 −  + v2    2 n n −1  

v e

u ≤ x, v > 0 v n +1 − 2 2

x

dudv =

∞

∫ dy ∫ z e n

−∞

−

z2  y2   +1 2  n 

(

2

dz =

0

)

n +1

∞ x ω n −1 − − y  2  n +1  y2 n 2 2 = ∫  + 1 + dy ∫ ω e d ω = 2 Γ  dy, 1 ∫ n n  2  −∞  −∞  0 откуда следует формула (5). Заметим, что при n → ∞ плотность sn ( x ) сходится к x

нормальной плотности 2

1 − x2 e . 2π F-р а с п р е д е л е н и е (р а с п р е д е л е н и е Ф и ш е р а ). Пусть ξ1 , … ,

ξ m , η1 , … , ηn – независимые нормальные случайные величины с параметрами

( 0, 1) . Обозначим

157

1 m 2 ∑ ξk k =1 m . Fmn = n 1 2 η ∑ j n j =1 Распределение случайной величины Fmn имеет плотность

m+n m −1 Γ  2 x 2   (7) , x ≥ 0, p ( x) = m n ⋅ F  m   n  n + mx m2+ n mn Γ Γ  ( )  2   2 ( x ) = 0 , если x < 0 ) и называется F-распределением (распределением Фишеm 2

( pF

mn

n 2

ра, F-распределением Фишера). Иллюстрация в Mathematica m Fmn есть отношение двух незавиn симых случайных величин, имеющих распределение χ 2 с m и n степенями свободы соответственно. Поэтому m n u+v −1 −1 − 1 m  2 2 2 Ρ  Fmn ≤ x  = m + n u v e du dv. ∫∫ m n n      u 2 2 Γ   Γ   v ≤ x , u ≥0, v≥0  2   2 Делая опять под знаком интеграла замену (6), получаем Для вывода (7) воспользуемся тем, что

∫∫

u

m −1 2

v

n u+v −1 − 2 2

e

u ≤ x , u ≥ 0, u ≥ 0 v

x

du dv = ∫ y

m −1 2

∞

dy

0

=2

m+n 2

x

∫z

z (1 + y ) m+n −1 − 2 2

e

dz =

0

m

−1

m+n y2 dy Γ ∫  2  0 1 + y m 2+ n ( )

и m+n m Γ −1  x 2 2 m  y   Ρ  Fmn ≤ x  = dy, ∫ n  Γ  m  Γ  n  0 1 + y m 2+ n )     (  2   2 откуда уже несложно вывести (7). З а м е ч а н и е 1. Функции χ 2 - распределения (Приложения, табл. 6), распределения Стьюдента (Приложения, табл. 5) и F-распределения Фишера табулированы. Задачи 1. Докажите, что функция, определяемая равенствами f ( t ) = f ( −t ) , f ( t + 2a ) = f ( t ) , f ( t ) =

158

a −t a

при 0 ≤ t ≤ a является характеристической. 2. Докажите, что можно найти такие независимые случайные величины ξ1 , ξ 2 , ξ 3 , что распределения ξ 2 и ξ 3 различны, а функции распределения сумм ξ1 + ξ 2 и ξ1 + ξ 3 одинаковы.

3. Докажите, что если f ( t ) , t ∈ R, является характеристической функцией,

то функции

 f ( t ) , t ≤ a, ϕ1 ( t ) =   f ( t + 2a ) , t > a; t 1 ϕ2 ( t ) = ∫ f ( t ) dt ; t0 ϕ3 ( t ) = exp { f ( t ) − 1}

также являются характеристическими. 4. Покажите, что для характеристической функции f ( t ) , t ∈ R, имеет место неравенство

(

1 − f ( 2t ) ≤ 4 1 − f ( t ) 2

2

) , t ∈ R.

5. Докажите, что для любой вещественной характеристической функции f ( t ) , t ∈ R, справедливо неравенство

1 + f ( 2t ) ≥ 2  f ( t )  . 6. Докажите, что если F – функция распределения и f – ее характеристическая функция, то при любом x ∈ R T 1 f ( t ) e − itx dt = F ( x ) − F ( x − 0 ) . lim T →∞ 2T ∫ −T 7. Докажите, что если F – функция распределения, f – ее характеристическая функция и xk – абсциссы скачков F, то 2

T

2 1 f ( t ) dt = ∑  F ( xk ) − F ( xk − 0 ) . ∫ T →∞ 2T k −T 8. Докажите, что если случайная величина имеет плотность распределения, то ее характеристическая функция при t → ∞ стремится к 0. 9. Пусть f1 , f 2 , f3 – характеристические функции и f1 f 2 = f1 f 3 . Следует ли отсюда, что f 2 = f 3 ? 10. Пусть f1 и f 2 – характеристические функции, 0 ≤ θ ≤ 1. Покажите, что функция (1 − θ ) f1 + θ f 2 является характеристической.

lim

11. Докажите, что если Mξ = 0, то

∞ 1 1 − Re f ( t ) M ξ = ∫ dt , π −∞ t2

159

где f – характеристическая функция ξ, а Re f – вещественная часть функции f. Если существует Dξ, то ∞ 2 1 − Re f ′ ( t ) M ξ =− ∫ dt. π −∞ t 12. Закон распределения F ( x ) , x ∈ R, называется устойчивым, если для лю-

бых a1 , b1 , a2 , b2 найдутся такие a3 , b3 , что

F ( a1 x + b1 ) ∗ F ( a2 x + b2 ) = F ( a3 x + b3 ) ,

где ∗ – операция свертки. Выясните, какие из нижеприведенных законов принадлежат к устойчивому типу: а) биномиальное распределение; б) равномерное на отрезке [a;b] распределение; в) нормальное распределение; г) экспоненциальное распределение; д) распределение Пуассона. 13. Докажите, что при сложении независимых случайных величин третьи центральные моменты суммируются, а четвертые – нет. 14. Докажите, что из равенства f( ξ, η) ( t , t ) = f ξ ( t ) f η ( t ) , t ∈ R, не следует независимость случайных величин ξ и η. 15. Докажите, что из равенства f ξ + η ( t ) = f ξ ( t ) f η ( t ) , t ∈ R, не следует независимость случайных величин ξ и η. 16. Покажите, что из дифференцируемости в нуле характеристической функции случайной величины ξ не следует, что существует Mξ.

160

Глава 6. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ На практике довольно часто встречается ситуация, когда многократно наблюдается «одна и та же» случайная величина, а конечный результат представляет собой сумму наблюдаемых в каждом испытании значений этих величин. Наряду с уже упоминавшимися азартными играми сюда можно отнести: повторные замеры одного и того же параметра с последующим усреднением результатов для повышения точности измерений, многократное воздействие однородных причин на некоторый протекающий во времени физический процесс и т. д. В настоящей главе будет дано описание этих явлений с единых вероятностных позиций на основе следующей схемы: имеется последовательность независимых случайных величин, возможно одинаково распределенных. Нас будет интересовать поведение суммы первых n членов этой последовательности, в частности поведение среднего арифметического этих членов, если n велико. Оказывается при больших n среднее арифметическое случайных величин теряет свойство случайности и приближается к среднему арифметическому математических ожиданий. Этот факт называется законом больших чисел. Уточнение закона больших чисел происходило в двух направлениях. Первое связано с динамикой поведения средних арифметических. К основным результатам этого направления следует отнести усиленный закон больших чисел и закон повторного логарифма. Исходным пунктом второго направления, называемого иногда центральной предельной проблемой, являются уже известные нам теоремы Муавра – Лапласа. Решение центральной предельной проблемы позволило описать класс всех распределений, которые могут выступать в качестве предельных для функций распределения сумм независимых случайных величин в том случае, когда вклад каждого слагаемого бесконечно мал по сравнению с вкладом суммы. § 1. Центральная предельная теорема Настоящий параграф посвящен одному из самых замечательных результатов теории вероятностей: при широких условиях суммы большого числа независимых малых случайных слагаемых имеют распределение, близкое к нормальному (гауссовскому). Значение этого результата выходит далеко за рамки теории вероятностей. Он является основой применения нормального распределения при решении многих практических задач. 161

Пусть

( Ω, A , Ρ )

– произвольное вероятностное пространство,

ξ1 , …, ξ n , … – последовательность случайных величин на ( Ω, A , Ρ ) . О п р е д е л е н и е 1. Последовательность случайных величин ξ1 , …, ξ n , … удовлетворяет центральной предельной теореме, если для любого x ∈ R x t2  ξ + … + ξ − M (ξ + … + ξ )  − 1 n 1 n Ρ 1 ≤ x   →Φ ( x ) = e 2 dt. n→∞ ∫   2π −∞ D ( ξ1 + … + ξ n )   Сначала приведем простейший вариант центральной предельной теоремы, относящийся к суммам одинаково распределенных слагаемых. Теорема 1. Пусть случайные величины ξ1 , …, ξn , … независимы, одинаково распределены и имеют конечные математические ожидания M ξn = a и дисперсии D ξn = σ2 > 0, n ≥ 1, тогда они удовлетворяют центральной предельной теореме, т. е. для любого x ∈ R  ξ + … + ξ n − na  ≤ x   →Φ ( x ) . P 1 n →∞ σ n   Иллюстрация в Mathematica Д о к а з а т е л ь с т в о. Пусть по определению ξk = ξ k − a. Тогда M ξk = 0, M ξk2 = σ2 . По свойству 6° характеристической функции (гл. 5, § 1) имеем при t → 0 σ 2t 2 f ξk ( t ) = 1 − + o ( t 2 ). (1) 2 Несложно видеть, что ξ1 + … + ξ n − na n ξk Sn = =∑ . σ n k =1 σ n Поэтому характеристическая функция S n имеет вид: n

f Sn ( t ) = ∏ f k =1

n

ξk σ n

(t ) = ∏ k =1

n

t2  t    1  = − + f ξk  1 o   ,    n   σ n   2n 2

2

и, следовательно, при n → ∞ поточечно сходится к e − t 2 , но e − t 2 – характеристическая функция нормальной случайной величины с параметрами ( 0, 1) . Таким образом, из обратной предельной теоремы

162

для характеристических функций вытекает доказательство данной теоремы. П р и м е р 1. Рассмотрим схему Бернулли с вероятностью успеха p в каждом испытании. Пусть µi – число успехов в i-м испытании, тогда M µ i = p,

D µi = p (1 − p ) ,

i = 1, n.

Обозначим S n = µ1 + … + µ n . По теореме 1 имеем для любого x ∈ R  S − np  n Ρ ≤ x   → Ф ( x).  np (1 − p )  n→∞   Это утверждение представляет собой не что иное, как интегральную теорему Муавра – Лапласа (см. дополнения к гл. 2). П р и м е р 2. О ш и б к и и з м е р е н и я. При измерении некоторой величины a получаем приближенное значение ξ. Сделанная ошибка δ = ξ − a может быть представлена в виде суммы двух ошибок δ = (ξ − M ξ) + ( M ξ − a ) ,

первая из которых ξ − M ξ называется случайной ошибкой, а вторая M ξ − a – систематической ошибкой. Хорошие методы измерения не должны иметь систематической ошибки, поэтому далее будем полагать M ξ = a и, следовательно, M ξ − a = 0. Пусть D δ = τ2 . Для уменьшения случайной ошибки δ производят n независимых измерений ξ1 , ξ2 , … , ξ n и принимают за значение измеряемой величины a среднее арифметическое ξ + … + ξn Sn = 1 . n Какая при этом допускается погрешность? По теореме 1 Ρ(

ε n a

2

t − 1 2 Sn − a ≤ ε ) ≈ e dt. 2π −ε ∫n a

Значения функции, стоящей в правой части, протабулированы (см. Приложения, табл. 2) П р и м е р 3. Л о г а р и ф м и ч е с к и-н о р м а л ь н о е р а с п р е д е л е н и е . В антропологии обычно рост или вес человека определенного возраста и пола считают нормальной случайной величиной. Однако во многих случаях с гораздо большим основанием можно считать, что логарифмы этих параметров имеют нормальное распределение. Если случайная величина η такова, что ξ = log η имеет нормальное распределение, то говорят, что η имеет логарифмическинормальное распределение или, короче лог-нормальное распределение. Логнормальности роста и веса можно дать теоретическое обоснование. Например, вес получается в результате воздействия многих независимых причин, которые воздействуют на вес мультипликативно, т. е. 163

η = η1 … ηn , где ηi близкие к единице независимые случайные величины. В этом случае n

log η = ∑ log ηi i=1

и log η в силу теоремы 1 имеет в пределе нормальное распределение. П р и м е р 4. С помощью центральной предельной теоремы можно доказать и чисто аналитические факты. Докажем, например, что n nk 1 lim e − n ∑ = . n →∞ 2 k =0 k ! В самом деле, пусть Sn есть случайная величина Пуассона с параметром n. Тогда n nk Ρ ( Sn ≤ n ) = e− n ∑ . k =0 k ! Но S n = ξ1 + … + ξ n , где случайные величины ξ1 , … , ξ n – независимые пуассоновские случайные величины, M ξk = 1, k = 1, n. По теореме 1 имеем 0

2

t − nk 1 1 lim e ∑ = lim Ρ ( S n ≤ n ) = e 2 dt = . ∫ n →∞ n →∞ 2 2π −∞ k =0 k ! n

−n

Центральная предельная теорема имеет место при некоторых условиях и для неодинаково распределенных независимых слагаемых. Будем говорить, что для последовательности случайных величин {ξn } , n ∈ N , выполнено условие Линдеберга, если для произвольного τ>0 1 n 2 x − a dFk ( x )  → 0, ( ) ∑ k n →∞ Bn2 k =1 x −ak∫> τ Bn n

где ak = M ξ k , B = ∑ D ξ k , Fk – функция распределения случайной 2 n

k =1

величины ξk . Теорема 2 (Линдеберг). Если для последовательности независимых случайных величин {ξn } , n ∈ N , выполнено условие Линдеберга, то для любого x ∈ R  ( ξ1 + … + ξ n − ( a1 + … + an ) )  Ρ ≤ x   →Φ ( x ) .   n→∞ B n   Схема Д о к а з а т е л ь с т в о. Введем в рассмотрение следующие слудоказательства чайные величины

164

ξ k − ak , k = 1, 2, …, n = 1, 2, … . Bn

ξkn = Очевидно, что

n

1 n Μξkn = 0, ∑ D ξkn = 2 ∑ D ξ k = 1. Βn k =1 k =1 Рассмотрим характеристическую функцию случайной величины n ξ1 + … + ξ n − ( a1 + … + an ) ) n ξ k − ak ( Sn = =∑ = ∑ ξ kn . Bn Bn k =1 k =1 Так как случайные величины ξ kn , k = 1, 2, …, независимы, то n

n

k =1

k =1

ϕSn ( t ) = ∏ ϕξkn ( t ) = ∏ ϕkn ( t ).

(2)

Прологарифмируем обе части (2) n

ln ϕSn ( t ) = ∑ ln ϕkn ( t ). k =1

Докажем, что t2 ln ϕSn ( t )  →− . n→∞ 2 Для этого сначала докажем, что ln ϕkn ( t )  → 0, n→∞ или ϕkn ( t )  →1, n→∞ равномерно относительно k (1 ≤ k ≤ n ) и t в любом конечном интервале t ≤ T . Несложно видеть, что ϕkn ( t ) − 1 =

∞

∫ (e

itx

− 1) dFkn ( x ) =

−∞

( tx )

∞

∫ (e

itx

− 1 − itx ) dFkn ( x ) ≤

−∞

 t2  ≤∫ dFkn ( x ) =  ∫ + ∫  x 2 dFkn ( x ) . (3)   2 2 x >ε  −∞  x ≤ε Для доказательства соотношений (3) использовались неравенство (4) (см. гл. 5, § 1) и то, что ∞

2

∞

∫ itx dF ( x ) =Μitξ kn

−∞

Заметим, что 165

kn

= 0.

 x − ak Fkn   Βn Тогда

  x − ak = Ρ   ξkn ≤ Bn  

  ξ k − ak x − ak = Ρ ≤   Βn   Βn

  = Ρ ( ξ k ≤ x ) = Fk ( x ) .  2

n  x − ak   x − ak 1 n 2 x a dF x − = ( ) ( )   dFkn  ∑ k k 2 ∑ ∫ ∫ Bn k =1 x −ak >τBn k =1 x − ak  Bn   Bn >τ

 = 

Bn

n

=∑

∫

k =1 z >τ

z 2 dFkn ( z )  →0 n →∞

для любого τ > 0. Правую часть неравенства (3) можно оценить сверху следующим образом t2 2 t2 z 2 dFkn ( z ). ε + ∫ 2 2 z >ε Таким образом, для всех достаточно больших n равномерно относительно k (1 ≤ k ≤ n ) и t в любом конечном интервале t ≤ T ϕkn ( t ) − 1 < ε 2T 2 . Отсюда заключаем, что равномерно относительно (1 ≤ k ≤ n ) lim ϕkn ( t ) = 1 n →∞

(4)

и что при всех достаточно больших n для t , лежащих в произвольном конечном интервале t ≤ T , выполняется неравенство 1 ϕkn ( t ) − 1 < . (5) 2 Следовательно, в промежутке t ≤ T можем записать разложение n

n

k =1

k =1

(

)

ln ϕSn ( t ) = ∑ ln ϕkn ( t ) =∑ ln 1 + ( ϕkn ( t ) − 1) = n

(

)

= ∑ ϕkn ( ( t ) − 1) + Rn , k =1

где n

∞

Rn = ∑∑ k =1 s = 2

( −1)

s −1

s

В силу (5)

166

(6)

( ϕ ( t ) − 1) . s

kn

n

∞

Rn ≤ ∑∑

ϕkn ( t ) − 1

n 2 1 n ϕkn ( t ) − 1 ≤ ∑ ≤ ∑ ϕkn ( t ) − 1 , 2 k =1 1 − ϕkn ( t ) − 1 k =1

s

2

2

k =1 s = 2

но +∞

+∞

t2 n t2 2 ϕkn ( t ) − 1 = ∑ ∫ ( e − 1 − itx ) dFkn ( x ) ≤ ∑ ∫ x dFkn ( x ) = . ∑ 2 k =1 −∞ 2 k =1 k =1 −∞ n

n

itx

Тогда t2 Rn ≤ max ϕkn ( t ) − 1 . 2 1≤k ≤n Из (5) следует, что равномерно относительно t ∈ [ −T ;T ] для любого T > 0 при n → ∞ Rn → 0, (7) но n t2 (8) ( ϕkn ( t ) − 1) = − 2 + ρn , ∑ k =1 где +∞ t2 n ρn = + ∑ ∫ ( eitx − 1 − itx ) dFkn ( x ). 2 k =1 −∞ Пусть ε > 0 произвольно. Тогда с учетом того, что n

∑ Dξ k =1

kn

= 1,

получим 2  itx itx )  ( ρn = ∑ ∫  e − 1 − itx −  dFkn ( x ) +   2 k =1 | x| ≤ε   2 2 n t x  +∑ ∫  + eitx − 1 − itx  dFkn ( x ). k =1 | x| >ε  2 

n

Неравенство (4) (см. гл. 5, § 1) позволяет получить следующую оценку: 3 n t n 3 2 2 ρn ≤ x dFkn ( x ) + t ∑ ∫ x dFkn ( x ) ≤ ∑ ∫ 6 k =1 x ≤ε k =1 x >ε

| t |3 n ≤ ε∑ 6 k =1

∫

x dFkn ( x ) + t 2

x ≤ε

167

2

n

∑∫

k =1 | x | >ε

x 2 dFkn ( x ) =

=

| t |3  |t |  n ε + t 2 1 − ε  ∑ 6 6  k =1 

∫

x 2 dFkn ( x ).

x >ε

Согласно условию Линдеберга слагаемое  |t |  n t 2 1 − ε  ∑ ∫ x 2 dFkn ( x ) 6  k =1 x >ε  при любом ε > 0 может быть сделано меньше любого δ > 0 для достаточно больших n. В силу произвольности ε выберем его таким, чтобы для всех δ > 0, T , t ∈ [−T ;T ] выполнялось ρn < 2δ ( n ≥ n0 ( ε, δ, T ) ) . Это неравенство показывает, что равномерно в каждом конечном интервале значений t lim ρn = 0. (9) n→∞

Из соотношений (6) – (9) следует, что равномерно на каждом промежутке [−T ;T ] t2 lim ln ϕSn ( t ) = − . n →∞ 2 Теорема доказана. З а м е ч а н и е 1. Вместо равномерной сходимости на компактах последовательности характеристических функций в доказательстве можно рассматривать поточечную сходимость. С л е д с т в и е 1. ( Теорема Ляпунова) . Если для последовательности случайных величин {ξ n } , n ∈ N , существует такое положительное число δ, что при n → ∞ 1 n 2+δ Μ ξ k − ak → 0 ( условие Ляпунова ) , 2 +δ ∑ Βn k =1 то для этой последовательности имеет место центральная предельная теорема. Д о к а з а т е л ь с т в о. Убедимся, что из выполнения условия Ляпунова следует справедливость условия Линдеберга n 1 n 1 2 2 +δ x − a dF x ≤ x − a dFk ( x ) ≤ ( ) ( ) ( ) ∑ k k k δ 2 ∑ ∫ ∫ Bn k =1 x −ak >τ Bn B2n ( τ Bn ) k =1 x−ak >τ Bn 1 1 n ≤ δ 2+δ ∑ Μ ξ k − ak τ Βn k =1

168

2+δ

 → 0. n →∞

У п р а ж н е н и е 1. Иногда теорему Ляпунова формулируют следующим образом: пусть случайные величины ξ1 , ξ 2 , …, ξ n , … независимы, имеют конечные 2 3 ak = Mξ k , bk2 = Μ ( ξ k − ak ) , ck3 = Μ ξ k − ak и Cn  → 0, Bn n→∞ n

n

где C = ∑ c , B = ∑ bk2 . Тогда они удовлетворяют центральной пре3 n

k =1

3 k

2 n

k =1

дельной теореме. Докажите, что и это утверждение является следствием теоремы 2. У п р а ж н е н и е 2. Докажите, что теорема 1 есть следствие теоремы Линдеберга. О п р е д е л е н и е 2. Будем говорить, что случайные величины ξ − ak , k = 1, n, n ≥ 1, ξ kn = k Bn пренебрежимо малы (равномерно сходятся к нулю), если для любого ε > 0 при n → ∞ max P ( ξ kn > ε ) → 0. (10) k ≤n

Условие Линдеберга не является необходимым для сходимости распределения n

∑(ξ k =1

k

− ak ) / Bn

к нормальному N ( 0, 1) распределению. Это показывает следующий пример. П р и м е р 5. Пусть ξ1n = η, ξ 2 n = 0, …, ξ nn = 0, η – нормально распределенная случайная величина с параметрами ( 0, 1) . Тогда M ξ kn = 0,

n

∑Dξ k =1

kn

= 1,

1  n  Ρ  ∑ ξ kn ≤ x  = 2π  k =1 

x

∫e

−

t2 2

dt ,

−∞

но условие Линдеберга не выполнено. Однако, если потребовать, чтобы вместе со сходимостью x

2

t − 1  n  Ρ  ∑ ξkn ≤ x   → e n →∞ ∫ 2 dt 2π −∞  k =1  было выполнено условие пренебрежимой малости, то условие Линдеберга становится необходимым.

169

Теорема 3. Если последовательность независимых случайных величин {ξ kn } , удовлетворяет условию (10) и для любого x ∈ R x

2

t − 1  n  Ρ  ∑ ξ kn ≤ x   → e 2 dt , n→∞ ∫ 2π −∞  k =1  то выполнено условие Линдеберга. Д о к а з а т е л ь с т в о. Очевидны следующие неравенства ϕkn ( t ) − 1 = Μ ei t ξkn − 1 ≤ ∫ eitx − 1 dFkn ( x ) + ∫ eitx − 1 dFkn ( x ) ≤

(

)

| x | >ε

≤2

∫

dFkn ( x ) +

| x | >ε

∫

| x |≤ε

t ε dFkn ( x ) ≤ 2P ( ξ kn > ε ) + t ε .

| x |≤ε

В силу условия (10) max ϕkn ( t ) − 1  →0 n→∞ k ≤n

для любого t ∈ R. Используя технику доказательства теоремы Линдеберга, имеем n n 2 t2 Rn = ln ϕn (t ) − ∑ ( ϕkn ( t ) − 1) ≤ ∑ ϕkn ( t ) − 1 ≤ max ϕkn ( t ) − 1 . 2 k ≤n k =1 k =1 Очевидно, что +∞ i t x +∞ i t x n e − 1 − it x n 2 e −1− it x x dF x = dGn ( x ) , ( ) ( ϕkn ( t ) − 1) = ∫ ∑ ∑ kn ∫ x2 x2 k =1 k =1 −∞ −∞ n

где Gn ( x ) = ∑

∫ t dF ( t ).

k =1 t ≤ x

2

kn

Значит, из того, что ln ϕn ( t ) → − следует, что

t2 , n → ∞, 2

t2 →− ( ϕkn ( t ) − 1)  ∑ n→∞ 2 k =1 поточечно по t ∈ R. Поэтому +∞ i t x e − 1 − it x t2 →− n→∞ ∫−∞ x 2 dGn ( x )  2 и +∞  ei 1 x − 1 − i 1 x 1  +  dGn ( x )  → 0, n →∞ ∫  x2 2 −∞  n

170

так как Gn является функцией распределения. Далее ei x − 1 − i x 1 ≤ , x2 2 и это неравенство является строгим при x ≠ 0. Поэтому, если τ > 0, то ei x − 1 − i x 1 sup ≤ − δ ( τ) , x2 2 | x| >τ где δ ( τ ) > 0. Значит,  ei x − 1 − i x 1  Re  +  ≥ δ ( τ) > 0 x2 2  для всех x, x > τ. Тогда

∫ δ ( τ ) dG ( x ) → 0. n

n→∞

| x| >τ

Очевидно, что

∫ δ ( τ ) dE ( x ) = 0,

| x| >τ

где E ( x ) – функция вырожденного распределения, сосредоточенного в точке 0, 1, x ≥ 0, E ( x) =  0, x < 0. Тогда Gn ( x ) ⇒ E ( x ) , что равносильно выполнению условия Линдеберга. Будем говорить, что для последовательности ξ k , k ≥ 1, выполняется условие равномерной малости, если σ lim max k = 0, (11) n →∞ 1≤ k ≤ n B n где σk = Dξ k . У п р а ж н е н и е 3. Докажите, что теорема 3 будет справедлива, если условие (10) заменить на (11). У п р а ж н е н и е 4. Докажите, что условие (10) в теореме 3 можно заменить на следующие: σn → 0, Bn → ∞ ( n → ∞ ) . Bn 171

§ 2. Сходимость случайных величин

В этом параграфе рассмотрены различные виды сходимости случайных величин и установлена связь между ними. 1. Сходимость почти наверное (с вероятностью единица) О п р е д е л е н и е 1. Будем говорить, что последовательность случайных величин {ξ n } , n ∈ N , сходится почти наверное (с вероятностью единица) к случайной величине ξ и обозначать п.н. ξn  →ξ, n→∞ если

{

}

P ω∈ Ω : lim ξ n ( ω) = ξ ( ω) = 1. n→∞

Приведем еще одно определение сходимости почти наверное, эквивалентное определению 1. Несложно видеть, что справедливо следующее равенство

{

}

∞

∞

∞

{

}

ω∈ Ω : lim ξ n ( ω) = ξ ( ω) = ∩∪∩ ω∈ Ω : ξm ( ω) − ξ ( ω) ≤ 1/ r . n→∞

Предположим, что

{

r =1 n =1 m = n

}

P ω : lim ξn ( ω) ≠ ξ ( ω) = 0. n→∞

Это эквивалентно тому, что ∞ ∞ ∞  P  ∪∩∪ ξm ( ω) − ξ ( ω) > 1/ r  = 0.  r =1 n=1 m=n  Последнее равенство эквивалентно тому, что для любых r > 0

{

}

∞ ∞  P  ∩∪ { ξm − ξ > 1/ r}  = 0,  n=1 m=n  или  ∞  lim P  ∪ { ξm − ξ > 1/ r}  = 0, n →∞  m=n  что равносильно lim P  sup ξm − ξ > 1/ r  = 0 n →∞  m≥ n 

для любого r > 0. Из всего вышесказанного следует

172

У т в е р ж д е н и е 1. Последовательность случайных величин {ξn } , n ∈ N , сходится почти наверное (с вероятностью единица) к случайной величине ξ тогда и только тогда, когда для любого ε > 0 lim P  ω∈ Ω : sup ξ m ( ω) − ξ ( ω) ≤ ε  = 1. n →∞  m≥ n  2. Сходимость по вероятности О п р е д е л е н и е 2. Будем говорить, что последовательность случайных величин {ξn } , n ∈ N , сходится по вероятности к случайной величине ξ и обозначать Ρ ξn  →ξ, n→∞ если для любого ε > 0 P ω∈ Ω : ξ n ( ω) − ξ ( ω) ≤ ε  →1. n→∞

(

)

У т в е р ж д е н и е 2. Если п.н. ξn  →ξ, n→∞

то P ξn  →ξ. n→∞ Д о к а з а т е л ь с т в о. Утверждение 2 вытекает из утверждения 1. У п р а ж н е н и е 1. Докажите, что, если Ρ ξn  →ξ, n→∞

{ }

то существует подпоследовательность ξnk , такая что п.н. ξnk  →ξ. k →∞ У п р а ж н е н и е 2. Докажите, что последовательность случайных величин {ξn } сходится по вероятности тогда и только тогда, когда для любого ε > 0 P ( ξn − ξ m > ε ) → 0, n, m → ∞. 3. Слабая сходимость О п р е д е л е н и е 3. Говорят, что последовательность случайных величин {ξn } , n ∈ N , слабо сходится к случайной величине ξ и обозначают ξn ⇒ ξ, если последовательность функций распределения Fξn слабо сходится к Fξ при n → ∞. У т в е р ж д е н и е 3. Если Ρ ξn  →ξ, n→∞

173

то

ξn ⇒ ξ . n→∞

Д о к а з а т е л ь с т в о. Нужно доказать, что для любого x, являющегося точкой непрерывности функции F ξ , при n → ∞

Fξn ( x ) → Fξ ( x ) . Введем в рассмотрение множество An = ω∈ Ω : ξ n ( ω) − ξ ( ω) ≤ ε .

{

}

Из того, что Ρ ξn  →ξ n→∞

следует

Ρ ( An )  → 0. n→∞

Очевидны следующие включения: {ξn ≤ x} ⊆ {ξ ≤ x + ε} ∪ An , {ξ ≤ x − ε} ⊆ {ξn ≤ x} ∪ An , поэтому Ρ ( ξ n ≤ x ) ≤ Ρ ( ξ ≤ x + ε ) + Ρ ( An ) , Ρ ( ξ ≤ x − ε ) − Ρ ( An ) ≤ Ρ ( ξ n ≤ x ) . Переходя к пределу при n → ∞ , получаем Fξ ( x − ε ) ≤ lim P ( ξn ≤ x ) ≤ lim P ( ξ n ≤ x ) ≤ Fξ ( x + ε ) . n→∞

n →∞

В силу того, что x – точка непрерывности функции Fξ , а ε сколь угодно мало, можно сделать вывод, что утверждение 3 доказано. У т в е р ж д е н и е 4. Если ξn ⇒ ξ и P ( ξ = c ) = 1, то

n→∞

Ρ ξ n  →ξ. n→∞ Д о к а з а т е л ь с т в о. Пусть x – точка непрерывности Fξ (т. е. x ≠ c ). Тогда 0, x < c, → = Fξn ( x )  F x ( )  ξ n→∞ 1, x ≥ c. Но для любого ε > 0 Ρ ( ξn − ξ ≤ ε ) = Ρ ( ξn ≤ ξ + ε ) − Ρ ( ξ n < ξ − ε ) =

= Ρ ( ξ n ≤ c + ε ) − Ρ ( ξ n < c − ε ) → Fξ ( c + ε ) − Fξ ( c − ε ) = 1. Утверждение 4 доказано. 4. Сходимость в среднем порядка r 174

О п р е д е л е н и е 4. Говорят, что последовательность случайных величин {ξn } , n ∈ N , сходится в среднем порядка r ( r > 0 ) к случайной величине ξ и обозначают r ξn  →ξ, n→∞ если r M ξn − ξ  → 0. n→∞ У т в е р ж д е н и е 5. Если r ξn  →ξ, n→∞ то Ρ ξn  →ξ. n→∞ Д о к а з а т е л ь с т в о вытекает из неравенства Чебышева: r M ξn − ξ r r Ρ ( ξn − ξ > ε ) = Ρ ξn − ξ > ε ≤  → 0, n→∞ εr т. е. Ρ ξn  →ξ при n → ∞. У п р а ж н е н и е 3. Докажите, что последовательность случайных величин {ξn } , n ∈ N , для которых Mξn < ∞ , n ∈ N , сходится в

(

)

r

среднем порядка r тогда и только тогда, когда M ξn − ξ m → 0, m, n → ∞. Таким образом, мы установили соотношения между разными видами сходимости случайных величин (см. диаграмму). п .н . P r ξ n →ξ , n → ∞ ⇒ ξ n  →ξ, n → ∞ ⇐ ξn  →ξ, n → ∞

⇓ ξn ⇒ ξ, n → ∞ Покажем, что в данной диаграмме обратные направления, вообще говоря, не имеют места. П р и м е р 1. Пусть Ω = [ 0;1] , A = B ([ 0;1]) , Ρ – мера Лебега. Положим  i −1 i  Ani =  ; , ξin ( ω) = I Ai ( ω) , i = 1, n, n n n   Тогда последовательность случайных величин ξ11 , ξ12 , ξ 22 , ξ13 , ξ32 , ξ33 , …

175

n ∈ N.

сходится и по вероятности, и в среднем порядка r > 0 , но не сходится ни в одной точке ω∈ [ 0;1] . П р и м е р 2. Пусть ( Ω, A , Ρ ) такое же, как и в прим. 1, а  e n , 0 ≤ ω ≤ 1 n, ξ n ( ω) =  0, ω > 1 n. Тогда последовательность {ξ n } , n ∈ N , сходится почти наверное (и, следо-

вательно, по вероятности и слабо) к нулю, однако для любого r > 0 M ξn

r

= e nr n → ∞,

n → ∞.

{ξn } , n ∈ N , – последовательность чайных величин и Ρ ( ξ n = 1) = pn , Ρ ( ξ n = 0 ) = 1 − pn . Тогда П р и м е р 3. Пусть

Ρ ξ n  → 0 ⇔ pn → 0,

n → ∞;

ξ n  → 0 ⇔ pn → 0,

n → ∞;

r

независимых слу-

∞

п .н . ξ n → 0 ⇔ ∑ pn < ∞. n =1

В частности, при pn = 1 n , последовательность

{ξn } ,

n ∈ N , сходится в

среднем порядка r для любого r > 0, но не сходится почти наверное.

§ 3. Законы больших чисел

В этом параграфе исследовано предельное поведение при n → ∞ среднего арифметического n случайных величин. В зависимости от вида сходимости, по вероятности или почти наверное, материал разбит на два пункта. 1. Закон больших чисел Пусть на произвольном вероятностном пространстве ( Ω, A , Ρ ) задана последовательность случайных величин {ξn } , n ∈ N . О п р е д е л е н и е 1. Говорят, что последовательность случайных величин {ξ n } , n ∈ N , удовлетворяет закону больших чисел, если ξ1 + … + ξn M ξ1 + … + M ξ n Ρ −  → 0, (1) n →∞ n n т. е. для любого ε > 0  ξ + … + ξn M ξ1 + … + M ξ n  Ρ 1 − > ε   → 0. n→∞ n n   Иллюстрация в Mathematica

176

Теорема 1. Для того, чтобы последовательность случайных величин удовлетворяла закону больших чисел, необходимо и достаточно, чтобы 2

 n   ∑ ( ξk − M ξk )    → 0. M  k =1 2 n→∞ n   n2 +  ∑ ( ξk − M ξk )   k =1  Д о к а з а т е л ь с т в о. Н е о б х о д и м о с т ь. Обозначим 1 n ηn = ∑ ( ξ k − M ξ k ). n k =1 Пусть выполняется условие (1), т. е. Ρ ηn  →0 при n → ∞. Тогда для любого ε > 0 η2n η2n η2n M =M I +M I ≤ ε 2 + M I ( ηn >ε ) = 2 2 ( ηn ≤ε ) 2 ( ηn >ε ) 1 + ηn 1 + ηn 1 + ηn

(2)

= ε 2 + Ρ ( ηn > ε )  →ε 2 , n→∞ отсюда получаем справедливость (2). Д о с т а т о ч н о с т ь. Пусть выполняется условие (2), т. е. η2n M  → 0, 1 + ηn2 n→∞ тогда η2n 1 + η2n 1 + ε2 η2n I I Ρ ( ηn > ε ) = M I ( ηn >ε ) = M ≤ 2 M ≤ 1 + ηn2 ηn2 ( ηn >ε ) ε 1 + ηn2 ( ηn >ε )

1 + ε2 ηn2 M  → 0. ε2 1 + η2n n→∞ Теорема 1 доказана. Теорема 2 (Марков). Если n 1 → 0, (3) D ∑ ξk  n→∞ n 2 k =1 то последовательность случайных величин {ξn } , n ∈ N , удовлетворяет закону больших чисел. Д о к а з а т е л ь с т в о. Данная теорема – следствие теоремы 1. Так как ≤

177

2

 n  ( ξk − M ξk )  2 ∑  n n 1 1    , D ∑ ξk = 2 M  ∑ ( ξ k − M ξ k )  ≥ M  k =1 2 2 n n n k =1  k =1    n2 +  ∑ ( ξk − M ξk )   k =1  то из справедливости условия (3) вытекает справедливость условия (2). Таким образом, теорема 2 доказана. Теорема 3 (Чебышев). Пусть случайные величины ξ1 , ξ 2 ,…, ξn ,… независимы и существует константа C > 0 такая, что D ξn ≤ C для всех n = 1, 2, … . Тогда они удовлетворяют закону больших чисел. Д о к а з а т е л ь с т в о непосредственно вытекает из неравенства Чебышева:  ξ + … + ξ n M ξ1 + … + M ξ n  D ( ξ1 + … + ξ n ) Ρ 1 − > ε ≤ = 2 2 n n ε n   D ξ1 + … + D ξ n Cn C = ≤ 2 2 = 2  →0 ε2n2 εn ε n n→∞ для любого ε > 0. З а м е ч а н и е 1. Для справедливости теоремы достаточно, чтобы 1 n lim 2 ∑ D ξk = 0. n →∞ n k =1 Это будет выполнено, если 1 lim D ξn = 0, n →∞ n так как на основании теоремы Штольца1 D ξn D ξn 1 n lim 2 ∑ D ξk = lim 2 = lim = 0. 2 n →∞ n n →∞ n →∞ 2n − 1 n − ( n − 1) k =1 У п р а ж н е н и е 1. Докажите, что теорема 3 является следствием теоремы 1. Теорема 4 (Хинчин). Пусть случайные величины последовательности {ξn } , n ∈ N , независимы, одинаково распределены и имеют конечные M ξn = a, n ∈ N . Тогда они удовлетворяют закону больших чисел, т. е.

Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т.3. М. 1969. С. 67

1

178

ξ1 + … + ξ n Ρ (4)  → a. n→∞ n Д о к а з а т е л ь с т в о проведем методом характеристических функций. Для этого введем случайную величину ξn = ξ n − a, тогда M ξn = 0, n ∈ N , и по свойству 6° характеристических функций (гл. 5, § 1) f ξn ( t ) = 1 + o ( t ) при t → 0. Обозначим ξk P  → 0. n →∞ k =1 n Очевидно, что условие (4) равносильно условию (5). Несложно видеть, что n

Sn = ∑

(5)

n

t   t  →1, f Sn ( t ) = ∏ f ξk ( t ) = ∏ f ξk   = 1 + o     n →∞ k =1 k =1 n n       n но f (t ) ≡ 1, так как это характеристическая функция вырожденной случайной величины ξ : Ρ ( ξ = 0 ) = 1. По обратной предельной теореме получим, что S n ⇒ ξ. n

n

n→∞

В силу утверждения 4 § 2, последнее утверждение эквивалентно (4). Теорема доказана. Теорема 5 (Бернулли). Пусть µ n – число успехов в n испытаниях схемы Бернулли с вероятностью p успеха в каждом испытании, тогда µn Ρ  → p. n→∞ n Д о к а з а т е л ь с т в о вытекает из теоремы Хинчина, если рассмотреть независимые одинаково распределенные случайные величины ξi , i = 1, 2, ..., где P(ξi = 0) = 1 − p, P(ξi = 1) = p. Тогда n

µ n = ∑ ξi , Mξi = p i=1

и теорема доказана. 2. Усиленный закон больших чисел О п р е д е л е н и е 2. Говорят, что последовательность случайных величин {ξn } , n ∈ N , удовлетворяет усиленному закону больших чисел, если

179

ξ1 + ... + ξ n M ξ1 + ... + M ξ n п.н. −  → 0. n→∞ n n Теорема 6 (Неравенство Гаека – Реньи). Если случайные величины ξ1 , ξ2 , …, ξn , … являются независимыми, M ξk = ak , D ξk = σ 2k , k = 1, 2, …, а C1 , C2 , … – невозрастающая последовательность неотрицательных чисел, то для любого ε > 0 и для всех m, n ∈ N , m < n, выполнено k m n   1  P  max Ck ∑ ( ξi − ai ) > ε  ≤ 2  Cm2 ∑ σ 2k + ∑ Ck2σ 2k  . i =1 k = m +1   m≤ k ≤ n  ε  k =1 Д о к а з а т е л ь с т в о. Введем следующие обозначения n −1

k

η = ∑ S k2 ( Ck2 − Ck2+1 ) + Sn2Cn2 .

S k = ∑ ( ξi − ai ), i =1

k =m

Найдем математическое ожидание η и преобразуем его к удобному виду n −1

Mη = ∑ ( C − C k =m

m n −1

2 k

= ∑∑ σ ( C − C i =1 k = m

2 i

2 k

2 k +1

2 k +1

) MS

2 k

n −1 k

+ C M S = ∑∑ σ ( C − C 2 n

n −1 n −1

2 n

) + ∑ ∑ σ (C i = m +1 k =i

2 i

k = m i =1

−C

2 k

2 i

2 k +1

2 k

n

2 k +1 m

) + C ∑ σ = ∑ σ (C 2 n

n −1

n

m

i = m +1

i =1

i =1

i =1

+ ∑ σi2 ( Ci2 − Cn2 ) + Cn2 ∑ σi2 = Cm2 ∑ σi2 +

2 i

i =1

n

n

) + C ∑σ 2 n

2 i

i =1

2 m

2 i

=

− Cn2 ) +

∑σC .

i = m +1

2 i

2 i

Рассмотрим следующие случайные события для некоторого ε > 0 Ai = ω∈ Ω : Ck Sk ( ω) ≤ ε, m ≤ k ≤ i − 1, Ci Si (ω) > ε , i = m, n.

{

}

События Ai , i = m, n, являются несовместными. Значит, k    n  n P  max Ck ∑ ( ξi − ai ) > ε  = P  ∪ Ai  = ∑ P ( Ai ). i =1  i =1  i =m  m≤ k ≤ n  Теорема будет доказана, если будет установлено неравенство n

M η ≥ ε 2 ∑ Ρ ( Ai ). i =m

Докажем его: n

n

i =m

i =m

M η ≥ M η∑ I Ai = ∑ M ηI Ai , n −1

M ηI Ai = ∑ ( Ck2 − Ck2+1 ) M S k2 I Ai + Cn2 M Sn2 I Ai , k =m

180

M S k2 I Ai = M ( S k − Si + Si ) I Ai ≥ M Si2 I Ai + 2 M ( S k − Si ) Si I Ai = 2

ε2 ε2 = M S I + 2M ( Sk − Si ) M Si I Ai = M S I ≥ M 2 I Ai = 2 Ρ ( Ai ) . Ci Ci С л е д с т в и е 1 ( Неравенство Колмогорова). Если случайные величины ξ1 , …, ξn , … независимы и имеют конечные математические ожидания и дисперсии, то   1 n D ξk 1 k Ρ  max ∑ ( ξi − M ξi ) > ε  ≤ 2 ∑ 2 .  1≤k ≤n k i =1  ε k =1 k Д о к а з а т е л ь с т в о вытекает из неравенства Гаека – Реньи, если Ck = 1 k , m = 1. Это неравенство можно записать в виде k   1 n Ρ  max ∑ ( ξi − M ξi ) > ε  ≤ 2 ∑ D ξk .  1≤k ≤n i =1  ε k =1 Теорема 7. Пусть ξ1 , …, ξn , … – независимые случайные величины, ∞ σ2n 2 M ξn = 0, D ξn = σn , ∑ 2 < ∞. n =1 n Тогда ξ1 + ξ 2 + … + ξn п.н.  → 0, n →∞ n т. е. для этой последовательности справедлив усиленный закон больших чисел. Д о к а з а т е л ь с т в о. Пусть S n = ξ1 + ξ 2 + … + ξ n , тогда сходимость Sn п.н.  →0 n →∞ n равносильна тому, что для любого ε > 0  S  P sup k > ε   → 0. (6) n→∞  k ≥n k  Введем обозначение  Sk  > ε . An =  nmax −1 n  2 ≤k ε  ≤ Ρ nmax Sk > ε 2n−1 ≤ −1 n −1 n 2 ≤k ≤2  2 ≤k ε 2n−1 ≤ 4 2 22 n , 1≤ k ≤ 2 ε 2 далее

)

(

)

(

∞

∞

2k

∑ Ρ ( A ) ≤ 4ε ∑ 2 ∑ σ k =1

−2

k

−2 k

k =1

∞

= 4ε −2 ∑ σ 2n n =1

n =1

1

∑

{k:2 ≥n} ( 2 k

2 n

≤ 4ε

−2

∞

∑σ ∑ n =1

2 n

{k:2 ≥n}

2 −2 k =

k

σ2n < ∞, 2 n n =1 ∞

≤ 8ε −2 ∑

)

k 2

потому что ∞

∑

2−2 k ≤ 2 ⋅ 2−2 k0 .

k = k0

Из этого следует, что ряд ∞

∑Ρ( A ) k

k =1

сходится, а, значит,  ∞  ∞ Ρ  ∪ Ak  ≤ ∑ Ρ ( Ak )  → 0, n→∞ = k n = k n   что равносильно (6). Теорема доказана. Л е м м а 1. Математическое ожидание случайной величины ξ конечно тогда и только тогда, когда ∞

∑ Ρ{ ξ n =1

> n} < ∞.

Д о к а з а т е л ь с т в о. Из конечности M ξ следует конечность M ξ , и наоборот. Очевидно следующее неравенство ∞

∞

∞

n =1

n =1

n =1

∑ ( n − 1) I{n−1< ξ ≤n} ≤ ξ I{ξ=0} + ∑ ξ I{n−1< ξ ≤n} ≤ ∑ nI{n−1< ξ ≤n} , поэтому

182

∞

∞

n =1

n =1

∑ ( n − 1) Ρ ( n − 1 < ξ ≤ n ) ≤ M ξ ≤ ∑ nΡ ( n − 1 < ξ ≤ n ),

(7)

но ∞

∞

∞

n=0

n =1

∑ nΡ ( n − 1 < ξ ≤ n ) = ∑ Ρ ( ξ > n ) ≤ 1 + ∑ Ρ ( ξ > n ), n =1 ∞

(8)

∞

∑ ( n − 1) Ρ ( n − 1 < ξ ≤ n ) = ∑ nΡ ( n − 1 < ξ ≤ n ) − n =1

n =1

∞

−Ρ ( ξ > 0 ) = ∑ Ρ ( ξ > n ).

(9)

n =1

Из (7) – (9) следуют неравенства ∞

∞

n =1

n =1

∑ Ρ ( ξ > n ) ≤ M ξ ≤ 1 + ∑ Ρ ( ξ > n ), из которых вытекает доказательство леммы 1. Теорема 8 (Колмогоров). Пусть {ξ n } , n ∈ N , – последовательность независимых одинаково распределенных случайных величин. Для выполнения усиленного закона больших чисел, т. е. для того, чтобы 1 n п.н . ξk  → a, ∑ n→∞ n k =1 необходимо и достаточно существование конечного математического ожидания M ξ k = a, k ∈ N . Иллюстрация в Mathematica Схема Д о к а з а т е л ь с т в о. Д о с т а т о ч н о с т ь. Введем случайные доказательства величины ξn = ξ n I{ ξn ≤n} , S n = ξ1 + ξ2 + … + ξn . Случайные величины ξ1 , ξ2 , …, ξn , … являются независимыми, так как x I{ x ≤n} является борелевской функцией для каждого n. Рассмотрим равенство  Sn − na S n − Sn S n − M Sn  M S n = + + − a  = J1n + J 2n + J 3n , n n n  n  где S n = ξ1 + ξ 2 + … + ξ n . Для доказательства достаточности покажем, что все три слагаемых почти наверное сходятся к нулю. Очевидно, что n n 1 1 n J 3 = M ∑ ξ k I { ξ k ≤ k} − a = M ∑ ξ k I{ ξ k ≤ k} − n k =1 n k =1 183

−

( (

1 n ∑ M ξ k I{ ξ k ≤ k} + I { ξ k > k } n k =1

но

(

))

=−

(

)

1 n ∑ M ξ k I{ ξk > k} , n k =1

)

M ξ k I{ ξk >k}  → 0. k →∞ Из теоремы Штольца следует, что J 3n  → 0. n →∞

{

}

Обозначим An = ξ n ≠ ξ n . Получим, что ∞

∞

∑Ρ( A ) = ∑Ρ( ξ n

n =1

n =1

∞

n

> n ) = ∑ Ρ ( ξ1 > n ) < ∞ n =1

по предыдущей лемме, так как M ξ n < ∞ для каждого n. Далее ∞ ∞   ∞  ∗ 0 ≤ P ( A ) = P  ∩∪ Am  = lim P  ∪ Am  ≤  n =1 m=n  n→∞  m=n  ∞

≤ lim ∑ P ( Am ) = 0, n→∞

m=n

поэтому Ρ ( A ) = 0, т. е. лишь для конечного числа номеров n *

ξ n ≠ ξn . Значит, п.н. J1n  → 0. n →∞

Покажем, что

Sn − M Sn п.н.  → 0. n →∞ n Для этого воспользуемся теоремой 7, дающей достаточное условие для справедливости усиленного закона больших чисел. Будем доказывать, что ∞ D ξn < ∞. ∑ 2 n =1 n Поскольку J 2n =

n

D ξn ≤ M ξ ≤ ∑ k 2Ρ ( k − 1 < ξn ≤ k ), 2 n

k =1

то ∞ D ξn ∞ n k 2 1 k k k 2Ρ ( k − 1 < ξ1 ≤ k )∑ 2 . ≤ Ρ − 1 < ξ ≤ = ( ) ∑ ∑∑ ∑ 1 2 2 n =1 n n =1 k =1 n k =1 n≥ k n ∞

184

Очевидно, что ∞

1 dx 1 ≤∫ 2 = ∑ 2 x k n>k n k

1

∑n

и

n≥k

2

≤

1 1 k +1 + = 2 , k k2 k

поэтому 2 ∞ ∞ D ξn ∞ k ( k + 1) ≤∑ Ρ ( k − 1 < ξ1 ≤ k ) ≤ ∑ ( k + 1) P ( k − 1 < ξ1 ≤ k ) ≤ ∑ 2 k2 n =1 n k =1 k =1 ∞

≤ 2 + ∑ ( k − 1) Ρ ( k − 1 < ξ1 ≤ k ) ≤ 2 + M ξ1 < ∞. k =1

Н е о б х о д и м о с т ь. Если же Sn п.н.  → a, n→∞ n то

ξ n Sn n − 1 S n−1 п.н. = −  → 0, n→∞ n n n n −1 т. е. почти наверное происходит конечное число событий  ξn  > 1. ω∈ Ω : n   Покажем, что ∞

∑ Ρ{ ξ n =1

∞

n

> n} = ∑ Ρ { ξ1 > n} < ∞. n =1

Предположим, что ∞

∑ Ρ{ ξ n =1

n

> n} = ∞.

Обозначим B∗ случайное событие, заключающееся в том, что происходит бесконечное число событий  ξn  > 1 , ω∈ Ω : n   и, воспользовавшись независимостью случайных величин, получим  ∞  ξm  ∗ P ( B ) = lim P  ∪  > 1  =  n→∞    m=n  m  ∞  ξm  k  ξm   = 1 − lim P  ∩  ≤ 1  = 1 − lim lim P  ∩  ≤ 1  =   n→∞  n →∞ k →∞     m=n  m  m=n  m

185

∞    ξm  ξ  = 1 − lim lim ∏ 1 − P  > 1  = 1 − lim ∏  1 − P  m > 1  = 1.     n→∞ k →∞ n→∞ m=n  m=n   m   m  Тогда M ξ1 < +∞. Теорема доказана. С л е д с т в и е 2 ( Теорема Бореля). В n испытаниях схемы Бернулли с вероятностью p успеха в каждом испытании для числа успехов µ n имеет место усиленный закон больших чисел, т. е. µn п.н.  → p. n →∞ n

k

П р и м е р 1. П о л и н о м ы Б е р н ш т е й н а. Закон больших чисел используется для доказательства известной из курса математического анализа теоремы Вейерштрасса о равномерном приближении непрерывной функции многочленами. Проводятся независимые испытания, в каждом из которых «успех» наступает с вероятностью x, а противоположное событие – с вероятностью 1 − x ( 0 < x < 1 ). Пусть µ n – количество «успехов» в n испытаниях, f ∈ C [ a; b ] . Из-

вестно, что Ρ ( µ n = k ) = Cnk x k (1 − x )

n−k

, k = 0, n,

поэтому n−k µ  n k  Bn ( x ) = M f  n  = ∑ f   Cnk x k (1 − x ) . (10)  n  k =0  n  Многочлен Bn ( x ) называется полиномом Бернштейна для функции f ( x ) .

Теорема Бернулли утверждает, что

µn Ρ  → x. n→∞ n

Естественно ожидать, что µ  → f ( x). M f  n   n →∞  n  Теорема (Бернштейн). Последовательность многочленов {Bn ( x ) , n ∈ N }, определенных равенством (10), сходится к непрерывной функции f равномерно относительно x ∈ [ 0;1] .

Д о к а з а т е л ь с т в о. Так как f – непрерывна на [ 0;1] , то f – равномерно непрерывна на [ 0;1] , т. е. для любого ε > 0 найдется δ ( ε ) такое, что ε f ( x1 ) − f ( x2 ) < , 2

186

если только x1 − x2 < δ ( ε ) . Функция f – ограничена на [ 0;1] , поэтому найдется C , что f ( x ) ≤ C для всех x ∈ [ 0;1] . Заметим, что n

∑C k =0

k n

x k (1 − x )

n−k

= 1,

поэтому т  k  n−k Bn ( x ) − f ( x ) = ∑  f   − f ( x )  Cnk x k (1 − x ) . n k =0  

Далее получим т n−k k Bn ( x ) − f ( x ) = ∑ f   − f ( x ) Cnk x k (1 − x ) ≤ n k =0 n−k k ≤ ∑ f   − f ( x ) Cnk x k (1 − x ) + n k : kn − x 0

(

Ρ max Sk ≥ ε 1≤ k ≤ n

)

(c + ε) ≥ 1−

191

M S n2

2

.

(1)

Д о к а з а т е л ь с т в о. Обозначим

(

)

(

A = max Sk ≥ ε , 1≤ k ≤ n

)

Ak = Si < ε, S k ≥ ε, i = 1, k − 1 ,

k = 1, n,

n

тогда A = ∑ Ak . Несложно видеть, что k =1

M Sn2 I A = M Sn2 − M S n2 I A ≥ M Sn2 − ε 2Ρ ( A ) = M Sn2 − ε 2 + ε 2Ρ ( A ) ,

(2)

с другой стороны на множествах Ak , k = 1, n, S k −1 ≤ ε,

S k ≤ S k −1 + ξ k ≤ ε + с,

поэтому n

n

k =1

k =1 n

(

M Sn2 I A = ∑ M Sk2 I Ak + ∑ M I Ak ( Sn − Sk ) ≤ (c + ε)

2

n

2

)≤

n

∑ Ρ ( Ak ) + ∑ Ρ ( Ak ) ∑ M ξ2j ≤ k =1

k =1

j = k +1

  2 2 ≤ Ρ ( A ) ( c + ε ) + ∑ M ξ 2j  = Ρ ( A ) ( c + ε ) + M S n2  .   j =1   Из (2) и (3) находим, что n

Ρ ( A) =

(c + ε)

2

(c + ε) (c + ε) = 1− ≥ − 1 2 M S n2 ( c + ε ) + M Sn2 − ε 2 2

M Sn2 − ε 2 + M S n2 − ε 2

(3) 2

,

Неравенство (1) доказано. Теорема 2 (Колмогоров, Хинчин). Пусть M ξ n = 0, n ∈ N . 1) Тогда, если ∞

∑Mξ n =1

< ∞,

(4)

n

(5)

2 n

то ряд ∞

∑ξ n =1

сходится с вероятностью единица. 2) Если существует c < ∞ такое, что Ρ ( ξ k ≤ c ) = 1, k = 1, 2, … , (равномерная ограниченность последовательности случайных величин), то верно и обратное:из сходимости с вероятностью единица ряда (5) следует условие (4). Д о к а з а т е л ь с т в о. 1) Последовательность {S n } , n ∈ N , сходится с вероятностью единица тогда и только тогда, когда она фундаментальна с вероятностью единица. Известно [41], что {S n } , n ∈ N , фундаментальна с вероятностью единица в том и только том случае, когда для любого ε > 0 Ρ  sup S n + k − S n ≥ ε   → 0.  k ≥1  n→∞ В силу неравенства Колмогорова – следствия 1 теоремы 6 (гл. 6, § 3)

192

(6)

(

)

Ρ  sup S n + k − S n ≥ ε  = lim Ρ max S n + k − S n ≥ ε ≤  k ≥1  N →∞ 1≤ k ≤ N ∞

N

≤ lim

∑ M ξ2k

=

k =n

∑Mξ k =n

2 k

, ε ε2 поэтому, если выполнено условие (4), то справедливо (6) и, следовательно, ряд (5) сходится с вероятностью единица. Пусть ряд (5) сходится почти наверное. Тогда в силу (6) для достаточно больших n 1 (7) Ρ  sup S n + k − S n ≥ ε  < .  k ≥1  2 Из неравенства (1) следует, что 2

N →∞

(с + ε) . Ρ  sup Sn + k − S n ≥ ε  ≥ 1 − ∞  k ≥1  ∑ M ξ2k 2

k =n

Поэтому, если допустить, что ∞

∑Mξ k =1

2 k

= ∞,

то получим Ρ  sup S n + k − S n ≥ ε  = 1,  k ≥1  что противоречит неравенству (7). Теорема 1 доказана. П р и м е р 1. Пусть ξ1 , … , ξ n , … – последовательность независимых случайных величин Бернулли, таких, что Ρ ( ξ n = 1) = Ρ ( ξ n = −1) = 1 2.

Тогда ряд ∞

∑a ξ , n n

n =1

где an ≤ c для n = 1, 2, … , сходится с вероятностью единица тогда и только тогда, когда ∞

∑a n =1

2 n

< ∞.

Теорема 3 (О «двух рядах»). Для сходимости с вероятностью единица ря∞

да

∑ξ n =1

n

из независимых случайных величин достаточно, чтобы одновременно

сходились два ряда ∞

∑ M ξn и n =1

Если к тому же существует c < ∞

∞

∑Dξ . такое, что Ρ ( ξ 193

n =1

n

k

≤ c ) = 1 для всех k ∈ N ,

то это условие является и необходимым. Д о к а з а т е л ь с т в о. Д о с т а т о ч н о с т ь. Если ∞

∑Dξ n =1

n

< ∞,

то по теореме 2 ряд ∞

∑ (ξ n =1

n

− M ξn )

сходится с вероятностью единица. Но по предположению теоремы ряд ∞

∑Mξ n =1

n

сходится, следовательно, искомый ряд из случайных величин ξ n сходится с вероятностью единица. Н е о б х о д и м о с т ь. Для доказательства воспользуемся приемом «симметризации». Наряду с последовательностью ξ1 , … , ξ n , … рассмотрим не зависящую от нее последовательность независимых случайных величин ξ1 , … , ξn , … таких, что ξn имеет то же распределение, что и ξ n , n ∈ N . Тогда, если сходится с вероятностью единица ряд ∑ ξ n , то сходится и ряд ∑ ξn , а значит, и ряд ∑ ( ξ n − ξn ) . Но

M ( ξn − ξn ) = 0

и

(

)

Ρ ξ n − ξn ≤ 2c = 1, n ∈ N . Поэтому по теореме 2 ∞

∑ D (ξ n =1

n

− ξn ) < ∞.

Далее ∞

1 ∞ ∑ D ( ξn − ξn ) < ∞, n 2 n =1 n =1 поэтому по теореме 2 с вероятностью единица сходится ряд ∑ ( ξ n − M ξn ) , а зна-

∑Dξ

≤

чит, сходится и ряд ∑ M ξn . Теорема 3 доказана. Следующая теорема дает необходимое и достаточное условие сходимости ряда без предположения об ограниченности случайных величин. Пусть c – некоторая константа и ξ  , ξ ≤ c, ξc =  0, ξ > c. Теорема 4 ( Колмогорова о «трех рядах»). Пусть ξ1 , ξ 2 , … – последовательность независимых случайных величин. Для сходимости почти наверное ряда 194

∞

∑ξ n =1

n

необходимо, чтобы для любого c > 0 сходились ряды ∞

∞

∑ M ξcn ,

∑ D ξcn ,

n =1

n =1

∞

∑Ρ( ξ n =1

n

≥ c)

и достаточно, чтобы эти ряды сходились при некотором c > 0. Д о к а з а т е л ь с т в о. Д о с т а т о ч н о с т ь. По теореме о «двух рядах» ряд ∑ ξcn сходится с вероятностью единица, но если ∞

∑Ρ( ξ n =1

n

≥ c ) < ∞,

то по лемме Бореля – Кантелли с вероятностью единица ∞

∑ I{ n =1

ξn ≥ c}

< ∞,

а значит ξ n = ξcn для всех n, за исключением, быть может, конечного числа. Поэтому ряд ∑ ξ n также сходится с вероятностью единица. Н е о б х о д и м о с т ь. Если ряд ∑ ξ n сходится с вероятностью единица, то с вероятностью единица ξ n → 0 при n → ∞ и для любого c > 0 может произойти не более конечного числа событий ( ξ n ≥ c ) . Поэтому  ∞  Ρ  ∑ I ( ξn ≥ c ) < ∞  = 1  n =1  и по лемме Бореля – Кантелли ∞

∑Ρ( ξ n =1

n

≥ c ) < ∞.

Далее, из сходимости ряда ∑ ξ n следует и сходимость ряда ∑ ξcn , поэтому по теореме о «двух рядах» каждый из рядов ∑ M ξcn и ∑ D ξcn сходится с вероятностью единица. Теорема 4 доказана. У п р а ж н е н и е 1. Пусть ξ1 , … , ξ n , … – независимые случайные величины с M ξ n = 0, n ∈ N . Докажите, что если ∞

∑M n =1

ξcn 0, но не сходится почти наверное. 7. Пусть ξ1 , ξ 2 , … – последовательность независимых случайных величин, Ρ ( ξ n = 0 ) = 1 − 1 n , P ( ξ n = n 2 r ) = 1 n , n ∈ N , r > 0.

Покажите, что эта последовательность сходится по вероятности, но не сходится в среднем порядка r. 8. Пусть ξ n = an η, где числовая последовательность {an } , n ∈ N , сходится, а M η = ∞, r > 0. Докажите, что последовательность случайных величин {ξ n } , r

n ∈ N , сходится почти наверное, но не сходится в среднем порядка r. 9. Пусть ξ n = n 2 ξ exp ( − n ξ ) , n ∈ N , где ξ – экспоненциальная случайная величина. Покажите, что ξ n → 0 при n → ∞ поточечно, но M ξ n не сходится к нулю при n → ∞. 10. Пусть 1 n Sn = ∑ξj, n j =1 где ξ j – независимые одинаково распределенные случайные величины, M ξ j = 0, D ξ j = 1, j = 1, n. Докажите, что последовательность {S n } , n ∈ N , сходится слабо, но не сходится в среднем порядка 2.

196

11. Пусть ξ – случайная величина Пуассона с параметром λ > 0. Найдите слабый предел при λ → ∞ последовательности  ξ−λ  .  λ  12. Пусть ξ1 , ξ 2 , … – последовательность случайных величин, для которой выполняется закон больших чисел. Обязан ли выполняться закон больших чисел для последовательности ξ1 , ξ 2 , … ? 13. Пусть ξ1 , ξ 2 , … – независимые одинаково распределенные случайные величины, n S S S n = ∑ ξk , ηn = n , χ n = n . n n k =1 Найдите слабые пределы при n → ∞ последовательностей случайных величин {S n } , {ηn } , {χ n } , n ∈ N , в том случае, если случайная величина ξ1 имеет:

а) биномиальное распределение; б) распределение Пуассона; в) равномерное на отрезке [a;b] распределение; г) нормальное распределение; д) распределение Коши. 14. Пусть ξ1 , ξ 2 , … – последовательность независимых одинаково распределенных случайных величин с конечными дисперсиями. Найдите lim Ρ ( ξ1 + … + ξ n ≤ x ) , x ∈ R. n →∞

15. Пусть

{ f ( m )} , m ∈ N ,

– произвольная последовательность действитель-

ных чисел, vn (…) – частота всех натуральных чисел m ≤ n , подчиненных условиям, которые написаны в скобках, 2 1 n 1 n M n = ∑ f ( m ), Dn = ∑ ( f ( m ) − M n ) , n m =1 n m =1 ψ ( n ) – произвольная неограниченно возрастающая при n → ∞ функция. Докажите аналог закона больших чисел ν n f ( m ) − M n ≤ ψ ( n ) Dn → 1, (n → ∞).

(

)

16. На отрезке [ 0;1] наудачу выбирается число ξ и разлагается в десятич-

ную дробь

ln ( ξ ) . n n =1 10 Докажите, что при надлежащей нормировке l1 ( ξ ) + … + ln ( ξ ) при n → ∞ ∞

ξ=∑

слабо сходится к нормальной случайной величине.

197

Глава 7. ОСНОВЫ ТЕОРИИ СЛУЧАЙНЫХ ПРОЦЕССОВ Теория случайных процессов – сравнительно молодая ветвь теории вероятностей, имеющая важные приложения в целом ряде разделов физики, техники и других областей естественных наук. Именно запросы со стороны этих дисциплин и привели к бурному развитию рассматриваемой теории в течение последних десятилетий. К настоящему времени в распоряжении читателя имеется большое количество книг по этой теории. Следует отметить, что теория случайных процессов настолько многообразна. Что многие из ее разделов еще не нашли отражения в учебной и монографической литературе. В настоящей главе излагаются основы теории случайных процессов. В четырех параграфах основного текста дается определение случайного процесса, рассматриваются случайные процессы с независимыми приращениями, стационарные диффузионные, марковские случайные процессы, приводятся основные положения корреляционной теории. В дополнениях к главе представлены элементы теории обобщенных случайных процессов. Более полное изложение теории случайных процессов можно найти в книгах [7], [9], [12], [27]. § 1. Определение случайного процесса В главах 3 и 6 мы рассматривали конечные, либо счетные семейства случайных величин, определенных на одном вероятностном пространстве. В этом параграфе будет исследован случай, когда семейство случайных величин может быть континуальным. О п р е д е л е н и е 1 . Случайным процессом называется семейство случайных величин ξ(t ) = ξ(t , ω) , заданных на одном вероятностном пространстве ( Ω, A , Ρ ) и зависящих от параметра t , принимающего значения из некоторого множества T . П р и м е р 1 . Последовательности независимых случайных величин ξ1 , ξ 2 ,... , рассматриваемые в предыдущих параграфах, являются случайными про-

цессами, для которых T = {1, 2, 3,...} . То же самое справедливо и относительно

сумм S1 , S 2 ,... слагаемых ξ1 , ξ 2 ,... . Случайными процессами являются также последовательности случайных величин, связанных в цепь Маркова. Такие процессы, у которых множество T можно отождествить со всей или с частью последовательности {..., − 1, 0,1, ...} , обычно называются процессами с дискретным временем или случайными последовательностями.

198

П р и м е р 2 . Если T совпадает с некоторым числовым интервалом T = [ a; b ] , − ∞ ≤ a < b ≤ +∞ , то совокупность {ξ(t ), t ∈ T } называют процессом с непрерывным временем. Интерпретация параметра t как времени, конечно, не обязательна. Она возникла исторически, поскольку в большинстве естественнонаучных задач, которые привели к появлению понятия случайного процесса, параметр t был временем, а значение ξ(t ) было тем, что наблюдалось в момент времени t .

Как случайный процесс можно рассматривать, например, движение молекулы газа во времени, уровень воды в водохранилище, колебание крыла самолета и т. п. Процессом с непрерывным временем является случайная функция ∞ ξ ξ(t ) = ∑ sin kt ⋅ kk , t ∈ [ 0, 2π ] , 2 k =0 где случайные величины ξ k независимы и одинаково распределены. По аналогии со случайными величинами (скалярными и векторными) приведем еще одно определение случайного процесса (как измеримого по ω отображения), эквивалентное определению 1. Для этого зафиксируем ω∈ Ω . Функцию ξ(t ), t ∈ T , будем называть выборочной функцией или траекторией процесса. Через X обозначим пространство функций x(t ), t ∈ T , в котором лежат траектории ξ(t ) .

Пусть далее BXT – σ - алгебра подмножеств из X , порожденная множествами вида C = { x ∈ X : x(t1 ) ∈ B1 , ..., x(tn ) ∈ Bn } (1) для любых n ∈ N , любых t1 , ..., tn из T и любых борелевских множеств B1 , ..., Bn из R . Множества вида (1) называются цилиндрическими. Случайный процесс ξ(t ) будем трактовать как измеримое ото-

бражение ( Ω, A ) в ( X , BXT ) . Это отображение индуцирует распреде-

ление Ρξ на измеримом пространстве ( X , BXT ) , определяемое равенствами

Ρ ξ ( B ) = Ρ ( ξ −1 ( B ) ) , ∀B ∈ BXT .

Тройка ( X , BXT , Ρ ξ ) называется выборочным вероятностным пространством. В этом пространстве элементарный исход « ω » отождествляется с траекторией процесса, а мера Ρ ξ называется распределением процесса ξ . 199

П р и м е р 3 . В качестве пространства X в теории случайных процессов с континуальным множеством T значений времени t чаще других рассматриваются следующие пространства функций: 1) Пространство всех функций на T X = RT = ∏ Rt , t∈T

где Rt = (−∞, +∞) . Это пространство обычно рассматривают в паре с σ-алгеброй BXT .

2) Пространство всех непрерывных на T функций X = C (T ) .

В этом пространстве σ-алгебра BCT совпадает с σ-алгеброй B ( C (T ) ) – борелевской σ-алгеброй, порожденной множествами, открытыми относительно равномерной метрики ρ ( x, y ) = sup y (t ) − x(t ) , x, y ∈ C (T ) . t∈Τ

(см., например, [9]). 3) Пространство D (T ) функций, у которых в каждой точке t ∈ T существуют пределы x (t − 0) и x (t + 0) и значение функции x (t ) совпадает с одним из них. Если T = [ a, b ] , то предполагается также, что x ( a ) = x ( a + 0 ) , x ( b ) = x ( b − 0 ) . Через D+ (T ) ( D− ( T ) ) будем обозначать подпространство функций из D (T ) непрерывных справа (слева). В качестве σ-алгебры подмножеств D (T ) будем рассматривать BDT .

О п р е д е л е н и е 2 . Пусть X – заданное пространство функций и G есть σ-алгебра его подмножеств, содержащая σ-алгебру BXT . Случайным процессом ξ ( t ) = ξ ( t , ω) называется измеримое по ω

отображение ( Ω, A , Ρ ) на ( X , G , Ρ ξ ) (каждому ω ставится в соответствие ξ ( t ) = ξ ( t , ω) так, что ξ −1 ( C ) ∈ A для любогоC ∈ G )

З а м е ч а н и е 1 . Условие BXT ⊂ G нужно для того, чтобы были определены вероятности цилиндрических множеств и, в частности, Ρ ( ξ ( t ) ∈ B ) , B ∈ B ( R ) , означающие, что ξ ( t ) есть случайные величины, t ∈ T . З а м е ч а н и е 2 . Из теории для случайных величин известно, что задать случайную величину – значит задать ее распределение вероятностей. Случайные процессы пытаются описать теми или иными сведениями о его распределении. Можно задавать, например, конечномерные распределения, т. е. вероятности Ρ ( C ) множеств C вида (1). 200

Из теоремы Колмогорова о согласованных распределениях [5] следует, что задание согласованных конечномерных распределений однозначно определяет распределение процесса на ( RT , BRTT ) . Однако пространство

(R

T

, BRTT ) не очень удобно для изучения

случайных процессов, т. к. далеко не все часто употребляемые в анализе соотношения для функций принадлежат σ-алгебре BRTT . Множе-

{

}

ство supξ(t ) < C , например, может и не быть событием, так как мы t∈T

знаем лишь его в виде пересечения несчетного числа измеримых множеств ∩(ξ (t ) < C ) , t∈T

если T – интервал числовой оси. Имеет место и другое неудобство – распределение Ρ ξ на

(R

T

, BRTT ) не определяет однозначно свойств траекторий ξ . Этот факт

связан с тем, что пространство RT и принадлежность цилиндрическому множеству вида (1) не несут в себе никакой информации о поведении x ( t ) в точках t , отличных от t1 , ..., tn , что подтверждает следующий пример. П р и м е р 4 . Случайные процессы ξ ( t ) и η ( t ) будем называть стохас-

тически эквивалентными, если Ρ ( ξ ( t ) = η ( t ) ) = 1 для всех t ∈ T . Процесс η при этом называют модификацией ξ . Легко видеть, что если процессы стохастически эквивалентные, то их конечномерные распределения совпадают, но не наоборот. Что касается траекторий, то они у стохастически эквивалентных процессов могут быть различными. Например, пусть T = [ 0;1] , τ – абсолютно непрерывная слу-

чайная величина, 0 < τ < 1. Положим ξ ( t ) ≡ 0, η ( t ) = 0, если t ≠ τ , η ( t ) = 1, если t = τ . Тогда

Ρ ( ξ (t ) ≠ η (t )) = Ρ ( τ = t ) = 0

для любых t ∈ T , т. е. ξ и η – стохастически эквивалентны. В связи с замечанием 2 отметим также, что 1  Ρ  sup ξ ( t ) ≤  = 1, 2  t∈T 1  Ρ  sup η ( t ) ≤  = 0. 2  t∈T

201

На приведенном примере 4 легко понять, что множество всех не-

{

}

прерывных функций C (T ) , множество sup ξ ( t ) ≤ x и многие другие t∈T

не принадлежат BRTT . Простейший способ преодоления этих трудно-

стей состоит в том, чтобы задавать процессы в пространствах C (T ) или D (T ) , если это возможно. Если, например, ξ ( t ) , η ( t ) ∈ C (T ) , и они стохастически эквивалентны, то траектории этих процессов будут с вероятностью 1 совпадать, так как ∩{ξ ( t ) = η( t )} = ∩{ξ ( t ) = η ( t )} = {ξ ( t ) = η ( t ) , ∀t ∈ T }, t∈Q

t∈T

где вероятность события левой части определена и равна 1. Аналогично обстоит дело с событиями

{

}

sup ξ ( t ) ≤ c = ∩{ξ ( t ) ≤ c}. t∈T

t∈T

Точно такие же рассуждения справедливы для пространства D (T ) , поскольку каждый элемент x ( ⋅) из D однозначно определяется

значениями x ( t ) на счетном всюду плотном множестве значений t . Для того, чтобы совсем не иметь дела с неудобным пространством ( RT , B TRT ) , можно задавать распределение рассматриваемого про-

цесса ξ на суженном пространстве ( C (T ) , BCT ) . Если ξ и η эквива-

лентны на ( RT , B TRT ) и мы рассматриваем η на ( C (T ) , BCT ) , то мы тем

самым построили процесс η – непрерывную модификацию ξ . Чтобы осуществить эту конструкцию, надо уметь выяснять по распределению процесса ξ , существует для него непрерывная модификация η или нет (все приведенные выше рассуждения аналогично переносятся на D (T ) ). Очень простой критерий существования непрерывной модификации, принадлежащий Колмогорову, основан на знании лишь двумерных распределений ξ ( t ) . Теорема 1 [5] (Колмогоров). Пусть ξ ( t ) – случайный процесс на

[0;1] . Если при всех t , t + h

из отрезка [ 0;1]

Μ ξ (t + h ) − ξ (t ) ≤ C h a

202

1+b

(2)

при каких-нибудь a > 0, b > 0, c < ∞ , то ξ ( t ) имеет непрерывную модификацию. П р и м е р 5 . Допустим, что случайный процесс ξ ( t ) имеет вид r

ξ ( t ) = ∑ ξ k ϕk ( t ) , k =1

где ϕk ( t ) удовлетворяют условию Гёльдера ϕk ( t + h ) − ϕk ( t ) ≤ C h , α > 0, α

и при некотором l > 1 α l

Μ ξk < ∞, k = 1, r. Тогда процесс ξ ( t ) (он является, очевидно, непрерывным) удовлетворяет условию (2).

Критерий существования модификации, принадлежащей пространству D (T ) , формулируется сложнее и связан с более слабыми условиями на процесс. Ограничимся лишь формулировкой следующего утверждения. Теорема 2 [22] (Колмогоров – Ченцов). Если при некоторых α ≥ 0, β ≥ 0, b > 0 и при всех t − h1 ≤ t ≤ t + h2 из отрезка [ 0;1] α

β

Μ ξ ( t ) − ξ ( t − h1 ) ξ ( t + h2 ) − ξ ( t ) ≤ Ch1+b , h = h1 + h2 ,

(3)

то существует модификация ξ ( t ) из D ( 0;1) .

П р и м е р 6 . Пусть γ – равномерно распределенная на [ 0;1] случайная

величина, ξ ( t ) = 0 при t < γ , ξ ( t ) = 1 при t ≥ γ . Тогда Μ ξ ( t + h ) − ξ ( t ) = Ρ ( γ ∈ ( t , t + h ) ) = h. l

Здесь условие (2) не выполнено, хотя Ρ ξ ( t + h ) − ξ ( t )  → 0. h→0 Условие (3), очевидно, выполнено, так как Μ ξ ( t ) − ξ ( t − h1 ) ξ ( t + h2 ) − ξ ( t ) = 0.

В общем случае, когда не располагают данными для построения процесса из пространств C (T ) или D (T ) , опираются на понятие сепарабельности процесса. О п р е д е л е н и е 3 . Случайный процесс ξ ( t ) называется сепарабельным, если существует счетное всюду плотное в T множество S такое, что   Ρ  lim ξ ( u ) ≥ ξ ( t ) ≥ lim ξ ( u ) , ∀t ∈ T  = 1. (4) u → t , t ∈ S u →t ,t∈S   203

З а м е ч а н и е 3 . Условие (4) эквивалентно тому, что для любого интервала I ⊂ T   Ρ  sup ξ ( u ) = sup ξ ( u ) ; inf ξ ( u ) = inf ξ ( u )  = 1. u∈I ∩ S u∈I u∈I  u∈I ∩S  Известно (см., напр., [12]), что любой случайный процесс имеет сепарабельную модификацию. Можно также отметить, что для сепарабельных процессов такие множества, как множество всех неубывающих функций, множества C (T ) , D (T ) являются событиями. Процессы из C (T ) , D (T ) автоматически будут сепарабельными. Наряду с непрерывностью выборочных траекторий существует еще один способ характеризовать свойство непрерывности случайного процесса. О п р е д е л е н и е 4 . Случайный процесс ξ ( t ) называется стохастически непрерывным, если при всех t , t + h ∈ T , h → 0 Ρ ξ ( t + h ) − ξ ( t )  → 0. Ясно, что все процессы с непрерывными траекториями являются стохастически непрерывными. Но не только. Разрывный процесс из примера 6 также является стохастически непрерывным. В дальнейшем нам понадобится и такое понятие: случайный процесс ξ ( t ) называется непрерывным в среднем порядка r (в среднеквадратичном при r = 2 ), если для любых t , t + h ∈ T при h → 0 r

Μ ξ ( t + h ) − ξ ( t ) → 0. Разрывный процесс из примера 6 будет непрерывным в среднем любого порядка. § 2. Случайные процессы с независимыми приращениями

Одним из важнейших классов случайных процессов является класс случайных процессов с независимыми приращениями. К этому классу, как будет показано ниже, принадлежат процесс броуновского движения, пуассоновский случайный процесс и др. О п р е д е л е н и е 1 . Случайный процесс ξ ( t ) , t ∈ T , называется процессом с независимыми приращениями, если любого n ∈ N и для всех t0 < t1 < ... < tn из T случайные величины ξ ( t0 ) , ξ ( t1 ) − ξ ( t0 ) ,

…, ξ ( tn ) − ξ ( tn −1 ) являются независимыми. 204

З а м е ч а н и е 1 . Так как случайный вектор ( ξ ( t1 ) ,..., ξ ( tn ) ) получается невырожденным линейным преобразованием из вектора ( ξ ( t1 ) − ξ ( t0 ) ,..., ξ ( tn ) − ξ ( tn −1 ) ) , то для того, чтобы задать конечномерные распределения случайного процесса с независимыми приращениями, достаточно задать распределение процесса в одной точке ξ ( t ) и распределения приращений ξ ( s ) − ξ ( t ) при s > t .

Пусть T = [ 0, ∞ ] . Процесс ξ ( t ) , t ≥ 0 , называется однородным,

если ξ ( 0 ) = 0 (п.н.) и распределение величины ξ(t + h) − ξ(t ) , t ≥ 0 , h ≥ 0 не зависит от t . Введем характеристическую функцию однородного процесса ξ (t )

ϕ ( t , z ) = M exp {iz ⋅ ξ ( t )} ,

(1)

где z ∈ R . У т в е р ж д е н и е 1 . Характеристическая функция удовлетворяет следующему функциональному уравнению ϕ ( t + s, z ) = ϕ ( t , z ) ⋅ ϕ ( s, z ) , t , s > 0

ϕ(t , z ) (2)

Д о к а з а т е л ь с т в о . Учитывая то, что ξ ( t ) – однородный случайный процесс с независимыми приращениями, имеем Μ exp i ( z , ξ ( t + s ) ) = Μ exp i ( z , ξ ( t + s ) −

{ } { −ξ ( s ) )} exp {i ( z , ξ ( s ) )} = Μ exp {i ( z , ξ ( t + s ) − −ξ ( s ) )} Μ exp {i ( z , ξ ( s ) )} = Μ exp {i ( z, ξ ( t ) )} Μ exp {i ( z , ξ ( s ) )} .

Утверждение 1 доказано. У т в е р ж д е н и е 2 . Пусть ξ ( t ) , t ∈ T , – стохастически не-

прерывный однородный процесс. Тогда ϕ ( t , z ) непрерывна по переменной t ≥ 0 . Д о к а з а т е л ь с т в о вытекает из соотношения (2) и того, что lim ϕ ( s, z ) = 1 . (3) s →0

Для доказательства (3) заметим, что для любого ε > 0

(

)

ϕ ( s, z ) − 1 ≤ M exp izξ ( s ) − 1 ≤ ε + 2Ρ z ⋅ ξ ( s ) > ε . Последняя вероятность стремиться к нулю при s → 0 в силу того, что ξ – стохастически непрерывный процесс. 205

Утверждение 2 доказано. Теорема 1. Для стохастически непрерывного однородного случайного процесса ξ ( t ) , t ∈ T , существуют такие a ∈ R , b > 0 , и не-

убывающая функция ограниченной вариации G на R , что   1 2 izx  1 + x 2    izx ϕ ( t , z ) = exp t  iaz − bz + ∫  e − 1 − dG x ( )  . 2  2 + 2 1 x x     R   З а м е ч а н и е 2 . Пусть G ( x ) = G ( x ) + bε ( x ) , где ε ( x ) = 0 при x < 0 , ε ( x ) = 1 при x > 0 . Доопределив функцию

(4)

izx  1 + x 2  izx e −1−  1 + x2  x2  z2 в точке x = 0 по непрерывности значением − , соотношение (4) 2 можно записать так    izx  1 + x 2  ixz (5) ϕ ( t , z ) = exp  t  iaz + ∫  e − 1 − dG x ( )   2  2  1 + x x   R    Д о к а з а т е л ь с т в о теоремы 1. Из соотношения (3) и равенства t  ϕ ( t , z ) = ϕn  , z  n  вытекает, что ϕ ( t , z ) ≠ 0 для всех t . Далее k k  ϕ  , z  = ϕ (1, z )  n n  (берется главное значение корня n -ой степени из ϕ (1, z ) ). Переходя к k пределу при → t и обозначая k ( z ) = ln ϕ (1, z ) главное значение лоn гарифма, имеем ϕ ( t , z ) = exp ( tk ( z ) ) (6)

Функция k ( z ) называется кумулянтой процесса ξ и может быть вычислена по формуле 1 k ( z ) = lim ϕ ( h, z ) − 1 (7) h→0 h 206

Пусть Fh – функция распределения случайной величины ξ ( h ) . Положим 1 kh ( z ) = ∫ ( eizx − 1) dFh ( x ) = h izx  1 + x 2 1 izx  izx = ∫ e −1− dGh ( x ) + ∫ dFh ( x ) , 2  2 1+ x  x h 1 + x2  где 1 x2 dGh ( x ) = dFh ( x ) . h 1 + x2 Поскольку для всех z ∈ R существует предел (7), то существует и предел 1 + x2 (8) lim ∫ ( cos zx − 1) 2 dGh ( x ) = Re k ( z ) . h →0 x Из непрерывности k ( z ) и формулы (6) вытекает, что предел в (7) существует равномерно по z на любом компакте. Следовательно, и предел в (8) существует равномерно по z ≤ c . Тогда  sin xδ  1 + x ∫R 1 − δx  x2 dGh ( x ) = 2

δ

δ

1 1 + x2 −1 = 1 − cos λ λ → x dG x d ( ) ( ) h ∫ ∫R ∫ Re k ( λ ) d λ . 2δ −δ 2δ −δ x2 Поэтому

1 + x2 lim ∫ dGh ( x ) ≤ − 2 h →0 x 1 x>

δ

δ

1 1 ∫ Re k ( λ ) d λ .  sin δx  2δ −δ inf1 1 −  δx  x>  δ

Обозначим  sin λ  inf 1 −  = Ψ (α) . λ≥α λ   Тогда  sin δx  inf 1 −  ≥ Ψ (1) . 1 δx  x>  δ Следовательно,

207

δ

1 lim lim ∫ dGh ( x ) ≤ Ψ (1) lim ∫ Re k ( λ ) d λ = 0, δ→0 h →0 δ→0 2δ 1 −δ −1

x>

δ

так как k ( 0 ) = 0 . Но тогда множество мер dGh ( x) компактно. Пусть dGh ( x) сходится к dG ( x) . Имеем 2  izx izx 1 ( zx )  1 + x 2  2 dGh ( x ) = lim ∫  e − 1 − + 2 2 h →0   x x x 1 2 1 + +   2  izx izx 1 ( zx )  1 + x 2  2 dG ( x ) . = ∫e −1− + 2 2   x + x + x 1 2 1   Поскольку подынтегральная функция в выражении справа равна нулю в точке 0 , если доопределить ее по непрерывности, то интеграл справа не изменится, когда меру dG ( x) заменить на dG ( x) , где

dG ( A ) = dG ( A − {0} ) .Поэтому существует предел

 1 ( zx )2  1 izx dFh ( x )  = lim  − ∫ 2 dGh ( x ) + ∫ h →0 h 1 + x2  2 x  2  izx izx 1 ( zx )  1 + x 2  2 dG ( x ) . = k ( z) − ∫e −1− + 2 2   x + x + x 1 2 1   Но тогда существуют пределы вещественной и мнимой частей. Очевидно, что существует b1 > 0 для которого 1 ( zx ) dGh ( x ) = b1 z 2 lim ∫ 2 h →0 h 1 + x 2

и a ∈ R , что

1 izx dFh ( x ) = iaz . h →0 h ∫ 1 + x 2

lim Поэтому

1 2 izx  1 + x 2  ixz k ( z ) = iaz − bz + ∫  e − 1 − dG ( x ) ,  2 1 + x2  x2  где bz = b1 z − ∫ 2

2

( zx ) x2

2

dG ( x ) .

Теорема 1 доказана. Пример 1. Однородный процесс Пуассона. 208

Рассмотрим события, которые могут происходить в каждый момент непрерывно меняющегося времени. К таким событиям можно отнести регистрацию частицы счетчиком, поступление вызова на телефонную станцию, испускание ядром частицы при радиоактивном распаде и т. п. Если принять, что за конечное время происходит лишь конечное число событий, то при весьма общих предположениях число появлений события за любое время t имеет распределение Пуассона.

Пусть ξ ( t ) – число появлений событий на промежутке [ 0,t ] . Бу-

дем считать, что ξ ( t ) определено для всех t и является неотрицательной целочисленной случайной величиной. Тогда для t1 < t2 число появлений событий на ( t1 , t2 ] равно ξ ( t2 ) − ξ ( t1 ) . Введем некоторые предположения относительно совокупности рассматриваемых событий: 1) числа событий, появившихся на непересекающихся временных промежутках, являются независимыми случайными величинами, т. е. при любых 0 < t1 < t2 < ... < tn случайные величины ξ ( t1 ) , ξ ( t2 ) − ξ ( t1 ) ,…, ξ ( tn ) − ξ ( tn −1 ) независимы между собой; 2) однородность процесса появления событий во времени, т. е. в дискретной последовательности события имеют одинаковую вероятность; 3) ординарность потока событий – невозможность появления одновременно нескольких событий. Оформим условия 2) и 3) в математической форме. Однородность процесса ξ означает, что распределение случайной величины ξ ( t + h ) − ξ ( t ) зависит от h , но не зависит от t . Найдем условие ординарности потока. Пусть Bt – событие, состоящее в том, что на отрезке [ 0,t ] произошло одновременно, по крайней мере, два события. Тогда ∞ n   kt   k −1   Bt = ∩∪  ξ   − ξ  t  > 1 . (9)  n   n =1 k =1   n  Из соотношения (9) вытекает, что  n   kt   k − 1    t  > 1  = Ρ ( Bt ) = lim Ρ  ∪  ξ   − ξ  n→∞ n n       k =1   n k −1   it   i −1     k   k −1   t  ≤ 1 ∩  ξ  t  − ξ  t   > 1 = lim Ρ  ∪∩  ξ   − ξ  n →∞ n n n n          k = 1 i = 1     209

 k −1   it   i −1     i   i −1   t  ≤ 1 ⋅ Ρ  ξ  t  − ξ  t  > 1  . = lim ∑  ∏ Ρ  ξ   − ξ  n →∞  n    n   n   k =1  i =1  n Обозначим α ( h ) = Ρ ( ξ ( t + h ) − ξ ( t ) > 1) . Тогда n

  t  Ρ ( Bt ) = lim ∑ 1 − α    n →∞  n  k =1  n

k −1

Так как Ρ ( Bt ) = 0 , то

n   t  t   α   = lim 1 −  1 − α     .  n  n →∞    n   

n

  t  lim 1 − α    = 1 , n →∞  n   но n

t

− lim nα     t  n lim 1 − α    = e , n →∞ n    

следовательно, t nα   → 0 , n т. е. 1 lim Ρ ( ξ ( t + h ) − ξ ( t ) > 1) = 0. (10) h →0 h Покажем теперь, что для однородного ординарного потока событий существует такое λ > 0 , что 1 lim Ρ ( ξ ( t + h ) − ξ ( t ) > 0 ) = λ. (11) h →0 h Действительно, пусть ϕ ( t ) = Ρ ( ξ ( t ) = 0 ) . Тогда согласно условию 1) ϕ ( t + h ) = Ρ ( ξ ( t + h ) = 0 ) = Ρ ( ξ(t ) = 0 ) ∩ ( ξ ( t + h ) − ξ ( t ) = 0 ) =

(

)

Ρ ( ξ ( t ) = 0 ) Ρ ( ξ ( t + h ) − ξ ( t ) = 0 ) = Ρ ( ξ(t ) = 0 ) Ρ ( ξ ( h ) = 0 ) = ϕ ( t ) ϕ ( h ) .

Так как ξ(0) = 0 и при tn ↓ 0

то

∞  1 = ϕ ( 0 ) = Ρ ( ξ ( 0 ) = 0 ) = Ρ  ∩ ( ξ ( tn ) = 0 )  = lim ϕ ( tn ) ,  n =1  n →∞ ϕ(t ) непрерывна в точке 0 справа. Но так

как

ϕ ( t + h ) = ϕ ( t ) ⋅ ϕ ( h ) → ϕ ( t ) при h ↓ 0 , то ϕ непрерывна справа в любой точке t . Поэтому 210

   1   1 ϕ (1) = ϕn   = lim exp n ϕ   − 1   n  n →∞    n   и, следовательно, существует предел   1  lim n 1 − ϕ    = λ . n →∞  n   Тогда ϕ(1) = e −λ и для всех рациональных t имеем ϕ(t ) = exp(−λt ) . Из непрерывности справа ϕ убеждаемся, что эта формула справедлива для всех t > 0 . Из соотношения Ρ ( ξ ( t + h ) − ξ ( t ) > 0 ) = Ρ ( ξ ( h ) > 0 ) = 1 − e −λh , t > 0, h > 0, вытекает формула (11). У т в е р ж д е н и е 3 . Пусть для семейства целочисленных случайных величин ξ(t ) выполнено условие 1), распределение величины ξ(t + h) − ξ(t ) не зависит от t и выполнены условия (10) и (11). Тогда Ρ (ξ (t ) = k ) =

( λt )

k

e −λt , k = 0,1, 2,...

k! Случайный процесс, рассмотренный в примере 1 называется однородным случайным процессом Пуассона. Иллюстрация в Mathematica. У п р а ж н е н и е 1 . Докажите, что если для случайного процесса Π ( t ) , t ≥ 0 , выполнены следующие условия: а) Π ( 0 ) = 0 п. н., б) для любых 0 < t1 < t2 < t3 < ... < tn случайные Π ( t1 ) , Π ( t2 ) − Π ( t1 ) ,… , Π ( tn ) − Π ( tn −1 ) независимы; в) для любых t > 1

величины

λ ( t − 1)  −λ ( t −1) Ρ ( Π ( t ) − Π (1) = k ) =  e , λ > 0 , k = 0,1, 2,..., k! то Π ( t ) – однородный случайный процесс Пуассона. k

Пример 2. Обобщенный случайный процесс Пуассона. Рассмотрим однородный процесс с независимыми приращениями, для которого выполнены следующие условия: 1 + x2 1) ∫ 2 dG ( x) < ∞ , x R 2) b = 0 , 211

3) az = ∫ R

zx x

2

dG ( x) , z ∈ R ,

где a, b, G – из формулы (4), в этом случае ϕ(t , z ) = exp(tc ∫ (eizx − 1)dF ( x)) ,

(12)

R

причем 1 + x2 dG ( x), 2 x R

c=∫

1 1 + x2 dG ( x) c ∫A x 2 есть распределение вероятностей в R . Однородный процесс с независимыми приращениями с характеристической функцией (12) называется обобщенным случайным процессом Пуассона. Это название объясняется следующими соображениями. Пусть мера F сосредоточена в точке 1. Тогда ϕ ( t , z ) = exp tc ( eiz − 1) . (13) F ( A) =

{

}

Следовательно, приращение ξ(t + h) − ξ(h) имеет распределение Пуассона с параметром tc , так что процесс ξ(t ) есть однородный процесс Пуассона с параметром c.

Покажем теперь, как с помощью процесса Пуассона построить процесс с характеристической функцией (12). Обозначим через ξ1 , ξ2 ,… последовательность независимых одинаково распределенных случайных величин с функцией распределения F , которые в совокупности независимы с процессом Пуассона υ ( t ) с характеристической функцией вида (13). Рассмотрим случайный процесс υ( t )  0  η(t ) = ∑ ξ k ,  ∑ = 0  . (14) k =1  k =1  Этот процесс кусочно-постоянный, его скачки происходят в тех точках, где происходят скачки υ ( t ) , при этом величина k - ого скачка равна ξ k . Покажем, что η ( t ) – процесс с независимыми приращениями. Для этого найдем совместную характеристическую функцию величин η ( t1 ) , η ( t2 ) − η ( t1 ) ,..., η ( tn ) − η ( tn −1 ) (15) Пусть υ ( t1 ) = k1 , υ ( t2 ) − υ ( t1 ) = k2 ,..., υ ( tn ) − υ ( tn −1 ) = kn , тогда k1

k1 + k2

j =1

j = k1 +1

η ( t1 ) = ∑ ξ j , η ( t2 ) − η ( t1 ) = 212

∑

ξ j ,...,

η ( tn ) − η ( tn −1 ) =

k1 +...+ kn

∑

j = k1 +...+ kn−1 +1

ξj .

Учитывая независимость ξ k и то, что эти случайные величины не зависят от υ ( t ) , имеем

(

)

M exp ( iz1 η ( t1 ) + ... + izn (η ( tn ) − η ( t1 ) ) υ ( t1 ) = k1 ,..., υ ( tn ) − υ ( tn−1 ) = kn = = ( M exp ( iz1 , ξ1 ) ) … ( M exp ( izn ξ1 ) ) . kn

k1

Пусть ψ ( z ) =

∞

∫e

izx

dF ( x ) – характеристическая функция случай-

−∞

ной величины ξ1 . Так как Ρ ( υ ( t1 ) = k1 ,..., υ ( tn ) − υ ( tn −1 ) = kn ) =

( ct1 )

k1

e − ct1

(c (t ...

n

− tn −1 ) )

kn

e − c ( tn −tn−1 ) ,

k1 ! kn ! то на основании формулы полного математического ожидания M exp iz1η ( t1 ) + ... + izn ( η ( tn ) − η ( tn −1 ) ) =

{

=

∞

∑

k1 ,..., kn =0

( ct1 )

}

k`1

k1 !

ψ

k1

( z1 ) e

c ( t2 − t1 )  ψ k2 ( z2 ) e k2 ! k2

− ct1

c ( tn − tn−1 )  ψ kn ( zn ) e …× kn ! kn

(

− c( tn −tn −1 )

(

× ...

)

= exp ct1 ( ψ ( z1 ) − 1) ×

(

)

− c( t2 −t1 )

)

× exp c ( t2 − t1 ) ( ψ ( z2 ) − 1) … exp c ( tn − tn −1 ) ( ψ ( zn ) − 1) . Из этой формулы вытекает, что η ( t ) – процесс с независимыми приращениями и что характеристическая функция величины η ( t2 ) − η ( t1 ) задается выражением

{

}

exp c ( t2 − t1 ) ( ψ ( z ) − 1) ,

т. е. распределение этой величины зависит лишь от t2 − t1 . Следовательно, процесс η ( t ) – однородный случайный процесс с независимыми приращениями и характеристической функцией   M exp ( izη ( t ) ) = exp ct ( ψ ( z ) − 1) = exp  ct ⋅ ∫ ( eizx − 1) dF ( x )  .  R  У т в е р ж д е н и е 4 . Для любого обобщенного случайного процесса Пуассона существует стохастически эквивалентный случайный процесс вида (14).

(

)

213

Пример 3. Случайный процесс броуновского движения. Рассмотрим частицу, которая движется в некоторой среде (жидкости или газе) под влиянием взаимодействий с частицами среды. Если среда однородна, то движение частицы из каждой точки среды в какой бы момент мы туда не попали, будет одинаковым в вероятностном смысле, т. е. смещение частицы ξ(t + h) − ξ(t ) за время h не должно зависеть ни от поведения до момента t , ни от момента t . Независимость движения после момента t от скорости в момент t противоречит, на первый взгляд, законам механики, однако на самом деле за очень малое время скорость так часто меняет свою величину, а движение – направление, что частица успевает «забыть» значение скорости в исходный момент времени. Очевидно также, что траектория двигающейся частицы ξ(t ) – непрерывная функция t . Непрерывный процесс с независимыми приращениями, на основании приведенных соображений, называется процессом броуновского движения. Мы рассмотрим однородное во времени броуновское движение, т. е. однородный непрерывный процесс с независимыми приращениями.

Иллюстрация в Mathematica типичной траектории блуждающей частицы на плоскости. Естественно попытаться построить непрерывный процесс из обобщенного процесса Пуассона с помощью предельного перехода, при котором число скачков процесса будет расти, а сами скачки будут уменьшаться в размере. Пусть υc ( t ) – пуассоновский процесс с пара-

метром c , а ξ1c ,..., ξcn ,... – последовательность независимых одинаково распределенных случайных величин, не зависящих от υ(ct ) и имеющих распределение F c . Положим ξc ( t ) =

υc ( t )

∑ξ k =1

c k

Исследуем поведение этого процесса при c → ∞ ( c – среднее число скачков в единицу времени). Величины ξck при этом стремятся к 0. Характеристическая функция процесса ξc ( t ) имеет вид   ϕc ( t , z ) = exp  ct ∫ ( eizx − 1) dF c ( x )   R  Используя соответствующие свойства характеристических функций, можно убедиться (см., также [10, с. 273]), что при c → ∞ характеристическая функция предельного процесса имеет вид   1  ϕ ( t , z ) = exp t  iaz − bz 2   , a ∈ R , b > 0 . (16) 2     214

Соображения, изложенные в примере 3, справедливы для любого непрерывного процесса, что подтверждает Теорема 2. Если ξ ( t ) – непрерывный однородный случайный процесс с непрерывными траекториями и независимыми приращениями, то его характеристическая функция имеет вид (16). Д о к а з а т е л ь с т в о . Покажем сначала, что для любого ε > 0 1 lim Ρ ξ ( h ) > ε = 0 (17) h →0 h Из непрерывности траекторий ξ ( t ) вытекает их равномерная непрерывность на любом конечном промежутке. Следовательно, max ξ ( kh ) − ξ ( ( k − 1) h ) → 0

(

)

kh 0

(

)

((

1 = lim Ρ max ξ ( kh ) − ξ ( ( k − 1) h ) ≤ ε = lim Ρ ξ ( h ) ≤ ε h→0

kh ε h→0

))

1 h  

=

  1 1   = exp − lim   Ρ ξ ( h ) > ε  = exp − lim Ρ ξ ( h ) > ε  .  h→0 h   h→0  h   Поскольку это выражение равно 1, то предел под знаком exp равен 0, т. е. справедливо (17). Как было показано в теореме 1, мера G имеет вид G ( A ) = G ( A − {0} ) , где G – слабый предел меры Gh при h → 0 . Из (17) вытекает, что для

(

)

(

)

всех A ⊂ { x : x > ε}

lim ∫ dGh ( x ) = 0 . h →0

A

Следовательно, G ( A ) = 0 для любого множества A , не содержащего

точки 0. Кроме того, по построению G ({0} ) = 0 . Таким образом,

G ( A ) = 0 для всех A и из теоремы 1 вытекает доказательство теоремы 2.

215

Однородный случайный процесс с независимыми приращениями, имеющий характеристическую функцию вида (16) мы будем называть процессом броуновского движения. Если в формуле (16) a = 0 , b = 1 , то случайный процесс с такой характеристической функцией назовем стандартным процессом броуновского движения. Иллюстрация в Mathematica. У п р а ж н е н и е 2 . Докажите, что если случайный процесс W ( t ) , t ≥ 0 удовлетворяет следующим условиям: 1) W (0) = 0 п. н.; 0 < t1 < ... < tn случайные величины 2) для любых W ( t1 ) , W ( t2 ) − W ( t1 ) , ..., W ( tn ) − W ( tn−1 ) независимы; 3) для любых t > s W ( t ) − W ( s ) ∈ N ( 0, t − s ) , то он является стандартным процессом броуновского движения. Теорема 3. Процесс броуновского движения имеет непрерывную модификацию. Д о к а з а т е л ь с т в о непосредственно вытекает из теоремы 1 предыдущего параграфа. § 3. Корреляционная теория случайных процессов

В настоящем параграфе будут рассмотрены случайные процессы, которые принимают комплексные значения, причем M ξ ( t ) < ∞, ∀t ∈ [ a; b ]. 2

Значения процесса ξ ( t ) в момент времени t мы интерпретируем, как элемент пространства L2 = L2 ( Ω, A , Ρ ) . С этой точки зрения процесс ξ ( t ) , t ∈ T , можно рассматривать как некоторую кривую в пространстве L2 . О п р е д е л е н и е 1 . Функция

(

)

B ( t , s ) = Mξ ( t ) ξ ( s ) = ξ ( t ) , ξ ( s ) , t , s ∈ T , называется ковариацией случайного процесса ξ ( t ) , t ∈ T .

У т в е р ж д е н и е 1 . Ковариация случайного процесса ξ ( t ) обладает следующими свойствами: 1) B ( t , t ) = M ξ ( t ) ≥ 0, t ∈ T ; B ( t , s ) = B ( s, t ), t , s ∈ T ; 2

2) B ( t , s ) ≤ B ( t , t ) B ( s, s ) , t , s ∈ T ; 2

216

3) B – положительно определенная функция, т. е. для любых комплексных чисел c1 ,… , cn и любых t1 ,… , tn ∈ T n

∑ c c B (t , t ) ≥ 0 .

k , r =1

k r

k

r

Д о к а з а т е л ь с т в о второго пункта вытекает из неравенства Коши – Буняковского, а для доказательства третьего пункта заметим, что n n  n  = ξ ξ c c B t , t M c t c t . ( ) ( ) ( )  ∑ kn k r k k ∑ r r  ∑  k , r =1 k r = 1 = 1   О п р е д е л е н и е 2 . Корреляционной функцией случайного процесса ξ ( t ) , t ∈ T , называют функцию R ( t , s ) = M ( ξ ( t ) − Mξ ( t ) ) ( ξ ( t ) − Mξ ( t ) ) .

О п р е д е л е н и е 3 . Случайный процесс ξ ( t ) , t ∈ T , называют а) непрерывным в среднеквадратическом в точке t , если l.i.m. ξ ( t + h ) = ξ ( t ) , h →0

т. е. lim Μ ξ ( t + h ) − ξ ( t ) = 0 . 2

h →0

б) дифференцируемым в среднеквадратическом в точке t , если существует предел ξ (t + h ) − ξ (t ) l.i.m. = ξ′ ( t ) . h →0 h Если процесс непрерывен (дифференцируем) в среднеквадратичном в каждой точке t ∈ T , то его называют непрерывным (дифференцируемым) в среднеквадратическом случайным процессом. У п р а ж н е н и е 1 . Докажите, что 1) для непрерывности в среднеквадратическом процесса ξ ( t ) в точке t необходимо и достаточно, чтобы B = (t ′,t ′) B ( t , t ) = B ( t ′, t ′ ) − B ( t ′, t ) − B ( t , t ′ ) + B ( t , t ) → 0 при t ′ → 0 ; 2) для среднеквадратической дифференцируемости процесса ξ ( t ) в точке t необходимо и достаточно, чтобы существовал предел ∂2 B (t, s ) ( t ′,t ′′) B ( t , t ) l.i.m. = , t ′ →t ,t ′′→ t ( t ′ − t )( t ′′ − t ) ∂t ∂s s =t

217

где

( t ′,t ′′) B

( t , t ) = B ( t ′, t ′′ ) − B ( t ′, t ) − B ( t , t ′′) + B ( t , t ) .

О п р е д е л е н и е 4 . Взаимной ковариацией (корреляционной функцией) двух процессов ξ ( t ) и η ( t ) , t ∈ T , называют функцию

(

)

Bξη ( t , s ) = Mξ ( t ) η ( s ) Rξη ( t , s ) = M ( ξ ( t ) − Mξ ( t ) ) ( η ( t ) − Mη ( t ) ) .

О п р е д е л е н и е 5 . Случайный процесс ξ ( t ) , t ∈ T , называют процессом с ортогональными приращениями, если для любых t1 < t2 ≤ t3 < t4 из T M ( ξ ( t4 ) − ξ ( t3 ) ) ( ξ ( t2 ) − ξ ( t1 ) ) = 0 .

Если ξ1 ( t ) = ξ ( t ) − Mξ ( t ) – процесс с ортогональными приращениями, то случайный процесс ξ ( t ) , t ∈ T , называют процессом с некоррелированными приращениями. Пусть ξ ( t ) , t ∈ T , – процесс с ортогональными приращениями и для некоторого t0 ∈ T ξ ( t0 ) ≡ 0 . Тогда для t0 < s < t из T B ( t , s ) = Mξ ( t ) ξ ( s ) = M ( ξ ( t ) − ξ ( s ) ) ( ξ ( s ) − ξ ( t 0 ) ) + + M ξ ( s ) = M ξ ( s ) = B ( s, s ) . Отсюда, учитывая, что B ( t , s ) = B ( s, t ) , получим следующее выражение для ковариации B ( t , s ) , t ≥ t0 , s ≥ s0 2

2

B ( t , s ) = B ( min ( t , s ) ) , где B ( t ) = B ( t , t ) = M ξ ( t ) . 2

Заметим, что функция B ( t ) монотонно не убывает. Действительно, пусть t > s > t0 . Тогда, в силу ортогональности процесса ξ ( t ) B ( t ) = M ξ ( t ) = M ξ ( t ) − ξ ( s ) + ξ ( s ) − ξ ( t0 ) = 2

2

= M ξ (t ) − ξ ( s ) + M ξ ( s ) = M ξ (t ) − ξ ( s ) + B ( s ) , 2

2

2

т. е. B ( t ) ≥ B ( s ) . З а м е ч а н и е 1 . Несложно видеть, что процесс с ортогональными приращениями ξ ( t ) , t ∈ T , будет непрерывным в среднеквадратическом тогда и только тогда, когда непрерывна функция B ( t ) , t ∈ T . Кроме того, процесс ξ ( t ) в среднеквадратическом дифференцируем в точке t тогда и только тогда, когда B′ ( t ) = 0 , так что, 218

вообще говоря, процесс с ортогональными приращениями не дифференцируем в среднеквадратическом. У п р а ж н е н и е 2 . Выясните, являются ли дифференцируемыми в среднеквадратическом процессы Пуассона и броуновского движения. Интегрирование случайных процессов

Во многих вопросах бывает нужным определить понятие интеграла. О п р е д е л е н и е 6 . Интегралом b

∫ ξ ( t ) dt

(1)

a

от процесса ξ ( t ) , t ∈ T = [ a; b ] , называют предел в среднеквадратическом l.i.m. при λ → 0 интегральных сумм n

Sλ′ = ∑ ξ ( tk ) ⋅ ∆tk , k =1

где a = t0 < t1 < … < tn = b, ∆tk = tk − tk −1 , λ = max ∆tk . 1≤ k ≤ n

З а м е ч а н и е 2 . Из определения и свойств ковариации случайного процесса непосредственно вытекают следующие утверждения: 1) для существования интеграла (1) достаточно, чтобы функция B ( t , s ) была интегрируема по Риману на квадрате a ≤ s, t ≤ b ; 2

b b b  2) M  ∫ ξ ( t ) dt  = ∫ ∫ B ( t , s ) dtds ; a a a  3) если t

η ( t ) = ∫ ξ ( u ) du , t ∈ T ,

(2)

a

то t s

Bη ( t , s ) = ∫∫ Bξ ( u , v ) dudv. a a

У т в е р ж д е н и е 2 . Пусть случайные процессы ξ ( t ) и η ( t ) , t ∈ T , связаны соотношением (2). В каждой точке t , в которой функция Bξ ( t , t ) непрерывна, процесс η ( t ) дифференцируем в среднеквадратическом и η′ ( t ) = ξ ( t ) . 219

Д о к а з а т е л ь с т в о . Имеем t +h η(t + h) − η(t ) 1 δ (t, h ) = − ξ ( t ) = ∫ ξ ( u ) − ξ ( t )  du . h h t Поэтому по неравенству Коши – Буняковского t +h t +h 2 1 M δ ( t , h ) = 2 ∫ ∫ M ( ξ ( u ) − ξ ( t ) ) ( ξ ( v ) − ξ ( t ) ) dudv ≤ h t t

)

(

(

t +h 2 1  ≤ 2  ∫ M ξ (u ) − ξ (t ) h  t

2

)

t +h  2 1 du  ≤ ∫ M ξ ( u ) − ξ ( t ) du . h t  Из непрерывности функции Bξ ( t , t ) в точке t вытекает, что при u → t 12

M ξ (u ) − ξ (t ) → 0 , 2

следовательно, lim M δ ( t , h ) = 0 . 2

h →0

Утверждение 2 доказано. Далее введем в рассмотрение интеграл b

I ( f ) = ∫ f (t ) d ξ (t ) , a

где f – неслучайная функция, ξ ( t ) , t ∈ T = [ a; b ] , – процесс с ортогональными приращениями. Потребуем, чтобы он обладал основными свойствами интегралов Римана – Стилтьеса или Лебега – Стилтьеса, а именно: 1) если f1 , f 2 – интегрируемые функции, а c1 , c2 – константы, то c1 f1 + c2 f 2 – интегрируемая функция и I ( c1 f1 + c2 f 2 ) = c1I ( f1 ) + c2 I ( f 2 ) , т. е. I – линейный функционал; 2) если f ( t ) = I[c , d ] ( t ) и точки c, d – точки непрерывности ξ ( t ) , то

(

)

I I[c , d ] = ξ ( d ) − ξ ( c ) ;

3) при определенных условиях можно переходить к пределу под знаком интеграла, т. е. если f n – некоторая сходящаяся последовательность интегрируемых функций, то при некоторых предположениях 220

(

)

lim I ( f n ) = I lim f n .

n →∞

n →∞

Для любых c, d ( a ≤ c < d < b ) положим по определению F ( c, d ) = M ξ ( d ) − ξ ( c ) . Несложно видеть, что эта функция аддитивна, т. е. если c1 < c2 < c3 , то F ( c1 , c3 ) = F ( c1 , c2 ) + F ( c2 , c3 ) . Поэтому F ( c, d ) как функция от d , d > c , монотонно не убывает, а как функция от c, c < d , монотонно не возрастает. Следовательно, множество точек разрыва функции F ( c, d ) по каждому аргументу в отдельности не более чем счетно, и односторонние пределы F ( c ±, d ± ) существуют при любых c и d . Отсюда вытекает, что при каждом t ∈ ( a, b ) существуют пределы в среднеквадратическом ξ ( t − ) = l.i.m. ξ ( s ) , ξ ( t + ) = l.i.m. ξ ( s ) , 2

s ↑t

s ↓t

причем процессы ξ ( t − ) и ξ ( t + ) являются процессами с ортогональными приращениями. При этом процессы ξ ( t − ) и ξ ( t + ) отличаются от ξ ( t ) не более чем на счетном множестве значений и процесс ξ ( t + ) ( ξ ( t − ) ) непрерывен в среднеквадратическом справа (слева). Поэтому можно считать, что процесс ξ ( t ) непрерывен в среднеквадратическом, например, справа. Тогда и функция F ( c, d ) будет непрерывна по каждому из своих аргументов. В дальнейшем будем считать процесс ξ ( t ) определенным на R (если процесс ξ ( t ) определен на ( a, b ) то его естественно можно продолжить на ( −∞, +∞ ) , положив ξ ( t ) = ξ ( a + ) при t ≤ a и ξ ( t ) = ξ ( b − ) при t ≥ b и при этом сформулированные ранее предположения остаются в силе), а функцию F ( c, d ) – конечной на каждом конечном интервале. Вместо F ( c, d ) будем писать F ( c, d ] . Назовем функцию f ( t ) простой, если n

f ( t ) = ∑ ck I ∆ k ( t ) , k =1

где ∆ k = ( ak , bk ] , k = 1, n, – не пересекаются, вал, вне которого f ( t ) ≡ 0 . 221

n k =1

∆ k – конечный интер-

Положим по определению (в соответствии с общими свойствами 1), 2) интеграла) I(f)=

+∞

n

−∞

k =1

∫ f (t ) d ξ (t ) = ∑ c

k

ξ ( bk ) − ξ ( ak )  .

(3)

Очевидно, что это определение корректно, причем n

MI ( f1 ) I ( f 2 ) = ∑ c1k ck2 F ( ak , bk ] ,

(4)

k =1

так как для любых простых функций f1 и f 2 полуинтервалы ∆ k можно сделать одинаковыми. По непрерывной справа аддитивной функции F ( a, b ] можно построить на R конечную или σ - конечную меру F ( ⋅) , определенную на пополнении σ - алгебры борелевских множеств на R и совпадающую с F ( a, b ] на полуинтервалах ( a, b ] . Равенство (4) можно записать следующим образом: MI ( f1 ) I ( f 2 ) =

+∞

∫ f ( t ) f ( t )dF ( t ) . 1

2

(5)

−∞

Обозначим через L n

∑c k =1

k

∆ξ 0

множество всех случайных величин вида

ξ ( bk ) − ξ ( ak ) , − ∞ < a1 < b1 ≤ a2 < b2 … < bn < ∞ ,

а через L 0 – множество всех простых функций на R . Пространство L 0∆ξ является линейным подпространством L2 . Обозначим его замы-

кание в L2 через L 2∆ξ ; оно является гильбертовым пространством со скалярным произведением ( ξ, η) = Mξη. Кроме того, рассмотрим замыкание линейного пространства L 0 по норме 12

 +∞  2 f F =  ∫ f ( t ) dF ( t )  ;  −∞  F F обозначим его L 2 . Как известно, L 2 состоит из всех BF - измеримых

функций f ( t ) , для которых +∞

∫

f ( t ) dF ( t ) < ∞ , 2

−∞

222

где BF – пополнение относительно меры F борелевской σ - алгебры B ( R ) , и также является гильбертовым пространством. Формула (3) устанавливает линейное соответствие между L 0 и L 0∆ξ . Оно взаимно однозначно. Действительно, из (5) следует равенство M I ( f1 ) − I ( f 2 ) =

+∞

∫

f1 ( t ) − f 2 ( t ) dF ( t ) . 2

(6)

−∞

Соответствие f → I ( f ) по формуле (6) изометрично. Следовательно, это соответствие можно по непрерывности продолжить до взаимно однозначного отображения L 2F в L 2∆ξ . Возьмем произвольную функцию f ∈ L 2F и рассмотрим последовательность f n ∈ L0 такую, что при n → ∞ f − fn F → 0 . Тогда последовательность f n фундаментальна в L 2F и такой же будет последовательность ηn = I ( f n ) в L 2∆ξ . Положим I ( f ) = l.i.m. I ( f n ) . n →∞

Этот предел не зависти от выбора последовательностей f n , следовательно, корректно О п р е д е л е н и е 7 . Случайную величину I ( f ) ( f ∈ L 2F ) называют стохастическим интегралом и пишут I(f)=

+∞

∫ f (t ) d ξ (t ) .

(7)

−∞

У т в е р ж д е н и е 3 . Стохастический интеграл (7) обладает следующими свойствами: +∞

a)

∫ I( ] ( t ) d ξ ( t ) = ξ ( b ) − ξ ( a ) ; a ,b

−∞ +∞

b)

+∞

+∞

∫ (α f (t ) + α f (t )) d ξ (t ) = α ∫ f (t ) d ξ (t ) + α ∫ f (t ) d ξ (t ) ; 1 1

2 2

1

−∞

1

2

−∞

+∞

+∞

+∞

−∞

−∞

−∞

c) M ∫ f1 ( t ) d ξ ( t ) ∫ f 2 ( t ) d ξ ( t ) = d) если f − f n

F

∫ f ( t ) f ( t )dF ( t ) ; 1

→ 0 при n → ∞ , то l.i.m. I ( f n ) = I ( f ) 223

2

−∞

2

и устанавливает взаимно однозначное соответствие между пространствами L 2F и L 2∆ξ . Стационарные случайные процессы

Важный класс случайных образуют стационарные случайные процессы. Так называют процессы, теоретико-вероятностные характеристики которых не меняются со временем. Можно еще сказать, что стационарные процессы – это процессы, которые протекают в не изменяющихся со временем условиях. Более точно это означает следующее. О п р е д е л е н и е 8 . Случайный процесс ξ ( t ) , t ∈ T , называется стационарным, если для любого n ∈ N и любых t , t1 ,… , tn таких, что t + tk ∈ T , совместное распределение случайных величин ξ ( t + t1 ) ,… , ξ ( t + tn ) не зависит от t . В тех задачах, где имеют значение только моменты первого и второго порядков рассматриваемых процессов, условие стационарности можно ослабить. О п р е д е л е н и е 9 . Случайный процесс ξ ( t ) , t ∈ T , называют слабо стационарным (стационарным в широком смысле, стационарным второго порядка) процессом, если Mξ ( t ) = m = const , M ( ξ ( t ) − m ) ( ξ ( s ) − m ) = R ( t − s ) .

Функцию R ( t ) называют корреляционной функцией процесса ξ (t ) , t ∈ T . Пример 1.Колебания со случайными параметрами. Во многих вопросах теории колебания рассматривают процессы вида n

ξ ( t ) = ∑ γ k eiuk t .

(8)

k =1

Совокупность частот uk , k = 1, n , рассматриваемых как множество точек на

R , называют спектром колебания процесса ξ ( t ) .

Введем некоторые термины, используемые при физической интерпретации случайных процессов. Если ξ ( t ) обозначает силу тока в момент времени t и имеется в виду энергия, рассеиваемая этим током на единичном сопротивлении, то естественными являются следующие определения. Энергией, переносимой случайным процессом ξ ( t ) в течение промежутка времени ( t1 , t2 ) называется величина 224

t2

∫ ξ (t )

2

dt ,

t1

а средней мощностью случайного процесса называется предел T

lim

T →∞

∫ ξ (t )

2

dt ,

−T

если он существует. Нетрудно вычислить среднюю мощность, переносимую случайным процессом (8). Имеем T T n 2 1 1 it u − u ξ ( t ) dt = γ k γr e ( k r ) dt = ∑ ∫ ∫ 2T −T 2T −T k , r =1 n n n sin T ( uk − ur ) 2 2 = ∑ γ k + ∑ γ k γr  → ∑ γk . T →∞ T ( uk − u r ) k =1 k , r =1 k =1 k ≠r

В дальнейшем будем считать комплексные амплитуды γ k случайными ве-

личинами. Тогда ξ ( t ) – случайный комплекснозначный процесс, t ∈ R .

Найти распределение ξ ( t ) по известным распределениям γ k сложно, но вычислить моменты первых двух порядков нетрудно. Пусть 2 Mγ k = 0, Mγ k γr = 0, k ≠ r , M γ k = ck2 ,

(9)

тогда n

Mξ ( t ) = 0, R ( t1 , t2 ) = ∑ ck2eiuk (t1 − t2 ) . k =1

Таким образом,

R ( t1 , t2 ) = R ( t1 − t2 ) ,

где n

R ( t ) = ∑ ck2 eiuk t .

(10)

k =1

Следовательно, при выполнении условий (9), ξ ( t ) – стационарный в широком смысле случайный процесс, и его корреляционная функция задается формулой (10). Эту формулу называют спектральным представлением корреляционной функции. Она определяет спектр случайного процесса, т. е. совокупность частот uk , k = 1, n, гармонических колебаний, составляющих процесс ξ ( t ) и математические ожидания ck2 средних мощностей.

Назовем спектральной функцией F ( u ) процесса (8) функцию F (u ) =

∑c

2 k

.

k uk ≤ u

С помощью спектральной функции корреляционная функция запишется в виде

225

R (t ) =

+∞

∫e

iut

dF ( u ) .

(11)

−∞

П р и м е р 2 . Пусть F ( x ) , x ∈ R, – произвольная монотонно неубывающая непрерывная справа функция, F ( −∞ ) = 0, F ( +∞ ) = σ 2 > 0 . Введем случайную ве1 F ( x ) и определим случайный процесс σ2 ξ ( t ) = σ exp {i ( t ξ + ϕ )} ,

личину ξ с функцией распределения

где ϕ – равномерно распределенная на [ 0, 2π] случайная величина, независимая с ξ . Тогда Mξ ( t ) =

∞ 2π

∫ ∫ σe

i ( tu +τ )

−∞ 0

R ( t1 , t2 ) = Mξ ( t1 ) ξ ( t2 ) = σ где R ( t ) имеет вид (11).

∞

2

∫e

1 dτ dF ( u ) = 0, 2 σ 2π i ( t1 − t2 )u

−∞

1 dF ( u ) = R ( t1 − t2 ), σ2

Теорема 1 (Хинчин). Для того, чтобы функция R ( t ) была корреляционной функцией непрерывного в среднеквадратическом слабо стационарного процесса необходимо и достаточно, чтобы она допускала представление (11), где F – ограниченная монотонно неубывающая непрерывная справа функция. Доказательство. Н е о б х о д и м о с т ь . Из утверждения 1 и упражнения 1 вытекает, что R ( t ) положительно определенная функция, следовательно она по теореме Бохнера – Хинчина (см. гл. 5 § 1), с точностью до множителя, является характеристической функцией некоторого распределения, т. е. имеет место представление (11). Д о с т а т о ч н о с т ь . Если функция R ( t ) имеет вид (11), то она является корреляционной функцией некоторого слабо стационарного процесса, например, процесса из примера 2, который непрерывен в среднеквадратическом в силу упражнения 1. Теорема 1 доказана. З а м е ч а н и е 3 . Функция F ( u ) , u ∈ R, в формуле (11) опре-

деляется через функцию R ( t ) однозначно (см. теорему единственности из § 2 гл. 5). О п р е д е л е н и е 1 0 . Функцию F ( u ) , u ∈ R, из формулы (11) называют спектральной функцией слабо стационарного процесса. Если F ( u ) , u ∈ R, – абсолютно непрерывная функция, т. е. 226

F (u ) =

u

∫ f ( v ) dv ,

−∞

то функцию f ( u ) , u ∈ R, называют спектральной плотностью процесса. З а м е ч а н и е 4. Если ∞

∫ R ( t ) dt < ∞ ,

−∞

то (см., напр., гл.5, § 2), ∞

1 f (u ) = e − iut R ( t ) dt , ∫ 2π −∞ т. е. спектральная плотность совпадает с обратным преобразованием Фурье корреляционной функции. З а м е ч а н и е 5. Понятие стационарности и слабой стационарности можно, очевидным образом, применить и к последовательности случайных величин. Так последовательность ξ1 , ξ2 ,… называют слабо стационарной, если Mξk = m, M ( ξ k + n − m )( ξ k − m ) = Rn , k = 1,2,…; n = 1, 2,… В этом случае последовательность чисел Rn , n ≥ 1, называют корреляционной функцией исходной последовательности. Несложно показать (см., также, теорему 12, §7, гл. VI из [10]), что 2π

Rn =

∫e

inu

dF ( u ) ,

0

где F – непрерывная справа монотонно неубывающая ограниченная функция. Ее называют спектральной функцией, а ее производную (если она существует) – спектральной плотностью исходной последовательности. Теорема 3. [10]. Пусть ξ ( t ) , t ∈ R, – слабо стационарный случайный процесс со спектральной функцией F ( u ) , u ∈ R , M ξ ( t ) ≡ 0 . Тогда существует процесс с ортогональными приращениями ς ( u ) , u ∈ R , такой, что M ς ( u ) = F ( u ) , u ∈ R, 2

и 227

ξ (t ) =

∞

∫e

iut

dς ( u ) .

(12)

−∞

Формулу (12) называют спектральным разложением процесса ξ ( t ) , а функцию ς ( u , v ) = ς ( v ) − ς ( u ) , u < v, – стохастической спектральной мерой процесса ξ ( t ) , t ∈ R . § 4. Марковские случайные процессы

Марковские процессы с дискретным временем (цепи Маркова) рассматривались в главе 2. Напомним, что главным в определении таких процессов было свойство независимости «будущего» процесса от его «прошлого», если фиксировано его «настоящее». Этот же принцип лежит в основе определения марковского процесса и в общем случае. Пусть ( Ω, A , Ρ ) – вероятностное пространство, на котором задан случайный процесс ξ ( t ) , t ≥ 0 . Обозначим Ft = σ{ξ ( u ) ; u ≤ t} , F[t ,∞ ) = σ {ξ ( u ) ; u ≥ t} , так что величина ξ ( u ) измерима относительно F при u ≤ t и относи-

{

}

тельно F[t ,∞ ) при u ≥ t , σ-алгебра σ Ft , F[t ,∞ ) может совпадать с

.

О п р е д е л е н и е 1 . Случайный процесс ξ ( t ) , t ≥ 0, называется марковским, если для любых t ≥ 0 , A∈ Ft , B ∈ F[t ,∞ )

(

) (

) (

Ρ AB ξ ( t ) = Ρ A ξ ( t ) ⋅ Ρ B ξ ( t )

)

(1)

Приведем еще одно эквивалентное определение марковского процесса (доказательство эквивалентности можно найти, например, в [2]). О п р е д е л е н и е 2 . Случайный процесс ξ ( t ) , t ≥ 0, называется марковским, если для любой ограниченной борелевской функции f и любых t1 < t2 < .. < tn ≤ t

(

)

(

Μ f ( ξ ( t ) ) ξ ( t1 ) ,..., ξ ( tn ) = Μ f ( ξ ( t ) ) ξ ( tn )

)

(2)

Пусть по определению P ( s , x, t , B ) = Ρ ( ξ ( t ) ∈ B | ξ ( s ) = x ) и эта функция является абсолютно непрерывной, т. е. допускает представление 228

P ( s, x, t , B ) = ∫ p ( s, x, t , y ) dy, ∀B ∈ B ( R ) . B

У т в е р ж д е н и е 1 . Если ξ ( t ) , t ≥ 0, – марковский случайный процесс, то P ( s, x, t , B ) = ∫ P ( s, x, u, dy ) ⋅ P ( u, y, t , B ) (3) R

и

p ( s, x, t , z ) = ∫ p ( s, x, u , y ) ⋅ p ( u , y, t , z ) dy

(4)

R

Уравнения (3), (4) носят название уравнений Колмогорова– Чепмена, функция P ( s, x, t , B ) называется переходной функцией (или вероятностью) процесса ξ ( t ) , а функция p ( s, x, t , y ) – переходной плотностью. Д о к а з а т е л ь с т в о . В силу марковости процесса ξ ( t ) имеем для u > s P ( s , x, t , B ) = Ρ ξ ( t ) ∈ B ξ ( s ) = x =

(

) = ∫ Ρ ( ( ξ ( t ) ∈ B ∩ ξ ( u ) = y ) ξ ( s ) = x ) dy = R

=∫

Ρ (ξ (t ) ∈ B ∩ ξ (u ) = y ∩ ξ ( s ) = x ) Ρ (ξ( s ) = x)

R

dy =

Ρ ξ (u ) = y ∩ ξ ( s ) = x ) ( Ρ ( ξ ( s ) = x ) ) dy =

(

= ∫ Ρ ξ (t ) ∈ B ξ (u ) = y ∩ ξ ( s ) = x ⋅ R

(

) (

)

= ∫ Ρ ξ ( t ) ∈ B ξ ( u ) = y ⋅ Ρ ξ ( u ) = y ξ ( s ) = x dy = R

= ∫ P ( s, x, u , dy ) ⋅ P ( u , y, t , B ). R

Равенство (3) доказано. Аналогично доказывается равенство (4). Выясним теперь, какими свойствами должна обладать функция P ( s, x, t , B ) , чтобы нашелся марковский процесс ξ ( t ) , для которого

(

)

P ( s , x, t , B ) = Ρ ξ ( t ) ∈ B ξ ( s ) = x .

О п р е д е л е н и е 3. Функция P ( s, t , x, B ) называется переходной функцией на измеримом пространстве ( X , BX ) , если она удовлетворяет следующим условиям: 229

1) P ( s, x, t , B ) как функция от B есть распределение вероятностей при каждых s ≤ t , x ∈ X ; 2) P ( s, x, t , B ) измерима по x при каждых s ≤ t и B ∈ BX ; 3) при 0 ≤ s < u < t и при всех x , B из BX справедливо равенство (3); 4) P ( s, x, t , B ) = I X ( B ) при s = t . В этом определении свойства 1) и 2) обеспечивают функции P ( s, x, t , B ) возможность быть условным распределением. Зададим теперь с помощью P ( s, x, t , B ) конечномерные распределения некоторого процесса ξ ( t ) с начальным условием ξ ( 0 ) = a по формуле Ρ ( ξ ( t1 ) ∈ dy1 ,..., ξ ( tn ) ∈ dyn ) = (5) = P ( 0, a, t1 , dy1 ) ⋅ P ( t1 , y1 , t2 , dy2 ) ...P ( tn−1 , yn−1 , tn , dyn ) . В силу свойств 3) и 4) эти распределения согласованы и, значит, определяют ξ ( t ) на ( RT , BRTT ) . По формуле (5) и правилу (2)

(

)

Ρ ξ ( tn ) ∈ Bn ( ξ ( t1 ) ,..., ξ ( tn−1 ) ) = ( y1 ,..., yn−1 ) = P ( tn−1 , yn−1 , tn , Bn )

Итак, в силу определения 2 мы построили марковский процесс, для которого P ( s , x, t , B ) = Ρ ξ ( t ) ∈ B ξ ( s ) = x .

(

)

О п р е д е л е н и е 4. Марковский процесс ξ ( t ) называется однородным, если P ( s, x, t , B ) как функция s и t зависит лишь от разности t − s: P ( s , x , t , B ) = P ( t − s , x, B ) . Это есть вероятность за время t − s попасть из x в B . Нетрудно видеть, что пуассоновский процесс и процесс броуновского движения являются однородными марковскими процессами. Рассмотрим один важный класс марковских процессов с непрерывными траекториями. О п р е д е л е н и е 5. Однородный марковский процесс ξ ( t ) в

( R, B ) R

с переходной функцией P ( t , x, B ) называется диффузионным,

если 230

1 y ⋅ P ( ∆, x, dy ) = a ( x ) ; ∆→0 ∆ ∫ R 1 2) lim ∫ y 2 ⋅ P ( ∆, x, dy ) = b 2 ( x ) ; ∆→0 ∆ R 3) при каких-нибудь δ > 0 , c < ∞ 1) lim

∫y

2+δ

1+

P ( ∆, x, dy ) < c ⋅ ∆

δ 2

.

R

Обозначим ∆ξ ( t ) = ξ ( t + ∆ ) − ξ ( t ) . Тогда приведенные условия можно записать в виде Μ ∆ξ ( t ) ξ ( t ) = x ∼ ∆ ⋅ a ( x) ,

(

( Μ ( ( ∆ξ ( t ) )

)

)

Μ ( ∆ξ ( t ) ) ξ ( t ) = x ∼ ∆ ⋅ b 2 ( x) , 2

2+δ

)

1+

ξ (t ) = x ∼ c ⋅ ∆

δ 2

.

Коэффициенты a ( x) и b( x) называют соответственно коэффициентами сноса и диффузии. Условие 3) есть некий аналог условия Ляпунова. Его можно заменить на условие

(

)

3a) Μ ( ∆ξ ( t ) ) ; ξ ( t ) > ε = o ( ∆ ) при любом ε > 0 . 2

Из условия 3) и теоремы Колмогорова непосредственно вытекает, что диффузионный процесс ξ ( t ) можно рассматривать как процесс с непрерывными траекториями. П р и м е р 1. Стандартный процесс броуновского движения W ( t ) являет-

ся диффузионным процессом, так как для него − 1 P ( t , x, B ) = e ∫ 2πt B

( x − y )2 2t

dy ,

Μ∆W ( t ) = 0 , Μ ∆W ( t ) = ∆ , Μ ∆W ( t ) = 3∆ 2 . 2

4

Отметим, что распределение диффузионного процесса однозначно определяется коэффициентами сноса и диффузии. Это доказывает следующая теорема. Теорема 1 (Обратное уравнение Колмогорова). Если переходные вероятности P ( t , x, B ) диффузионного процесса дважды непрерывно дифференцируемы по x, то они дифференцируемы по t и удовлетворяют уравнению 231

∂P ∂P b 2 ∂ 2 P (6) = a⋅ + ⋅ ∂t ∂x 2 ∂x 2 и начальному условию P ( 0, x, B ) = I B ( x ) . З а м е ч а н и е 1 . Условия теоремы на гладкость переходных функций P на самом деле могут быть доказаны в предположении непрерывности a и b и условий b > 0 , a ≤ c ⋅ ( x + 1) , b 2 ≤ c ⋅ ( x + 1) . Д о к а з а т е л ь с т в о . Обозначим для краткости через Pt′ , Px′ , Px′′2 соответствующие частные производные функции P и воспользуемся разложением 2 y − x) ( ⋅ Px′′2 + P ( t , y, B ) − P ( t , x, B ) = ( y − x ) ⋅ Px′ + 2 (7) 2 ( y − x )  P′′ t , y , B − P′′ t , x, B  , y ∈ x, y . + ) 0 ( )  x2 ( 0 ) x2 ( 2 Тогда в силу уравнения Колмогорова–Чепмена P ( t + ∆ , x, B ) − P ( t , x , B ) =

= ∫ P ( ∆, x, dy ) ⋅ ( P ( t , y, B ) − P ( t , x, B ) ) =

(8)

R

b2 ( x ) = a ( x ) ⋅ Px′ ⋅ ∆ + ⋅ Px′′2 ⋅ ∆ + o ( ∆ ) + R∆ , 2 где

R∆ = ∫ R

=

∫

y − x ≤ε

+

∫

y − x >ε

( y − x)

2

2

( y − x)

2

2

( y − x) 2

2

 Px′′2 ( t , y0 , B ) − Px′′2 ( t , x, B )  P ( ∆, x, dy ) =  Px′′2 ( t , y0 , B ) − Px′′2 ( t , x, B )  P ( ∆, x, dy ) +  Px′′2 ( t , y0 , B ) − Px′′2 ( t , x, B )  P ( ∆, x, dy ) .

Первый интеграл здесь в силу непрерывности функции Px′′2 не превосходит  b2 ( x )  δ(ε) ⋅  + o ( ∆ ) ,  2 

232

δ ( ε ) → 0 при ε → 0 ; второй интеграл по условию 3а) есть o ( ∆ ) при ∆ → 0 . Таким образом, в силу произвольности ε R∆ = o ( ∆ ) , ∆ → 0, и из вышеприведенного следует, что существует P ( t + ∆ , x, B ) − P ( t , x , B ) b2 ( x ) = a ( x ) ⋅ Px′ + ⋅ Px′′2 . lim ∆→0 ∆ 2 Теорема доказана. З а м е ч а н и е 2. Из теории дифференциальных уравнений известно, что при широких предположениях о коэффициентах a и b и при B = ( −∞, z ] , z ∈ R, задача Коши (6) имеет единственное решение P , бесконечное число раз дифференцируемое по t , x и z . Отсюда в частности следует, что P ( t , x, B ) имеет плотность p ( t , x, z ) , являющуюся фундаментальным решением (6). З а м е ч а н и е 3. Из теоремы 1 нетрудно получить, что вместе с P ( t , x, B ) уравнению (6) будет удовлетворять функция u ( t , x ) = ∫ ϕ ( z ) ⋅ P ( t , x, dz ) R

для любой гладкой функции ϕ с конечным носителем. Мы рассматривали в доказательстве теоремы 1 приращение времени, предшествующее основному интервалу. В связи с этим уравнения (6) называются обратными уравнениями Колмогорова. Аналогичным образом могут быть получены прямые уравнения Колмогорова. Теорема 2. (Прямое уравнение Колмогорова) Пусть переходная плотность p ( t , x, y ) такова, что существуют непрерывные производные ∂ ∂2 2  a ( y ) ⋅ p ( t , x, y )  , 2 b ( y ) ⋅ p ( t , x, y )  . ∂y  ∂y Тогда p ( t , x, y ) удовлетворяет уравнению ∂p ∂ 1 ∂2 2 b ( y ) ⋅ p ( t , x, y )  . = −  a ( y ) ⋅ p ( t , x, y )  + (9) 2 ∂y 2  ∂t ∂y Д о к а з а т е л ь с т в о . Пусть ϕ ( y ) – гладкая функция с ограниченным носителем, u ( t , x ) = ∫ ϕ ( y ) ⋅ p ( t , x, y ) dy. R

Тогда 233

u ( t + ∆, x ) − u ( t , x ) = (10)   = ∫ p ( t , x, z ) ⋅  ∫ p ( ∆, z , y ) ⋅ ϕ ( y ) dy − ∫ p ( ∆, z , y ) ⋅ ϕ ( z ) dy  dz R  R R Если воспользоваться разложением в ряд ϕ ( y ) − ϕ ( z ) , то для выражения в квадратных скобках из (10) , аналогично тому, как это было в доказательстве теоремы 1, получим   b2 ( z ) ′ ′′ a z ⋅ ϕ z + ⋅ ϕ z ( ) ( ) ( )   ⋅ ∆ + o ( ∆ ) , ∆ → 0. 2   Отсюда следует, что существует частная производная функции u по переменной t и 1 ∂u   = ∫ p ( t , x, z ) ⋅  a ( z ) ⋅ ϕ′ ( z ) + b 2 ( z ) ⋅ ϕ′′ ( z )  dz. 2 ∂t R   Используя интегрирование по частям, получим  ∂  ∂u 1 ∂2 2 = ∫  − ( a ( z ) p ( t , x, z ) ) + b ( z ) p ( t , x, z ) )  ϕ ( z ) dz. 2 ( ∂t R  ∂z 2 ∂z  Из последнего соотношения в силу произвольности функции ϕ приходим к доказательству теоремы 2. П р и м е р 2 . Процесс Орнштейна–Уленбека. Пусть  1 − e −2 at  ξ ( t ) = x e at + σ e a t W   , t ≥ 0,  2a 

где W ( t ) – стандартный процесс броуновского движения. Этот процесс является однородным диффузионным процессом с переходной плотностью  ( y − x e at )2  1   p ( t , x, y ) = exp − , 2 2σ t  σ ( t ) 2π   где σ 2 2 at ( e − 1) . 2a Несложно убедиться в том, что переходная плотность удовлетворяет прямому и обратному уравнениям Колмогорова с коэффициентами a ( x ) = ax , σ2 ( t ) =

b ( x ) = σ 2 = const .

234

ДОПОЛНЕНИЯ К ГЛАВЕ 7 § 1. Обобщенные случайные процессы Обобщенный случайный процесс. Одной из целей теории случайных процессов является построение различных моделей случайных процессов, исходя из простейших процессов. В некоторых отношениях простейшим процессом является процесс, называемый «белым шумом». К сожалению, даваемые определения этого процесса часто, особенно в технической литературе, бывают неудовлетворительными. Сам термин «белый шум» должен означать, что этот процесс является стационарным, все гармонические составляющие которого входят с одинаковой интенсивностью, т. е. если F ( u ) – спектральная функция процесса, то долж-

но быть F ( u ) = Jdu . Однако в этом случае формула, дающая спектральное представление корреляционной функции процесса, лишена смысла. Часто определяют «белый шум» как действительный стационарный процесс с некоррелированными значениями, полагая Μ ξ ( t ) ξ ( s ) = 0 при t ≠ s Μ ξ ( t ) = ∞. 2

Это определение также неудовлетворительно. Иногда говорят, что «белый шум» – это производная от винеровского процесса. Но винеровский процесс не дифференцируем. Все же, несмотря на явную логическую противоречивость приведенных определений, они содержат в себе существенную и важную информацию о «белом шуме», и можно дать разумное определение «белого шума», при котором он обладает тремя перечисленными выше качествами. Разумеется, определенный при этом объект не является случайным процессом в обычном смысле этого слова, а обобщенным случайным процессом, обобщающим понятие случайного процесса в том же смысле, в котором понятие обобщенной функции (или распределения по Л. Шварцу) обобщает понятие обычной функции. В дальнейшем мы ограничимся лишь самыми необходимыми определениями и свойствами обобщенных случайных процессов. Пусть φ ( t ) – функция, определенная на вещественной прямой R . Носителем функции φ ( t ) называют наименьшее замкнутое множество, вне которого φ ( t ) равно нулю. Введем пространство D – пространство всех комплекснознач-

ных бесконечно дифференцируемых функций на R с ограниченным носителем. В пространстве D следующим образом введем топологию: последовательность ϕn , ϕn ∈ D, n = 1, 2,… , сходится к ϕ ∈ D , если: а) все носители функций ϕn содержатся в некотором ограниченном множестве; б) ϕn вместе со всеми производными ϕ(nk ) равномерно сходятся к ϕ и к соответствующим производным ϕ( k ) , k = 1, 2,….

235

Подпространство D , состоящее из действительных функций ϕ , обозначим Dr .

1 . Обобщенным случайным процессом Λ ( ϕ ) или

Определение

Λ, ϕ называют случайный линейный непрерывный функционал, определенный на

D . Это означает, что каждому ϕ ∈ D поставлена в соответствие некоторая случайная величина Λ ( ϕ ) (вообще говоря, комплекснозначная), определенная на

фиксированном вероятностном пространстве ( Ω, A , Ρ ) , так что: а) Λ ( c1ϕ1 + c2 ϕ2 ) = c1Λ ( ϕ1 ) + c2 Λ ( ϕ2 ) для любых ϕi ∈ D и констант ci , i = 1, 2. б) если ϕn сходится к ϕ в D , то Λ ( ϕn ) сходится по вероятности к Λ ( ϕ ) . В настоящей главе рассматриваются только обобщенные случайные процессы Λ ( ϕ ) , удовлетворяющие условиям: а) для всех ϕ ∈ D Μ Λ ( ϕ ) < ∞ , 2

б) если ϕn → ϕ в D , то Μ Λ ( ϕn ) − Λ ( ϕ ) → 0 , т. е. Λ ( ϕ ) = l.i.m.Λ ( ϕn ) . 2

Поэтому, говоря в дальнейшем об обобщенном случайном процессе, мы будем всегда предполагать, даже если это явно не выражено, что условия а), б) выполнены. Пусть ξ ( t ) непрерывный в среднеквадратическом процесс. Положим ∞

ξ, ϕ =

∫ ξ ( t ) ϕ ( t ) dt.

(1)

−∞

Этот интеграл имеет смысл, причем Μ ξ, ϕ

2

∞ ∞

∫ ∫ ϕ ( t ) B ( t , s ) ϕ ( s ) dt ds,

=

−∞ −∞

где B ( t , s ) – ковариация процесса ξ ( t ) . Если ϕn → ϕ в D , то Μ Λ ξ , ϕ − ϕn

2

a

≤

a

∫ B ( t , t ) dt ∫ ϕ − ϕ

−a

2 n

dt → 0,

−a

где ( − a, a ) – интервал, содержащий все носители функций ϕn . Итак, каждый непрерывный в среднеквадратическом случайный процесс порождает обобщенный процесс ξ, ϕ , удовлетворяющий условиям а) и б). Отметим, что обобщенный процесс

ξ, ϕ однозначно определяет процесс ξ ( t ) . Действительно, если суще-

ствуют два непрерывных в среднеквадратическом процесса ξ ( t ) и η ( t ) , которым соответствует, согласно формуле (1), один и тот же обобщенный процесс ξ, ϕ , то ∞

∫ ζ ( t ) ϕ ( t ) dt = 0

−∞

для каждой ϕ ∈ D , где ζ ( t ) = ξ ( t ) − η ( t ) . Отсюда 236

∞ ∞

∫ ∫ ϕ ( t ) B ( t , s ) ϕ ( s ) dt ds = 0

(2)

ζ

−∞ −∞

для любого ϕ ∈ D . Если при некотором t0 выполняется неравенство Bζ ( t0 , t0 ) > 0 , то, на основании непрерывности функции Bζ ( t , s ) , можно найти такое h , что Re Bζ ( t , s ) > 0 при t − t0 < h, s − t0 < h. Существует функция ϕ0 ∈ D , такая, что ϕ ( t ) ≡ 0 при t − t0 ≥ h и ϕ ( t ) > 0 при t − t0 < h . Тогда ∞ ∞

∫ ∫ ϕ ( t ) Re B ( t , s ) ϕ ( s ) dt ds > 0, ζ

−∞ −∞

что противоречит (2). Итак, Bζ ( t , t ) = 0 для любых t > 0 и ζ ( t ) = ξ ( t ) − η ( t ) = 0 с вероятностью 1 при каждом t . Следовательно, обобщенный процесс Λ , если он имеет вид ξ, ϕ , однозначно определяет процесс ξ ( t ) . В дальнейшем мы часто будем отождествлять непрерывный в среднеквадратическом случайный процесс ξ ( t ) с порождаемым им обобщенным случайным процессом ξ ( ϕ ) = ξ, ϕ и говорить в этом случае, что обобщенный процесс ξ ( ϕ ) является процессом обычного типа.

Для обобщенного случайного процесса Λ ( ϕ ) введем два функционала на

D . Первый из них

m ( ϕ ) = ΜΛ ( ϕ )

называют средним значением процесса Λ . Очевидно, он линеен и непрерывен на D. Ковариацией обобщенного случайного процесса называют функционал B ( ϕ, ψ ) = ΜΛ ( ϕ ) Λ ( ψ ) . Он билинеен

B ( a1ϕ1 + a2 ϕ2 , ψ ) = a1 B ( ϕ1 , ψ ) + a2 B ( ϕ2 , ψ ) ,

B ( ϕ, a1ψ1 + a2 ψ 2 ) = a1 B ( ϕ, ψ1 ) + a2 B ( ϕ, ψ 2 ) , симметричен B ( ϕ, ψ ) = B ( ψ, ϕ ) и непрерывен в D : из ϕn → ϕ и ψ n → ψ в D вытекает B ( ϕn , ψ n ) → B ( ϕ, ψ ) .

Для доказательства непрерывности ковариации замечаем, что при ϕn → ϕ , ψ n → ψ (в D )

(

)

B ( ϕn , ψ n ) − B ( ϕ, ψ ) = Μ Λ ( ϕn ) Λ ( ψ n ) − Λ ( ϕ ) Λ ( ψ ) = = Μ ( Λ ( ϕ ) − Λ ( ϕ n ) ) ( Λ ( ψ ) − Λ ( ψ n ) ) − Λ ( ϕ ) ( Λ ( ψ ) − Λ ( ψ n ) ) −  237

− ( Λ ( ϕ ) − Λ ( ϕn ) ) Λ ( ψ )  ≤ 

(

≤ Μ Λ ( ϕ ) − Λ ( ϕn ) Μ Λ ( ψ ) − Λ ( ψ n ) 2

(

+ Μ Λ ( ϕ) Μ Λ ( ψ ) − Λ ( ψ n )

(

2

+ Μ Λ ( ϕ ) − Λ ( ϕn ) Μ Λ ( ψ ) 2

)

2 12

)

2 12

)

2 12

+

+

→0

на основании свойства непрерывности обобщенного процесса. Аналогичными свойствами обладает корреляционный функционал R ( ϕ, ψ ) обобщенного случайного процесса, R ( ϕ, ψ ) = Μ ( Λ ( ϕ ) − m ( ϕ ) ) ( Λ ( ψ ) − m ( ψ ) ) = = B ( ϕ, ψ ) − m ( ϕ ) m ( ψ ). Если обобщенный процесс Λ ( ϕ ) является процессом обычного типа, Λ ( ϕ ) = ξ, ϕ , то для ковариационного функционала имеем следующее выраже-

ние: B ( ϕ, ψ ) =

∞ ∞

∫ ∫ ϕ ( t ) B ( t , s )ψ ( s ) dt ds,

(3)

−∞ −∞

где B ( t , s ) –ковариация процесса ξ ( t ) . Заметим еще, что билинейный симметрический функционал B ( ϕ, ψ ) однозначно восстанавливается по квадратическому B ( ϕ, ϕ ) .

Характеристический функционал обобщенного случайного процесса. Характеристическим функционалом действительного обобщенного случайного процесса Λ ( ϕ ) называют обобщенную функцию Φ ( ϕ ) в D , определяемую ра-

венством

Φ ( ϕ ) = Μ exp ( iΛ ( ϕ ) ) ,

где ϕ ∈ D –действительная функция ( ϕ∈ Dr ) .

Очевидно, характеристический функционал однозначно определяет всевозможные совместные распределения величин Λ ( ϕ1 ) , Λ ( ϕ2 ) , … , Λ ( ϕn ) . (4) В самом деле, характеристическая функция Φ n ( u1 , u2 ,… , un ) совместного распределения последовательности случайных величин (4) равна Φ ( u1ϕ1 + … + un ϕn ) , и она однозначно определяет распределение этих величин. Действительный обобщенный случайный процесс называют гауссовским, если 1   Φ ( ϕ ) = exp  im ( ϕ ) − R ( ϕ, ϕ )  , 2   238

где m ( ϕ ) – некоторый линейный непрерывный в D функционал, а R ( ϕ, ψ ) – действительный билинейный симметричный непрерывный в D функционал, такой, что R ( ϕ, ϕ ) ≥ 0 для всех ϕ ∈ D . Если ξ ( t ) – обычный действительный гауссовский непрерывный в среднеквадратическом процесс с Μξ ( t ) = m ( t ) ,

Μ ( ξ (t ) − m (t )) ( ξ ( s ) − m ( s )) = R (t, s ) ,

то функции m ( t ) и R ( t , s ) непрерывны (и обратно, если m ( t ) и R ( t , s ) непрерывны, то процесс ξ ( t ) непрерывен в среднеквадратическом), и порождаемый им обобщенный процесс ξ, ϕ является гауссовским. Дифференцирование обобщенных процессов. Определим понятие проdΛ изводной обобщенного случайного процесса. dt dΛ называют обобщенный случайный проО п р е д е л е н и е 2 . Производной dt цесс dΛ dϕ , ϕ = − Λ, , (5) dt dt

и вообще k-й производной

dkΛ обобщенного процесса Λ называют процесс dt k d kΛ d kϕ k , 1 , . ϕ = − Λ ( ) dt k dt k

(6)

Очевидно, если Λ – обобщенный процесс, то все его производные также являются обобщенными случайными процессами. Предположим, что обобщенный случайный процесс Λ ( ϕ ) = ξ, ϕ является процессом обычного типа, причем, процесс ξ ( t ) непрерывно дифференцируем. Нетрудно убедиться, что для рассматриваемых интегралов остается справедливой формула интегрирования по частям +∞ +∞ dϕ t dt ξ = ( ) ∫ ∫ ξ ' ( t ) ϕ ( t )dt. dt −∞ −∞ Следовательно, в рассматриваемом случае +∞ d Λξ , ϕ = − ∫ ξ ' ( t ) ϕ ( t ) dt , dt −∞

239

d Λξ

порождается процессом ξ ' ( t ) . Таким образом, dt определение производной обобщенного случайного процесса согласовано с определением среднеквадратической производной обычного среднеквадратического дифференцируемого случайного процесса. С другой стороны, произвольный обобщенный случайный процесс всегда обладает производными любого сколь угодно высокого порядка, которые также являются обобщенными случайными процессами. Из определения гауссовского обобщенного процесса непосредственно вытекает, что его производные любого порядка также являются гауссовскими обобщенными процессами. Приведенное определение обобщенного случайного процесса может быть применено и к тому случаю, когда случайные величины Λ ( ϕ ) вырождаются в констант. е. обобщенный процесс

ты: Λ ( ϕ ) = ΜΛ ( ϕ ) = L ( ϕ ) . Такой вырожденный обобщенный случайный процесс называют обобщенной функцией. Итак, обобщенная функция L = L ( ϕ ) = L, u – это линейный непрерывный функционал на D . Если L ( ϕ) =

+∞

∫ l ( t ) ϕ ( t ) dt ,

−∞

где l ( t ) – непрерывная (или даже произвольная измеримая функция, интегрируемая на произвольном конечном отрезке), то L ( ϕ ) называют обобщенной функцией обычного типа и отождествляют с l ( t ) . Производные от обобщенных функций определяются равенствами (5) и (6) точно так же, как и производные обобщенных случайных процессов. Простейшим примером обобщенной функции, не являющейся функцией обычного типа, является δ - функция Дирака, она определяется равенством δ ( ϕ) = ϕ ( 0) . δ -функцией в точке a называют обобщенную функцию δ a , для которой δa ( ϕ ) = ϕ ( a ) .

Часто обобщенную функцию δ a ( ϕ ) записывают в виде δa ( ϕ ) =

+∞

∫ δ ( t − a ) ϕ ( t ) dt.

(7)

−∞

При этом интеграл в правой части равенства имеет чисто символическое значение, так как действительной функции, для которой выполняется равенство (7), не существует. В соответствии с общим определением производных производные от δ -функции определяются равенствами δ ', ϕ = −ϕ ' ( 0 ) , δ( ) , ϕ = ( −1) ϕ( n

n

n)

(0).

Обозначим через Y ( t ) единичный импульс, Y ( t ) = 0 при t < 0 , Y ( t ) = 1 при t ≥ 0 и через Y ( ϕ ) соответствующую обобщенную функцию 240

Y ( ϕ) =

+∞

∫ ϕ ( t ) dt. 0

Тогда Y ' ( ϕ ) = Y ( ϕ ' ) = ϕ ( 0 ) . Таким образом, Y ' = δ . Возвратимся к случайным процессам. «Белый шум». Назовем процесс с некоррелированными приращениями стандартным, если он удовлетворяет условиям ξ ( 0 ) = 0,

Μ ξ ( t ) = t , t ≥ 0,

Μξ ( t ) = 0,

2

(8)

При t < 0 будем считать ξ ( t ) = 0 . Если t > s > 0 , то R ( t , s ) = Μξ ( t ) ξ ( s ) = = Μ ( ξ ( t ) − ξ ( s ) ) ( ξ ( s ) − ξ ( 0 ) ) + Μ ξ ( s ) = s. 2

Итак, при t , s > 0 R ( t , s ) = min ( t , s ) . Выше уже отмечалось, что этот процесс в L2 не дифференцируем. Найдем корреляционный функционал производной от процесса ξ ( t ) , рассматриваемой как обобщенный процесс. Сначала преобразу-

ем выражение для корреляционного функционала процесса ξ ( t ) . Имеем ∞∞

R ( ϕ, ϕ ) = ∫ ∫ min ( t , s ) ϕ ( t ) ϕ ( s )dtds = 0 0

∞   = ∫ ϕ ( t )  ∫ s ϕ ( s )ds + t ∫ ϕ ( s )ds  dt = 0 t 0  ∞

t

∞

∞

∞

∞

0

t

0

s

= ∫ t ϕ ( t ) ∫ ϕ ( s )dsdt + ∫ s ϕ ( s )∫ ϕ ( t ) dtds. Положим ∞

ψ ( s ) = ∫ ϕ ( t ) dt. s

Тогда ∞

(

)

∞

(

)

R ( ϕ, ϕ ) = − ∫ t ψ ' ( t ) ψ ( t ) + ψ ' ( t )ψ ( t ) dt = − ∫ td ψ ( t ) ψ ( t ) , 0

0

откуда следует, что ∞

R ( ϕ, ϕ ) = ∫ ψ ( t ) dt. 2

0

Обозначим через R0 ( ϕ, ϕ ) корреляционный функционал обобщенного процесса dξ . Тогда dt 2

2 dξ R0 ( ϕ, ϕ ) = Μ ( ϕ ) = Μ ξ ( ϕ ') = R ( ϕ ', ϕ ') dt

и, следовательно,

241

∞

R0 ( ϕ, ϕ ) = ∫ ϕ ( t ) dt. 2

(9)

0

Формулу (9) можно записать в виде ∞∞

R0 ( ϕ, ϕ ) = ∫ ∫ δ ( t − s ) ϕ ( t ) ϕ ( s )dtds. 0 0

Это равенство можно интерпретировать следующим образом: корреляционная функция слабого «белого шума» R ( t , s ) = δ ( t − s ) , т. е. слабый белый шум является стационарным процессом с некоррелированными значениями. dξ О п р е д е л е н и е 3 . Обобщенный процесс , где ξ – стандартный dt процесс с некоррелированными приращениями, называют слабым белым шумом. Если ξ ( t ) – действительный процесс с независимыми приращениями, удовлетвоdξ называют «белым шумом». dt В частности, гауссовский белый шум – это производная от винеровского процесса. Она является обобщенным гауссовским процессом с характеристическим функционалом  1∞  (10) Φ 0 ( ϕ ) = exp − ∫ ϕ2 ( t ) dt  , ϕ ∈ D.  20  Укажем еще вид характеристического функционала пуассоновского белого шума. По определению, пуассоновский «белый шум» – это производная от центрированного пуассоновского процесса Π 0 ( t ) = Π ( t ) − t , t ≥ 0, ряющий условиям (8), то обобщенный процесс

где Π ( t ) – пуассоновский процесс со средним ΜΠ ( t ) = t . Рассмотрим более общий случай процесса Π ( t ) = Π ( t ) − at , где Π ( t ) – пуассоновский процесс со средним ΜΠ ( t ) = at . Заметим, что ∞

∫ ϕ ( t ) Π ( t ) dt = −ψ ( t ) Π ( t ) 0

∞ 0

∞

∞

0

0

+ ∫ ψ ( t ) d Π ( t ) = ∫ ψ ( t ) d Π ( t ),

∞

где ψ ( t ) = ∫ ϕ ( s ) ds. Для характеристического функционала процесса Π ( t ) полуt

чаем, учитывая, что процесс Π ( t ) является процессом с независимыми приращениями, следующие соотношения: ∞  ∞  Φ ( ϕ ) = Μ exp i ∫ ϕ ( t ) Π ( t ) dt  = Μ exp i ∫ ψ ( t ) d Π ( t )  =  0  0  n n   = lim Μ exp i ∑ ψ ( tk ) ∆Π ( tk )  = lim ∏ Μ exp iψ ( tk ) ∆Π ( tk ) .  k =1  k =1

{

242

}

При этом надо иметь в виду, что функция ψ ( t ) , начиная с некоторого t > 0 , обращается в 0 , ψ ( t ) = 0 при t ≥ b , а знак lim означает предел по последовательности

разбиений

[0; b]

отрезка

0 < t1 < t2 < ... < tn = b,

точками

∆Π ( tk ) = Π ( tk ) − Π ( tk −1 ) . Далее, для центрированного пуассоновского процесса имеем

{

}

a∆t ( eiu −1−iu ) . Μ exp iu Π ( t + ∆t ) − Π ( t )  = e

Таким образом,

{

n

(

Φ ( ϕ ) = lim ∏ exp ia∆tk e k =1

iψ ( t k )

)}

− 1 − iψ ( tk ) ,

или  ∞ iψ t  Φ ( ϕ ) = exp ia ∫  e ( ) − 1 − iψ ( t )  dt  .  0  Из последней формулы непосредственно получаем выражение характеристического функционала Φ Π ( ϕ ) пуассоновского «белого шума»

(11) для

 ∞ iϕ t  (12) Φ Π ( ϕ ) = exp ia ∫ e ( ) − 1 − iϕ ( t ) dt  .  0  Хотя для обобщенного процесса понятие значения процесса в фиксированный момент времени не определено, все же можно дать естественное определение обобщенного процесса с независимыми значениями и показать, что белый шум является таковым. О п р е д е л е н и е 4 . Действительный обобщенный процесс Λ ( ϕ ) назы-

(

)

вают процессом с независимыми значениями, если для любых ϕi ∈ Dr , i = 1, 2 , для

которых ϕ1ϕ2 ≡ 0 , случайные величины Λ ( ϕ1 ) и Λ ( ϕ2 ) независимы.

Теорема 1. Белый шум является процессом с независимыми значениями. Доказательство. Пусть ϕ1 ( t ) ϕ2 ( t ) ≡ 0 , ϕi ( t ) ∈ Dr . Множество точек, где ϕi ( t ) > 0 , представляет собой сумму не более чем счетного множества интервалов ∆ ik = ( aik , bik ) , i = 1, 2 , k = 1, 2,... попарно без общих точек. При этом ни один из

интервалов ∆1k не имеет общих точек ни с одним из ∆ 2 k . Следовательно, ϕi ( t ) = ∑ ϕik ( t ) , i = 1, 2 , где ϕik ( t ) ∈ Dr и ϕik ( t ) = 0 при t ∉ ∆ ik . Обозначим через k

γ белый шум, γ =

dξ , где ξ – процесс с независимыми приращениями. Заметим, dt

что ξ ( ϕ 'ik ) =

bik

∫ ϕ ' ( t ) ξ ( t ) dt = ϕ ( t ) ξ ( t ) ik

ik

aik

243

bik aik

−

bik

bik

aik

aik

− ∫ ϕik ( t ) ξ ( dt ) = Поэтому семейство {ξ ( ϕ 'ik

∫ ϕ ( t ) ξ ( dt ). ) , i = 1, 2, k = 1, 2, ...} состоит из независимых случайik

ных величин. Следовательно, величины ξ ( ϕ '1 ) = ∑ ξ ( ϕ '1k ) и ξ ( ϕ '2 ) = ∑ ξ ( ϕ '2 k ) k

k

независимы. Учитывая это, имеем Μ exp i ( u1γ ( ϕ1 ) + u2 γ ( ϕ2 ) ) = Μ exp −i ( u1ξ ( ϕ '1 ) + u2 ξ ( ϕ '2 ) ) =

{

}

{

}

= Μ exp {−iu1ξ ( ϕ '1 )} ⋅ exp {−iu2ξ ( ϕ '2 )} = = Μ exp {iu1γ ( ϕ1 )} ⋅ Μ exp {iu2 γ ( ϕ2 )}.

Полученное равенство доказывает независимость случайных величин γ ( ϕ1 ) и γ ( ϕ2 ) . Таким образом, γ является процессом с независимыми значениями.

Преобразование Фурье обобщенных процессов. Пусть ξ ( t ) – непрерыв∞

ный в среднеквадратическом случайный процесс, для которого

∫

B ( t , t )dt < ∞ ,

−∞

где B(t,s) – ковариация процесса ξ ( t ) . Для такого процесса определено преобразование Фурье ξ (t ) =

∞

∫ e ξ ( u ) du, itu

(13)

−∞

Действительно, ∞ ∞

∫ ∫ Μe ξ ( u ) e itu

− itv

ξ ( v )dudv ≡

−∞ −∞

∞ ∞

≤

∫∫

∞ ∞

∫ ∫e

it ( u − v )

B ( u, v )dudv ≤

−∞ −∞

B ( u , u ) B ( v, v )dudv =

−∞ −∞

∞

∫

2

B ( u , u )du < ∞,

−∞

так что условие существования интеграла (13) выполнено. Процесс ξ ( t ) , в свою очередь, непрерывен в среднеквадратическом. Действительно, рассуждения , аналогичные предыдущим, дают 2

Μ ξ (t + h) − ξ (t )

2

∞  ≤  ∫ B ( u, u ) eihu − 1 du  ,  −∞ 

причем, 2

∞  M ξ ( t ) ≤  ∫ B ( u, u )du  .  −∞  Обобщенный случайный процесс ξ ( ϕ ) = ξ, ϕ , порожденный процессом ξ ( t ) , 2

определяется формулой 244

ξ ( ϕ) =

∞ ∞

∞

∫ ∫ e ξ ( u ) duϕ ( t ) dt = ∫ ξ ( u ) ϕ ( u ) du, itu

−∞ −∞

−∞

или

ξ ( ϕ) = ξ ( ϕ) ,

(14)

где ϕ – преобразование Фурье функции ϕ ( t ) ∈ D . Полученная формула наталкивает на мысль определить преобразование Фурье произвольного обобщенного процесса с помощью формулы (14). Однако такое определение лишено смысла, так как функция ϕ ( u ) не принадлежит D (если ϕ ( u ) ≠ 0 ). Чтобы преодолеть возникшее затруднение, сузим понятие обобщенного случайного процесса. О п р е д е л е н и е 5 . Пространство S состоит из тех и только тех комплекснозначных функций ϕ ( t ) , t ∈ ( −∞, ∞ ) , которые: а) бесконечно дифференцируемы, б) на бесконечности убывают вместе со своими производными сколь угод−n но высокого порядка быстрее, чем t , где п – любое положительное число. Последнее требование означает, что для любых целых положительных т и п функция t n ϕm ( t ) ограничена и интегрируема в любой степени. Лемма 1. Если ϕ ( t ) ∈ S , то и ϕ ( t ) ∈ S , где ϕ ( t ) – преобразование Фурье

функции ϕ ( t ) . Действительно, в формуле ϕ (t ) =

∞

∫ e ϕ ( u ) du itu

−∞

можно дифференцировать под знаком интеграла любое число раз, ϕ( m ) ( t ) =

∞

∫ ( iu )

m

eitu ϕ ( u ) du,

(15)

−∞

так как полученная под знаком интеграла функция непрерывна и интегрируема. Таким образом, функция ϕ ( t ) бесконечно дифференцируема. С другой стороны, интегрируя п раз по частям, получим равенство ∞ ∞ n n n itu d itu ∫−∞ e du n ϕ ( u ) du = ( −it ) −∞∫ e ϕ ( u ) du = ( −it ) ϕ ( t ) ,

(16)

так как все производные функции ϕ ( u ) стремятся к 0 при u → ±∞ . Последняя

формула показывает, что ϕ ( t ) → 0 при t → ±∞ быстрее любой степени t. Эти же соображения применимы и к любой производной ϕ( m ) ( t ) . Введем теперь в S топологию. О п р е д е л е н и е 6 . Последовательность ϕn ( t ) , ϕn ∈ S , сходится к ϕ в

(

S, если для любых целых т и р 1 + t

p

) ( ϕ( ) ( t ) − ϕ( ) ( t ) ) → 0 равномерно по t. m

245

m n

Нетрудно заметить, что из ϕn → ϕ в S вытекает, что преобразования Фурье ϕn сходятся к ϕ в S.

Пусть ( Ω, A , P ) – некоторое вероятностное пространство. Предположим,

что каждому ϕ ∈ S поставлена в соответствие случайная величина Λ ( ϕ ) , такая, что:

а) Λ ( c1ϕ1 + c2 ϕ2 ) = c1Λ ( ϕ1 ) + c2 Λ ( ϕ2 ) , ci – константы, ϕi ∈ S , i = 1, 2 , б) из ϕn → ϕ в S следует l.i.m. Λ ( ϕn ) = Λ ( ϕ ) . Это соответствие называют

умеренным обобщенным случайным процессом. Очевидно, что сужение умеренного обобщенного процесса на D является обобщенным случайным процессом. Пусть Λ ( ϕ ) =

∞

∫ λ ( s ) ϕ ( s ) ds , где λ ( s ) – обычный непрерывный в средне-

−∞

квадратическом процесс, ϕ ∈ S . Этот интеграл существует, если ковариация B(t,s) процесса λ ( t ) не очень быстро растет при t , s → ∞ , например, если для некото-

(

рых констант с и m B ( t , s ) ≤ c 1 + t

m

) . Действительно, в этом случае

∞ ∞

∫ ∫ ϕ ( t ) B ( t , s ) ϕ ( s ) dt ds < ∞,

−∞ −∞

а выполнение этого условия достаточно для существования рассматриваемого интеграла. Нетрудно заметить, что условие б) в определении умеренного обобщенного процесса выполнено. Слово «умеренный» как раз и означает, что момент второго порядка B ( t , t ) = Μ ξ ( t ) при t → ∞ должен возрастать не очень быстро. 2

О п р е д е л е н и е 7 . Преобразованием Фурье Λ ( ϕ ) умеренного обобщенного процесса называют обобщенный процесс Λ ( ϕ) = Λ ( ϕ) . Из сказанного выше следует, что это определение имеет смысл, и Λ ( ϕ ) также является умеренным процессом. ∞

Аналогично определим преобразование Λ ( ϕ ) , положив ∞ ∞ Λ ( ϕ) = Λ  ϕ  ,  

где ∞

ϕ (t ) = ∞

∞

1 e − itu ϕ ( u ) du. ∫ 2π −∞

∞

Так как ϕ = ϕ = ϕ , то ∞

∞

Λ ( ϕ) = Λ ( ϕ) = Λ ( ϕ) ,

246

∞

т. е. преобразование Λ является обратным к преобразованию Λ : если Λ1 = Λ , то ∞

Λ = Λ1 .Эти формулы являются д в о й с т в е н н ы м и ф о р м у л а м и Ф у р ь е для обобщенных случайных процессов. Обобщенные стационарные процессы. Пусть ξ ( t ) – среднеквадратический непрерывный слабо стационарный процесс, ξ (t ) =

∞

∫ e ζ ( u ) du itu

−∞

– его спектральное разложение. Заметим, что порождаемый ξ ( t ) обобщенный процесс ξ ( ϕ ) можно представить в виде ξ ( ϕ) =

∞

∫ ϕ ( u ) ζ ( du ) .

(17)

−∞

Здесь ϕ ( u ) – преобразование Фурье функции ϕ ( t ) ; ζ ( u ) , u ∈ ( −∞, ∞ ) – процесс с ортогональными приращениями, Μ ζ ( du ) = F ( du ) , F ( −∞ ) = 0, F ( +∞ ) < ∞ , 2

F(u) – спектральная функция процесса ξ ( t ) . Введем понятие слабой стационарности для произвольных обобщенных процессов. Пусть θh – оператор сдвига аргумента функции θh ϕ ( t ) = ϕ ( t + h ) .

Если ϕ ∈ S (D ) , то θh ϕ∈ S (D ) . Определение оператора сдвига аргумента расширим на обобщенные процессы, положив θh Λ ( ϕ ) = Λ ( θ− h ϕ ) . Назовем обобщенный процесс слабо стационарным, если: Μθh ξ ( ϕ ) = m ( ϕ ) , Μ θh ξ ( ϕ ) = B ( ϕ, ϕ ) , 2

где m ( ϕ ) и B ( ϕ, ϕ ) не зависят от h. Приведем общий прием построения умеренных обобщенных слабо стационарных процессов. Пусть ζ ( u ) , u ∈ ( −∞, ∞ ) , – процесс с ортогональными приращениями, со средним Mζ ( u ) = 0 и структурной функцией F(и): M ζ ( u2 ) − ζ ( u1 ) = F ( u2 ) − F ( u1 ) ( u1 < u2 ) . 2

Мы не предполагаем, что функция F(и) ограничена, но пусть при некотором p > 0 ∞ F ( du ) < ∞. (18) p ∫ −∞ 1 + u Положим

247

∞

Λ ( ϕ) =

∫ ϕ ( u ) ζ ( du ) , ϕ ∈ S ,

(19)

−∞

где ϕ ( u ) – преобразование Фурье функции ϕ ( t ) . Интеграл в правой части равенства существует, причем B ( ϕ, ϕ ) = Μ Λ ( ϕ ) = 2

∞

∫ ϕ (u )

2

F ( du ) < ∞.

(20)

−∞

Если ϕn → ϕ в S, то и ϕn → ϕ в S, и поэтому Μ Λ ( ϕ ) − Λ ( ϕn ) = 2

∞

∫ ϕ (u ) − ϕ (u )

2

n

F ( du ) → 0

−∞

при u → ∞ . Таким образом, Λ ( ϕ ) является умеренным обобщенным процессом. Он слабо стационарен. Действительно, заметим, что

(

)

θ− h ϕ ( u ) =

∞

∫ e ϕ ( t − h ) dt = e ϕ ( u ) . itu

iuh

−∞

Следовательно, M θ+ h Λ ( ϕ ) = M Λ ( θ − h ϕ ) = 2

∞

=

∫

2

e ϕ ( u ) F ( du ) = iuh

2

−∞

∞

∫ ϕ (u )

2

F ( du )

−∞

не зависит от h. Кроме того, Mθh Λ ( ϕ ) = 0 . Таким образом, для произвольного процесса ζ ( t ) с ортогональными приращениями, структурная функция которого удовлетворяет условию (16), Mζ ( t ) = 0 , т. е. обобщенный процесс Λ ( ϕ ) , определяемый формулой (19), является слабо стационарным умеренным обобщенным процессом с корреляционным функционалом (20). Можно показать и обратное, а именно: произвольный слабо стационарный умеренный обобщенный процесс имеет вид (19), где ζ ( u ) – процесс с ортогональными приращениями, структурная функция которого удовлетворяет при некотором p > 0 условию (18). Формулу (19) при этом называют спектральным разложением процесса, а (20) – спектральным представлением корреляционного функционала, процесс ζ ( u ) – спектральной стохастической мерой, функция F(и) – спектральной функцией процесса. Если F ( −∞ ) > −∞ , F ( +∞ ) < +∞ , то Λ ( ϕ ) является процессом обычного типа. Действительно, в этом случае Λ ( ϕ) =

∞

∞ ∞

∞

∫ ϕ ( u ) ζ ( du ) = ∫ ∫ e ϕ ( t ) dtζ ( du ) = ∫ ϕ ( t ) ξ ( t ) dt , itu

−∞

−∞ −∞

−∞

где ξ (t ) =

∞

∫ e ζ ( du ) . itu

−∞

248

Задачи

1. Пусть A , η и ϕ – случайные величины, причем A , η – неотрицательны и имеют произвольное совместное распределение, а ϕ не зависит от них и имеет равномерное распределение на отрезке [ 0, 2π] . Рассмотрим случайный процесс ξ ( t ) = A ⋅ cos ( η⋅ t + ϕ ) , t ∈ T = R.

Докажите, что его конечномерное распределения не меняются при любом сдвиге времени, т. е. он является стационарным в узком смысле случайным процессом. 2. Пусть все траектории пуассоновского процесса непрерывны справа. Докажите, что тогда почти все траектории – неубывающие целочисленные функции, возрастающие только скачками величины 1. 3. Произведем независимое от пуассоновского процесса Π ( t ) бросание монеты и определим случайный процесс η ( t ) следующим образом: если монета выпадает гербом, положим η ( t ) = ( −1)

Π(t )

, а если решкой, то η ( t ) = ( −1)

Π ( t ) +1

. Най-

дите конечномерное распределение процесса η ( t ) , t ≥ 0 .

4. Пусть B ( t ) , t ∈ T = [ 0; a ] , – процесс броуновского движения, 0 = t0 < t1 < ... < tn = a – разбиение отрезка T . Докажите, что для любого положительного числа A  n −1  P  ∑ B ( ti +1 ) − B ( ti ) > A  → 1  i =0  при n → ∞ и max ( ti +1 − ti ) → 0. 0≤i ≤ n

5. Найдите математические ожидания и корреляционные функции случайных процессов Пуассона и броуновского движения. 6. Найдите корреляционную функцию случайного процесса ξ ( t ) = α1 ⋅ f1 ( t ) + ... + α n ⋅ f n ( t ) , t ∈ T = R, где f1 ,..., f n – произвольные числовые функции, а α1 ,..., α n – независимые случайные величины с дисперсиями d1 ,..., d n .

7. Пусть ξ ( t ) – стационарный в широком смысле случайный процесс с корреляционной функцией  t2  −t K ( t ) = 1 + t +  ⋅ e . 3  Сколько раз он дифференцируем в среднем квадратическом? 8. Найдите спектральное представление случайного процесса ξ ( t ) из задачи 1. 9. Пусть ξ ( t ) – стационарный случайный процесс с математическим ожиданием m и спектральной плотностью f ( λ ) ; η ( t ) = ξ ( t ) ⋅ cos ( ct + ϕ ) , где c – константа, а ϕ – независимая от ξ ( t ) случайная величена, равномерно распределен249

ная на [ 0; 2π] . Напишите спектральное представление для η ( t ) и найдите соответствующую спектральную функцию. 10. Является ли процесс броуновского движения марковским? Найдите соответствующую переходную функцию. 11. Найдите переходную функцию для процесса ξ ( t ) = B ( −t ) , − ∞ < t ≤ 0. 12. Докажите, что любой случайный процесс с независимыми приращениями является марковским случайным процессом. 13. Π ( t ) , t ≥ 0 , – пуассоновский процесс. Покажите, что в смысле сходимости по вероятности 1) Процесс Π ( t ) , t ≥ 0 , непрерывен; 2) Существует производная Π′ ( t ) и Π′ ( t ) = 0 п. н. 14. Пусть B ( t ) , t ≥ 0 , – стандартный процесс броуновского движения, g – ограниченная измеримая функция на прямой. Покажите, что ∞ c −y  1  2t Μ ∫ g ( B ( t ) ) dt = ∫  ⋅ g y ⋅ e dy dt = ∫ Μ g ( B ( t ) ) dt.  2πt ∫ ( )  −∞ 0 0 0  15. Пусть B ( t ) , t ≥ 0 , – стандартный процесс броуновского движения и c – некоторое положительное число. Покажите, что c

2

c

2

2  n −1  Μ  ∑  B ( kh + h ) − B ( kh )  − c  → 0  k =0 

c . n 16. Процесс Пуассона. Пусть некоторая физическая система может находиться в одном и счетного множества состояний E1 , E2 , E3 , ... , причем в любой момент времени t она может сменить свое состояние, перейдя в состояние с номером на единицу большим. Если ∆t достаточно мало, то вероятность перехода системы за промежуток времени ( t , t + ∆t ) из состояния En в En +1 равна при n → ∞ , где h =

λ∆t + o ( ∆t ) , где λ – положительная постоянная. Составьте систему дифференци-

альных уравнений описывающих этот процесс, и, решив ее, найдите вероятность pn ( t ) ( n = 1, 2,...) того, что система в момент времени t окажется в состоянии En , если известно, что в начальный момент t0 = 0 система находиться в состоянии E0 . 17. Процесс Юла. В области G имеются частицы, способные размножаться (путем деления или иначе) и остающиеся в этой области в дальнейшем. За малый промежуток времени ( t , t + ∆t ) каждая частица с вероятностью λ∆t + o ( ∆t ) производит новую частицу независимо от остальных частиц. 1) Составьте систему дифференциальных уравнений, определяющих этот процесс. 2) Решите эту систему. 3) Найдите математическое ожидание и дисперсию распределения, определяемого этой системой. 250

18. Процесс чистой гибели. В области G в начальный момент времени t = 0 находилось k частиц. Независимо друг от друга частицы могут исчезать из этой области, причем каждая за малый промежуток времени ∆t может исчезнуть с вероятностью λ∆t + o ( ∆t ) . Новые частицы в области появиться не могут. 1) Найдите дифференциальные уравнения, описывающие этот процесс. 2) Найдите вероятность pn ( t ) – решения этих уравнений. 3) Найдите математическое ожидание и дисперсию числа частиц в области G к моменту t . 19. Процесс Пойа. В области G появляются некоторые частицы и в дальнейшем остаются в этой области. Если к моменту t в области имелось n частиц, то вероятность (условная) увеличения их числа на единицу за малый промежуток времени ( t , t + ∆t ) равна 1 + an ⋅ ∆t + o ( ∆t ) , 1 + at где a – некоторая положительная постоянная. Вероятность увеличения числа частиц за то же время на две или более равна o ( ∆t ) . 1) Составьте дифференциальные уравнения, определяющие этот процесс (т. е. вероятность pn ( t ) того, что к моменту t в области G будет n частиц). 2) Найдите явные выражения pn ( t ) . 3) Найдите математическое ожидание и дисперсию числа частиц в области. 20. Процесс размножения и гибели. В области G имеются однородные частицы (например, бактерии), которые могут порождать такие же новые частицы, например, посредством деления на две, а также могут погибать (исчезать). Если ∆t мало, то вероятность для каждой частицы (независимо от наличия и поведения остальных частиц) породить одну новую равна λ∆t + o ( ∆t ) , а вероятность погибнуть равна µ∆t + o ( ∆t ) , где λ и µ – некоторые положительные постоянные. 1) Составьте систему обыкновенных дифференциальных уравнений, определяющих этот процесс. 2) При условии, что pn ( t ) ( n = 0,1, 2,...) – решение этой системы, т. е. вероятность того, что к моменту t в области G окажется n частиц, составьте дифференциальное уравнение в частных производных, которому удовлетворяет производящая функция этих вероятностей, т. е. функция ∞

F ( x, t ) = ∑ pn ( t ) ⋅ x n . n =0

3) Считая, что в начальный момент t = 0 в области G находилась одна частица, решить это дифференциальное уравнение и найти явное выражение производящей функции F ( x, t ) .

251

Глава 8. ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ Математическая статистика – это прикладная математическая дисциплина, родственная теории вероятностей. Она базируется на понятиях и методах последней, но решает свои специфические задачи собственными методами. Математические модели случайных явлений, изучаемых в теории вероятностей, основываются на понятии вероятностного пространства ( Ω, A , Ρ ) . Однако на практике при изучении конкретного эксперимента вероятность Ρ редко бывает известна полностью. Часто можно априори утверждать лишь, что Ρ является элементом некоторого заданного класса (семейства) вероятностей P . Если задан класс P , то говорят, что имеется статистическая модель, понимая под этим набор ( Ω, A , P ) . Итак, статистическая модель описывает такие ситуации, когда в вероятностной модели изучаемого эксперимента имеется та или иная неопределенность в задании вероятности P, и задача математической статистики состоит в том, чтобы уменьшить эту неопределенность, используя информацию, содержащуюся в статистических данных. В большинстве случаев исходные статистические данные – результат наблюдения некоторой конечной совокупности случайных величин X = ( X 1 , X 2 , …, X n ) , характеризующей исход изучаемого эксперимента. Обычно в этих случаях говорят, что эксперимент состоит в проведении n испытаний, в которых результат i-го испытания описывается случайной величиной X i , i = 1, n . Совокупность наблюдаемых случайных величин X = ( X 1 , X 2 , …, X n ) называется выбор-

кой, сами величины X i , i = 1, n, – элементами выборки, а их число n – объемом выборки. Реализации выборки X будем обозначать соответствующими строчными буквами x = ( x1 , x2 , …, xn ) . Множество всех возможных значений X = { X } выборки X называется выборочным пространством. Далее предполагается, что статистическая модель определяется выборочным пространством X и семейством функций распределения F , которому принадлежит неизвестная функция распределения FX ( x1 , x2 , …, xn ) выборки X . В §1 – 4 гл. 8 рассматривается ситуация, когда компоненты выборки X независимы и все распределены так же, как и некоторая случайная величина ξ. Этот случай соответствует эксперименту, в кото252

ром проводятся повторные независимые наблюдения над случайной величиной ξ (распределение ξ обозначается символом L ( ξ ) ). Здесь

FX i ( xi ) = Fξ ( xi ) , i = 1, n, FX ( x1 , x2 ,…, xn ) = Fξ ( x1 ) Fξ ( xn ) . В приложениях математической статистики предположения о независимости и одинаковой распределенности компонент X не всегда выполняются. В § 5 этой главы рассмотрен важный случай таких ситуаций, которые описываются линейной регрессионной моделью. Иногда множество возможных значений ξ с функцией распределения Fξ называют генеральной совокупностью. Статистическая модель для повторных независимых наблюдений обозначается кратко в виде F = { Fξ } , т. е. указывается лишь класс допустимых функций распределения исходной случайной величины ξ. Если функции распределения из класса F заданы с точностью до значений некоторого параметра θ (скалярного или векторного) с множеством возможных значений Θ, то такая модель обозначается F = { F ( x, θ ) , θ∈ Θ} и на-

зывается параметрической. Модель F = { Fξ } называется абсолютно

непрерывной или дискретной, если таковыми соответственно являются все составляющие класс F функции распределения. Мы будем рассматривать только модели этих двух типов, которые наиболее распространены в приложениях. Материал этой главы условно можно разбить на два направления – теорию оценивания параметров и теорию проверки гипотез. Первое направление представлено в § 2 и 5, второе – в § 3 и 4. § 1. Основные понятия и элементы выборочной теории 1. Вариационный ряд, эмпирическая функция распределения, гистограмма, полигон частот Пусть X = ( X 1 , X 2 , …, X n ) – выборка объема n из распределе-

ния L ( ξ ) и x = ( x1 , x2 , …, xn ) – наблюдавшееся значение X . Каждой реализации x выборки X можно поставить в соответствие упорядоченную последовательность (1) x(1) ≤ x( 2) ≤ … ≤ x( n ) , где x(1) = min ( x1 , …, xn ) , x( 2) – второе по величине значение среди x1 , …, xn и т. д., x( n ) = max ( x1 , …, xn ) . 253

Обозначим через X ( k ) случайную величину, которая для каждой реализации x выборки X принимает значение x( k ) , k = 1, n. Так по выборке X определяют новую последовательность случайных величин X (1) , X ( 2) , …, X ( n ) , называемых порядковыми статистиками выборки; при этом X ( k ) – k-я порядковая статистика, а X (1) и X ( n ) – экстремальные значения выборки. Последовательность случайных величин X (1) ≤ X ( 2) ≤ … ≤ X ( n ) называют вариационным рядом выборки. Определим для каждого действительного x случайную величину µ n ( x ) = { j : X j ≤ x} , где через A обозначено число элементов конечного множества A. Функция

µn ( x) n называется эмпирической функцией распределения (соответствующей выборке X ). Функцию распределения F ( x ) наблюдаемой случайной величины ξ в этом случае называют иногда теоретической функцией распределения. По своему определению эмпирическая функция распределения – случайная функция: для каждого x ∈ R значение Fn ( x ) – случайная величина, реализацией которой являются числа 1 2 k n 0, , , …, , …, = 1, (2) n n n n а так как L ( µ n ( x ) ) = Bi ( n, p ) , где Bi ( n, p ) – распределение биномиFn ( x ) =

альной случайной величины и p = P ( ξ ≤ x ) = F ( x ) , то

n−k k  (3) P  Fn ( x ) =  = P ( µ n ( x ) = k ) = Cnk F k ( x ) (1 − F ( x ) ) . n  Таким образом, для каждой реализации x выборки X функция Fn(x) однозначно определена и обладает всеми свойствами функции распределения: изменяется от 0 до 1, не убывает, непрерывна справа. При этом она кусочно-постоянна и возрастает только в точках последовательности X (1) ≤ X ( 2) ≤ … ≤ X ( n ) .

Важнейшее свойство эмпирической функции распределения состоит в том, что при увеличении числа испытаний над случайной ве254

личиной ξ происходит сближение этой функции с теоретической функцией распределения. Теорема 1. Пусть Fn ( x ) – эмпирическая функция распределения, построенная по выборке

X = ( X 1 , X 2 , …, X n ) из распределения

L ( ξ ) , и F ( x ) соответствующая теоретическая функция распределения. Тогда для любого x ∈ R и любого ε > 0 lim P Fn ( x ) − F ( x ) ≤ ε = 1. n →∞

(

)

(4)

Д о к а з а т е л ь с т в о. Из равенства (3) следует, что Fn ( x ) – относительная частота события {ξ ≤ x} («успеха») в n испытаниях схемы Бернулли с вероятностью «успеха» F ( x ) . В соответствии с законом больших чисел (теоремой Бернулли) Ρ Fn ( x )  → F ( x), n→∞ т. е. имеет место равенство (4). Справедлив следующий более сильный результат, полученный В. И. Гливенко (1933 г.). Теорема 2 [14]. В условиях теоремы 1 P  lim sup Fn ( x ) − F ( x ) = 0  = 1. (5)  n→∞ −∞< x 0, то случайная величина Z n, p ( ω) − ζ p асимптотически нор-

мальна с параметрами  p (1− p )   0, .  n  F ′( ζ p )      § 2. Оценивание неизвестных параметров 1. Статистические оценки и требования к ним Пусть X = ( X 1 , …, X n ) – выборка из распределения L ( ξ ) ∈ F =

= {F ( x, θ ) , θ∈ Θ}. В общем виде задача формулируется так: исполь-

зуя статистическую информацию, содержащуюся в выборке X , сделать статистические выводы об истинном значении θ0 неизвестного параметра θ, т. е. оценить точку θ0 заданного параметрического пространства Θ. Статистикой называется всякая случайная величина, являющаяся функцией от выборки X , т. е. статистика – это борелевская функция от выборки X . При точечном оценивании ищут статистику T ( X ) , значение которой при заданной реализации x = ( x1 , …, xn ) выборки X принимают за приближенное значение параметра θ0 . В этом случае говорят, 260

что статистика T ( X ) оценивает θ или, что статистика T ( X ) есть оценка θ. Ясно, что для оценивания θ можно использовать различные оценки и, чтобы выбрать лучшую из них, надо иметь критерий сравнения качества оценок. Любая оценка T = T ( X ) является случайной величиной, поэтому общим требованием к построению оценок является требование концентрации (в том или ином смысле) распределения T около истинного значения оцениваемого параметра. Предположим, что θ – скалярный параметр. Статистика T ( X ) называется несмещенной оценкой для параметра θ, если для любого θ ∈ Θ M θT ( X ) = θ. (1) Величину M θ (T ( X ) − θ ) = Dθ T ( X ) + b 2 ( θ ) , 2

(2)

где b ( θ ) = M θ (T ( X ) − θ ) , называют средним квадратом ошибки или среднеквадратической ошибкой оценки T , а b ( θ ) – смещением оцен-

ки T . Если для любого θ ∈ Θ b ( θ ) → 0 при n → ∞, то статистика T называется асимптотически несмещенной оценкой для параметра θ. Аналогично, статистика T = T ( X ) является несмещенной оценкой для τ ( θ ) ( τ – некоторая функция), если для любого θ ∈ Θ

Mθ T ( x ) = τ ( θ). (3) Требование несмещенности интуитивно привлекательно, однако в некоторых случаях оно может оказаться слишком «жестким» и привести к нежелательным результатам: либо несмещенные оценки вообще не существуют, либо они существуют, но практически бесполезны. Таким образом, требование несмещенности нельзя рассматривать как универсальное, тем не менее во многих встречающихся на практике случаях оно уместно и обоснованно и далее в основном рассматриваются именно несмещенные оценки. Пусть требуется оценить заданную параметрическую функцию τ = τ ( θ ) в модели F = { F ( x, θ ) , θ∈ Θ} по статистической информации, доставляемой соответствующей выборкой X = ( X 1 , X 2 ,…, X n ) . Обозначим класс всех несмещенных оценок в данной задаче через T τ .

261

Дополнительно предположим, что дисперсии всех оценок из класса T τ конечны, т. е. для любых T ∈ T τ и θ ∈ Θ Dθ T = M θ (T − τ ( θ ) ) < ∞. 2

Оценка τ∗ ∈ T t , для которой при любых θ ∈ Θ выполняется условие Dθ τ∗ = inf Dθ T , T ∈T τ

(4)

называется оптимальной. Пусть f ( x, θ ) – плотность распределения наблюдаемой случайной величины ξ (или вероятность в дискретном случае). Функция L ( x; θ ) = f ( x1 , θ ) f ( xn , θ ) (5) является, очевидно, плотностью распределения случайного вектора X (или вероятностью того, что X = x в дискретном случае), здесь x = ( x1 , …, xn ) – реализация X, т. е. она задает вероятность получения при извлечении выборки объема n именно наблюдений x1 , …, xn (или величину, пропорциональную вероятности получения выборочных значений в непосредственной близости от точки x в непрерывном случае). Поэтому, чем больше значение L ( x; θ ) , тем правдопо-

добнее (или более вероятна) система наблюдений x = ( x1 , …, xn ) при

заданном значении параметра θ. Отсюда и название функции L ( x; θ ) , рассматриваемой при фиксированном x как функция параметра θ∈ Θ, – функция правдоподобия. Предположим, что L ( x; θ ) > 0 для любых x ∈ X и θ ∈ Θ и дифференцируема по θ. Случайная величина ∂ ln ( L( X ;θ ) ) n ∂ ln ( f ( X i , θ ) ) =∑ (6) U ( X ; θ) = , θ∈ Θ, ∂θ ∂θ i =1 называется вкладом (или функцией вклада) выборки X. В дальнейшем предполагаем, что для любых θ ∈ Θ M θ U ( X ; θ ) = 0, 0 < M θ U 2 ( X ; θ ) < ∞. Функция in ( θ ) = DθU ( X ; θ ) = M θU 2 ( X ; θ ) (7) называется функцией информации Фишера или просто информацией Фишера о параметре θ, содержащейся в выборке X. Величину 262

( (

))

2

 ∂ ln f X ;θ  1  i ( θ ) = i1 ( θ ) = M θ  (8)   ∂θ   называют также количеством (фишеровской) информации, содержащейся в одном наблюдении. Из (7) и (8) непосредственно следует, что in ( θ ) = ni ( θ ) . Теорема 1 (Неравенство Рао – Крамера). Пусть функция τ ( θ )

дифференцируема, тогда для любой оценки T = T ( X ) ∈ T τ справедливо неравенство 2  τ′( θ )  (9) Dθ T ≥ , θ∈ Θ. ni( θ ) Равенство здесь имеет место тогда и только тогда, когда T – линейная функция вклада выборки, т. е. T ( X ) − τ ( θ) = a ( θ) U ( X ; θ) , (10) где a ( θ ) – некоторая функция от θ∈ Θ. Д о к а з а т е л ь с т в о. По условию для любых θ ∈ Θ M θ T ( X ) = ∫ T ( x ) L ( x; θ ) dx = τ ( θ ) . R

Так как

(11)

n

∫ L ( x; θ ) dx = 1

Rn

для любых θ ∈ Θ , то ∂ ln ( L( x;θ ) ) ∂L( x;θ ) 0= ∫ dx = ∫ L ( x; θ ) dx = M θU ( X ; θ ), θ∈ Θ. (12) ∂θ ∂θ n n R R Дифференцируя равенство (11) по θ и учитывая (12), получаем ∂ ln ( L( x;θ ) ) τ′ ( θ ) = ∫ T ( x ) L ( x; θ ) dx = M θ (T ( X )U ( X ; θ ) ) = ∂θ n R

= covθ (T ( X ) , U ( X ; θ ) ) . (13) Используя неравенство Коши – Буняковского и определение (7) из (13), получаем (9), причем неравенство обращается в равенство тогда и только тогда, когда T ( X ) и U ( X ; θ ) (при каждом θ ) линейно связаны. Таким образом, теорема доказана. 263

Если существует оценка T ∗ ∈ T t , для которой нижняя граница Рао – Крамера достигается, то ее называют эффективной. Очевидно, что эффективная оценка является оптимальной. Представление (10) является критерием эффективности оценки. З а м е ч а н и е 1. Несложно видеть, что представление (10) эквивалентно следующему равенству L ( x; θ ) = exp {T ( x ) ψ1 ( θ ) + ψ 2 ( θ ) + ψ 3 ( x )}, x ∈ X , θ∈ Θ. Для этого достаточно равенство (10) проинтегрировать по θ. Модель F = { F ( x, θ ) , θ∈ Θ} – экспоненциальная, если соответ-

ствующая f ( x, θ ) имеет вид

f ( x, θ ) = exp { A ( θ ) B ( x ) + C ( θ ) + D ( x )}. Данный класс параметрических моделей важен тем, что эффективные оценки существуют для некоторых функций τ ( θ ) только в случае таких моделей (см. замеч. 1). П р и м е р 1. Из равенств (8) § 1 видно, что выборочные моменты Ank k-го порядка являются несмещенными оценками для теоретических моментов α k = M ξ k k-го порядка, k = 1, 2, … .

Оценка T ( X ) называется состоятельной (сильно состоятельной) оценкой

для параметра θ ∈ Θ, если при n → ∞ T ( X )  → θ по вероятности (почти наверное). Из тех же равенств (8) § 1 вытекает, что Ank являются состоятельными оценками для α k , k = 1, 2, … . Используя усиленный закон больших чисел, можно показать, что Ank – сильно состоятельные оценки для α k . (Покажите это самостоятельно). П р и м е р 2. Исследуем на несмещенность выборочную дисперсию 2 1 n S 2 = ∑( Xi − X ) . n i =1 Напомним, что случайные величины X 1 , … , X n независимы и имеют то же рас-

пределение, что и исследуемая случайная величина ξ. Так как M ( X i − X ) = 0, то

для любых i = 1, n 2 1   n −1 M ( X i − X ) = D ( X i − X ) = D  X i − ( X1 + … + X n )  = D ξ, n n  

а поэтому M S2 =

1 n

n

∑M(X i =1

−X) = 2

i

264

n −1 D ξ. n

Полученная формула показывает, что выборочная дисперсия является смещенной оценкой теоретической дисперсии. Однако смещение этой оценки 1 M S 2 − D ξ = − D ξ → 0, n → ∞, n так что выборочная дисперсия асимптотически несмещена. Кроме того, легко видоизменить величину S 2 так, чтобы она была несмещенной. Положим 2 1 n S2 = Xi − X ) . ( ∑ n −1 i =1 2 Здесь S уже несмещенная оценка теоретической дисперсии. При этом она остается сильно состоятельной (покажите это самостоятельно). П р и м е р 3 . Пусть X = ( X 1 , X 2 , … , X n ) выборка из распределения Коши с плотностью 1 1 , x ∈ R. π 1+ ( x +θ )2 Точка x = −θ является центром симметрии для плотности. Таким образом, значение x = −θ играет роль «среднего значения» распределения, математическое ожидание которого не существует. Кажется заманчивым в качестве оценки параметра θ предложить выборочное среднее 1 n X = ∑ Xi. n i =1 Однако такая оценка неудовлетворительна. Покажем это. Найдем распределение случайной величины X . Так как характеристическая функция распределения Коши имеет вид f ξ ( t ) = exp {i θ t − t } , f ( x, θ ) =

то для характеристической функции f X ( t ) величины X имеем n

  t  f X ( t ) =  f ξ    = exp {i θ t − t } = f ξ ( t ) .   n  Отсюда можно сделать вывод, что случайная величина X − θ имеет распределение, не зависящее от n, т. е. оценка X несостоятельна. С другой стороны, значение θ является медианой данного распределения, θ ∞ 1 1 1 ∫−∞ f ( x, θ) dx = ∫0 π 1+ x 2 dx = 2 ,

и по теореме 4 § 1 оценка Z

n,

1 2

является сильно состоятельной оценкой для θ,

причем величина  1 2 nZ 1 −  π  n, 2 2 

асимптотически (0, 1)-нормальна. П р и м е р 4. Параметры нормального распределения. Рассмотрим задачу оценивания параметров нормального распределения с плотностью

265

( x − a )2

− 1 2 f ( x, a , σ ) = e 2 σ , a ∈ R, σ2 > 0. σ 2π Плотность распределения выборки X (функция правдоподобия) равна n −  1 n 2 L ( x; a; σ ) = ( 2πσ 2 ) 2 exp − 2 ∑ ( xk − a )  .  2σ k =1 

Предположим, что дисперсия σ 2 известна и оценивается математическое ожидание a = θ1. Имеем ∂ 1 n ln L ( x ; a; σ2 ) = 2 ∑ ( xk − θ1 ). ∂θ1 σ k =1 Таким образом, выполнено условие (10) существования несмещенной эффективной оценки, и она имеет вид 1 n T1 ( X ) = ∑ X k = X . n k =1 Следовательно, выборочное среднее X является несмещенной оценкой с минимальной дисперсией математического ожидания нормального распределения. Дисперсия этой оценки равна σ2 D (T1 ( x ) ) = . n Предположим теперь, что среднее a известно и оценивается дисперсия σ 2 = θ2 . Имеем n ( x − a) n 1 . ∂ ln L ( x; a; θ2 ) = ∑ k 2 − ∂ θ2 2 θ2 2θ2 k =1 Условие (10) существования эффективной оценки выполнено. Таким образом, оценка 1 n 2 T2 ( X ) = ∑ ( X k − a ) n k =1 является эффективной. Ее дисперсия равна 2θ22 D (T2 ( X ) ) = . n П р и м е р 5. Оценка параметра биномиального распределения. Имеем N −x f ( x, θ ) = CNx θ x (1 − θ ) , x = 0, 1, … , N , θ ∈ ( 0;1) ,

2

поэтому L ( x; θ ) = CNx1 и

CNxn θ x1 +…+ xn (1 − θ )

nN − x1 −…− xn

,

∂ ln L( x ;θ ) x1 + … + xn Nn − x1 −… − xn n = − = ( x − N θ) . 1− θ ∂θ θ θ (1 − θ ) Таким образом, оценка

266

1 X N является несмещенной эффективной оценкой θ. П р и м е р 6. Оценка параметра распределения Пуассона. Пусть случайная величина ξ имеет распределение Пуассона с неизвестным параметром λ = θ > 0. Тогда θ x −θ f ( x, θ ) = P ( ξ = x ) = e , x = 0, 1, … ; θ > 0, x! n 1 L ( x; θ ) = ∏ f ( xk , θ ) = e − n θ θ x1 + … + xn x x … ! ! k =1 1 n и ∂ ln L( x ;θ ) 1 n n = ∑ xk − n = ( x − θ ) . ∂θ θ k =1 θ Следовательно, в силу критерия эффективности (10) выборочное среднее X является несмещенной эффективной оценкой параметра θ с дисперсией 1 θ D X = Dξ = . n n П р и м е р 7. Оценка параметра распределения Коши. Пусть случайная величина ξ имеет распределение Коши с плотностью 1 1 f ( x, θ ) = , θ ∈ R, π 1+ ( x −θ )2 T(X ) =

тогда

∂ ln L( x ;θ ) =2 ∂θ

n

( xk − θ ) . 2 ( xk − θ ) τ ( θ ) параметра

∑ 1+ k =1

В этом случае ни для какой функции

θ не существует эф-

фективной оценки. Заметим, что случайные величины ( X k − θ) 1 + ( X k − θ) имеют средние нуль и дисперсии равные

2

π . Отсюда мы получаем значение для 8

фишеровского количества информации 2

 ∂  n in ( θ ) = M θ  L ( x; θ )  = , 2  ∂θ  и нижняя граница Рао – Крамера дисперсии несмещенных оценок параметра θ в 2 плотности Коши равна . В прим. 3 было показано, что оценка Z 1 является соn, n 2 стоятельной оценкой для параметра θ. Для дисперсии Z 1 при больших n имеем n,

267

2

Dθ Z

n,

1 2

≈

π2 , θ ∈ R. 4n

π2 > 2, то оценка Z 1 не является асимптотически эффективной, n, 2 2 т. е. в пределе при n → ∞ не является эффективной. Так как

2. Достаточные статистики Прежде чем перейти к методам нахождения оценок неизвестных параметров, рассмотрим одно понятие, так называемых, достаточных статистик, которое во многих случаях полезно при оценивании параметров. Основная идея достаточных статистик заключается в следующем. Пусть имеется выборка X = ( X 1 , X 2 , …, X n ) объема n. Величина n может быть очень большой и поэтому будет большим объем экспериментальных данных. Возникает задача приведения этих данных в более компактный вид без потери информации, содержащейся в выборке, т. е., найти такие статистики T1 = T1 ( X ) , …, Tk = Tk ( X ) , чтобы k было меньше n, и которые давали бы столько же информации о неизвестном исследуемом параметре, сколько несет выборка X. Такие функции T = (T1 , …, Tk ) будем называть достаточными статистиками. Заметим, что сама выборка X, естественно, является достаточной статистикой. А теперь перейдем к строгому изложению этого материала. Статистика T = T ( X ) называется достаточной для модели

F = { F ( x, θ ) , θ∈ Θ} (или достаточной для параметра θ, когда ясно, о

какой модели идет речь), если условная плотность распределения (или вероятность в дискретном случае) L ( x | t ; θ ) случайного вектора

X = ( X 1 , X 2 , …, X n ) при условии T ( X ) = t не зависит от параметра θ. Это свойство статистики T означает, что она содержит всю информацию о параметре θ, имеющуюся в выборке, и поэтому все заключения об этом параметре, которые можно сделать при наблюдении x , зависят только от t = T ( x ) . Достаточная статистика, следовательно, дает оптимальный в определенном смысле способ представления статистических данных, что особенно важно при обработке больших массивов статистической информации.

268

Приведем критерий факторизации, позволяющий в каждом конкретном случае определить, существует ли достаточная статистика, и одновременно установить ее вид. Теорема 2 (Критерий факторизации). Для того, чтобы статистика T ( X ) была достаточной для θ, необходимо и достаточно, чтобы функция правдоподобия L ( x; θ ) имела вид L ( x; θ ) = g (T ( x ) ; θ ) h ( x ) ,

(14)

где множитель g может зависеть от θ, а от x зависит лишь через T ( x ) , множитель h от параметра θ не зависит. Д о к а з а т е л ь с т в о (проведем для случая дискретной модели). Н е о б х о д и м о с т ь. Так как статистика T является достаточной, то L ( x | t ; θ ) = h ( x , t ) . Пусть T ( x ) = t , тогда { X = x} ⊆ {T ( X ) = t} , поэтому L ( x; θ ) = Pθ ( X = x ) = Pθ ( X = x , T ( X ) = t ) = Pθ (T ( X ) = t ) × ×Pθ ( X = x | T ( X ) = t ) = g ( t ; θ ) L ( x | t ; θ ) = g (T ( x ) ; θ ) h ( x , t ) .

Д о с т а т о ч н о с т ь. Пусть имеет место (14), тогда для любых x , таких, что T ( x ) = t

L ( x | t ; θ ) = Pθ ( X = x | T ( X ) = t ) =

=

Pθ ( X = x , T ( X )=t ) Pθ (T ( X )=t )

g ( t ;θ ) h( x ) = ∑ g ( t;θ ) h( x )

x ′:T ( x′ )=t

=

h( x ) , ∑ h( x′)

L( x;θ ) = ′ L x ; θ ( ) ∑

x′:T ( x′ )=t

x′:T ( x′ )=t

т. е. L ( x | t ; θ ) не зависит от θ. Если же для x имеет место соотноше-

ние T ( x ) ≠ t , то L ( x | t ; θ ) = 0. Таким образом, в любом случае условная вероятность L ( x | t ; θ ) не зависит от θ. Теорема доказана.

Достаточная статистика T = T ( X ) называется полной, если для

любой функции ϕ ( t ) из того, что M θ ϕ (T ) = 0 для любых θ ∈ Θ следу-

ет ϕ ( t ) ≡ 0 на всем множестве значений статистики T. З а м е ч а н и е 2. Пусть в рассматриваемой модели F существует полная достаточная статистика T и требуется оценить заданную параметрическую функцию τ ( θ ) , тогда 269

1) если нет несмещенных оценок вида H (T ) (H – некоторая функция), то класс T τ несмещенных оценок пуст; 2) оптимальная оценка (когда она существует) всегда является функцией, зависящей от T ; 3) оптимальную оценку τ∗ можно искать по формуле τ∗ = H (T ) = M θ (T1 | T ) , исходя из любой несмещенной оценки T1 функции τ ( θ ) [14]. П р и м е р 8. Пусть исследуемая случайная величина – экспоненциальная 1 случайная величина с параметром λ = > 0. Тогда θ 1  x f ( x, θ ) = exp −  , x ≥ 0, θ  θ 1  1 n  L ( x; θ ) = exp − ∑ xk  .  θ k =1  θn Итак, функция правдоподобия L ( x; θ ) зависит только от n

∑x , k =1

k

следовательно, статистика n

T ( X ) = ∑ Xk k =1

в силу критерия факторизации (14) является достаточной статистикой. П р и м е р 9. Пусть ξ – нормальная случайная величина с неизвестными параметрами θ1 = a, θ2 = σ2 . Тогда  1 1 exp − 2πθ2  2θ2 и по критерию факторизации статистики L ( x; θ1 ; θ2 ) =

n

T1 ( X ) = ∑ X k

n

∑ xk2 + k =1

θ1 θ2

n

∑ xk − k =1

nθ12   2θ 2 

n

и

k =1

T2 ( X ) = ∑ X k2 k =1

являются достаточными. П р и м е р 1 0. Пусть случайная величина ξ равномерно распределена на отрезке [ θ1 ; θ2 ] . Тогда

где

 1 , θ1 ≤ x(1) < x(n ) ≤ θ2 ,  L ( x; θ1 ; θ2 ) =  b − a 0, в противном случае, x(1) = min { x1 , … , xn } , x( n ) = max { x1 , … , xn } , т. е. порядковые статистики

T1 ( X ) = X (1) и T2 ( X ) = X ( n ) являются достаточными в данном случае. 270

3. Методы оценивания неизвестных параметров 1) М е т о д м а к с и м а л ь н о г о п р а в д о п о д о б и я Метод был предложен Р. Фишером. Изложим суть этого метода. Пусть имеется выборка X = ( X 1 , X 2 , …, X n ) из распределения

L ( ξ ) ∈ F = {F ( x, θ ) , θ∈ Θ} и L(x; θ) – функция правдоподобия для реализации x = (x1 , …, xn ) выборки X. Оценкой максимального правдоподобия θˆ параметра θ называется такая точка параметрического множества Θ, в которой функция правдоподобия L ( x; θ ) при заданном x достигает максимума, т. е. L x; θˆ = sup L ( x; θ ) .

( )

θ∈Θ

Если для каждого x из выборочного пространства X максимум L ( x; θ ) достигается во внутренней точке Θ и L ( x; θ ) дифференцируема по θ, то оценка максимального правдоподобия θˆ удовлетворяет уравнению

или

∂L( x;θ ) = 0, ∂θ ∂ ln ( L( x;θ ) )

= 0. (15) ∂θ Если θ – векторный параметр: θ = ( θ1 , …, θn ) , то это уравнение заменяется системой ∂ ln L x;θ = 0, i = 1, n. (16) ∂ θi Уравнения (15) и (16) называются уравнениями правдоподобия. З а м е ч а н и е 3 (см. [14]). Отметим свойства оценки максиˆ мального правдоподобия θ: 1) если существует эффективная оценка T ( X ) для скалярного параметра θ, то θˆ = T ( X ) ;

( )

2) если имеется достаточная статистика T = T ( X ) , и оценка максимального правдоподобия θˆ существует и единственна, то она является функцией от T ; 3) θˆ является состоятельной оценкой параметра θ, т. е. 271

Pθ θˆ  →θ; n →∞

4) θˆ является асимптотически несмещенной оценкой, т. е. ее смещение (см. (2)) при n → ∞ стремится к 0; 5) θˆ является асимптотически эффективной оценкой, т. е. в пределе при n → ∞ – эффективная оценка. 2) Метод моментов Исторически первым общим методом точечного оценивания неизвестных параметров является метод моментов, предложенный К. Пирсоном. Суть этого метода состоит в следующем. Пусть X = ( X 1 , X 2 , …, X n ) – выборка из распределения

L ( ξ ) ∈ F = { F (x; θ), θ ∈ Θ} , где θ = ( θ1 , …, θr ) и Θ ⊆ R r . Предполо-

жим, что у наблюдаемой случайной величины ξ существуют первые r моментов α k = M ξ k , k = 1, r. Они являются функциями от неизвест-

()

ных параметров θ : α k = α k θ . Рассмотрим соответствующие выборочные моменты Ank ( X ) (см. (6) § 1). Пусть ank значения этих величин для наблюдавшейся реализации x выборки X. Тогда метод моментов состоит в приравнивании значений ank и теоретических моментов: α k θ = ank , k = 1, r. (17)

()

Решая эти уравнения относительно θ1 , …, θr получаем значения оценок параметров по методу моментов. Использование начальных моментов не обязательно, можно использовать также центральные, абсолютные моменты и т. п. З а м е ч а н и е 4. Метод моментов при определенных условиях приводит к состоятельным оценкам, при этом уравнения (17) во многих случаях просты и их решения не связано с большими вычислительными трудностями. Отметим, однако, что метод моментов неприменим, когда теоретические моменты нужного порядка не существуют. Кроме того, оценки метода моментов, вообще говоря, не эффективны, поэтому их часто используют только в качестве первых приближений. П р и м е р 1 1. Пусть ξ – случайная величина Пуассона с неизвестным параметром λ = θ > 0, т. е. f ( x, θ ) = P ( ξ = x ) =

θ x −θ e , x = 0, 1, 2, ...; θ > 0, x! 272

1 θ x1 + ... + xn e − n θ . x1 ! … xn ! Оценим неизвестный параметр θ, используя метод максимального правдоподобия. Запишем уравнение правдоподобия ∂ ln L( x ;θ ) =0 ∂θ или 1 ( x1 + … + xn ) − n = 0. θ Отсюда находим решение x + ... + xn θ= 1 = x, n т. е. оценка максимального правдоподобия θˆ 1 равна θˆ 1 = X . Оценим неизвестный параметр θ , используя метод моментов. Для этого приравняем математическое ожидание M θ ξ и реализацию выборочного среднего x . Так как ∞ ∞ θk −θ M θξ = ∑ k P ( ξ = k ) = ∑ k e = θ, θ > 0, k! k =0 k =0 то искомое уравнение θ=x и, следовательно, оценка, полученная методом моментов, совпадает с оценкой максимального правдоподобия: θˆ 2 = X . П р и м е р 1 2. Используя метод максимального правдоподобия и метод моментов, оценим неизвестный параметр θ, если случайная величина ξ равномерно распределена на отрезке [ 0; θ] , θ > 0. Имеем L ( x; θ ) =

1  , f ( x, θ ) =  θ  0,

x ∈ [ 0; θ] , x ∉ [ 0; θ]

и  1 , 0 ≤ x1 , ..., xn ≤ θ,  L ( x ; θ ) =  θn  0, в противном случае.  Функция правдоподобия L ( x; θ ) не является дифференцируемой по θ, тем не менее, несложно видеть, что при заданном x она достигает максимума в точке θ = max ( x1 , … , xn ) . Таким образом оценка максимального правдоподобия имеет вид

θˆ 1 = max ( X 1 , … , X n ) = X ( n ) . 273

Применим метод моментов. Для этого приравняем теоретическое математическое ожидание ∞ θ x θ M θξ = ∫ x f ( x, θ ) dx = ∫ dx = θ 2 −∞ 0 и реализацию выборочного среднего x , тогда θ =x 2 или θ = 2 x . Следовательно, оценка, полученная методом моментов, имеет следующий вид θˆ 2 = 2 X . У п р а ж н е н и е 1. Проверьте свойства оценок θˆ и θˆ , учиты1

2

вая замеч. 3 и 4. Какая из них лучше? 4. Интервальное оценивание Выше были рассмотрены точечные оценки для параметра θ исследуемой модели L ( ξ ) ∈ F = { F ( x, θ ) , θ∈ Θ} и функций этого параметра. Любая точечная оценка представляет собой функцию T = T ( X ) выборки X = ( X 1 , X 2 , …, X n ) , т. е. является случайной величиной, и при каждой реализации x выборки X эта функция определяет единственное значение t = T ( x ) оценки, принимаемое за приближенное значение оцениваемой характеристики. При этом в каждом конкретном случае значение оценки может отличаться от значения параметра, следовательно, полезно знать и возможную погрешность, возникающую при использовании предлагаемой оценки. Например, указать такой интервал (или область в случае векторного параметра), внутри которого с высокой вероятностью γ находится точное значение оцениваемого параметра. В этом случае говорят об интервальном или доверительном оценивании, а соответствующий интервал называется доверительным. Величину γ выбирают заранее. Пусть θ – скалярный параметр. При интервальном оценивании ищут две такие статистики T1 = T1 ( X ) и T2 = T2 ( X ) , что T1 < T2 , для которых при заданном γ ∈ ( 0;1) выполняется условие Ρ θ (T1 (X ) < θ < T2 (X ) ) ≥ γ (18) для любого θ∈ Θ. В этом случае интервал (T1 ( X ) ;T2 ( X ) ) называют γ-доверительным интервалом (для θ), число γ – доверительным уровнем, или

274

доверительной вероятностью, T1 ( X ) и T2 ( X ) – нижней и верхней границами соответственно. На практике обычно используют значения доверительного уровня γ из небольшого набора заранее выбранных, достаточно близких к единице значений, например, γ = 0,9; 0,95; 0,99 и т. д. (при этом γ ≠ 1 ). Аналогично определяется доверительный интервал для отдельной компоненты (например, θ1 ) в случае многомерного параметра θ : Pθ (T1 ( X ) < θ1 < T2 ( X ) ) ≥ γ для любого θ ∈ Θ, а также доверительный интервал для скалярной параметрической функции τ ( θ ) ( θ может быть как скаляром, так и вектором), Pθ (T1 ( X ) < τ ( θ ) < T2 ( X ) ) ≥ γ для любого θ∈ Θ. Общий прием, с помощью которого в ряде случаев можно построить доверительный интервал, состоит в следующем: пусть модель F абсолютно непрерывна и существует случайная величина G ( X , θ ) такая, что: 1) распределение G ( X , θ ) не зависит от θ; 2) при каждом x ∈ X функция G ( x , θ ) непрерывна и строго монотонна по θ. Такую случайную величину называют центральной статистикой (для θ). Аналогично определяется центральная статистика для отдельной компоненты в случае многомерного параметра θ, а также для скалярной параметрической функции. Далее будем рассматривать для краткости лишь случай скалярного параметра θ. Пусть для модели F построена центральная статистика G ( X , θ ) и fG ( g ) – ее плотность распределения. Функция fG ( g ) от параметра θ не зависит [условие 1)], поэтому для любого γ ∈ ( 0;1) можно выбрать величины g1 < G ( x , θ ) < g 2 (вообще говоря, многими способами; в некоторых моделях единственность выбора обеспечивается требованием минимальности длины отрезка [ g1; g 2 ] ) так, чтобы

275

Pθ ( g1 < G ( X , θ ) < g 2 ) =

g2

∫ f ( g ) dg = γ. G

(19)

g1

Определим теперь при каждом x ∈ X числа T1 ( x ) и T2 ( x ) , где

T1 ( x ) < T2 ( x ) , как решения относительно θ уравнений G ( x , θ ) = g1 , G ( x , θ ) = g 2 ; однозначность определения этих чисел обеспечивается условием 2). Тогда неравенства g1 < G ( x , θ ) < g 2 эквивалентны неравенствам T1 ( x ) < θ < T2 ( x ) и, следовательно, (19) можно переписать в виде Pθ (T1 ( X ) < θ < T2 ( X ) ) = γ для любого θ∈ Θ. Таким образом, построенный интервал (T1 ( x ) ;T2 ( x ) ) является γдоверительным интервалом для θ. З а м е ч а н и е 5 (см. [14]). Пусть по выборке X = ( X 1 , X 2 , …, X n ) требуется построить доверительные интервалы для µ и σ2 в модели N ( µ, σ 2 ) . Применяя вышепредложенную методику, получим: 1) если µ известно, а требуется оценить σ2 , то промежуток n  −1 n  −1 ζ X − µ ; ζ (20) ) 1−γ ∑ ( X i − µ )   1+γ ∑ ( i  2 i =1  2 i =1 2 является γ-доверительным интервалом для σ ; здесь ζ γ – γ-квантиль распределения χ 2n ( χ 2n – хи-квадрат распределение с n степенями свободы); 2) если σ2 известно, то ζ 1+ γ ζ 1+ γ   X −σ 2 ; X +σ 2  (21)  n n   есть γ-доверительный интервал для µ; здесь ζ γ – γ-квантиль распределения N ( 0, 1) , где N ( 0, 1) – нормальное распределение с парамет-

рами ( 0, 1) ;

3) если оба параметра µ и σ2 неизвестны, то

276

 S S  (22) ; X + ζ 1+γ  X − ζ 1+γ  n −1 n −1   2 2 является γ-доверительным интервалом для µ, здесь ζ γ – γ-квантиль

tn−1 - распределения ( tn−1 - распределение Стьюдента с n − 1 степенью свободы), S 2 – выборочная дисперсия, а  2  2  nS nS  (23) ζ ; ζ  +γ −γ 1 1    2 2  есть γ-доверительный интервал для σ2 , здесь ζ γ – γ-квантиль распределения χ 2n−1. З а м е ч а н и е 6. Значения γ-квантилей распределений хи-квадрат, Стьюдента и нормального протабулированы (см. Приложения, табл. 6, 5, 3). П р и м е р 1 3. Д о в е р и т е л ь н ы е и н т е р в а л ы д л я в е р о я т н о с т и у с п е х а в с х е м е Б е р н у л л и. Пусть случайная величина µ – число «успехов» при n испытаниях в схеме Бернулли. Функция распределения m

F ( m, θ ) = P ( µ ≤ m ) = ∑ Cnk θk (1 − θ )

n−k

,

k =0

рассматриваемая в целых точках m = 0, 1, 2, … , n, убывает с ростом θ, так как d n − m −1 < 0. F ( m, θ ) = − n Cnm−1 θm (1 − θ ) dθ Обозначим mγ ( θ ) такое наименьшее целое число, для которого F ( mγ ( θ ) , θ ) ≥ γ ,

тогда mγ ( θ ) − 1 есть такое наибольшее целое число, что F ( mγ ( θ ) − 1, θ ) < γ.

Пусть α1 + α 2 = 1 − γ , тогда с вероятностью большей либо равной γ m1−α1 ( θ ) ≤ µ ≤ mα2 ( θ ) .

Обозначим решение уравнения y = mγ ( θ ) относительно θ через mγ−1 ( y ) . Тогда неравенства

1 mα−12 ( µ ) < θ < m1−−α (µ ) 1

задают доверительный интервал для θ с уровнем доверия γ. Для нахождения границ доверительных интервалов можно пользоваться таблицами биномиального распределения, но такие таблицы громоздки и не очень распространены. Поэтому часто используют предельную теорему Муавра – Лапласа об асимптотической нормальности случайной величины 277

η=

µ − nθ n θ (1 − θ )

для построения приближенных доверительных интервалов. Неравенство η ≤ ζ 1− γ 2

при больших n выполняется с вероятностью примерно равной γ, а если учесть, что при n → ∞ µ п.н. → θ, n т. е. µ θ≈ , n то доверительный интервал для θ имеет вид µ − ζ 1−γ n 2

здесь ζ1−γ –

1−γ 2

µ  µ µ 1 −  < θ < + ζ 1−γ 2  n  n n 2

µ  µ 1 −  , n2  n 

-квантиль ( 0, 1) - нормального распределения.

2

Существуют и другие подходы к построению приближенного доверительного интервала для θ (см. [34]). П р и м е р 1 4. Найдем д о в е р и т е л ь н ы й и н т е р в а л с д о в е рительной вероятностью γ для параметра θ случайной в е л и ч и н ы П у а с с о н а ξ. Имеем

θk −θ e , θ > 0. k! – выборка из распределения Пуассона. Найдем

Ρ (ξ = k ) = Пусть X = ( X 1 , X 2 , … , X n )

центральную статистику для θ. При этом используем очевидный факт, что кратчайший доверительный интервал обеспечивает эффективная оценка (у нее наименьшая дисперсия; см., также [ 7 ] ). Поскольку

θ xk , k =1 x ! k n

L ( x , θ ) = e −θn ∏ то

n ∂ ln L ( x , θ ) = ( x − θ ) . ∂θ θ В качестве статистики возьмем n G ( X , θ) = ( X − θ). θ Так как она асимптотически нормальна с параметрами ( 0, 1) , то пользуясь нормальным распределением, определим приближенные γ-доверительные границы

278

g1 , g 2 (см. (19)). При этом учитываем, что доверительный интервал ( g1 ; g 2 ) будет иметь наименьшую длину, если g 2 = − g1 = g , т. е. имеем 1

g

∫e

−

x2 2

2π − g

dx = γ

или g

таким образом g = ζ 1+ γ

2

x − 1 γ 2 e dx = , ∫ 2 2π 0 – квантиль нормального распределения.

2

Решая неравенство n X − θ ≤ ζ 1+γ θ 2

относительно θ, получаем ζ 12+γ

ζ 12+γ

ζ 12+γ

ζ 12+γ

X X + 22 < θ < X + 2 + ζ 1+γ + 22 2n n 4 n 2 n n 4n 2 2 есть γ-доверительный интервал для параметра θ. П р и м е р 1 5. З а д а ч а о д в у х н о р м а л ь н ы х в ы б о р к а х. Пусть X = ( X 1 , X 2 , … , X n ) и Y = (Y1 , Y2 , …, Ym ) две независимые нормальные X+

2

− ζ 1+γ

выборки с параметрами ( a1 , σ12 ) и ( a2 , σ 22 ) соответственно. На практике часто на-

до будет знать, насколько значима разность между средними в этих выборках. Иными словами, нас будут интересовать доверительные интервалы для разности a1 − a2 . Эту задачу называют задачей о сравнении двух средних. Рассмотрим два варианта этой задачи. а) Пусть известны дисперсии σ12 и σ 22 . Так как случайные величины 1 n 1 m X i , Y = ∑ Yj ∑ m j =1 n i =1 независимы и нормальны с параметрами 1 2 1 2    a1 , σ1  и  a2 , σ2  , n  m    то разность X − Y – нормальна с математическим ожиданием a1 − a2 и дисперсией X=

1 2 1 2  σ1 + σ 2  . m  n Поэтому доверительные интервалы для a1 − a2 имеют вид X −Y −t

σ12 σ22 σ2 σ2 + < a1 − a2 < X − Y + t 1 + 2 , n m n m

279

где t – γ-доверительная граница для стандартной нормальной случайной величины η, т. е. P ( η < t ) = γ (сравните с п. 2 замеч. 5). б) Пусть дисперсии выборок неизвестны, но известно, что σ12 = σ22 = σ 2 . Положим 2 2 1 n 1 m S12 = X i − X ) , S 22 = Yj − Y ) . ( ( ∑ ∑ n − 1 i =1 m − 1 j =1 Несложно видеть, что случайная величина 1  n − 1) S12 + ( m − 1) S22  2 ( σ 2 имеет χ распределение с n + m − 2 степенями свободы и не зависит от случай-

ных величин X и Y (см. [ 7 ] ). Учитывая, что разность ( X − a1 ) − (Y − a2 ) является

  1 1  нормальной случайной величиной с параметрами  0, σ 2  +   , видим, что  n m   статистика X − Y − a1 + a2 nm τ= 2 2 ( n −1) S1 + ( m −1) S2 m + n имеет распределение Стьюдента с n + m − 2 степенями свободы. Поэтому γдоверительный интервал для разности a1 − a2 имеет вид X −Y −t

( n − 1) S12 + ( m − 1) S22

< X −Y + t

m+n < a1 − a2 < mn

( n − 1) S12 + ( m − 1) S22

где t находится из уравнения P ( τ < t ) = γ.

m+n , mn

Другой задачей, связанной с двумя выборками, является задача о сравнении дисперсий. В этом случае интересуются доверительными интервалами для отношения дисперсий ( σ12 σ22 ) . Оценкой такого отношения естественно принять случайную величину S12 S22 . Так как отношение Z=

nS12 mS 22 : σ12 σ 22

равно отношению двух независимых случайных величин χ 2n −1 и χ 2m −1 , то случай-

ная величина Z имеет распределение Фишера с ( n − 1, m − 1) степенями свободы. Найдя для величины Z доверительные границы c1 и c2 так, чтобы 1+ γ 1+ γ P ( Z ≤ c1 ) = , P ( Z ≥ c2 ) = , 2 2 получим для отношения ( σ12 σ 22 ) следующий интервал 280

1 nS12 σ12 1 nS12 < < . c2 mS22 σ 22 c1 mS22

§ 3. Проверка статистических гипотез 1. Понятие статистической гипотезы и статистического критерия Статистической гипотезой называют любое утверждение о виде или свойствах распределения наблюдаемых в эксперименте случайных величин. Если для исследуемого явления (процесса, ситуации и т. д.) сформулирована та или иная гипотеза (обычно ее называют основной или нулевой гипотезой и обозначают символом H 0 ), то задача состоит в том, чтобы сформулировать такое правило, которое бы позволило по результатам соответствующих наблюдений применять или отклонить эту гипотезу. Правило, согласно которому проверяемая гипотеза H 0 принимается или отвергается, называется статистическим критерием проверки гипотезы H 0 . Разработка таких правил и их обоснование с точки зрения требований оптимальности и составляет предмет теории проверки статистических гипотез. В дальнейшем будет формулироваться только одна гипотеза и необходимо будет проверять, согласуются ли имеющиеся статистические данные с этой гипотезой или же они ее опровергают. Соответствующие статистические критерии называют критериями согласия. Если гипотеза H 0 однозначно фиксирует распределение наблюдений, то ее называют простой, в противном случае – сложной. Рассмотрим общий метод построения критериев согласия. Пусть о распределении случайной величины X = ( X 1 , X 2 , …, X n ) , описывающей результат изучаемого эксперимента, сформулирована некоторая гипотеза H 0 . Чтобы построить критерий проверки этой гипотезы, пытаются найти такую статистику T = T ( X ) , характеризующую отклонение эмпирических данных от соответствующих (гипотезе H 0 ) гипотетических значений (обычно такие статистики неотрицательны), распределение которой в случае справедливости H 0 можно было бы определить. Предположим, что такая статистика и ее распределение при гипотезе H 0 найдены.

281

Пусть T = {t : t = T ( x ) , x ∈ X } , определим для фиксированного заранее достаточно малого числа α > 0 подмножество T 1α ⊂ T чтобы P (T ( X ) ∈ T 1α H 0 ) ≤ α.

так, (1)

Тогда правило гипотезы H 0 можно сформулировать следующим образом. Пусть x – наблюдавшаяся реализация случайной величины X и t = T ( x ) . Если t ∈ T 1α , гипотеза H 0 должна быть отвергнута как противоречащая статистическим данным, если t ∉ T 1α , то нет оснований отказываться от принятой гипотезы. В описанной методике статистику T называют статистикой критерия, T 1α – критической областью для гипотезы H 0 , число α – уровнем значимости критерия (в конкретных случаях величину α выбирают равной 0,1; 0,05; 0,01; и т. д.) Для проверки одной и той же гипотезы H 0 можно строить различные критерии согласия, основываясь на разных статистиках T(X) и, чтобы выбрать в конкретной ситуации тот или иной критерий, надо иметь принципы сравнения различных критериев. Любое распределение F наблюдаемой случайной величины X, которое может оказаться истинным, но отличающееся от распределения при гипотезе H 0 , называют альтернативным распределением или альтернативой. Совокупность всех альтернативных распределений называют альтернативной гипотезой и обозначают H1. Величину

W ( F ) = W ( T 1α , F ) = Ρ (T ( X ) ∈ T 1α F − истинно )

называют функцией мощности критерия. Для распределения F ∈ H 0 в силу (1) справедливо неравенство W ( F ) ≤ α для любого F.

Если F ∈ H1 , то значение W ( F ) называют мощностью критерия при альтернативе F. В терминах функции W ( F ) можно сказать, что критерий тем лучше («тем мощнее»), чем больше его мощность при альтернативах. 2. Проверка гипотезы о виде распределения Пусть X = ( X 1 , X 2 , …, X n ) – выборка из распределения L ( ξ ) с

неизвестной функцией распределения Fξ ( x ) , x ∈ R, о которой выдвинута гипотеза H 0 : Fξ ( x ) = F ( x ) , x ∈ R. 282

2.1. К р и т е р и й с о г л а с и я К о л м о г о р о в а применяют в тех случаях, когда функция распределения F ( x ) непрерывна. Статистика критерия D n = D n ( X ) = sup Fn ( X ) − F ( X ) (2) −∞< X 0 lim Ρ n →∞

(

)

n Dn ≤ t = K ( t ) =

+∞

∑ ( −1)

j

2 2

e −2 j t ,

(3)

i =−∞

следует, что распределение статистики D n при достаточно больших n (уже при n ≥ 20 ) практически от n не зависит и имеет вид (3). Отсюда следует, что при n ≥ 20 критическую границу tα = tα ( n ) можно полаλ гать равной α , где K ( λ α ) = 1 − α. Действительно, в этом случае n 283

P ( D n ∈ T 1α | H 0 ) = P

(

)

n D n ≥ λ α | H 0 ≈ 1 − K ( λ α ) = α.

Таким образом, при заданном уровне значимости α число λ α определяют из соотношения K ( λ α ) = 1 − α и в этом случае правило проверки гипотезы H 0 формулируется (при n ≥ 20 ) следующим образом: если наблюдавшееся значение t = D n ( x ) статистики (2) удовлетворяет неравенству t n ≥ λ α , то гипотезу H 0 отвергают; в противном случае считают, что статистические данные не противоречат гипотезе. Для небольших значений n точное распределение D n протабулировано и для расчета можно пользоваться соответствующими таблицами (см. [4]). На практике вычисление статистики D n – трудоемкая задача, поэтому часто применяют другой критерий, называемый критерием χ 2 . 2.2. К р и т е р и й с о г л а с и я χ 2 К. П и р с о н а можно использовать для любых распределений, в том числе и многомерных. Чтобы им воспользоваться, выборочные данные предварительно группируют следующим образом. Разобьем множество E возможных значений наблюдаемой случайной величины ξ на N непересекающихся подмножеств E 1 , …, E N . Пусть v = ( v1 , …, vN ) – вектор частот попадания выборочных точек в соответствующие интервалы группировки E 1 , …, EN ( v1 + … + vN = n ) и p 0 = ( p10 , …, pN0 ) , где p 0j = P ( ξ ∈E j | H 0 ) , j = 1, N . В качестве статистики выбирают величину X =X 2 n

2 n

N

(ν) = ∑ j =1

(ν

j

− np 0j ) np 0j

2

N

=∑

ν 2j

0 j =1 np j

− n,

(4)

а критическую область задают в виде T 1α = {t ≥ tα }. Точное распределение L ( X n2 | H 0 ) неудобно для вычисления критической границы tα . Л е м м а 1 [14]. Если 0 < p 0j < 1, j = 1, N , то при n → ∞ L ( X n2 | H 0 ) → χ 2N −1.

Учитывая лемму 1, на практике с хорошим приближением уже при n ≥ 50, v j ≥ 5 можно использовать распределение χ 2N −1. Действительно, в этом случае 284

P ( X ∈ T 1α | H 0 ) = P ( X ≥ χ 2 n

2 n

2 1−α , N −1

| H0 ) ≈

∞

∫

k N −1 ( x ) dx = α.

χ12−α , N −1

Здесь k N −1 ( x ) – плотность распределения χ 2N −1. Таким образом, критерий согласия χ 2 формулируется в виде: пусть заданы уровень значимости α и объем выборки n, и наблюдавшиеся значения h = ( h1 , …, hN ) вектора частот v = ( v1 , …, vN ) удовлетворяют условиям: h = h1 + … + hN ≥ 50, h j ≥ 5, j = 1, N , тогда, если наблюдавшиеся значения t = X n2 (h) статистики (4) удовлетворяют неравенству t ≥ χ12−α , N −1 , то гипотезу H 0 отвергают; в противном случае H 0 не противоречит результатам испытаний. 2.3. П р о в е р к а г и п о т е з ы о д н о р о д н о с т и. Одной из важных прикладных задач математической статистики является задача проверки однородности статистического материала. Пусть X = ( X 1 , X 2 , …, X n ) – выборка из распределения L ( ξ ) с неизвестной

функцией распределения F1 ( x ) , а Y = (Y1 , Y2 , …, Ym ) – выборка из

распределения L ( η) с неизвестной функцией распределения F2 ( x ) . Требуется проверить гипотезу однородности H 0 : F1 ( x ) ≡ F2 ( x ) , x ∈ R. К р и т е р и й о д н о р о д н о с т и С м и р н о в а применяют в случае непрерывных распределений. Этот критерий основан на статистике D nm = sup F1n ( x ) − F2 m ( x ) , −∞< x 0

(

)

f x, θ =

1 θ2

 ( x − θ1 )2  exp −  2θ22  2π 

287

– плотность ( θ1 , θ22 ) - нормального распределения. Гипотеза H 0 : ( θ1 , θ2 ) = ( 0, 1) является простой, а гипотеза H 0 : θ1 = a, где a – фиксированная точка из R, – сложной. П р и м е р 2. Пусть n− x f ( x, θ ) = Cnx θ x (1 − θ ) – вероятность x «успехов», x = 0, 1, … , n, в n независимых испытаниях схемы 1 Бернулли, 0 < θ < 1. Примером простой гипотезы служит гипотеза H 0 : θ = , а 2 1 примером сложной – H 0 : θ > . 2

Пусть X = ( X 1 , …, X n ) – выборка из распределения L ( ξ ) ∈ F , о

котором сформулирована некоторая гипотеза H 0 : θ ∈ Θ0 . Требуется выяснить верна или нет гипотеза H 0 , т. е. надо построить критерий, который позволял бы для каждой реализации x выборки X принять гипотезу H 0 или отклонить ее. Тем самым каждому критерию соответствует разбиение выборочного пространства X на 2 подмножества X 0 и X 1 ( X 0 ∩ X 1 = ∅, X 0 ∪ X 1 = X ) , где X 0 состоит из точек x, для которых H 0 принимается, а X 1 – из точек, для которых H 0 отвергается. Множество χ0 называют областью принятия гипотезы H 0 , а X 1 – критической областью. Критерий, определяемый критической областью X 1 часто для краткости называют критерием X 1. В процессе проверки гипотезы H 0 можно прийти к правильному решению или совершить ошибку первого рода – отклонить H 0 , когда она верна, или ошибку второго рода – принять H 0 , когда она ложна. Вероятности этих ошибок можно выразить через функцию мощности W ( θ ) критерия X 1 W ( θ ) = W ( X 1 , θ ) = Pθ ( X ∈ X 1 ) ,

∀θ∈ Θ,

а именно: вероятности ошибок первого и второго рода равны соответственно W ( θ ) , θ∈ Θ0 и 1 − W ( θ ) , θ∈ Θ1. Желательно провести проверку гипотезы так, чтобы свести к минимуму вероятности обоих типов ошибок. Однако при данном числе испытаний n в общем случае невозможно ни при каком выборе X 1 одновременно обе эти вероятности сделать как угодно малыми. Рациональный способ выбора критической области можно сформулиро288

вать следующим образом: при заданном числе испытаний n устанавливается граница для вероятности ошибки первого рода и при этом выбирается та критическая область X 1 , для которой вероятность ошибки второго рода минимальна, т. е. выбирается число α между 0 и 1 (обычно для α выбирают одно из следующих стандартных значений: 0,005; 0,01; 0,05 и т. д.) и налагается условие W ( θ ) ≤ α, ∀θ∈ Θ0 ; (1) при этом желательно сделать максимальной (за счет выбора X 1 )

W ( θ ) , ∀θ ∈ Θ1 . (2) Величину α в (1) называют уровнем значимости, а тот факт, что критерий X 1 имеет уровень значимости α, часто подчеркивают обозначением X 1α .

Пусть X 1α и X 1α* – два критерия одного и того же уровня значимости α для гипотезы H 0 . Если W ( X 1α* , θ ) ≤ W ( X 1α , θ ) , ∀θ∈ Θ 0 ; W ( X 1α* , θ ) ≥ W ( X 1α , θ ) , ∀θ∈ Θ1;

(3) (4)

причем строгое неравенство в (4) имеет место хотя бы при одном значении θ, то говорят, что критерий X 1α* равномерно мощнее критерия

X 1α . Если соотношения (3) и (4) выполняются для любого критерия X 1α , то X 1α* называют равномерно наиболее мощным критерием. В случае, когда гипотеза H1 простая, вместо термина равномерно наиболее мощный критерий используют термин наиболее мощный критерий. Обычно критическая область задается с помощью некоторой статистики T(X) и, как правило, имеет следующий вид: X 1 = { x : T (x ) ≥ c} , или X 1 = { x : T (x ) ≤ c} , или X 1 = { x : T (x ) ≥ c}; функцию T ( X ) называют в этом случае статистикой критерия. 2. Выбор из двух простых гипотез. Критерий Неймана – Пирсона Пусть Θ = {θ0 , θ1} , H 0 : θ = θ0 , H1 : θ = θ1 , т. е. допустимыми распределениями случайной величины ξ являются только два: F0 ( x ) = F ( x, θ0 ) и F1 ( x ) = F ( x, θ1 ) . Требуется по выборке

289

X = ( X 1 ,… , X n ) из распределения L ( ξ ) определить, какое из этих двух распределений истинно. Предположим, что уровень значимости α выбран, распределения F0 и F1 абсолютно непрерывны и соответствующие плотности f 0 ( x ) и f1 ( x ) удовлетворяют условию f j ( x ) > 0, j = 0,1. Рассмотрим статистику отношения правдоподобия n

l(X ) =

∏ f1 ( X i )

L ( X ; θ1 ) i =1 = n L ( X ; θ0 ) ∏ f0 ( X i ) i =1

и определим функцию ψ ( c ) = Pθ0 ( l ( X ) ≥ c ) . С ростом c эта функция может только убывать; кроме того, ψ ( 0 ) = 1. Далее, так как Pθ1 ( l ( X ) ≥ c ) =

∫

x:l ( x )≥ c

L ( x; θ1 ) dx ≥ c

∫

x:l ( x )≥c

L ( x; θ0 ) dx =

= c Pθ0 ( l ( X ) ≥ c ) = c ψ ( c ) , то

1 c и, следовательно, ψ (c) → 0 при c → ∞. Будем предполагать, что существует такое c = c(α), что ψ (c) = α. Теорема 1 (Нейман – Пирсон). При сделанных предположениях существует наиболее мощный критерий проверки гипотезы H 0 . Этот критерий задается критической областью X 1*α = { x : l ( x ) ≥ c} , ψ (c) ≤

где критическая граница c определяется из условия ψ ( c ) = α. Д о к а з а т е л ь с т в о. Рассмотрим любой другой критерий X 1α уровня значимости α. Тогда W ( X 1α , θ1 ) = ∫ L ( x; θ1 ) dx = ∫ L ( x; θ1 ) dx + ∫ L ( x; θ1 ) dx , X 1αX 1*α

X 1α

W (X 1*α , θ1 ) =

L ( x; θ1 ) dx +

∫

X 1αX 1*α

Отсюда W ( X 1α , θ1 ) = W ( X 1*α , θ1 ) +

∫

X 1αX 1*α

∫

L ( x; θ1 ) dx.

X 1αX 1*α

l ( x ) L ( x; θ0 ) dx −

X 1αX 1*α

∫ l ( x ) L ( x; θ ) dx. 0

X 1αX 1*α

290

Cогласно определению множества X 1*α , если x ∉ X 1*α , то l ( x ) < c, а если x ∈ X 1*α , то −l ( x ) ≤ −c, поэтому из последнего соотношения вытекает неравенство   W (X 1α , θ1 ) < W ( X 1α∗ , θ1 ) + c  ∫ L ( x , θ0 ) dx − ∫ L ( x , θ0 ) dx  = X X *  X 1αX 1*α  1α 1α  = W ( X 1*α , θ1 ) , так как по условию

∫ L ( x, θ ) dx 0

X 1α

=

∫ L ( x, θ ) dx. 0

X 1*α

Теорема доказана. Построенный критерий проверки гипотезы H 0 называют критерием Неймана – Пирсона. Соответствующие рассуждения можно провести и для дискретных распределений. П р и м е р 3. Н а и б о л е е м о щ н ы е к р и т е р и и д л я п р о в е р к и г и п о т е з о п а р а м е т р а х н о р м а л ь н о г о р а с п р е д е л е н и я. Пусть X = ( X 1 , … , X n ) – выборка из нормального распределения с параметрами

(θ , θ ) , а 1

2 2

x = ( x1 , … , xn ) – ее реализация. Предположим, что параметр θ2 извес-

тен, θ2 = σ, а относительно параметра θ1 есть две простые гипотезы – H 0 : θ1 = a0 , H1 : θ1 = a1. Построим оптимальный критерий Неймана – Пирсона. В этом случае 2 1  1 n L ( x; a j ) = n exp − 2 ∑ ( xi − a j )  , j = 0, 1, n2 σ ( 2π )  2σ i =1  и

L ( x; a1 ) n   = exp nx ( a1 − a0 ) − 2 ( a12 − a02 )  . L ( x ; a0 ) 2σ   Из последнего соотношения следует, что область значений x , для которых L ( x ; a1 ) > c, L ( x; a0 ) l (x) =

определяется неравенством x > C1 при некотором C1. Как известно, выборочное среднее X в нашем случае распределено нормально с параметрами σ    θ1 , . n  Определим теперь ошибки первого и второго рода: 291

(

α1 = P X > C1 | H 0

)

∞

1 = 2π

∫

C1 − a0 σ

t2 2

C −a  e dt = 1 − Φ  1 0 n ,  σ  n −

C −a  α 2 = P X ≤ C1 | H1 = Φ  1 1 n  ,  σ 

(

)

где 2

x

t − 1 2 Φ ( x) = e dt. ∫ 2π −∞ Пусть ζ α – α-квантиль нормального распределения с параметрами ( 0, 1) , тогда

C1 − a0 C1 − a1 n = ζ1−α1 , n = ζ α2 , σ σ σ σ C1 = a0 + ζ1−α1 = a1 + ζ α2 n n и n=

(

σ 2 ζ1−α1 + ζ α2

( a1 − a0 )

)

2

2

.

Последнее равенство дает тот объем выборки, который при наиболее мощном критерии обеспечивает ошибки первого и второго рода α1 и α 2 (если правая часть в этом равенстве не целая, то за n надо брать ближайшее большее целое число). Рассмотрим теперь следующие две гипотезы: H 0 : θ1 = 0, θ2 = σ0 , H1 : θ1 = 0, θ2 = σ1 > σ0 . В этом случае отношение правдоподобия  1  1  L ( x; σ1 ) σ0n 1  n l (x) = = n exp   2 − 2  ∑ x 2j  L ( x; σ0 ) σ1  2  σ0 σ1  j =1  приводит к критическому множеству n

∑x j =1

2 j

≥ C1.

Поскольку случайная величина n

χ =∑ 2 n

j =1

X 2j σ2

имеет в этом случае χ 2 - распределение с n степенями свободы с функцией распределения x

K n ( x ) = ∫ kn ( t ) dt 0

и плотностью

292

2

n x −1 − 1 kn ( x ) = n 2 x2 e 2 , 2 Γ ( n 2)

x > 0,

то ошибки первого и второго рода определяются из равенств  1 n C  C  α1 = P  2 ∑ x 2j > 12  = 1 − K n  12  , σ0   σ0   σ0 j =1  1 n 2 C1  C  α 2 = P  2 ∑ x j ≤ 2  = K n  12  . σ1   σ1   σ1 j =1 П р и м е р 4. Н а и б о л е е м о щ н ы й к р и т е р и й д л я п р о в е р к и г и п о т е з о п а р а м е т р е в с х е м е Б е р н у л л и. Пусть 0 < p0 < p1 < 1. Рассмотрим следующие гипотезы: H 0 : f 0 ( x) = Cnx p0x (1 − p0 ) H1 : f1 ( x) = Cnx p1x (1 − p1 )

n− x

n− x

,

, x = 0, 1, ..., n.

Наиболее мощный критерий для проверки гипотезы H 0 против альтернативной гипотезы H1 будем строить исходя из неравенства x

f1 ( x )

 p (1 − p0 )  (1 − p1 ) = 1 ≥ C,  f 0 ( x )  p0 (1 − p1 )  (1 − p0 )n которое равносильно неравенству x ≤ C1 при некотором C1. Для вычисления ошибок первого и второго рода воспользуемся тем, что число «успехов» x в n испытаниях схемы Бернулли асимптотически нормально с параметрами

( np,

n

)

np (1 − p ) .

Поэтому  x − np C1 − np0  0 , α1 = P ( x ≥ C1 | H 0 ) = P  ≥  np0 (1 − p0 )  np 1 − p ( ) 0 0    x − np C1 − np1  1 , α 2 = P ( x < C1 | H1 ) = P  ≥  np1 (1 − p1 )  np 1 − p ( ) 1 1   и, следовательно, при заданных α1 и α 2 C1 ≈ np0 + ζ1−α1 np0 (1 − p0 ) ≈ np1 + ζ α2 np1 (1 − p1 ) ,

а необходимый объем выборки 2  ζ  − + ζ − np 1 p np 1 p ( ) ( ) 1 0 0 1 1 −α α 1 2   n= 2  + 1, − p p ( ) 1 0   где ζ α – α-квантиль нормального распределения с параметрами ( 0, 1) , а [ a ] –

(

)

целая часть числа a.

293

3. Метод отношения правдоподобия проверки сложных гипотез Суть метода отношения правдоподобия заключается в следующем. Для проверки гипотезы H 0 : θ∈ Θ0 ⊂ Θ против альтернативы H1 : θ∈ Θ1 = Θ \ Θ0 вводится статистика отношения правдоподобия Λ n = Λ n (X ; Θ0 ) = sup L ( X ; θ ) / sup L ( X ; θ ) , θ∈Θ1

θ∈Θ0

и критическую область задают в виде X 1 = { x : Λ n (x; Θ0 ) ≤ c} (5) Критическую границу c в (5) следует выбрать так, чтобы критерий имел заданный уровень значимости α : Pθ ( X ∈ X 1 ) = ∫ L ( x; θ ) dx = Pθ ( Λ n ( X ; Θ0 ) ≤ c ) ≤ α, ∀θ∈ Θ 0 . X1

§ 5. Линейная регрессия и метод наименьших квадратов

До сих пор рассматривались статистические выводы для моделей, соответствующих повторным независимым наблюдениям над некоторой случайной величиной ξ. В этих случаях исходные статистические данные представляют собой реализацию случайного вектора X = ( X 1 , …, X n ) , компоненты которого независимы и одинаково распределены, а именно: FX i = Fξ , i = 1, n. В приложениях математической статистики предположения о независимости и одинаковой распределенности компонент X i не всегда выполняются. Здесь рассмотрен важный случай таких ситуаций, которые описываются в терминах линейной регрессионной модели. Пусть X = Aθ + ε, M ε = 0, (1) 2 D ( X ) = D ( ε ) = M ( εε′ ) = σ I n , (2) где θ = ( θ1 , …, θs ) – неизвестный параметр, ε = ( ε1 , …, ε n ) – случайный вектор ошибок наблюдения, D X i = D εi = σ2 > 0, i = 1, n, In – единичная матрица порядка n × n, , матрица A порядка n × s считается известной. Если выполняются условия (1) и (2), то говорят, что имеет место модель линейной регрессии. Метод наименьших квадратов состоит в нахождении θˆ из условия 294

2 min ( εεT ) = min x − A θ = x − A θˆ , 2

θ n

θ

(3)

где ⋅ – норма в R . Такая оценка θˆ называется оценкой методом наименьших квадратов. Чаще всего задачи регрессионного анализа решают в предположении, что наблюдения подчиняются нормальному закону распределения; в этом случае к условиям (1) и (2) добавляют третье условие: L ( ε ) = N ( θ, σ 2 I n ) . (4) Если выполнены условия (1) и (4) (условие (2) вытекает из (4)), то говорят о нормальной регрессии. Для нормальной модели оценки наименьших квадратов коэффициентов регрессии θ1 , …, θs совпадают с оценками максимального правдоподобия этих параметров, что несложно видеть, учитывая вид функции правдоподобия. В общем случае метод наименьших квадратов не совпадает с методом максимального правдоподобия. Исследуем некоторые свойства оценок, полученных методом наименьших квадратов, в общем случае. T Пусть R = ( X − A θ ) ( X − A θ ) , где T – знак транспонирования. Будем искать оценки методом наименьших квадратов, для этого запишем условие ∂R = 0, i = 1, s. ∂θi В результате чего придем к системе уравнений AT X − A θˆ = 0 и, следовательно, оценки θˆ параметра θ имеют вид

(

)

−1 θˆ = ( AT A ) AT X .

(5)

Докажем, что θˆ – несмещенная оценка. Действительно, так как M ε = 0, то из (1) следует, что MX = A θ и M θˆ = ( AT A ) AT M X = ( AT A ) AT A θ = θ. Найдем матрицу вариаций оценки θˆ . Подставим в (5) формулу (1), тогда −1 −1 −1 −1 θˆ = ( AT A ) AT ( A θ + ε ) = ( AT A ) AT A θ + ( AT A ) AT ε = θ + ( AT A ) AT ε, −1

−1

−1 т. е. θˆ − θ = ( AT A ) AT ε .

295

По определению матрица вариаций θˆ равна T V = M θˆ − θ θˆ − θ ,

(

поэтому

{

)(

)

V = M ( AT A ) AT εεT A ( AT A ) −1

}=

−1

= ( AT A ) AT M ( εεT ) A ( AT A ) = σ 2 ( AT A ) . −1

−1

Итак

−1

V = σ2 ( AT A ) . −1

(6)

На самом деле значение σ2 изначально неизвестно и его приходится оценивать по результатам измерений. Найдем несмещенную оценку σ 2. Минимальное значение величины R равно T R = X − A θˆ X − A θˆ ,

(

min

)(

)

где θˆ – оценка параметра θ, полученная методом наименьших квадратов. Учитывая (1) и (5) имеем

(

Rmin = ε I n − A ( A A ) A T

−1

T

T

) ε. 2

Несложно проверить, что из последнего равенства следует

(

Rmin = ε I n − A ( A A ) A T

−1

T

T

) ε. 2

Найдем математическое ожидание от Rmin , учитывая, что для любой n × n- матрицы B = bij  M ( ε Bε ) = σ T

Поэтому

2

n

∑b i =1

ii

= σ 2 Sp ( B ) .

(

(

))

M ( Rmin ) = σ2 Sp ( I n ) − Sp A ( AT A ) AT . −1

Но Sp ( I n ) = n. Далее, так как Sp ( AB ) = Sp ( BA ) , то

(

) (

Sp A ( AT A ) AT = Sp ( AT A ) следовательно,

−1

( A A) ) = Sp ( I ) = s,

−1

T

M ( Rmin ) = σ 2 ( n − s ) . 296

s

Сейчас можем провести несмещенную оценку для σ2 : R σˆ 2 = min n−s и для матрицы вариаций (см. (6)) −1 R min . Vˆ = ( AT A ) n−s Оптимальные свойства оценок по методу наименьших квадратов утверждает Теорема 1 [13]. Оценки по методу наименьших квадратов имеют наименьшую дисперсию в классе линейных несмещенных оценок.

П р и м е р 1. Пусть теоретическая зависимость y от x имеет вид y = ax + b. Если задать x равным x1 , … , xn и измерять y равным y1 , … , yn соответственно, то из-за ошибок измерений на самом деле будем иметь yi = a + bxi + εi . В данном случае неизвестными параметрами будут a и b, т. е. θ = ( a, b ) , X = ( x1 , … , xn ) , Y = ( y1 , … , yn ) T

T

T

и 1 x1  . A =   1 xn  Используя формулу (5), несложно получить, что n n  n 2 n  x y x − ∑ ∑ i ∑ i i ∑ xi yi    aˆ  1 i =1 i =1  i =1 i =1 , θˆ =   = 2 n n n ˆ n n   b   n x2 −  x  n x y − x ∑ i i i ∑ yi  ∑ i  ∑ i   ∑ i =1 i =1 i =1  i =1  i =1  т. е. оценки параметров aˆ и bˆ, полученные методом наименьших квадратов, имеют вид

aˆ =

n

n

n

n

i =1

i =1

i =1

∑ xi2 ∑ yi − ∑ xi ∑ xi yi i =1 2

  n∑ xi2 −  ∑ xi  i =1  i =1  n

n

n

, bˆ =

n

n

n∑ xi yi − ∑ xi ∑ yi i =1

i =1

i =1

  n∑ xi2 −  ∑ xi  i =1  i =1  n

n

2

.

У п р а ж н е н и е 1. Найдите оценки для дисперсий оценок aˆ и bˆ.

П р и м е р 2. Пусть ( ξ, η) – двумерная случайная величина, например ξ и η – сигналы на входе и выходе некоторого устройства. Во многих случаях бывает важно уметь представить одну из величин, например η, как функцию g ( ξ ) другой. Точное представление η = g ( ξ ) , как правило, невозможно, поэтому возника-

297

ет задача о возможности приближенного представления: η ≈ g ( ξ ) . Итак, требуется найти среди всех функций g ( ξ ) случайной величины ξ такую, которая являлась бы наилучшим приближением случайной величины η. Термину «наилучшее приближение» следует придать точный смысл, что можно cделать различными способами. Самым удобным и общепринятым является приближение по методу наименьших квадратов. По определению будем считать, что случайная величина g ( ξ ) является наилучшим приближением случайной величины η в смысле метода наименьших квадратов, если M ( η − g ( ξ ) ) принимает наименьшее возможное 2

значение, при этом величина g ( ξ ) называется средней квадратической регрессией величины η на величину ξ. Ограничимся нахождением линейной средней квадратической регрессии величины η на величину ξ, т. е. случаем, когда g ( ξ ) = a + b ξ. Пусть m1 = Mξ, σ12 = Dξ, m2 = Mη, σ22 = Dη, ρ ( ξ, η) = ρ, Φ ( a, b ) = M ( η − a − b ξ ) . 2

Найдем такие a и b при которых функция Φ ( a, b ) принимает наименьшее из возможных значений. Имеем ∂Ф = −2 ( m2 − a − bm1 ) = 0, ∂a ∂Φ = 2 b ( σ12 + m12 ) − ( ρσ1σ 2 + m2 m1 ) + am1  = 0, ∂b откуда b = ρ ( σ2 σ1 ) , a = m2 − ρ ( σ 2 σ1 ) m1. В то же время ∂ 2Φ ∂a 2 ∂ 2Φ ∂a∂b Таким образом

∂ 2Φ 2 ∂a∂b = 2m1 ∂ 2Φ ∂b 2

2m1

2 ( σ12 + m12 )

= 4σ12 > 0.

g ( ξ ) = m2 − ρ ( σ 2 σ1 )( ξ − m1 )

– линейная регрессия величины η на величину ξ. Отметим, что прямая, определяемая уравнением ( y − m2 ) σ2 = ρ ( x − m1 ) σ1 называется прямой линейной регрессии величины η на величину ξ. Аналогично можно найти линейную регрессию величины ξ на величину η : h ( η) = m1 − ρ ( σ1 σ 2 )( η − m2 ) ,

и прямую линейной регрессии величины ξ на величину η :

( y − m2 )

σ2 = (1 ρ )( x − m1 ) σ1.

Отметим, что оценки коэффициентов уравнений линейной регрессии найдены в прим. 1. 298

Задачи 1. Из конечной генеральной совокупности ( X 1 , … , X N ) берутся последова-

(

) и ( y , …, y ) ,

тельно две бесповторные выборки x1 , … , xn1

n2

1

n1 + n2 ≤ N . Найди-

те ковариацию и коэффициент корреляции между выборочными средними x и y . 2. Найдите математическое ожидание выборочной дисперсии для бесповторной выборки объема n из конечной генеральной совокупности ( X 1 , … , X N ) . 3. Вычислите математическое ожидание и дисперсию k-ой порядковой статистики для выборки объема n из равномерного на [ 0; a ] распределения. 4. Имеется выборка

( X1, …, X n ) .

По гипотезе H 0 все X i равномерно рас-

пределены на [ 0; 2] , по гипотезе H1 – на [1;3]. Постройте критерий с наименьшей величиной max ( α, β ) , где α и β – вероятности ошибок 1-го и 2-го рода. 5. Случайная величина ξ подчиняется биномиальному закону распределения. Найдите несмещенные оценки математического ожидания и дисперсии этого распределения, считая параметр p известным.

(

6. По независимым выборкам X 1 , … , X n1

) и (Y , … , Y ) 1

n2

из двух нормаль-

ных распределений с параметрами ( a1 , σ1 ) и ( a2 , σ2 ) соответственно постройте доверительный интервал с доверительной вероятностью α для разности a1 − a2 , если σ1 и σ 2 известны. 7. Пусть x есть число «успехов» в n испытаниях схемы Бернулли с вероятностью «успеха» θ в каждом испытании. Покажите, что статистика n x( k ) T ( x ) = ∑ ak ( k ) n k =0 является эффективной оценкой для параметрической функции τ1 ( θ ) = a0 + + a1 θ + a2 θ2 + … + an θn. Здесь x( k ) = x ( x − 1) … ( x − k + 1) . Докажите, что не существует несмещенной оценки для τ2 ( θ ) = θ N ( N > n ) . 8. Пусть X = ( X 1 , … , X n ) – выборка из распределения Пуассона с неизвест-

ным параметром θ. Покажите, что статистика

x( k ) T ( X 1 , … , X n ) = ∑ ak k , n k =0 x

где x = X 1 + … + X n , x( k ) = x ( x − 1) … ( x − k + 1) является эффективной оценкой для τ1 ( θ ) = a0 + a1θ + a2 θ2 + … . Докажите, что для τ2 ( θ ) = 1 θ не существует несмещенной оценки. 9. Пусть X = ( X 1 , … , X n ) – выборка из равномерного на [ 0;θ] распределения, θˆ n – оценка максимального правдоподобия параметра θ. Докажите, что θˆ n – состоятельная оценка и 299

M θθˆ n =

n n θ, Dθ θˆ n = θ2, θ > 0. 2 n +1 ( n + 1) ( n + 2 )

10. Пусть X = ( X 1 , … , X n ) – выборка из нормального с параметрами

( θ, 2θ ) , θ > 0. Покажите, что статистика 1 n 2 ∑ Xi −1 n i =1 является состоятельной оценкой неизвестного параметра θ. 11. Пусть X = ( X 1 , … , X n ) – выборка из равномерного на [ 0;θ] распределеT ( X ) = 1+

ния и T ( X ) = max ( X 1 , … , X n ) . Докажите, что интервал ( T ( X ) ; T ( X ) ε −1 n ) есть доверительный интервал параметра θ уровня ε ( 0 < ε < 1) . 12. Предположим, что наблюдения x1 , … , xn представляются в виде xk = θ0 + θ1 tk + ε k , k = 1, n,

где tk = k , θ = ( θ0 , θ1 ) – неизвестный параметр; случайные ошибки наблюдения ε1 , … , ε n независимы и нормально распределены с параметрами ( 0, σ 2 ) . Пусть

(

)

θˆ = θˆ 0 , θˆ 1 – оценка параметра θ, полученная методом наименьших квадратов. Докажите, что D θˆ 0 =

4 n

 3  2 12 σ2 . 1 +  σ , Dθˆ 1 = 2 2 n − 1 n ( n − 1) ( ) 

300

ПРИЛОЖЕНИЯ

Т а б л и ц а 1. Основные вероятностные распределения Распределение

Обозначение

Параметры и область их изменения

Плотность распределения (дискрет-ное распределение вероятностей)

Бернулли

Bi (1, p )

0 ≤ p ≤1

p x (1 − p ) , x ∈ {0, 1}

Биномиальное

Bi ( N , p )

N – натуральное число,

Отрицательное биномиальное

Bi ( r , p )

Характеристическая функция 1 + p ( eit − 1)

1− x

0 ≤ p ≤1

r – натураль-

ное число, 0 ≤ p ≤1

C Nx p x (1 − p )

N −x

(1 + p ( e − 1))

, x ∈ {0, 1, … , N }

it

N

( p / (1 − (1 − p ) e ) )

C xx+ r −1 p r (1 − p ) , x ∈ {0, 1, …} x

it

(

λ x e − λ / x ! , x ∈ {0, 1, …}

exp λ ( eit − 1)

Геометрическое

G ( p)

0 ≤ p ≤1

p (1 − p ) , x ∈ {0, 1, …}

p / (1 − (1 − p ) eit )

Гипергеометрическое

H ( N , L, n )

Логнормальное

L ( µ, σ

Многомерное нормальное (гауссовское) Равномерное

x

N, L, n – нату-

ральные числа, L 0

µ∈R , σ > 0

 ( ln ( x/µ ) )2  1  x≥0 exp  −  2σ 2  2πσx  

µ = (µi ) ∈ R , N

Σ = ( σij ) = Σ

T

a, b ∈ R, a < b

L

∑e

CLx CNn −−xL / C Nn , x ∈ {0, 1, … , L}  ( x − µ )2  1 exp  −  , x∈R 2 2σ 2πσ  

3

p

U ( p − 1/2 )

p (1 − p )

( N + 1) p − 0 ≤

Np

r

)

λ>0

N ( µ, σ

Дисперсия

−0,5 + ε,

ε ≤ 0,5

r (1 − p ) / p

ли λ – целое, иначе [ λ ] ;

Np (1 − p )

λ = ( r − 1) ×

r (1 − p ) / p 2

× (1 − p ) / p

Π (λ)

2

Мода

λ и λ − 1, ес-

Пуассона

Одномерное нормальное (гауссовское)

Математическое ожидание

( 2π )

1 − N 2

Σ

−

1 2

×

T 1  × exp  ( x − µ ) Σ −1 ( x − µ )  2 

1 , a≤ x≤b b−a

x ∈ RN

k =0

itk

CLk C Nn −−kL / CNn

1   exp  itµ − t 2 σ 2  2   ∞

∑ k =0

( it )

k

 k 2σ 2  exp  k ln µ +  2  k! 

λ

λ и λ − 1, ес-

ли λ – целое, иначе [ λ ]

λ

(1 − p ) / p

0

(1 − p ) / p 2

nL / N

−

nL ( N − L )( N − n ) N 2 ( N − 1)

µ

µ

σ2

µ /ω

µ 2 ω ( ω − 1)

µ

ковариационная матрица Σ

µ ω , где ω=e

σ2

exp ( it T µ − t T Σt / 2 )

µ

eitb − eita i (b − a ) t

a+b 2

−

(b − a ) 12

2

Продолжение таблицы 1 Обозначение

Параметры и область их изменения

Плотность распределения (дискрет-ное распределение вероятностей)

Гаммараспределение Экспоненциальное

γ ( α, λ )

α, λ > 0

λ α x α-1 exp ( − λx ) Γ ( α ) , x ≥ 0

(1 − it/λ )

ε (λ)

λ>0

λe − λ x , x > 0

(1 − it/λ )

Коши

K ( a, b )

a ∈ R, b > 0

Лапласа

EE ( a, λ )

a ∈ R, λ > 0

Распределение

χ 2 - рас-

пределение

t-распределение Стьюдента

χ 2υ

x υ /2−1 exp ( − x /2 )

ложительное число

ложительное число

2

)) x ∈ R

2 υ /2 Γ ( υ /2 )

−α

)

λ 2 ( t 2 + λ 2 ) eita −1

(1 − 2it )

, x≥0

− υ /2

(

π Γ ( ( υ + 1) /2 ) exp − υ t

Γ ( ( υ + 1) /2 )  x 2  1 +  υ πυΓ ( υ /2 ) 

υ +1 − 2

Γ ( υ /2 ) 2

2( n −1)

( n − 1)!

×∑ ( 2k ) !Cn2−k1+ k ×

если

k =0

(

× 2 υ t

)

n −1− k

Мода

( α − 1)

Дисперсия

λ , если λ ≥ 1

α λ2

λ −1

0

λ −2

не существует

a

не существует

a

a

2λ −2

υ

υ − 2, если υ ≥ 2

2υ

0

0

υ / ( υ − 1) , если υ > 2

n , если n−2 n>2

n  2 1 −  , n+2 m если m > 2

2n 2 (m + n − 2) , если m(n − 2) 2 (n − 4) n>4

a

a

σ2

λ −1/ α ×

0, если α ≤ 1;

)×

n −1

x∈R

Математическое ожидание α λ

−1

exp ( ita − b t

λ exp ( −λ x − a ) , x ∈ R 2

υ – целое по-

υ – целое по-

tυ

( (

1/ πb 1 + ( ( x − a ) /b )

Характеристическая функция

,

n = ( υ + 1) /2 – целое

F- распределе-

ние Фишера

m, n – целые Fmn

Логистическое

l ( a, σ )

Вейбулла – Гнеденко

W ( α, λ )

Бетараспределение

положительные числа a ∈ R, σ > 0, k = 3σ π

α, λ > 0

m+n m −1 Γ   x2 2   m n m+ n m n Γ   Γ   ( n + mx ) 2  2  2 x≥0 m 2

(

n 2

exp ( ( x − a ) k )

k 1 + exp ( ( x − a ) k )

αλx

α −1

)

2

,

x∈R

exp ( −λx ) , x ≥ 0 α

n   m

it / 2

 m + it   n − it  ×Γ  Γ   2   2  eita Γ (1 − itk ) Γ (1 + itk )

∞

∑ k =0

β ( υ, ω )

υ, ω > 0

4

Γ ( υ + ω ) υ−1 ω −1 x (1 − x ) , 0 ≤ x ≤ 1 Γ ( υ) Γ ( ω)

−1

  m   n   Γ 2  Γ 2  ×     

( it ) Γ (1 + k α ) k

k !λ k α

Γ ( υ + ω ) ∞ Γ ( υ + k ) it k ∑ Γ ( υ ) k =0 Γ ( υ + ω + k ) k !

×Γ (1 + α −1 ) υ υ+ω

1/ α

 1 − 1/ α     λ  υ −1 , если υ+ω−2 υ, ω > 1

(

λ −2 / λ 2α −1Γ ( 2α −1 ) − −α −2 Γ 2 ( α −1 )

)

υω

( υ + ω ) ( υ + ω + 1) 2

x

Таблица 2. x

0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3,0

0 0,0000 398 793 0,1179 554 915 0,2257 580 881 0,3159 413 643 849 0,4032 192 332 452 554 641 713 0,4772 821 861 893 918 938 953 965 974 981 987

1 0,0040 438 832 0,1217 591 950 0,2291 611 910 0,3186 437 665 869 0,4049 207 345 463 564 649 719 0,4778 826 864 896 920 940 955 966 975 982 987

2 0,0080 478 871 0,1255 628 985 0,2324 642 939 0,3212 461 686 888 0,4066 222 357 474 573 656 726 0,4783 830 868 898 922 941 956 967 976 982 987

3 0,0120 517 910 0,1293 664 0,2019 357 673 967 0,3238 485 708 907 0,4082 236 370 484 582 664 732 0,4788 834 871 901 925 943 957 968 977 983 988

2

t − 1 Значения интеграла Лапласа Φ 0 ( x ) = e 2 dt ∫ 2π 0 Сотые доли 4 5 6 7 0,0200 0,0239 0,0279 0,0160 596 636 675 557 987 0,1026 0,1064 948 0,1368 406 443 0,1331 736 772 808 700 0,2088 0,2123 0,2157 0,2054 422 454 486 389 734 764 794 703 0,3023 0,3051 0,3078 995 289 315 340 0,3264 531 554 577 508 749 770 790 729 944 962 980 925 0,4115 0,4131 0,4147 0,4099 265 279 292 251 394 406 418 382 505 515 525 495 599 608 616 591 678 686 693 671 744 750 756 738 0,4798 0,4803 0,4808 0,4793 842 846 850 838 878 881 884 875 906 909 911 904 929 931 932 927 946 948 949 945 960 961 962 959 970 971 972 969 978 979 979 977 984 985 985 984 989 989 989 988

8 0,0319 714 0,1103 480 844 0,2190 517 823 0,3106 365 599 810 997 0,4162 306 429 535 625 699 761 0,4812 854 887 913 934 951 963 973 980 985 990

9 0,0359 753 0,1141 517 879 0,2224 549 852 0,3133 389 621 830 0,4015 0,4177 319 441 545 633 706 767 0,4817 857 890 916 936 952 964 974 981 986 990

Т а б л и ц а 3 . Значения функции uα ∞

2

t − 1 Функция uα определяется равенством α = ∫ e 2 dt 2π uα

α uα

0,001 3,0902

0,005 2,5758

0,010 2,3263 5

0,015 2,1701

0,020 2,0537

0,025 1,9600

0,030 1,8808

0,035 1,8119

0,040 1,7507

0,045 1,6954

0,050 1,6449

x

0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3,0

Т а б л и ц а 4 . Значения функции pk ( λ ) = λ

k

0 1 2 3 4 5 6 λ

k

0 1 2 3 4 5 6 7 λ

k

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

λk −λ e k!

0,1

0,2

0,3

0,4

0,5

0,90484 0,09048 0,00452 0,00015

0,81873 0,16375 0,01638 0,00109 0,00006

0,74082 0,22225 0,03334 0,00333 0,00025 0,00002

0,67032 0,26813 0,05363 0,00715 0,00072 0,00006

0,60653 0,30327 0,07582 0,01264 0,00158 0,00016 0,00001

0,6

0,7

0,8

0,9

0,54881 0,32929 0,09879 0,01976 0,00296 0,00036 0,00004

0,49659 0,34761 0,12166 0,02839 0,00497 0,00070 0,00008 0,00001

0,44933 0,35946 0,14379 0,03834 0,00767 0,00123 0,00016 0,00002

0,40657 0,36591 0,16466 0,04940 0,01112 0,00200 0,00030 0,00004

1,0

2,0

3,0

4,0

5,0

0,36788 0,36788 0,18394 0,06131 0,01533 0,00307 0,00051 0,00007 0,00001

0,13534 0,27067 0,27067 0,18045 0,09022 0,03609 0,01203 0,00344 0,00086 0,00019 0,00004 0,00001

0,04979 0,14936 0,22404 0,22404 0,16803 0,10082 0,05041 0,02160 0,00810 0,00270 0,00081 0,00022 0,00006 0,00001

0,01832 0,07326 0,14653 0,19537 0,19537 0,15629 0,10419 0,05954 0,02977 0,01323 0,00529 0,00193 0,00064 0,00020 0,00006 0,00002

0,00674 0,03369 0,08422 0,14037 0,17547 0,17547 0,14622 0,10445 0,06528 0,03627 0,01813 0,00824 0,00343 0,00132 0,00047 0,00016 0,00005 0,00001

60

Т а б л и ц а 5 . Значения функции tα,n Функция tα,n определяется равенством P ( τ n > tα, n ) = α , где случайная величина τ n имеет распределение Стьюдента с n степенями свободы. Плотность распределения τ n равна  n +1 n +1 Γ   x 2 − 2 2  pτ n ( x ) =  . 1 +  n n    Γ   πn  2

2α

0,10

0,05

0,02

0,01

5

2,015

2,571

3,365

4,032

6

1,943

2,447

3,143

3,707

7

1,895

2,365

2,998

3,499

8

1,860

2,306

2,896

3,355

9

1,833

2,262

2,821

3,250

10

1,812

2,228

2,764

3,169

12

1,782

2,179

2,681

3,055

14

1,761

2,145

2,624

2,977

16

1,746

2,120

2,583

2,921

18

1,734

2,101

2,552

2,878

20

1,725

2,086

2,528

2,845

22

1,717

2,074

2,508

2,819

30

1,697

2,042

2,457

2,750

∞

1,645

1,960

2,326

2,576

n

61

Т а б л и ц а 6 . Значения функции χ α,2 m Функция χ α,2 m определяется равенством

(

)

P χ 2m > χ α,2 m = α,

где случайная величина χ 2m имеет χ 2 - распределение с m степенями свободы. Плотность распределения χ 2m равна pχ 2 ( x ) = m

α

m

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

m

1 m

m Γ   2 2 2

−1 −

x

x2 e 2 , x > 0

0,10

0,05

0.02

0,01

0,005

2,7 4,6 6,3 7,8 9,2 10,6 12,0 13,4 14,7 16,0 17,3 18,5 19.8 21,1 22,3 23,5 24,8 26,0 27,2 28,4 29,6 30,8 32,0 33,2 34,4

3,8 6,0 7,8 9,5 11,1 12,6 14,1 15,5 16,9 18,3 19,7 21,0 22,4 23,7 25,0 26,3 27,6 28,9 30,1 31,4 32,7 33,9 35,2 36,4 37,7

5,4 7,8 9,8 11,7 13,4 15,0 16,6 18,2 19,7 21,2 22,6 24,1 25,5 26,9 28,3 29,6 31,0 32,3 33,7 35,0 36,3 37,7 39,0 40,3 41,6

6,6 9,2 11,3 13,3 15,1 16,8 18,5 20,1 21,7 23,2 24,7 26,2 27,7 29,1 30,6 32,0 33,4 34,8 36,2 37,6 38,9 40,3 41,6 43,0 44,3

7,9 11,6 12,8 14,9 16,3 18,6 20,3 21,9 23,6 25,2 26,8 28,3 29,8 31 32,5 34 35,5 37 38,5 40 41,5 42,5 44,0 45,5 47

62

ЛИТЕРАТУРА 1 . А н т о н е в и ч А . Б . , Р а д ы н о Я . В . Функциональный анализ и интегральные уравнения. – Мн.: БГУ, 2002. 2 . Б а р т л е т М . С . Введение в теорию случайных процессов. – М.: ИЛ, 1968. 3 . Б е р н ш т е й н С . Н . Теория вероятностей. – М.: Гостехиздат, 1948. 4 . Б о л ь ш е в Л . Н . , С м и р н о в Н . В . Таблицы математической статистики. – М.: Наука, 1965. 5 . Б о р о в к о в А . А . Теория вероятностей. – М.: Наука, 1986. 6 . Б о ч а р о в П . П . , П е ч и н к и н А . В . Теория вероятностей. Математическая статистика. – М.: Гардарика, 1998. 7 . В е н т ц е л ь А . Д . Курс теории случайных процессов. – М.: Наука, 1978. 8 . Г е л ь ф а н д И . М . , В и л е н к и н Н . Я . Некоторые применения гармонического анализа. Оснащенные гильбертовы пространства //Обобщенные функции, вып.IV – М.: Физматгиз, 1961. 9 . Г и х м а н И . И . , С к о р о х о д А . В . Введение в теорию случайных процессов. – М.: Наука, 1977. 1 0 . Г и х м а н И . И . , С к о р о х о д А . В . , Я д р е н к о М . И . Теория вероятностей и математическая статистика. – Киев: Вища школа, 1979. 1 1 . Г н е д е н к о Б . В . Курс теории вероятностей. – М.: Наука, 1988. 1 2 . Д у б Д ж . Л . Вероятностные процессы. – М.: ИЛ, 1956. 1 3 . З у е ў М . М . , С я ч к о У л . У л . Тэорыя iмавернасцей i матэматычная статыстыка. – Мазыр: Белы вецер, 2000. 1 4 . И в ч е н к о Г . И . , М е д в е д е в Ю . И . Математическая статистика. – М.: Высшая школа, 1984. 1 5 . И т о К . , М а к к и н Г . Диффузионные процессы и их траектории. – М.: Мир, 1968. 1 6 . К л и м о в Г . П . Теория вероятностей и математическая статистика. – М.: МГУ, 1983. 1 7 . К о в а л е н к о И . Н . , Ф и л и п п о в а А . А . Теория вероятностей и математическая статистика. – М.: Высшая школа, 1982. 1 8 . К о з л о в М . В . , П р о х о р о в А . В . Введение в математическую статистику. – М.: МГУ, 1987. 1 9 . К о л м о г о р о в А . Н . Основные понятия теории вероятностей. – М.: Наука, 1974. 2 0 . К о л м о г о р о в А . Н . , Ф о м и н С . В . Элементы теории функций и функционального анализа. – М.: Наука, 1972. 2 1 . К р а м е р Г . Математические методы статистики. – М.: Мир, 1976. 2 2 . К р а м е р Г . , Л и д б е т т е р М . Стационарные случайные процессы, свойства выборочных функций и их приложения. – М.: Мир, 1969. 2 3 . К р у г л о в В . М . Дополнительные главы теории вероятностей. – М.: Высшая школа, 1984. 2 4 . Л а м п е р т и Д ж . Вероятность. – М.: Наука, 1973. 2 5 . Л е в и П . Стохастические процессы и броуновское движение. – М.: Мир, 1972. 307

2 6 . Л е м а н Э . Проверка статистических гипотез. – М.: Наука, 1964. 2 7 . Л и п ц е р Р . Ш . , Ш и р я е в А . Н . Статистика случайных процессов (нелинейная фильтрация и смежные вопросы). – М.: Наука, 1974. 2 8 . Л о э в М . Теория вероятностей. – М.: ИЛ, 1962. 2 9 . Н е в ё Ж . Математические основы теории вероятностей: Пер. с фр. – М.: Мир, 1969. 3 0 . П а р т а с а р а т и К . Введение в теорию вероятностей и теорию меры. – М.: Мир, 1983. 3 1 . П р о х о р о в Ю . В . , Р о з а н о в Ю . А . Теория вероятностей. – М.: Наука, 1973. 3 2 . Р о з а н о в Ю . А . Случайные процессы. Краткий курс. – М.: Наука, 1979. 3 3 . Р о з а н о в Ю . А . Теория вероятностей, случайные процессы, математическая статистика. – М.: Наука, 1985. 3 4 . С е в а с т ь я н о в Б . А . Курс теории вероятностей и математической статистики. – М.: Наука, 1982. 3 5 . С к о р о х о д А . В . Случайные процессы с независимыми приращениями. – М.: Наука, 1986. 3 6 . У и т т л П . Вероятность: Пер. с англ. – М.: Наука, 1982. 3 7 . Ф е л л е р В . Введение в теорию вероятностей и ее приложения. Т.1,2. – М.: Мир, 1984. 3 8 . Х е н н е к е н П . А . , Т о р т р а А . Теория вероятностей и некоторые её приложения. – М.: Наука, 1974. 3 9 . Х и д а Т . Броуновское движение. – М.: Наука, 1987. 4 0 . Ч и с т я к о в В . П . Курс теории вероятностей. – М.: Наука, 1987. 4 1 . Ш и р я е в А . Н . Вероятность. – М.: Наука, 1980.

308

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Генеральная совокупность 253 Гипотеза альтернативная 282 – нулевая 281 – основная 281 – параметрическая 287 – простая 281 – сложная 281 – статистическая 281 Гистограмма 256 Границы доверительные 275

Аксиоматика Колмогорова 15 Алгебра событий 10 Альтернатива 282, 287 Белый шум 241 Блуждание с отражением 56, 58 – – поглощением 56 Борелевская сигма-алгебра 18, 23, 34 – функция 78 Борелевское множество 34 Будущее 55

Дисперсия 104 – выборочная 257 Доверительная вероятность 275 Доверительный интервал 274 Достаточная статистика 268

Вариационный ряд 254 Вектор случайный 80 Вероятностное пространство 15 – – геометрическое 23 – – дискретное 22 – – классическое 20 – – конечное 21 Вероятность 6, 15 – апостериорная 43 – априорная 42 – биномиальная 49 – геометрическая 23 – доверительная 275 – классическая 21 – полиномиальная 50 – условная 40 – частотная (статистическая) 33 Взаимная ковариация 218 Выборка 252 – без возвращения 31 – с возвращением 30 Выборочная функция 199 Выборочное вероятностное пространство 199 Выборочное пространство 252 – среднее 257 Выборочный коэффициент асимметрии 258 – – эксцесса 258 – момент k-го порядка 257 – центральный момент k-го порядка 257

Задача Банаха 37 – Бюффона 38 – о баллотировке 37 – о двух нормальных выборках 279 – о пьянице 38 – о сравнении двух дисперсий 280 – семейная 38 Закон больших чисел 173 – распределения 68 – – устойчивый 160 – редких событий 70 – «0 или 1» Колмогорова 191 Индикатор 63, 93 Интеграл Лебега 116 –Лебега – Стилтьеса 118 – Римана – Стилтьеса 118 Интегральная теорема Муавра – Лапласа 54 – – Пуассона 52 Интервальное оценивание 274 Испытание 46 Квантиль 259 – выборочная 259 Ковариационная матрица 155

309

Моменты абсолютные 104 – – центральные 104 – смешанные154 – центральные 104 Мощность критерия 282

Ковариация обобщенного случайного процесса 237 – случайного процесса 216 – случайных величин 105 Количество информации 263 Комбинаторика 26 Конечномерные распределения случайного процесса 200 Корреляционная функция случайного процесса 217 Коэффициент асимметрии 257 – диффузии 231 – корреляции 112 – сноса 231 – эксцесса 257 Критерий независимости хи - квадрат 286 – Неймана – Пирсона 291 – однородности Смирнова 285 – согласия 283 – – Колмогорова 283 – – хи - квадрат Пирсона 284 – факторизации 269 – эффективности 264 Критическая область 282, 288 Кумулянта 206

Наиболее мощный критерий 286 Настоящее 55 Независимость классов событий 46 – сигма-алгебр 46 – случайных величин 87 – случайных событий 44 – – – в совокупности 45 – – – попарная 45 некоррелированные случайные величины 113 Неравенство Гаека – Реньи 180 – Гёльдера 111 – Иенсена 110 – Колмогорова 181, 191 – Коши – Буняковского 112 – Ляпунова 111 – Минковского 112 – Рао – Крамера 263 – Чебышева 109 Нормальные числа 188 Обобщенная функция обычного типа 240 Обобщенный случайный процесс 236 – – – Пуассона 211 – – – слабо стационарный 247 – – – умеренный 246 Объединение событий 10 Объем выборки 252 – n-мерный 23 Отклонение среднеквадратическое 104 Отсутствие последействия 73 Оценка 260, 261 – асимптотически несмещенная 261, 272 – асимптотически эффективная 272 – максимального правдоподобия 271 – метода моментов 272 – – наименьших квадратов 295 – несмещённая 261 – оптимальная 262 – сильно состоятельная 264 – состоятельная 264, 271 – эффективная 264

Лемма Бореля – Кантелли 189 Линейная регрессионная модель 294 Локальная теорема Муавра – Лапласа 52 – – Пуассона 51 Математическое ожидание 95 Матрица переходных вероятностей 55 Медиана 260 – выборочная 260 Метод максимального правдоподобия 271 – моментов 272 – Монте-Карло188 – наименьших квадратов 294 – отношения правдоподобия 294 Множество упорядоченное 26 – цилидрическое 199 Модель Бозе – Эйнштейна 32 – линейной регрессии 294 – Максвелла – Больцмана 32 – Ферми – Дирака 33 Моменты 104 310

Распределение гауссовское 72, 301 – геометрическое 70, 301 – гипергеометрическое 70, 301 – дискретное 68 – Коши 74, 302 – Лапласа 76, 302 – логарифмически - нормальное 75, 301 – логистическое 76, 302 – многомерное 82 – – нормальное 85, 301 – нормальное 72, 301 – отрицательное биномиальное 71, 301 – полиномиальное 82 – процесса 199 – пуассоновское 70, 301 – равномерное 73, 301 – решётчатое 151 – сингулярное 77 – Стьюдента 156, 302 – сферическое 155 – Фишера 157, 302 – хи - квадрат 155, 302 – экспоненциальное 73, 302 Реализации выборки 252 Регрессия нормальная 295 – среднеквадратическая 297

Ошибка второго рода 288 – первого рода 288 – систематическая 163 – случайная 163 – среднеквадратическая 261 Парадокс Бертрана 24 Пересечение событий 10 Перестановки 26 – с повторениями 28 Переходная плотность 229 – функция 229, 230 Переходные вероятности 55 Плотность 71 Полигон частот 256 Полиномы Бернштейна 186 Полная группа событий 41 Порядковые статистики 254 Правило трех сигм 114 – умножения 26 Предел последовательности событий 13 – – – верхний 12 – – – нижний 13 Произведение событий 10 Производная обобщенного случайного процесса 239 Производящая функция 149 Пространство элементарных событий 9 Процесс с дискретным временем 198 – – непрерывным временем 199 Прошлое 55 Прямая линейной регрессии 298 Прямое произведение вероятностей 47 – – вероятностных пространств 47 – – сигма - алгебр 47

Свёртка 93 Свойства вероятностей 18 – плотности 72 – функции распределения 65 Свойство согласованности 80 Сигма - алгебра 10 – остаточная 190 – порождённая случайной величиной 87 Слабый белый шум 242 Случайная величина 61 – – абсолютно непрерывная 71 – – асимптотически нормальная 258 – – вырожденная 90 – – дискретная 68 – – комплексная 127 – – многомерная 80 – – простая 116 – – сингулярная 77 – – целочисленная 149 Случайная последовательность 198 Случайное событие 10, 16

Равномерно наиболее мощный критерий 289 Разбиение 41 Размещение 26 Разность событий 11 Распределение абсолютно непрерывное 71 – Бернулли 69, 301 – бета 74, 302 – биномиальное 70, 301 – Вейбулла – Гнеденко 76, 302 – вероятностей случайной величины 67 – гамма 74, 302 311

Случайные числа 31 Случайный вектор 80 – выбор без возвращения 31 – – с возвращением 30 Случайный процесс 198 – – броуновского движения 214 – – диффузионный 230 – – марковский 228 – – непрерывный в среднем 204, 217 – – однородный 205 – – Орнштейна – Уленбека 234 – – Пуассона 208 – – с независимыми значениями 243 – – с независимыми приращениями 204 – – с некоррелированными приращениями 218 – – с ортогональными приращениями 218 – – сепарабельный 203 – – слабо стационарный 224 – – стационарный 224 – – стохастически непрерывный 204 Смещение 261 Событие достоверное 10 – невозможное 10 – противоположное 11 События несовместные 10 Сочетания 27 – с повторениями 29 Спектр колебания процесса 224 Спектральная плотность 227 – стохастическая мера 228 – функция 226 Спектральное представление корреляционного функционала 248 – – корреляционной функции 225 – разложение процесса 228 Среднее значение случайной величины 95 – – процесса 237 Стандартный процесс броуновского движения 216 Статистика 260 – достаточная 268 – критерия 289 – отношения правдоподобия 290 – полная 269 – центральная 275 Статистическая модель 252 – – абсолютно непрерывная 253 – – дискретная 253 312

Статистическая модель параметрическая 253 – – экспоненциальная 264 Статистический критерий 281 Стохастическая матрица 56 Стохастически эквивалентные случайные процессы 201 Стохастический интеграл 223 Среднеквадратическое отклонение 104 Сумма событий 10 Схема Бернулли 48 – полиномиальная 49 Сходимость в среднем порядка r 175 – по вероятности 173 – поточечная 141 – почти наверное 172 – с вероятностью единица 172 – слабая 141, 173 Теорема Бернулли 179 – Бернштейна 186 – Бореля 186 – Бохнера 133 – Гливенко 254 – единственности 140 – Колмогорова 183, 192, 202 – – о «трёх рядах» 193 – Колмогорова – Ченцова 203 – Лебега 77 – Линдеберга 164 – Ляпунова 168 – Маркова 177 – обратная предельная 145 – о «двух рядах» 193 – – мажорируемой сходимости 96 – – монотонной сходимости 96 – – предельных вероятностях 57 – прямая предельная 145 – умножения 40 – Хелли 142, 143 – Хинчина 178, 192 – центральная предельная 162 – Чебышева 178 – Штольца 178 Тождество Вальда 121 Траектория процесса 199 Уравнение Колмогорова прямое 233 – – обратное 231

Функция распределения теоретическая 254 – – эмпирическая 254

Уравнения Колмогорова – Чепмена 229 – правдоподобия 271 Уровень значимости 289 Усиленный закон больших чисел 179 Условие Линдеберга 164 – Ляпунова 168 – пренебрежимой малости 169 – равномерной малости 171 Условное математическое ожидание 123

Характеристическая функция 127 – – многомерная 152 – – однородного процесса 205 Характеристический функционал обобщенного случайного процесса 238 Цепь Маркова 54 – – однородная 55

Формула композиции 92 – обращения 139 – полной вероятности 41 – Стирлинга 52 Формулы Байеса 43 Функция вклада 262 – информации Фишера 262 – мощности критерия 282 – правдоподобия 262 – распределения 63 – – многомерная 80

Частота 33 – относительная 6 Шаг распределения 151 – – максимальный 152 Экстремальные значения выборки 254 Элемент выборки 252 Элементарное событие 9

313

УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ

≡ – тождественно равно ∩ An – произведение случайных

+∞

∫ g ( x ) dF ( x ) 118

−∞

n

∫ ξ ( ω ) dP ( ω ) 95, 117

событий An ∪ An – сумма событий An

Ω b

∑ An – сумма попарно несовмест-

∫ ξ ( t ) dt a

ных событий An

( Ω, A , Ρ ) 15 ( Ω, A , P ) 252

n

n

n

∏ ak k =1

– произведение a1a2 ...an

A 254

A ⇒ B – импликация, т.е. высказывание “если А, то В”, или “А есть достаточное условие для В”, или “В есть необходимое условие для А” A ⇔ B – эквиваленция, т.е. единая запись двух импликаций A⇒ B и B⇒ A a + = max ( a;0 )

∅ 10 A∗ 12 A∗ 12 A 11 A ∪ B 10

A + B 10 A ∩ B 10 A \ B 11 A∆ B 11 A 1 × A 2 × … × A n .47 A 10 A ξ 87

a − = − min ( a;0 ) a ∧ b = min ( a; b ) a ∨ b = max ( a; b )

Im f – мнимая часть функции f N – множество натуральных чисел R – множество действительных чисел Re f – действительная часть функции f Z – множество целых чисел

Ank

ank

Bi ( r , p ) 301 B ( t , s ) 216

B ( C (T ) ) 200 B ( R ) 34

∫ f ( t ) d ξ ( t ) 223

B ( R n ) 35

−∞

ξ

257 257

Bi ( N , p ) 301

+∞

∫ g ( x ) dF ( x )

219

117, 118

BXT 199

R

∫ g ( x ) dx 118

C (T ) 200

∫ g ( x ) dF ( x ) 118

D (T ) 200

cov ( ξ, η ) 105

R b

a

D+ (T ) 200

314

D− (T ) 200 Dξ 101 D 235 Fm ,n 158, 302

P ( Ω ) = 2Ω 20 P ( A ) 6, 15

Ft 228 F[t ,∞ ) 228

P ( s, x, t , B ) 229

P ( A | B ) 40

P1 × P2 ×… × Pn 47 p ( s, x, t , z ) 229

Fξ 63

pξ 71

Fξ 80

pξ 84

Fξ ( −∞ ) 65

 pij  55 RT 200 R ( a, b ) 301

Fξ ( +∞ ) 65

Fn ⇒ F 141 n →∞

G ( p ) 301

R ( t , s ) 217

Gn ( X ) 256

S 2 257 s 2 257 tυ 302 U ( X ; θ ) 262

H ( N , L, n ) 301

I A 63

i ( θ ) 263 in ( θ ) 262

X 257 X ( k ) 254

L ( x;θ ) 262

Xn 257 Z n , p 259

L ( µ, σ 2 ) 301 L ( ξ ) 253

lim 13 lim 13 lim 13 Mξ 95 M ( ξ | B ) 120

п .н . ξ n  → ξ 172 n →∞ r ξ n  → ξ 175 n →∞

B

Ρ ξ n  → ξ 173 n →∞

ξ n ⇒ ξ 173 Π ( λ ) 301

M ( ξ | η ) 124

ρ ( ξ, η ) 113

M ( ξ | F ) 123

σ ( A ) 34

M nk 25 mnk 257

Φ ( x ) 162

χ 2 155, 302 ω9

N ( A ) 6, 33

N ( µ, σ 2 ) 301

315

Обратная предельная теорема

{ fn }, n ≥ 1

- хар. ф-ция, f непр. в т. 0 , f n ( t )  → f ( t ) ∀t ∈ R ⇒ n →∞

⇒ Fn ⇒ F , F , Fn , n ≥ 1 - ф-ции распределения. n →∞

Доказательство. 1 теорема Хелли ⇒ ∃

1

{Fn } ⊂ {Fn } , k

Fnk ⇒ F nk →∞

τ

(

)

P ξnk ≤ x ≥

1 1 f nk ( t ) dt − ∫ τx 2τ −τ 1 1− τx

, τ, x > 0 ⇒ 2 2  Fnk   − Fnk  − 0  ≥ 1 − ε τ τ 

⇒ ∀ε > 0 ∃n0 ∈ N : ∀nk > n0

F ( +∞ ) − F ( −∞ ) = 1, F - ф-ция. распр. ⇒ (прям. пред. теор.) f nk ( t ) → n →∞ k

+∞

∫e

−∞

itx

dF ( x ) ⇒ f ( t ) =

+∞

∫e

itx

dF ( x ) - пр. ф-ция.

−∞

Fn ⇒ F ? От противного Fn ⇒ F

2

n →∞

{ }

n →∞

∃ Fmk ⊂ { Fn } , Fmk ⇒ F * , F * ≠ F , F * , F - ф-ции распр.

f mk ( t ) → f * ( t )

f nk ( t ) → f ( t )

f (t ) ≠ f * (t ) противоречие

mk →∞

Прямая предельная теорема Теорема единственности

Обозначения. t2

x

n

− ξ − ak 1 2 dt , ξ = k ak = M ξk , Bn 2 = ∑ Dξ k , Fk ( x ) = P ( ξ k ≤ x ) , Φ ( x ) = e , kn ∫ B 2 π n k =1 −∞ n

Sn = ∑ ξkn , ϕkn ( t ) = Meitξkn , ϕSn ( t ) = MeitSn , γ n ( τ ) = k =1

1 n 2 x − a dFk ( x ) . ( ) ∑ k Bn 2 k =1 x − a ∫>τB k

n

Теорема Линдеберга.

ξn , n ∈ N - независимые случайные величины; ∀τ > 0 γ n ( τ ) → 0 n→∞

∀x ∈ R

 ξ + ξ + ... + ξn − ( a1 + a2 + ... + an )  P 1 2 ≤ x  → Φ ( x) Bn   n →∞

В

B

Доказательство. ∞

ln (1 + x ) = ∑

s =1

n

( −1)s −1 x s

n

ln ϕSn ( t ) = ∑ ln ϕkn ( t )

s

k =1

n

∞

ln ϕSn ( t ) = ∑ ( ϕkn ( t ) − 1) + Rn , где Rn = ∑ ∑ k =1

Rn ≤

k =1 s = 2

( −1)s −1 s

( ϕkn ( t ) − 1)

s

,

t2 max ϕkn ( t ) − 1 , т.е. Rn → 0 равномерно в каждом конечном интервале n →∞ 2 1≤ k ≤ n +∞

t2 n t2 ∑ ( ϕkn ( t ) − 1) = − 2 + ρn , где ρn = 2 + ∑ ∫ eitx − 1 − itx dFkn ( x ) , k =1 −∞ k =1 n

(

)

ρn → 0 равномерно в каждом конечном интервале n→∞

t2 ln ϕSn ( t ) → − равномерно в каждом конечном интервале n →∞ 2

В

Теорема 8 (Колмогоров)

ξ n - независимы, n ≥ 1 , Fξn ( x ) = Fξ1 ( x ) ,

ξ n - независимы, n ≥ 1 , Fξn ( x ) = Fξ1 ( x ) , M ξ1 = a < +∞

п.н. 1 n ∃a ∈ R : ∑ ξ k → a n k =1 n →∞

A1

A2

K2

K1 п.н. 1 n ξ ∑ k →a n k =1 n→∞

M ξ1 < +∞

B1

B2

Доказательство K1 . ξn , ξ n ≤ n Обозначение: ξn ∈ A1 , ξn = ξn ⋅ I{ ξ ≤ n} =  n 0, ξn > n 1 n ∑ ξk − na = n k =1

n

n

k =1

k =1

∑ ξk − ∑ ξk n

n

n

∑ ξk − ∑ M ξk

+ k =1

k =1

n

n

∑ M ξk − na

+ k =1

n

= I1 + I 2 + I 3

п.н.

Лемма Бореля-Кантелли Лемма 1 (§1 доп. к гл.6)

I1 → 0 n →∞

n

Dξ ∑ k 2k < +∞ k =1

C1

п.н.

Теорема 7

I2 → 0 n →∞

C2

п.н. 1 n I 3 = − ∑ M ξ k ⋅ I{ ξ > k} → 0 C3 k n →∞ n k =1

A1

C12

C12

C3

B1

Доказательство K 2 . n

A2

ξn = n

∑ ξk

k =1

n

n −1

∑ ξk п.н. n − 1 k =1 − ⋅ → 0 n n − 1 n →∞

B2

Вторая теорема Хелли +∞

+∞

→ ∫ g ( x ) dF ( x ) ∀g ∈ C ( R ) ∫ g ( x ) dF ( x ) 

Fn , F — ф-р, n ≥ 1 ; Fn ⇒ F ⇒

n

n →∞

B

n →∞

−∞

−∞

Доказательство. df

a = x0 < x2 < … < xL = b ∈ C ( F ) , gε ( x ) = g ( xk ) , x ∈ ( xk −1 , xk ] ⇒

1

∀ε > 0 g ( x ) − gε ( x ) < ε

+∞

+∞

∫ g ( x ) dF ( x ) − ∫ g ( x ) dF ( x ) ≤ ∫ g ( x ) dF ( x ) + n

n

−∞

+

−∞

x >X

∫ g ( x ) dF ( x ) − ∫ g ( x ) dF ( x ) + ∫ n

x ≤X

x ≤X

g ( x ) dF ( x )  →0 n →∞

x >X

ε ε ∃X , − X ∈ C ( F ) F ( − X ) < , 1− F ( X ) < ; 2 2 Fn ⇒ F ⇒ ∃n0 ∀n > n0 F ( − X ) < ε, 1 − F ( X ) < ε.

2

n →∞

1 b

b

b

a

a

∫ g ( x ) dF ( x ) − ∫ g ( x ) dF ( x ) ≤ ∫ ( g ( x ) − g ( x ) ) dF ( x ) + ε

n

a

b

b

a

a

+ ∫ g ε ( x ) dFn ( x ) − ∫ g ε ( x ) dF ( x ) +

n

b

→0 ∫ ( g ( x ) − g ( x ) ) dF ( x )  ε

a

ε

n →∞

Свойства мультипликативности математического ожидания

ξ1 ,… , ξn — независ.; M ξi < ∞, i = 1, n ⇒ ∃M ( ξ1 , ξ 2 ,… , ξ n ) M ( ξ1 , ξ2 ,… , ξn ) = M ξ1 , M ξ 2 ,… , M ξ n Доказательство (n=2). m

l

k =1

j =1

ξ1 ( ω) = ∑ ck I Ak ( ω), ξ2 ( ω) = ∑ b j I B j ( ω) — нез.

1

Критерий независимости дискретных случайных величин P ( Ak ∩ B j ) = P ( Ak ) P ( B j ) , k = 1, m, j = 1, l

m

l

M ξ1ξ2 = ∑∑ ck b j P ( Ak ∩ B j ) = M ξ1 ⋅ M ξ2 k =1 j =1

ξ1 ≥ 0, ξ2 ≥ 0 — нез, M ξi < ∞, i = 1, 2

2

ξ1 , ξ2 — нез., g1 , g 2 — борел. ф-ции ⇒ g1 ( ξ1 ) , g 2 ( ξ2 ) — нез 2 df n 2

k −1 I  k −1 k  ( ω), i = 1, 2; ξ1n , ξ 2 n − нез., ξin ↑ ξi , n → ∞, i = 1, 2 n  n 0, ∃n0 , ∀n > n0∀x ∈ [ a, b ] n Теорему Лебега о предельном переходе b

Mg n ( ξ ) = ∫ g n ( x ) dFξ ( x ) , Mg n ( ξ )  → Mg ( ξ ) , n →∞ a

b

b

a

a

∫ g ( x ) dFξ ( x ) − ∫ gn ( x ) dFξ ( x ) < ε, ∀n > n0 ∀ε > 0 2

0, x > N ⇒ gN ↑ g g ∈ C ( R ) , g ( x ) ≥ 0 ∀x ∈ R, g N ( x ) =  N →∞  g ( x ) , x ≤ N df

Теорема о монотонной сходимости

1

Mg N ( ξ )  → Mg ( ξ ) , Mg N ( ξ ) = N →∞ N

∞

−N

−∞

N

∫ g ( x ) dFξ ( x )

−N

→ ∫ g ( x ) dFξ ( x ) ∫ g ( x ) dFξ ( x )  N →∞

3

df

df

g ∈ C ( R ) , g + ( x ) = max ( 0, g ( x ) ) , g − ( x ) = − min ( 0, g ( x ) ) , g ( x ) = g + ( x ) − g − ( x ) 2

Mg

±

∞

(ξ) = ∫

g ± ( x ) dFξ ( x )

−∞

Линейность интеграла Римана-Стилтьеса

Mg ( ξ ) =

∞

∫ g ( x ) dFξ ( x )

−∞

Курс теории вероятностей

Recommend Documents