Теория вероятностей и математическая статистика. Курс лекций (часть 2): учеб. пособие. − В 2-х ч

Федеральное агентство по образованию Национальный исследовательский ядерный университет «МИФИ»

Л.П. Постникова, Е.В. Сумин

Теория вероятностей и математическая статистика Курс лекций (часть 2) Учебное пособие

Москва 2010

УДК 519.2(07) ББК 22.17я7 П63 Постникова Л.П., Сумин Е.В. Теория вероятностей и математическая статистика. Курс лекций (часть 2): учеб. пособие. − В 2-х ч. − М.: НИЯУ МИФИ, 2010. − 148 с. Учебное пособие (в двух частях) написано на основе полугодового курса лекций, читаемого на протяжении ряда лет в НИЯУ МИФИ. В пособии изложены основные разделы теории вероятностей и математической статистики. Во второй части пособия рассмотрены случайные величины, их характеристики, закон больших чисел, предельные теоремы, элементы математической статистики и метод Монте-Карло. В приложении приведены необходимые таблицы. В первой части пособия были даны исходные понятия теории вероятностей, классическое определение вероятности, аксиоматическое построение теории вероятностей, последовательность независимых испытаний и цепи Маркова. Пособие дополняют ранее изданные методические рекомендации [1-4], посвященные решению задач по курсу теории вероятностей и математической статистики на практических занятиях в НИЯУ МИФИ. Предназначено для студентов физико-математических специальностей, изучающих курс теории вероятностей и математической статистики в течение одного семестра. Также будет полезно аспирантам и преподавателям при чтении лекций и проведении практических занятий. Рецензент канд. физ.-мат. наук, доц. А.Н. Велигура Рекомендовано редсоветом НИЯУ МИФИ в качестве учебного пособия

ISBN 978-5-7262-1348-4

©

Национальный исследовательский ядерный университет «МИФИ», 2010

Глава 5 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ § 18. Понятие случайной величины Предметом внимания в курсе являются случайные события. Случайными событиями, например, являются выпадение герба или решки при бросании монеты. Теперь рассмотрим специальный вид случайных событий, а именно случайные величины. Это случайные события, исход которых выражается числом. Выпадение герба или решки при бросании монеты не является случайной величиной, ибо герб или решка не являются числами (это некоторые фигуры – символы), однако, если на стороне герба напишем 1, а на стороне решки – 0 и будем смотреть выпадет ли 1 или 0, то сразу же будем иметь дело со случайной величиной. Заметим, что указанное перекодирование случайного события в случайную величину, как позднее увидим, является методом для изучения случайных событий. По-видимому, не всякую величину, значения которой зависят от случая, можно изучать методами теории вероятностей. Приведем несколько рискованный пример. Встречаются два шахматиста примерно равной силы в матче. Сколько один из них наберет очков? Количество очков, набранных в матче – событие, выраженное числом. Это событие к тому же случайное. По крайней мере в нем участвуют различные случайные факторы: домашняя и служебная обстановки участников, осведомленность в новых дебютах, установки тренеров, настроения участников и множество моментов, которые выражаются неопределенным словом «форма». Чтобы рассуждать о случайной величине, надо знать вероятности, с которыми она принимает то или иное значение Разнообразие случайных величин велико. Число принимаемых ими значений может быть конечным, счетным или несчетным. Для того чтобы задавать вероятности значений случайной величины столь различ3

ные по своей природе, и потом задавать их одним и тем же способом, в теории вероятностей вводят понятие функции распределения случайной величины. Пусть ξ – случайная величина и x – произвольное действительное число. Вероятность того, что ξ примет значение, меньшее чем x, называется функцией распределения случайной величины ξ F ( x ) = P (ξ < x ) . Резюмируем сказанное. Случайной величиной называется переменная величина, значения которой зависят от случая и для которой определена функция распределения. Рассуждения, которые здесь приводятся, конечно, не являются математическими. В математических рассуждениях должны быть разъяснены термины, встречающиеся в определении. Ранее говорилось «случайная величина – это величина, принимающая то или иное значение в зависимости от случая». Произнесли слово «случай». Значит необходимо отчитаться в том, что это слово означает. Над интуицией «случая» много размышляли теологи, философы, математики, физики. Пуанкаре, например, предложил формулировку «случай – это когда малые причины производят большие следствия». Но к единому мнению мыслители не пришли. Поэтому естественно отказаться от определения случайной величины через слово «случай». Таким образом, пока не дано определения случайной величины, лишь дано указание на то, как в приложениях опознавать случайные величины. Определение случайной величины дается в рамках аксиоматического построения теории вероятностей. Напомним, что при аксиоматическом построении теории вероятностей исходят из некоторого множества (пространства) элементарных событий Ω. Допустим, что каждому элементарному событию е поставлено в соответствие некоторое число ξ = f (e) , т. е. имеем функцию на пространстве элементарных событий. Далее в аксиоматическом построении теории вероятностей вводилось борелевское поле множеств (событий) ଥ и для множеств A ∈ ଥ (входящих в поле ଥ) определялась вероятность P( A) , удовлетво4

ряющая определенным аксиомам (свойствам). Для любого вещественного числа x определим множество Ax тех точек е пространства Ω, для которых f (e) < x . Потребуем, чтобы функция ξ = f (e) была измерима относительно борелевского поля множеств ଥ. Это означает, что для любого вещественного числа x множество Ax принадлежит борелевскому полю ଥ. Определение 18.1. Случайной величиной назовем функцию ξ = f (e) , определенную за измеримом пространстве (Ω, ଥ), измеримую относительно борелевского поля ଥ. Это, конечно, довольно громоздкое определение. Но требуется запомнить лишь вульгарную часть определения, именно что случайная величина есть функция на пространстве элементарных событий. Функцией распределения случайной величины ξ называется функция вещественной переменной x, определенная равенством F ( x) = Fξ ( x ) = P ( Ax ) = P (ξ < x ).

Теперь надо «увязать» введенное только что понятие случайной величины с интуитивными представлениями. Для этого нет другого способа, как рассмотрение примеров. 1. Рассмотрим симметричную шестигранную кость, грани которой обозначим через li , i = 1, 2, 3, 4, 5, 6. Множество граней { li } , i = 1, 2, ..., 6 есть множество элементарных событий. Борелевское поле множеств ଥ есть совокупность всех подмножеств { li } (включая и пустое). Поскольку кость определена как симметричная, то 1 P(li ) = , i = 1, 2, 3, 4, 5, 6 . 6 На гранях кости написаны числа: на грани l1 – число 1, на грани l 2 – число 2, ..., на грани l6 – число 6. Таким образом, на множестве элементарных событий определена функция 5

f (li ) = i .

Имеем дело со случайной величиной. 2. Рассмотрим последовательность n независимых испытаний, в каждом из которых вероятность появления события А равна p. Составим протокол исходов испытаний: строчку, состоящую из значков + и –. Например, строка − + + ... + означает, что в первом испытании событие А не произошло, во втором, в третьем испытаниях событие А произошло, ..., в n-м событие А произошло. Всего возможно 2 n возможных протоколов. Множество всевозможных протоколов есть пространство элементарных событий Ω. Вероятность протокола, в котором m плюсов, и, следовательно, (n – m) минусов, по определению схемы равна Pn ( m) = Cnm p m q n−m .

Пусть l – некоторый протокол, обозначим μ = f (l ) − количество плюсов в протоколе l, иными словами, количество наступлений события А в последовательности n независимых испытаний. μ есть функция на пространстве элементарных событий, т. е. случайная величина в смысле определения, которое было дано. При помощи функции распределения случайной величины ξ можно определить вероятность неравенства x1 ≤ ξ < x2 P ( x1 ≤ ξ < x2 )

при любых x1 и x2 . В самом деле, если через А обозначить событие, состоящее в том, что ξ примет значение, меньшее чем x2 , через В событие, состоящее в том, что ξ < x1 и, наконец, через С событие x1 ≤ ξ < x2 , то, очевидно, имеет место следующее равенство A = B +C. Так как события В и С несовместные, то 6

P ( A) = P ( B ) + P (C ) .

Но P ( A) = F ( x2 ) , P ( B ) = F ( x1 ) ; P (C ) = P ( x1 ≤ ξ < x2 ) .

Поэтому P ( x1 ≤ ξ < x2 ) = F ( x2 ) − F ( x1 ).

(18.1)

Так как, согласно аксиоме, вероятность есть неотрицательное число, то из формулы (18.1) следует, что при любых x1 и x2 ( x2 ≥ x1 ) имеет место неравенство: F ( x2 ) ≥ F ( x1 ) .

Таким образом, установили следующие свойства функции распределения случайной величины. 1. Функция распределения любой случайной величины есть неубывающая функция. Сформулируем свойства 2, 3, для чего предварительно определим F (− ∞) и F (+ ∞) равенствами F (− ∞) = lim F ( x) , F (+ ∞) = lim F ( x) . x→−∞

2. 3.

lim F ( x) = F (− ∞) = 0 ,

x→−∞

F

x → x0 −0

x→+∞

lim F ( x) = F (+ ∞) = 1.

x→+∞

( x) = F ( x0 ) − непрерывность слева.

4. Функция распределения F (x) не может иметь более чем счетное множество точек разрыва. Доказательство. Докажем свойство 4. В самом деле, у функции F (x) , как у неубывающей функции могут быть лишь точки разрыва первого рода (т. е. точки, в которых конечный предел справа не равен конечному пределу слева). Пусть в какой-то точке x = a lim F ( x) ≠ lim F ( x). x → a+0

x → a −0

7

Обозначим b1 = lim F ( x) , b2 = lim F ( x) . x → a+0

x → a−0

Так как функция F (x) монотонна, то b1 > b2 .

Кроме того, 1 ≥ b1 > b2 ≥ 0 .

Так как рациональные числа расположены всюду плотно на отрезке [ 0 , 1 ] , то в интервале (b1 , b2 ) есть рациональные числа, возьмем какое-либо одно из них, например, b. Сопоставим каждой точке разрыва a функции F (x) рациональное число b. Тем самым задаем взаимооднозначное соответствие между точками разрыва функции распределения F (x) и некоторым подмножеством множества рациональных чисел на отрезке [ 0 , 1 ] . Но, как известно, множество рациональных чисел счетно. Далее подмножество счетного множества либо пусто, либо конечно, либо счетно. Утверждение доказано. Заметим, что в то время, как каждая случайная величина однозначно определяет свою функцию распределения, существуют различные случайные величины, имеющие одну и ту же функцию распределения. Приведем пример. Пусть случайная величина ξ при1 и пусть нимает два значения – 1 и + 1, каждое с вероятностью 2 η = − ξ. Ясно, что ξ всегда отлично от η. Тем не менее обе эти величины имеют одну и ту же функцию распределения: ⎧ 0 при x ≤ − 1; ⎪1 ⎪ F ( x) = ⎨ при − 1 < x ≤ 1; ⎪2 ⎪⎩ 1 при x > 1.

8

§ 19. Дискретные и непрерывные распределения. Примеры распределений

Можно всегда задать распределение вероятностей случайной величины с помощью ее функции распределения. Существуют классы случайных величин, для которых имеются специальные способы задания их распределений вероятностей. Дискретной случайной величиной называется случайная величина ξ, которая может принимать лишь конечное или счетное множество значений. Распределение вероятностей дискретной случайной величины удобно задавать с помощью так называемого закона распределения Pξ ( x) = P (ξ = x) , где x − последовательность вещественных чисел, для которых P ( x) > 0 . Ясно, что ∑ Pξ ( x) = 1. Распределение дискретной случайной величины называется дискретным распределением. Функция распределения дискретной случайной величины может быть восстановлена по закону распределения с помощью формулы F ( x) = ∑ Pξ ( a) a< x

(суммирование ведется по тем a, для которых P (a ) > 0 ). Обратно, закон распределения дискретной случайной величины ξ может быть восстановлен по ее функции распределения: надо рассмотреть все точки x, в которых F (x) имеет разрыв и положить Pξ (x) равным величине этого скачка. Приведем примеры некоторых дискретных распределений. 1. Следует обратить внимание на вырожденную случайную величину. Так называют величину ξ, которая принимает некоторое значение a с вероятностью 1, а все другие значения с вероятностью 0: Pξ (a) = 1. Функция распределения вырожденной случайной величины имеет вид

9

⎧ 0 для x ≤ a ; F ( x) = ⎨ ⎩ 1 для x > a . 2. Пусть p фиксированное число, 0 < p < 1 и q = 1 − p . Рассмотрим случайную величину ξ с законом распределения Pξ (0) = q , Pξ (1) = p .

Это случайная величина засчитывает «успех» в испытании, где вероятность «успеха» равна p. 3. Пусть p – фиксированное число ( 0 < p < 1 и q = 1 − p ). Распределение случайной величины ξ называется биномиальным, если закон распределения имеет вид P { ξ = m } = Cnm p m q n − m , m = 0, 1, ..., n .

Биномиальное распределение встречалось в задаче об успехах в n испытаниях Бернулли. 4. Рассмотрим задачу, относящуюся к последовательности независимых испытаний. Пусть вероятность «успеха» в отдельном испытании равна p ( 0 < p < 1 ), положим q = 1 − p . Обозначим через ξ случайную величину равную количеству испытаний до первого «успеха» включительно. Очевидно P { ξ = m } = q n − m p, m = 0,1, ... .

Это распределение носит название геометрическое. По-видимому, термин «геометрический» возник от того, что вероятности P { ξ = m } образуют геометрическую прогрессию. 5. Распределение Пуассона. Говорят, что случайная величина ξ имеет распределение Пуассона с параметром a (a > 0), если am − a e , m = 0, 1, .... m! Распределение Пуассона возникло как предельное распределение для биномиального распределения. Рассмотрим теперь другой класс случайных величин. P {ξ = m} =

10

Случайную величину ξ назовем непрерывной, если существует функция p (x) такая, что для функции распределения F (x) случайной величины ξ при любом x имеет место равенство F ( x) =

x

∫

p ( z ) dz .

−∞

Функция p (x) называется плотностью распределения вероятностей случайной величины ξ. Иногда вместо термина «непрерывная случайная величина» употребляется более удачное выражение «случайная величина, имеющая плотность». Отметим следующие свойства плотности. А. p ( x) ≥ 0 . Б. При любых x1 и x2 ( x2 > x1 ) P { x1 ≤ ξ < x2 } =

x2

∫

p ( x) dx ,

x1

в частности, если p (x) непрерывна в точке x, то с точностью до бесконечно малых высших порядков P ( x ≤ ξ < x + dx ) = p ( x ) dx . В. +∞

∫

p( x) dx = 1.

−∞

Приведем некоторые примеры функций распределения, имеющих плотности. 1. Нормальное распределение. Говорят, что случайная величина ξ распределена по нормальному закону, если ее плотность распределения имеет вид p ( x) = C e

−

( x−a )2 2σ2

, − ∞ < x < + ∞,

здесь a – заданное вещественное число, а σ – заданное положительное число. 11

Постоянная С может быть определена на основании свойства В. C

2 + ∞ − ( x −a ) 2 e 2σ

∫

dx = 1.

−∞

Заменой переменных

x−a = z это равенство приводится к виду σ Cσ

+∞

∫

e

−

z2 2

dz = 1.

−∞

Интеграл, стоящий в левой части равенства, известен под названием интеграла Пуассона +∞

∫

e

−

z2 2

dz = 2π .

−∞

Отсюда находим С σ 2π = 1.

С=

1 . 2π σ

Таким образом, плотность нормального закона имеет вид − 1 p ( x) = e 2π σ

( x−a )2 2σ2

, − ∞ < x < + ∞.

(19.1)

Нормальное распределение называется иногда гауссовым распределением, а функция (19.1) – законом Гаусса или нормальным законом распределения с параметрами а и σ2 , т.е. N (a, σ2 ) . При значениях параметров a = 0, σ = 1 распределение называется стандартным гауссовым распределением. Рассмотрим график функции y = p (x) . Функция y достигает максимума при x = a , симметрична по отношению к прямой x = a и имеет точку перегиба (т. е. пересекает 12

свою касательную) при x = ± σ ; ось абсцисс для нее служит асимптотой при x = ± ∞ . Для иллюстрации того как меняются значения функции y при изменении σ приведем график функции t2

− 1 2 y= e 2σ . 2π σ

Чем меньше σ, тем острее «пик» и круче «спуск» (рис. 1, где t = x − a ).

Рис. 1

Функция распределения случайной величины ξ с нормальным законом распределения имеет вид F ( x) =

x

1 2π σ

∫

e

−

(t − a ) 2 2σ2

dt .

−∞

2. Равномерное распределение. Зафиксируем отрезок [ a , b ] на прямой x. Скажем, что случайная величина ξ равномерно распределена на отрезке [ a , b ] , если она имеет плотность распределения вида 13

⎧ 0, x < a; ⎪ 1 ⎪ , a ≤ x ≤ b; p ( x) = ⎨ ⎪ b−a ⎪⎩ 0 , x > b .

Функция распределение равномерно распределенной на отрезке [ a , b ] случайной величины имеет вид ⎧ 0, x < a; ⎪ x−a ⎪ , a ≤ x ≤ b; F ( x) = ⎨ ⎪ b−a ⎪⎩ 1, x > b .

3. Показательное распределение с параметром λ (λ > 0). Говорят, что случайная величина ξ имеет показательное распределение, если ее плотность распределения pξ (x) ⎧⎪ λ e − λ x , x ≥ 0 ; pξ ( x) = ⎨ ⎪⎩ 0 , x < 0 . Соответствующая функция распределения при x > 0 имеет вид: x

F ( x ) = ∫ λ e − λ t dt = 1 − e − λ x . 0

Значит для случайной величины, распределенной по показательному закону при x > 0 P (ξ ≥ x ) = e − λ x .

Отметим одно интересное свойство случайной величины, распределенной по показательному закону. Пусть x > 0 , t > 0 . По определению условной вероятности P (ξ ≥ x + t ξ ≥ x ) = =

P (ξ ≥ x + t , ξ ≥ x ) = P (ξ ≥ x )

P (ξ ≥ x + t ) e − λ ( x + t ) = = e − λ t = P (ξ ≥ t ) . −λ x P (ξ ≥ x ) e 14

4. Распределение Коши. Так называется случайная величина ξ, плотность распределения которой имеет вид 1 pξ ( x ) = , − ∞ < x < + ∞. π (1 + x 2 ) § 20. Случайные векторы

Введем понятие случайного вектора. Рассмотрим вероятностное пространство Ω с элементами ω ∈ Ω и борелевское поле событий ଥ; на Ω задана вероятность P. Упорядоченный набор измеримых относительно ଥ функций ξ1 = f1 (ω), ξ 2 = f 2 (ω), ..., ξ n = f n (ω) (20.1) называется случайным вектором. Иногда вместо термина «случайный вектор» употребляют термин «многомерная случайная величина». Необходимо иметь математический аппарат для описания распределения вероятностей случайных векторов. Иногда для того, чтобы акцентировать то обстоятельство, что в случайном векторе ( ξ1 , ξ 2 , ..., ξ n ) присутствуют n случайных величин, говорят о совместном распределении вероятностей n случайных величин ξ1 , i = 1, 2, ..., n . Для описания распределения вероятностей случайных векторов можно использовать тот же аппарат, какой применяется в одномерном случае – аппарат функций распределения. Функция распределения случайного вектора ( ξ1 , ξ 2 , ..., ξ n ) определяется с помощью равенства F ( x1 , x2 , ..., xn ) = P { ξ1 < x1 , ξ 2 < x2 , .. . , ξ n < xn } . Рассмотрим подробно свойство функций распределения, ограничиваясь ради простоты двумерным случаем. Решим сначала задачу: задана функция распределения F ( x1 , x2 ) случайного вектора (ξ1 , ξ 2 ) и некоторый прямоугольник на плоскости Δ = { a1 ≤ x1 < a 2 ; b1 ≤ x2 < b2 } ; 15

обратим внимание на то, что в прямоугольник не включили его верхнюю и правую стороны (рис.2). Найдем вероятность P ((ξ1 , ξ 2 ) ∈ Δ ) того, что точка (ξ1 , ξ 2 ) попадет в Δ. Имеем следующее отношение между событиями: { ξ1 < a1 ; ξ 2 < b2 } =

Рис. 2

= { (ξ1 , ξ 2 ) ∈ Δ } ∪ { ξ1 < a1 , ξ 2 < b1 } ∪ ∪ { ξ1 < a1 , b1 ≤ ξ 2 < b2 } ∪

∪ { a1 ≤ ξ1 < a2 , ξ 2 < b2 } ,

где события, фигурирующие в правой части, не пересекаются. Поэтому F ( a2 , b2 ) = P ((ξ1 , ξ 2 ) ∈ Δ ) + F ( a1 , b1 ) + + ( F ( a1 , b2 ) − F ( a1 , b1 )) + ( F ( a2 , b1 ) − F ( a1 , b1 )) . Откуда P ((ξ1 , ξ 2 ) ∈ Δ ) = F ( a2 , b2 ) − F (a 2 , b1 ) − F ( a1 , b2 ) + F ( a1 , b1 ) .

Остановимся на свойствах F ( x1 , x2 ) . 1. Имеет место неравенство: 0 ≤ F ( x1 , x2 ) ≤ 1. 2. Функция F ( x1 , x2 ) не убывает по каждому из аргументов при фиксированном другом аргументе. 3. Функция F ( x1 , x2 ) непрерывна слева по каждому аргументу. 4. Функция распределения случайного вектора (ξ1; ξ 2 ) определяет функцию распределения как величины ξ1 , так и величины ξ 2 F ( x1 , + ∞) = P { ξ1 < x1 } = Fξ1 ( x1 ) .

F ( x2 , + ∞) = P { ξ 2 < x2 } = Fξ2 ( x2 ) .

5. Имеют место предельные соотношения lim F ( x1, x2 ) = F (− ∞ , x2 ) = 0 , x1 → − ∞

16

lim x2 → − ∞

lim x1 → + ∞ x2 → + ∞

F ( x1 , x2 ) = F ( x1 , − ∞) = 0 ,

F ( x1 , x2 ) = F (+ ∞ , + ∞) = 1.

6. При a2 ≥ a1 и b2 ≥ b1 F ( a 2 , b2 ) − F ( a1 , b2 ) − F ( a 2 , b1 ) + F ( a1 , b1 ) ≥ 0 .

Распределение вероятностей случайного вектора (ξ1 , .. . , ξ n ) или в других терминах, совместное распределение вероятностей случайных величин ξ1 , ξ 2 , .. . , ξ n можно определить, задав вероятности всех событий вида { x1′ ≤ ξ1 < x1 , ... , xn′ ≤ ξ n < xn } , т. е. задавая числа

P { x1′ ≤ ξ1 < x1 , . .. , xn′ ≤ ξ n < xn } .

Будем говорить, что случайный вектор ( ξ1 , ξ 2 , ... , ξ n ) имеет дискретное распределение, если множество значений, принимаемых этим вектором, конечное или счетное. Пусть задан случайный вектор ξ = (ξ1 , ξ 2 , . .. , ξ n ) и некоторый набор вещественных чисел x = ( x1 , x2 , .. . , xn ) . Распределение вероятностей дискретного случайного вектора можно определить с помощью закона распределения Pξ ( x) = Pξ1 , ..., ξn ( x1 , ... , xn ) = P { ξ1 = x1 , ... , ξ n = xn } . Вероятность попадания дискретного вектора ξ в некоторую заданную область A n-мерного пространства R n , A ⊂ R n равна P (ξ ∈ A) =

∑

x∈ A

Заметим, что

∑

x∈R

n

Pξ ( x ) .

Pξ ( x) = 1.

По закону распределения дискретного случайного вектора ( ξ1 , ξ 2 , ... , ξ n ) можно определить закон распределения для каждой его компоненты (например, для ξ1 ) 17

Pξ1 ( x1 ) =

∑

∑

...

− ∞ < x2 < + ∞

− ∞ < xn < + ∞

Pξ1, ..., ξn ( x1 , x2 , ... , xn ) ,

аналогичные формулы имеем и для других компонент ξ i (i = 2, 3, ..., n). Будем говорить, что распределение вероятностей случайного вектора ξ = (ξ1 , ξ 2 , .. . , ξ n ) непрерывное, или обладает плотностью, если существует такая функция p ( x1 , x2 , ... , xn ) , что при любом наборе вещественных чисел x1 , x2 , . .. , xn F ( x1 , x2 , ... , xn ) =

x1

x2

∫ ∫

−∞ −∞

...

xn

∫

−∞

p ( z1 , z2 , ... , z n ) d z1 d z 2 ... d z n .

Функция p ( x1 , x2 , .. . , xn ) называется плотностью распределения вероятностей случайного вектора ( ξ1 , ξ 2 , ... , ξ n ). Можно доказать, что плотность распределения вероятностей обладает такими свойствами: 1. p ( x1 , x2 , . .. , xn ) ≥ 0 . +∞

2.

∫

−∞

+∞

.. .

∫

−∞

p ( x1 , x2 , ... , xn ) d x1 ... d xn = 1.

3. Для широкого класса областей A, лежащих в n-мерном вещественном пространстве, A ⊂ R n , вероятность попадания случайного вектора ξ в область A равна P (ξ ∈ A) = ∫∫ ... ∫ p ( x1 , x2 , ... , xn ) d x1 ... d xn . A

В частности, если функция p ( x1 , x2 , .. . , xn ) непрерывна в точке ( x1 , x2 , . .. , xn ) , то вероятность попадания точки ( ξ1 , . .. , ξ n ) в параллелепипед xk ≤ ξ k ≤ xk + d xk , k = 1, 2, ..., n с точностью до членов высших порядков малости равна p ( x1 , x2 , .. . , x n ) d x1 d x 2 .. . d xn . Заметим, что по плотности распределения случайного вектора ( ξ1 , ξ 2 , .. . , ξ n ) можно восстановить плотность распределения его 18

компонент. Например, плотность распределения случайной величины ξ1 будет равна pξ1 ( x1 ) =

+∞

∫

+∞

...

−∞

∫

p ( x1 , x2 , ... , xn ) d x1 ... d xn .

−∞

Аналогичные формулы можно написать и для других компонент. Пример 20.1. Случайный вектор называется равномерно распределенным в области A n-мерного пространства R n , A ⊂ R n , если он имеет плотность распределения ⎧ 0, если ( x1 , x2 , ..., xn ) ∉ A ; ⎪ p ( x1 , x2 , ..., xn ) = ⎨ 1 ⎪ V , если ( x1 , x2 , ..., xn ) ∈ A , ⎩ где V – объем области A. Пример 20.2. Двумерный случайный вектор ( ξ1 , ξ 2 ) распределен нормально, если его функция распределения имеет вид

F ( x1 , x2 ) = C

x1

x2

∫ ∫

e− Q( x , y ) d x d y .

−∞ −∞

где Q ( x , y ) – некоторая положительно определенная квадратичная форма от ( x − a) и ( y − b) , а a и b – заданные постоянные числа. Положительно определенная квадратичная форма от ( x − a) и ( y − b) может быть записана в виде ( x − a ) ( y − b ) ( y − b) 2 + , AB 2 A2 2B 2 где A и B – положительные числа, а r – вещественное число, подчиненное условию − 1 < r < 1. Рассмотрим распределение первой компоненты F1 ( x1 ) = P (ξ1 < x1 ) = F ( x1 ; + ∞) = Q ( x , y) =

( x − a)2

=C

x

−r

+∞

∫ ∫

e− Q( x , y) d x d y =

−∞ −∞

19

=C

x

∫

e

−

( x − a )2 2A

2

⎛ ⎜ ⎜ ⎜ ⎝

(1 − r 2 )

−∞

+ ∞ − 1 ⎛⎜ y − b − r x − a ⎞⎟ A ⎠ e 2⎝ B

2

∫

−∞

⎞ ⎟ d y ⎟ dx, ⎟ ⎠

и так как + ∞ − 1 ⎛⎜ y − b − r x − a ⎞⎟ A ⎠ e 2⎝ B

2

∫

dy =

−∞

2 + ∞ − 1 ( y − b) 2 B2 e

∫

dy =

2π ⋅ B ,

−∞

то F1 ( x1 ) = BC

2π

x1

∫

e

−

( x − a )2 2 A2

(1 − r 2 )

dx.

−∞

Поскольку F1 ( + ∞ ) = 1, то 1 = BC

2π

2 + ∞ − ( x − a ) (1 − r 2 ) 2 e 2A

∫

dx =

−∞

2π

ABC 1− r

если обозначить z 2 =

2

2 +∞ − z e 2

∫

−∞

( x − a) 2

Отсюда находим, что

dz =

A2

2 ABC π 1− r

2

,

(1 − r 2 ) .

C=

1− r 2 . 2π AB

т. е. постоянная C выражается через A, B и r. Положим A = σ1

1 − r 2 , B = σ2

1− r2 .

В этих новых обозначениях двумерный нормальный закон приобретает вид:

20

F ( x1 , x2 ) =

=

x1 x2

1 2π σ1 σ 2

1− r2

∫ ∫

−

e

⎛ ( x − a )2 ( x − a ) ( y − b ) ( y − b )2 ⎜ − 2r + 2 σ1 σ 2 σ 22 ⎝ σ1

1

2 (1 − r 2 ) ⎜

⎞ ⎟ ⎟ ⎠

dx d y.

−∞ −∞

Плотность двумерного нормального распределения дается формулой p ( x , y) = =

−

1 2π σ1 σ 2 1 − r 2

e

⎛ ( x − a )2 ( x − a ) ( y − b ) ( y − b )2 ⎜ + − 2r 2 σ1 σ2 σ 22 ⎝ σ1

1

2 (1 − r 2 ) ⎜

⎞ ⎟ ⎟ ⎠

. (20.2)

Заметим, что плотность нормального распределения сохраняет постоянное значение на эллипсах ( x − a) 2 σ12

− 2r

( x − a ) ( y − b) ( y − b) 2 = λ2 , + 2 σ1 σ 2 σ2

(20.3)

где λ – постоянная. На этом основании эллипсы (20.3) носят название эллипсов равных вероятностей. Найдем вероятность P (λ) попадания точки ( ξ1 , ξ 2 ) внутрь эллипса (20.3). Имеем P (λ ) =

∫∫

p ( x , y) d x d y ,

G (λ)

где через G (λ) обозначена область (20.3), ограниченная эллипсом. Введем полярные координаты x − a = ρ cos θ , y − b = ρ sin θ . Выражение P (λ) примет вид P (λ ) =

1 2π σ1 σ2 1 − r 2

λ 2π s

∫

0

21

1− r 2

∫

−∞

e

−

ρ2 2 s 2

ρ dρ d θ,

где ради краткости обозначено s2 =

⎛ cos 2 θ cos θ sin θ sin 2 θ ⎜ 2 − r + σ1 σ 2 1 − r 2 ⎜⎝ σ12 σ 22 1

⎞ ⎟. ⎟ ⎠

Интегрирование по ρ дает P (λ ) =

1 2π σ1 σ 2

λ2 ⎛ ⎞ − ⎜ ⎟ 2(1 − r 2 ) ⎜1 − e ⎟ ⎟⎟ 1 − r 2 ⎜⎜ ⎝ ⎠

2π

∫

dθ s2

0

.

Интегрирование по θ произведем не по общим правилам математического анализа, а с помощью вероятностных соображений. Это сократит выкладки. Имеем P( + ∞) = 1 =

2π

1 2π σ1 σ 2 1 − r 2

∫

0

dθ s2

.

Отсюда 2π

∫

0

dθ s

2

1− r2

= 2π σ1 σ 2

и значит, P (λ ) = 1 − e

−

λ2 2(1 − r 2 )

.

§ 21. Независимость случайных величин

Ранее говорилось о независимых событиях. Теперь сформулируем понятие независимости для событий, выражающихся числами, т. е. для случайных величин. Пусть сначала случайные величины ξ1 , ξ 2 , ... , ξ n принимают лишь конечное или счетное множество значений, пусть именно величина ξi принимает значения a (i ) , i = 1, 2 , ... , n . Скажем, что случайные величины ξ1 , ... , ξ n независимы, если для любого набора ξi1 , ξi2 , ... , ξik , 1 ≤ i1 < i2 < ... < ik ≤ n этих величин и любого набора принимаемых ими значений a (i1 ) , ... , a (ik ) имеет место соотношение 22

(

) (

) (

)

P ξi1 = a (i1 ) , ... , ξik = a (ik ) = P ξi1 = a (i1 ) ... P ξik = a (ik ) .

Поясним это определение на примере. Бросаем две симметричные монеты, на сторонах которых вместо обычных герба и решки написаны числа 1 и 0. Число, выпадающее на первой монете, обозначим через ξ1 , а число, выпадающее на второй монете, обозначим через ξ 2 . Возможны четыре комбинации ( ξ1 = 1, ξ 2 = 1) ; ( ξ1 = 1, ξ 2 = 0 ) ; ( ξ1 = 0 , ξ 2 = 1 ) ; ( ξ1 = 0 , ξ 2 = 0 ) .

Вероятность каждой из этих комбинаций равна

1 . Но 4

1 1 ; P ( ξ 2 = 0 ) = P (ξ 2 = 1 ) = . 2 2 Непосредственная проверка убеждает в том, что P ( ξ1 = 1, ξ 2 = 1 ) = P ( ξ1 = 1 ) P (ξ 2 = 1) ; P ( ξ1 = 1) = P (ξ1 = 0 ) =

P ( ξ1 = 1, ξ 2 = 0 ) = P ( ξ1 = 1) P (ξ 2 = 0 ) ; P ( ξ1 = 0 , ξ 2 = 1 ) = P ( ξ1 = 0 ) P (ξ 2 = 1) ;

(21.1)

P ( ξ1 = 0 , ξ 2 = 0 ) = P ( ξ1 = 0 ) P (ξ2 = 0 ) .

Значит, в соответствии с определением случайные величины ξ1 и ξ2 независимы. Теперь приведем определение независимых случайных величин в общем случае. Будем говорить, что случайные величины ξ1 , ξ 2 , , ... , ξ n независимы, если для любого набора этих величин ξi1 , ξi2 , , ... , ξik , 1 ≤ i1 < i2 < ... < ik ≤ n и произвольных веществен-

ных чисел xi1 , xi2 , ... , xik имеет место равенство

23

(

(

)

P ξi1 < xi1 , ξi2 < xi2 , ... , ξik < xik =

) (

(

)

)

= P ξi1 < xi1 P ξi2 < xi2 ... P ξik < xik .

В частности, для произвольных x1 , x2 , ... , xn выполняется равенство P ( ξ1 < x1 , ξ 2 < x2 , ... , ξ n < xn ) = = P ( ξ1 < x1 ) P ( ξ 2 < x2 ) ... P ( ξn < xn ),

или в терминах функций распределения F ( x1 , x2 , ... , xn ) = F1 ( x1 ) F2 ( x2 ) ... Fn ( xn ) , где Fk ( xk ) обозначает функцию распределения случайной величины ξ k . Если независимые случайные величины ξ1 , ξ 2 , ... , ξ n имеют плотности распределения p1 ( x), p2 ( x), ..., pn ( x), то n-мерная случайная величина ( ξ1 , ξ 2 , ... , ξ n ) имеет плотность распределения, равную p ( x1 , x2 , ... , xn ) = p1 ( x1 ) p2 ( x2 ) ... pn ( xn ) . Пример 21.1. Рассмотрим n-мерный случайный вектор ( ξ1 , ξ2 , ... , ξ n ), компоненты которого ξ1 , ξ 2 , ... , ξ n предполагаются независимыми (в совокупности) случайными величинами, распределенными по нормальному закону Fk ( xk ) =

xk

1 σk

2π

∫

−

( z − ak ) 2

e

2σ 2k

dz.

−∞

Функция распределения случайного вектора ( ξ1 , ξ 2 , ... , ξ n ) имеет вид F ( x1 , x2 , ... , xn ) = ( 2π)

−

n 2

n

∏

k =1

σ k−1

xk

∫

−∞

−

e

( zk − ak ) 2 2σ2k

d zk ,

тогда n-мерная плотность распределения вероятности вектора ( ξ1 , ξ 2 , ... , ξ n ) равна 24

−

p ( x1 , x2 , ..., xn ) =

n 2

(2π) e σ1 σ2 ... σ n

−

1 n ( xk − ak ) 2 ∑ 2 k =1 σk2

.

При n = 2 эта формула имеет вид p ( x1 , x2 ) =

1 2π σ1 σ 2

( x − a )2 ( x − a )2 − 1 1 − 2 2 2 2 σ22 e 2σ1

.

Сравнение этой формулы с плотностью двумерного нормального закона (формула (20.3)) показывает, что для независимых случайных величин ξ1 и ξ2 параметр r равен 0. Приведем еще один пример случайных величин, заданных на одном вероятностном пространстве. Пример 21.2. Пусть есть урна с четырьмя шарами, пронумерованными цифрами 1, 2, 3, 4. Опыт состоит в извлечении наудачу шара из урны. В качестве пространства элементарных событий рассмотрим множество Ω = { ω1 , ω2 , ω3 , ω4 }, где ωi – событие, состоящее в том, что выбрали шар с номером i. 1 Пусть алгебра ଥ – множество подмножеств Ω, а P { ωi } = , i = 1, 4 2, 3, 4. Введем три случайные величины ⎧ 1, i = 2 , 4 ; ξ1 (ωi ) = ⎨ ⎩ 0 , i = 1, 3 ;

ξ 2 (ωi ) = 1 − ξ1 (ωi ) ; ⎧ 1, i = 1, 2 ; ξ3 (ωi ) = ⎨ ⎩ 0 , i = 3, 4.

Здесь P (ξ1 = 1) = P (ξ1 = 0) =

25

1 ; 2

P (ξ 2 = 1) = P (ξ 2 = 0) =

1 ; 2

P (ξ3 = 1) = P (ξ3 = 0) =

1 . 2

Легко показать, что для случайных величин ξ1 и ξ3 выполняются равенства, аналогичные (21.1), т. е. величины ξ1 и ξ3 независимы. В то же время, для случайных величин ξ1 и ξ2 равенства, аналогичные (21.1), не выполняются, т. е. ξ1 и ξ2 зависимы. § 22. Функции от случайных величин

Пусть f (x) – некоторая функция действительного переменного и ξ – случайная величина. Естественно поставить вопрос о нахождении распределения вероятностей случайной величины (22.1) η = f (ξ) по распределению вероятностей случайной величины ξ. Предположим, что ξ является непрерывной случайной величиной, плотность распределения которой pξ (u ) задана на интервале (a, b) (т. е. pξ (u ) = 0 вне (a, b)). Здесь a и b могут быть бесконечными. Функцию y = f (x) , заданную на (a, b), предположим монотонной, более того, предположим, что производная f ′( x) на интервале (a, b) положительна. Функция y = f (x) взаимнооднозначно отображает интервал (a, b) на оси x в некоторый интервал (c, d), лежащий на оси y. Обозначим через x = ψ ( y ) функцию, заданную на интервале (c, d), обратную к исходной функции. Очевидно, события { y′ ≤ η ≤ y′′ } и { ψ ( y′) ≤ ξ ≤ ψ ( y′′) } совпадают. Значит, P { y′ ≤ η ≤ y′′ } = P { ψ ( y′) ≤ ξ ≤ ψ ( y′′) } =

ψ ( y′′)

∫

ψ ( y ′)

26

pξ ( x ) d x .

Теперь, сделав в последнем интеграле замену переменных, получим y′′ p (ψ ( y )) y′′ ξ P { y′ ≤ η ≤ y′′ } = ∫ d y = ∫ pη ( y ) d y . f ′(ψ ( y )) y′ y′ Видно, что случайная величина η обладает плотностью pη ( y ) , которая равна ⎧ pξ (ψ ( y )) при y ∈ (c , d ); ⎪ pη ( y ) = ⎨ f ′(ψ ( y )) ⎪ 0 при y ∉ (c , d ). ⎩

(22.2)

Приведенное рассуждение можно применить не только в тех случаях, когда функция y = f (x) монотонна. Рассмотрим, например, преобразование y = x 2 . Для слуη = ξ2

чайной величины (рис. 3)

имеем Рис. 3

P { y ′ ≤ η ≤ y ′′ } = P { − x′′ ≤ ξ ≤ − x′ }+ P { x′ ≤ ξ ≤ x′′ } =

=

− x′

∫

− x′′

=

x′′

∫

x′

pξ ( x ) d x +

( pξ (− x) + pξ ( x)) d x =

y′′

∫

y′

x′′

∫

x′

pξ ( x) d x =

( p (− ξ

y ) + pξ ( y )

) 2 1 y dy,

и, таким образом, плотность распределения случайной величины η = ξ 2 равна 1 ⎧ , y ≥ 0; ⎪ ( pξ (− y ) + pξ ( y )) 2 y pη ( y ) = ⎨ ⎪ 0 , y < 0. ⎩ 27

(22.3)

Задачу, касающуюся преобразования случайных величин, можно поставить в более общей форме: по распределению вероятностей совокупности случайных величин ξ1 , ξ 2 , ... , ξ n найти совместное распределение вероятностей величин η1 = f1 (ξ1 , ξ2 , ..., ξn ); η2 = f 2 (ξ1 , ξ 2 , ..., ξn ); . . .; ηk = f k (ξ1 , ξ2 , ..., ξn ).

(22.4)

Предположим, что вектор ( ξ1 , ξ 2 , ... , ξ n ) имеет плотность распределения pξ1 . . . ξn ( x1 , ... , xn ) . Сначала рассмотрим случай k = n , т. е. случай, когда преобразование случайных величин производится с помощью отображения y1 = f1 ( x1 , x2 , ..., xn ); y2 = f 2 ( x1 , x2 , ..., xn ); . . .; yn = f n ( x1 , x2 , ..., xn ).

(22.5)

Эта задача является прямым обобщением задачи о преобразовании непрерывных случайных величин. Предположим, что распределение вероятностей вектора ( ξ1 , ξ 2 , ... , ξ n ) сосредоточено в ограниченной или неограниченной областях A пространства R n , т. е. pξ1 . . . ξ n ( x1 , ... , xn ) = 0 при ( x1, x2 , ... , xn ) ∉ A . Далее предположим, что преобразование (22.5) взаимно однозначно отображает область A на область B и x1 = ψ1 ( y1 , ..., yn ); . . .;

(22.6)

xn = ψ n ( y1 , ..., yn )

есть обратное преобразование (определенное в области B). Наконец, предположим, что якобиан

28

∂ f1 ∂f . .. 1 ∂ x1 ∂ xn I=

... ∂ fn ∂f ... n ∂ x1 ∂ xn

отличен от нуля в каждой точке области A. Тогда, рассуждая аналогично тому, как это делалось в одномерном случае, получим, что случайные величины η1 , ... , ηn имеют совместное распределение вероятностей, плотность распределения которого есть pη1 . . . ηn ( y1 , ... , yn ) = ⎧ pξ1.. . ξn (ψ1 ( y1 , ..., yn ), ..., ψ n ( y1 , ..., yn )) , ( y1 , ..., yn ) ∈ B ; ⎪ | I x =ψ ( y , ..., y ) | ⎪ 1 1 1 n (22.7) =⎨ ... xn =ψ n ( y1 , ..., yn ) ⎪ ⎪ 0, ( y , ..., y ) ∉ B 1 n ⎩ (длинная черта – знак подстановки, две короткие черты – знак абсолютной величины). Пусть p ( x1 , x2 ) плотность распределения некоторого случайного вектора (ξ1 , ξ 2 ) . Трактуя (ξ1 , ξ 2 ) как координаты точки на плоскости, сделаем поворот системы координат на угол α (вокруг начала координат). В новой системе вектор будет иметь координаты η1 = ξ1 cos α + ξ 2 sin α . η2 = − ξ1 sin α + ξ 2 cos α .

Якобиан преобразования равен 1. Согласно формуле (22.7) плотность вероятности вектора (η1 , η2 ) имеет вид π ( y1 , y2 ) = p ( y1 cos α − y2 sin α ; y1 sin α + y2 cos α ) .

(22.8)

В частности, пусть (ξ1 , ξ 2 ) распределена по нормальному закону

29

p ( x1 , x2 ) =

1 2π σ1 σ 2

1− r2

×

⎛ ⎛ x12 1 x1 x2 x22 ⎞⎟ ⎞⎟ ⎜ 2 . × exp ⎜ − − r + ⎜ 2 (1 − r 2 ) ⎜ σ 2 σ1 σ 2 σ 22 ⎟⎠ ⎟⎠ ⎝ 1 ⎝

Согласно (22.8) для π ( y1 , y2 ) имеем выражение

(

⎛ 1 exp ⎜⎜ − A y12 − 2 B y1 y2 + C y22 2 2 2 ( 1 ) − r 1− r ⎝

1

π ( y1 , y2 ) =

2π σ1 σ 2 где обозначено A=

B=

cos 2 α σ12

cos α sin α σ12 С=

− 2r

−r

sin 2 α σ12

)⎞⎟⎟ , ⎠

cos α sin α sin 2 α ; + σ1 σ 2 σ 22

sin 2 α − cos 2 α cos α sin α ; − σ1 σ 2 σ 22

+ 2r

cos α sin α cos 2 α . + σ1 σ 2 σ 22

Из полученной формулы замечаем, что поворот системы координат переводит нормальное распределение в нормальное. Заметим, что выражение π ( y1 , y2 ) не является, вообще говоря, канонической формой нормального распределения. Заметим, что если угол α выбран так, что 2r σ σ tg 2α = 2 1 22 , σ1 − σ 2 то B = 0 и π ( y1, y2 ) =

1 2π σ1 σ 2

⎛ A y12 C y22 ⎞⎟ exp ⎜ − . − ⎜ 2 (1 − r 2 ) 2 (1 − r 2 ) ⎟ 1− r2 ⎠ ⎝

Это равенство означает, что любая нормально распределенная случайная величина путем поворота осей координат может быть при30

ведена к системе двух нормально распределенных независимых случайных величин. Рассмотрим еще несколько задач, относящихся к распределению функций от компонент случайного вектора. Функция распределения суммы. Требуется найти функцию распределения суммы η = ξ1 + ξ 2 + . . . + ξ n , если известна плотность распределения p ( x1 , ... , xn ) случайного вектора ( ξ1 , ξ 2 , ... , ξ n ). Обозначим через Φ ( x) функцию распределения величины η. Φ ( x) равна вероятности попадания вектора ( ξ1 , ξ 2 , ... , ξ n ) в полупространство ξ1 + ξ 2 + + . . . + ξ n < x . Следовательно, Φ ( x) = ∫ . . . ∫ p ( x1 , ..., xn ) dx1 d x2 . . . dxn . ∑ xk < x k

Рассмотрим подробнее случай n = 2 . Предыдущая формула принимает в этом случае вид: Φ (x) =

∫∫

x1 + x2 < x

p ( x1, x2 ) d x1 dx2 =

=

+∞

∫

−∞

=

+∞

∫

−∞

⎛ x − x1 ⎞ ⎜ ∫ p ( x1, x2 ) dx2 ⎟ d x1 = ⎜ −∞ ⎟ ⎝ ⎠

⎛ x ⎞ ⎜ ∫ p ( x1, x − x1 ) dx2 ⎟ dx1 = ⎜−∞ ⎟ ⎝ ⎠

⎛+ ∞ ⎞ ⎜ ⎟ p ( x , x x ) d x − 1 1 1 d x2 . ∫ ⎜∫ ⎟ − ∞ ⎝− ∞ ⎠ x

(22.9)

Из этой выкладки следует, что если случайный вектор имеет плотность, то и сумма его компонент будет иметь плотность. Эта плотность распределения в случае двух слагаемых имеет вид p ( x) =

+∞

∫

−∞

p ( x1 , x − x1 ) d x1 .

Если величины ξ1 и ξ 2 независимы, то p ( x1 , x2 ) = p1 ( x1 ) p2 ( x2 ) . 31

(22.10)

Равенство (22.9) может быть в этом случае записано в виде Φ (x) =

+∞

∫

−∞

=

⎛ x − x1 ⎞ ⎜ ∫ p1 ( x1 ) p2 ( x2 ) dx2 ⎟ dx1 = ⎜ −∞ ⎟ ⎝ ⎠

+∞⎛ x

⎞ ⎜ ⎟ p ( x ) p ( x − x ) d x 1 2 d x1 = ∫ ⎜∫ 1 1 2 ⎟ − ∞ ⎝− ∞ ⎠

⎛ +∞ ⎞ ⎜ ∫ p1 ( x1 ) p2 ( x − x1 ) dx1 ⎟ dx2 , ⎜ ⎟ −∞ ⎝−∞ ⎠ а равенство (22.10) в виде =

x

∫

p ( x) =

+∞

∫

−∞

p1 ( x1 ) p2 ( x − x1 ) d x1 .

Пример 22.1. Пусть ξ1 и ξ 2 независимы и равномерно распределены в интервале (a; b). Найти плотность распределения суммы η = ξ1 + ξ 2 .

Плотность распределения вероятности случайных величин ξ1 и ξ 2 дается формулой ⎧ 0, если x ≤ a или x > b ; ⎪ p1 ( x) = p2 ( x) = ⎨ 1 ⎪⎩ b − a , если a < x ≤ b .

Формула (22.10) для рассматриваемого частного случая принимает вид b 1 b pη ( x) = ∫ p1 ( x1 ) p2 ( x − x1 ) d x1 = ∫ p2 ( x − x1 ) d x1 . (22.11) b−a a a Если x < 2a , то x − x1 < 2a − x1 < a ; если x > 2b , то x − x1 > > 2b − x1 > b . Из (22.11) получаем, что при x < 2a и x > 2b pη ( x) = 0 .

32

Пусть теперь 2a < x < 2b . Подинтегральная функция в (22.11) отлична от нуля при тех значениях x1 , которые удовлетворяют неравенствам a < x − x1 < b или неравенствам x − b < x1 < x − a . Поэтому при 2a < x < 2b pη ( x) =

1

d x1 . ∫ (b − a ) 2 [ x −b ; x −a ] ∩ [ a ; b ]

Поскольку x > 2a , то x − a > a , предположим дополнительно x ≤ a + b , тогда x − a ≤ b . Итак, при 2a < x ≤ a + b pη ( x) =

x −a

1 (b − a)

2

∫

d x1 =

a

x − 2a (b − a ) 2

.

Точно так же при a + b < x ≤ 2b pη ( x) =

b

1 (b − a )

2

∫

x −b

d x1 =

2b − x (b − a ) 2

.

Собрав вместе полученные результаты, находим ⎧ ⎪ ⎪ 0 при x ≤ 2a и x > 2b ; ⎪⎪ x − 2a pη ( x) = ⎨ при 2a < x ≤ a + b ; 2 ⎪ (b − a) ⎪ 2b − x при a + b < x ≤ 2b . ⎪ 2 ⎩⎪ (b − a)

(22.12)

Функция pη (x) носит название закона распределения Симпсона. Пример 22.2. Двумерная случайная величина ( ξ1 , ξ 2 ) распределена по нормальному закону

33

p ( x , y) =

1 1− r2

2π σ1 σ 2

×

⎛ ⎛ ( x − a)2 1 ( x − a ) ( y − b) ( y − b) 2 ⎜ × exp ⎜ − − r + 2 ⎜ 2 (1 − r 2 ) ⎜ σ 2 σ1 σ 2 σ 22 1 ⎝ ⎝

⎞⎞ ⎟ ⎟. ⎟⎟ ⎠⎠

Найдем распределение суммы η = ξ1 + ξ 2 . Согласно формуле (22.9) (вместо x1 пишем z) pη ( x) =

1 2π σ1 σ 2

1− r2

×

⎧⎪ ⎛ ( z − a)2 1 ( z − a ) ( x − z − b) ( x − z − b) 2 ⎞⎟ ⎫⎪ ⎜ − + exp ⎨− 2 r dz. 2 2 ⎟ ⎬⎪ σ1 σ 2 σ 22 ⎪⎩ 2 (1 − r ) ⎜⎝ σ1 −∞ ⎠⎭ Обозначим для кратности v = x − a − b , u = z − a , тогда ×

+∞

∫

pη ( x) =

×

1 2π σ1 σ 2

1− r2

×

⎧⎪ ⎛ u2 1 (v − u ) u (v − u ) 2 ⎞⎟⎫⎪ ⎜ − − + exp 2 r ⎨ ⎬ du . ∫ 2 2 σ1 σ 2 σ22 ⎟⎠⎪⎭ ⎪⎩ 2 (1 − r ) ⎜⎝ σ1 −∞

+∞

Так как u2 σ12 = u2 ⎛ = ⎜⎜ u ⎜ ⎝

− 2r

u (v − u ) ( v − u ) 2 = + σ1 σ 2 σ 22

σ12 + 2r σ1 σ 2 + σ 22 σ12 σ 22

σ12 + 2r σ1 σ 2 + σ 22 σ1 σ 2

+

− 2 uv

σ1 + r σ 2 v 2 + 2 = σ1 σ 2 σ2 2

−

v σ2

⎞ σ1 + r σ 2 ⎟ + ⎟ 2 2 ⎟ σ1 + 2r σ1 σ 2 + σ 2 ⎠

⎞ v 2 ⎛⎜ (σ1 + r σ 2 ) 2 ⎟= − 1 2 ⎜ 2 2⎟ σ 2 ⎝ σ1 + 2r σ1 σ 2 + σ 2 ⎠ 34

⎛u = ⎜⎜ ⎜ ⎝

σ12 + 2r σ1 σ 2 + σ 22 σ1 σ 2 +

2

⎞ ⎟ + ⎟ σ12 + 2r σ1 σ 2 + σ 22 ⎟⎠ σ1 + r σ 2

v − σ2

v 2 (1 − r 2 ) σ12 + 2r σ1 σ 2 + σ 22

,

то вводя обозначение t=

⎛ ⎜u 2 ⎜ 1 − r ⎜⎝ 1

σ12 + 2r σ1 σ 2 + σ 22 σ1 σ 2

−

⎞ ⎟, 2 2 ⎟ σ1 + 2r σ1 σ 2 + σ 2 ⎟⎠ σ1 + r σ 2

v σ2

найдем, что ⎧⎪ ⎫⎪ v2 exp ⎨ − 2 2 ⎬ ⎪⎩ 2 (σ1 + 2r σ1 σ 2 + σ 2 ) ⎪⎭ pη ( x) = 2π σ12 + 2r σ1 σ 2 + σ 22

Так как v = x − a − b и

2 +∞ − t e 2

∫

dt =

2 +∞ −t 2 e

∫

dt .

−∞

2π , то

−∞

pη ( x) =

⎛ ⎞ ( x − a − b) 2 ⎟. exp ⎜ ⎜ 2 (σ 2 + 2r σ σ + σ 2 ) ⎟ 2 2 2π (σ1 + 2r σ1 σ 2 + σ 2 ) 1 1 2 2 ⎠ ⎝ 1

В частности, если случайные величины независимы, то r = 0 и формула для pη (x) принимает вид pη ( x) =

−

1 2π (σ12 + σ 22 )

e

( x − a −b ) 2 2 ( σ12 +σ 22 )

.

Получили следующий результат: сумма компонент нормально распределенного случайного вектора распределена по нормальному закону.

35

Пример 22.3. Пусть ξ1 , ξ 2 , ... , ξ n независимые случайные величины, распределенные по одному и тому же нормальному закону с параметрами a и σ2. Распределение величины χ 2n =

носит название табл. П.6).

1 σ2

n

∑

k =1

(ξ k − a ) 2

χ 2n -распределения

с n степенями свободы (см.

Найдем функцию распределения величины ηn =

χn

(далее n χn = χ ): обнаружится замечательное обстоятельство, что функция Φ ( y ) не зависит от a и σ. Очевидно, что для отрицательных значений аргумента функция распределения Φ ( y ) равна нулю (поскольку χ берется со знаком плюс); для положительных значений функция Φ ( y ) равна вероятности попадания вектора ( ξ1, ... , ξ n ) внутрь шара n

∑

k =1

( xk − a) 2 = y 2 n σ2 .

Отсюда с помощью очевидной замены переменной получаем n

⎛ 1 ⎞ ⎛ n x2 ⎞ Φ ( y ) = ∫ .. . ∫ ⎜ ⎟ exp ⎜ −∑ i ⎟ d x1 d x2 ... d xn . ⎜ i =1 2 ⎟ ⎜ ⎟ ⎝ ⎠ ∑ x12 < y 2n ⎝ 2π ⎠

Для того чтобы этот интеграл вычислить, перейдем к обобщенным сферическим координатам, т. е. сделаем замену переменных x1 = ρ cos θ1 cos θ 2 . . . cos θn −1 ; x2 = ρ cos θ1 cos θ 2 . . . sin θn −1 ;

. . .; xn = ρ sin θ1 .

36

В результате этой замены Φ ( y) =

π 2

∫

−

π 2

...

π 2

∫

−

y n

∫

π 2

( 2π )

0

−

ρ2 2

y n

−

1

e

n

∫

= Cn

e

ρn−1 I (θ1 ,..., θn−1 ) dρ dθ1... d θn −1 = ρ2 2

ρn−1 dρ ,

0

и постоянная Cn равна Cn =

π 2

1 ( 2 π) n 2

π 2

∫ ... ∫

−

π 2

−

I (θ1 , ... , θ n−1 ) dθ1... d θn−1 .

π 2

Чтобы определить постоянную Cn заметим, что 1 = Φ ( + ∞) = Cn

+∞

∫

e

−

ρ2 2

ρn − 1 d ρ =

0

= Cn

+∞

∫

e

−u

n −1 (2u ) 2

0

= Cn

n −1 + ∞ 22

∫

e

−u

n −1 u2

1

2 du = 2 u n

⎛ n ⎞ −1 du = Cn Γ ⎜ ⎟ 2 2 . ⎝2⎠

Отсюда находим Φ ( y) =

1 n −1 22

y n

∫

⎛n⎞ Γ⎜ ⎟ ⎝2⎠

0

37

ρ

n −1

e

−

ρ2 2

dρ =

n

=

y

n2 n −1 22

⎛n⎞ Γ⎜ ⎟ ⎝2⎠

∫

u

n −1

e

−

n u2 2

du .

0

Плотность распределения случайной величины τ n есть n ⎧ n y2 − ⎪ n2 n −1 y e 2 , y ≥ 0; ⎪⎪ n − 1 (22.13) ϕ( y ) = ⎨ 2 ⎛n⎞ Γ⎜ ⎟ ⎪2 2 ⎝ ⎠ ⎪ 0, 0. < y ⎪⎩ При n = 1 получаем, как и следовало ожидать, удвоенную плотность нормального закона

2 − e π

ϕ ( y) =

y2 2

y ≥ 0.

,

При n = 3 получаем так называемый закон Максвелла 3 6 2 − y e ϕ ( y) = π

3 y2 2

.

Из формул (22.3) и (22.13) следует, что величина η2n = плотность распределения n

n

−1

−

nx 2

(22.14) , x ≥ 0. ⎛n⎞ Γ⎜ ⎟ ⎝2⎠ Отсюда получаем выражение для функции распределения величиχ2 ны n p

2 ( x) =

n2

χ2 имеет n

χ n

n 22

x2

38

e

n

Φ

2 (u ) =

n 22

χ n

n2

u

⎛n⎞ Γ⎜ ⎟ ⎝2⎠

0

n

∫

Обращаясь теперь к самой величине

x2

y n

n

=

n2 n 22

n 22

⎛n⎞ Γ⎜ ⎟ ⎝2⎠

∫

⎛n⎞ Γ⎜ ⎟ ⎝2⎠ n

y

1

∫

u2

e

−

nx 2 dx .

χ2 , имеем n

n

⎛ y⎞ Φ 2 ( y) = Φ 2 ⎜ ⎟ = χ χ ⎝n⎠

−1

−1

n −1 x2

e

−

nx 2 dx

=

0

e

−

u 2 du ,

0

и значит, плотность распределения вероятности величины χ 2 дается формулой p 2 ( y) = χ

1 n 22

⎛n⎞ Γ⎜ ⎟ ⎝2⎠

n −1 2 y

e

−

y 2

,

y ≥ 0.

(22.15)

Функция распределения частного. Пусть плотность распределения вероятностей величины (ξ , η) есть p ( x , y ) . Найдем функцию распределения частного ξ ζ= . η

По определению функции распределения ⎛ξ ⎞ Fζ ( x) = P ⎜⎜ < x ⎟⎟ . ⎝η ⎠ Будем рассматривать ξ и η как прямоугольные координаты на плоскости, при такой интерпретации Fζ ( x) равна вероятности то39

го, что точка (ξ, η) попадет в область, координаты точек которой ξ удовлетворяют неравенству < x . На рис. 4 эта область заштрихоη вана. Но вероятность попадания в заштрихованную область равна Fζ ( x) =

+ ∞ zx

∫ ∫

0 +∞

∫ ∫

p ( y , z) d y d z +

0 −∞

p ( y , z) d y d z .

(22.16)

− ∞ zx

Рис. 4

Продифференцируем соотношение (22.14), получим pζ ( x) =

+∞

∫

z p ( zx , z ) −

0

∫

z p ( zx , z ) d z .

(22.17)

−∞

0

Из последней формулы, в частности вытекает, что если ξ и η независимые случайные величины с плотностями распределения, соответственно, p1 ( x1 ) и p2 ( x2 ) , то pζ ( x) =

+∞

∫

z p1 ( zx) p2 ( z ) d z −

0

40

0

∫

−∞

z p1 ( zx) p2 ( z ) d z .

(22.18)

Пример 22.4. Случайная величина (ξ, η) распределена по нормальному закону p ( x , y) =

1 2π σ1 σ 2

⎧⎪ ⎛ x2 xy y 2 ⎞⎟⎫⎪ 1 ⎜ − r + exp ⎨− 2 ⎬. 2 2 σ1 σ 2 σ 22 ⎟⎠⎪⎭ ⎪⎩ 2 (1 − r ) ⎜⎝ σ1 1− r2

Найдем функцию распределения частного ζ =

ξ . η

По формуле (22.18) pζ ( x) =

1 2π σ1 σ 2

⎛ ⎜ 2 ⎜ 1− r ⎝

+∞

∫

0

−

∫

−∞

0

⎞ ⎟z× ⎟ ⎠

⎧⎪ z2 σ22 x 2 − 2r σ1 σ2 x + σ12 ⎫⎪ × exp ⎨− ⎬ dz . 2 σ12 σ 22 ⎩⎪ 2 (1 − r ) ⎭⎪

Сделаем во втором интеграле замену переменной z = − t , тогда получим интеграл, равный первому, поэтому pζ ( x) =

+∞

1 2π σ1 σ 2

1− r2

∫

z×

0

⎧⎪ z2 σ 22 x 2 − 2r σ1 σ 2 x + σ12 ⎫⎪ × exp ⎨ − ⎬ dz . 2 σ12 σ 22 ⎩⎪ 2 (1 − r ) ⎭⎪

Произведем под интегралом замену переменных, положив u=

z2

σ 22 x 2 − 2r σ1 σ 2 x + σ12

2 (1 − r 2 )

σ12 σ 22

.

Так как du =

1

σ22 x 2 − 2r σ1 σ 2 x + σ12

2 (1 − r 2 )

σ12 σ 22

z dz ,

то выражение для pζ ( x) приобретает вид pζ ( x) =

σ1 σ 2 π (σ 22

x

2

1− r2

+∞

∫

− 2r σ1 σ 2 x + σ12 ) 0 41

e− u du =

= +∞

так как

∫

1− r2

σ1 σ 2

π (σ 22 x 2 − 2r σ1 σ 2 x + σ12 )

,

e − u du = 1.

0

В частности, если величины ξ и η независимы, то r = 0 и pζ ( x) =

σ1 σ 2 π (σ 22 x 2 + σ12 )

(это более общая форма записи закона Коши, ранее рассматривался лишь случай, когда σ1 = σ 2 = 1 ). Пример 22.5. Распределение Стьюдента. Найти функцию распределения частного ξ ζ= , η где ξ и η – независимые случайные величины, причем ξ распределено по нормальному закону n − e 2π

pξ ( x) =

а случайная величина ηn =

χ n

n x2 2

,

имеет плотность распределения ве-

роятностей n

pηn ( x) =

n2 n ⎛ 2 2 Γ

n⎞ ⎜ ⎟ ⎝2⎠

x n −1 e

−

n x2 2

,

x ≥ 0.

По формуле (22.15) pζ ( x) =

+∞

∫

0

z

n − e 2π

n z 2 x2 2

42

⎛z n⎞ ⎟ ⎜ ⎜ 2 ⎟ ⎠ ⎝

n −1

e

−

n z2 2

dz =

+∞

1

=

⎛n⎞ π Γ⎜ ⎟ ⎝2⎠

∫

0

⎛z n⎞ ⎜⎜ ⎟⎟ ⎝ 2 ⎠

n −1

e

−

n z2 2 ( x + 1) 2 nz

dz .

n z2 2 ( x + 1) , находим 2

Произведя замену переменных u =

⎛ n +1⎞ Γ⎜ n +1 ⎟ − ( x + 1) 2 ⎠ 2 ⎝ −u pζ ( x) = e du = ( x + 1) 2 . ∫ ⎛n⎞ 0 ⎛n⎞ π Γ⎜ ⎟ π Γ⎜ ⎟ ⎝2⎠ ⎝2⎠ Плотность распределения вероятности 2

−

n +1 2 +∞

n −1 u 2

⎛ n +1⎞ Γ⎜ n +1 ⎟ − 2 ⎠ ⎝ 2 (1 + x ) 2 pζ ( x) = ⎛n⎞ π Γ⎜ ⎟ ⎝2⎠

носит название закона Стьюдента с n степенями свободы. При n = 1 закон Стьюдента превращается в закон Коши. Доказано [8], что если ξ0, ξ1, ξ2, …, ξn – независимые одинаково распределенные по нормальному закону N(0, 1) случайные величины, то плотность распределения вероятности pτn ( x) случайной величины τn =

ξ0 1 2 (ξ1 + ξ 22 + ... + ξ 2n ) n

записывается в виде n +1 ⎛ n +1 ⎞ Γ⎜ ⎟ ⎛ x2 ⎞− 2 2 ⎠ pτn ( x) = ⎝ . ⎜ 1 + ⎟⎟ n ⎠ ⎛ n ⎞ ⎜⎝ πnΓ ⎜ ⎟ ⎝2⎠ Случайная величина τn имеет распределение Стьюдента ( tα , n -

распределение) с n степенями свободы (см. табл. П.5). Отметим, что распределение Стьюдента, как и пределение, являются асимптотически нормальными. 43

χ 2 -рас-

Глава 6 ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СЛУЧАЙНЫХ ВЕЛИЧИН § 23. Математическое ожидание

С распределением вероятностей случайной величины ξ связывают некоторые числа – числовые характеристики случайной величины. Понятно, что эти характеристики строятся так, чтобы в них были отражены существенные свойства распределения, чтобы эти характеристики служили как бы «путеводителем» по распределению. Естественно охарактеризовать поведение распределения случайной величины в среднем. Для этого введем числовую характеристику, называемую математическим ожиданием или средним значением случайной величины. При изложении этой теории, чтобы не привлекать дополнительного математического аппарата, будем отдельно рассматривать ситуации дискретных и непрерывных случайных величин. Пусть ξ – дискретная случайная величина, принимающая каждое возможное для нее значение x с вероятностью Pξ (x) . При условии, что ряд

∑ x

∑ x

x Pξ (x) сходится абсолютно (т. е. сходится ряд

x Pξ (x) ), математическим ожиданием или средним значением

случайной величины ξ назовем число M ξ = ∑ x Pξ (x) .

(23.1)

x

Приведем пример, поясняющий введенное понятие. Разыгрывается беспроигрышная лотерея. Продается n билетов, а выигрыши распределяются следующим образом: 44

m1 выигрышей по x1 рублей каждый; m2 выигрышей по x2 рублей каждый; . . .; ms выигрышей по xs рублей каждый; m1 + m2 + . . . + ms = n .

Какова справедливая цена билета? Справедливая цена a одного билета должна быть такой, чтобы сумма денег, вырученная от продажи билетов, была равна сумме денег, выплаченных по выигрышам, т. е. n a = m1 x1 + m2 x2 + . . . + ms xs ,

откуда m1 m m x1 + 2 x2 + . . . + s xs . n n n Размер выигрыша лица, купившего один билет, есть случайная величина ξ, которая может принимать одно из значений x1, x2 , ... , xs . Вероятность Pξ ( xi ) = pi (i = 1, 2, ..., s), с которой принимается знаa=

чение xi согласно классическому определению вероятности, равна pi =

mi . n

Таким образом, a = p1 x1 + . . . + ps xs = M ξ .

Видно, что справедливую цену билета можно интерпретировать как математическое ожидание размера выигрыша. Если ряд ∑ x Pξ (x) x

расходится, то будем говорить, что случайная величина не имеет математического ожидания. Найдем математическое ожидание случайной величины, распределенной по закону Пуассона с параметром a P (ξ = k ) =

a k e− a , k = 0 , 1, . . . k! 45

Имеем Mξ=

∞

∑

k

k =0

∞ a k e− a a k −1 = e− a a ∑ = k! k =1 ( k − 1) !

= a e− a

∞

∑

k =0

ak = a. k!

Пусть y = f (x) – некоторая функция действительного переменного x, ξ – дискретная случайная величина. Вычислим математическое ожидание случайной величины η = f (ξ) . Имеем M η = ∑ f ( x) Pξ ( x) .

(23.2)

x

В самом деле, очевидно, что η есть дискретная случайная величина, которая принимает значения f (x) , где x – возможное для случайной величины ξ значение, принимаемое с вероятностью Pξ (x) . Точно также для среднего значения случайной величины η = f (ξ1 , ξ 2 ) некоторой функции от величин ξ1 , ξ 2 с совместным распределением вероятностей Pξ1 , ξ2 ( x1 , x2 ) = P (ξ1 = x1 , ξ 2 = x2 )

имеем Mη= ∑

∑

x1 x2

f ( x1 , x2 ) Pξ1 , ξ2 ( x1 , x2 ) .

(23.3)

Определим понятие математического ожидания для абсолютно непрерывных случайных величин. Математическим ожиданием или средним значением случайной величины ξ назовем число Mξ =

+∞

∫

x p ( x) dx

(23.4)

−∞

при условии, что данный интеграл сходится абсолютно, т. е. сходится интеграл +∞

∫

x p ( x) dx .

−∞

46

(23.5)

Если интеграл (23.5) расходится, то будем считать, что случайная величина ξ не имеет математического ожидания. Примером случайной величины, не имеющей среднего значения, является величина, распределенная по закону Коши, т. е. величина, плотность распределения которой равна 1 1 p ( x) = , − ∞ < x < + ∞. π 1 + x2 В самом деле, 1 π

+∞

∫

−∞

x 1+ x

2

dx =

2 π

+∞

∫

x dx 1 + x2

0

= ∞.

Приведем примеры на вычисление математических ожиданий величин, обладающих плотностью распределения. Найдем среднее значение случайной величины ξ, имеющей равномерное распределение на отрезке [a, b], т. е. случайной величины, плотность распределения которой имеет вид ⎧ 1 , a ≤ x ≤ b; ⎪ p ( x) = ⎨ b − a ⎪⎩ 0 , x < a , x > b .

Имеем Mξ=

1 b−a

b

∫

x dx =

a

b2 − a 2 a+b . = 2 (b − a ) 2

Найдем математическое ожидание случайной величины ξ, распределенной по нормальному закону p ( x) =

⎛ ( x − a) 2 1 exp ⎜ − ⎜ 2π σ 2σ 2 ⎝

⎞ ⎟. ⎟ ⎠

Имеем Mξ=

1 2π σ

+∞

∫

−∞

47

xe

−

( x − a )2 2σ 2

dx .

Замена z =

x−a приводит интеграл к виду σ Mξ=

=

Так как

2 +∞ − z 2 e

∫

σ 2π dz =

+∞

1 2π

+∞

∫

ze

−

∫

(σ z + a ) e

2π и

z2 2

dz =

−∞ z2 2

a 2π

dz +

−∞

−∞

−

+∞

∫

ze

−

z2 2

2 +∞ − z e 2

∫

dz .

−∞

dz = 0,

−∞

то

M ξ = a.

Получили результат, выясняющий роль параметра a в нормальном распределении. Параметр a равен математическому ожиданию случайной величины ξ, распределенной по нормальному закону. Без доказательства приведем следующее предложение. Теорема 23.1. Пусть ξ – непрерывная случайная величина и p (x) – ее плотность распределения. Предположим, что f (x) – некоторая непрерывная функция, рассмотрим случайную величину η = f (ξ) . Математическое ожидание случайной величины η равно M η=

+∞

∫

f ( x) p ( x) dx ,

(23.6)

−∞

если +∞

∫

f ( x) p ( x) dx < ∞ .

−∞

Остановимся на некоторых свойствах математического ожидания. Дадим доказательство этих свойств лишь для дискретных случайных величин, но они справедливы и для произвольных случайных величин. 48

1. Математическое ожидание постоянной величины равно ей самой. Доказательство. В самом деле, вероятностная трактовка постоянной величины a такова: значение a принимается с вероятностью 1 (и, значит все остальные значения – с вероятностью 0). Поэтому M a = a ⋅1 = a. 2. Если случайная величина ξ обладает математическим ожиданием M ξ , то при любом постоянном множителе k M ( k ξ) = k M ξ .

(23.7)

Доказательство. В самом деле, для функции f ( x) = k x формула (23.2) дает M (k ξ) = ∑ k x Pξ ( x) = k ∑ x Pξ ( x) = k M ξ . x

x

3. Для двух случайных величин ξ1 и ξ 2 , имеющих математические ожидания (23.8) M (ξ1 + ξ 2 ) = M ξ1 + M ξ 2 . Доказательство. Взяв в формуле (23.3) f ( x1 , x2 ) = x1 + x2 , имеем M (ξ1 + ξ 2 ) = ∑ x1 ∑ Pξ1, ξ2 ( x1 , x2 ) + ∑ x2 x1

x2

Но

x2

∑ Pξ1, ξ2 ( x1 , x2 ) . x1

Pξ1 ( x1 ) = ∑ Pξ1, ξ2 ( x1 , x2 ) ; x2

Pξ2 ( x2 ) = ∑ Pξ1 , ξ 2 ( x1 , x2 ) . x1

Поэтому M (ξ1 + ξ 2 ) = ∑ x1 Pξ1 ( x1 ) + ∑ x2 Pξ2 ( x2 ) = M ξ1 + M ξ 2 . x1

x2

Из формул (23.7) и (23.8) легко вывести, что для случайных величин ξ1 и ξ 2 M (ξ1 − ξ 2 ) = M ξ1 − M ξ 2 . 49

Отклонением случайной величины ξ называется разность ξ − M ξ. Покажем, что математическое ожидание отклонения равно нулю. В самом деле, M ( ξ − M ξ) = M ξ − M ( M ξ) = M ξ − M ξ = 0 . Формула (23.8) распространяется по индукции на любое конечное количество случайных величин ξ1 , ... , ξ n , имеющих среднее значение (23.9) M (ξ1 + . . . + ξ n ) = M ξ1 + . . . + M ξ n . Применим результат о сложении математических ожиданий для вычисления математического ожидания числа μ – количества наступлений события A при n независимых испытаниях. Определим случайные величины μ j (j = 1, 2, ..., n) следующим образом: ⎧ 1, если в j - м испытании событие A наступило; μj =⎨ ⎩ 0 , если в j - м испытании событие A не наступило.

Каждая из величин μ j (j = 1, 2, ..., n) принимает значение 1 с вероятностью p и значение 0 – с вероятностью q = 1 − p . Имеем M μ j =1⋅ p + 0 ⋅ q = p

( j = 1, 2 , .. . , n ) .

Очевидно, что μ = μ1 + μ 2 + . . . + μ n .

По формуле (23.9) получаем M μ = M μ1 + M μ 2 + . . . + M μ n = np .

4. Для любой случайной величины ξ, имеющей математическое ожидание Mξ ≤ M ξ . Доказательство. В самом деле, Mξ =

∑ x

x pξ ( x) ≤ ∑ x pξ ( x) = M ξ . x

50

5. Для любых случайных величин ξ1 и ξ 2 , имеющих математическое ожидание M ξ1 ≤ M ξ 2 , если ξ1 ≤ ξ 2 . Доказательство. В самом деле, для любой функции f ( x1 , x2 ) , неотрицательной при всех значениях x1 , x2 , для которой вероятности Pξ1 , ξ2 ( x1 , x2 ) > 0 выполняется M f (ξ1 , ξ 2 ) = ∑ x1

∑ x2

f ( x1 , x2 ) Pξ1 , ξ2 ( x1 , x2 ) ≥ 0

и, в частности M (ξ 2 − ξ1 ) ≥ 0 ,

при ξ 2 − ξ1 ≥ 0 . Отсюда следует, что M ξ1 ≤ M ξ 2 .

(23.10)

6. Для независимых случайных величин ξ1 и ξ 2 M (ξ1 ⋅ ξ 2 ) = ( M ξ1 ) ( M ξ 2 ) .

(23.11)

Доказательство. Действительно при f ( x1 , x2 ) = x1 x2 имеем M f (ξ1 , ξ 2 ) = ∑ x1

∑ x2

x1 x2 Pξ1 ( x1 ) Pξ 2 ( x2 ) =

= ∑ x1 Pξ1 ( x1 ) ∑ x2 Pξ2 ( x2 ) = M ξ1 M ξ 2 . x1

x2

Формула (23.11) обобщается подобно формуле (23.8): для любых взаимно независимых величин M (ξ1 . . . ξ n ) = M ξ1 . . . M ξ n .

Приведем еще один пример на вычисление математического ожидания. Пусть ( ξ1 , ξ 2 ) – нормально распределенный вектор, его плотность распределения имеет вид 1 exp × p ( x1 , x2 ) = 2π σ1 σ 2 1 − r 2

51

⎧⎪ ⎛ ( x1 − a) 2 1 ( x1 − a) ( x2 − b) ( x2 − b) 2 ⎞⎟⎫⎪ ⎜ 2 × exp ⎨− − r + ⎬. 2 2 σ1 σ 2 σ 22 ⎟⎠⎪⎭ ⎪⎩ 2 (1 − r ) ⎜⎝ σ1

Найдем математическое ожидание величин ξ1 , ξ 2 . Для того, чтобы это сделать, необходимо сначала найти плотности распределения pξ1 ( x) и pξ2 ( x) величин ξ1 и ξ 2 , соответственно. Легко вычислить, что pξ1 ( x) = p1 ( x1 ) = pξ2 ( x) = p2 ( x2 ) =

+∞

∫

−∞ +∞

∫

−∞

p ( x1 , x2 ) dx2 =

⎛ ( x − a) 2 exp ⎜ − 1 2 ⎜ 2π σ1 2σ1 ⎝

⎞ ⎟, ⎟ ⎠

p ( x1 , x2 ) dx1 =

⎛ ( x − b) 2 exp ⎜ − 2 2 ⎜ 2π σ 2 2σ 2 ⎝

⎞ ⎟. ⎟ ⎠

1

1

Теперь, повторяя уже проведенную нами выкладку, находим M ξ1 = a ; M ξ2 = b .

§ 24. Дисперсия

Дисперсией D ξ случайной величины ξ называется математическое ожидание квадрата отклонения случайной величины D ξ = M (ξ − M ξ ) 2 .

(24.1)

Приведем пример, поясняющий определение. Рассмотрим равномерно распределенную на отрезке [a, b] величину ξ, т. е. величину имеющую плотность распределения ⎧ 1 , a ≤ x ≤ b; ⎪ pξ ( x) = ⎨ b − a ⎪⎩ 0 , x < a , x > b .

Видим, что Mξ =

a+b , 2

52

т. е. математическое ожидание равно абсциссе середины отрезка [a, b]. Вычислим дисперсию величины ξ Dξ =

=

1 b−a

1 b−a

b

∫

a

2

a+b⎞ ⎛ ⎜x− ⎟ dx = 2 ⎠ ⎝

⎛ b3 − a 3 ⎞ b 2 − a 2 (a + b) 2 ⎜ − ( a + b) + (b − a ) ⎟ = ⎜ 3 ⎟ 2 4 ⎝ ⎠ =

b 2 + ab + a 2 (a + b) 2 (b − a) 2 . − = 3 2⋅2 12

Величина D ξ зависит только от длины отрезка [a, b] и является возрастающей функцией этой длины. Будем наращивать отрезок симметрично относительно его середины, т. е. присоединять новые значения ξ (при этом естественно плотность распределения уменьшается); дисперсия же при этом увеличивается. Можно сказать, что дисперсия играет роль меры рассеяния значений случайной величины вокруг ее математического ожидания. Для дисперсии можно дать и другое выражение. Обозначим a = M ξ , имеем, пользуясь простейшими свойствами математического ожидания D ξ = M (ξ − M ξ ) 2 = M ξ 2 − 2 a M ξ + a 2 = = M ξ 2 − 2a 2 + a 2 = M ξ 2 − a 2 .

или D ξ = M ξ 2 − ( M ξ) 2 .

(24.2)

Таким образом, дисперсия случайной величины равна математическому ожиданию квадрата случайной величины минус квадрат математического ожидания. Важно заметить, что не всякая случайная величина обладает конечной дисперсией. Найдем дисперсии некоторых распределений. 1. Распределение Пуассона. Случайная величина ξ распределена по закону Пуассона с параметром a 53

ak − a e , k = 0 , 1, . . . k!

P (k ) =

Было получено, что M ξ = a . Далее M ξ2 =

+∞

∑

ak − a e = k!

k2

k =0

= e− a a

a k −1

+∞

a k −1

+∞

∑ k (k − 1) ! = e − a a ∑ (k − 1 + 1) (k − 1) ! =

k =1

k =1

= e− a a 2

+∞

∑

k =2

+∞ ak − 2 a k −1 + e− a a ∑ = ( k − 2) ! k =1 ( k − 1) !

= e− a a 2 ea + e− a a ea = a 2 + a .

Таким образом, по формуле (24.2) D ξ = a2 + a − a2 = a.

2. Нормальное распределение. Найдем дисперсию случайной величины ξ, распределенной по нормальному закону p ( x) =

1 σ

⎛ ( x − a)2 exp ⎜ − ⎜ 2π 2σ 2 ⎝

⎞ ⎟. ⎟ ⎠

Известно, что M ξ = a , поэтому Dξ =

+∞

∫

( x − a) p ( x) dx =

−∞

+∞

1

2

σ

2π

∫

2

( x − a) e

−

( x − a )2 2σ 2

−∞

Произведем под интегралом замену переменных, положив x−a z= , σ получим σ2 Dξ = 2π

+∞

∫

−∞

54

2

z e

−

z2 2

dz .

dx .

Интегрирование по частям дает +∞

∫

2

z e

−

z2 2

dz = − z e

−

z2 2

−∞

+∞ −∞

2 +∞ − z 2 + e

∫

dz =

2π .

−∞

Откуда D ξ = σ2 .

Итак, выяснили смысл второго параметра, определяющего нормальный закон. Отметим, что нормальный закон полностью определен математическим ожиданием и дисперсией. Остановимся на некоторых основных свойствах дисперсии. 1. Дисперсия постоянной величины равна нулю D a = 0. (24.3) Доказательство. В самом деле, D a = M ( a − M a ) 2 = M (a − a ) 2 = M 0 = 0 .

2. Постоянный множитель можно выносить за знак дисперсии, возведя его в квадрат D ( k ξ) = k 2 D ξ .

(24.4)

Доказательство. Действительно, D (k ξ) = M (k ξ − M ( k ξ)) 2 = = M ((k (ξ − M ξ)) 2 ) = M ( k 2 (ξ − M ξ) 2 ) = = k 2 M ( ξ − M ξ) 2 = k 2 D ξ . 3. Дисперсия суммы независимых случайных величин равна сумме дисперсий этих величин D (ξ + η) = D ξ + D η . (24.5) Доказательство. Поскольку случайные величины ξ и η независимы, то и их отклонения ξ − M ξ и η − M η независимы. Значит, M [ (ξ − M ξ) (η − M η) ] = M (ξ − M ξ) M (η − M η) = 0 .

Далее D (ξ + η) = M (ξ + η − M (ξ + η)) 2 = M (ξ − M ξ + η − M η) 2 = 55

= M (ξ − M ξ) 2 + 2 M [ (ξ − M ξ) (η − M η) ] + M (η − M η) 2 = = M (ξ − M ξ) 2 + M (η − M η) 2 = D ξ + D η .

Обратим внимание на два следствия из доказанных результатов. А. Пусть ξ и η – независимые случайные величины, тогда D (ξ − η) = D ξ + D η . Доказательство. D (ξ − η) = D (ξ + (− 1) η) = D ξ + (− 1) 2 D η = D ξ + D η .

Б. Назовем нормированным отклонением случайной величины ξ величину ξ−Mξ . Dξ

Легко видеть, что математическое ожидание нормированного отклонения случайной величины ξ равно нулю. Покажем, что дисперсия нормированного отклонения равна 1. Доказательство. В самом деле, ⎛ ξ − M ξ ⎞ D ( ξ − M ξ) D ξ + D ( M ξ) D ξ ⎟= D⎜ = = = 1. ⎜ Dξ ⎟ Dξ Dξ Dξ ⎝ ⎠ 4. Дисперсия суммы любого конечного числа взаимно независимых случайных величин равна сумме дисперсий этих величин (24.6) D (ξ1 + . . . + ξ n ) = D ξ1 + . . . + D ξ n .

Доказательство. Соотношение (24.6) доказывается аналогично соотношению (24.5) и является его обобщением. Нужно ввести случайные величины ξ i = ξi − M ξ i , i = 1 , 2 , ... , n . и применить тождество 2

n ⎛ n ⎞ ⎜ ∑ ξi ⎟ = ∑ ξi2 + ∑ ⎜ i =1 ⎟ i =1 i ⎝ ⎠

∑

j i≠ j

заметив, что при i ≠ j M ξi ξ j = 0 . 56

ξi ξ j ,

Равенство (24.6) остается в силе, если наложить, вообще говоря, более слабое условие, нежели условие взаимной независимости величин ξ1 , ... , ξ n , а именно достаточно потребовать попарную независимость величин ξ1 , ξ 2 , ... , ξ n . В качестве приложения равенства (24.6) вычислим дисперсию числа μ наступлений события A при n независимых испытаниях. Имеем следующее представление случайной величины μ μ = μ1 + μ 2 + . . . + μ n ,

здесь μ1 , μ 2 , ... , μ n – независимые случайные величины, каждая из которых принимает значение 1 с вероятностью p и значение 0 с вероятностью q = 1 − p. Было получено, что M μ i = p (i = 1, 2, ... , n) .

Заметим также, что так как μi2 = μi , то M μ i2 = p (i = 1, 2, ... , n) .

Далее по формуле (24.2) D μ i = M μ i2 − ( M μ i ) 2 = p − p 2 = p (1 − p ) = p q , i = 1, ... , n .

Поскольку μ i независимы, то D μ = n p q.

5. Дисперсия всегда неотрицательна D ξ ≥ 0.

(24.7)

Доказательство. В самом деле, согласно свойству монотонности математического ожидания (свойство 5) из неравенства (ξ − M ξ) 2 ≥ 0 следует, что M (ξ − M ξ) 2 ≥ 0 . Из неравенства (24.7) следует 0 ≤ M (ξ − M ξ) 2 = M ξ 2 − 2 ( M ξ) 2 + ( M ξ) 2 ,

т. е. M ξ 2 ≥ ( M ξ) 2 .

Пусть ξ1 и ξ 2 – две случайные величины (заданные на одном и том же вероятностном пространстве Ω, т. е. для которых определе57

но совместное распределение вероятностей), обладающие конечными дисперсиями. Обозначим a1 = M ξ1 , σ12 = D ξ1; a2 = M ξ 2 , σ 22 = D ξ 2 .

Положим r=

M [ (ξ1 − a1 ) (ξ 2 − a2 ) ] σ1 σ2

( σ1 и σ 2 берутся со знаком плюс). Отметим, что число M [ (ξ1 − M ξ1 ) (ξ 2 − M ξ 2 ) ] называется ковариацией случайных величин ξ1 и ξ 2 и обозначается cov (ξ1 , ξ 2 ) . Постоянная r называется коэффициентом корреляции величин ξ1 и ξ 2 и служит простейшей числовой характеристикой их связи. Заметим, что вычисление ковариации M [ (ξ1 − a1 ) (ξ 2 − a2 ) ] непосредственно из определения математического ожидания может представить трудности. Без доказательства сообщим, что если случайный вектор (ξ1 , ξ 2 ) имеет плотность распределения p ( x, y ) , то M [ (ξ1 − a1 ) (ξ 2 − a2 ) ] =

=

+∞ +∞

∫ ∫

−∞ −∞

( x − a1 ) ( y − a2 ) p ( x , y ) dx dy .

(24.8)

Если величины ξ1 и ξ 2 независимы, то их коэффициент корреляции равен нулю, ибо

M [ (ξ1 − a1 ) (ξ 2 − a2 ) ] = M (ξ1 − a1 ) M (ξ 2 − a2 ) = 0 . Важно отметить, что условие r = 0 , вообще говоря, не влечет независимости случайных величин ξ1 и ξ 2 . Приведем пример. Пусть ξ1 – непрерывная симметричная величина, т. е. плотность распределения p ( x, y ) случайной величины удовлетворяет соотношению p (− x) = p ( x) , − ∞ < x < + ∞ . Имеем

58

a1 = M ξ1 =

+∞

∫

x p ( x) dx = 0 .

−∞

Введем случайную величину ξ 2 = ξ1 . Обозначим среднее значение случайной величины ξ 2 через a2 . Ясно, что M [ (ξ1 − a1 ) (ξ 2 − a2 ) ] = M (ξ1 (ξ 2 − a2 )) = M (ξ1ξ 2 ).

Но ⎧⎪ ξ12 , ξ1 > 0 ; ξ1 ξ 2 = ⎨ ⎪⎩ − ξ12 , ξ1 < 0 ,

т. е. ξ1 ξ 2 = ξ1 ξ1 .

По формуле (23.4) имеем M (ξ1 ξ 2 ) =

+∞

∫

x x p ( x) dx

−∞

и значит, M (ξ1 ξ 2 ) = 0 .

Таким образом, хотя величина ξ 2 и является функцией от ξ1 , коэффициент корреляции величин ξ1 и ξ 2 равен нулю. Можно доказать, что число r удовлетворяет неравенству − 1 ≤ r ≤ 1. Если величина ξ обладает конечной дисперсией, а величина η является линейной функцией ξ η = aξ+b (a и b – постоянные), то их коэффициент корреляции равен ± 1. Действительно, Mη = aMξ+b и значит

η − M η = a ( ξ − M ξ) .

59

Отсюда следует, что M [ (η − M η) (ξ − M ξ) ] = a M (ξ − M ξ) 2 = a D ξ .

Далее D η = a2 D ξ.

Значит, r=

a Dξ Dξ

a

Dξ

=

a , a

т. е. r = ± 1 в зависимости от знака a. Не будем останавливаться на доказательстве обратного предложения: если коэффициент корреляции случайных величин ξ и η равен ± 1, то с вероятностью 1 они линейно зависимы. Пример 24.1. Пусть случайный вектор (ξ1 , ξ 2 ) распределен по нормальному закону p ( x, y ) =

1 2π σ1 σ 2

1− r2

×

⎛ ⎛ ( x − a)2 1 ( x − a ) ( y − b) ( y − b) 2 2 r × exp ⎜ − − + ⎜ ⎜ 2 (1 − r 2 ) ⎜ σ 2 σ1 σ 2 σ 22 1 ⎝ ⎝

⎞⎞ ⎟⎟ ⎟⎟ . ⎠⎠

Найдем: 1) дисперсию случайной величины ξ1 и дисперсию случайной величины ξ 2 ; 2) коэффициент корреляции ξ1 и ξ 2 . 1) В § 23 получено, что плотность распределения вероятностей случайных величин ξ1 и ξ 2 имеет соответственно вид pξ1 ( x) =

⎛ ( x − a) 2 exp ⎜ − ⎜ 2π σ1 2σ12 ⎝

⎞ ⎟; ⎟ ⎠

pξ2 ( y ) =

⎛ ( y − b) 2 exp ⎜ − ⎜ 2π σ 2 2σ 22 ⎝

⎞ ⎟. ⎟ ⎠

1

1

60

Значит, M ξ1 = a , M ξ 2 = b

и D ξ1 = σ12 , D ξ 2 = σ 22 .

2) По формуле (23.4) имеем +∞ +∞

M [ (ξ1 − a ) (ξ 2 − b) ] =

=

+∞ −

1 2π σ1 σ 2

∫ ∫

∫

1− r2

( x − a ) ( y − b) p ( x , y ) dx dy =

−∞ −∞ ( y − b)2 2σ 22

e

+∞

dy

−∞

∫

( x − a ) ( y − b) ×

−∞

⎛ ⎛ x−a 1 y −b ⎜⎜ × exp ⎜ − −r 2 ⎜ 2 (1 − r ) σ2 ⎝ σ1 ⎝

⎞ ⎟⎟ ⎠

⎛ x−a y −b ⎜⎜ −r σ2 1 − r ⎝ σ1

⎞ ⎟⎟ , ⎠

2

⎞ ⎟ dx . ⎟ ⎠

Замены 1

z=

2

y −b σ2

t=

дают

M [ (ξ1 − a ) (ξ 2 − b) ] =

1 = 2π

+∞ +∞

∫

−∞

⎛ ∫ ⎜⎝ σ1 σ 2 −∞ rσ σ = 1 2 2π

2⎞

2

1 − r t z + z σ1 σ 2 t ⎟ e ⎠ +∞

∫

2

t e

−

t2 2

−∞

+∞

dt

∫

−∞

61

e

−

z2 2

−

t2 z2 − 2 2

dz +

dz dt =

+

σ1 σ 2

1− r2 2π

+∞

∫

te

−

t2 2

+∞

dt

−∞

∫

ze

−

z2 2

−∞

d z = r σ1 σ 2 .

Отсюда находим

M [ (ξ1 − M ξ1 ) (ξ 2 − M ξ 2 ) ] cov (ξ1 , ξ 2 ) = = r. σ1 σ 2 σ1 σ 2

(24.9)

Таким образом, выяснен смысл параметра r в двумерном нормальном законе распределения. Важно отметить, что для нормального распределения обращение в нуль коэффициента корреляции является не только необходимым, но и достаточным условием независимости величин ξ1 и ξ 2 , ибо в этом случае pξ1, ξ2 ( x , y ) = pξ1 ( x ) pξ2 ( y ) .

Рассмотрим теперь случайный вектор (ξ1 , ξ 2 , ... , ξ n ) . Обозначим: ai = M ξi , i = 1 , 2 , ... , n ; σi2 = D ξi , i = 1, 2 , ... , n .

Для каждой пары случайных величин ξi и ξ j определим число

[

]

Ri j = M (ξi − ai ) (ξ j − a j ) = cov (ξi , ξ j ) .

(24.10)

Очевидно, что Ri j = M (ξi ξ j ) − M ξi ⋅ M ξ j ,

кроме того Ri i = cov (ξi , ξ j ) = D ξi = σi2

и Ri j = cov (ξi , ξ j ) = R j i = cov (ξi , ξ j ) .

Заметим, что если вектор (ξ1 , ξ 2 , ... , ξ n ) имеет плотность распределения p ( x1 , x2 , ... , xn ) , то 62

Ri j =

+∞

∫

+∞

...

−∞

∫ ( xi − ai ) ( x j − a j ) p ( x1 , ... , xn ) dx1 . . . dxn .

−∞

Отношение Ri j σi σ j

=

cov (ξi , ξ j ) σi σ j

= ri j

( σi > 0 , σ j > 0) – есть коэффициент корреляции между величинами ξi и ξ j . Случайному вектору ξ = (ξ1 , ξ 2 , ... , ξ n ) сопоставляется так называемая корреляционная матрица ( Ri j )i =1, 2 , ..., n . j =1, 2 , ... , n

Заметим, что эта корреляционная матрица ( Ri j ) является неотрицательно определенной [5], ибо для любых действительных чисел x1 , x2 , ... , xn n

2

⎛ n ⎞ Ri j xi x j = M ⎜ ∑ xi (ξi − ai ) ⎟ ≥ 0 . j =1 ⎝ i =1 ⎠ n

∑ ∑

i =1

§ 25. Неравенство Чебышева и закон больших чисел для последовательности независимых испытаний

Докажем результат, носящий название неравенства Чебышева. Теорема 25.1. Для любой случайной величины ξ, имеющей конечную дисперсию, при каждом ε > 0 справедливо неравенство P ( ξ − M ξ ≥ ε) ≤

Dξ

(25.1) . ε2 Доказательство. Обозначим M ξ = a . Пусть ε > 0 – заданное число. Образуем вспомогательную случайную величину ⎧⎪ 0 , ξ1 = ⎨ ⎪⎩ ε ,

ξ − a < ε; ξ − a ≥ ε. 63

Очевидно, ξ1 ≤ ξ − a ,

и значит ξ12 ≤ (ξ − a) 2 .

Но по свойству монотонности математического ожидания из последнего неравенства следует, что D ξ = M (ξ − a) 2 ≥ M ξ12 .

Согласно определению математического ожидания M ξ12 = 0 ⋅ P ( | ξ − a |< ε ) + ε 2 P ( | ξ − a | ≥ ε ) = ε 2 P ( | ξ − a | ≥ ε ) .

Таким образом, D ξ ≥ ε2 P ( | ξ − a | ≥ ε ) ,

что и требовалось доказать. Из неравенства Чебышева выводится следующий результат. Теорема 25.2 (теорема Чебышева). Если ξ1, ξ 2 , ... , ξ n , ... – последовательность независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной D ξ1 ≤ С , D ξ 2 ≤ C , . . . , D ξ n ≤ C , . . . ,

то, каково бы ни было постоянное ε > 0 , ⎧⎪ 1 lim P ⎨ n→ + ∞ ⎪⎩ n

n

n

1

∑ ξ k − n ∑ M ξk

k =1

k =1

⎫⎪ < ε ⎬ = 1. ⎪⎭

Доказательство. Известно, что ⎛1 D⎜ ⎜n ⎝

n

∑ ξk

k =1

⎞ 1 ⎟= ⎟ n2 ⎠

n

∑ D ξk ,

k =1

и следовательно, ⎛1 D⎜ ⎜n ⎝

n

∑ ξk

k =1

64

⎞ C ⎟≤ . ⎟ n ⎠

(25.2)

Согласно неравенству Чебышева ⎧⎪ 1 P⎨ ⎪⎩ n откуда

n

1

n

∑ ξk − n ∑ M ξk

k =1

k =1

⎛1 n D ⎜ ∑ ξk ⎜ n k =1 ⎫⎪ < ε ⎬ ≥ 1− ⎝ ε2 ⎪⎭

⎞ ⎟ ⎟ ⎠ ≥ 1− C , n ε2

⎧⎪ 1 n ⎫⎪ 1 n ≤ ξ − ξ < ε P M ∑ ∑ ⎨ ⎬. k k n k =1 n ε2 ⎪⎩ n k =1 ⎪⎭ Переходя к пределу при n → + ∞ , получим 1−

C

⎧⎪ 1 n ⎫⎪ 1 n ξ k − ∑ M ξk < ε ⎬ ≤ 1 ≤ lim P ⎨ ∑ n n k =1 n→+ ∞ ⎪ ⎪⎭ ⎩ k =1 ⎧⎪ 1 n ⎫⎪ 1 n ≤ lim P ⎨ ξ k − ∑ M ξ k < ε ⎬ ≤ 1, ∑ n → + ∞ ⎪ n k =1 n k =1 ⎪⎭ ⎩ и следовательно, ⎧⎪ 1 n ⎫⎪ 1 n ξ k − ∑ M ξ k < ε ⎬ = 1. lim P ⎨ ∑ n → + ∞ ⎪ n k =1 n k =1 ⎪⎭ ⎩ Покажем, что доказанная ранее теорема Бернулли является частным случаем теоремы Чебышева. Теорема 25.3 (теорема Бернулли). Пусть μ – число наступлений события А в n независимых испытаниях и р – вероятность наступления события А в каждом из n испытаний. Тогда, каково бы ни было ε > 0 , ⎧ μ ⎫ lim P ⎨ − p < ε ⎬ = 1. n→ + ∞ ⎩ n ⎭

(25.3)

Доказательство. Пусть μ k – число наступлений события А при k-м испытании: μ = μ1 + μ 2 + . . . + μ n ; M μk = p ,

D μk = p q . 65

Подставляя указанные величины в формулу (25.2), получаем формулу (25.3). Таким образом, теорема Бернулли – простейший частный случай теоремы Чебышева. § 26. Линейная регрессия

Пусть (ξ, η) – двумерная случайная величина. В ряде задач встречается ситуация, когда величину η с достаточной степенью точности можно считать линейной функцией от ξ η ≈ βξ + α. Поставим своей целью найти параметры α и β этой приближенной зависимости. Уточним постановку задачи. Определение 26.1. Величина β ξ + α называется линейной средней квадратичной регрессией величины η на величину ξ, если M (η − β ξ − α ) 2

достигает наименьшего возможного значения. Пусть m1 = M ξ , m2 = M η , σ12 = D ξ , σ 22 = D η , ρ – коэффициент корреляции величин ξ и η. Имеет место следующая теорема. Теорема 26.1. Линейная средняя квадратичная регрессия g (ξ) величины η на величину ξ имеет вид g (ξ) = ρ

σ1 (ξ − m1 ) + m2 σ2

или g (ξ) − m2 ξ − m1 =ρ . σ2 σ1

Доказательство. Следует найти такие α и β, при которых величина Φ (α , β) = M (η − α − βξ) 2 принимает наименьшее из возможных значений. Имеем Φ ( α , β) = M ( η − α − β ξ ) 2 = 66

= M [ (η − m2 ) − β (ξ − m1 ) + m2 − α − β m1 ]2 = = σ 22 + σ12 β 2 − 2μ β + ( m2 − α − β m1 ) 2 ,

где μ = M [(ξ − m1 ) (ξ − m2 )].

Итак, 2

Φ ( α , β)

= σ 22

+ σ12

⎛ μ ⎞ μ2 2 ⎜⎜ β − 2 ⎟⎟ − 2 + (m2 − α − β m1 ) . σ σ 1 ⎠ 1 ⎝

Из последнего выражения заключаем, что величина Φ (α , β) достигает минимума, когда μ σ β= 2 =ρ 2 ; σ1 σ1 m2 − α1 − β m1 = 0 ,

т. е. при β=ρ

σ2 , σ1

α = m2 − ρ

σ2 m1 . σ1

Таким образом, величина g (ξ ) = α + β ξ = ρ

σ2 (ξ − m1 ) + m2 σ1

является линейной регрессией величины η на величину ξ. Теорема доказана. σ Определение 26.2. Коэффициент β = ρ 2 линейной регрессии σ1 α + β ξ величины η на величину ξ называется коэффициентом регрессии величины η на величину ξ. Наименьшее значение величины M (η − α − β ξ) 2 , которое достигается при найденных нами значениях α и β, как легко видеть, равно min M (η − α − β ξ) 2 = σ 22 (1 − ρ 2 ) . α, β

67

Эта величина называется остаточной дисперсией величины η относительно ξ. Остаточная дисперсия показывает, насколько можно уменьшить дисперсию величины η, вычитая из нее линейную функцию величины ξ. Разность η1 между величиной η и линейной регрессией η по ξ называется остатком величины η относительно ξ η1 = η − m2 − ρ

σ2 (ξ − m1 ) . σ1

Покажем, что величины η1 и ξ некоррелированы. В самом деле, ⎡ ⎛ ⎞⎤ σ M ⎢(ξ − m1 ) ⎜⎜ η − m2 − ρ 2 (ξ − m1 ) ⎟⎟⎥ = σ1 ⎝ ⎠⎦⎥ ⎣⎢ = M [(ξ − m1 ) (η − m2 )] − ρ

σ2 M (ξ − m1 ) 2 = σ1

= M [(ξ − m1 ) (η − m2 )] − ρ σ 2 σ1 = 0 .

Итак, рассмотрена линейная регрессия величины η на величину ξ. Аналогично можно найти линейную регрессию величины ξ на величину η σ h (η) = m1 + ρ 2 (η − m2 ) . σ1 Коэффициент регрессии ξ на η равен ρ

σ2 , а остаточная дисперсия σ1

величины ξ при этом равна min M (ξ − α − β η) 2 = σ12 (1 − ρ 2 ) . α, β

§ 27. Моменты

Пусть ξ – случайная величина, a – некоторая постоянная величина. Моментом k-го порядка случайной величины ξ называется математическое ожидание величины (ξ − a) k ν k ( a ) = M (ξ − a ) . 68

(27.1)

Если a = 0 , то момент называется начальным. Математическое ожидание есть начальный момент первого порядка. Если a = M ξ , то момент называется центральным. Легко видеть, что центральный момент первого порядка равен нулю, а дисперсия есть центральный момент второго порядка. Таким образом, обе основные числовые характеристики случайных величин – математическое ожидание и дисперсия – суть специальные случаи общего понятия момента случайной величины. Формулировка многих результатов теории вероятностей включает условия, наложенные на другие моменты. Поэтому необходимо уделить внимание и общей теории моментов. Начальные моменты будем обозначать буквой ν k , а центральные – буквой μ k , здесь нижний индекс указывает на порядок момента. Между центральными и начальными моментами существует простая связь. Действительно, μ n = M (ξ − M ξ ) n =

n

∑

k =0

Cnk M ξ k ( − 1 ) n − k ( M ξ) n − k .

Так как ν1 = M ξ1 , то μn =

n

∑

k =2

( − 1) n − k Cnk ν k ν1n − k + ( − 1) n −1 ( n − 1) ν1n .

(27.2)

Ранее условились считать, что случайная величина ξ имеет математическое ожидание тогда и только тогда, когда M ξ < ∞.

Заметим, что если случайная величина имеет моменты порядка k, то она имеет моменты и всех положительных порядков, меньших чем k. В самом деле, пусть r < k . Положим ⎧⎪ ξ ξ1 = ⎨ ⎪⎩ 0

r

при ξ < 1; при ξ ≥ 1

и ⎧⎪ 0 ξ2 = ⎨ ⎪⎩ ξ

при ξ < 1; r

при ξ ≥ 1. 69

Очевидно, ξ

r

= ξ1 + ξ 2 .

Но M ξ1 < ∞ , ибо ξ1 – ограниченная величина, а так как k > r , то M ξ2 ≤ M ξ

k

< ∞ (по условию). Таким образом, M ξ

r

< ∞.

Величина k

mk = M ξ − a .

(27.3)

носит название абсолютного момента k-го порядка. Для абсолютных моментов справедливо такое неравенство. Теорема 27.1. Пусть случайная величина ξ обладает моментом k-го порядка и 0 < r < k , тогда m1r / r ≤ m1k / k .

Доказательство теоремы приводится в книге [6]. Пример 27.1. Найдем центральные и центральные абсолютные моменты случайной величины, распределенной по нормальному закону ⎛ ( x − a) 2 ⎞ 1 ⎟. exp ⎜ − p ( x) = 2 ⎟ ⎜ 2π σ σ 2 ⎝ ⎠ Имеем +∞ ⎛ ( x − a) 2 ⎞ 1 ⎟ dx = ( x − a ) k exp ⎜ − μk = ∫ 2 ⎟ ⎜ 2π σ − ∞ σ 2 ⎝ ⎠ σk = 2π

+∞

∫

xk e

−

x2 2

dx.

−∞

При k нечетном ввиду нечетности подынтегральной функции μ k = 0 . При k четном μ k = mk =

2 k σ π 70

+∞

∫

0

k

x e

−

x2 2

dx.

Подстановкой x 2 = 2 z последний интеграл приводится к виду k −1 2

⎛ k +1 ⎞ Γ⎜ ⎟= ⎝ 2 ⎠ k! . = σ k ( k − 1) ( k − 3) . . . 1 = σ k k k ⎛ ⎞ 22 ⎜ ⎟! ⎝2⎠ При k нечетном для абсолютного момента имеем mk = μ k =

mk =

=

+∞

2

σ

2π

=

∫

0

+∞

1 2π σ

∫

2 k σ 2 π

x−a

k

−∞

⎛ ( x − a)2 ⎞ ⎟ dx = exp ⎜ − ⎜ 2σ 2 ⎟⎠ ⎝

⎛ ( x − a)2 ⎞ ⎟ dx = ( x − a ) exp ⎜ − ⎜ 2σ 2 ⎟⎠ ⎝

2 k σ 2 π

k

k −1 2

⎛ k +1⎞ Γ⎜ ⎟= ⎝ 2 ⎠

71

2 2 π

k −1 2

2 k − σ e π

x2 2

⎛ k +1 ⎞ k ⎜ ⎟ !σ . ⎝ 2 ⎠

dx =

Глава 7 ЦЕЛОЧИСЛЕННЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ § 28. Производящая функция целочисленной случайной величины

Рассмотрим специальный класс дискретных случайных величин, а именно случайные величины, принимающие лишь целые неотрицательные значения k = 0 , 1, 2 , ... Такие случайные величины будем называть целочисленными. Название, конечно, не совсем удачное, потому что целые числа могут быть и отрицательными, но изменять сложившуюся терминологию не будем. Для изучения целочисленных величин удобно применить так называемый метод производящих функций. Метод производящих функций – один из общих методов математики, он применяется не только в теории вероятностей, но и во многих других разделах науки. Определение 28.1. Пусть (28.1) a0 , a1 , . . . , an , . . . − конечная или бесконечная последовательность действительных чисел. Производящей функцией последовательности (28.1) называется функция ϕ (s ) , представленная степенным рядом ϕ ( s ) = a0 + a1 s + a2 s 2 + . . .

(28.2)

Будем предполагать, что последовательность (28.1) такова, что область сходимости ряда (28.2) составляет отрезок [– 1, 1]. Примеры производящих функций. А. Если a j = 1 для всех j = 0 , 1, 2 , ... , то ϕ (s) =

1 . 1− s

72

Б. При фиксированном n производящей функцией для a j = Сnj , j = 0 , 1, ... , n , является ϕ ( s ) = (1 + s ) n .

В. Если a j =

1 , j = 0 , 1, ... , n , то j! ϕ (s) = e s .

Г. Пусть ζ – число очков, выпадающих на игральной кости. Распределение вероятностей величины ζ имеет производящую функцию 1 s (1 − s 6 ) ϕ ( s) = ( s + s 2 + . . . + s 6 ) = . 6 (1 − s ) 6 Д. Пусть ξ – случайная величина, распределенная по закону Пуассона с параметром а P ( k ) = P (ξ = k ) =

a k e− a , k = 0 , 1, . . . k!

Производящая функция последовательности P (k ) равна ϕ ( s ) = P (0) + P (1) s + P (2) s 2 + . . . = e − a

∞

∑

k =0

(a s )k = e− a +a s . k!

Если рассматривается производящая функция некоторой случайной величины с распределением вероятностей P (ξ = j ) = p j , j = 0 , 1, . . . , то в силу 0 ≤ p j ≤ 1 ряд, определяющий производящую функцию ϕ (s ) , сходится по крайней мере при s ≤ 1. Пусть имеется целочисленная случайная величина ξ с распределением вероятностей P { ξ = j } = p j , j = 0 , 1, 2 , . . .

(28.3)

Построим производящую функцию ϕ ( s ) = p0 + p1 s + p2 s 2 + . . . 73

(28.4)

Так как p0 + p1 + . . . = 1, то ϕ ( s) = 1, и ряд (28.4) сходится абсолютно при s ≤ 1. Введем специальное обозначение для «хвостов» распределения, а именно P (ξ > j ) = q j , так что qk = pk +1 + pk + 2 + . . . , k ≥ 0 .

Построим производящую функцию последовательности q j Q ( s ) = q0 + q1 s + q2 s 2 + . . .

Так как величины q j ограничены, то ряд, определяющий Q (s ) сходится по крайней мере при s < 1. Теорема 28.1. При − 1 < s < 1 1 − ϕ ( s) . (28.5) 1− s Доказательство. Рассмотрим выражение (1 − s ) Q ( s ) . Это степенной ряд Q (s) =

(1 − s ) Q ( s ) = q0 + ( p1 + p2 + . . .) −

∞

∑

n =1

∞

∑

n =1

( qn − qn −1 ) s n =

pn s n = 1 − p0 −

∞

∑

n =1

pn s n = 1 − ϕ ( s ),

что и требовалось доказать. Если сходится ряд ∞

∑

k =1

k pk ,

то величина ξ обладает математическим ожиданием M ξ и Mξ=

∞

∑

k =1

74

k pk .

(28.6)

Если ряд (28.6) расходится, то будем говорить, что ξ имеет бесконечное математическое ожидание, что записывают M ξ = ∞. Рассмотрим производную ϕ′ ( s ) =

∞

∑

k =1

k p k s k −1 .

(28.7)

Если существует M ξ , то ряд (28.7) сходится при s = 1, и по второй теореме Абеля [7] функция ϕ′ (s ) непрерывна вплоть до точки s = 1 lim ϕ′ ( s ) = M ξ . (28.8) s →1

Если M ξ = ∞ , то lim ϕ′ ( s ) = ∞ . Исследуем поведение Q (s ) при s →1

s → 1. Если ряд

∞

∑ qk сходится, то по второй теореме Абеля

k =0

lim Q ( s ) = s →1

Если

∞

∑ qk .

k =0

∞

∑ qk = ∞ , то при любом сколь угодно большом N справед-

k =0

ливо неравенство N

N

k =0

k =1

∑ q k s k = ∑ qk , s →1

lim Q ( s ) ≥ lim

s →1

и значит, lim Q ( s) = ∞ . Таким образом, s →1

lim Q ( s ) = s →1

∞

∑

k =0

qk .

К разности 1 − ϕ ( s ) применим теорему о среднем значении 1 − ϕ ( s ) = (1 − s ) ϕ′(σ) ,

75

(28.9)

где s < σ < 1. Из формулы (28.5) получим ϕ′( s) = Q (σ) .

Теперь, сравнивая формулы (28.5) и (28.9), получим утверждение. Теорема 28.2. Как в ситуации конечного, так и в ситуации бесконечного математического ожидания имеет место соотношение Mξ=

∞

∑

k =1

k pk =

∞

∑

k =0

qk ,

(28.10)

или в терминах производящих функций M ξ = ϕ′(1) = Q (1) . Дифференцируя формулу (28.7), находим M (ξ ( ξ − 1)) =

∞

∑

k =1

k ( k − 1) pk = ϕ′′(1),

используя соотношение ϕ′( s ) = Q ( s ) − (1 − s ) Q′( s ) , получаем и другое выражение для M (ξ ( ξ − 1) ) M (ξ ( ξ − 1) ) = 2 Q′(1) .

Но D ξ = M (ξ ( ξ − 1) ) + M ξ − ( M ξ) 2 .

Из выведенных ранее формул нетрудно получить утверждение. Теорема 28.3. Дисперсия D ξ может быть вычислена по одной из двух формул (28.11) D ξ = ϕ′′(1) + ϕ′(1) + (ϕ′) 2 (1) и D ξ = 2Q′(1) + Q (1) − Q 2 (1) .

(28.12)

В случае бесконечной дисперсии ϕ′′(s ) → ∞ при s → 1. Вернемся снова к вопросу о сложении независимых случайных величин. Пусть ξ и η – независимые случайные величины с распределением вероятностей P (ξ = j ) = a j , P (η = j ) = b j . 76

Образуем сумму ζ = ξ + η.

Найдем распределение вероятностей величины ζ. Событие ( ξ = j , η = k ) в силу независимости величин ξ и η имеет вероятность a j bk . Событие { ζ = r } есть объединение несовместных событий

{ ζ = r } = { ξ = 0,

η = r } ∪ { ξ = 1, η = r − 1} ∪ . . . ∪ { ξ = r , η = 0 }. Поэтому распределение вероятностей случайной величины ζ cr = P { ζ = r }

задается формулой cr = a0 br + a1 br −1 + . . . + ar b0 .

(28.13)

Операция (28.13), сопоставляющая двум последовательностям и { bk } новую последовательность { ck } , встречается часто, поэтому введем для нее специальное наименование и обозначение. Определение 28.1. Пусть { ak } и { bk } – две произвольные числовые последовательности (не обязательно распределение вероятностей). Новая последовательность { ck } , определенная формулой (28.13), называется композицией последовательностей { ak } и { bk } и обозначается

{ ak }

{ ck } = { ak } ∗ { bk }. последовательности { ak } и { bk }

Пусть функции соответственно

A ( s ) = ∑ ak s k ,

(28.14) имеют производящие

B ( s ) = ∑ bk s k .

k

k

Произведение A (s ) и B (s ) получается почленным перемножением степенных рядов для A (s ) и B (s ) . Собирая члены с одинаковыми степенями s, убеждаемся в том, что коэффициент cr при s r в разложении A ( s) B ( s) задается формулой (28.13). Таким образом, имеет место теорема.

77

Теорема 28.4. Пусть { ak } и { bk } – последовательности с производящими функциями A (s ) и B (s ) и { ck } – их композиция. Тогда производящая функция последовательности { ck } С ( s ) = ∑ ck s k k

равна произведению C (s) = A (s) B (s) .

(28.15)

В частности, если ξ и η – целочисленные независимые случайные величины с производящими функциями A (s ) и B (s ) , их сумма ξ + η имеет производящую функцию A ( s ) B ( s ) . Легко видеть, что композиция – коммутативная и ассоциативная операция. Пусть даны независимые целочисленные величины ξ k , k = 1, 2, ..., все имеющие одно и то же распределение вероятностей { a j }. Распределение величины sn = ξ1 + ξ 2 + . . . + ξ n ∗

будем обозначать { a j }n . Таким образом, ∗

∗

∗

{ a j }2 = { a j } ∗ { a j } ; { a j }3 = { a j }2 ∗ { a j } ; . . .

и вообще ∗

∗

{ a j }n = { a j }( n −1) ∗ { a j }. ∗

Последовательность { a j }n имеет производящую функцию An (s ) . ∗

Поэтому естественно считать, что { a j }1 совпадает с последова∗

тельностью { a j } , а { a j }0 – есть последовательность 1, 0, 0, ..., ибо A0 ( s ) = 1; An ( s ) = [ A ( s ) ]n . 78

§ 29. Производящая функция случайного числа случайных величин

Пусть { ξ k } , k = 1, 2, ... – последовательность независимых целочисленных одинаково распределенных случайных величин с распределением вероятностей P { ξ k = j } = f j , j = 0 , 1, 2 , .. . Задача, которую будем обсуждать, ставится следующим образом. Пусть η – целочисленная случайная величина, не зависящая от величины ξ k . Вызывает интерес распределение суммы sη = ξ1 + ξ 2 + . . . + ξ η .

Пусть P { η = n } = g n , n = 0 , 1, 2 , .. . –

распределение случайной величины η. Распределение случайной величины Sη может быть найдено по формуле полной вероятности h j = P { sη = j } =

∞

∑

n =0

P (η = n) P (ξ1 + . . . + ξ n = j ).

(29.1)

При фиксированном n распределение ξ1 + ξ 2 + . . . + ξ n −

есть n-кратная композиция { f j }. Поэтому (29.1) можно переписать в следующем виде {h j } =

∞

∑

n=0

∗

g n { f j }n .

(29.2)

Обозначим производящую функцию распределения { f j } через f (s ) f ( s) = ∑ fi s i , i

а производящую функцию распределения { g n } через g (s ) g ( s) = ∑ g n s n , n

79

∗

Производящая функция распределения { f j }n равна f n (s ) и из формулы (29.2) следует, что производящая функция суммы sη имеет вид h (s) =

∞

∑

n =0

hj s j =

∞

∑

n=0

g n f n ( s ).

(29.3)

Правую часть можно трактовать как ряд Тейлора для g (s ) с заменой s на f (s ) . Итак, доказан следующий результат. Теорема 29.1. Производящая функция суммы sη = ξ1 + ξ 2 + . . . + ξ η − есть сложная функция g ( f ( s) ) . Доказательство. Пусть случайные величины ξ k имеют распределение Бернулли, т. е. P (ξ k = 1) = p и P (ξ k = 0) = q , в этом случае f (s) = q + p s , и значит,

h ( s ) = g (q + p s) .

Пример 29.1. Пусть какое-то насекомое кладет n яиц с вероятностью g n и каждое яйцо развивается в личинку с вероятностью p. Тогда sη – есть число яиц развившихся в личинки.

В других типах задач величина η имеет распределение Пуассона. Пусть параметр распределения равен a. Тогда h (s) = e− a + a f ( s) .

Распределение с такой производящей функцией называется сложным распределением Пуассона. Пример 29.1. Предположим, что число ударов молнии за время t имеет распределение Пуассона со средним значением λ t . Если { f n } – вероятностное распределение ущерба причиненного одним ударом молнии, то вероятность распределения полного ущерба за время t является сложным распределением Пуассона

80

−λt +

{h j } = e

∞

∗ (λ t )n { f j }n n = 0 n!

∑

с производящей функцией h ( s , t ) = e − λ t +λ t f ( s)

Производящая функция (29.4) обладает свойством: h ( s , t1 + t 2 ) = h ( s , t1 ) h ( s , t 2 ) .

(29.4) (29.5)

Это свойство допускает такую интерпретацию. С каждым интервалом времени продолжительности t связана случайная величина с производящей функцией h ( s , t ) , которую будем называть вкладом этого интервала. Вклады двух непересекающихся интервалов независимы, что и отражается в равенстве (29.5). Следовательно, деление интервала времени t = t1 + t 2 на две части приводит к разложению ξ (t ) = ξ (t1 ) + ξ (t 2 ) соответствующего вклада на сумму двух независимых случайных величин. Можно показать [8], что в классе целочисленных случайных величин только сложное распределение Пуассона обладает таким свойством. § 30. Простейшие ветвящиеся процессы с дискретным временем

Методом производящий функций удобно исследовать один тип случайных процессов, который является хотя и упрощенной, но все же действенной моделью многих реальных процессов. Рассмотрим частицы, способные производить новые такие же частицы. Некоторая частица образует начальное или нулевое накопление. Каждая частица с вероятностью pk (k = 0, 1, 2, ...) порождает k новых частиц; непосредственно потомки n-го поколения образуют (n + 1)-е поколение. Частицы каждого поколения размножаются независимо друг от друга. Приведем несколько примеров. 1. Ядерные цепные реакции. Частицами являются нейтроны, подверженные случайным столкновениям с другими частицами. При столкновении каждая частица порождает фиксированное чис81

ло m непосредственных потомков. Пусть p – вероятность того, что частица столкнется, тогда q = 1 − p – есть вероятность того, что частиц окажется бездейственной. В рассмотренной модели возможно число потомков либо 0, либо m с соответствующими q и p. Рассмотрим две крайние ситуации. Может случиться, что первая частица останется бездействующей, и процесс не начнется. Другой крайний случай: образуется m частиц первого поколения, m 2 частиц второго поколения и т.д. Если p близко к единице, то вероятно, что количество частиц будет быстро возрастать. Это явление можно интерпретировать как «взрыв». 2. Выживание фамилии. Роль частиц играют по условию потомки мужского пола. Пусть pk – есть вероятность того, что новорожденный мальчик произведет k потомков мужского пола. Интерес будет представлять вероятность того, что в n-м поколении данную фамилию будет иметь k мужчин. 3. Очередь. Теория ветвящихся процессов может быть использована для изучения случайных колебаний очередей. Покупатель, подошедший к свободному прилавку, играет роль «основателя рода», покупатели, подошедшие пока его обслуживают, суть его «прямые потомки». Процесс продолжается до тех пор, пока не рассосется очередь. Обозначим через ξ n – количество частиц в n-м поколении, ξ n – случайная величина. Согласно условию ξ0 = 1, а ξ1 имеет заданное распределение вероятностей { pk }. Количество непосредственных потомков каждой из ξ1 частиц первого поколения является случайной величиной с тем же самым распределением вероятностей ξ 2 = η1 + η2 + . . . + ηξ1 , где η1 , η2 , ... независимы и каждое имеет распределение { pk }. Таким образом, ϕ ( s) = ∑ pk s k – k

есть не только производящая функция величины ξ1 , но и производящая функция величин η1 , η2 , ... На основании теоремы, относя82

щейся к сумме случайного числа случайных величин, производящая функция случайной величины ξ 2 есть ϕ 2 ( s ) = ϕ (ϕ ( s ) ) .

Повторение рассуждения приводит к заключению, что производящая функция величины ξ3 равна ϕ3 ( s ) = ϕ ( ϕ 2 ( s ) ) .

И вообще, производящая функция ϕn + 1 ( s ) количества частиц ξ n +1 в (n +1)-м поколении определяется рекуррентным соотношением ϕ1 ( s ) = ϕ ( s) ; . . . ; ϕ n +1 ( s ) = ϕ (ϕ ( s ) ) . (30.1) Ранее рассматривался пример, относящийся к ядерным цепным реакциям. В этом примере должны фигурировать такие производящие функции ϕ1 ( s) = q + p s m , ϕ2 ( s ) = q + p ( q + p s m ) m , ϕ3 ( s ) = q + p ( q + p ( q + p s m ) m ) m , . . .

Как видим, «этажность» формул увеличивается на каждом шаге. Исследования процесса с помощью выписывания явных формул неудобно. Однако, можно провести качественное исследование процесса. Будем предполагать, что p0 > 0 . Найдем вероятность xn того, что процесс оборвется на n-м поколении или ранее. Это событие означает, что ξ n = 0 , откуда xn = ϕ n (0) .

Покажем, что xn может только возрастать с ростом n. Действительно, x1 = ϕ (0) = p0 ; x2 = ϕ2 (0) = ϕ ( x1 ) , и вообще xn +1 = ϕ ( xn ) . Поскольку ϕ (s) – возрастающая функция, то x2 = ϕ ( x1 ) > ϕ (0) = x1 ,

и по индукции xn + 1 = ϕ ( xn ) > ϕ ( xn −1 ) = xn .

83

Отсюда следует, что xn → ζ , где ζ удовлетворяет уравнению ζ = ϕ (ζ ) .

(30.2)

Докажем, что ζ – наименьший корень уравнения (30.2). Действительно, если η – какой-либо другой корень уравнения (30.2), то поскольку ϕ (s) – возрастающая функция, то x1 = ϕ (0) < ϕ (η) = η .

Согласно индукции, если xn < η , то xn + 1 = ϕ ( xn ) < ϕ (η) = η , так что

ζ ≤ η.

Доказано, что уравнение (30.2) не имеет корня, меньшего ζ. График функции y = ϕ (s ) – выпуклая кривая. Биссектриса y = s пересекает эту кривую не более чем в двух точках. Одна из этих точек есть (1, 1). Поэтому уравнение s = ϕ (s ) (30.3) не может иметь более одного корня ζ, удовлетворяющего неравенству 0 < ζ < 1. 1) Если такой корень ζ существует (рис. 5), то 1 − ϕ (ζ ) = 1, 1− ζ и по теореме о среднем найдется точка λ ( ζ < η < 1 ), такая, что ϕ′(λ ) = 1. Но тогда ϕ′(1) > 1.

2) Если такого корня нет (рис. 6), то при 0 < s < 1 ϕ ( s ) > s , и значит 1 − ϕ ( s) < 1. 1− s Отсюда следует, что ϕ′(1) ≤ 1.

84

Рис. 5

Рис. 6

Заметим теперь, что ϕ′(1) = ∑ k pk k

есть математическое ожидание числа непосредственных потомков частицы. Сформулируем вывод в виде теоремы. Теорема 30.1. Пусть μ = ∑ k pk – математическое ожидание k

числа непосредственных потомков одной частицы. Если μ ≤ 1, то вероятность того, что процесс оборвется до n-го поколения, стремится к единице с ростом n. Если μ > 1, то существует единственный корень ζ < 1 уравнения (30.3), и ζ есть предел вероятности того, что процесс оборвется после конечного числа поколений. Разность 1 − ζ можно назвать вероятностью бесконечного продолжения процесса. Более обстоятельное исследование [9] показывает, что когда μ > 1, вероятность того, что после большого числа поколений не останется потомков, близка к ζ, а вероятность того, что число потомков превзойдет любую наперед заданную границу близка к 1− ζ.

85

Глава 8 ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ § 31. Характеристические функции и их свойства Для исследования свойств функций в математике бывает удобно использовать аппарат рядов и преобразований Фурье, так называемый гармонический анализ. Точно также гармонический анализ является сильным средством для исследования свойств распределений. В этих вопросах гармонический анализ выступает под специальным названием метода характеристических функций. Пусть ξ – случайная величина. Обозначим через F ( x) функцию распределения величины ξ F ( x ) = P (ξ < x ) . Со случайной величиной ξ свяжем функцию ϕ(t ) действительного переменного t ( −∞ < t < ∞ ), определенную следующим образом f ξ (t ) = Meitξ .

(31.1)

Функция f ξ (t ) называется характеристической функцией величины ξ или соответствующего распределения вероятностей с функцией распределения F ( x) . Если распределение вероятностей сосредоточено в целых точках k = 0, ± 1, ± 2, ... и P ( k ) = P (ξ = k ) , то характеристическая функция имеет вид f ξ (t ) =

∞

∑

P (k )eitk .

k =−∞

86

(31.2)

В силу того, что P (k ) ≥ 0 и

∑ P(k ) = 1 , в правой части (31.2) стоит k

абсолютно сходящийся тригонометрический ряд. Вычислим характеристические функции некоторых распределений. 1. Случайная величина ξ принимает значение 0 с вероятностью q и значение 1 с вероятностью 1 − q = p . Очевидно, f ξ (t ) = q + peit . 2. Рассмотрим биномиальное распределение. Случайная величина ξ принимает целые значения m, 0 ≤ m ≤ n , с вероятностью Cnm p m q n −m . Характеристическая функция случайной величины, имеющей биномиальное распределение, имеет вид f (t ) =

n

∑ Cnm p m q n −m eitm = (q + peit )n .

m=0

3. Рассмотрим случайную величину ξ, распределенную по закону Пуассона с параметром а P(k ) =

ak −a e , k = 0, 1, … . k!

Имеем f ξ (t ) = e− a

it it (aeit )k = e− a eae = ea ( e −1) . ∑ k! k =0

∞

Пусть распределение вероятностей случайной величины ξ имеет плотность p( x) , характеристическая функция величины ξ может быть вычислена по формуле f ξ (t ) =

∞

∫

eitx p ( x)dx .

(31.3)

−∞

4. В качестве применения формулы (31.3) вычислим характеристическую функцию равномерно распределенной на отрезке [a, b] случайной величины ξ. Плотность распределения имеет вид

87

⎧ 1 , a ≤ x ≤ b; ⎪ p ( x) = ⎨ b − a ⎪⎩0, x > b, x < a.

Значит, f (t ) =

1 b itx eibt − eiat , −∞ < t < ∞ . e dx = ∫ b−aa (b − a )it

Обратим внимание на следующее свойство характеристических функций. Пусть характеристическая функция случайной величины ξ есть f ξ (t ) . Найдем характеристическую функцию случайной величины

η = aξ + b ,

где а и b – постоянные. Имеем f η (t ) = Meitη = Meit ( aξ+b) = eitb Meitaξ = eitb f ξ (at ) .

Таким образом, f η (t ) = eitb f ξ (at ) .

(31.4)

Приведем пример на применение этого свойства. Известно, что случайная величина μ n , определенная как количество наступлений некоторого события при n независимых испытаниях, в каждом из которых это событие имеет вероятность p, распределена по биномиальному закону. При доказательстве предельной теоремы Муавра – Лапласа вводилась нормированная случайная величина μ − np , q =1− p . η= n npq Получили характеристическую функцию fμn (t ) = (q + peit )n .

Согласно доказанному свойству характеристическая функция случайной величины 1 np η= μ− npq npq будет иметь вид 88

n

n

1 q ⎞ ⎛ ⎛ −it p it ⎞ it npq ⎟ npq npq ⎟ ⎜ ⎜ f η (t ) = e q + pe . = qe + pe ⎜⎜ ⎟⎟ ⎜⎜ ⎟⎟ ⎝ ⎠ ⎝ ⎠ 5. Найдем характеристическую функцию нормального распределения. Сначала рассмотрим нормальное распределение с параметрами (0, 1), т.е. с плотностью распределения −it

np npq

−

1

x2 2

e , −∞ < x < ∞ . 2π Для действительного переменного z имеем p( x) =

∞

∫

zx

e p ( x)dx =

−∞

∞

1

∫

2π −∞ z2 =e2

e

zx −

1

x2 2 dx

z2 =e 2

∞

x2 2 dx

∫

2π −∞

e

−

∞

1

∫

2π −∞ z2 =e 2

e

−

( x + z )2 2 dx

=

.

Таким образом, интеграл ∞

∫

e zx p( x)dx

z2 =e 2

−∞

является аналитической функцией от z, которая однозначно продолжается на всю комплексную плоскость. Подставляя вместо z значение it, получим, что искомая характеристическая функция есть f (t ) =

∞

∫

itx

e p ( x)dx = e

−

t2 2

, −∞ < t < ∞ .

−∞

Таким образом, нашли характеристическую функцию стандартной гауссовой величины ξ0 , т.е. величины с параметрами (0, 1). Найдем характеристическую функцию гауссовой величины ξ со средним значением а и дисперсией σ2 (параметры (a, σ) ). Такая случайная величина может быть представлена в виде 89

ξ = σξ0 + a ,

(31.4)

где ξ0 – стандартная гауссова величина. Согласно формуле (31.4) имеем для характеристической функции случайной величины ξ выражение ⎛ σ 2t 2 ⎞ f (t ) = exp ⎜ ita − (31.5) ⎟ , −∞ < t < ∞ . ⎜ 2 ⎟⎠ ⎝ Приведем следующее фундаментальное свойство характеристических функций. Теорема 31.1. Характеристическая функция суммы независимых случайных величин ξ = ξ1 + ... + ξ n равна произведению характеристических функций слагаемых f (t ) = f1 (t )... f n (t ) . (31.6)

Доказательство. Доказательство следует из того, что математическое ожидание произведения независимых случайных величин равно произведению математических ожиданий Meitξ = M (eitξ1 ...eitξn ) = ( Meitξ1 )...( Meitξn ) .

6. Найти характеристическую функцию треугольного распределения, т.е. распределения с плотностью ⎧⎪1 − x при x ≤ 1; p ( x) = ⎨ при x > 1. ⎪⎩0 Такой плотностью распределения обладает случайная величина, являющаяся суммой ξ = ξ1 + ξ 2 независимых случайных величин, равномерно распределенных, соответственно, на отрезках [−1, 0] и [0,1] , и, следовательно, имеющих характеристические функции 1 − e −it eit − 1 и f 2 (t ) = . it it Согласно формуле (31.6) искомая характеристическая функция есть

f1 (t ) =

it ⎛ it − 2 ⎜e − e 2 ⎜ f (t ) = f1 (t ) f 2 (t ) = ⎝ t2

90

2

⎞ ⎟ ⎟ ⎠ , −∞ < t < ∞ .

Естественно поставить вопрос о том, в какой степени характеристическая функция определяет распределение вероятностей. Обратимся снова к дискретной случайной величине ξ, распределение вероятностей которой сосредоточено в целых точках p(k ) = P (ξ = k ) , k = 0, ± 1, ... . Видели, что характеристическая функция этого распределения f (t ) =

∞

∑

P( k )eitk

(31.7)

k =−∞

представляется в виде абсолютно сходящегося ряда. Функция f (t ) является периодической с периодом 2π функцией и числа P (k ) могут быть определены по формулам для коэффициентов ряда Фурье P(k ) =

1 π − ikt ∫ f (t )e dt . 2π −π

(31.8)

Таким образом, в рассматриваемом случае распределение вероятностей определено характеристической функцией. Характеристическая функция случайной величины ξ, имеющей плотность распределения p( x) , выражается в виде интеграла Фурье f ξ (t ) =

∞

∫

eitx p ( x)dx .

−∞

Если характеристическая функция f (t ) абсолютно интегрируема, т.е. ∞

∫

f (t ) dt < ∞ ,

(31.9)

−∞

то плотность распределения p( x) может быть получена с помощью обратного преобразования Фурье 1 ∞ −itx p ( x) = (31.10) ∫ e f (t )dt , −∞ < x < ∞ . 2π −∞ Таким образом, в случае выполнения условия (31.9) характеристическая функция f (t ) определяет распределение вероятностей. 91

Приведем общую формулу обращения, связывающую характеристическую функцию f (t ) и соответствующую функцию распределения. Теорема 31.2. Для любых точек x1 и x2 , в которых функция распределения непрерывна Fξ ( x2 ) − Fξ ( x1 ) =

c −itx1 1 e − e −itx2 f ξ (t )dt . lim ∫ it 2π c→∞ − c

(31.11)

Доказательство этой теоремы приводить не будем, его можно найти в книге [6]. Из формулы обращения следует фундаментальное для всей теории положение. Теорема 31.3. Функция распределения однозначно определяется своей характеристической функцией. Доказательство. Действительно, из формулы обращения следует, что в каждой точке непрерывности функции Fξ ( x) Fξ ( x) = lim lim

y →−∞ c →∞

1 c e −ity − e −itx f (t )dt , ∫ it 2π − c

(31.12)

где предел по y берется по множеству точек y, являющихся точками непрерывности функции Fξ ( x) . В качестве применения этой теоремы докажем следующую теорему. Теорема 31.4. Пусть независимые случайные величины ξ1 и ξ2 распределены по закону Пуассона с параметрами, соответственно, λ1 и λ 2 P (ξ1 = k ) =

λ1k e −λ1 , k = 0, 1, …; k!

λ k2 e−λ 2 , k = 0, 1, … . k! Докажем, что случайная величина ξ = ξ1 + ξ 2 распределена по закону Пуассона с параметром λ = λ1 + λ 2 . Доказательство. Действительно, видели, что характеристические функции величин ξ1 и ξ2 соответственно равны

P (ξ 2 = k ) =

92

f1 (t ) = eλ1 ( e

it −1)

it −1)

f 2 (t ) = eλ 2 ( e

,

.

Характеристическая функция суммы ξ = ξ1 + ξ 2 равна it

f ξ (t ) = f1 (t ) f 2 (t ) = e( λ1 +λ 2 )(e

−1)

,

т.е. является характеристической функцией некоторого закона Пуассона. Но по теореме единственности существует лишь одно распределение с такой характеристической функцией, а именно распределение P (ξ = k ) = (λ1 + λ 2 ) k

e− ( λ1 +λ 2 ) , k = 0, 1, 2, … . k!

Теорема доказана. Установим связь между характеристической функцией случайной величины ξ и моментом распределения величины ξ. Для eitξ имеет место разложение eitξ =

n

∑ ik

k =0

ξk k ξn +1 n+1 t +θ t , k! (n + 1)!

где θ = θ(t , ξ) удовлетворяет неравенству θ ≤ 1 . Предположим, что у случайной величины ξ существуют конечные моменты M ξk < ∞ , k = 1, 2, …, n + 1;

тогда очевидно Meitξ =

n

∑ ik

k =0

M ξk k M (θξ n+1 ) n+1 t + t , (n + 1)! k!

и, таким образом, характеристическая функция допускает разложение n μ Rn n+1 f (t ) = ∑ i k k t k + t , −∞ < t < ∞ , (31.13) k! (n + 1)! k =0 где μ k = M ξk , k = 0, 1, …, n, μ0 = 1 ; Rn ≤ M ξ

n +1

.

Сравнивая разложение (31.13) с разложением f (t ) в ряд Тейлора, находим 93

μk =

1 i

k

ϕ( k ) (0) , k = 0, 1, …, n.

(31.14)

Формула (31.14) позволяет вычислить моменты μ k = M ξ k случайной величины по производным ее характеристической функции в точке t = 0 . § 32. Сходимость распределений вероятности Пусть ξ1 , ξ 2 , ..., ξn , ... – последовательность целочисленных случайных величин, каждая из величин ξn (n = 1, 2, …) принимает целые значения k ( k = 0, ± 1, ± 2, ... ). Обозначим Pn (k ) = P (ξn = k ) .

Пусть P (k ) – некоторый закон распределения ( ∑ P (k ) = 1 ). Будем k

говорить, что последовательность закона распределения Pn (k ) сходится к закону распределения P (k ) , если для каждого k = 0, ± 1, ± 2, ... при n → ∞ Pn (k ) → P (k ) .

(32.1)

Примером может служить сходимость распределения величины ξn – числа успехов в n испытаниях Бернулли – к пуассоновскому распределению вероятностей, когда n → ∞ и среднее число успехов a = pn остается постоянным: ak −a e , k = 0, 1, … . k! Обобщением понятия сходимости законов распределения является понятие слабой сходимости распределения вероятностей. Определение 32.1. Говорят, что распределение вероятностей случайных величин ξn , n = 1, 2, …, слабо сходится к распределению вероятностей с функцией распределения F ( x) , если при n→∞ P{x′ ≤ ξ n ≤ x′′} → F ( x′′) − F ( x′) (32.2) для любых точек x′ , x′′ , в которых F ( x) непрерывна. P{ξ n = k} →

94

Примером слабой сходимости может служить сходимость распределений нормированных сумм S − MSn Sn* = n , n = 1, 2, …, DSn в схеме испытаний Бернулли к нормальному закону с функцией распределения x

1

−

u2 2 du .

∫e 2π −∞ При формулировке теорем о слабой сходимости удобно ввести вспомогательную случайную величину ξ, распределение которой является предельным распределением. Сформулируем следующую теорему. Теорема 32.1. Если последовательность распределений вероятностей случайных величин ξn , n = 1, 2, … , слабо сходится к распределению величины ξ, то для любой ограниченной непрерывной функции u = u ( x) , −∞ < x < ∞ , Φ ( x) =

lim M (u (ξ n )) = M (u (ξ)) .

n→∞

(32.3)

Доказательство приводится в книге [6]. Пусть, в частности, имеется последовательность распределений непрерывных случайных величин, соответственно, с плотностями распределения pn ( x) , n = 1, 2, …, и предельное распределение также обладает плотностью p( x) , тогда для любой ограниченной непрерывной функции u = u ( x) ∞

lim

n→∞

∫

−∞

u ( x) pn ( x)dx =

∞

∫

u ( x) p ( x)dx .

−∞

Основной результат, который будем использовать в приложениях метода характеристических функций – так называемая теорема непрерывности. Теорема 32.2. Последовательность распределений вероятностей с характеристическими функциями f n (t ) , n = 1, 2, …, слабо сходится к распределению с характеристической функцией f (t ) тогда и только тогда, когда при n → ∞ 95

f n (t ) → f (t )

равномерно по t в каждом конечном интервале его изменения. Доказательство теоремы непрерывности не дается, его можно найти в книге [6] (она доказана в более сильной форме: не требуется равномерности по t в каждом конечном интервале изменения). Пример 32.1. Пусть случайная величина ξ принимает значение 0 с вероятностью q и значение 1 с вероятностью p = 1 − q . Рассмотрим n независимых между собой экземпляров случайной величины ξ1 , ξ 2 , ..., ξn . Образуем сумму Sn = ξ1 + ξ2 + ... + ξ n

и нормированную сумму Sn* =

Sn − np npq

.

Ранее вычислили характеристическую функцию случайной величины Sn* , она равна n

q ⎞ ⎛ −it p it ⎜ nq np ⎟ + pe f n (t ) = ⎜ qe ⎟ . ⎜ ⎟ ⎝ ⎠ Воспользовавшись разложением в ряд Маклорена, находим

−it

qe

p nq

+ pe

it

q np

=1−

t2 (1 + Rn ) , 2n

где ∞

1 ⎛ it ⎞ ⎜ ⎟ k =3 k ! ⎝ n ⎠

Rn = 2 ∑

Так как при n → ∞

k −2

pq k + q (− p )k ( pq )

k

.

Rn ⇒ 0 сходится равномерно по t на любом

отрезке t ≤ T , то n

− ⎛ ⎞ t2 f n (t ) = ⎜1 − (1 + Rn ) ⎟ → e ⎜ 2n ⎟ ⎝ ⎠

96

t2 2

на любом отрезке t ≤ T . Отсюда по теореме непрерывности: при любом х 2

z ⎛ S n − np ⎞ 1 x − 2 P⎜ < x⎟ → ∫ e dz , ⎜ npq ⎟ 2π −∞ ⎝ ⎠

когда n → ∞ . Таким образом, интегральная предельная теорема Муавра – Лапласа может быть сформулирована как результат, относящийся к суммированию независимых случайных величин. § 33. Центральная предельная теорема Иногда приходится иметь дело со случайными величинами, которые слагаются из большого количества независимых компонент. Оказывается, что при широких условиях такие величины имеют нормальное распределение. Примером утверждения, описывающего такую ситуацию, является теорема Маувра – Лапласа. Существуют общие теоремы такого рода, условия в них варьируются, но названия этих теорем – единообразное: «центральная предельная теорема». Приведем одну из таких теорем. Теорема 33.1. Пусть Sn =

n

∑ ξk

–

k =1

сумма независимых случайных величин ξ1 , ξ 2 , ... . Обозначим ak = M ξ k

и bn = DS n .

Предположим, что bn → ∞ и выполняется условие Ляпунова: при n→∞ 1 n 3 M ξ k − ak → 0 . (33.1) 3 ∑ bn k =1 Тогда для распределения вероятностей нормированной суммы S − MSn Sn* = n DSn 97

имеет место предельное соотношение lim P{x′ ≤

n→∞

Sn*

1

≤ x′′} =

2π

2 x′′ − x e 2 dx

∫

.

(33.2)

x′

Доказательство. Обозначим ξ − ak , k = 1, 2, … . ξkn = k bn Видно, что достаточно доказать следующее. Пусть Sn* =

n

∑ ξkn ,

n = 1, 2, …, –

k =1

последовательность сумм независимых случайных величин ξ kn , k = 1, 2, …, n, таких, что M ξkn = 0 , 2 и при n → ∞ σ2kn = M ξkn → 0 равномерно по k, а также

n

∑ σ2kn → 1 ,

k =1

то при условии Ляпунова n

∑M

k =1

3

ξkn → 0

для распределения вероятностей Sn* выполняется предельное соотношение (33.2). По теореме непрерывности достаточно показать, что характеристические функции f * (t ) величин Sn* сходятся к e Sn

−

t2 2

на любом

конечном отрезке изменения t. Согласно формуле (31.13) имеем f kn (t ) = 1 −

σ2kn 2 t3 t + Rkn , 2 6

3

где Rkn ≤ M ξ kn .

98

Поскольку при n → ∞ σ2kn → 0 равномерно по k и Rkn → 0 , то f kn (t ) → 1 равномерно по k и t в каждом конечном интервале, в частности при достаточно больших n 1 f kn (t ) − 1 ≤ , 2 это позволяет говорить о логарифме функции f kn (t ) . Для n

f n (t ) = ∏ f kn (t ) k =1

при n → ∞ имеем ⎛ σ2kn 2 Rkn 3 ⎞ t + t ⎟∼ ln f n (t ) = ∑ ln f kn (t ) = ∑ ln ⎜1 − ⎜ ⎟ 2 6 k =1 k =1 ⎝ ⎠ n

n

⎛ σ2kn 2 Rkn 3 ⎞ ⎞ t 2 t3 ⎛ n t2 ∼ ∑⎜− t + t ⎟ = − + ⎜ ∑ Rkn ⎟ ∼ − , ⎜ 2 ⎟ 6 2 6 ⎝ k =1 2 k =1 ⎝ ⎠ ⎠ следовательно, ln f n (t ) сходится равномерно по t в каждом конечном интервале, поскольку в силу условия Ляпунова n

n

∑ Rkn

k =1

≤

n

∑M

k =1

3

ξkn → 0 .

Значит, при n → ∞ −

t2 2

f n (t ) → e равномерно по t в каждом конечном интервале, что и требовалось доказать. В случае одинаково распределенных слагаемых имеет место результат с более слабым ограничением на слагаемые. Теорема 33.2 (А.А. Ляпунова). Пусть независимые случайные величины ξ1 , ξ 2 , ..., ξn одинаково распределены, имеют математическое ожидание а и отличную от нуля дисперсию, тогда при n → ∞ равномерно по х ⎛ z2 ⎞ ⎛ 1 n ⎞ 1 x exp ⎜ − ⎟ dz . P⎜ ∑ (ξi − a) < x ⎟ → ∫ ⎜ 2 ⎟ 2π −∞ ⎝ σ n i =1 ⎠ ⎝ ⎠ 99

Доказательство можно найти в книге [6]. Приведем пример на применение классической предельной теоремы. Пусть производится n повторных измерений какого-либо объекта. Погрешность округления ξi до целого деления шкалы равномерно распределена с M ξi = 0 . Обозначим через h половину цены деления измерительного прибора. Плотность распределения pi ( x) случайной величины ξi согласно условиям задачи имеет вид ⎧1 ⎪ , − h ≤ x ≤ h; pi ( x) = ⎨ 2h ⎪⎩0, x < −h, x > h.

Легко сосчитать, что Dξi2 =

h2 . Таким образом, среднее арифмети3

1 n ∑ ξi , и погрешность округления при большом n n i =1 будет распределена нормально

ческое равно

⎛1 n ⎞ 1 P ⎜ ∑ ξi < x ⎟ ≈ h 1 ⎝ n i =1 ⎠ 2π 3 n

100

x

∫

−∞

e

−

z2 2 h2 /3n dz

.

Глава 9 НЕКОТОРЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ § 34. Пуассоновский процесс Случайный процесс ξt с непрерывным временем t называется процессом с независимыми приращениями (исходящим из нуля), если при любой конечной последовательности t1 < t2 < ... < tn величины ξt1 , ξt2 − ξt1 , ξt3 − ξt2 , ..., ξtn − ξtn −1 взаимно независимы. Рассмотрим сейчас один из важнейших случайных процессов с независимыми приращениями – процесс Пуассона. Теорема 34.1. Пусть ξt – процесс с независимыми приращениями, удовлетворяющий следующим условиям. 1. ξ0 = 0 (процесс исходит из нуля). 2. При любом T > 0 величины ξt2 − ξt1 и ξt2 +T − ξt1 +T одинаково распределены. 3. ξt принимает целые неотрицательные значения, причем при h→0 P (ξ h = 0) = 1 − λh + o(h) , P (ξ h = 1) = λh + o(h) , P (ξ h ≥ 2) = o(h) .

Тогда P (ξ t = k ) =

( λ t ) k − λt e . k!

101

Доказательство. Для доказательства применим метод производящих функций. Обозначим ϕt ( x) = Mxξt =

∞

∑ x k P(ξt = k ) .

k =0

Величины ξt + h − ξt и ξt по условию независимы. Поэтому ϕt + h ( x) = Mx ξt + h −ξt +ξt = Mxξt + h −ξt x ξt = Mx ξt + h −ξt ϕt ( x) .

Поскольку процесс исходит из нуля и однороден, то распределение ξt + h − ξt такое же, что и распределение ξh . Таким образом, ограничиваясь первыми членами производящего ряда для xξh ϕt + h ( x) = ϕt ( x) Mxξh = ϕt ( x)((1 − λh) x 0 + λhx1 + o(h)) .

Отсюда при h → 0 ϕt +h ( x) − ϕt ( x) = λϕt ( x)( x − 1) + o(1) . h Значит, ϕt′ ( x) = λ( x − 1)ϕt ( x) . Это дифференциальное уравнение имеет общее решение ϕt ( x) = Ceλt ( x −1) .

Постоянная C определяется из того, что ξ0 = 0 и, следовательно, ϕ0 ( x) = Mx ξ0 = 1 . Итак, ϕt ( x) = eλt ( x −1) .

Тогда ϕt ( x) = e−λt

(λ t ) k k x . ∑ k =0 k ! ∞

Сравнивая это выражение с ϕt ( x) =

∞

∑ x k P(ξt = k ) ,

k =0

получим P (ξt = k ) = e −λt 102

(λ t ) k . k!

Пуассоновский процесс часто встречается в применениях. Например, моделями количества вызовов на телефонной станции, количества покупателей в магазине является процесс Пуассона. Реализациями процесса Пуассона являются ступенчатые функции. Рассмотрим задачу о времени между скачками (рис. 7). Обозначим через τi время между (i – 1)-м и i-м скачками.

Рис. 7

Поскольку событие {τ1 > t} означает, что до момента t не было скачков, то P (τ1 > t ) = P (ξt = 0) = e−λt . Значит, P (τ1 < t ) = 1 − e −λt , t > 0 . Отсюда для плотности распределения величины τ1 имеем ⎪⎧λe −λt , t ≥ 0; pτ1 (t ) = ⎨ t < 0, ⎪⎩0,

где τ1 имеет показательное распределение ∞

∞ ∞ 1 −λt −u ⎛ u ⎞ 1 t e dt ue d ue −u du = . λ = = ∫ ∫ ∫ ⎜ ⎟ λ ⎝λ⎠ λ 0 0 0

1 . λ Рассмотрим теперь совместное распределение величин τ1 и τ2 .

Таким образом, среднее время до первого скачка равно

103

Для этого введем величину P (τ1 > t1, τ1 + τ2 > t2 ) = P (ξt1 = 0, ξt2 = 0) + P (ξt1 = 0, ξt2 = 1) = = P (ξt2 = 0) + P (ξt1 = 0, ξt2 = 1)

(ибо в подчеркнутом члене условие ξt1 = 0 – лишнее), равную e−λt2 + P (ξt1 = 0, ξt2 = 1)

(и поскольку события ξt1 = 0 и ξt2 − ξt1 = 1 независимы) и e−λt2 + e −λt1 e −λ (t2 −t1 ) λ(t2 − t1 ) = e−λt2 (1 + λ(t2 − t1 )) .

Обозначим ψ (t1 , t2 ) = P (τ1 > t1 , τ1 + τ2 > t2 ) = e−λt2 (1 + λ(t2 − t1 )) .

Теперь введем плотность распределения вероятностей совместного распределения величин τ1 и τ2 : pτ1 , τ2 ( s1 , s2 ) = p( s1 , s2 ) .

Величина τ1 соответствует ось s1 , величине τ2 – ось s2 (рис. 8), ψ (t1 , t2 ) = P (τ1 > t1 , τ1 + τ2 > t2 ) = t2 ⎛ ∞

∞⎛∞ ⎞ ⎞ = ∫ ⎜ ∫ p ( s1 , s2 )ds2 ⎟ ds1 + ∫ ⎜⎜ ∫ p ( s1 , s2 ) ds2 ⎟⎟ ds1 . ⎜ ⎟ t1 ⎝ t2 − s1 t2 ⎝ 0 ⎠ ⎠

Рис. 8

104

Отсюда ∞ ∂2ψ ∂ψ = p (t1 , t2 − t1 ) . = − ∫ p (t1 , s1 )ds2 , ∂t1∂t2 ∂t1 t −t 2

1

Но явный вид функции ψ известен. Отсюда получаем ∂ψ ∂2ψ = λ 2 e−λt2 . = −λe−λt2 , ∂t1 ∂t1∂t2

Итак, p(t1 , t2 − t1 ) = λ 2 e−λt2 . Обозначив t1 = u1 , t2 − t1 = u2 , получим p(u1 , u2 ) = λ 2 e−λ (u1 +u2 ) = λe −λu1 ⋅ λe−λu2 .

Значит, pτ1 , τ2 (u1 , u2 ) = pτ1 (u1 ) pτ2 (u2 ) ,

т.е. τ1 и τ2 независимы и имеют показательное распределение. По индукции можно доказать, что величины τ1 , τ2 , ..., τn при любом n взаимно независимы и каждая имеет показательное распределение с параметром λ. Вычислим для процесса Пуассона совместное распределение вероятностей: P (ξt1 = k1 , ξt2 = k2 , ..., ξtn = kn ) . Так как P (ξt1 = k1 , ξt2 = k2 , ..., ξtn = kn ) = = P (ξt1 = k1 , ξt2 − ξt1 = k2 − k1 , ..., ξtn − ξtn −1 = kn − kn −1 ) ,

то в силу независимости приращений имеем P (ξt1 = k1 , ξt2 = k2 , ..., ξtn = kn ) = = P (ξt1 = k1 ) P(ξt2 − ξt1 = k2 − k1 )...P (ξtn − ξtn−1 = kn − kn−1 ) = =

(λt1 ) k1 (λ (t2 − t1 ))k2 −k1 (λ (tn − tn −1 ))kn −kn −1 −λtn . ... e k1 ! (k2 − k1 )! (kn − kn −1 )!

105

§ 35. Диффузионный процесс Диффузионный процесс ξt определим следующими требованиями. 1. Процесс ξt с независимыми приращениями. 2. ξn = 0 , т.е. процесс ξt происходит из нуля. 3. ξt – однородный процесс: при любом T > 0 приращение ξt2 − ξt1 распределено так же, как и приращение ξt2 +T − ξt1 +T . 4. При h → 0 M ξh = Ah + o(h) ,

M ξ2h = Bh + o(h) , b > 0 , 3

M ξ h = o( h) . Теорема 35.1. Для простейшего диффузионного процесса справедливо: P (ξ t < x ) =

x

∫

−∞

pt (u )du ,

где pt (u ) =

1

−

( x − At )2 2 Bt

e . 2πtB Доказательство. Применим метод характеристических функций. Обозначим ϕt ( s ) = Meisξt .

Тогда ϕt + h ( s ) = Meis[( ξt + h −ξt ) +ξt ] = = Meis ( ξt + h −ξt ) Meisξt = Meisξh Meisξt = ⎡ s2 3 3 ⎤ = ϕt ( s ) ⎢1 + isM ξ h − M ξh2 + О ( s M ξh ) ⎥ = 2 ⎢⎣ ⎥⎦ ⎡ ⎤ Bs 2 = ϕt ( s ) ⎢1 + is( Ah) − h + o( h ) ⎥ . 2 ⎢⎣ ⎥⎦ 106

Отсюда ⎛ ϕt +h ( s ) − ϕt ( s ) Bs 2 ⎞ = ϕ(t ) ⎜ isA − ⎟, ⎜ h 2 ⎟⎠ ⎝ ϕt ( s ) = e

isAt −

s2 Bt 2

.

Это характеристическая функция нормального распределения с M ξt = At и Dξt = Bt .

107

Глава 10 ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ § 36. Постановка задачи о статистической оценке параметров Теория вероятностей дает способы расчета вероятностей одних событий по вероятностям других более простых. Но иногда нет другого способа определения вероятностей событий, как с помощью наблюдений над частотами их появлений. Задача определения вероятностей по результатам наблюдений – задача математической статистики. Пусть ξ – случайная величина, функция распределения которой неизвестна. Введем обычные для статистики термины «выборка» и «генеральная совокупность». Выборкой объема n для данной случайной величины ξ называется последовательность X1, X2, …, Xn (36.1) n независимых наблюдений этой величины. Значения X1, …, Xn называются выборочными. Таким образом, выборка (36.1) – совокупность значений, принятых n независимыми случайными величинами ξ1, ξ2, …, ξn, имеющими тот же закон распределения Fξ ( x) , что и рассматриваемая величина ξ. Говорят, что выборка X1, X2, …, Xn взята из генеральной совокупности величины ξ. Под законом распределения генеральной совокупности понимают закон распределения случайной величины ξ. Можно получить представление о неизвестной функции распределения Fξ ( x) , являющейся вероятностью события {ξ < x} с помощью наблюдений над частотами появления этого события в выборке. Пусть X1, X2, …, Xn – выборка, х – произвольное число. Обо108

значим через ν n ( x) количество выборочных значений, меньших х. ν Тогда x является частотой попадания выборочных значений, леn вее точки х в данной выборке, т.е. частотой события {ξ < x} . Это частота является функцией от х и называется эмпирической функцией распределения случайной величины ξ, полученной по данной выборке. Обозначая эту функцию через Fn* ( x) имеем ν n ( x) . (36.2) n Неизвестную функцию распределения Fξ ( x) называют теоретиFn* ( x) =

ческой функцией распределения; этот термин подчеркивает взаимоотношения двух рассматриваемых функций распределения. Согласно закону больших чисел Бернулли при любом х и любом ε>0

(

)

lim P Fn* ( x) − Fξ ( x) > ε = 0 .

n→∞

Это соотношение будем записывать в виде по вер.

Fn* ( x) ⎯⎯⎯⎯ → Fξ ( x)

Таким образом, чем больше объем выборки, тем бóльшую точность представления дает эмпирическая функция распределения о теоретической функции распределения. Исследование теоретической функции распределения по эмпирической – весьма общая постановка задачи математической статистики, настолько общая, что практическая статистика по такому пути в огромном большинстве задач не идет. Дело в том, что, как правило, бывает известно, что функция распределения Fξ ( x) принадлежит к определенному классу функций, зависящему от одного или нескольких параметров Fξ ( x) = F ( x, α1 , α 2 , ..., α k ) . В этом случае определение неизвестной функции распределения сводится к оценке неизвестных параметров по выборке.

109

Пример 36.1. В теории измерений предполагается, что результат измерения некоторой физической постоянной а есть случайная величина ξ, среднее значение которой есть a = Mξ (это означает, что систематическая ошибка отсутствует), имеющая нормальное распределение с параметрами M ξ = a , и σ = Dξ . Выборка – набор измерений. Задачей является определение по выборке истинного значения наблюдаемой величины а и средней квадратичной ошибки измерения. Любая выборка дает лишь приближенное значение параметра, которое называется его оценкой по выборке. Всякая оценка неизвестного параметра α по выборке является функцией α* ( X 1 , X 2 , ..., X n )

(36.3)

от выборочных значений X1, X2, …, Xn. Выборочные значения X1, X2, …, Xn меняются от выборки к выборке. Поэтому функция (36.3), дающая оценку параметра α, является случайной величиной. Рассмотрим ситуацию, когда теоретическая функция распределения зависит от одного неизвестного параметра α Fξ ( x) = F ( x, α) . Возникает вопрос о том, как выбирать функцию α* ( X 1 , X 2 , ..., X n )

для оценки неизвестного параметра α. Если параметр α является средним значением, дисперсией или какой-либо иной числовой характеристикой функции распределения F ( x, α) , то естественно в качестве функции (36.3) брать соответствующую числовую характеристику эмпирической функции распределения. Числовые характеристики эмпирического распределения называются эмпирическими или выборочными характеристиками распределения. Так, например, выборочное среднее X=

1 n

n

∑ Xk

k =1

есть среднее арифметическое выборочных значений; выборочная дисперсия определяется по формуле 110

1 n ( X k − X )2 . ∑ n k =1 В соответствии с тем, что сказано, за оценку математического ожидания M ξ можно принять выборочное среднее S2 =

Mξ ≈ X =

1 n

n

∑ Xk ,

k =1

а за оценку дисперсии Dξ принять эмпирическую дисперсию Dξ ≈ S 2 =

1 n

n

∑ ( X k − X )2 .

k =1

Изложенный способ годится лишь для оценки параметров, являющихся известными числовыми характеристиками распределения. Кроме того, он не всегда приводит к наилучшим оценкам. Поэтому вопрос об оценке неизвестных параметров требует более обстоятельного изучения. § 37. Оценки неизвестных параметров по выборке Как уже отмечалось, оценка (36.3) α* ( X 1 , X 2 , ..., X n )

является функцией от n независимых случайных величин X1, X2, …, Xn, каждая из которых имеет одну и ту же функцию распределения Fξ ( x) = F ( x, α) . Таким образом, оценка (36.3) есть случайная величина, закон распределения которой однозначно определяется неизвестной функцией распределения Fξ ( x) , а в нашей постановке задачи неизвестным параметром α. Введем понятие состоятельной оценки. Определение 37.1. Оценка α* ( X 1 , X 2 , ..., X n ) параметра α называется состоятельной, если при n → ∞ она сходится по вероятности к α; это означает, что для любого ε > 0

)

(

lim P α* ( X1 , X 2 , ..., X n ) − α > ε = 0 .

n→∞

111

Согласно закону больших чисел X=

1 n

n

∑ Xk

(37.1)

k =1

является состоятельной оценкой для M ξ . Можно показать [10], что эмпирическая дисперсия S2 =

1 n

n

∑ ( X k − X )2

(37.2)

k =1

является состоятельной оценкой для Dξ . Вполне естественно потребовать от оценки, чтобы она не давала систематического завышения или занижения результата, т.е. потребовать, чтобы M (α* ( X1 , X 2 , ..., X n )) = α .

Это значение подводит к следующему определению. Определение 37.2. Оценка α* ( X 1 , X 2 , ..., X n ) , обладающая свойством M (α* ( X1 , X 2 , ..., X n )) = α , (37.3) называется несмещенной. В противном случае оценка называется смещенной. Так как MX =

1 n

n

∑ MX k

= Mξ,

k =1

то выборочное среднее является несмещенной оценкой математического ожидания. Несколько неожиданным является утверждение, что выборочная дисперсия S 2 является смещенной оценкой для Dξ . Несмещенной оценкой для дисперсии является выражение 2 1 n S* = (37.4) ( X k − X )2 . ∑ n − 1 k =1 2

Заметим, что S * является состоятельной оценкой для дисперсии. Доказательство этих утверждений можно найти в [10]. 112

Для того, чтобы случайное число α* ( X 1 , X 2 , ..., X n ) было возможно ближе к неслучайному числу α, необходимо, чтобы разброс величин α* ( X 1 , X 2 , ..., X n ) вокруг α был возможно меньше. Выбор меры разброса может быть осуществлен по-разному. Принятой и удобной мерой разброса случайной величины является M ( α* − α ) 2 .

(37.5)

Если α* – несмещенная оценка, то величина (37.5) совпадает с Dα* .

Определение 37.3. Оценка α1* ( X 1 , X 2 , ..., X n ) называется более эффективной, чем оценка α*2 ( X1 , X 2 , ..., X n ) , если M (α1* − α)2 < M (α*2 − α)2 .

Рассмотрим нижнюю грань inf M (α* − α )2

(37.6)

α*

множества величин M (α* − α) 2 по всем возможным функциям α* ( X 1 , X 2 , ..., X n ) . Вообще говоря, нижняя грань множества может и не принадлежать множеству, однако есть достаточно широкий класс распределений, для которых достигается нижняя грань.

Определение 37.4. Оценка α* ( X 1 , X 2 , ..., X n ) , для которой достигается нижняя грань (37.6), называется эффективной. Можно доказать, что в случае, когда генеральная совокупность имеет нормальное распределение, выборочное среднее X является эффективной оценкой параметра а. Определение 37.5. Оценка α* ( X 1 , X 2 , ..., X n ) ,

для которой мера разброса M (α* − α) 2 удовлетворяет соотношению lim

n→∞

M (α* ( X 1 , X 2 , ..., X n ) − α)2 inf M (α* ( X 1 , X 2 , ..., X n ) − α)2 α*

называется асимптотически эффективной. 113

= 1,

§ 38. Методы получения оценок В случае, когда оцениваемый параметр является математическим ожиданием или дисперсией, можно в качестве его оценки использовать, соответственно, математическое ожидание или дисперсию эмпирической функции распределения, т.е., соответственно, выборочное среднее и выборочную дисперсию. Эта рекомендация по статической терминологии – один из методов получения оценок. Пусть α – произвольный параметр функции распределения величины ξ Fξ ( x) = F ( x, α) . Поскольку известен вид функции F ( x, α) (хотя неизвестно значение α), то можно вычислить функцию m1 (α ) = M ξ . Приравнивая первый теоретический и первый эмпирический момент, получаем уравнение для неизвестного параметра α m1 (α) = X .

(38.1)

Если по выборке надо определить не один, а несколько неизвестных параметров, например k неизвестных параметров α1, α2, …, αk, то найдем k первых моментов случайной величины ξ m j (α1 , α 2 , ..., α k ) = M ξ j ,

j = 1, 2, ..., k ,

а затем соответствующие эмпирические моменты μ j ( X1 , X 2 , ..., X n ) =

1 n j ∑ Xi , n i =1

j = 1, 2, ..., k .

Приравнивая теоретические и эмпирические моменты, получаем систему из k уравнений с k неизвестными: m j (α1 , α 2 , ..., α k ) = μ j ( X1 , X 2 , ..., X n ) , j = 1, 2, ..., k . (38.2) Оценку параметров α1, α2, …, αk получаем как решения уравнений (38.2). Изложенный метод носит название метода моментов. Обоснование метода моментов – неблагодарная задача. Дело в том, что оценки, получаемые по методу моментов, не будут, вообще говоря, 114

асимптотически эффективными. Однако в силу его простоты метод моментов иногда используют на практике. Один из «важнейших» методов получения оценок – метод максимального правдоподобия. Идея метода состоит в том, что для получения оценки неизвестного параметра α ищут такое значение α* , при котором вероятность реализации полученной выборки X1, X2, …, Xn будет максимальной. Рассмотрим сначала случай, когда ξ – дискретная величина, принимающая конечное количество значений а1, а2, …, аk, причем p1 (α), ..., pk (α) – вероятности этих значений, т.е. P (ξ = al ) = pl (α) , l = 1, 2, ..., k .

Пусть в выборке X1, X2, …, Xn значение a j встречается n j раз (j = 1, 2, …, k). Тогда вероятность при n независимых испытаниях получить выборку X1, X2, …, Xn равна n

L( X 1 , X 2 , ..., X n , α) = p1n1 (α) p2n2 (α)... pk k (α ) .

(38.3)

Величина (38.3) называется функцией правдоподобия, а значение α* , являющееся точкой максимума этой функции, считается оценкой параметра α, полученной по методу максимального правдоподобия. Пусть величина ξ имеет плотность распределения вероятности p( x, α) . Тогда вероятность получить при n независимых наблюдениях величины ξ выборку X1, X2, …, Xn будет всегда равна нулю. Поэтому будем искать параметр α из условия обращения в максимум вероятности попадания выборки в n-мерный параллелепипед с центром в точке (X1, X2, …, Xn) и ребрами dx1 , dx2 , ..., dxn . Эта вероятность равна L( X 1 , ..., X n , α )dx1...dxn = = p ( X 1 , α) p ( X 2 , α)... p ( X n , α)dx1...dxn .

(38.4)

Величина α* – точка максимума вероятности (38.4) является, очевидно, точкой максимума функции L( X 1 , X 2 , ..., X n , α) . Будем называть функцию L( X 1 , X 2 , ..., X n , α) функцией правдоподобия, а точку максимума α* функции правдоподобия – оценкой, полученной по методу максимального правдоподобия. 115

Как известно, для нахождения точки максимума функции L( X 1 , X 2 , ..., X n ) надо решить уравнение ∂L( X1, X 2 , ..., X n , α ) = 0. (38.5) ∂α Поскольку точки максимума функций L( X 1 , X 2 , ..., X n , α) и ln L( X1 , X 2 , ..., X n , α) совпадают, то вместо уравнения (38.5) можно решить уравнение ∂ ln L( X 1 , X 2 , ..., X n , α ) =0. (38.6) ∂α Ценность оценок, полученных по методу максимального правдоподобия, обусловлена следующими их свойствами, которые выполняются при всех весьма общих условиях. Доказательство этих свойств можно найти в книге [11]. 1. Уравнение правдоподобия имеет решение, которое является состоятельной оценкой для α. 2. Решение является асимптотически эффективной оценкой для α. 3. Если для параметра α существует эффективная оценка, то уравнение правдоподобия дает единственное решение, совпадающее с этой оценкой. Возможны и другие подходы к вопросу получения оценок. Целый класс различных методов нахождения оценок можно получить следующим образом: зададим каким-либо образом меру D

отклонения эмпирической функции распределения Fn* ( x) от теоретической функции распределения F ( x, α) . Эта мера зависит от α и от выборочных значений X1, X2, …, Xn D = D( X 1 , X 2 , ..., X n , α) . За оценку параметра α берут то значение, которое минимизирует меру D отклонения. Наиболее употребительной является мера D, известная под названием величины χ2 . Пусть множество значений случайной величины разбито на r непересекающихся множеств (интервалов или полуинтервалов, конечных или бесконечных) и пусть νi (i = 1, 2, …, r) – количество выборочных значений, попавших в i-е мно116

жество; pi (α) – вероятность попадания выборочного множества в i-е множество, тогда r ν r ∑ ni = 1 и ∑ pi (α) = 1 , i =1 i =1 ν где i – наблюдаемая частота; pi (α) – ожидаемая частота попаn дания выборочных значений в i-е множество. За меру отклонения D принимаем величину 2

r (ν − np (α )) 2 n ⎛ νi ⎞ i i χ =∑ − p ( α ) = . ∑ i ⎜n ⎟ p ( α ) np ( ⎝ ⎠ i =1 i i =1 i α) 2

r

Оценка, полученная из условия обращения величины χ2 в минимум, называется оценкой по методу минимума χ2 . § 39. Доверительные интервалы для математического ожидания и дисперсии Принятый нами метод оценки параметра α дает приближенно равенство α ≈ α* ( X1 , X 2 , ..., X n ) .

(39.1)

В левой части стоит не случайная величина, а в правой случайная величина, являющаяся функцией выборочных значений. Возникает вопрос о точности равенства (39.1). Ответ дается в виде построения так называемого доверительного интервала. Задается число 0 < ℘ < 1, которое на практике берут близким к единице. Это число называют коэффициентом доверия или доверительным уровнем. Хотя значение α неизвестно, т.е. неизвестно распределение величины ξ, однако, вообще говоря, можно найти некоторый случайный интервал (c1 (α* , ℘), c2 (α* , ℘)) ,

такой, что P (c1 < α < c2 ) =℘ . 117

(39.2)

Случайный интервал (c1 , c2 ) называется доверительным интервалом для параметра α, соответствующим коэффициенту доверия ℘, а числа c1 и c2 – доверительными интервалами. Без доказательства сообщим некоторые результаты о построении доверительных интервалов для математического ожидания и дисперсии в случае нормально распределенной генеральной совокупности. А. Построение доверительного интервала для математического ожидания а при известной дисперсии σ2 нормально распределенной генеральной совокупности. Пусть выборка X1, X2, …, Xn состоит из независимых нормально распределенных с параметрами а и σ случайных величин, причем σ известно. Для оценки величины а пользуемся выборочным средним X=

1 n ∑ Xi . n i =1

Можно доказать, что величина X=

1 n ∑ Xi n i =1

распределена нормально с параметрами а и

σ . Поэтому при люn

бом ε > 0 ⎛ε n⎞ P ( x − a < ε) = 2Φ 0 ⎜⎜ ⎟⎟ , σ ⎝ ⎠

где Φ ( x) =

2

1 2π

x −t e 2

∫

dt .

(39.3)

0

Зададим коэффициент доверия ℘, пусть t℘ – корень уравнения 2Φ (t℘ ) =℘ .

Положим ε =

t℘σ n

, тогда (39.3) дает

118

⎛ σ σ ⎞ P ⎜ X − t℘ < a < X + t℘ ⎟ =℘. n n⎠ ⎝

(39.4)

Итак, интервал ⎛ σ σ ⎞ , X + t℘ ⎜ X − t℘ ⎟ n n⎠ ⎝ Является доверительным интервалом для a = MX k , соответствующим коэффициенту доверия ℘. Оценка (39.4) предполагает известным σ, которое на практике неизвестно. Лица, не любящие тонкостей, заменяют σ в формуле (39.4) на σ≈

1 n ∑ ( X k − X )2 ; n − 1 k =1

однако при этом коэффициент доверия ℘, вообще говоря, должен уменьшиться. Б. Построение доверительного интервала для математического ожидания а при неизвестной дисперсии σ и нормально распределенной генеральной совокупности. Основой теории здесь является следующее предложение. Лемма 39.1. В выборке X1, X2, …, Xn из нормально распределенной генеральной совокупности выборочное среднее X=

1 n

n

∑ Xk

k =1

и выборочная дисперсия S2 =

1 n

n

∑ ( X k − X )2

k =1

взаимно независимы. Величина X распределена нормально с паσ nS 2 , а величина имеет распределение χ2 с раметрами а и n σ2 (n – 1)-ми степенями свободы. Доказательство этого предложения можно найти в книге [10]. Перейдем к построению доверительного интервала для а. Рассмотрим две величины: 119

X −a nS 2 и V= 2 . σ σ Согласно лемме эти величины независимы, причем величина Z распределена нормально с параметрами 0 и 1, а величина V распреZ= n

делена по закону χ2 с (n – 1)-ми степенями свободы. Как известно, в этом случае величина Z

ζ=

=

X −a n −1 S

V n −1 имеет распределение Стьюдента с (n – 1)-ми степенями свободы. Зададим коэффициент доверия ℘ и предположим, что t℘ – ко-

рень уравнения t℘

∫

−t℘

sn −1 ( x)dx =℘ ,

где sn −1 ( x) – плотность распределения вероятности закона Стьюдента с (n – 1)-ми степенями свободы. Значит, P ( ζ < t℘ ) =℘

(39.5)

или ⎛ s s ⎞ < a < X + t℘ P ⎜ X − t℘ ⎟ =℘. n −1 n −1 ⎠ ⎝ Итак, построили доверительный интервал для параметра a = MX k ,

(39.6)

отвечающий уровню доверия ℘. В. Построение доверительного интервала для дисперсии σ2 нормально распределенной генеральной совокупности. Пусть X1, X2, …, Xn – выборка из нормально распределенной генеральной совокупности. Как уже говорилось, величина nS 2 σ

2

=

1 σ

2

n

∑ ( X k − X )2

k =1

120

распределена по закону χ2 с (n – 1)-ми степенями свободы. Пусть kn−1 ( x) – плотность распределения закона χ2 с (n – 1)-ми степенями свободы.

Зададим коэффициент доверия ℘ и определим числа χ12 и χ22 из соотношения χ12

∫ kn−1 ( x)dx =

0

1 −℘ . 2

Получим χ22

∫ kn−1 ( x)dx =℘ .

χ12

Таким образом, ⎛ ⎞ ns 2 P ⎜ χ12 < 2 < χ22 ⎟ =℘ , ⎜ ⎟ σ ⎝ ⎠

или ⎛ nS 2 nS 2 ⎞ P ⎜ 2 < σ2 < 2 ⎟ =℘ . ⎜ χ χ1 ⎟⎠ ⎝ 2

Итак, найдем доверительный интервал для дисперсии σ2 , соответствующий коэффициенту доверия ℘ в случае нормально распределенной генеральной совокупности. § 40. Понятие о статистических критериях Как и в задаче о статистическом оценивании, вызывает интерес неизвестный закон распределения генеральной совокупности (т.е. функции распределения Fξ ( x) ) и желание получить сведения об этом законе на основании наблюдений X 1 , X 2 , ..., X n .

(40.1)

Предположим, что из каких-то дополнительных соображений делается некоторое предположение (гипотеза) о функции распределения. Гипотезы могут быть различного типа. 121

А. Гипотеза. Функция Fξ ( x) является некоторой конкретной функцией Fξ ( x) = F ( x) .

(40.2)

Б. Известно, что функция Fξ ( x) принадлежит некоторому классу функций, зависящих от одного или нескольких переменных параметров α1 , α 2 , ...., α k Fξ ( x) = F ( x; α1 , α 2 , ..., α k ) .

(40.3)

Гипотеза. Параметры равны заданным числам (0) α1 = α1(0) ; α 2 = α (0) 2 , ...; α k = α k .

Например, известно, что генеральная совокупность выборки (40.2) распределена по закону Бернулли P (ξ = 1) = p , P (ξ = 0) = q = 1 − p . Гипотеза состоит в том, что p = p0 . В. Гипотеза. Функция Fξ ( x) принадлежит некоторому классу функций, зависящих от одного или нескольких параметров α1, α2, …, αk Fξ ( x) = F ( x, α1 , α 2 , ..., α k ) . Например, гипотеза состоит в том, что генеральная совокупность распределена нормально. Возможны гипотезы и другого характера. Таким образом, нужны критерии, которые позволили бы судить о том, согласуются ли наблюдаемые значения (40.1) X1, X2, …, Xn величины ξ с гипотезой о ее функции распределения. Теория таких критериев или критериев согласия – важная часть математической статистики. Переходим к вопросу о построении статистических критериев. Выбираем некоторую неотрицательную меру D отклонения эмпирической функции распределения Fn* ( x) от теоретической функции распределения D = D{Fn* , F } . 122

Величину D можно определить многими способами, в соответствии с которыми получаются различные критерии для проверки интересующей гипотезы. Например, можно положить D{Fn* , F } = sup Fn* ( x) − F ( x) ,

(40.4)

x

или D{Fn* , F } =

∞

∫

−∞

( Fn* ( x) − F ( x))2 g ( x)dx ,

где g ( x) – заданная неотрицательная функция, интегрируемая на (−∞, ∞) и т.п. Величина D меняется от выборки к выборке, т.е. это случайная величина. Предположив, что гипотеза верна, можно рассчитать распределение величины D. Зададим малое число ε > 0 , которое называется уровнем значимости критерия. Коль скоро распределение величины D рассчитано, то можно найти такое число D0 , что P ( D > D0 ) = ε .

Число D0 называется пределом значимости. Пусть имеются фактически наблюдаемые значения (40.1) X1, X2, …, Xn. По этим значениям строим функцию Fn* ( x) и в соответствии с гипотезой о виде функции Fξ ( x) вычисляем величину D{Fn* , F } . Если полученная при этом величина D окажется больше, чем D0 , то значит произошло событие, которое при данной гипотезе является мало вероятным. Грубо говоря, наблюдения противоречат гипотезе, и гипотеза должна быть отвергнута. Осторожнее говорить: гипотеза отвергается на уровне значимости ε. Вопрос: какое следует принять решение в случае, если осуществилось событие {D ≤ D0 } ? Некоторые руководства советуют «гипотезу надо принять». Но, логически, событие {D ≤ D0 } может осуществляться с малой вероятностью и в случае, если гипотеза неверна. Есть обтекаемое слово «подтверждение». Рекомендуем событие {D ≤ D0 } рассматривать, как «подтверждение» гипотезы. 123

Здесь нужна осторожность и, прежде чем принять гипотезу, ее, вообще говоря, следует «подтвердить» с помощью каких-либо других критериев. Распределение D{Fn* , F } зависит от n и вычисление его при конечных значениях n оказывается трудным и нецелесообразным. Вместо этого вычисляют предельное (при n → ∞ ) распределение величины D и пользуются им в качестве приближения для распределения величины D при достаточно больших значениях n. Сложнее проверка гипотез типа В, а именно гипотез, состоящих в том, что неизвестная функция распределения Fξ ( x) имеет вид Fξ ( x) = F ( x, α1 , ..., α k ) .

(40.5)

Проверка такой гипотезы состоит из двух частей. Первая часть состоит в статистическом оценивании (по методу минимума χ2 ) неизвестных параметров α1, α2, …, αk; вторая часть состоит в проверке того, насколько согласуются наблюдения X 1 , X 2 , ..., X n с гипотезой о том, что функция Fξ ( x) имеет вид (40.5), где в качестве параметров α1, α2, …, αk фигурируют полученные оценки. Теперь остановимся на критериях для гипотез типа А, т.е. на критериях для гипотез в ситуации полностью определенного гипотетического распределения. Предположим, что гипотетическая функция Fξ ( x) = F ( x) непрерывна. За меру D отклонения гипотетической функции распределения от эмпирической функции возьмем Dn = sup Fn* ( x) − F ( x) .

(40.6)

x

Критерий согласия, о котором сейчас будет идти речь, основан на следующей теореме, которую приведем без доказательства. Теорема 40.1. Если функция F ( x) непрерывна, то при n → ∞ P

(

⎧ ∞ k −2 k 2 x 2 при x > 0; ⎪ ∑ (−1) e nDn < x → k ( x) = ⎨ k =−∞ ⎪ при x ≤ 0. ⎩0

)

124

Основанный на этой теореме критерий – критерий согласия Колмогорова – может быть сформулирован в следующем виде. Пусть задан уровень значимости ε > 0 и пусть tε – корень уравнения 1 − k (tε ) = ε . Если образованная для выборки X1, X2, …, Xn величина Dn удовлеt творяет неравенству Dn > ε , то гипотеза n Fξ ( x) = F ( x) на уровне значимости ε отвергается. Наиболее употребительным критерием для проверки гипотез является критерий χ2 . Рассмотрим этот критерий в применении к проверке гипотезы, состоящей в том, что функция распределения генеральной совокупности Fξ ( x) есть заданная функция F ( x) : Fξ ( x) = F ( x) .

Разобьем множество значений величины ξ на r множеств S1, S2, …, Sr без общих точек. Такое разбиение обычно осуществляется при помощи (r + 1) чисел a1 < a2 < ... < ar +1 . При этом правый конец каждого интервала исключается из соответствующего множества (рис. 9). S1 a1 [

S2 a2 [

S3 Sr − 2 a3 [ ... ar − 2 [

Sr −1 ar −1 [

Sr ar [

Рис. 9

Обозначим через pi , i = 1, 2, …, r, – вероятности (считая, что Fξ ( x) = F ( x) ) того, что величина ξ принадлежит множеству Si . Очевидно, что

r

∑ pi = 1 . Пусть

i =1

νi , i = 1, 2, …, r, – количество вели-

125

чин из числа наблюдаемых X1, X2, …, Xn, принадлежащих множестν ву Si . Тогда для частот i , i = 1, 2, …, r, справедливо соотношение n r ν ∑ ni = 1 . i =1 Ясно, что pi есть приращение гипотетической функции распредеν ления на множестве Si , а i – приращение эмпирической функции n * распределения Fn ( x) на множестве Si . За меру отклонения D эмпирической функции распределения от теоретической принимается величина, обозначаемая через χ2 , равная по определению 2

r ν r (ν − np ) 2 ⎛ ⎞ n i , χ2 = ∑ ⎜ i − pi ⎟ =∑ i npi ⎠ pi i =1 i =1 ⎝ n

χ 2 – случайная величина, и вызывает интерес ее распределение, вычисленное в предположении, что гипотеза верна, т.е. Fξ ( x) = F ( x) .

Поскольку «выборка» – большая, n – «большое число», то практически интересует лишь предельное при n → ∞ распределение этой величины. Справедлива следующая теорема (теорема Пирсона). Теорема 40.2. Какова бы ни была функция распределения F ( x) случайной величины ξ при n → ∞ , распределение величины χ2 стремится к χ2 -распределению с (r – 1)-ми степенями свободы, т.е. при n → ∞ x

P (χ 2 < x) → ∫ kr −1 (t )dt , 0

где kr −1 (t ) – плотность распределения χ2 с (r – 1)-ми степенями свободы. Теперь ясно, как строить критерий. Задаем уровень значимости ε > 0 . Далее находим (по таблице) такое число χε2 , что 126

∞

∫ kr −1 (t )dt = ε .

χε2

Критерий χ2 . Если для данной выборки окажется, что χ2 > χε2 , то гипотеза считается отвергнутой опытными данными; если же χ 2 ≤ χε2 , то опытные данные можно считать совместимыми с принятой гипотезой, однако этого еще недостаточно для установления истинности гипотезы.

Критерий χ2 применяется и для проверки гипотез о том, что значения неизвестных параметров равны заданным числам. Не будем останавливаться на этом круге вопросов, ограничимся ссылкой на книгу [12]. Теорию и примеры проверки гипотез вида Fξ ( x) = F ( x; α1 , ..., α k ) с помощью критерия χ2 можно найти в книге [11].

127

Глава 11 ПОНЯТИЕ О МЕТОДЕ МОНТЕ-КАРЛО § 41. Случайные и псевдослучайные числа Метод Монте-Карло – метод численных прикидок и расчетов, основанный на использовании свойств случайных величин. Название «Монте-Карло» происходит от города Монте-Карло в княжестве Монако, знаменитого своим игорным домом. Название методу было дано, по-видимому, в связи с тем, что одним из приборов, позволяющих генерировать случайные числа, является рулетка, та самая игорная рулетка. В теории вероятностей показывается, что длинная последовательность величин, снятая со случайного прибора, с большой вероятностью обладает определенными свойствами. Как уже говорилось, идея метода Монте-Карло состоит в том, чтобы использовать последовательность с этими свойствами для численных расчетов. Непосредственный подход к делу состоит в эксплуатации случайных приборов. Рассмотрим рулетку (рис. 10): вращающийся диск резко останавливается, и неподвижная стрелка фиксирует число, написанное в секторе, остановившемся против стрелки. Этот прибор «выдает» последовательность случайных чисел с законом распределения 0, 1, 2, …, 9; 0,1; 0,1; 0,1; …; 0,1. Рис. 10 128

Отметим, что этот же прибор может служить для получения последовательности случайных чисел с законом распределения 0, 1, 2, …, 99; 0,01; 0,01; 0,01; …; 0,01. Для этого надо разбить последовательность случайных цифр на пары a1a2 a3 a4 a5 a6 ... (при этом полагаем 00 = 0 ; 01 = 1 ; 02 = 2 ; …; 09 = 9 ). Замена записи, именно замена числа j на j / 100 (j = 0, 1, …, 99), даст величину, аппроксимирующую с точностью до 1/100 равномерно распределенную случайную величину на [0,1] j ⎞ 1 ⎛ , j = 0, 1, …, 99. P⎜ξ = ⎟= 100 ⎠ 100 ⎝ Еще более точную аппроксимацию равномерно распределенной на [0,1] случайной величины найдем, объединяя случайные цифры, полученные на рулетке в тройки с последующим образованием чиj , j = 0, 1, …, 999. сел 1000 «В идеале» рулетка служит для построения последовательности ξ1 , ξ 2 , ..., ξn , ... (41.1)

независимых случайных величин, равномерно распределенных на отрезке [0,1] . Пусть f ( x) – какая-либо непрерывная функция на отрезке [0,1] . Среднее значение случайной величины f (ξ) , где ξ – равномерно распределенная на отрезке [0,1] величина, равно 1

Mf (ξ) = ∫ f ( x)dx . 0

Согласно неравенству Чебышева при любом ε > 0 ⎛ 1 P⎜ ⎜ N ⎝

N

⎞

1

∑ f (ξ j ) − ∫ f ( x)dx ≤ ε ⎟⎟ ≥ 1 − j =1

⎠

0

129

C , ε N 2

где C – постоянная, C = Df (ξ) . Значит, при достаточно большом N можем быть практически уверены в том, что 1 N

N

∑

j =1

1

f (ξ j ) ≈ ∫ f ( x)dx . 0

Таким образом, пришли к характерному для Монте-Карло приему вычисления (однократных) интегралов. Чтобы продемонстрировать метод Монте-Карло в действии, рассмотрим интеграл 1

∫ xdx .

0

Ясно, что его значение равно 0,5. Предположим, что на рулетке получено десять случайных чисел: 0,84; 0,75; 0,45; 0,76; 0,16; 0,38; 0,13; 0,26; 0,42; 0,94. Получаем 1 5,19 (0,84 + 0,75 + ... + 0,94) = = 0,519 . 10 10 Как видим, точность «не плохая». Таким образом, метод Монте-Карло в его непосредственном виде основан на использовании случайного прибора (датчика случайных чисел). Естественно спросить себя: зачем каждый раз строить последовательность случайных чисел, может быть рациональнее один раз построить таблицу случайных чисел и пользоваться ее для решения многих задач. Такая практика известна давно. Составлены так называемые таблицы случайных чисел, которыми пользуются в расчетах. В связи с использованием таблиц случайных чисел необходимо сделать высказывание принципиального характера. Поскольку таблица случайных чисел – однократная реализация случайного процесса, то при пользовании ею нет нужды в употреблении понятия вероятности: все записано и тем самым однозначно определено. Таким образом, практика пользования таблицами случайных чисел лежит уже вне теории вероятностей в ее обычном понимании. Можно пойти еще дальше по пути «детерминизации» используемых в методе Монте-Карло последовательностей. Было предло130

жено получать последовательности не с помощью случайных приборов, а с помощью арифметических алгоритмов. Последовательности, используемые в методе Монте-Карло, полученные с помощью арифметических алгоритмов, называются псевдослучайными числами. Один из способов для получения псевдослучайных чисел был предложен Дж. Нейманом (считающимся одним из основателей метода). Он называется методом средних квадратов. Поясним его на примере. Пусть задано 4-значное число γ0 = 0,9876. Возведем его в квадрат: получим восьмизначное число γ 02 = 0,97535376 .

Выберем четыре средних цифры этого числа и положим γ1 = 0,5353 . Затем возведем γ1 в квадрат γ12 = 0, 28654609

и затем извлечем четыре средние цифры. Получим γ 2 = 0,6546 . Можно продолжать этот процесс и далее: получаем последовательность псевдослучайных чисел 0,5353; 0,6546; 0,8501; 0,2670; 0,1289; … Описание алгоритма не сопровождается обоснованием его пригодности. Это, так сказать, «гадание на числах». Было предложено большое количество таких алгоритмов. Некоторые из них хорошо оправдали себя на практике. Однако опасность эмпиризма состоит в том, что не видна граница приложений предложенных нам рецептов. Основное средство современной вычислительной техники – ЭВМ. Ввиду этого практическое использование метода МонтеКарло целесообразно ориентировать на вычислительные возможности современных компьютеров. Существующие методы генерирования случайных чисел разбиваются на две группы: 1) методы, основанные на использовании реальных явлений; 2) методы, основанные на алгоритмах. 1. Для расчетов по методу Монте-Карло с помощью реальных явлений к ЭВМ присоединяют датчик случайных чисел. Механические приборы (такие, как рулетка) для этого непригодны – они 131

слишком медленны для ЭВМ. Поэтому в качестве генераторов (датчиков) случайных чисел используются, например, шумы в электронных лампах: если за некоторый фиксированный промежуток времени Δt уровень шума превысил заданный порог четное число раз, то записывают нуль, а если нечетное число раз, то записывают единицу. Недостатком метода является то, что трудно проверить «качество» вырабатываемых чисел. Из-за неисправности может произойти «дрейф распределения». Чтобы исключить возможность такого сбоя, расчеты приходится проводить дважды. 2. В настоящее время чаще всего используются алгоритмы, которые генерируют случайные числа в режиме реального времени, и эти числа тут же используют в методе Монте-Карло. Так как эти числа генерируются с помощью алгоритмов (программ), то на самом деле числа являются детерминированными, а вовсе не случайными, поэтому называются псевдослучайными. Отметим, что указанные программы называются генераторами случайных чисел. Недостаток заключается в том, что большинство генераторов случайных чисел цикличны (периодичны), т.е. числа в конце концов начинают повторяться. Тем не менее использовать такие генераторы удобно. § 42. Вычисление интегралов методом Монте-Карло Ограничимся простейшей схемой. Рассмотрим непрерывную функцию g ( x) , заданную на отрезке 0 ≤ x ≤ b . Требуется приближенно вычислить интеграл b

J = ∫ g ( x)dx . a

Зададим последовательности независимых случайных величин, равномерно распределенных на отрезке [0,1] x1 , x2 , ..., xn , ... (42.1) Последовательность yi = a + xi (b − a ) , i = 1, 2, …, n (42.2) является реализацией независимых случайных величин, равномерно распределенных на отрезке [a, b] . Имеем при больших N 132

b 1 N ∑ g ( yi ) ≈ ∫ g ( x)dx . n i =1 a

(42.3)

Естественно возникает вопрос об оценке погрешности в формуле (42.3). Пусть последовательность (42.1) есть последовательность случайных величин. Сумма g (ξ1 ) + g (ξ 2 ) + ... + g (ξ N ) , где ξ1, ξ2, …, ξN – последовательность независимых равномерно распределенных на отрезке [a, b] случайных величин, будет приблизительно нормальной с параметрами b

a = NMg (ξ) = ∫ g ( y )dy ; a

2

σ = NDg (ξ) .

Поэтому N ⎛ ⎞ g (ξi ) − NMg (ξ) ∑ ⎜ ⎟ P ⎜ −3 ≤ i =1 ≤ 3⎟ ≈ ⎜ ⎟ NDg (ξ) ⎜ ⎟ ⎝ ⎠

≈

1

3

2π

−3

∫e

−

z2 2 dz

≈ 0,997 ,

т.е. переходя от обозначений ξi , i = 1, 2, …, N к обозначениям yi , i = 1, 2, …, N, получаем b ⎛ 1 N 3 Dg (ξ) ⎞ P⎜ g ( yi ) − ∫ g ( x)dx ≤ (42.4) ⎟ ≈ 0,997 . ∑ ⎜ N i =1 N ⎟⎠ a ⎝ Соотношение (42.4) показывает, что с большой вероятностью P ≈ 0,997 погрешность в методе Монте-Карло оценивается через

133

1/2

2 ⎛b ⎞ ⎞ 3 ⎜⎛ b 2 = ∫ g ( x)dx − ⎜⎜ ∫ g ( x)dx ⎟⎟ ⎟⎟ . N N ⎜a ⎝a ⎠ ⎠ ⎝ Если пользоваться таблицей случайных чисел или псевдослучайными числами, то соотношение (42.4) не имеет смысла.

3 Dg (ξ)

§ 43. Моделирование процессов методом Монте-Карло При изучении сложных ситуаций, когда глобальный расчет нереален, необходимо прибегать к моделированию, т.е. воспроизведению ситуации теми средствами, которые имеются, с дальнейшим анализом результата. Таким моделированием являются, например, военные учения. Моделируется работа автоматов, поточных линий и т.д. Такое моделирование может вскрыть какое-либо непредвиденное обстоятельство, либо может найти частоты тех или иных явлений, если частоты устойчивы, то можно их объявить вероятностями соответствующих явлений. Появление ЭВМ открыло новую страницу в практике моделирования: многие ситуации можно разыграть на ЭВМ. При воспроизведении какой-либо сложной ситуации зачастую необходимо учитывать возможные случайные факторы, иногда это является даже главным. Вот здесь оказывается полезным моделирование случайных процессов, здесь находится поле для приложений методов Монте-Карло. В качестве примера рассмотрим моделирование одной из простых систем массового обслуживания. Система состоит из n линий (или пунктов обслуживания), каждый из которых обслуживает потребителей. В систему поступают заявки, причем моменты их поступления – случайные. Пусть первоначально заявка поступает на линию № 1. Если в момент поступления k-й заявки (обозначим этот момент через Tk ) эта линия свободна, то она приступает к обслуживанию заявки, обслуживание продолжается T * минут ( T * – время занятости линии). Если в момент времени Tk линия № 1 занята, то заявка мгновенно передается на линию № 2 и т.д. Наконец, если все n линий в момент времени Tk заняты, система выдает отказ. 134

Требуется определить, сколько в среднем заявок обслужит система за заданное время T и сколько она даст отказов. Будем считать, что поступление заявок является пуассоновским потоком. Это означает, что промежуток времени τ между двумя последовательными заявками есть случайная величина, распределенная в интервале (0, ∞) с плотностью p( x) = ae − ax ,

(43.1)

где константа a > 0 называется плотностью потока заявок. Первое, что надо сделать при моделировании процесса, это имея в распоряжении последовательность независимых случайных величин, распределенных по равномерному закону на [0, 1] , получить последовательность независимых величин τ, распределенных в соответствии с законом (43.1). Пусть γ – равномерно распределенная на отрезке [0, 1] случайная величина. Согласно общей теории преобразования случайных величин величина 1 τ = − ln(1 − γ ) (43.2) a будет иметь распределение на (0, ∞) с плотностью (43.1). Если величина γ равномерно распределена на отрезке [0, 1] , то и величина (1 − γ ) равномерно распределена на этом; тем самым получаем более простую формулу для получения τ: 1 τ = − ln γ . (43.3) a Таким образом, из имеющейся в нашем распоряжении последовательности случайных или псевдослучайных чисел γ1 , γ 2 , ... (43.4) можно получить по формуле (43.3) последовательность τ2 , τ3 , ... (43.5) нужных для «игры» чисел (намеренно нумеруем последовательность (43.3), начиная с номера τ2). Приступим к моделированию процесса. Каждой линии поставим в соответствие ячейку внутреннего накопителя ЭВМ, в которую бу135

дем записывать момент, когда эта линия освобождается. Обозначим момент освобождения i-й линии через ti . За начальный момент расчета выберем момент поступления первой заявки, согласно нашим обозначениям T1 = 0 . Тогда время окончания процесса будет T. В начальный момент времени все ячейки свободны, т.е. t1 = t2 = … = tk = 0. Первая заявка поступила на линию № 1. Значит, в течение времени T * эта линия будет занята. Поэтому t1 должно быть заменено на новое значение (t1 )нов = T1 + T * = T *

(так как T1 = 0 ); при этом необходимо добавить единицу к счетчику выполненных заявок. Вторая заявка поступает в момент T2 = τ2 , взятый из последовательности (43.5). Предположим, что k заявок уже рассмотрены. Последовательность (43.5) дает число τk +1 . Момент поступления (k + 1)-й заявки будет Tk +1 = Tk + τk +1 . Свободна ли в этот момент первая линия? Для установления этого надо проверить условие t1 ≤ Tk +1 . (43.6) Если это условие выполнено, то к моменту Tk +1 линия № 1 освободилась и может обслужить заявку. Необходимо заменить t1 на Tk +1 + T * , добавить единицу к счетчику выполненных заявок и перейти к следующей заявке. Если условие (43.6) не выполнено, то это значит, что первая линия в момент Tk +1 занята. Тогда проверяем свободна ли вторая линия t2 ≤ Tk +1 ? (43.7) Если условие (43.7) выполнено, то заменяем t2 на Tk +1 + T добавляем единицу к счетчику выполненных заявок и переходим к следующей заявке. Если условие (43.7) не выполнено, то переходим к проверке условия 136

t3 ≤ Tk +1 .

Может случиться, что при всех i, i = 1, 2, …, n ti > Tk +1 , т.е. все линии в момент времени Tk +1 заняты. Тогда надо добавить единицу в счетчике отказов и перейти к рассмотрению следующей заявки. Каждый раз, вычислив Tk +1 , нужно проверить еще условие окончания опыта Tk +1 > T . Когда это условие окажется выполненным, опыт заканчивается. В счетчике выполненных заявок и в счетчике отказов будут стоять числа μвып и μотк. Такой опыт повторяется N раз с использованием различных последовательностей (43.4) (и, следовательно, (43.5)). Для получения искомых средних M μвып и M μ отк усредняем результаты опытов N

M μ вып ≈

1 N

j) , ∑ μ(вып

M μ отк ≈

1 N

∑ μ(откj ) ,

j =1 N

j =1

j) j) где μ(вып и μ(отк – значения μвып и μотк, полученные в j-м опыте.

137

СПИСОК ЛИТЕРАТУРЫ 1. Теория вероятностей и математическая статистика. Методические рекомендации (часть 1). В 4-х частях / Сост. Е.И. Полякова, Л.П. Постникова, Е.В. Сумин. М.: МИФИ, 2008. 2. Теория вероятностей и математическая статистика. Методические рекомендации (часть 2). В 4-х частях / Сост. Е.И. Полякова, Л.П. Постникова, Е.В. Сумин. М.: МИФИ, 2008. 3. Теория вероятностей и математическая статистика. Методические рекомендации (часть 3). В 4-х частях / Сост. Е.И. Полякова, Л.П. Постникова, Е.В. Сумин. М.: МИФИ, 2008. 4. Теория вероятностей и математическая статистика. Методические рекомендации (часть 4). В 4-х частях / Сост. Е.И. Полякова, Л.П. Постникова, Е.В. Сумин. М.: МИФИ, 2008. 5. Чистяков В.П. Курс теории вероятностей. М.: Агар, 2000. 6. Гнеденко Б.В. Курс теории вероятностей. М.: Издательство ЛКИ, 2007. 7. Кудрявцев Л.Д. Курс математического анализа. В 2-х томах. М.: Высшая школа, 1981. 8. Феллер В. Введение в теорию вероятностей и ее приложения. В 2-х томах. М.: Мир, 1984. 9. Севастьянов Б.А. Ветвящиеся процессы. М.: Наука, 1971. 10. Коваленко И.Н., Филиппова А.А. Теория вероятностей и математическая статистика. М.: Высшая школа, 1973. 11. Крамер Г. Математические методы статистики. М.: Мир, 1975. 12. Ширяева А.Н. Вероятность, статистика, случайные процессы. М.: МГУ, 1974.

138

Приложение Таблицы Таблица П.1 Распределение Пуассона Значения функции pk (λ) = k

0,1 0,90484 0,09048 0,00452 0,00015

0 1 2 3 4 5 6

λ 0,3 0,74082 0,22225 0,03334 0,00333 0,00025 0,00002

0,2 0,81873 0,16375 0,01638 0,00109 0,00006

λ k −λ e k! 0,4 0,67032 0,26813 0,05363 0,00715 0,00072 0,00006

0,5 0,60653 0,30327 0,07582 0,01264 0,00158 0,00016 0,00001

Продолжение табл. П.1 k 0 1 2 3 4 5 6 7

λ 0,6 0,54881 0,32929 0,09879 0,01976 0,00296 0,00036 0,00004

0,7 0,49659 0,34761 0,12166 0,02839 0,00497 0,00070 0,00008 0,00001

139

0,8 0,44933 0,35946 0,14379 0,03834 0,00767 0,00123 0,00016 0,00002

0,9 0,40657 0,36591 0,16466 0,04940 0,01112 0,00200 0,00030 0,00004

Окончание табл. П.1 k 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

1,0 0,36788 0,36788 0,18394 0,06131 0,01533 0,00307 0,00051 0,00007 0,00001

λ 3,0 0,04979 0,14936 0,22404 0,220404 0,16803 0,10082 0,05041 0,02160 0,00810 0,00270 0,00081 0,00022 0,00006 0,00001

2,0 0,13534 0,27067 0,27067 0,18045 0,09022 0,03609 0,01203 0,00344 0,00086 0,00019 0,00004 0,00001

140

4,0 0,01832 0,07326 0,14653 0,19537 0,19537 0,15629 0,10419 0,05954 0,02977 0,01323 0,00529 0,00193 0,00064 0,00020 0,00006 0,00002

5,0 0,00674 0,03369 0,08422 0,14037 0,17547 0,17547 0,14622 0,10445 0,06528 0,03627 0,01813 0,00824 0,00343 0,00132 0,00047 0,00016 0,00005 0,00001

Таблица П.2 Стандартное нормальное распределение 1 − Значения функции ϕ( x) = e 2π x 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 1,1 1,2 1,3 1,4 1,5 1,6 1,7 1,8 1,9 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9

0 0,3989 3970 3910 3814 3683 3521 3332 3123 2897 2661 0,2420 2179 1942 1714 1497 1295 1109 0940 0790 0656 0,0540 0440 0355 0283 0224 0175 0136 0104 0079 0060 0,0044 0033 0024 0017 0012 0009 0006 0004 0003 0002

1 3989 3965 3902 3802 3668 3503 3312 3101 2874 2637 2396 2155 1919 1691 1476 1276 1092 0925 0775 0644 0529 0431 0347 0277 0219 0171 0132 0101 0077 0058 0043 0032 0023 0017 0012 0008 0006 0004 0003 0002

2 3989 3961 3894 3790 3653 3485 3292 3079 2850 2613 2371 2131 1895 1669 1456 1257 1074 0909 0761 0632 0519 0422 0339 0270 0213 0167 0129 0099 0075 0056 0042 0031 0022 0016 0012 0008 0006 0004 0003 0002

3 3988 3956 3885 3778 3637 3467 3271 3056 2827 2589 2347 2107 1872 1647 1435 1238 1057 0893 0748 0620 0508 0413 0332 0264 0208 0163 0126 0096 0073 0055 0040 0030 0022 0016 0011 0008 0005 0004 0003 0002

4 3986 3951 3876 3765 3621 3448 3251 3034 2803 2565 2323 2083 1849 1626 1415 1219 1040 0878 0734 0608 0498 0404 0325 0258 0203 0158 0122 0093 0071 0053 0039 0029 0021 0015 0011 0008 0005 0004 0003 0002 141

5 3984 3945 3867 3752 3605 3429 3230 3011 2780 2541 2299 2059 1826 1604 1394 1200 1023 0863 0721 0596 0488 0396 0317 0252 0198 0154 0119 0091 0069 0051 0038 0028 0020 0015 0010 0007 0005 0004 0002 0002

6 3982 3939 3857 3739 3589 3410 3209 2989 2756 2516 2275 2036 1804 1582 1374 1182 1006 0848 0707 0584 0478 0387 0310 0246 0194 0151 0116 0088 0067 0050 0037 0027 0020 0014 0010 0007 0005 0003 0002 0002

x2 2

7 3980 3932 3847 3726 3572 3391 3187 2966 2732 2492 2251 2012 1781 1561 1354 1163 0989 0833 0694 0573 0468 0379 0303 0241 0189 0147 0113 0086 0065 0048 0036 0026 0019 0014 0010 0007 0005 0003 0002 0002

8 3977 3925 3836 3712 3555 3372 3166 2943 2709 2468 2227 1989 1758 1539 1334 1145 0973 0818 0681 0562 0459 0371 0297 0235 0184 0143 0110 0084 0063 0047 0035 0025 0018 0013 0009 0007 0005 0003 0002 0001

9 3973 3918 3825 3697 3538 3352 3144 2920 2685 2444 2203 1965 1736 1518 1315 1127 0957 0804 0669 0551 0449 0363 0290 0229 0180 0139 0107 0081 0061 0046 0034 0025 0018 0013 0009 0006 0004 0003 0002 0001

0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 1,1 1,2 1,3 1,4 1,5

х

0 0,0000 398 793 0,1179 554 915 0,2257 580 881 0,3159 413 643 349 0,4032 192 332

1 0,0040 438 832 0,1217 591 950 0,2291 611 910 0,3186 437 665 869 0,4049 207 345

x

u2

2 0,0080 478 871 0,1255 628 985 0,2324 642 939 0,3212 461 686 888 0,4066 222 357

3 0,0120 517 910 0,1293 664 0,2019 357 673 967 0,3238 485 708 907 0,4082 236 370

Сотые доли х 4 5 0,0160 0,0200 557 596 948 987 0,1331 0,1368 700 736 0,2054 0,2088 389 422 703 734 995 0,3023 0,3264 289 508 531 729 749 925 944 0,4099 0,4115 251 265 382 394 6 0,0239 636 0,1026 406 772 0,2123 454 764 0,3051 315 554 770 962 0,4131 279 406

− 1 Значения функции Φ 0 ( x) = e 2 du ∫ 2π 0

7 0,0279 675 0,1064 443 808 0,2157 486 794 0,3078 340 577 790 980 0,4147 292 418

8 0,0319 714 0,1103 480 844 0,2190 517 823 0,3106 365 599 810 997 0,4162 306 429

9 0,0359 753 0,1141 517 879 0,2224 549 852 0,3133 389 621 830 0,4015 0,4177 319 441

Таблица П.3

1,6 1,7 1,8 1,9 2,0 2,1 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,9 3,0

х

0 452 554 641 713 772 821 861 893 918 938 953 965 974 981 987

1 463 564 649 719 778 826 864 896 920 940 955 966 975 982 987

2 474 573 656 726 783 830 868 898 922 941 956 967 976 982 987

3 484 582 664 732 788 834 871 901 925 943 957 968 977 983 988

Сотые доли х 4 5 495 505 591 599 671 678 738 744 793 798 838 842 875 878 904 906 927 929 945 946 959 960 969 970 977 978 984 984 988 989 6 515 608 686 750 803 846 881 909 931 948 961 971 979 985 989

7 525 616 693 756 808 850 884 911 932 949 962 972 979 985 989

8 535 625 699 761 812 854 887 913 934 951 963 973 980 985 990

9 545 633 706 767 817 857 890 916 936 952 964 974 981 986 990

Окончание табл. П.3

α uα

0,001 3,0902

∞

x2

0,005 2,5758

0,010 2,3263

0,015 2,1701

0,020 2,0537

0,025 1,9600

0,030 1,8808

0,035 1,8119

α

− 1 e 2 dx Функция uα определяется равенством α = ∫ 2π u

Значения функции uα

0,040 1,7507

0,045 1,6954

0,050 1,6449

Таблица П.4

Таблица П.5 Распределение Стьюдента. Значение функции tα , n Функция tα , n определяется равенством P ( τn < tα , n ) = 1 − 2α , где случайная величина τn имеет распределение Стьюдента с n степенями свободы. Плотность распределения τn равна n+1 ⎛ n +1⎞ Γ⎜ ⎟ ⎛ x 2 ⎞− 2 2 ⎠ ⋅ 1+ pτn ( x) = ⎝ ⎜⎜ ⎟ n ⎟⎠ ⎛n⎞ Γ ⎜ ⎟ πn ⎝ ⎝2⎠

n 5 6 7 8 9 10 12 14 16 18 20 22 30 ∞

2α 0,10 2,015 1,943 1,895 1,860 1,833 1,812 1,782 1,761 1,746 1,734 1,725 1,717 1,697 1,645

0,05 2,571 2,447 2,365 2,306 2,262 2,228 2,179 2,145 2,120 2,101 2,086 2,074 2,042 1,960

145

0,02 3,365 3,143 2,998 2,896 2,821 2,764 2,681 2,624 2,583 2,552 2,528 2,508 2,457 2,326

0,01 4,032 3,707 3,499 3,355 3,250 3,169 3,055 2,977 2,921 2,878 2,845 2,819 2,750 2,576

Таблица П.6 χ2-Распределение. Значения функции χα2 , m Функция χα2 , m определяется равенством P (χ2m > χα2 , m ) = α , где случайная величина χ2m имеет χ2-распределение с m степенями свободы. Плотность распределения χ2m равна m

pχ2 ( x) = m

m 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

x

−1 − 1 x2 e 2, x>0 ⎛m⎞ Γ ⎜ ⎟ 2m /2 ⎝2⎠

α 0,99 0,00016 0,020 0,115 0,30 0,55 0,87 1,24 1,65 2,09 2,56 3,1 3,6 4,1 4,7 5,2 5,8 6,4 7,0 7,6 8,3 8,9 9,5 10,2 10,9 11,5

0,10 2,7 4,6 6,3 7,8 9,2 10,6 12,0 13,4 14,7 16,0 17,3 18,5 19,8 21,1 22,3 23,5 24,8 26,0 27,2 28,4 29,6 30,8 32,0 33,2 34,4

0,05 3,8 6,0 7,8 9,5 11,1 12,6 14,1 15,5 16,9 18,3 19,7 21,0 22,4 23,7 25,0 26,3 27,6 28,9 30,1 31,4 32,7 33,9 35,2 36,4 37,7 146

0,02 5,4 7,8 9,8 11,7 13,4 15,0 16,6 18,2 19,7 21,2 22,6 24,1 25,5 26,9 28,3 29,6 31,0 32,3 33,7 35,0 36,3 37,7 39,0 40,3 41,6

0,01 6,6 9,2 11,3 13,3 15,1 16,8 18,5 20,1 21,7 23,2 24,7 26,2 27,7 29,1 30,6 32,0 33,4 34,8 36,2 37,6 38,9 40,3 41,6 43,0 44,3

0,005 7,9 11,6 12,8 14,9 16,3 18,6 20,3 21,9 23,6 25,2 26,8 28,3 29,8 31 32,5 34 35,5 37 38,5 40 41,5 42,5 44,0 45,0 47,0

ОГЛАВЛЕНИЕ Глава 5. Случайные величины .........................................................3 § 18. Понятие случайной величины ..........................................3 § 19. Дискретные и непрерывные распределения. Примеры распределений...................................................9 § 20. Случайные векторы.........................................................15 § 21. Независимость случайных величин...............................22 § 22. Функции от случайных величин ....................................26 Глава 6. Числовые характеристики случайных величин..........44 § 23. Математическое ожидание .............................................44 § 24. Дисперсия.........................................................................52 § 25. Неравенство Чебышева и закон больших чисел для последовательности независимых испытаний.......63 § 26. Линейная регрессия.........................................................66 § 27. Моменты...........................................................................68 Глава 7. Целочисленные случайные величины...........................72 § 28. Производящая функция целочисленной случайной величины .......................................................72 § 29. Производящая функция случайного числа случайных величин..........................................................79 § 30. Простейшие ветвящиеся процессы с дискретным временем ..................................................81 Глава 8. Предельные теоремы.........................................................86 § 31. Характеристические функции и их свойства................86 § 32. Сходимость распределений вероятности ......................94 § 33. Центральная предельная теорема ..................................97 Глава 9. Некоторые случайные процессы с непрерывным временем.....................................................101 § 34. Пуассоновский процесс ................................................101 § 35. Диффузионный процесс................................................106 Глава 10. Элементы математической статистики.....................108 § 36. Постановка задачи о статистической оценке параметров.........................................................108 § 37. Оценки неизвестных параметров по выборке.............111 § 38. Методы получения оценок ...........................................114 § 39. Доверительные интервалы для математического ожидания и дисперсии ..................................................117 147

§ 40. Понятие о статистических критериях..........................121 Глава 11. Понятие о методе Монте-Карло ..................................128 § 41. Случайные и псевдослучайные числа .........................128 § 42. Вычисление интегралов методом Монте-Карло ........132 § 43. Моделирование процессов методом Монте-Карло ....134 Список литературы .........................................................................138 Приложение. Таблицы ....................................................................139

_______________

Редактор М.В. Макарова Подписано в печать 01.10.2010. Формат 60х84 1/16 Печ.л. 9,25. Уч.-изд.л. 9,25. Тираж 392 экз. Изд. № 073-1 Заказ № 302 Национальный исследовательский ядерный университет «МИФИ». Типография НИЯУ МИФИ. 115409, Москва, Каширское ш., 31

148