Математические основы передачи информации

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

Е.Г. Лебедько МАТЕМАТИЧЕСКИЕ ОСНОВЫ ПЕРЕДАЧИ ИНФОРМАЦИИ

Учебное пособие 

Санкт-Петербург 2010

Лебедько Е.Г. Математические основы передачи информации, ч. 5: учеб. пособие для вузов. СПб: СПбГУИТМО, 2010. 93 с. В пятой части настоящего учебного пособия излагаются основы теории информации. Все теоретические положения иллюстрируются примерами. Учебное пособие предназначено для студентов, обучающихся по направлениям подготовки бакалавров и магистров 200200 «Оптотехника». Рекомендовано Учебно-методическим объединением вузов Российской Федерации по образованию в области приборостроения и оптотехники для студентов высших учебных заведений, обучающихся по направлению подготовки 200200 – Оптотехника и специальности 200203 – Оптико-электронные приборы и системы, протокол №430 от 12.03.10

В 2009 году Университет стал победителем многоэтапного конкурса, в результате которого определены 12 ведущих университетов России, которым присвоена категория «Национальный исследовательский университет». Министерством образования и науки Российской Федерации была утверждена Программа развития государственного образовательного учреждения высшего профессионального образования «СанктПетербургский государственный университет информационных технологий, механики и оптики» на 2009–2018 годы. © Санкт-Петербургский государственный университет информационных технологий, механики и оптики, 2010 © Е.Г. Лебедько, 2010

Содержание Часть 5. Основы теории информации………………………………………. 4 5.1 Количественная мера информации…………………………………… 4 5.1.1 Количественная мера информации дискретных сообщений………….4 5.1.2 Основные свойства энтропии …………………………………………...7 5.1.3 Энтропия при непрерывном состоянии элементов………………… 10 5.1.4 Определение плотности вероятностей состояний непрерывных сообщений, обладающих максимальной энтропией……... 11 5.1.5 Условная энтропия статистически зависимых сообщений……… 16 5.1.6. Энтропия объединения статистически зависимых сообщений…… 18 5.1.7. Количество информации при неполной достоверности результатов сообщения…………………………………………………… 22 5.1.8. Частное количество информации…………………………………… 27 5.1.9. Понятие об ε - энтропии…………………………………………… 33 5.1.10. Избыточность сообщений………………………………………… 34 5.2. Передача информации………………………………………………… 35 5.2.1. Дискретные каналы без помех……………………………………… 35 5.2.2. Пропускная способность дискретного канала без помех………… 37 5.2.3. Основная теорема Шеннона для дискретного канала без помех… 43 5.2.4. Дискретные каналы с помехами………………………………………47 5.2.5.Пропускная способность канала с помехами……………………… 48 5.2.6. Основная теорема Шеннона для дискретного канала с помехами… 54 5.2.7. Непрерывные информационные каналы. Передача информации через линейные и нелинейные устройства…………………………………58 5.2.8. Теорема Котельникова……………………………………………… 63 5.2.9. Пропускная способность непрерывного информационного канала 65 5.2.10. Влияние энергетического спектра сигнала и помехи на скорость передачи непрерывной информации…………………………… 70 5.3. Ценность информации………………………………………………… 71 5.3.1. Определение ценности информации………………………………… 71 5.3.2. Ценность информации при неполной достоверности ее передачи…77 5.4. Приложение………………………………………………………………81 5.4.1 Приведенная энтропия некоторых непрерывных законов распределения……………………………………………………… 81 5.4.2 Энтропия некоторых дискретных законов распределения……… 85 5.4.3 Таблица значений функции − P log P ……………………………… 87 Литература……………………………………………………………… 88

Часть 5. Основы теории информации Понятие «информация» можно истолковать как некоторую совокупность сведений о тех или иных событиях, явлениях или фактах. Информация имеет количественную и качественную стороны. При этом количественная и качественная меры информации не должны противоречить нашим интуитивным представлениям и охватывать то общее, что присуще всему многообразию различной информации. Первая попытка определения количественной меры была предпринята Р.В.Хартли в 1928 году. [1]. Однако это определение оказалось недостаточно универсальным. Основные соотношения, определяющие количественную меру информации, и теоремы были сформулированы К. Шенноном и опубликованы в 1948 – 1949 годах. Математический аппарат современной теории информации был разработан советским академиком А.Н.Колмогоровым к 1947 году [2]. В трудах В.А.Котельникова, А.Н.Колмогорова, А.А. Харкевича, Р.Л. Стратоновича, Р.Л. Добродушина, А.Файнстейна, Р.Фано и др. теория информации получила свое дальнейшее развитие. Важный вклад в определение качественной меры информации внес Р.Л. Стратонович, связав шенноновскую теорию информации с теорией решающих функций А.Вальда. В теории информации рассматриваются: - общая количественная мера информации, не зависящая от природы объектов; - общие законы передачи, обработки и хранения информации; - ценность и достоверность информации; - общие закономерности, определяющие влияние тех или иных факторов на преобразование, скорость передачи, потерю и ценность информации.

5.1 Количественная мера информации 5.1.1 Количественная мера информации дискретных сообщений Материальная форма воплощения информации называется сообщением. Сообщения могут быть представлены в виде показаний приборов, печатного текста, картины, произносимой речи, наблюдаемого изображения и т.д. Сообщения можно разделить на дискретные и непрерывные как по состояниям, так и по времени.

4

Информация добывается в результате опыта. Таким опытом является сообщение. До опыта можно только предполагать о состоянии элементов сообщения, т.е. до опыта имеет место большая или меньшая неопределенность в интересующей ситуации. После опыта ситуация становится более определенной и существующая до опыта неопределенность уменьшится. Уменьшение неопределенности в результате опыта может быть принято за наиболее общую меру количества получаемой информации. Меру количества информации, получаемой в результате того или иного опыта, можно было бы установить как отношение равновозможных ответов до опыта ( K ) и после опыта ( K 0 ) . Удобно использовать понятие о вероятности появления состояний. Тогда при равновозможных состояниях априорная (до опыта) вероятность появления состояния xi равна

P0 = 1

P ( xi ) = 1 , а апостериорная (после опыта) вероятность K

K0

. В этом случае количество информации, которое получаем о

состоянии xi , будет равно

K P0 ( xi ) . = K 0 P ( xi )

Однако выбор этого отношения за меру количества информации связан с рядом неудобств. Например, при заведомо известном состоянии xi , сообщение о котором не несет никакой информации, это соотношение будет равно единице. Это соотношение неудобно и тем, что при сложении количества информации нескольких независимых источников не выполняется условие аддитивности. Более удобной является логарифмическая мера количества информации, которая определяется соотношением

I ( xi ) = k log a

P0 ( xi ) P ( xi )

.

(5.1)

Выбор коэффициента k и основания логарифма a не имеет принципиального значения. Обычно выбирают k = 1 , а основание логарифма a = 2 . В этом случае единица количества информации называется двоичной (или бит). Рассмотрим некоторое конечное множество X состояний x1 , x2 ,..., xm . При этом состояния независимы и несовместимы, а априорные вероятности их соответственно равны P ( x1 ) , P ( x2 ) ,..., P ( xm ) и выполняется условие

P ( x1 ) + P ( x2 ) + ⋅⋅⋅ + P ( xm ) = 1 .

5

Последнее означает, что хоть одно из состояний будет иметь место. Множество с известным распределением вероятностей его состояний называют ансамблем. Рассматриваемый ансамбль состояний можно представить схемой

x2 ... xm ⎤ ⎡ x1 X =⎢ ⎥. P x P x P x ... ( ) ( ) ( ) m 1 2 ⎣ ⎦

(5.2)

Ансамбль можно рассматривать как модель сообщения. Достоверное сообщение о том, что из всех состояний X появляется xi , несет в себе количество информации, равное

⎛ ⎞ log ⎜ 1 ⎟ = − log P ( xi ) . P x ( ) i ⎠ ⎝

(5.3)

Как видно, чем меньше априорная вероятность появления данного состояния, тем большее количество информации содержится в этом сообщении. Важнейшей характеристикой в теории информации является среднее количество информации, приходящееся на один элемент сообщения, являющейся мерой неопределенности, и определяется зависимостью m

H ( X ) = m1 { I ( xi )} = −∑ P ( xi ) log P ( xi ) .

(5.4)

i =1

Величина H ( X ) носит название энтропии ансамбля X . Приписывая определенное значение энтропии каждому состоянию xi и,

учитывая, что xi - случайная величина, − log P ( xi ) = H ( xi ) называют случайной энтропией [3], Таким образом, количество информации о состоянии xi согласно формуле (5.1) будет равно I ( xi ) = log P0 ( xi ) − log P ( xi ) = H ( xi ) − H 0 ( xi ) , (5.5)

где H ( xi ) и H 0 ( xi ) - соответственно априорная и апостериорная случайные энтропии. Среднее количество информации в ансамбле будет определяться соотношением

I ( X ) = H ( X ) − H0 ( X ) = m

m

i =1

i =1

= ∑ P0 ( xi ) log P0 ( xi ) − ∑ P ( xi ) log P ( xi )

6

(5.6)

Как видно из формул (5.5) и (5.6) количество информации соответствует величине снятой неопределенности в результате проведения опыта. В приведенных и последующих формулах знаком log обозначается логарифм с основанием два.

5.1.2 Основные свойства энтропии 1.Энтропия есть величина вещественная, неотрицательная: H ( X ) ≥ 0 Рассмотрим одно слагаемое суммы в формуле (5.4) – − P ( xi ) log P ( xi ) . Так

как

вероятности

P ( xi )

являются

ограниченная

и

(5.7) неотрицательными

величинами, заключенными в промежутке ⎡⎣ 0 ≤ P ( xi ) ≤ 1⎤⎦ , то при изменении P ( xi ) от нуля до единицы положительное вещественное слагаемое (5.7) возрастает от нуля, достигает максимума, а затем снова уменьшается до нуля. Устремим P ( xi ) к нулю и найдем предел величины (5.7)

⎡ ⎛ 1 ⎞⎤ log ⎢ ⎜ P( x )⎟⎥ i ⎠ ⎥. lim ⎡⎣ − P ( xi ) log P ( xi ) ⎤⎦ = lim ⎢ ⎝ 1 P ( xi ) →0 P ( xi ) → 0 ⎢ ⎥ P x ( ) i ⎢ ⎥ ⎣ ⎦ = α и определим неопределенность по правилу Обозначим 1 P ( xi ) Лопиталя:

lim

α →∞

log α

α

1 ) log e ( = lim α = 0. α →∞

1

Таким образом, величина (1.7) обращается в нуль при P ( xi ) = 0 . При P ( xi ) = 1:

log P ( xi ) = 0 и P ( xi ) log P ( xi ) = 0 .

Максимальное значение слагаемого (5.7) определяется из условия

7

d ⎡⎣ − P ( xi ) log P ( xi ) ⎤⎦ = − log P ( xi ) − log e = 0 . dP ( xi ) Отсюда P ( xi ) = 1 . e

Следовательно, максимальное значение слагаемого (5.7) равно 0,531. Так как слагаемое (5.7) вещественно, неотрицательно и ограничено, то при любом конечном m энтропия H ( X ) является величиной вещественной, неотрицательной и ограниченной. 2. Энтропия заведомо известных сообщений минимальна и равна нулю. Так как сообщение заведомо известно, то вероятность появления того или иного состояния равна либо нулю, либо единице. Следовательно, как видно из доказательства предыдущего свойства, все слагаемые (5.7) обращаются в ноль и энтропия равна нулю. 3. Энтропия дискретных сообщений максимальна при равновероятном распределении состояний элементов. Задаваясь дополнительным условием m

∑ P ( xi ) = 1,

(5.8)

i =1

найдем

значение

вероятности

P ( xi ) , обеспечивающей максимум

энтропии H ( X ) , решая вариационную задачу методом неопределенных множителей Лагранжа. С учетом (5.4) и (5.8) составим функцию

f = − P ( xi ) log P ( xi ) − λ P ( xi )

и решим уравнение

df = − log P ( xi ) − log e − λ = 0 . dP ( xi )

Отсюда log P ( xi ) = − log e − λ , ( i = 1,2,..., m ) .

Как видно log P ( xi ) и, следовательно, P ( xi ) не зависят от номера

i , что может быть только в том случае, когда все P ( xi ) равны между собой. Следовательно, энтропия максимальна состояниях дискретных сообщений:

P ( x1 ) = P ( x2 ) = ⋅⋅⋅ = P ( xm ) =

1 . m

при

Величина же максимальной энтропии будет равна

8

равновероятных

m

1 1 log = log m . m i =1 m

H ( X ) = H max ( X ) = −∑

Таким образом, для равновероятного распределения состояний энтропия вычисляется по формуле H ( X ) = log m = H ( xi ) (5.9) и равна случайной энтропии. 4. Энтропия бинарных сообщений может изменяться от нуля до единицы. Бинарные сообщения характеризуются двумя возможными состояниями и их энтропия равна 2

H ( X ) = −∑ P ( xi ) log P ( xi ) = −P log P − (1 − P ) log (1 − P ) i =1

Из

формулы видно, что максимальное ⎡⎣ H ( X ) = 1⎤⎦ имеет место при P = 0,5 .

значение

энтропии

5. Энтропия объединения нескольких независимых ансамблей равна сумме энтропий этих ансамблей – свойство аддитивности энтропий Под объединением двух ансамблей X и Y понимают объединенный ансамбль, который характеризуется совместными вероятностями

(

)

P xi , y j . Энтропия такого ансамбля по аналогии с формулой (5.4) равна m

n

(

)

(

H ( X , Y ) = −∑∑ P xi , y j log P xi , y j i =1 j =1

(

)

)

( )

Для независимых ансамблей P xi , y j = P ( xi ) P y j , следовательно m

n

( )

( )

H ( X , Y ) = −∑∑ P ( xi ) P y j logP ( xi ) P y j = i =1 j =1

m

n

i =1

j =1

( )

( )

= −∑ P ( xi ) log P ( xi ) − ∑ P y j log P y j = H ( X ) + H (Y ) Это соотношение обобщается на несколько независимых ансамблей: k

H ( X 1 , X 2 ,..., X k ) = ∑ H ( X l ) . l =1

9

(5.10)

5.1.3 Энтропия при непрерывном состоянии элементов Выражение при дискретном состоянии элементов можно в определенном смысле обобщить на случай непрерывных сообщений. Путь задана плотность вероятности W ( x ) состояний элементов непрерывного сообщения. Характер случайного процесса существенно не изменится, если непрерывные состояния заменить дискретными x1 , x2 ,..., xm , отстоящими друг от друга на интервал Δx и имеющими вероятности P ( xi ) = W ( xi ) Δx . Тогда в соответствии с формулой (5.4) можно записать

( )

( )

H ä ( X ) = −∑ P y j log P y j = −∑ ⎡⎣W ( xi ) Δx ⎤⎦ log ⎡⎣W ( xi ) Δx ⎤⎦ = i

i

⎡ ⎤ = −∑ ⎡⎣W ( xi ) log W ( xi ) ⎤⎦Δx − log Δx ⎢ ∑W ( xi ) Δx ⎥ i ⎣ i ⎦ Переходя к пределу при Δx → 0 , получим, что энтропия непрерывного сообщения равна ∞

H ( X ) = lim H ä ( X ) = − ∫ W ( x ) log W ( x ) dx − lim log Δx , Δx → 0

Δx → 0

−∞

(5.11)

∞

так как

∫ W ( x ) dx = 1.

−∞

Величина H

∗

∞

( X ) = − ∫ W ( x ) logW ( x ) dx

называется приведенной или

−∞

дифференциальной энтропией непрерывного сообщения и имеет конечное

значение. Величина H ( X ) не зависит от Δx и определяется только плотностью вероятностей непрерывного состояния x . Второй член правой части соотношения (5.11) зависит от выбранного интервала Δx и именно он обращает значение H ( X ) для непрерывного сообщения в бесконечность. Однако среднее количество информации при непрерывных ∗

∗ сообщениях будет определяться только разностью априорной ⎡ H ( X ) ⎤ и ∗ апостериорной ⎡ H 0 ( X ) ⎤ приведенными энтропиями:

⎣ ⎦ I ( X ) = H ( X ) − H 0 ( X ) = H ∗ ( X ) − H 0∗ ( X ) .

10

⎣

⎦

Свойства приведенной энтропии 1. Приведенная энтропия зависит от масштаба переменной x и даже может менять знак. Например, изменив масштаб в k раз, что соответствует переходу к

1 W ( x ) , получим k ∞ ∞ W ( x) W ( x) ∗ H ( X 1 ) = − ∫ W ( x1 ) log W ( x1 ) dx1 = − ∫ log kdx = k k −∞ −∞

переменной x1 = kx , и, учтя, что W ( x1 ) =

∞

∞

−∞

−∞

= − ∫ W ( x ) log W ( x ) dx + log k ∫ W ( x ) dx = H ∗ ( X ) + log k . Следует заметить, что разность приведенных энтропий двух распределений при одном и том же масштабе переменной x не зависит от выбора масштаба. 2. Приведенная энтропия не зависит от математического ожидания состояния непрерывного сообщения.

H

∗

∞

( X − m1 ) = − ∫ W ( x − m1 ) logW ( x − m1 ) d ( x − m1 ) = −∞

.

∞

= − ∫ W ( x ) log W ( x ) dx = H ∗ ( X ) −∞

3. Приведенная энтропия аддитивна. Т.е. для независимых сообщений имеем:

H ∗ ( X , Y ) = H ∗ ( X ) + H ∗ (Y ) .

5.1.4 Определение плотности вероятностей состояний непрерывных сообщений, обладающих максимальной энтропией Определим вид функций плотности вероятностей состояний W ( x ) , обеспечивающих максимальную приведенную энтропию для двух важных случаев: 1. Дисперсия состояний сообщения – величина заданная: 2. На дисперсию состояний сообщения не накладываются никакие ограничения. В обеих случаях, естественно, выполняется условие

11

∞

∫ W ( x ) dx = 1.

−∞

Для решения этих вариационных задач воспользуемся методом неопределенных множителей Лагранжа, в соответствие с которым функция f ( x ) , обеспечивающая экстремальное значение функционала b

J = ∫ F ⎡⎣ x, f ( x ) ⎤⎦ dx

(5.12)

a

при дополнительных условиях

⎧b ⎪ ∫ ϕ1 ⎡⎣ x, f ( x ) ⎤⎦ dx = k1 = const ⎪a ⎪b ⎪⎪ ϕ ⎡ x, f ( x ) ⎤ dx = k = const 2 ⎦ ∫ 2⎣ ⎨a ⎪ ⎪ ........................................... ⎪b ⎪ ∫ ϕ n ⎡⎣ x, f ( x ) ⎤⎦ dx = kn = const ⎪⎩ a

,

(5.13)

находится решением уравнения

dϕ n dϕ1 dϕ 2 dF + λ1 + λ2 + ⋅⋅⋅ + λn = 0. (5.14) df ( x ) df ( x ) df ( x ) df ( x ) Здесь λ1 , λ2 ,..., λn - неопределенные множители Лагранжа, которые определяются подстановкой f ( x ) в равенства (5.13). 1. Для первой задачи требуется найти такую функцию W ( x ) , для

которой H

∗

∞

( X ) = − ∫ W ( x ) logW ( x ) dx - максимальна при условиях: −∞

∞

а)

∫ x W ( x ) dx = σ 2

2

−∞

∞

, б)

∫ W ( x ) dx = 1.

(5.15)

−∞

Функции F , ϕ1 и ϕ 2 в данном случае имеют вид

F = W ( x ) log W ( x ) , ϕ1 = x 2W ( x ) , ϕ 2 = W ( x ) и уравнение (5.14) принимает вид

log W ( x ) + log e + λ1 x 2 + λ2 = 0 .

Из последнего следует, что 12

log W ( x ) = −λ1 x 2 − λ2 − log e . Учитывая, что переход от одной системы логарифмов к другой осуществляется по формуле log b c = log b a log a c , получим

ln W ( x )

или где

ln 2

= −λ1 x 2 − λ2 −

1 , ln 2

ln W ( x ) = −λ1∗ x 2 − λ2∗ − 1 ,

(5.16)

λ1∗ = λ1 ln 2 , λ2∗ = λ2 ln 2 .

Из соотношения (5.16) определяем W ( x ) :

(

)

(

)

W ( x ) = exp ⎡ − λ2∗ + 1 ⎤ exp −λ1∗ x 2 . ⎣ ⎦ Используя свойство (5.15 б), получим ∞

∞

−∞

−∞

∗ ∗ 2 ∫ W ( x ) dx = ∫ exp ⎣⎡− ( λ2 + 1)⎦⎤ exp ( −λ1 x ) dx =

(

∞

)

(

)

= 2exp ⎡ − λ + 1 ⎤ ∫ exp −λ1∗ x 2 dx = 1 ⎣ ⎦ ∗ 2

0

Отсюда

(

)

exp ⎡ − λ + 1 ⎤ = ⎣ ⎦ ∗ 2

1 ∞

(

)

2 ∫ exp −λ1∗ x 2 dx

λ1∗ = π

0

С учетом этого выражения плотность вероятностей W ( x ) можно теперь записать в виде

λ1∗ W (X ) = exp −λ1∗ x 2 . π

(

)

(5.17)

Подставим, полученное значение W ( x ) в выражение для условия (5.15а) и получим

λ1∗ ∞ 2 1 ∗ 2 σ = ∫ x W ( x ) dx = 2 λ x − x dx = . exp 1 ∫ ∗ π λ 2 1 0 −∞ 2

∞

Следовательно

(

2

λ1∗ =

1 2σ 2

)

.

Решение приведенных интегралов проводилось по формуле [4]

13

⎛ m +1⎞ Ã⎜ ⎟ 1 n ⎠ ⎝ m − bx n ∫ x e dx = n ⋅ m+1 , 0 b n где Ã ( z ) - гамма-функция. ∞

Подставляя значение

W ( x) =

1 e σ 2π

−

x2 2σ 2

(5.18)

λ1∗ в (5.17), получим .

Эта функция представляет собой одномерную плотность вероятностей нормального случайного процесса с нулевым средним значением. Выводы: 1. Если задана дисперсия состояний непрерывного сообщения, то такое сообщение обладает наибольшей информативностью при нормальном законе распределения состояний сообщения. 2. При заданной средней мощности помехи наиболее опасной является та, которая имеет нормальный закон распределения. Определим величину приведенной энтропии при нормальном распределении состояний непрерывных сообщений. При 2 ( x − m1 ) − 1 2 W ( x) = e 2σ ( m1 - математическое ожидание состояний

σ 2π

сообщения) получим ∞

∞

− 1 H ( X ) = − ∫ W ( x ) log W ( x ) dx = − ∫ W ( x ) log e σ 2π −∞ −∞ ∗

( x − m1 ) dx = 1 1 2 πσ = W x dx + W x ln 2 ( ) ( ) ∫ ∫ ln 2 −∞ ln 2 −∞ 2σ 2 ∞

∞

как

∞

−∞

−∞

∫ W ( x ) dx = 1, а ∫ ( x − m1 )

То получим H

∗

(X ) =

2

W ( x ) dx = σ 2 ,

1 ⎛ 1⎞ 2 ln 2 πσ + ⎜ ⎟. ln 2 ⎝ 2⎠

14

2σ 2

dx =

2

∞ ∞ ⎤ 1 ⎡ 1 2 2 πσ W x dx x m W x dx = + − ln 2 ⎢ ∫ ( ) 2σ 2 ∫ ( 1 ) ( ) ⎥⎥ ln 2 ⎢⎣ −∞ −∞ ⎦ ∞

( x − m1 )

Так

Имея в виду, что ln e = 1 , окончательно получим выражение для

2

приведенной энтропии

H∗(X ) =

)

(

(

)

1 ln 2πσ 2 + ln e = log σ 2π e . ln 2

(5.19)

Таким образом, приведенная энтропия при гауссовой статистике состояний сообщений прямо пропорциональна логарифму среднеквадратического значения состояний. Как и следовало ожидать, приведенная энтропия не зависит от математического ожидания. 2. Рассмотрим вторую задачу, при которой не накладываются какиелибо ограничения на дисперсию состояний. В этом случае используется только одно дополнительное условие (5.15б) и функции F и ϕ1 имеют вид

F = W ( x ) log W ( x ) , ϕ1 = W ( x ) .

Уравнение (5.14) в этом случае принимает вид log W ( x ) + log e + λ1 = 0 . После элементарных преобразований получим

W ( x) = e где

(

),

− λ1∗ +1

(5.20)

λ1∗ = λ1 ln 2 .

Так как функция плотности вероятностей (5.20) не зависит от x , то она является постоянной во всем интервале существования случайной величины, т.е. величина x распределена равновероятно. Если состояния сообщения существуют в интервале [ a, b ] , то искомая функция распределения равна

⎧ 1 ⎪ W ( x) = ⎨b − a ⎪⎩ 0

при

a< x b

Выводы 1. Если на дисперсию состояний не накладываются ограничения, то непрерывное сообщение обладает наибольшей информативностью при равновероятном распределении состояний. 2. При неизвестной мощности помехи наиболее опасной будет помеха с равновероятным распределением. Определим величину приведенной энтропии при равновероятном распределении состояний.

15

H

∗

∞

b

1 1 log dx = b−a b−a a

( X ) = − ∫ W ( x ) log W ( x ) dx = − ∫ −∞

= log ( b − a )

Отсюда следует, что величина приведенной энтропии при равновероятном распределении состояний прямо пропорциональна логарифму величины интервала изменения состояний.

5.1.5 Условная сообщений

энтропия

статистически

зависимых

На практике приходится сталкиваться с двумя и более источниками, дающими зависимые друг от друга сообщения. Положим, что имеются два элемента сообщения, первый из которых характеризуется ансамблем X

xm ⎤ x2 ⎡ x1 , ,..., X =⎢ ⎥, P x P x P x ( m )⎦ ⎣ ( 1) ( 2 ) а второй – ансамблем Y yn ⎤ y2 ⎡ y1 , ,..., Y =⎢ ⎥. P y P y P y ( ) ( ) ( ) n ⎦ 1 2 ⎣ Взаимная статистическая связь между состояниями элементов можно характеризовать условными вероятностями P yi xk , т.е. вероятностями

(

)

появления состояния yi при условии, что состояние xk уже известно. Схема условного ансамбля в этом случае принимает вид

⎡ ⎢y ⎢ 1 Y X = ⎢ y2 ⎢ ⎢ ... ⎢y ⎣ n

x1 P ( y1 x1 )

P ( y2 x1 ) ... P ( yn x1 )

x2 ... xm ⎤ P ( y1 x2 ) ... P ( y1 xm ) ⎥ ⎥ P ( y2 x2 ) ... P ( y2 xm ) ⎥ . ⎥ ... ... ... ⎥ P ( yn x2 ) ... P ( yn xm ) ⎥⎦

(5.21)

По аналогии с (5.3) достоверное сообщение о том, что из всех состояний y появляется yi при условии, что имело место состояние xk ,

(

)

несет в себе количество информации, равное [ − log P yi xk ], которое можно рассматривать как случайную условную энтропию.

16

При фиксированном состоянии xk совокупность вероятностей (5.21) определяет частную условную энтропию

условных

n

H (Y xk ) = −∑ P ( yi xk ) log P ( yi xk ) ,

(5.22)

i =1

которая характеризует среднее количество информации, несущее элементом Y после того, как стало известно состояние xk элемента X . При сильной статистической связи X и Y частная условная энтропия будет малой и, наоборот, при слабой статистической связи – большой. Если частную условную энтропию (5.22) усреднить по всем состояниям xk с учетом вероятности появления каждого из состояний

P ( xk ) , то получим выражение условной энтропии сообщения Y относительно элемента сообщения X : m

H (Y X ) = ∑ P ( xk ) H (Y xk ) = k =1

n

m

= −∑∑ P ( xk ) P ( yi xk ) logP ( yi xk )

.

(5.23)

i =1 k =1

Так как в соответствии с теоремой умножения вероятностей имеем P ( xk , yi ) = P ( xk ) P yi xk = P ( yi ) P xk yi ,

(

)

(

)

То выражение (5.23) можно переписать в виде n

m

H (Y X ) = −∑∑ P ( xk , yi ) log P ( yi xk ) .

(5.24)

i =1 k =1

Основной смысл условной энтропии состоит в том, что она показывает, какую энтропию дает сообщение элемента Y , если уже известна энтропия сообщения X . Свойства условной энтропии. 1. Если элементы сообщения X и Y статистически независимы, то условная энтропия H Y X равна энтропии H (Y ) , т.е.

H (Y X ) = H (Y ) .

(

)

Действительно, если элементы X и Y статистически независимы, то P yi xk = P ( yi ) и соотношение (5.23) приобретает вид

(

)

17

n

m

H (Y X ) = −∑∑ P ( xk ) P ( yi ) log P ( yi ) = i =1 k =1

m

n

k =1 m

i =1

.

= −∑ P ( xk ) ∑ P ( yi ) log P ( yi ) Так как

∑ P ( xk ) = 1 , то k =1

n

H (Y X ) = −∑ P ( yi ) log P ( yi ) = H (Y ) . i =1

2. Если элементы сообщения X и Y являются статистически жестко связанными, то условная энтропия элемента Y относительно элемента X равна нулю H Y X = 0.

(

)

Это означает, что сообщение элемента Y не содержит никакой информации сверх той, которая содержится в сообщении элемента X . Действительно, при полной статистической зависимости условные вероятности P yi xk либо раны нулю, либо – единице. Следовательно,

(

)

энтропия будет равна нулю. Для непрерывных сообщений частную условную приведенную энтропию можно представить интегралом ∞

H (Y x ) = − ∫ W ( y x ) logW ( y x ) dy , ∗

(5.25)

−∞

а условную приведенную энтропию – соотношениями: ∞ ∞

H (Y X ) = − ∫ ∗

∫ W ( x )W ( y x ) logW ( y x ) dxdy

−∞ −∞

.

∞ ∞

H ∗ (Y X ) = − ∫

(5.26)

∫ W ( x, y ) logW ( y x ) dxdy

−∞ −∞

5.1.6. Энтропия объединения статистически зависимых сообщений Положим, что известны ансамбли двух зависимых элементов сообщений X и Y . Зависимость состояний этих элементов можно задать

18

совместными вероятностями P ( xk , yi ) посредством схемы объединенного ансамбля вида:

⎡ ⎢y ⎢ 1 X × Y = ⎢ y2 ⎢ ⎢ ... ⎢⎣ yn

x1 P ( x1 , y1 )

P ( x1 , y2 ) ... P ( x1 , yn )

x2 ... xm ⎤ P ( x2 , y1 ) ... P ( xm , y1 ) ⎥ ⎥ P ( x2 , y2 ) ... P ( xm , y2 ) ⎥ ⎥ ... ... ... ⎥ P ( x2 , yn ) ... P ( xm , yn ) ⎥⎦

Объединенный ансамбль описывает более сложную систему, состоящую из двух подсистем X и Y , в которой возможны n × m различных состояний с заданным распределением вероятностей P ( x, y ) . Достоверное сообщение о том, что элемент X из всех возможных состояний принимает значение xk , а второй элемент Y при этом принимает состояние yi , содержит в себе количество информации, равное

H ( xk , yi ) = − log P ( xk , yi ) , которое можно назвать случайной энтропией

объединения. Энтропия объединения будет равна n

m

H ( X , Y ) = −∑∑ P ( xk , yi ) logP ( xk , yi ) . i =1 k =1

(

С учетом того, что P ( xk , yi ) = P ( xk ) P yi xk

(5.27)

) соотношение (5.27)

можно представит в следующем виде n

m

H ( X , Y ) = −∑∑ P ( xk , yi ) log ⎡⎣ P ( xk ) P ( yi xk ) ⎤⎦ = i =1 k =1

n

m

n

m

= −∑∑ P ( xk , yi ) log P ( xk ) − ∑∑ P ( xk , yi ) log P ( yi xk ) = i =1 k =1 n

i =1 k =1

m

n

m

= −∑∑ P ( xk ) P ( yi xk ) log P ( xk ) − ∑∑ P ( xk , yi ) log P ( yi xk ) i =1 k =1

i =1 k =1

Выполняя суммирование по i в первом слагаемом представленного соотношения, получим H ( X ,Y ) = H ( X ) + H Y X , (5.28)

(

n

так как

∑ P ( yi xk ) = 1, i =1

)

m

−∑ P ( xk ) log P ( xk ) = H ( X ) k =1

и

19

n

m

−∑∑ P ( xk , yi ) log P ( yi xk ) = H (Y X ) . i =1 k =1

Таким образом, энтропия объединения, определяемая зависимостью (5.28), равна сумме двух энтропий: энтропии H ( X ) элемента сообщения

X и условной энтропии H (Y X ) . Из равенства (5.28) более полно

раскрывается смысл условной энтропии: она представляет собой то добавочное среднее количество информации, которое вносит сообщение элемента Y , если среднее количество информации сообщения элемента X уже известно. Свойства энтропии объединения. 1.Очевидно, что

H ( X , Y ) = H (Y , X ) = H ( X ) + H (Y X ) = H (Y ) + H ( X Y )

(5.29)

2. Для статистически независимых сообщений энтропия объединения равна сумме энтропий сообщений H ( X , Y ) = H ( X ) + H (Y ) . (5.30) 3. При полной статистической зависимости элементов X и Y энтропия объединения равна H ( X , Y ) = H ( X ) = H (Y ) , (5.31) т.е. при полной статистической зависимости энтропии элементов X и Y равны между собой. При вычислении энтропии иногда полезно использовать некоторые соотношения теории вероятностей:

∑ P ( xk ) = 1 k

∑ P ( yi ) = 1 i

∑ P ( yi xk ) P ( xk ) = ∑ P ( xk , yi ) = P ( yi ) k

k

i

i

(5.32)

∑ P ( xk yi ) P ( yi ) = ∑ P ( yi , xk ) = P ( xk ) ∑∑ P ( xk ) P ( yi xk ) =∑∑ P ( yi ) P ( xk yi ) =1 i

k

i

k

Для непрерывных сообщений приведенная энтропия объединения будет определяться соотношением

20

H

∗

∞ ∞

( X ,Y ) = − ∫ ∫ W ( x, y ) logW ( x, y ) dxdy = ∞ ∞

=−∫

−∞ −∞

∫ W ( x, y ) logW ( x ) dxdy −

−∞ −∞

(5.33)

∞ ∞

−∫

∫ W ( x, y ) logW ( y x ) dxdy =

−∞ −∞

∞

= − ∫ W ( x ) log W ( x )dx − −∞

∞ ∞

∫ ∫ W ( x, y ) logW ( y x ) dxdy ,

−∞ −∞

∞

так как

∫ W ( x, y ) dy = W ( x ) .

−∞

В качестве иллюстрации рассмотрим следующий пример. Пример. Ансамбль состояний

X и Y объединен и представлен в

виде

x1 x2 x3 ⎤ ⎡ X × Y = ⎢ y1 0,10 0, 20 0,30 ⎥ . ⎢ ⎥ ⎢⎣ y2 0, 25 0 0,15 ⎥⎦ Определить: а) энтропию ансамблей X и Y , б) энтропию объединенного ансамбля X × Y , в) условные энтропии ансамблей. Решение. Используя формулы (5.32), определим вероятности состояний в ансамблях X и Y P ( x1 ) = P ( x1 , y1 ) + P ( x1 , y2 ) = 0,1 + 0,25 = 0,35 . Аналогично получим P ( x2 ) = 0, 2 ; P ( x3 ) = 0,45 ; P ( y1 ) = 0,6 ; P ( y2 ) = 0,4 . Зная вероятности состояний по формуле (5.4), получим

21

3

H ( X ) = −∑ P ( xk ) log P ( xk ) = −0,35log0,35 − k =1

−0, 2log 0, 2 − 0, 45log 0, 45 = 1,512äâ.åä.; 2

H (Y ) = −∑ P ( yi ) log P ( yi ) = 0,971äâ.åä. i =1

Для определения энтропии объединенного ансамбля воспользуемся выражением (5.27) 2

3

H ( X , Y ) = −∑∑ P ( xk , yi ) log P ( xk , yi ) = i =1 k =1

= −0.1log 0,1 − 0, 25log 0,25 − 0, 2log 0, 2 − −0,3log 0,3 − 0,15log 0,15 = 2, 228äâ.åä. Условные энтропии вычислим по формулам (5.28) и (5.29)

H ( X Y ) = H ( X , Y ) − H (Y ) = 2, 228 − 0,971 = 1,257äâ.åä.

и

H (Y X ) = H ( X , Y ) − H ( X ) = 2,228 − 1,512 = 0,716äâ.åä.

5.1.7. Количество информации достоверности результатов сообщения

при

неполной

Как указывалось выше, информация о том или ином состоянии добывается в результате опыта. Однако не всегда можно с полной достоверностью утверждать, какое именно состояние имело место. Определим среднее количество информации для такой ситуации. Начнем с простейшей задачи. Допустим, что интересующие нас состояния составляют ансамбль X , а результаты сообщений, на основе которых мы выносим суждение о xk , составляют ансамбль Y . Обозначим через P xk yi вероятность того,

(

)

что при известном нам состоянии yi имело место состояние xk . Например, если

k =i ⎧1 P ( xk yi ) = ⎨ при , k ≠ i 0 ⎩ то в результате опыта или сообщения ситуация полностью определена и можно с полной достоверностью утверждать, какое состояние xk имело

22

место. Так как неопределенность появления состояния x до опыта равна H ( X ) , а после опыта неопределенность отсутствует, то в этом случае

среднее количество информации I (Y , X ) , содержащееся в Y относительно X , будет равно I (Y , X ) = H ( X ) . (5.34) Пример. Колода карт состоит из 32 карт от семерки до туза. Вытаскивается из колоды любая карта. Необходимо определить какая карта вытащена, задавая вопросы, на которые даются ответы «да» или «нет». Определить максимальное число вопросов, которое гарантирует определение вытащенной карты. Решение. Так как любая карта может быть вытащена с равной вероятностью, то согласно (5.9) энтропия равна

H ( X ) = log 32 = 5äâ.åä.

Такое же число двоичных единиц должно содержать сообщение об этом событии, т.е. I (Y , X ) = H ( X ) . Ответ «да» или «нет» содержит одну двоичную единицу информации. Следовательно, достаточно задать пять вопросов, ответы на которые должны позволить определить вытащенную карту. Допустим, что вытащен валет треф. Тогда: Вопрос 1: Масть красная? Ответ: Нет. Вывод: Вытащена черная масть. Вопрос 2: Масть пика? Ответ: Нет. Вывод: Вытащена трефа. Вопрос 3: Картинка? Ответ: Да. Вывод: Вытащена трефовая картинка. Вопрос 4: Старше дамы? Ответ: Нет. Вывод: Вытащена трефовая дама или валет. Вопрос 5: Валет? Ответ: Да. Вывод: Вытащен трефовый валет В общем случае, когда 0 < P xk yi < 1 , количество информации

(

)

можно определить следующим образом. Положим, что передаваемое количество информации равно H ( X ) , а принимаемое H (Y ) . Тогда после приема остается неопределенность, которая в среднем может

23

характеризоваться условной энтропией

H ( X Y ) . Иными словами,

H ( X Y ) , есть то количество информации, которое может дать полное знание X , когда известно количество информации, даваемое Y . Следовательно, H ( X Y ) можно рассматривать как то количество информации, которого недостает для полного знания энтропии объединения, когда известна энтропия H (Y ) . Поэтому H X Y можно

(

назвать потерей информации. Если из количества информации

H(X )

вычесть

)

потерю

H ( X Y ) , то получим количество информации I (Y , X ) , которое содержится в принятой совокупности сообщений Y относительно переданной X : I (Y , X ) = H ( X ) − H ( X Y ) . (5.35) Если элементы сообщений X и Y статистически зависимы, то (5.35) информации

переходит к соотношению (5.34), т.е. I (Y , X ) = H ( X ) . Если элементы сообщения X и Y статистически независимы, то I (Y , X ) = 0 , так как H X Y = H ( X ) . Это означает, что состояния

(

)

элемента Y не содержат никакой информации о X . Необходимо заметить, что I (Y , X ) = I ( X , Y ) , так как

H ( X , Y ) = H (Y , X ) = H ( X ) + H (Y X ) = H (Y ) + H ( X Y )

(5.36) (5.37)

Соотношение (5.36) указывает на то, что количество информации, которое содержится в Y относительно X , равно количеству информации, которое содержится в X относительно Y . Поэтому I (Y , X ) и I ( X , Y ) называются полной взаимной информацией. Так как согласно формуле (5.37) условная энтропия может быть выражена в виде H X Y = H ( X , Y ) − H (Y ) ,

(

)

то выражение для полной взаимной информации принимает вид I (Y , X ) = H ( X ) + H (Y ) − H ( X , Y ) . Раскроим содержание этой формулы.

24

(5.38)

m

n

k =1

i =1

I (T , X ) = −∑ P ( xk ) logP ( xk ) − ∑ P ( yi ) log P ( yi ) + m

.

n

−∑∑ P ( xk , yi ) log P ( xk , yi ) k =1 i =1

n

Умножим первую сумму этого соотношения на

∑ P ( yi xk ) , а вторую на i =1

m

∑ P ( xk yi ) , получим k =1

m

n

I (Y , X ) = −∑∑ P ( xk )P ( yi xk ) log P ( xk ) − k =1 i =1

m

n

m

n

−∑∑ P ( yi ) P ( xk yi ) log P ( yi ) + ∑∑ P ( xk , yi ) log P ( xk , yi ) = k =1 i =1 m

k =1 i =1

n

m

n

= −∑∑ P ( xk , yi ) log P ( xk ) −∑∑ P ( xk , yi ) log P ( yi ) + m

k =1 i =1 n

k =1 i =1

+ ∑∑ P ( xk , yi ) log P ( xk , yi ) .

(5.39)

k =1 i =1

Принимая во внимание, что

− log P ( xk ) − log P ( yi ) + log P ( xk , yi ) = log выражение (5.39) принимает вид m

n

I (Y , X ) = ∑∑ P ( xk , yi ) log k =1 i =1

P ( xk , yi )

P ( xk ) P ( yi )

P ( xk , yi )

P ( xk ) P ( yi ) .

,

(5.40)

Формула (5.40) определяет количество информации, содержащиеся в Y относительно X при известных вероятностях P ( xk ) , P ( yi ) и

P ( xk , yi ) .

В качестве иллюстрации рассмотрим следующий простой пример. Пример. В результате наличия помехи при передачи бинарного сообщения вероятность правильного приема состояний ( x1 и x2 ) уменьшается до 0,9. Определить принимаемое количество информации относительно передаваемого.

25

Решение.

Так как P ( x1 ) = P ( x2 ) = 0,5 . Условные вероятности равны

передается

P ( y1 x1 ) = P ( y2 x2 ) = 0,9 P ( y2 x1 ) = P ( y1 x2 ) = 0,1

бинарное

сообщение,

то

.

Используя соотношение (5.32) определим P ( y1 ) и P ( y2 )

P ( y1 ) = P ( y1 x1 ) P ( x1 ) + P ( y1 x2 ) P ( x2 ) = 0,9 ⋅ 0,5 + 0,1 ⋅ 0,5 = 0,5

P ( y2 ) = 1 − P ( y1 ) = 0,5 .

Воспользуемся формулой (5.40). m

n

I (Y , X ) = ∑∑ P ( xk , yi ) log k =1 i =1

m

n

= ∑∑ P ( xk ) P ( yi xk ) log k =1 i =1

(

P ( xk , yi )

P ( xk ) P ( yi )

= ,

P ( yi xk )

)

P ( yi )

так как P ( xk , yi ) = P ( xk ) P yi xk . Следовательно: 2

2

I (Y , X ) = ∑∑ P ( xk ) P ( yi xk ) log

P ( yi xk )

k =1 i =1

P ( yi )

=

0,9 0,1 + 2 ⋅ 0,5 ⋅ 0,1 ⋅ log = 0,532äâ.åä. 0,5 0,5 Если бы помехи не было, то P ( y2 x1 ) = P ( y1 x2 ) = 0 . = 2 ⋅ 0,5 ⋅ 0,9 ⋅ log

В этом случае I (Y , X ) = H ( X ) = 1дв.ед., так как энтропия бинарного сообщения равна одной двоичной единице. Для непрерывных сообщений среднее количество информации, содержащееся в Y относительно X будет определяться выражением

I (Y , X ) = H ( X ) − H ( X Y ) =

∞ ∞

∫

∫ W ( x, y ) log

−∞ −∞ ∞ ∞

=

∫

∫ W ( x, y ) log

−∞ −∞

W ( x, y )

W ( x )W ( y )

где:

26

,

W ( x y) W ( x)

dxdy = (5.41)

∞

H ( X ) = − ∫ W ( x ) log W ( x ) dx − lim log Δx , Δx → 0

−∞

∞ ∞

H(X Y) = − ∫

log Δx . ∫ W ( x, y ) logW ( x y ) dxdy − Δlim x →0

−∞ −∞

H ( X ) , так и условная энтропия

Как энтропия

H(X Y)

обращаются в бесконечность из-за члена lim log Δx . Однако величина Δx →0

I (Y , X ) конечна, так как эти члены одинаковы, но с различным знаком в формуле (5.41). Так как величина условной энтропии H X Y

(

)

может быть сколь

угодно малой (чрезвычайно малая потеря информации), то

I (Y , X ) = H ∗ ( X ) ,

т.е.

среднее

количество

определяться приведенной энтропией H

∗

информации

будет

( X ) непрерывного сообщения.

5.1.8. Частное количество информации Прежде всего, рассмотрим частное содержащееся в yi относительно X . Преобразуем (5.40) к следующему виду m

n

I (Y , X ) = ∑∑ P ( xk , yi ) log k =1 i =1

n

m

i =1

k =1

= ∑ P ( yi ) ∑ P ( xk yi ) log

количество

P ( xk , yi )

P ( xk ) P ( yi )

P ( xk yi )

информации,

= (5.42)

P ( xk )

Это количество информации можно рассматривать как среднее количество информации для всех состояний Y , полученное путем усреднения частных количеств информации, содержащихся в отдельных состояниях yi , усредненных с весами, равными вероятностям P ( yi ) . Естественно, что величина m

I ( yi , X ) = ∑ P ( xk yi ) log k =1

P ( xk yi ) P ( xk )

(5.43)

представляет собой частное количество информации, содержащееся в yi относительно совокупности состояний X .

27

Полное среднее количество информации, Y относительно X , можно теперь записать в виде

содержащееся

в

n

I (Y , X ) = ∑ P ( yi ) I ( yi , X ) .

(5.44)

i =1

Основное свойство частного количества информации состоит в том, что частное количество информации, содержащееся в отдельном состоянии yi , всегда больше либо равно нулю, т.е. величина не отрицательная: I ( yi , X ) ≥ 0 . Из этого свойства вытекают два важных следствия: 1. Так как частное количество информации I ( yi , X ) неотрицательно, то и полное среднее количество информации больше или равно нулю ⎡⎣ I (Y , X ) ≥ 0 ⎤⎦ . 2. Так как I (Y , X ) ≥ 0 , то H ( X , Y ) ≤ H ( X ) .

Таким образом, потеря информации H ( X , Y ) не превосходит энтропии исходного сообщения. Во многих практически важных случаях возникает задача определения частного количества информации, содержащегося в yi

I ( yi , xk ) . Например, по принятому yi , величина которого характеризуется

относительно xk , т.е. определения одиночному

импульсу,

определяется величина xk передаваемого импульсного сигнала в условиях воздействия помехи, которая разрушает информацию об истинной величине передаваемого импульса. Наиболее достоверной в этом случае следует считать ту величину xk , относительно которой содержится наибольшее количество информации. Это частное количество информации, содержащееся в yi относительно xk , равно

I ( yi , xk ) = log

P ( xk yi ) P ( xk )

.

(5.45)

Это частное количество информации (5.45) называют также случайной информацией связи. Рассмотрим основные свойства частного количества информации, содержащегося yi относительно xk . 1.Частное количество информации может иметь как положительные, так и отрицательные значения. Представим формулу (5.45) в виде

28

I ( yi , xk ) = log P ( xk yi ) − log P ( xk ) . Из этого выражения следует: при P xk yi > P ( xk ) → I ( yi , xk ) > 0 .

(

)

Если состояние yi увеличивает вероятность передачи состояния xk по сравнению с вероятностью передачи того же состояния до приема, то частное количество информации – положительно. При P xk yi < P ( xk ) → I ( yi , xk ) < 0 .

(

)

В этом случае знание состояния yi уменьшает вероятность передачи состояния xk по сравнению с априорной.

(

)

При P xk yi = P ( xk ) → I ( yi , xk ) = 0 .

Частное количество информации равно нулю, когда значение принятого сообщения yi не меняет вероятности передачи xk . 2.Частное количество информации бесконечно велико и отрицательно, если P xk yi = 0 .

(

)

Так как lim log z = −∞ , то z →0

P ( xk yi ) =

P ( xk yi ) lim log = −∞ . P ( xk yi ) →0 P ( xk )

3. Частное количество информации, содержащееся в состоянии

yi ,

относительно xk , равно частному количеству информации, содержащейся в состоянии xk относительно yi

I ( yi , xk ) = I ( xk , yi ) .

Особое значение информации. Предположим, что ансамблем X

приобрела

разность

передаваемый

частных

элемент

количеств

характеризуется

x2 ... xm ⎤ ⎡ x1 X =⎢ ⎥. P x P x P x ... ( m )⎦ ⎣ ( 1) ( 2 ) Принято одно состояние yi . Вследствие воздействия помех однозначного соответствия между передаваемыми и принимаемыми состояниями нет. Поэтому наиболее вероятно переданным состоянием следует считать то, относительно которого в принятом состоянии содержится наибольшее количество информации.

29

Частные количества информации, содержащиеся в yi относительно взятых xk и xr , соответственно равны

I ( yi , xk ) = log

P ( xk yi ) P ( xk )

и I ( yi , xr ) = log

P ( xr yi ) P ( xr )

.

Разность частных количеств информаций будет равна

I ( yi , xk ) − I ( yi , xr ) = log

P ( xk yi ) P ( xr )

P ( xr yi ) P ( xk )

.

(5.46)

Если величина разности (5.46) является положительной, то наиболее вероятно, что было передано состояние xk , если – отрицательной, то наиболее вероятно, что было передано состояние xr . Формула (5.46) может быть представлена также в другом виде. Так как P ( x k , yi ) = P ( xk ) P yi xk = P ( yi ) P xk yi ,

(

то

P ( xk yi )

P ( yi xk )

=

P ( xk )

)

P ( yi )

(

)

.

(5.47)

.

(5.48)

Аналогично получим

P ( xr yi ) P ( xr )

=

P ( yi xr ) P ( yi )

Подставляя (5.47) и (5.48) в (5.46), получим

I ( yi , xk ) − I ( yi , xr ) = log

P ( yi xk ) P ( yi xr )

.

(5.49)

Разность частных количеств информации, представленная в виде (5.49), наиболее удобна для решения ряда важных практических задач. Для непрерывных сообщений частное количество информации, которое содержится в y относительно X , определяется соотношением

I ( y, X ) =

∞

∫ W ( x y ) log

−∞

W ( x y) W ( x)

dx .

Следовательно, полное среднее количество относительно X можно представить в виде

I (Y , X ) =

∞

∫ W ( y ) I ( y, X ) dy ,

−∞

30

(5.50) информации

Y

а частное количество информации, содержащееся в одиночном состоянии y относительно одиночного состояния x из совокупности X , (случайную информацию связи) определять формулой

I ( y, x ) = log

W ( x y)

(5.51)

W ( x)

Разность частных количеств информаций сообщений можно представить соотношением

I ( y, xk ) − I ( y, xr ) = log

W ( y xk ) W ( y xr )

для

непрерывных

.

(5.52)

Проиллюстрируем вычисление частного количества информации yi относительно xk на следующих примерах. Пример. По двоичному симметричному каналу связи с помехами передается сообщение с ансамблем состояний

x1 ⎡ X =⎢ 3 ⎢ P ( x1 ) = ⎣ 4

⎤ 1⎥. P ( x2 ) = ⎥ 4⎦ x2

Из-за наличия помех вероятность правильного приема каждого из состояний ( x1 и x2 ) уменьшается до 7 . Определить частное количество

8

информации I ( x1 , y2 ) . Решение. По условию задачи

3 1 7 P ( x1 ) = , P ( x2 ) = , P ( y1 x1 ) = P ( y2 x2 ) = , 4 4 8 1 P ( y1 x2 ) = P ( y2 x1 ) = 8

Частное количество информации определим по формуле

I ( x2 , y2 ) = log

P ( x2 y2 ) P ( x2 )

= log

(

)

P ( y2 x2 ) P ( y2 )

,

(

)

так как P ( x2 , y2 ) = P ( x2 ) P y2 x2 = P ( y2 ) P x2 y2 .

(

Величина P y2 x2

)

известна по условию и равна 7 . P ( y2 )

8

определим согласно формуле (5.32).

P ( y2 ) = P ( x2 ) P ( y2 x2 ) + P ( x1 ) P ( y2 x2 ) =

31

1 7 3 1 10 ⋅ + ⋅ = 4 8 4 8 32

Следовательно, I ( x2 , y2 ) будет равно

7 32 I ( x2 , y2 ) = log ⋅ = 1, 485äâ.åä. 8 10 Пример.

На выходе фотоприемника имеется колебание y ( t ) = x ( t ) + n ( t ) , где x ( t ) - полезный сигнал, n ( t ) - помеха – независимые нормальные случайные процессы с нулевым средним значением и дисперсиями, равными

σ x2 и σ n2 соответственно. Определить

частное количество информации I ( x, y ) , которое содержится в принятом колебании y ( t ) о сигнале x ( t ) . Решение. По условию задачи

W ( x) =

1

σ x 2π

W ( y x) =

e

x2 2σ x2

−

1

σ n 2π

e

,

( y− x) − 2σ n2

2

=

1

σ n 2π

e

n2 − 2 2σ n

.

= W (n)

Так как x ( t ) и n ( t ) - независимые, то σ y = σ x + σ n , причем 2

W ( x) =

−

1

σ y 2π

e

y2 2σ y2

2

.

По формуле (5.51) находим

I ( x, y ) = log

σy 1 e ln = ln 2 σ n

W ( y x) W ( y)

y2 n2 − 2 2 2σ y 2σ n

1

−

n2 2σ n2

e σ n 2π 1 = = ln y2 ln 2 − 2 1 2σ e y σ y 2π

σ x2 1 ln 1 + 2 + = ln 2 σn

1 ⎡ n2 y2 ⎢− + + ln 2 ⎢ 2σ n2 2 σ x2 + σ n2 ⎣

(

32

)

⎤ ⎥ ⎥ ⎦

2

5.1.9. Понятие об ε - энтропии Допустим, что стоит задача о воспроизведении функции X по случайной функции Y . Будем искать количество информации, содержащееся в случайной функции Y относительно случайной функции X , при заданных требованиях к точности воспроизведения X . При выборе критерия воспроизведения от него можно требовать, чтобы плотность вероятностей совместного распределения W ( x, y ) принадлежала к некоторому классу функций. В качестве такого критерия можно рассматривать средний риск, который характеризует качество принятия решений:

R=

∫ ∫

Ï

r r Ω( x ) Ω( y )

∫ ∫

=

r r Ω( x ) Ω( y )

r r

r r

r

r

( x , y )W ( x , y ) d Ω ( x ) d Ω ( y ) =

r r r r r r r , Ï ( x , y )W ( x )W ( y x ) d Ω ( x ) d Ω ( y )

r r

r

(5.53)

r

Ω ( y ) соответственно где: Ï ( x , y ) - функция потерь, Ω ( x ) и пространства функций X и Y . В этом случае требования к точности воспроизведения можно задать в виде R≤ε, (5.54) где ε - приемлемо малая величина. r r При известных функции потерь Ï ( x , y ) и априорной плотности r

вероятностей W ( x ) можно добиться выполнения условия (5.54), варьируя

( r r)

условной плотностью вероятностей W y x . При этом, возможно, условию (5.54) будет удовлетворять не одна, а несколько функций r r r r W y x и, следовательно, функций W ( x , y ) .

(

)

Оптимальной функцией

r r W ( y x ) будет та, при которой полное

среднее количество информации I (Y , X ) , содержащееся в Y относительно X , будет минимальным, так как выбор такой функции позволяет при получении минимального количества информации выполнить заданные требования к точности воспроизведения. Это наименьшее значение I (Y , X ) , при котором удовлетворяются заданные требования к точности воспроизведения, назвал ε - энтропией [5]. Следовательно, ε - энтропия равна

33

А.Н. Колмогоров

H ε ( X ) = Inf ⎡⎣ I (Y , X ) ⎤⎦ .

(5.55)

R ≤ε

Таким образом, ε - энтропия равна минимальному среднему количеству информации, которое должно содержать сообщение о случайной функции X при условии выполнения заданных требований к точности ее воспроизведения.

5.1.10. Избыточность сообщений При одинаковом количестве различных состояний среднее количество информации, приходящееся на одно сообщение, или энтропия может быть различным в зависимости от статистических характеристик состояний. Сообщения, для которых энтропия максимальна, являются оптимальными в смысле наибольшего количества информации. Мерой количественной оценки того, насколько данное сообщение отличается от соответствующего ему оптимального, служит коэффициент сжатия, численно равный отношению энтропии данного сообщения к энтропии ему оптимального

μ=

H(X )

H max ( X )

.

(5.56)

Для того чтобы оценить, какая часть данного сообщения является избыточной по сравнению с соответствующим ему оптимальным сообщением, используется величина, называемая коэффициентом избыточности:

r=

H max ( X ) − H ( X ) H max ( X )

=1− μ .

(5.57)

Например, в русском алфавите 31 буква, если не различать «е» и «ё», а также твердый и мягкий знаки. Если к этим буквам алфавита добавит пробел между словами, то получится 32 состояния. Если бы все буквы появлялись с равной вероятностью, то энтропия такого языка была бы оптимальной и равна H max ( X ) = log 32 = 5 дв.ед. В действительности вероятность появления в тексте букв различны: так вероятность появления буквы «о» равна 0,09, буквы «ф» - 0,002. Кроме того, между буквами имеют место значительные корреляции. Проведенные исследования показали, что избыточность наиболее распространенных европейских языков превышает 50% [6 , 7]. Следует отметить, что если неоптимальные и оптимальные сообщения содержат одинаковое количество информации, то число

34

элементов n неоптимального сообщения всегда будет больше числа элементов n0 , соответствующего ему оптимального сообщения. Таким образом, избыточность приводит к увеличению времени передачи информации. Для уменьшения избыточности можно осуществлять функциональное преобразование состояний, отыскивая такую функциональную зависимость, при которой плотности вероятностей будут приближаться к нормальному или равновероятному распределению. Следует также заметить, что при передачи сообщений в условиях воздействия помех избыточность может быть использована для повышения помехоустойчивости сообщений.

5.2. Передача информации 5.2.1. Дискретные каналы без помех Каналы передачи сообщений или информационные каналы преобразуют последовательности входных сообщений одного пространства в выходные сообщения другого пространства. Информационные каналы классифицируются в соответствии с характеристиками входного и выходного пространств и распределением вероятностей, управляющим преобразованием одного пространства в другое. Канал называется дискретным, если входное и выходное пространства дискретны. Функциональная схема дискретного информационного канала (дискретного канала передачи сообщений) без помех представлена на рис. 5.1

X КУ

X

'

Y

КС

Y

'

ДКУ

Рис.5.1 Функциональная схема дискретного информационного канала без помех На рис. 5.1 приведены следующие обозначения:

X - сообщение от источника; X ' - сигнал на входе канала связи; Y ' - сигнал на выходе канала связи; Y - сообщение для получателя; КУ – кодирующее устройство; КС – канал связи; 35

ДКУ – декодирующее устройство. Сообщение на вход информационного канала подается от источника сообщений. Источником сообщения является объект, состояния которого определяются физическим процессом, протекающим в пространстве или во времени по случайному закону. Источник дискретных сообщений формирует некоторую последовательность элементов (символов), порядок следования которых случаен и характеризуется совокупностью вероятностей. При этом появляющиеся элементы могут иметь вероятностные связи с предшествующими элементами. Источник дискретных сообщений называют эргодическим, если статистические свойства сообщения можно определить по одной достаточно длинной реализации. Для таких источников вероятностные связи распространяются на конечное число предшествующих элементов. Любая достаточно длинная эргодическая последовательность будет типичной. Это означает, что частота появления любого элемента в такой последовательности с вероятностью сколь угодно близкой к единице равна вероятности появления этого элемента, а частота появления i элемента после j мало отличается от условной вероятности появления i элемента, если перед ним появился j элемент, и т.д. Таким образом, достаточно длинная последовательность, создаваемая эргодическим источником, с вероятностью сколь угодно близкой к единице характеризует вероятности появления отдельных элементов и вероятностные связи между ними. Входное дискретное сообщение X преобразуется кодирующим устройством в сигнал. Сигналы передаются по каналу связи и на его конце восстанавливаются в сообщение для потребителя. Во многих дискретных информационных каналах используются специальные кодирующие и декодирующие устройства в цепях электрических сигналов. С информационной точки зрения физическая реализация '

'

кодированных сигналов на передающей X и на проемной Y сторонах, а также выходных сообщений Y , значения не имеет. Важным является лишь '

'

'

установление соответствия между X и X , между Y и X и, наконец, '

между Y и Y . '

'

При отсутствии шумов можно принять Y = X . Способ же кодирования должен быть таким, чтобы по полученным кодированным сигналам можно было однозначно восстановить переданное сообщение. Это накладывает некоторые ограничения на допустимые комбинации элементов кодов. Например, если закодировать элементы x1 → 1 , x2 → 0 , а

x3 → 01, то при получении сигнала 01 мы не знаем было ли сообщение

36

x3 или два сообщения x2 x1 . Следовательно, комбинацию x2 x1 передавать нельзя. Могут накладываться и другие ограничения. Совокупность запретов, обусловленных способом кодирования и построения аппаратуры, относятся к фиксированным ограничениям, накладываемым на информационный канал.

5.2.2. Пропускная способность дискретного канала без помех Обозначим через X T сообщение источника за время T , а соответствующие этому сообщению сигналы на входе и выходе канала связи

'

'

и принимаемое сообщение через X T , YT и YT соответственно.

Очевидно, что полное среднее количество информации I (YT , X T ) , содержащееся в YT относительно X T , зависит от статистических характеристик состояний и от интервала времени T . Рассмотрим предел

lim

T →∞

I (YT , X T ) T

.

(5.58)

При передаче сообщений эргодического источника при T → ∞ с вероятностью, сколь угодно близкой к единице, последовательность сообщения X T будет типичной. Например, простейшей типичной последовательностью является совокупность возможных состояний сообщения, состоящей из двух элементов a1 и a2 , вероятности появления которых соответственно равны P1 и P2 = 1 − P1 . При этом элементы независимы, т.е. вероятность появления очередного элемента не зависит от значений предшествующих элементов. Вероятность того, что в последовательности из n элементов будет r элементов a1 и n − r

элементов a2 определяется биномиальным законом

Pr ,n − r = Cnr P1r (1 − P1 ) , n! r где Cn = - число различных последовательностей, содержащих r !( n − r )! r элементов a1 и n − r элементов a2 . При увеличении числа элементов n значения r и n − r в каждой n−r

реализации последовательности будет стремиться к математическим

37

ожиданиям Pn и (1 − P1 ) n и именно такие последовательности будут 1 n→∞ вероятность появления типичной типичными. При последовательности с соотношением элементов, строго соответствующим их математическим ожиданиям, стремится к единице, а все типичные последовательности с элементами a1 и элементами a2 имеют одинаковую вероятность появления, равную (1− P ) n P1P1n (1 − P1 ) 1 . Аналогичный результат получается и для совокупности состояний из m независимых элементов a1 , a2 ,..., am с вероятностями их появления

P1 , P2 ,..., Pm .

В этом случае число последовательностей длительности n равно

различных

типичных

n! ( Pn 1 )!( P2 n )!⋅⋅⋅ ( Pm n )! и все они имеют одинаковую вероятность появления

PÒèï = P1P1n P2P2 n ⋅⋅⋅ PmPm n . Приведенные результаты можно обобщить и на случай корреляций между элементами. Так как последовательность сообщений источника X будет типичной, то и последовательность выходных сообщений Y также будет типичной [8], а поэтому следует ожидать, что предел (5.58) может являться некоторой характеристикой работы информационного канала, указывающей на полное среднее количество информации, получаемое на выходе канала за единицу времени.

V (Y , X ) = lim

T →∞

I (YT , X T ) T

.

(5.59)

V (Y , X ) - определяет скорость передачи информации на выходе информационного канала. В общем случае скорость передачи информации зависит от статистических характеристик источника сообщения, метода кодирования и свойств канала. Например, при одном и том же способе кодирования длительность элементов может быть различной и зависит от полосы пропускания канала. Следовательно, различной будет и скорость передачи информации. Пропускной способностью информационного канала называется максимальное значение скорости передачи информации при заданных ограничениях

38

C = Sup ⎡⎣V (Y , X ) ⎤⎦ ,

(5.60)

β1∈B1

... β k ∈Bk

βi ∈ Bi указывает на то, параметр канала βi удовлетворяет заданному ограничению (принадлежит некоторой области Bi ). где

К ограничениям можно отнести, например, длительность передаваемых элементов, используемый код, методы декодирования и т.п. Способ определения пропускной способности информационного канала зависит от совокупности ограничений. Для полностью определенного информационного канала пропускная способность определяется статистическими характеристиками источника сообщений. Следует отметить, что пропускная способность есть характеристика собственно информационного канала и не зависит от производительности источника (средней скорости поступления информации от источника), которая равна

V ( X ) = lim

H ( XT ) T

T →∞

.

(5.61)

Аналогично информационному каналу пропускная способность канала связи определяется зависимостью

(

)

Cc = Sup ⎡V YT' , X T' ⎤ , ⎣ ⎦ α1∈A1 ... α i ∈Ai

где

(

)

V Y ' , X ' = lim

(

I YT' , X T'

)

T

T →∞ X T' и YT'

(5.62)

- скорость передачи информации по

каналу связи, - сообщения, длительностью T , на входе и выходе канала связи. Так как канал связи является частью информационного канала, то имеется возможность использования оптимальных сигналов, при которых производительность кодирующего устройства будет наибольшей

( ) '

V X = lim

T →∞

(

I X T' , X T T

).

Реальный информационный канал обладает наличием дополнительных ограничений по способу кодирования, виду модуляции и структуре канала, что приводит к недоиспользованию пропускной способности канала. Поэтому

39

Cc ≥ C . Обратного неравенства быть не может. На основании приведенных общих соотношений, учитывая, что '

'

при отсутствии помех можно считать YT = X T и YT = X T , получим формулы для определения пропускных способностей дискретного информационного канала без помех и дискретного канала связи соответственно в виде

⎡ H ( XT ) ⎤ C = Sup ⎢ lim ⎥, T →∞ T ⎣ ⎦

(5.63)

( ) ⎤⎥ ,

⎡ H X T' Cc = Sup ⎢ lim ⎢T →∞ T ⎣ так как и

(5.64)

⎥ ⎦

I (YT , X T ) = I ( X T , X T ) = H ( X T )

(

) (

)

( )

I YT' , X T' = I X T' , X T' = H X T'

Число возможных последовательностей сообщения длительностью T будем считать равными nT . Тогда исходя из свойства энтропии дискретных сообщений, согласно которому энтропия будет максимальна, если все последовательности равновероятны, соотношения (5.63) и (5.64) соответственно примут вид

log nT , T →∞ T

C = lim

(5.65)

log nTc . (5.66) T →∞ T В формуле (5.66) nTc - число всех возможных последовательностей кодированных сигналов длительностью T .

Cc = lim

В качестве иллюстрации рассмотрим канал, в котором используется элементы с α различными состояниями. Длительность элементов одинакова и равна τ . Других ограничений нет. Для определения пропускной способности канала связи составим последовательность из m элементов. Длительность такой последовательности равна T = mτ . При T → ∞ число элементов в одной последовательности m → ∞ . Всего можно образовать

α m последовательностей длиной в m элементов. 40

Следовательно, nTc = α . Таким образом, пропускная способность канала m

связи Cc согласно (5.66) равна

log α m log α Cc = lim = . m →∞ mτ τ

(5.67)

При использовании двоичного кода ( α = 2 - два состояния) получим Cc =

1 äâ.åä . τ ñåê

Единица пропускной способности дискретного канала

äâ.åä ñåê

носит название áî ä . Пример. Сообщение состоит из четырех состояний x1 , x2 , x3 , x4 с

вероятностями P ( x1 ) = P ( x2 ) = P ( x3 ) = P ( x4 ) = 0,25 и используется двоичный код. Сообщение кодируется по схеме: x1 → 00 , x2 → 01, x3 → 10 , x4 → 11 . Длительность элементов двоичного кода одинакова и равна 2 мкс. Определить пропускную способность такого канала связи. Решение. Так как передаваемые состояния равновероятны, то в длинной последовательности сообщений число нулей и единиц будет одинаково. Следовательно, вероятности передачи 0 и 1 равны. Отсюда следует, что

Cc =

1

τ

= 5 ⋅105 бод.

Рассмотрим производительность кодирующего устройства. Символы кода имеют одинаковую длительность, равную τ . Длительность сигнала на выходе кодирующего устройства равна T = mτ (последовательность из m элементов). Энтропия такого сигнала будет равна

( )

( )

H X T' = mH X ' . Тогда производительность кодирующего устройства определится зависимостью

( ) '

V X = lim

T →∞

(

I X T' , X T

) = lim mH ( X ) = H ( X ) . '

m →∞

mτ

'

τ

Естественно, что при такой производительности кодирующего устройства пропускная способность информационного канала будет определяться величиной

41

( ) ≤C ,

H max X '

C=

τ

c

( )

H max X '

где

-

максимально

возможное

значение

энтропии

кодированного сигнала с учетом накладываемых ограничений. Пример. Сообщение состоит из x1 , x2 , x3 , x4 с вероятностями:

P ( x1 ) = 0,5 , P ( x1= 2 ) = 0, 25 , P ( x3 ) = P ( x4 ) = 0,125 . Длительность элементов кодирующего сигнала одинакова и равна τ = 2 мкс. Сообщение

кодируется по схеме x1 → 00 , x2 → 01, x3 → 10 , x4 → 11 . Определить производительность кодирующего устройства. Решение. Каждая двоичная комбинация, соответствующая состояниям x1 , x2 , x3 , x4 будет передаваться с указанными вероятностями. При этом, длительность одной двоичной комбинации равна 2τ . Следовательно, получим 4

( ) = − ∑ P ( x ) log P ( x ) = 0, 437 ⋅10

H X'

( ) 2τ V (X ) Cc невозможно. Доказательство теоремы. Число типичных последовательностей из m элементов достаточно большой длительности mτ = T , создаваемых источником сообщений X , можно выразить через энтропию источника H ( X ) в виде mH X nT = 2 ( ) . (5.68) Так как при m → ∞ источник с вероятностью, близкой к единице, формирует лишь типичные последовательности, имеющие равную

43

1

вероятность

nT

, то энтропия такого источника равна log nT , а

суммарное количество информации, содержащееся в m элементах источника с энтропией H ( X ) при m → ∞ равна mH ( X ) . Отсюда

mH ( X ) = log nT .

Следовательно, приходим к соотношению (5.68). Учитывая, что производительность источника

V (X ) =

H(X )

τ

,

выражение (5.68) принимает вид TV X nT = 2 ( ) . Если эти последовательности с достаточно большой протяженностью T будем кодировать цифровыми комбинациями X оптимальным способом, то число различных кодовых комбинаций X будет

'

nTc = 2TCc .

где

ε

Теперь условие V ( X < cc ) запишем в виде Cc = V ( X ) + ε , - сколь угодно малая величина. Тогда nTc ⎡TC −TV ( X ) ⎦⎤ = 2⎣ c = 2T ε .

nT

Если принять

ε>

log e , то TnT

1 nTc 1 1 > e nT = 1 + + + ⋅⋅⋅ nT nT 2!nT2

или

nTc > nT + 1 .

Таким образом, при выполнении условия V ( X ) < Cc число '

различных кодовых комбинаций X , по крайней мере, на одну больше числа типичных последовательностей источника. Эту избыточную кодовую комбинацию поставим в соответствие всем истинным последовательностям, предопределив их недостоверную передачу. Так как при T → ∞ и m → ∞ вероятность появления нетипичной последовательности стремится к нулю, а величина ε , определяющая

44

требуемое превышение пропускной способности канала над производительностью источника, бесконечно малая, то первую часть теоремы можно считать доказанной. Для второй части теоремы при V ( X ) > Cc получим неравенство

nT > nTc + 1 . Таким образом, даже при оптимальном кодировании, обеспечивающем предельную скорость передачи информации по каналу уже невозможно закодировать и передать все типичные последовательности nT . Оптимальное кодирование для дискретного канала без помех сводится к предельному укрупнению всей совокупности возможных состояний канала. При этом одновременно устраняется корреляция между элементами укрупненной совокупности возможных состояний и благодаря типичных последовательностей обеспечивается равная вероятность появления элементов. В результате устраняется избыточность сообщения, передаваемого по каналу. В качестве иллюстрации основной теоремы Шеннона для дискретного канала без шумов рассмотрим пример, в котором используется способ кодирования Шеннона – Фано. Сущность этого способа кодирования заключается в том, что все состояния сообщения выписываются в порядке убывания вероятностей их появления. Затем производится последовательное деление на подгруппы ❶ и ❷ из условия возможного равенства сумм вероятностей появления состояний в подгруппах ❶ и ❷. Номер подгруппы, в которую попадает данное состояние при каждом делении, определяет символ (элемент) на соответствующей позиции записи кода. Если, например, сообщение состоит из состояний x1 , x2 , x3 , x4 с вероятностями P ( x1 ) = 0,5 , P ( x2 ) = 0, 25 , P ( x3 ) = P ( x4 ) = 0,125 и с длительностью каждого τ = 2 мкс, то построение кода для этого сообщения определяется согласно табл. 5.1 Таблица 5.1 Состояние Вероятность Номера Символы Длительность деления на кода сигнала подгруппы Позиции 1 2 3 1 2 3 0,5 0 τ x1 ❶ 0,25 1 0 2τ x2 ❶ ❷ 0,125 1 0 3τ x ❶ 1 3

x4

0,125

❷

45

❷

1

1

1

3τ

Подгруппе ❶ соответствует символ кода «0», а подгруппе ❷ «1». Как следует из табл. 5.1 состоянию x1 соответствует кодовый сигнал «0», x2 - «10», x3 - «110», x4 - «111». Из таблицы видно, что полученный код является неравномерным, так как сигналы разных состояний могут иметь различное число символов, а, следовательно, и различную длительность. Средняя длительность сигнала, затрачиваемая на передачу одного состояния, в данном примере определяется выражением:

τ c = τ P ( x1 ) + 2τ P ( x2 ) + 3τ P ( x3 ) + 3τ P ( x4 ) = 3,5 ⋅10−6 c . Скорость передачи информации 4

V (Y , X ) =

H(X )

τc

=

−∑ P ( xi ) log P ( xi ) i =1

τc

=

1,75 äâ.åä . = 0,5 ⋅ 106 ñåê 3,5

Пропускная способность такого канала

Ññ = 0,5 ⋅ 106

äâ.åä . ñåê

Как видно из приведенного примера, используя код Шеннона – Фано, удалось полностью согласовать статистические характеристики источника со свойствами канала. Именно этим примером К.Шеннон проиллюстрировал свою основную теорему [10]. Однако это не всегда удается. Следует обратить внимание на то, что приближение скорости передачи информации к пропускной способности канала связи при кодировании и декодировании связано с задержкой передачи сообщения. Величина этой задержки достигает двойного значения длительности сообщения. Однако теорема Шеннона играет важную роль, как предельная теорема, которая послужила толчком к развитию прикладной теории кодирования. Отметим также, что надежность отождествления передаваемых сообщений в дискретных информационных каналах без помех определяется только операцией кодирования, так как нарушение соответствия передаваемого и принимаемого сообщения в каналах связи исключается.

46

5.2.4. Дискретные каналы с помехами Функциональная схема дискретного информационного канала с помехами представлена на Рис.5.2 и отличается от схемы, приведенной на Рис.5.1 наличием источника помех (ИП).

X КУ

X'

Y

Y'

КС

ДКУ

ИП

Рис.5.2 Функциональная схема дискретного информационного канала с помехами. К помехам относятся естественные и искусственные помехи. А также собственные шумы канала связи, например, для открытых оптических систем связи естественной помехой является фоновая засветка, собственными шумами канала связи – темновые шумы фотоприемника, тепловые шумы нагрузки и шумы входных каскадов электронной схемы. Для радиотехнических систем легко создаются искусственные помехи. Воздействие помех приводит к искажению передаваемых информационных параметров (состояний) сигналов. В результате чего нарушается взаимно – однозначное соответствие между параметрами '

сигналов на выходе и входе канала связи. При передаче параметра xi '

параметры сигнала на выходе канала связи yi могут принимать различные '

значения из–за воздействия помехи. В общем случае параметр yi может принимать множество различных значений и принятие решения в этом случае основывается на выбранном статистическом критерии качества. Основные соотношения для дискретного канала с помехой в теории информации выведены из условия равномерно ограниченной '

ошибки при принятии решения о передаваемом параметре xi . В этом

47

(

)

P yi' xi' , т.е.

случае вероятность правильного принятия решения '

условная вероятность того, что при передачи параметра xi будет принято '

решение yi справедливо соотношение [8]

(

)

P yi' xi' ≥ Pï ð , где Pï ð - вероятность правильного принятия решения для всех параметров (состояний) сообщения.

5.2.5. Пропускная способность канала с помехами Соотношения (5.59), (5.60), (5.62), (5.64), приведенные в разделе 5.2.2, являются общими и справедливы для дискретных каналов с помехой. Разница между каналами без помех и с помехами заключается только в способе вычисления полного среднего количества информации, содержащегося

в

последовательности

выходных

сигналов

YT'

'

относительно входных X T .

(

'

'

Для вычисления I YT , X T

)

воспользуемся формулами (5.35) и

(5.36), в соответствии с которыми получим

(

)

(

( )

)

(

( )

)

I YT' , X T' = H YT' − H YT' X T' = H X T' − H X T' YT' , '

(5.69)

'

где X T и YT - сигналы длительностью T на входе и выходе канала связи. Будем, при этом, исходить из предположения, что помеха в канале связи имеет эргодический характер, а, следовательно, при длительной передачи сигнала образует типичную последовательность. Будем также рассматривать только информационные каналы без памяти или постоянные каналы [11], у которых на каждый передаваемый элемент помеха воздействует независимо от того, какие элементы передавались ранее, т.е. помеха не вызывает дополнительных корреляционных связей между элементами. Скорость передачи информации по каналу связи в этом случае в соответствии с (5.59) и с учетом (5.69) можно представить в виде

(

'

'

)

V Y , X = lim = lim

T →∞

(

( )

T

T →∞

H YT' − H YT' X T' T

(

I YT' , X T'

)=

) = lim H ( X ) − H ( X ' T

T →∞

48

T

' T

YT'

).

(5.70)

Для последовательностей длительностью T , содержащей элементов, имеем:

( )

( )

( )

H YT' = mH Y ' ,

(

)

( )

H X T' = mH X ' ,

(

) (

)

(

m

)

H YT' X T' = mH Y ' X ' , H X T' YT' = mH X ' Y ' . Учитывая, что T = mτ c , где τ c - средняя длительность элемента, из (5.70) получим:

(

'

V Y , X = lim

T →∞

'

= lim

mτ c

T →∞

= Или

'

τc

(

'

τc

)

(

( )

τc

)

τc

.

(5.71)

( X ) −V ( X Y ) '

( ) (

)

)=

T X ' ⎤ H Y' H Y' X' ⎦= − =

( ) − H (X Y ) =V

H X

'

'

(

( )

H YT' − H YT' X T'

) m ⎡ H (Y ) − H (Y ⎣ '

'

'

)

V Y ', X / = V Y ' −V Y ' X ' ,

(5.72)

( ) - производительность кодирующего устройства; V (Y ) - поток информации на выходе канала связи; '

где: V X

'

(

)

V X' Y' =

(

H X ' Y'

)

τc

-

апостериорная

энтропия

за

единицу

времени, которая носит название ненадежность канала. Из соотношения (5.64) следует, что пропускная способность канала связи с помехой будет определяться зависимостями:

( ) ( ( ) (

) )

Cc = Sup ⎡V X ' − V X ' Y ' ⎤ , ⎣ ⎦ Cc = Sup ⎡V Y ' − V Y ' X ' ⎤ . ⎣ ⎦

(5.73) (5.74)

Зависимости (5.73) и (5.74) равноправны и дают одно и тоже значение Cc , а использование каждого из них определяется удобством проводимого анализа. Как видно из соотношения (5.73) пропускная способность канала с помехами определяется как предельное количество информации, которое достигает выхода канала в единицу времени, если на вход в единицу

49

времени поступает максимальное количество информации, которое только может быть воспринято каналом при отсутствии помех. Пропускная способность дискретного канала с помехами, как видно

из

(5.73)

зависит

от

ненадежности

(

)

V X' Y' ,

канала

характеризующей средние потери информации, приходящейся на один элемент, из-за действия помехи. При этом ненадежность канала согласно (5.23) может быть представлена в виде

(

'

)

'

V X Y =−

P ( yi' ) P ( xk' ∑∑ τ n

1

m

i =1 k =1

)

(

)

yi' log P xk' yi' .

Учитывая, что

P

( ) P( yi'

xk'

yi'

) = P( ) P( xi'

yk'

xi'

)

получим

(

)

V X' Y' = −

1

τ

n

∑∑ P xk' P yi' xk' log i =1 k =1

( ) = ∑ P( x ) P( y x ) , m

' k

k =1

( ) ( ) . ) ∑ P( x ) P( y x )

( ) (

m

P

и

yi'

P xk' P yi' xk'

m

' k

k =1

' i

' i

' k

(5.75)

' k

Из приведенного выражения (5.75) видно, что ненадежность канала '

зависит как от статистических характеристик входного сообщения X , так и от вероятностных характеристик искажения элементов сообщения из-за помехи. Эти вероятностные характеристики могут быть заданы матрицей условных вероятностей:

( ) P( y x ) P( y x ) P( y x ) P y1' x1' ' 2

(

' 1

...

P yn' x1'

( ) P( y x ) .

' 1

' 2

... P y1' xm'

' 2

' 2

...

...

) P( y x ) ' n

' 2

' 2

...

(

' m

...

... P yn' xm'

)

При отсутствии помех ненадежность канала равна нулю

(

)

V X ' Y ' = 0. В этом случае пропускная способность канала будет равна

( ) '

Cc = SupV X = Sup

( ),

H X'

τc

т.е. пропускной способности канала без помех.

50

В том случае, когда помеха настолько велика, что сообщения на

X ' и выходе Y '

входе

независимыми,

(

канала связи становятся статистически

(

)

( )

H X' Y' = H X ' ,

тогда

) ( )

а

значит

и

V X ' Y ' = V X ' . Следовательно, пропускная способность такого канала будет минимальной и равна нулю, т.е. Cc = 0 . Таким образом, в зависимости от уровня помехи пропускная способность дискретного канала с помехами может меняться с учетом (5.67) в пределах

1 0 ≤ Cc ≤ log α .

(5.76)

τ

Пример. ограничений

По

бинарному

передаются

длительностью

два

каналу элемента

( )

связи

без

фиксированных

x1' и

x2'

с

( )

одинаковой

τ и вероятностями P x1' = P x2' = 0,5 . На приемной

стороне решающее устройство разделяет принимаемые элементы в '

'

'

области Y1 и Y2 так, что, если элемент попадает в область Y1 , то '

'

принимается решение о том, что передан элемент x1 , а если - в область Y2 ,

(

'

'

то – элемент x2 . Матрица условных вероятностей P Y X

P( y x ) = P ( ) , P( y x ) = P P( y x ) = P P ( y x ) = P и P ( y x ) = P - вероятности P y1' x1' = P11 ' 2

' 1

' 1

21

' 2

11

решения,

(

' 1

)

' 1

' 2

12

' 2

' 2

22

' 2

) Естественно, что P ( y x ) = 1 − P

) имеет вид

правильного принятия

22

(

'

P y2' x1' = P21 и P y1' x2' = P12 - вероятности ошибочных решений. ' 1

' 1

21

(

'

'

)

и P y2 x2 = 1 − P12 .

Определить пропускную способность канала связи. Решение. В соответствии с формулами (5.73) и (5.75) запишем

51

( ) (

)

Cc = Sup ⎡V X ' − V X ' Y ' ⎤ = ⎣ ⎦ 1

1

τ

τ

= log 2 +

∑∑ P ( )P ( n

m

i =1 k =1

xk'

yi'

xk'

( ) − H (X Y ) = '

H X'

τ

τ

( ) ( ) = log ) ∑ P( x ) P( y x ) P xk' P yi' xk'

m

' i

' k

( ) ( ) ( ) ( )

⎤ ⎥ ⎥= ⎥ ⎥ ⎦

k =1

' k

⎡ n m P xk' P yi' xk' 1 ⎢⎢ = 1 + ∑∑ P xk' P yi' xk' log m τ ⎢ i =1 k =1 ' ' ' P x P y xk ∑ k i ⎢ k =1 ⎣ ⎡ P11 P12 = 0,5 ⎢ 2 + P11 log + P12 log + P P P P + + 11 12 11 12 ⎣ P21 P22 ⎤ + P21 log + P22 log ⎥= P21 + P22 P21 + P22 ⎦

( ) (

=

)

'

1 − P21 P12 0,5 ⎡ + P12 + ⎢ 2 + (1 − P21 ) τ ⎣ 1 − P21 + P12 1 − P21 + P12 1 − P21 1 − P12 ⎤ + P21 + (1 − P12 ) ⎥ 1 − P12 + P21 1 − P12 + P21 ⎦

Проанализируем полученное выражение в зависимости от вероятностей ошибочных решений. А.) Вероятности ошибочных решений одинаковы при передаче '

'

'

'

элементов x1 и x2 , т.е. P12 = P21 = Pî ø . Результаты расчетов пропускной способности канала связи приведены в виде графика функции Cc Pî ø τ на Рис 5.3 ( Cc Pî ø τ относительная пропускная способность канала связи). Из графика видно, что при отсутствии помехи Pî ø = 0 пропускная способность достигает максимального значения, равного значению Cc канала без помех. С ростом Pî ø пропускная способность канала падает и достигает минимального значения, равного нулю, при Pî ø = 0,5 . И это естественно, так как при передаче каждого из элементов x1 и x2 на выходе канала с равной вероятностью может

52

'

'

быть принято решение y1 и y2 . С дальнейшим ростом вероятности ошибочных решений пропускная способность канала возрастает. Эта парадоксальная ситуация объясняется тем, что изменяется правило распознавания элементов на обратное, т.е. при Pî ø > 0,5 следует '

'

'

считать решение y1 соответствует передаче элемента x2 , а решение y2 '

передаче x1 .

CcPошτ

CcPошτ

1,0

1,0

0,8

0,8

0,6

0,6

0,4

0,4

0,2

0,2

1

2

Рош 0

0,2

0,4

0,6

0,8

0

1,0

Рис 5.3

0,1

Р21 0,2

0,3

0,4

0,5

Рис 5.4

Относительная пропускная способность при одинаковых вероятностях ошибочных решений решений

Относительная пропускная способность при различных вероятностях ошибочных

Б.) Вероятности ошибочных решений различны при передаче '

'

элементов x1 и x2 , т.е. P12 ≠ P21 . Результаты расчетов представлены на Рис.5.4 в виде графиков функций Cc Pî ø τ = Cc P21τ (кривая 1 при P12 = 0,2 и кривая 2 при

P12 = 0,4 ).

Из графиков можно проследить тенденцию изменения пропускной способности канала при увеличении вероятностей ошибок принятия решений.

53

5.2.6. Основная теорема Шеннона для дискретного канала с помехами К. Шеннон доказал, что пропускная способность дискретного канала с помехами определяет верхнюю границу скорости достоверной передачи информации. Основную теорему Шеннона для дискретных каналов с помехами можно сформулировать в следующем виде: 1. Если пропускная способность дискретного канала с помехой превышает производительность источника сообщений, то существует такой способ кодирования, при котором может быть обеспечена безошибочная передача всей информации. 2. Осуществить безошибочную передачу информации невозможно, если производительность источника сообщений превышает пропускную способность канала. Таким образом, если Cc > V ( X ) , то существует такой способ

Pî ø < η , где η - сколь угодно малая кодирования, при котором положительная величина. Безошибочная передача невозможна при Cc < V ( X ) . Доказательство теоремы. Число типичных последовательностей из m элементов достаточно большой длительности T = mτ , создаваемых источником сообщений X производительностью V ( X ) можно представить (по аналогии с теоремой для канала без помех) в виде TV X nT = 2 ( ) . Для кодирования этих последовательностей используются коды той же длительности T . Тогда общее число различных кодов можно представить как nTc = 2TCc .

Запишем условие Cc > V ( X ) в развернутом виде

( ) (

)

(

)

1 Sup ⎡V X ' − V X ' Y ' ⎤ = log α − V X ' Y ' > V ( X ) . ⎣ ⎦ τ

(

'

Так как V X Y

'

) > 0 , то неравенство (5.77) только усилится, если

его записать в виде

1

τ

(5.77)

log α > V ( X ) .

54

Тогда

TV X nTc = 2m log α >> 2 ( ) = nT .

Это означает, что число различных кодов nTc , которые могут быть использованы для кодирования, много больше типичных последовательностей nT , подлежащих кодированию. Необходимо доказать, что среди всех способов кодирования имеется, по крайней мере. Один, обеспечивающий безошибочную передачу сообщения. Найдем вероятность правильного принятия решения, осредненную по всем возможным способам кодирования [12]. При ненадежности канала

(

V X' Y'

)

число типичных входных кодовых последовательностей,

которые могут трансформироваться в выходное сообщение длительности T , (по аналогии с теоремой раздела 5.2.3) можно записать в виде

(

TV X ' Y '

nTc = 2

).

Правильное принятие решения обеспечивается в этом случае, когда среди nT 1 входных последовательностей, которые могли бы дать данную выходную последовательность, лишь одна была бы использована при кодировании, а остальные [ nT 1 − 1] последовательности вообще не могли передаваться. Определим по всем возможным способам кодирования вероятность Pn того. Что ни одна из последовательностей [ nT 1 − 1] не использовалась при кодировании. Средняя для всех возможных способов кодирования последовательностей nT вероятность использования конкретной кодовой комбинации из nTc возможных равна

PT =

nT , nTc

так как усреднению по всем возможным способам кодирования соответствует равновероятный выбор кодовых комбинаций для кодирования каждой входной последовательности. Средняя вероятность того, что конкретная кодовая комбинация не была использована при кодировании, равна

1 − PT = 1 −

nT , nTc

а средняя вероятность того, что не использовались конкретные кодовые комбинации [ nT 1 − 1] , определяющая среднюю вероятность правильного решения, будет определяться соотношением

55

[n

−1]

T1 ⎛ nT ⎞ Pn = (1 − PT ) . (5.78) = ⎜1 − ⎟ ⎝ nTc ⎠ ⎛ n ⎞ Так как ⎜ 1 − T ⎟ < 1, то увеличивая показатель степени до ⎝ nTc ⎠ значения nT 1 , из (5.78) приходим к неравенству

[ nT 1 −1]

n

T1 ⎛ nT ⎞ Pn > ⎜1 − ⎟ . n Tc ⎠ ⎝

Разложим правую часть этого неравенства в ряд:

n ( n − 1) ⎛ nT ⎞ n Pn > 1 − nT 1 T + T 1 T 1 (5.79) ⎜ ⎟ − ⋅⋅⋅ . nTc n 2 ⎝ Tc ⎠ nT Так как 1 − nT 1

nT . nTc

Используя выражения для nT , nTc и nT 1 , приходим к следующей записи

(

)

−T ⎡log α −V X ' Y ' −V ( X ) ⎤ ⎣ ⎦

−T ⎡C −V ( X ) ⎤

⎦ Pî ø = 1 − Pn < 2 =2 ⎣ c . (5.80) При T → ∞ в соответствии с (5.80) Pî ø → 0 . Таким образом, при любой заданной положительной величине η > 0 можно выбрать такое T , при котором обеспечивается Pî ø < η . Обратное утверждение вытекает из V ( X ) > Cc . В этом случае из

неравенства следует, что не все типичные последовательности сообщений могут быть закодированы таким образом, чтобы они опознавались на выходе канала связи с приемлемо малой ошибкой. Теорема Шеннона для канала с помехами не указывает на конкретный способ кодирования, а только доказывает теоретическую возможность существования такого кода. Из формулы (5.80) вытекает одно важное практическое следствие о том, что вероятность правильного принятия решения будет тем больше, чем длительнее кодированная последовательность и больше запас по

56

величине ⎡⎣Cc − V ( X ) ⎤⎦ . Формулируя иначе, можно сказать, что чем больше избыточность входного сообщения

r = 1−

H(X ) log α

,

тем более достоверную передачу можно обеспечить. Таким образом, для обеспечения достоверной передачи информации достаточно ввести во входное сообщение избыточность, превышающую ненадежность канала. Следует также отметить, что удлинение кодируемых последовательностей вызывает не снижение пропускной способности, а лишь увеличение задержки в приеме информации. В качестве иллюстрации рассмотрим простой пример эффективного кодирования для дискретного канала с помехой [10]. Пример эффективного кодирования. По дискретному каналу с помехой передаются группы из 7 элементов в двоичном коде (0,1). В результате воздействия помехи группа из семи элементов передается либо без ошибки, либо в ней оказывается ошибочным один элемент из семи. При этом вероятности правильных и ошибочных решений одинаковы и, следовательно, равны 1 . Необходимо составить код, обеспечивающий

8

безошибочную передачу информации. В данном случае пропускная способность канала согласно (5.75) будет равна Cc =

4 äâ.åä. . 7 ýëåì åí ò

Эффективный код, обеспечивающий безошибочную передачу с вычисленной пропускной способностью, будет следующим. '

'

'

Положим, в группу входит семь элементов x1 , x2 ,..., x7 , из них

x3' , x5' , x6' , x7' являются элементами сообщения, в которых заложена передаваемая информация. Остальные избыточными и выбираются из условия:

три

элемента

являются

x1' выбирается так, чтобы α = x1' + x3' + x5' + x7' было четным, x2' выбирается так, чтобы β = x2' + x3' + x6' + x7' было четным, x4' выбирается так, чтобы γ = x4' + x5' + x6' + x7' было четным.

Когда группа из семи элементов принята, то вычисляются α , β , γ . Если они окажутся четными, то это означает, что каждая из них соответствует нулю, а если – нечетными, то – единице. Двоичные цифры

57

α , β , γ дадут тогда индексы тех xi' , которые являются ошибочными. Если получится «0», то это означает отсутствие ошибок.

5.2.7. Непрерывные информационные каналы. Передача информации через линейные и нелинейные устройства Непрерывные информационные каналы обеспечивают передачу непрерывных сообщений. Функциональная схема непрерывного информационного канала аналогична схеме Рис. 5.2 и может отличаться тем, что вместо кодирующих и декодирующих устройств могут использоваться преобразователи сообщения в сигнал и сигнала в сообщение. Для передачи сигналов используются различные методы модуляции, детектирования и каналы связи. Как в преобразователях, так и в каналах связи непрерывные сигналы проходят через линейные и нелинейные устройства. В данном разделе ограничимся рассмотрением достаточно важного случая передачи непрерывной информации через линейные и нелинейные устройства при отсутствии помех. В этой ситуации количество информации можно характеризовать приведенной энтропией. Как указывалось в разделе 5.1.3, приведенная энтропия непрерывных сообщений является относительной к координатной системе. Если изменить координаты, то приведенная энтропия в общем случае также изменится. Например, при переходе от координат x1 , x2 ,..., xn к координатам y1 , y2 ,..., yn новое значение приведенной энтропии будет выражаться в виде ∞

∞

⎛x⎞ H (Y ) = − ∫ ..( n ) .. ∫ W ( x1 , x2 ,..., xn ) J ⎜ ⎟ × ⎝ y⎠ −∞ −∞ ∗

,

(5.81)

⎛x⎞ × log W ( x1 , x2 ,..., xn ) J ⎜ ⎟ dy1dy2 ⋅⋅⋅ dyn ⎝ y⎠ ⎛x⎞ где J ⎜ ⎟ - якобиан преобразования координат по абсолютной величине ⎝ y⎠ (так как плотность вероятностей – величина положительная). Разложив логарифм и заменив переменные на соотношение (5.81) примет вид

58

x1 , x2 ,..., xn

H ∗ (Y ) = H ∗ ( X ) − ∞

∞

. ⎛x⎞ − ∫ ..( n ) .. ∫ W ( x1 , x2 ,..., xn ) log J ⎜ ⎟ dx1dx2 ⋅⋅⋅ dxn ⎝ y⎠ −∞ −∞

(5.82)

Как видим, при переходе к новой системе координат значение приведенной энтропии будет равно значению приведенной энтропии в старой системе координат минус ожидаемый логарифм якобиана. При линейном преобразовании y j =

∑αij xi

якобиан представляет

i

собой простой определитель

α ij

−1

и в этом случае приведенная энтропия

принимает вид

H ∗ (Y ) = H ∗ ( X ) + log α ij

J =1 и

(5.83)

При вращении координатной системы якобиан преобразования

H ∗ (Y ) = H ∗ ( X ) .

Рассмотрим, какова будет приведенная энтропия H 2 ( X ) непрерывного сообщения на выходе линейного устройства (линейного фильтра) с амплитудно – частотной характеристикой K (ω ) (фазовые соотношения не учитываются, так как на вход поступает случайный ∗

процесс), если на входе сообщение имело приведенную энтропию H1 ( X ) в полосе частот Δω . Действие линейной системы представляет собой линейное преобразование координат. Если частотные составляющие сообщения на входе рассматривать как первичные координаты, то новые частотные составляющие будут представлять собой старые, умноженные на некоторые коэффициенты. В этом случае матрица преобразования координат относительно новых координат является диагональной и якобиан преобразования равен ∗

n

J = ∏ K (ωi ) . 2

i =1

Подставляя этот якобиан в выражение (5.83) и осуществляя предельный переход, получим [10]

H 2∗ ( X ) = H1∗ ( X ) + H n∗ = H1∗ ( X ) +

2 1 K ω dω . log ( ) Δω Δ∫ω

59

(5.84)

H n∗ =

Величина

2 1 K ω dω log ( ) ∫ Δω Δω

называется

потерями

приведенной энтропии в линейных устройствах. Для непрерывных сообщений часто используют понятие энтропийной мощности. Под энтропийной мощностью понимают мощность нормального случайного процесса с постоянным энергетическим спектром, ограниченного такой же полосой частот, что и рассматриваемое сообщение, и имеющего такую же приведенную энтропию.[10]. Если приведенная энтропия сообщения H мощность равна

σ ý2 =

1 2π e

{

∗

( X ) , то энтропийная

}

exp 2 H ∗ ( X ) .

(5.85)

Изменение приведенной энтропии на выходе линейного устройства можно выразить через энтропийную мощность в следующем виде

σ 22ý = σ 12ý kýì = σ 12ý exp

2 1 K ω dω . log ( ) Δω Δ∫ω

(5.86)

Здесь σ 1ý и σ 2ý энтропийные мощности на входе и выходе линейного устройства соответственно. 2

2

Величина k ýì = exp

2 1 K ω d ω называется коэффициентом log ( ) Δω Δ∫ω

энтропийной мощности. В качестве иллюстрации в табл.5.2 приведены потери энтропии в линейных устройствах с некоторыми идеализированными передаточными функциями с единичной полосой пропускания.

K (ω )

Таблица 5.2

kýì

1− ω

H n∗ -1,45

0,136

1− ω2

-0,87

0,3

1 − ω3

-0,7

0,384

-0,45

0,54

1− ω2

Как видно из табл.5.2 при передаче сообщения через линейные устройства происходит потери приведенной энтропии. Приведенная

60

энтропия сообщения на выходе линейного устройства уменьшается по отношению к приведенной энтропии на входе. И это естественно, так как уменьшается неопределенность из-за того, что более высокочастотные составляющие сигнала передаются с заведомо известными искажениями. Пример. На вход линейного фильтра с передаточной функцией

K (ω ) = 1 − ω 2

поступает, соответствующий передаваемому сообщению, сигнал гауссовой статистикой и средней мощностью σ = 1 . Определить приведенную энтропию сообщения на выходе этого фильтра. Решение. Приведенная энтропия сообщения на входе фильтра равна 2

H1∗ ( X ) = log σ 2π e = 4,12 дв.уд.

Энтропия на выходе фильтра согласно соотношению (5.84) и ∗

значений H n , приведенных в таблице 5.2, будет равна

H 2∗ ( X ) = H1∗ ( X ) + H n∗ = 4,12 − 0,87 = 3, 25 дв.ед

Рассмотрим изменение приведенной энтропии при прохождении сигнала через нелинейные устройства. Положим, что в безинерционном нелинейном устройстве осуществляется функциональное преобразование вида y = f ( x ) . На вход такого устройства поступает непрерывный информационный процесс с известной плотностью вероятностей Wn ( x1 , x2 ,..., xn ) и приведенной энтропией H ( X ) . Плотность вероятностей функционально процесса определяется зависимостью [13] ∗

преобразованного

⎛x ⎞ Wn ( y1 , y2 ,..., yn ) = ∑W ( x1k , x2 k ,..., xnk ) J ⎜ k ⎟ , (5.87) y ⎝ ⎠ k где: xik ( y1 , y2 ,..., yn ) - k -я ветвь обратного преобразования ( i = 1, 2,..., n ), ∂x1k ∂x1k ... ∂y1 ∂yn ⎛ xk ⎞ - якобиан преобразования от случайных J ⎜ ⎟ = ... ... ... y ⎝ ⎠ ∂x ∂xnk nk ... ∂y1 ∂yn величин x1 , x2 ,..., xn к случайным величинам y1 , y2 ,..., yn . 61

Следовательно, приведенная энтропия сообщения на выходе нелинейного устройства будет определяться соотношением

H 2∗ ( X ) = H ∗ (Y ) =

∞

∞

−∞

−∞

= − ∫ ..( n ).. ∫ W ( y1 , y2 ,..., yn ) log W ( y1 , y2 ,..., yn ) dy1dy2 ⋅⋅⋅ dyn = ∞

∞

−∞

−∞ k

= − ∫ ..( n ).. ∫

⎛ xk ⎞ ⎟× y ⎝ ⎠

∑Wn ( x1k , x2k ,..., xnk ) J ⎜

⎛x × log ∑Wn ( x1k , x2 k ,..., xnk ) J ⎜ k ⎝ y k

⎞ ⎟ dy1dy2 ⋅⋅⋅ dyn ⎠

(5.88)

Рассмотрим простой пример. Пример. На вход нелинейного устройства с передаточной функцией y =

x поступает сигнал, одномерная плотность вероятностей

которого имеет вид

W ( x) =

1 ⎛ x ⎞ exp ⎜ − 2 ⎟ . 2σ 2π x ⎝ 2σ ⎠

Следует определить плотность вероятностей сигнала и оценить его энтропию на выходе этого устройства. Решение.

∂x = 2 y , плотность вероятностей ∂y

2

В данном случае x = y ,

⎛ y2 ⎞ 1 exp ⎜ − 2 ⎟ . W ( y ) получает вид W ( y ) = σ 2π ⎝ 2σ ⎠ Получили нормальный закон распределения. Следовательно, в данном случае приведенная энтропия выходного сигнала имеет максимальное

значение, т.е. H (Y ) = H 2 ( X ) > H1 ( X ) энтропия сигнала на входе). ∗

∗

∗

( H1 ( X ) ∗

- приведенная

При прохождении сигнала через нелинейные устройства приведенная энтропия на выходе может как увеличиться, так и уменьшиться по отношению к входной приведенной энтропии. Однако если входной процесс имеет нормальное распределение, то в этом случае всегда имеет место уменьшение приведенной энтропии.

62

5.2.8. Теорема Котельникова В непрерывных информационных каналах с помехой входные сигналы являются непрерывными функциями времени, а выходные будут их искаженными копиями. Реально непрерывных сигналов не существует, все они в той или иной мере ограничены во времени. Однако воспользоваться моделью непрерывного сигнала чрезвычайно удобно, так как в этом случае его можно рассматривать в ограниченной полосе частот Ω и аналитически представлять, используя теорему Котельникова. Теорема Котельникова. Если функция времени s ( t ) имеет спектральную функцию S ( jω ) , ограниченную по полосе частот Ω = 2π F , то такая функция будет полностью определяться значением ее ординат в точках, отстоящих друг от друга на интервалы времени Δt , равные

π

1 . (5.89) Ω 2F Функция времени s ( t ) на интервале наблюдения T может быть представлена с помощью k отсчетов ΩT = 2 FT . k= (5.90) Δt =

=

π

Доказательство теоремы. Любую вещественную функцию s ( t ) можно представить в виде обратного преобразования Фурье

1 s (t ) = 2π

∞

∫

S ( jω ) e jωt d ω ,

(5.91)

−∞

где S ( jω ) - спектральная функция s ( t ) . Эта спектральная функция ограничена полосой частот Ω , т.е. S ( jω ) = 0 при ω > Ω . Следовательно, соотношение (5.91) можно переписать в виде

1 s (t ) = 2π

Ω

∫ S ( jω ) e

jωt

dω .

(5.92)

−Ω

Определим эту функцию только для дискретных моментов времени, равных

tk =

kπ , ( k = 1, 2,3,...) . Ω

63

В этом случае соотношение (5.92) принимает вид

⎛ kπ s⎜ ⎝Ω

⎞ 1 ⎟= ⎠ 2π

Ω

kπ ⎛ exp S j ω j ω ( ) ⎜ ∫ Ω ⎝ −Ω

⎞ (5.93) ⎟d ω . ⎠ Представим спектральную функцию S ( jω ) на интервале ее существования [ −Ω, Ω ] рядом Фурье kπ

1 ∞ & jω Ω S ( jω ) = ∑ DK e , 2 k =−∞

(5.94)

Ω

& = 1 S ( jω ) exp ⎛ − jω kπ где D k ⎜ ∫ Ω −Ω Ω ⎝

⎞ ⎟ dω . ⎠

(5.95)

Если сравним (5.95) с (5.93), то комплексную амплитуду гармоник D& k можно представить в следующем виде

2π ⎛ kπ D& k = s⎜ − Ω ⎝ Ω

⎞ ⎟. ⎠

Теперь ряд (5.94) примет вид

π

⎛ kπ S ( jω ) = s⎜ − ∑ Ω k =−∞ ⎝ Ω ∞

kπ

⎞ jω Ω π ∞ ⎛ kπ = ∑ s⎜ ⎟e Ω k =−∞ ⎝ Ω ⎠

kπ

⎞ − jω Ω . ⎟e ⎠

(5.96)

Подставим значение S ( jω ) из (5.96) в формулу (5.92) и получим Ω 1 π ⎧ ∞ ⎛ kπ s (t ) = ⋅ ∫ ⎨ ∑ s⎜ 2π Ω −Ω ⎩ k =−∞ ⎝ Ω

kπ ⎞ ⎛ exp j − ω ⎟ ⎜ Ω ⎠ ⎝

Ω

⎞ ⎫ jωt ⎟ ⎬e dω = ⎠⎭

⎡ ⎛ kπ ⎞ ⎤ 1 π ∞ ⎛ kπ ⎞ exp = ⋅ ∑ s⎜ ⎟∫ ⎢ jω ⎜ t − Ω ⎟ ⎥d ω = 2π Ω k =−∞ ⎝ Ω ⎠−Ω ⎠⎦ ⎣ ⎝ ⎛ kπ ⎞ sin Ω ⎜ t − ⎟ ∞ ∞ Ω⎠ ⎛ kπ ⎞ ⎛ kπ ⎞ ⎝ s (5.97) = ∑ s⎜ = ∑ ⎟ ⎜ ⎟ Sa ( Ωt − kπ ) . k π Ω Ω ⎛ ⎞ ⎝ ⎠ ⎝ ⎠ k =−∞ k =−∞ Ω⎜t − ⎟ Ω⎠ ⎝ ⎛ kπ ⎞ В формуле (5.97) величины s ⎜ ⎟ представляют значения ⎝Ω⎠ kπ , непрерывной функции s ( t ) в дискретные моменты времени Ω 64

Sa ( Ωt − kπ ) - называется функцией отсчетов, которая в моменты kπ достигает своего максимума, равного единице, а в моменты t= Ω ( k ± v )π ( v = 1, 2,3,... ) обращается в ноль. (Функции отсчетов t= Ω

ортогональны на бесконечном интервале). Таким образом, выражение (5.97) представляет аналитическую запись теоремы Котельникова и указывает на то, что любая функция с ограниченной спектральной функцией определяется своими значениями в дискретные моменты времени, отстоящими на интервал Δt =

π

Ω

.

Теорема Котельникова известна также под названием теорема отсчетов. Следует отметить, что если длительность сигнала ограничена по времени, то теорему Котельникова можно применить к амплитудно частотной характеристики сигнала:

S (ω ) = где Ω1 =

2π

τ

,

⎛ πω ⎞ Ω − S k Sa k π ( ) ∑ ⎜ ⎟, 1 Ω k =−∞ ⎝ 1 ⎠ ∞

τ - длительность сигнала.

Условия теоремы Котельникова для реальных сигналов не удовлетворяются ввиду их временного ограничения. Однако практически всегда можно ограничить спектральную функцию реального сигнала достаточно большой частотой, при которой искажения сигнала будут минимальны.

5.2.9. Пропускная информационного канала В

соответствии

с

способность

теоремой

непрерывного

Котельникова

непрерывный сигнал в интервале T можно представить

ΩT

π

передаваемый числами, т.е.

энергетический спектр передаваемого сигнала ограничен частотой Ω . Статистические свойства сигнала x ( t ) и помехи z ( t ) будем характеризовать

плотностями

вероятностей

W ( z1 , z2 ,..., zn ) соответственно.

65

W ( x1 , x2 ,..., xn )

и

По аналогии с дискретными каналами скорость передачи информации по непрерывному каналу с помехой и его пропускная способность будут определяться соответственно соотношениями

(

)

(

( )

H∗ Y' − H∗ Y' X '

V Y ' , X ' = lim

T

T →∞

( ) (

),

(5.98)

)

Cc = Sup ⎡V Y ' − V Y ' X ' ⎤ . ⎣ ⎦

(5.99)

Будем исходить из условия аддитивности сигнала и помехи и отсутствия между ними корреляции. В этом случае процесс на выходе

y ( t ) = x ( t ) + z ( t ) . Если

канала связи

X' и Z

статистически

независимы, то количество информации, содержащееся в Y

( ),

известном H X

'

при уже

обусловлено только помехой. Тогда ненадежность

канала будет равна

(

'

)

V Y ' X ' = V (Z ) =

H (Z ) T

,

где H ( Z ) - энтропия помехи. Следовательно, соотношение (5.99) примет вид

( )

Cc = Sup ⎡V Y ' − V ( Z ) ⎤ . ⎣ ⎦

(5.100)

Определим пропускную способность непрерывного канала связи при воздействии наиболее опасной помехи, которой при известной средней мощности является помеха с нормальным законом распределения. Естественно также, что максимальный поток информации на

( )

выходе канала связи V Y

'

имеет место при гауссовой статистике

сигнала. Будем рассматривать объединения, т.е.

( )

каждую

(

H Y ' = H y1' , y2' ,..., yn' H ( Z ) = H ( z1 , z2 ,..., zn ) '

'

из

энтропий

как

энтропию

).

'

Так как состояния y1 , y2 ,..., yn и z1 , z2 ,..., zn статистически независимы, то энтропия объединения будет равна сумме энтропий всех состояний, и для гауссовой статистики получим

( )

H Y' =

ΩT

π

( )

H y' =

ΩT ⎡ 2 ⎤, log 2 π e σ log y − Δ y ⎦⎥ π ⎣⎢

66

(5.101)

H (Z ) =

ΩT

H ( z) =

π

ΩT ⎡ 2 ⎤, − Δ log 2 π e σ log x z ⎦⎥ π ⎣⎢

(5.102)

где Δx - интервал квантования входного сигнала, а, следовательно, и помехи,

σ y2 = σ x2 + σ z2 - мощность сигнала на выходе канала связи, σ x2 и σ z2 - соответственно мощности сигнала и помехи. Если точность квантования сигналов на входе Δx и на выходе Δy канала связи одинаковы, то с учетом (5.101) и (5.102) пропускная способность непрерывного канала связи с помехой будет определяться зависимостью

⎛ σ x2 ⎞ Ω⎡ Ω 2 2⎤ cc = ⎢log 2π eσ y − log 2π eσ z ⎥ = log ⎜1 + 2 ⎟ . (5.103) ⎣ ⎦ π 2π ⎝ σz ⎠ Формула (5.103) указывает на то, что максимальная скорость передачи информации по непрерывному каналу с помехой прямо

σ x2 Ω и логарифму суммы 1 + 2 . пропорциональна полосе частот 2π σz

(

'

При этом максимальное количество информации I max Y , X '

'

),

'

содержащееся в Y относительно X будет равно

I max

(

⎛ σ x2 ⎞ ΩT Y ,X = log ⎜1 + 2 ⎟ . 2π ⎝ σz ⎠ '

'

)

(5.104)

σ x2 ΩT Величину log 2 = FT log μ p называют объемом сигнала. 2π σz σ x2 Здесь μ p = 2 - отношение сигнала к шуму по мощности. σz Как видим из (5.104) одно и тоже количество информации можно передать, сохраняя постоянным объем сигнала, но варьируя шириной полосы пропускания сигнала к шуму Если

μp.

Ω , длительностью сообщения T или отношением 2π

μ p > 1 имеем

Cc =

Ω log μ p = F log μ p . 2π

При большом отношении сигнала к помехе по мощности пропускная способность непрерывного канала пропорциональна логарифму от этого отношения. Определенный интерес представляет зависимость пропускной способности непрерывного канала от полосы пропускания при постоянной средней мощности входного сигнала. Запишем выражение для пропускной способности канала связи в следующем виде

⎡ nΩ ⎤ ⎢ ∫ Gx ( ω ) d ω ⎥ nΩ ⎥, log ⎢1 + 0 Cc = ⎢ ⎥ 2π nΩGz ⎢ ⎥ ⎢⎣ ⎥⎦

(5.105)

где Gz - энергетический спектр помехи (белый шум),

0≤ω ≤ Ω ⎧μ G Gx (ω ) = ⎨ p z при - энергетический спектр сигнала. > Ω 0 ω ⎩ Тогда для 0 < n < 1 соотношение (5.105) принимает вид nΩ Cc = log 1 + μ p . 2π Таким образом, при сокращении полосы пропускания ( n < 1)

(

)

имеем линейное уменьшение пропускной способности канала связи вплоть до нуля. При n > 1 (расширение полосы пропускания) соотношение (5.105) получит вид

68

⎛ μp ⎞ nΩ log ⎜1 + ⎟. 2π n ⎝ ⎠ При n >> 1 соотношение (5.106) приводится к виду Cc =

Cc = 1,443

(5.106)

Ω μp. 2π

На рис.5.5 приведено семейство кривых, характеризующих изменения относительных величин пропускной способности непрерывного канала связи

Cc Cc / n =1

от ширины полосы пропускания при трех значениях

отношения сигнала к помехе по мощности.

Сс Сс/n=1 1

2

2 3

1

0

1

2

3

4

5

6

7

8

9

10

n

Рис.5.5 Зависимости относительной величины пропускной способности Непрерывного канала связи от ширины полосы пропускания при 1- μ p = 10 , 2 – μ p = 5 , 3 - μ p = 2 Из приведенных соотношений и кривых следует, что с увеличением полосы пропускания канала при заданной мощности передаваемого сигала, значение пропускной способности непрерывного канала стремится к некоторому пределу, величина которого прямо пропорциональна отношению сигнала к помехе по мощности.

69

5.2.10. Влияние энергетического спектра сигнала и помехи на скорость передачи непрерывной информации В общем случае в канал связи поступают сигналы и помехи с неравномерными энергетическими спектрами. Положим, что полоса частот канала связи Ω = ω2 − ω1 , энергетические спектры сигнала и помехи

соответственно равны Gx (ω ) и Gz (ω ) . Тогда в элементарной полосе частот Δω значение скорости передачи информации можно представить в виде [14]

(

)

VΔω Y ' , X ' =

G ( ω ) + Gz ( ω ) Δω log x . 2π Gz ( ω )

(5.107)

Просуммируем все составляющие (5.107) в полосе частот Ω и в пределе получим

(

)

1 V Y ,X = 2π '

'

ω2

∫ log

G x ( ω ) + Gz ( ω )

ω1

Gz ( ω )

dω .

(5.108)

Определим энергетический спектр сигнала, при котором скорость передачи информации достигает максимального значения, если известен энергетический спектр помехи, а средняя мощность сигнала сохраняется неизменной. Это вариационная задача на отыскание функции Gx (ω ) , обеспечивающая максимум функционалу (5.108) при дополнительном условии

1 2π

ω2

∫ Gx (ω ) dω = σ x = const . 2

(5.109)

ω1

При решении этой вариационной задачи воспользуемся методом неопределенных множителей Лагранжа и составим уравнение

dF dϕ +λ = 0, dGx (ω ) dGx (ω ) Gx ( ω ) + Gz ( ω ) где F = log и ϕ = Gx ( ω ) . Gz ( ω )

Решение уравнения (5.110) дает значение Gx (ω ) :

Gx ( ω ) = −

1

λ

− Gz ( ω ) .

70

(5.110)

Подставляя полученное значение Gx (ω ) в (5.109) получим

λ=−

(

Ω

2π σ + σ 2 x

2 z

)

.

Таким образом, искомая величина энергетического спектра сигнала будет равна

Gx ( ω ) =

(

2π σ x2 + σ z2

Ω

) − G (ω ) . z

Скорость передачи непрерывной информации по каналу связи при этом будет равна

σ x2 + σ z2 1 Ω − log 2π V Y ,X = 2π 2π Ω

(

'

'

)

ω2

∫ log Gz (ω ) dω .

ω1

Как видим, например, если энергетический спектр помехи постоянен в полосе пропускания канала связи, то максимальная скорость передачи информации будет иметь место также при постоянном энергетическом спектре сигнала. При убывающем с частотой энергетическом спектре помехи максимальная скорость передачи непрерывной информации по каналу связи, естественно, будет иметь место при возрастающем по частоте энергетическом спектре сигнала.

5.3. Ценность информации 5.3.1. Определение ценности информации Известны несколько способов количественного определения ценности информации. Все они основаны на представлении о цели, достижению которой способствует полученная информация. Чем в большей мере информация помогает достижению цели, тем более ценной она считается. Имеются несколько предложений по определению меры ценности информации. К ним относятся: 1-мера ценности, предложенная М. М. Бонгардом и А. А Харкевичем, которая может быть выражена через приращение вероятности достижения цели и определяется как P v = log , p где p - вероятность достижения цели до получения информации (априорная вероятность);

71

P - вероятность достижения цели после получения информации (апостериорная вероятность). В системах передачи информации цель сводится к правильной передаче сообщений независимо от их конкретного содержания и формулируется относительно каждого состояния множества X . Положим, что целью является принятие решения в пользу xi . Тогда относительно этой цели, видимо, ценность информации, содержащейся в принятом yi равна

log

P ( xi yi ) P ( xi )

. Здесь P ( xi ) - является априорной вероятностью передачи

(

)

состояния xi , а P xi yi - апостериорной вероятностью переданного состояния xi после принятия состояния yi . При такой формулировке цели ценность информации совпадает с частным количеством информации, которое рассматривалось выше. Так как частное количество информации может иметь как положительные, так и отрицательные значения, то в последнем случае ценность отрицательна и такая информация называется дезинформацией. 2 - мера ценности, предложенная В. И. Корогодиным, определяется величиной P− p v= 1− p Она обладает фактически теми же свойствами, что ценность в формуле М. М.Бонгарда и А. А. Харкевича, но изменяется от 0 до 1. 3 – мера ценности, предложенная Стратоновичем Р.Л. [3], связывает шенноновскую информацию с теорией решающих функций А.Вальда и определяется уменьшением среднего риска, которое характеризует качество принимаемых решений, при получении информации. Для технических целей представляется наиболее удобным понятие о мере ценности информации по Стратоновичу Р.Л.. Действительно, например, при определении размера детали, используя равномерную функцию потерь (Рис.5.6), информация об уменьшении погрешности измерения до определенных пределов казалось бы не

72

^ П(α-α)

-∆/2 0 +∆/2

^ α-α

Рис.5.6 Равномерная функция потерь имеет никакой ценности. Дальнейшее уменьшение погрешности измерения так же, казалось бы, не увеличивает ценности информации. Естественно, что для различных функций потерь величина ценности информации будет своя. Однако интуиция подсказывает, что ценность информации зависит не только от функции потерь, но и от количества информации, т.е. между количеством и качеством (ценностью) информации существует связь. Для установления этой связи рассмотрим следующую вариационную задачу. Количество информации можно представить как разницу между энтропиями информационных непрерывных параметров до опыта H1 (α ) и после опыта H 2 (α )

I = H 1 (α ) − H 2 ( α ) .

(5.111)

Определим плотность вероятностей параметра W (α ) , при которой для заданной приведенной энтропии параметра ∞

H (α ) = − ∫ W (α ) ln W (α ) dα = H ∗ ∗

(5.112)

−∞

(При определении энтропии основание логарифма не играет роли, так как всегда можно перейти от логарифма с одним основанием к логарифму с другим основанием по формуле log b K = log b a log a K . Для нашей задачи удобно использовать натуральный логарифм) средний риск R будет минимальным ∞

R=

∫ Ï (α )W (α ) dα → min

−∞

W (α )

,

(5.113)

где Ï (α ) - функция потерь. Кроме дополнительного условия (5.112) будем использовать также еще одно дополнительное условие в виде

73

∞

∫ W ( α ) dα = 1 .

(5.114)

−∞

Для решения этой вариационной задачи воспользуемся методом неопределенных множителей Лагранжа. В этом случае экстремум определяется решением уравнения dÏ (α ) dW (α ) ln W (α ) dW (α ) + λ1 − λ2 =0 dW (α ) dW (α ) dW (α ) или

Ï (α ) + λ1 ln W (α ) + λ1 − λ2 = 0 .

(5.115)

Решение уравнения (5.115) дает

⎛ λ Ï (α ) ⎞ W (α ) = exp ⎜ −1 + 2 − ⎟. λ λ 1 1 ⎝ ⎠ Используя дополнительное условие (5.114), получим ∞

⎛ λ2 ⎞ ∞ − ∫−∞W (α ) dα = exp ⎜⎝ −1 + λ1 ⎟⎠−∞∫ e Отсюда ⎛ λ ⎞ exp ⎜ −1 + 2 ⎟ = λ1 ⎠ ⎝

1 ∞

∫e

−

λ1

Ï (α )

λ1

dα = 1 .

.

Ï (α )

(5.116)

(5.117)

dα

−∞

Обозначим ∞

∫e

−

Ï (α )

λ1

dα = ϕ

(5.118)

−∞

Назовем ϕ - статистическим коэффициентом. Теперь плотность вероятностей W (α ) можно представить в виде ⎛ Ï (α ) ⎞ exp ⎜ − λ1 ⎟⎠ ⎝ . W (α ) =

(5.119)

Случайная энтропия в этом случае будет равна Ï (α ) ln W (α ) = − − ln ϕ .

(5.120)

ϕ

λ1

Правую и левую части соотношения (10) усредним по α и получим

74

∞

∞

∞

1 −∞

−∞

1

∫ W (α ) ln W (α )dα = − λ ∫ Ï (α )W (α )dα − ln ϕ ∫ W (α ) dα

−∞

или ⎡ ∞ ⎤ = − − Ï α W α d α λ W α ln W α d α ln ϕ (5.121) ( ) ( ) ( ) ( ) ⎥. 1⎢ ∫ ∫−∞ ⎣ −∞ ⎦ Учитывая (5.112) и (5.113) соотношение (5.121) можно переписать в виде ∞

(

)

R = λ1 H ∗ − ln ϕ .

(5.122)

При этом λ1 определяется дополнительным условием (5.112), а, следовательно, при заданной функции потерь зависит от энтропии H ∗

λ1 = λ1 ( H ∗ )

Ï (α )

.

(5.123)

Следует отметить, что статистический коэффициент ϕ зависит от λ1 и, следовательно, от H ∗

ϕ =ϕ (H∗).

Таким образом, при заданной энтропии средний риск будет равен

( )

( )

( )

⎡ H ∗ − ln ϕ H ∗ ⎤ = R H ∗ . (5.124) ⎣ ⎦ Как видим, средний риск функционально связан с энтропией. Так как средний риск характеризует качество принятия решений, то разность средних рисков до получения информации и после получения ее указывает на ту пользу, которую принесла полученная информация. Таким образом, количественная мера ценности информации будет равна разности средних рисков до получения информации и после ее получения (т.е. среднего риска неопределенности до получения информации и среднего риска той неопределенности, которая остается после получения информации) R = λ1 H ∗

Ï (α )

{( ) (

)}

(

)

v = R H1∗ − R H1∗ − H 2∗

)(

Ï

{ ( )

( )

= λ1 H1∗ ⎡ H1∗ − ln ϕ H1∗ ⎤ − ⎣ ⎦ (α )

(

)}

−λ1 H1∗ − H 2∗ ⎡ H1∗ − H 2∗ − ln ϕ H1∗ − H 2∗ ⎤ ⎣ ⎦ Естественно, что ценность информации выбранного вида функции потерь Ï (α ) .

Ï (α )

.

будет

(5.125) зависеть

от

Например, если в качестве функции потерь взять квадратичную функцию

Ï (α ) = α 2 ,

(5.126)

75

то в соответствие с (5.119) имеем: ⎛ α2 ⎞ exp ⎜ − ⎟ ⎝ λ1 ⎠ , W (α ) =

(5.127)

ϕ

∞

⎛ α2 ⎞ где ϕ = ∫ exp ⎜ − ⎟ dα . (5.128) λ ⎝ 1⎠ −∞ В этом случае дополнительное условие (5.112) принимает вид ∞

∞

⎛ α2 ⎞ ∗ (5.129) ⎟ dα + ln ϕ = H . λ ϕ λ 1 −∞ ⎝ 1⎠ −∞ Для решения интегралов (5.128), (5.129) воспользуемся формулой (5.18), т.е. ⎛ m +1⎞ Ã⎜ ∞ ⎟ 1 n ⎠ m − bx n ⎝ ∫0 x e dx = n ⋅ m+1 , b n где Ã ( z ) - гамма-функция. 1

− ∫ W (α ) ln W (α ) dα =

2 ∫ α exp ⎜ −

Согласно этой формуле интегралы будут раны; ∞

⎛ α2 ⎞ ∫−∞ exp ⎜⎝ − λ1 ⎟⎠ dα = πλ1 и ∞

⎛ α2 ⎞ 1 πλ13 . ⎟dα = 2 ⎝ λ1 ⎠ −∞ Теперь соотношение (5.129) принимает вид 1 + ln πλ1 = H ∗ . 2 Отсюда неопределенный множитель Лагранжа λ1 будет равен 2 ∫ α exp ⎜ −

λ1 =

1

π

e2 H

∗

−1

(5.130)

(5.131)

Подставляя полученное значение λ1 в формулу (5.125) получим значение ценности информации при квадратичной функции потерь ∗

(

)

∗ e 2 H1 −1 v=R H −R H −H = 1 − e −2 H 2 . (5.132) 2π На рис.5.7 представлен график, характеризующий ценность информации в зависимости от увеличения энтропии H 2∗ = H , т.е. по мере

( ) ∗ 1

(

∗ 1

∗ 2

)

76

уменьшения исходной информации)

неопределенности

(увеличения

количества

V 30

20

10

0

1

2

Рис.5.7 Зависимость ценности информации от энтропии H 2 при квадратичной функции потерь

H

Как видно из графика, приведенного на рис.5.7 для квадратичной функции потерь ценность информации возрастает с увеличением ∗ количества информации по закону ⎡1 − e−2 H ⎤ ⎣ ⎦ Таким образом, качество информации функционально связано с количеством информации, и эта функциональная зависимость определяется используемой функцией потерь. Для квадратичной функции потерь по мере роста количества информации приращение качества уменьшается.

5.3.2. Ценность информации при неполной достоверности ее передачи Положим, что передается состояние (параметр) X , решение о котором выносится по оценке Y . При этом будем считать, что среднее количество информации, содержащееся в Y относительно X , задано и равно I 0 , т.е.

I (Y , X ) = H ( X ) − H ( X Y ) =

∞ ∞

∫

∫ W ( x, y ) ln

−∞ −∞

77

W ( x, y )

W ( x )W ( y )

dxdy = I 0 ,

(

)

где H x Y - потеря информации,

W ( x, y ) - совместная плотность вероятностей состояния X и оценки Y,

W ( x ) и W ( y ) - плотности вероятностей состояния и оценки

соответственно. Аналогично предыдущему разделу 5.3.1 будем искать такую совместную плотность вероятностей W ( x, y ) , при которой для заданного

I (Y , X ) = I 0 средний риск R будет минимальным, т.е. ∞ ∞

R=

∫ ∫ Ï ( x, y )W ( x, y ) dxdy → min W ( x, y )

(5.133)

−∞ −∞

при следующих дополнительных условиях:

W ( x, y )

∞ ∞

∫

∫ W ( x, y ) ln

−∞ −∞ ∞ ∞

W ( x )W ( y )

dxdy =

∞ ⎡ ⎤ = ∫ ∫ W ( x, y ) ⎢ln W ( x, y ) − ln W ( x ) − ln ∫ W ( x, y ) dx ⎥ dxdy = I 0 , ⎢⎣ ⎥⎦ −∞ −∞ −∞

(5.134) ∞

∫ W ( x, y ) dy = W ( x ) .

(5.135)

−∞

Для решения этой вариационной задачи воспользуемся методом неопределенных множителей Лагранжа, будем отыскивать экстремум из соотношения

( x, y )W ( x, y ) + λ dW ( x, y )

dÏ

+γ ( x )

W ( x, y ) [ ln ]W ( x, y ) − ln W ( x ) − ln

dW ( x, y ) dW ( x, y )

dW ( x, y )

∞

∫ W ( x, y ) dx

−∞

= 0,

+

(5.136)

где λ и γ ( x ) - неопределенные множители Лагранжа, определяемые дополнительными условиями (5.134) и (5.135). Получим

Ï

( x, y ) + λ ⎡⎣ln W ( x, y ) − ln W ( x ) − ln W ( y ) + 1⎤⎦ + γ ( x ) = 0

или

78

ln W ( x, y ) = ln ⎡⎣W ( x )W ( y ) ⎤⎦ − Из (5.237) получим вероятностей W ( x, y )

Ï

( x, y ) − γ ( x ) − 1 .

выражение

λ

для

λ

совместной

(5.137) плотности

⎡ Ï ( x, y ) γ ( x ) ⎤ W ( x, y ) = W ( x )W ( y ) exp ⎢ − − − 1⎥ . λ λ ⎣ ⎦

(5.138)

Воспользуемся дополнительным условием (5.135)

⎡ Ï ( x, y ) γ ( x ) ⎤ W x W y − − 1⎥ dy = W ( x ) exp ( ) ( ) ⎢− ∫ λ λ ⎣ ⎦ −∞ ∞

Отсюда получим

⎡ γ ( x) ⎤ ∞ ⎡ Ï ( x, y ) ⎤ − 1⎥ ∫ W ( y ) exp ⎢ − exp ⎢ − ⎥ dy = 1 . λ λ ⎣ ⎦ −∞ ⎣ ⎦

(5.139)

Обозначим

⎡ Ï ( x, y ) ⎤ W y exp ( ) ⎢− ⎥ dy = ψ ( x ) . ∫ λ ⎣ ⎦ −∞ ∞

Теперь совместную плотность вероятностей записать в следующем виде

W ( x, y ) =

W ( x )W ( y )

ψ ( x)

W ( x, y ) можно

⎡ Ï ( x, y ) ⎤ exp ⎢ − ⎥. λ ⎣ ⎦

(5.140)

Случайная информация связи в этом случае будет равна

⎡ Ï ( x, u ) ⎤ exp ⎢ − λ ⎥⎦ W ( x, y ) Ï ( x, y ) ⎣ = ln =− − lnψ ( x ) . I ( y, x ) = ln ψ ( x) λ W ( x )W ( y ) Усредняя обе части этого равенства по x и y , получим ∞ ∞

1

∞ ∞

∫ ∫ I ( y, x )W ( x, y ) dxdy = − λ ∫ ∫ Ï ( x, y )W ( x, y ) dxdy −

−∞ −∞

−∞ −∞

∞ ∞

−∫

∫ lnψ ( x )W ( x, y ) dxdy .

−∞ −∞

79

(5.141)

Функция ψ ( x ) зависит от λ и, следовательно, от I , так как λ определяется дополнительным условием (5.134). Поэтому обозначим второй двойной интеграл в правой части соотношения (5.141) за ϕ ( I ) ,т.е. ∞ ∞

∫ ∫ lnψ ( x )W ( x, y ) dxdy = ϕ ( I ) .

−∞ −∞

Так как в формуле (5.141) ∞ ∞

∫ ∫ I ( y, x )W ( x, y ) dxdy = I (Y , X ) = I ,

−∞ −∞

а ∞ ∞

∫ ∫ Ï ( x, y )W ( x, y ) dxdy = R ,

−∞ −∞

то соотношение (5.41) можно переписать в виде R = λ ⎡⎣ − I − ϕ ( I ) ⎤⎦ .

(5.142)

λ функционально зависит от I , то окончательно получим R = λ ( I ) ⎡⎣ − I − ϕ ( I ) ⎤⎦ . (5.143)

Так как

Как видим функциональная связь среднего риска со средним количеством информации, содержащемся в Y относительно X , идентична рассмотренной в разделе 5.3.1 функциональной связи среднего риска и энтропии. Таким образом, ценность информации при неполной достоверности ее передачи можно представить в виде

( ) (

)

( )

v = R H ∗ − R H ∗ − I = R H ∗ − R ⎡⎣ H ∗ ( X Y ) ⎤⎦ ,

(5.144)

∞ ∞

( X Y ) = − ∫ ∫ W ( x, y ) lnW ( x y ) dxdy - потеря информации. −∞ −∞ Условная плотность вероятностей W ( x y ) для рассматриваемой

где H

∗

экстремальной задачи равна

W ( x y) =

W ( x) ⎡ Ï ( x, y ) ⎤ exp ⎢ − ⎥. ψ ( x) λ ⎣ ⎦

Из формулы (5.144) видно, что ценность информации при неполной достоверности ее передачи возрастает с уменьшением среднего риска потери информации, что интуитивно и следовало ожидать. Однако следует заметить, что функциональная зависимость ценности от условной энтропии достаточно сложная.

80

5.4 Приложение 5.4.1 Приведенная распределения

энтропия

некоторых

Закон Аналитическое выражение распре плотности вероятностей W ( x ) -деления Равно⎧ 0 −∞ < x < a мер⎪ 1 ⎪ ный W ( x) = ⎨ при a < x < b

⎪b − a b<x