Введения в методы стохастической оптимизации и оценивания

ÑÀÍÊÒ-ÏÅÒÅÐÁÓÐÃÑÊÈÉ ÃÎÑÓÄÀÐÑÒÂÅÍÍÛÉ ÓÍÈÂÅÐÑÈÒÅÒ

Î.H. ÃÐÀÍÈ×ÈÍ

ÂÂÅÄÅÍÈÅ Â ÌÅÒÎÄÛ ÑÒÎÕÀÑÒÈ×ÅÑÊÎÉ ÎÏÒÈÌÈÇÀÖÈÈ È ÎÖÅÍÈÂÀÍÈß Ó ÷ å á í î å

ï î ñ î á è å

Èçäàòåëüñòâî Ñ.-Ïåòåðáóðãñêîãî óíèâåðñèòåòà 2003

ÓÄÊ 519.712 ÁÊÊ 32.811.7 à 77 Ð å ö å í ç å í ò û: ä-ð ôèç.-ìàò. íàóê ïðîô. À.Å. Áàðàáàíîâ (Ñ.-Ïåòåðáóðãñêèé ãîñ. óí-ò) êàíä. ôèç.ìàò. íàóê äîö. À.È. Øåïåëÿâûé (Ñ.-Ïåòåðáóðãñêèé ãîñ. óí-ò) Ðåêîìåíäîâàíî ê èçäàíèþ Ðåäàêöèîííî-èçäàòåëüñêèì ñîâåòîì ìàòåìàòèêî-ìåõàíè÷åñêîãî ôàêóëüòåòà Ñ.-Ïåòåðáóðãñêîãî ãîñóäàðñòâåííîãî óíèâåðñèòåòà

à ð à í è ÷ è í Î.H. à 77

Ââåäåíèå â ìåòîäû ñòîõàñòè÷åñêîé îïòèìèçàöèè

Ó÷åá. ïîñîáèå.  ÑÏá.: Èçäàòåëüñòâî Ñ.-Ïåòåðáóðãñêîãî óíèâåðñòèòåòà, 2003.  131 ñ. ISBN 5-288-03201-7 è îöåíèâàíèÿ:

 ïîñîáèè äàåòñÿ ñèñòåìàòè÷åñêîå èçëîæåíèå îñíîâ ìåòîäîâ ñòîõàñòè÷åñêîé ìíîãîìåðíîé îïòèìèçàöèè è îöåíèâàíèÿ â óñëîâèÿõ íàáëþäåíèé ñ ïîìåõàìè. Êðîìå êëàññè÷åñêèõ ðåçóëüòàòîâ, ïðè ôîðìóëèðîâêå êîòîðûõ îáû÷íî ðàññìàòðèâàþòñÿ ïîñòàíîâêè çàäà÷ â îòñóòñòâèå ïîìåõ ëèáî ïðè ñòàíäàðòíûõ ïðåäïîëîæåíèÿõ îá èõ ñòàòèñòè÷åñêèõ õàðàêòåðèñòèêàõ (íåçàâèñèìîñòü è öåíòðèðîâàííîñòü â òåîðåòèêî-âåðîÿòíîñòíîì ñìûñëå), â ó÷åáíîå ïîñîáèå âêëþ÷åí ìàòåðèàë îá àëãîðèòìàõ, äàþùèõ ñîñòîÿòåëüíûå îöåíêè íåèçâåñòíûõ (èëè îïòèìèçèðóåìûõ) ïàðàìåòðîâ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ. Ïîñîáèå ïðåäíàçíà÷åíî äëÿ ñòóäåíòîâ ñòàðøèõ êóðñîâ è àñïèðàíòîâ, îáó÷àþùèõñÿ íà ñïåöèàëüíîñòÿõ, ñâÿçàííûõ ñ îáðàáîòêîé èíôîðìàöèè, â ÷àñòíîñòè èçó÷àþùèõ êóðñ "Îïòèìèçàöèÿ ñèñòåì ðåàëüíîãî âðåìåíè"; îíî ìîæåò èñïîëüçîâàòüñÿ ïðè ïîäãîòîâêå ñïåöèàëèñòîâ ïî ñòàòèñòè÷åñêèì ìåòîäàì îöåíèâàíèÿ è ñòîõàñòè÷åñêîé îïòèìèçàöèè. Áèáëèîãð. 78 íàçâ. Áåç îáúÿâëåíèÿ

ÁÁÊ 32.811.7

c

c

ISBN 5-288-03201-7

Î.Í. Ãðàíè÷èí, 2003 Èçäàòåëüñòâî Ñ.-Ïåòåðáóðãñêîãî óíèâåðñèòåòà, 2003

ÎÃËÀÂËÅÍÈÅ

Ââåäåíèå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ñïèñîê îáîçíà÷åíèé

..........................................

Ìåòîäû îöåíèâàíèÿ è îïòèìèçàöèè 1.

1.1. 1.2. 1.3. 1.4. 1.5.

2.

..........................

. . . . . . Îöåíèâàíèå âåëè÷èíû ïîñòîÿííîãî ãî íà ôîíå ïîìåõè . . . . . . . . . . Çàäà÷à îá îáíàðóæåíèè ñèãíàëà . Ðàíäîìèçèðîâàííûå àëãîðèòìû . . Ôóíêöèîíàë ñðåäíåãî ðèñêà . . . . Ïðåäñêàçàíèå çíà÷åíèé ñëó÷àéíîãî

Ïðèìåðû çàäà÷ îöåíèâàíèÿ

Ýëåìåíòû ðåãðåññèîííîãî àíàëèçà,

. . . . . . . . . . . . . . ñèãíàëà, íàáëþäàåìî. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ïðîöåññà . . . . . . . .

ìåòîä íàèìåíüøèõ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1. Íàèëó÷øàÿ àïïðîêñèìàöèÿ îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ äðóãîé . . . . . . . . . . . . . . . . . . . . . . . . 2.2. Îöåíèâàíèå ïî êîíå÷íîìó ÷èñëó íàáëþäåíèé . . . . . . . . 2.3. Ðåêóððåíòíûå ìîäèôèêàöèè ìåòîäà íàèìåíüøèõ êâàäðàòîâ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Îïòèìàëüíàÿ ôèëüòðàöèÿ ñëó÷àéíûõ ïðîöåññîâ . . . . . . 3.1. Ôèëüòð ÂèíåðàÊîëìîãîðîâà . . . . . . . . . . . . . . . . . 3.2. Ôèëüòð ÊàëìàíàÁüþñè . . . . . . . . . . . . . . . . . . . . êâàäðàòîâ

3.

4.

Ìåòîäû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è ñëó÷àéíîãî

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ïîèñê êîðíÿ íåèçâåñòíîé ôóíêöèè. Àëãîðèòì Ðîááèíñà Ìîíðî . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2. Ìèíèìèçàöèÿ ôóíêöèîíàëà ñðåäíåãî ðèñêà . . . . . . . . . 4.3. Ïðîöåäóðà ÊèôåðàÂîëüôîâèöà . . . . . . . . . . . . . . . 4.4. Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5. Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ . . . . . . . . . . 4.6. Ìîäèôèêàöèè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè 4.7. Àëãîðèòìû ñëó÷àéíîãî ïîèñêà . . . . . . . . . . . . . . . . Ýëåìåíòû òåîðèè îöåíèâàíèÿ . . . . . . . . . . . . . . . . . . 5.1. Ìåòîä ýìïèðè÷åñêîãî ôóíêöèîíàëà . . . . . . . . . . . . . 5.2. Áàéåñîâñêèå îöåíêè . . . . . . . . . . . . . . . . . . . . . . . 5.3. Ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ . . . . . . . . . . . . 5.4. Äîñòèæèìàÿ òî÷íîñòü îöåíèâàíèÿ . . . . . . . . . . . . . . ïîèñêà

4.1.

5.

5 19 21   25 28 29 31 33  36 42 47  53 61 62 65 67 68 72 73 80 83  85 89 93

3

6.

. . . . . . . . . . . . 97 Ñëó÷àéíûé ñèãíàë, íàáëþäàåìûé íà ôîíå îãðàíè÷åííûõ ïîìåõ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ. Êîíå÷íîñõîäÿùèåñÿ àëãîðèòìû . . . . . . . . . . . . . . . . . . . . . . . 98 Àëãîðèòì "Ïîëîñêà" . . . . . . . . . . . . . . . . . . . . . . 102 Ìåòîä ýëëèïñîèäîâ . . . . . . . . . . . . . . . . . . . . . . . 104

Îöåíèâàíèå ïðè îãðàíè÷åííûõ ïîìåõàõ

6.1. 6.2. 6.3. 6.4.

Ïðèëîæåíèå. Íåêîòîðûå íåîáõîäèìûå ìàòåìàòè÷åñêèå ñâåäåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . Ï.1.1. Ñëó÷àéíûå âåëè÷èíû . . . . . . . . . . . . . . . . . . . . . . Ï.1.2. Íåêîòîðûå íåðàâåíñòâà äëÿ ñëó÷àéíûõ âåëè÷èí . . . . . . Ï.1.3. Çàêîí áîëüøèõ ÷èñåë äëÿ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí Ï.1.4. Ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû . . . . . . . . . . . . . . Ï.1.5. Ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí, áëèçêèå ê ñóïåðìàðòèíãàëàì . . . . . . . . . . . . . . . . . . . . . . . . . . . Ï.2. Íåêîòîðûå ìàòðè÷íûå ñîîòíîøåíèÿ . . . . . . . . . . . . . . Ï.3. Ôàêòîðèçàöèÿ ìàòðè÷íûõ ôóíêöèé . . . . . . . . . . . . . . Ï.4. Ñõîäèìîñòü ðåêóððåíòíûõ àëãîðèòìîâ . . . . . . . . . . . . Ï.4.1. Ëèíåéíûé ñëó÷àé . . . . . . . . . . . . . . . . . . . . . . . . Ï.4.2. Ìåòîä ñòîõàñòè÷åñêîé ôóíêöèè Ëÿïóíîâà . . . . . . . . . .

Ï.1. Òåîðèÿ âåðîÿòíîñòåé

107   109 110 111 113 115  116  118

Òåðìèíîëîãè÷åñêèé óêàçàòåëü . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

121

Óêàçàòåëü ëèòåðàòóðû . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

123

4

ÂÂÅÄÅÍÈÅ Òî÷íîå ðåøåíèå ëþáîé ïðîáëåìû âîçìîæíî ïðè òî÷íîé ïîñòàíîâêå çàäà÷è, íî ñâÿçè è îòíîøåíèÿ â ðåàëüíî ñóùåñòâóþùåì ìèðå íàñòîëüêî ñëîæíû è ìíîãîîáðàçíû, ÷òî ïðàêòè÷åñêè íåâîçìîæíî ìàòåìàòè÷åñêè ñòðîãî îïèñàòü ìíîãèå ÿâëåíèÿ. Òèïè÷íûì ïîäõîäîì â òåîðèè ÿâëÿåòñÿ âûáîð áëèçêîé ê ðåàëüíûì ïðîöåññàì ìàòåìàòè÷åñêîé ìîäåëè è âêëþ÷åíèå â íåå ðàçëè÷íûõ ïîìåõ, îòíîñÿùèõñÿ, ñ îäíîé ñòîðîíû, ê ãðóáîñòè ìàòåìàòè÷åñêîé ìîäåëè è, ñ äðóãîé, õàðàêòåðèçóþùèõ íåêîíòðîëèðóåìûå âíåøíèå âîçìóùåíèÿ îáúåêòà èëè ñèñòåìû. Äëÿ âñåõ ìàòåìàòè÷åñêèõ ìîäåëåé ðåçóëüòàòîì ýêñïåðèìåíòà ÿâëÿåòñÿ ìàòåìàòè÷åñêèé îáúåêò  ÷èñëî, ìíîæåñòâî ÷èñåë, êðèâàÿ è ò.ï.  ìàòåìàòè÷åñêîì àñïåêòå çíà÷èòåëüíûé êðóã ïðèêëàäíûõ çàäà÷ èìååò ñâîåé öåëüþ âîññòàíîâëåíèå ïî ýêñïåðèìåíòàëüíûì äàííûì õàðàêòåðèñòèê (ïàðàìåòðîâ) îáúåêòà. Ïðè ýòîì ðåàëüíûå ñèñòåìû ðåäêî èñ÷åðïûâàþùå îïèñûâàþòñÿ îãðàíè÷åííûìè ìàòåìàòè÷åñêèìè ìîäåëÿìè. Ïðè âûáîðå ìîäåëè äëÿ ðåøåíèÿ ðåàëüíîé çàäà÷è ïðèíÿòî ãîâîðèòü î ñèñòåìàòè÷åñêîé ïîãðåøíîñòè (ïîãðåøíîñòè ìîäåëè), êîòîðàÿ ìîæåò áûòü êîëè÷åñòâåííî âûðàæåíà ðàññòîÿíèåì îò ðåàëüíîãî îïåðàòîðà äî âûáðàííîé ìîäåëè. Äðóãîé òèï ïîãðåøíîñòåé (îøèáîê), ñ êîòîðûìè ìîæåò ñòîëêíóòüñÿ ýêñïåðèìåíòàòîð, ñâÿçàí ñ îøèáêàìè èçìåðåíèÿ. Òàêèå îøèáêè íàçûâàþò ñòàòèñòè÷åñêîé ïîãðåøíîñòüþ (ñëó÷àéíîé ïîãðåøíîñòüþ). Ïðîöåññ âûáîðà õàðàêòåðèñòèê (ïàðàìåòðîâ) ìîäåëè èç çàäàííîãî êëàññà äëÿ íàèëó÷øåãî îïèñàíèÿ ðåçóëüòàòîâ ïðåäñòàâëÿåò ñîáîé îäíî èç äîâîëüíî îáùèõ îïðåäåëå5

íèé ïîíÿòèÿ îöåíèâàíèÿ. Íà ïðàêòèêå ïðîöåññ îöåíèâàíèÿ ÷àñòî óäàåòñÿ ñâÿçàòü ñ êàêîé-íèáóäü êîëè÷åñòâåííîé õàðàêòåðèñòèêîé êà÷åñòâà îöåíèâàíèÿ è ïðè âûáîðå îöåíîê åñòåñòâåííî ñòàðàòüñÿ ìèíèìèçèðîâàòü îòðèöàòåëüíîå âëèÿíèå ïîãðåøíîñòåé: êàê ñòàòèñòè÷åñêîé, òàê, ïî âîçìîæíîñòè, è ñèñòåìàòè÷åñêîé. Âî ìíîãèõ çàäà÷àõ ïîãðåøíîñòè óäîáíî èíòåðïðåòèðîâàòü êàê ïîìåõè (îøèáêè) íàáëþäåíèÿ (èçìåðåíèÿ ðåçóëüòàòîâ ýêñïåðèìåíòà). Ïðè ðàçðàáîòêå àëãîðèòìîâ îöåíèâàíèÿ â áîëüøèíñòâå ìàòåìàòè÷åñêèõ èññëåäîâàíèé ïîñëåäíèõ 50 ëåò ïîìåõàì â èçìåðåíèÿõ èëè îøèáêàì â îïèñàíèè ñâîéñòâ ìîäåëè ïðèïèñûâàþòñÿ êàêèå-ëèáî ïîëåçíûå ñòàòèñòè÷åñêèå õàðàêòåðèñòèêè. Íà èõ îñíîâå òåîðåòè÷åñêè èññëåäóþòñÿ ñâîéñòâà îöåíîê. Hàèáîëåå ÷àñòî ïðåäïîëàãàåòñÿ, íàïðèìåð, öåíòðèðîâàííîñòü ïîìåõ.  èíæåíåðíîé ïðàêòèêå øèðîêî èñïîëüçóþòñÿ àëãîðèòìû, îñíîâàííûå íà èäåÿõ îáûêíîâåííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ), ïðåäñòàâëÿþùåãî ñîáîé óñðåäíåíèå äàííûõ íàáëþäåíèÿ. Åñëè ïðè ýòîì ïðåäïîëîæåíèå î öåíòðèðîâàííîñòè ïîìåõ áûëî ñäåëàíî áåç äîñòàòî÷íûõ îáîñíîâàíèé, òî ïðàêòè÷åñêîå èñïîëüçîâàíèå àëãîðèòìîâ òàêîãî òèïà íåöåëåñîîáðàçíî. Òàê îáñòîÿò äåëà, íàïðèìåð, â óñëîâèÿõ âîçìîæíîãî ïðîòèâîäåéñòâèÿ "ïðîòèâíèêà".  ÷àñòíîñòè, åñëè ïîìåõà îïðåäåëÿåòñÿ äåòåðìèíèðîâàííîé (íåñëó÷àéíîé) íåèçâåñòíîé ôóíêöèåé (ïðîòèâíèê ãëóøèò ñèãíàë) èëè ïîìåõè èçìåðåíèÿ  çàâèñèìàÿ ñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü, òî ïðèìåíåíèå ê íàáëþäåíèÿì îïåðàöèè óñðåäíåíèÿ íèêàêîé ïîëåçíîé èíôîðìàöèè íå äàåò. Îáû÷íî â òàêîé ñèòóàöèè ïîñëåäîâàòåëüíîñòü íàáëþäåíèé íàçûâàþò âûðîæäåííîé è âîïðîñ î ïîëó÷åíèè "õîðîøåãî" ðåøåíèÿ çàäà÷è íå ðàññìàòðèâàþò. Ýòè òðóäíîñòè â èñïîëüçîâàíèè ñòàíäàðòíûõ ìåòîäîâ ñòîõàñòè÷åñêîé îïòèìèçàöèè ïðèâîäÿò ê íåîáõîäèìîñòè èññëåäîâàòü àëãîðèòìû, îáåñïå÷èâàþùèå âûñîêîå êà÷åñòâî îöåíèâàíèÿ ïðè ìèíèìàëüíûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ. 6

Òåîðèÿ îöåíèâàíèÿ òåñíî ïåðåïëåòàåòñÿ ñ òåîðèåé îïòèìèçàöèè. Èíîãäà äàæå òðóäíî ïðîâåñòè ìåæäó íèìè ÷åòêóþ ãðàíèöó. Íàèáîëåå ÷àñòî ïðîáëåìû òåîðèè îöåíèâàíèÿ è îïòèìèçàöèè ìàòåìàòè÷åñêè ôîðìàëèçóþòñÿ â âèäå çàäà÷è î ïîèñêå äëÿ íåêîòîðîé ôóíêöèè f (
) èç R r â R îäíîãî èç åå êîðíåé (ýëåìåíòà èç îáëàñòè çàäàíèÿ ôóíêöèè, îòâå÷àþùåãî íóëåâîìó çíà÷åíèþ: f = 0) ëèáî ýëåìåíòà èç îáëàñòè çàäàíèÿ, ìèíèìèçèðóþùåãî (ìàêñèìèçèðóþùåãî) åå çíà÷åíèå: min f èëè rf = 0.  ëèòåðàòóðå è ïðèëîæåíèÿõ ýòó ôóíêöèþ íàçûâàþò ïî-ðàçíîìó. ×àùå äðóãèõ èñïîëüçóþòñÿ ñëåäóþùèå íàçâàíèÿ: ôóíêöèÿ ïîòåðü, öåëåâàÿ ôóíêöèÿ, ôóíêöèîíàë êà÷åñòâà, ôóíêöèîíàë ñðåäíåãî ðèñêà.  ñòàòèñòèêå åå ïðèíÿòî íàçûâàòü ôóíêöèåé ðåãðåññèè.  ïîñîáèè â çàâèñèìîñòè îò êîíòåêñòà áóäåò èñïîëüçîâàíî òî èëè äðóãîå èç ýòèõ ïîíÿòèé. Àðãóìåíò ôóíêöèè, îòíîñèòåëüíî êîòîðîãî ñòàâèòñÿ çàäà÷à, îáû÷íî íàçûâàþò âåêòîðîì ðåãóëèðóåìûõ èëè îöåíèâàåìûõ ïàðàìåòðîâ. Áåç ïîòåðè îáùíîñòè áóäåì ðàññìàòðèâàòü çàäà÷è îïòèìèçàöèè â êîíòåêñòå ìèíèìèçàöèè, òàê êàê ñëó÷àé ìàêñèìèçàöèè ëåãêî ê íåìó ïðåîáðàçóåòñÿ, èçìåíÿÿ çíàê ôóíêöèè ïîòåðü. Ïîä àëãîðèòìîì îöåíèâàíèÿ èëè îïòèìèçàöèè áóäåì ïîíèìàòü ïðîöåäóðó ïîøàãîâîãî (ïîñëåäîâàòåëüíîãî) èçìåíåíèÿ ðåãóëèðóåìûõ ïàðàìåòðîâ îò íåêîòîðîãî íà÷àëüíîãî çíà÷åíèÿ (èëè ìíîæåñòâà çíà÷åíèé) äî çíà÷åíèÿ, îïòèìèçèðóþùåãî ôóíêöèþ ïîòåðü, ò.å. ìû ðàññìàòðèâàåì ðåêóððåíòíûå (èòåðàòèâíûå) ìåòîäû. Äëÿ ñòîõàñòè÷åñêîãî ïðîöåññà îïòèìèçàöèè, ïîëó÷àþùåãî âõîäíóþ èíôîðìàöèþ ñ ïîìåõàìè, òèïè÷íûì ÿâëÿåòñÿ òîò ôàêò, ÷òî ñîîòâåòñòâóþùàÿ ïîñëåäîâàòåëüíîñòü çíà÷åíèé ôóíêöèè ïîòåðü ìîæåò íå óáûâàòü ðàâíîìåðíî, à èíîãäà  âðåìåííî óâåëè÷èâàòüñÿ. Îáû÷íî ïðè êëàññèôèêàöèè ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ îöåíèâàíèÿ èëè îïòèìèçàöèè èõ óñëîâíî ðàçäåëÿþò íà äâå ãðóïïû. Îäíà ãðóïïà àëãîðèòìîâ áàçèðóåòñÿ íà ïðÿìûõ èçìåðåíèÿõ (èëè âû÷èñëåíèÿõ) çíà÷åíèé ãðàäèåíòà ôóíêöèè ïîòåðü ïðè ðàçëè÷íûõ îïòèìèçèðóåìûõ ïàðàìåò7

ðàõ, äðóãàÿ  íà àïïðîêñèìàöèÿõ ãðàäèåíòà, âû÷èñëÿåìûõ íà îñíîâàíèè èçìåðåíèé çíà÷åíèé ôóíêöèè ïîòåðü, âîîáùå ãîâîðÿ, ñ ïîìåõàìè. Ïðîòîòèïàìè ïåðâîé ãðóïïû àëãîðèòìîâ ÿâëÿþòñÿ ïðîöåäóðà ÐîááèíñàÌîíðî (ÐÌ), êîòîðóþ ìîæíî ðàññìàòðèâàòü êàê îáîáùåíèå èçâåñòíîãî ãðàäèåíòíîãî ìåòîäà, ìåòîä ñêîðîñòíîãî ãðàäèåíòà, îáðàòíûé ìåòîä äëÿ íåéðîííûõ ñåòåé è ìåòîä âû÷èñëåíèÿ ãðàäèåíòà ôóíêöèè ïîòåðü äëÿ ñèñòåì ðåàëüíîãî âðåìåíè, îñíîâàííûé íà àíàëèçå áåñêîíå÷íî ìàëûõ âîçìóùåíèé. Ñðåäè àëãîðèòìîâ âòîðîãî òèïà êëàññè÷åñêèìè áóäóò êîíå÷íî-ðàçíîñòíûé ìåòîä ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÊèôåðàÂîëüôîâèöà (ÊÂ) è ìåòîä ñëó÷àéíîãî ïîèñêà. Îñíîâíîé íåäîñòàòîê àëãîðèòìîâ ïåðâîãî òèïà  òî, ÷òî íà ïðàêòèêå â íèõ èñïîëüçóþòñÿ âìåñòî òî÷íûõ çíà÷åíèé ãðàäèåíòà íåêîòîðûå ïðèáëèæåíèÿ, òàê êàê äàííûå èçìåðåíèé, âîîáùå ãîâîðÿ, íå âñåãäà òî÷íî ñîîòíîñÿòñÿ ñ ðåàëüíûìè õàðàêòåðèñòèêàìè èññëåäóåìîé ñèñòåìû. Êðîìå ñëó÷àÿ ìîäåëè ëèíåéíîé ðåãðåññèè, ñõîäèìîñòü àëãîðèòìîâ ýòîãî òèïà îáû÷íî óäàåòñÿ äîêàçàòü òîëüêî ïðè èçâåñòíûõ ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ â èçìåðåíèè òåêóùèõ çíà÷åíèé âåêòîðãðàäèåíòà è ñòàíäàðòíûõ ïðåäïîëîæåíèÿõ îá èõ öåíòðèðîâàííîñòè è íåêîððåëèðîâàííîñòè. Íàïðîòèâ, ïîäõîäû, îñíîâàííûå íà àïïðîêñèìàöèè ãðàäèåíòà, òðåáóþò òîëüêî ïðåîáðàçîâàíèÿ îñíîâíûõ èçìåðåíèé íà âûõîäå ê çíà÷åíèÿì ñêà÷êà ôóíêöèè ïîòåðü, ÷òî íå òðåáóåò ïîëíîãî çíàíèÿ îòíîøåíèé ìåæäó âõîäàìè è âûõîäàìè ñèñòåìû.  íàñòîÿùåå âðåìÿ çàìåòåí ðîñò çàèíòåðåñîâàííîñòè ïðàêòèêîâ â òàêîãî ðîäà ðåêóððåíòíûõ àëãîðèòìàõ îïòèìèçàöèè. Ýòî ìîòèâèðóåòñÿ ïðîáëåìàìè, âîçíèêàþùèìè ïðè êîíñòðóèðîâàíèè ñèñòåì, ðàáîòàþùèõ â ðåàëüíîì âðåìåíè è ðåàãèðóþùèõ íà ñëîæíûå ïîñëåäîâàòåëüíûå çàïðîñû, ïðè ñèíòåçå àäàïòèâíûõ ñèñòåì óïðàâëåíèÿ, ïðè îïòèìèçàöèè âû÷èñëèòåëüíûõ ïðîöåññîâ ñ áîëüøèìè îáúåìàìè ìîäåëèðîâàíèÿ ïî ìåòîäó ÌîíòåÊàðëî, ïðè ïðîöåññå îáó÷åíèÿ íåéðîííûõ ñåòåé, â çàäà÷àõ ñòàòèñòè÷åñêîé 8

èäåíòèôèêàöèè ñëîæíûõ ñèñòåì, ðàñïîçíàâàíèÿ èçîáðàæåíèé (îáðàçîâ), ïîëó÷àåìûõ ñ ïîìåõàìè îò ñåíñîðíûõ äàò÷èêîâ. Ñòîèò åùå ðàç ïîä÷åðêíóòü: ãëàâíîå ïðåèìóùåñòâî òàêîãî òèïà àëãîðèòìîâ çàêëþ÷àåòñÿ â òîì, ÷òî îíè íå òðåáóþò äåòàëüíûõ çíàíèé ôóíêöèîíàëüíûõ îòíîøåíèé ìåæäó íàñòðàèâàåìûìè ïàðàìåòðàìè è çíà÷åíèåì ôóíêöèè ïîòåðü, êîòîðûå íåîáõîäèìû â àëãîðèòìàõ ïåðâîãî òèïà, îñíîâàííûõ íà èñïîëüçîâàíèè òî÷íîãî çíà÷åíèÿ âåëè÷èíû ãðàäèåíòà. Òàêèå îòíîøåíèÿ ïðè ðåøåíèè íåêîòîðûõ çàäà÷ çà÷àñòóþ òðóäíî ïîëó÷èòü (íàïðèìåð, ïðè êîíñòðóèðîâàíèè íåëèíåéíîãî ðåãóëÿòîðà îáðàòíîé ñâÿçè), à â äðóãèõ çàäà÷àõ (òàêèõ, êàê îïòèìèçàöèÿ ïî ÌîíòåÊàðëî èëè ðåêóððåíòíàÿ ñòàòèñòè÷åñêàÿ îöåíêà ïàðàìåòðîâ) ïðè áîëåå èëè ìåíåå èçâåñòíûõ ñâîéñòâàõ ýòèõ îòíîøåíèé âîçíèêàþò áîëüøèå òðóäíîñòè ïðè âû÷èñëåíèè ãðàäèåíòà, ñâÿçàííûå ñ íåîáõîäèìîñòüþ ìíîãîêðàòíî íàõîäèòü çíà÷åíèÿ ôóíêöèè ïîòåðü. Èç-çà ñóùåñòâåííûõ ðàçëè÷èé â òèïå èñïîëüçóåìîé èíôîðìàöèè òðóäíî âûáðàòü ýôôåêòèâíûé ìåòîä ñðàâíåíèÿ êà÷åñòâà ðàáîòû àëãîðèòìîâ ïåðâîãî è âòîðîãî òèïîâ. Îáû÷íî àëãîðèòìû, îñíîâàííûå íà èçìåðåíèè ãðàäèåíòà, áûñòðåå ñõîäÿòñÿ ê îïòèìàëüíûì çíà÷åíèÿì ïàðàìåòðîâ. Èíòóèòèâíî ýòîò ðåçóëüòàò íå óäèâëÿåò, òàê êàê òàêèå àëãîðèòìû èñïîëüçóþò áîëåå ñîäåðæàòåëüíóþ äîïîëíèòåëüíóþ èíôîðìàöèþ î ãðàäèåíòå ôóíêöèè ïîòåðü. Íà îñíîâàíèè òåîðåòè÷åñêèõ èññëåäîâàíèé àñèìïòîòè÷åñêîãî ïîâåäåíèÿ îòêëîíåíèÿ âåêòîðà îöåíîê îò îïòèìàëüíîãî äëÿ àëãîðèòìîâ ïåðâîãî òèïà ÷àñòî ïîëó÷àþò ñêîðîñòü ñõîäèìîñòè, ïðîïîðöèîíàëüíóþ îáðàòíîé âåëè÷èíå êâàäðàòíîãî êîðíÿ èç êîëè÷åñòâà èòåðàöèé. Ïðè ïîñòðîåíèè àëãîðèòìîâ âòîðîãî òèïà ïî÷òè òó æå ñêîðîñòü ñõîäèìîñòè äîñòèãàþò òîëüêî â ñïåöèàëüíûõ ñëó÷àÿõ. Ïîìèìî àñèìïòîòè÷åñêîé îöåíêè êîëè÷åñòâà èòåðàöèé íà ïðàêòèêå äëÿ ñðàâíåíèÿ àëãîðèòìîâ àíàëèçèðóþò è äðóãèå ôàêòîðû, ó÷åò êîòîðûõ íåðåäêî îòäàåò ïðåäïî÷òåíèå àëãîðèòìàì âòîðîãî òèïà. Ê òàêèì ôàêòîðàì îòíîñÿòñÿ ñëåäóþùèå: 9

 Íåâîçìîæíîñòü èíîãäà ïîëó÷èòü äîñòîâåðíûå ñâåäåíèÿ î ñèñòåìíûõ îòíîøåíèÿõ âõîäàâûõîäà. Åñëè ñâåäåíèÿ î ñèñòåìíîé ìîäåëè íåäîñòóïíû, íåíàäåæíû èëè èñïîëüçóåòñÿ íåäîñòàòî÷íàÿ ñèñòåìíàÿ ìîäåëü, òî àëãîðèòìû ïåðâîãî òèïà íå îñóùåñòâèìû íà ïðàêòèêå.  Îáùàÿ ñòîèìîñòü ñêîðîñòè ñõîäèìîñòè, êîòîðóþ íóæíî ó÷èòûâàòü, çàâèñèò íå òîëüêî îò òðåáóåìîãî ÷èñëà èòåðàöèé, íî òàêæå è îò çàòðàò, íåîáõîäèìûõ äëÿ âûïîëíåíèÿ îäíîé èòåðàöèè. Ýòè çàòðàòû äëÿ àëãîðèòìîâ, èñïîëüçóþùèõ òî÷íûå çíà÷åíèÿ ãðàäèåíòîâ, ÷àñòî âêëþ÷àþò â ñåáÿ áîëüøîé îáúåì âû÷èñëåíèé, äîïîëíèòåëüíûå ÷åëîâå÷åñêèå óñèëèÿ, íåîáõîäèìûå äëÿ îïðåäåëåíèÿ è êîäèðîâàíèÿ ãðàäèåíòîâ, à òàêæå ìàòåðèàëüíûå çàòðàòû (ïðè íåîáõîäèìîñòè) íà ðàçðàáîòêó ìîäåëè è ïðîâåäåíèå ýêñïåðèìåíòîâ: òðóäîçàòðàòû, ìàòåðèàëû, òîïëèâî è ò.ï.  Àñèìïòîòè÷åñêèå îöåíêè ñêîðîñòè ñõîäèìîñòè íå âñåãäà ïðåäñòàâèòåëüíû ïðè êîíå÷íûõ âûáîðêàõ. Èñòîðè÷åñêèé îáçîð. Îñòàíîâèìñÿ íåñêîëüêî ïîäðîáíåå íà ïåðå÷èñëåíèè ýòàïîâ è çíàìåíàòåëüíûõ âåõ â ðàçâèòèè òåîðèè ñòîõàñòè÷åñêîé îïòèìèçàöèè è îöåíèâàíèÿ. Òåîðèÿ îöåíèâàíèÿ íà÷àëà ôîðìèðîâàòüñÿ êàê ìàòåìàòè÷åñêàÿ íàóêà â 1806 ã., êîãäà ïîÿâèëàñü ðàáîòà À. Ëåæàíäðà î íàèìåíüøèõ êâàäðàòàõ. ×åñòü îñíîâàòåëÿ ïðèíàäëåæèò è Ê. Ãàóññó, îïóáëèêîâàâøåìó â 1809 ã. ñâîþ âåðñèþ ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ).  1821 ã. îí ïðåäëîæèë ðåêóððåíòíûé âàðèàíò ïðîöåäóðû, ïîçâîëÿþùèé êîððåêòèðîâàòü ðàíåå âû÷èñëåííóþ îöåíêó ñ ó÷åòîì âíîâü ïîñòóïèâøèõ äîïîëíèòåëüíûõ èçìåðåíèé áåç íåîáõîäèìîñòè ïîâòîðà âñåõ ïðåäøåñòâóþùèõ âû÷èñëåíèé.  ýòîò ïåðèîä ñòèìóëîì ðàçâèòèÿ ÌÍÊ ñëóæèëè çàïðîñû ðàçâèòèÿ íåáåñíîé ìåõàíèêè, è ìåòîä áûñòðî ñòàë ñòàíäàðòíûì äëÿ îïðåäåëåíèÿ îðáèò íåáåñíûõ òåë. Íåóäèâèòåëüíî, ÷òî â ðÿäó àâòîðîâ ðàáîò ïî íåáåñíîé ìåõàíèêå ñòîÿò èìåíà Ô. Áåññåëÿ, Æ. Ëàãðàíæà, Ï. Ëàïëàñà, Ñ. Ïóàññîíà, èçâåñòíûõ ñâîèì âêëàäîì â îñíîâàíèÿ ñòàòèñòèêè. 10

 íà÷àëå ÕÕ âåêà òåîðåòè÷åñêèå îáîñíîâàíèÿ ìåòîäà íàèìåíüøèõ êâàäðàòîâ ïîëó÷èëè çíà÷èòåëüíîå ðàçâèòèå â òðóäàõ À.À. Ìàðêîâà [24]. Ïîñòåïåííî ìåòîäèêà îöåíèâàíèÿ áûëà ïîãëîùåíà ñòàòèñòèêîé, íî íå ñðàçó â äîñòàòî÷íî ñòðîãîé ìàòåìàòè÷åñêîé ôîðìå. Ëèøü â ñåðåäèíå ÕÕ âåêà òåîðèÿ âåðîÿòíîñòåé è âàæíåéøèå ðàçäåëû ñòàòèñòèêè ïîëó÷èëè ñîîòâåòñòâóþùåå ìàòåìàòè÷åñêîå îôîðìëåíèå, ïðåæäå âñåãî áëàãîäàðÿ èñïîëüçîâàíèþ êîíöåïöèé òåîðèè ìåðû. Ôóíäàìåíò ñîâðåìåííîãî ñîñòîÿíèÿ òåîðèè îöåíèâàíèÿ çàëîæåí Ð. Ôèøåðîì â 20 30-õ ãîäàõ ïðîøëîãî âåêà [65]. Ð. Ôèøåð ïðåäëîæèë ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ è ïîêàçàë, ÷òî äîñòàâëÿåìûå èì îöåíêè íå ìîãóò áûòü ñóùåñòâåííî óëó÷øåíû. Ð. Ôèøåðîì òàêæå ââåäåíû ñòàâøèå îáùåïðèíÿòûìè ïîíÿòèÿ íåñìåùåííîñòè, äîñòàòî÷íîñòè, ñîñòîÿòåëüíîñòè, ýôôåêòèâíîñòè è àñèìïòîòè÷åñêîé ýôôåêòèâíîñòè îöåíîê. Òùàòåëüíî ðàññìàòðèâàÿ îñíîâàíèÿ òåîðèè îöåíèâàíèÿ, îí èçáàâèë åå îò æåñòêèõ îãðàíè÷åíèé, ñóùåñòâîâàâøèõ ñ ìîìåíòà ïîÿâëåíèÿ ðàáîò Ê. Ãàóññà. Îáîáùåíèÿ åãî òåîðèè ïðèâåëè, â ÷àñòíîñòè, ê ðàçâèòèþ ñîâðåìåííûõ ìåòîäîâ íåïàðàìåòðè÷åñêîãî è ðîáàñòíîãî îöåíèâàíèÿ, â êîòîðûõ òî÷íàÿ ïðèðîäà ðàñïðåäåëåíèÿ âåðîÿòíîñòåé îöåíèâàåìûõ ñëó÷àéíûõ âåëè÷èí íå ïðåäïîëàãàåòñÿ èçâåñòíîé. Îäíîâðåìåííî ñ ôîðìàëèçàöèåé è ðàçâèòèåì ìàòåìàòè÷åñêîé ñòàòèñòèêè ïðîâîäèëèñü èññëåäîâàíèÿ â äàëåêèõ, êàçàëîñü áû, îò íèõ îáëàñòÿõ. Äî 1940 ãîäà îöåíèâàíèå êàñàëîñü ïðåæäå âñåãî êëàññè÷åñêèõ ïðîáëåì îïðåäåëåíèÿ íàèëó÷øèõ îöåíîê ïàðàìåòðîâ ðàñïðåäåëåíèé íà îñíîâå âûáîðêè èç ãåíåðàëüíîé ñîâîêóïíîñòè. Ìåæäó òåì ñïåöèàëèñòû ïî ëèíèÿì ñâÿçè èìåëè äåëî ñ çàäà÷åé ñèíòåçà óñòðîéñòâ, ïîçâîëÿþùèõ ýôôåêòèâíî îáíàðóæèâàòü ïðèñóòñòâèå èëè îòñóòñòâèå ñèãíàëà, íàáëþäàåìîãî íà ôîíå ïîìåõè. Èìåííî èõ èññëåäîâàíèÿ ñîñòàâèëè êîíêóðåíöèþ ñòàòèñòè÷åñêèì èññëåäîâàíèÿì Ð. Ôèøåðà. Áûñòðîå ðàçâèòèå òåîðèè ñâÿçè ïðèâåëî ê íåîáõîäèìîñòè ó÷åòà âîçäåéñòâèÿ ïîìåõ íà ðàñïðîñòðàíåíèå è ïðèåì 11

ñèãíàëîâ. Ïåðâûå ïîïûòêè óìåíüøèòü íåæåëàòåëüíîå âîçäåéñòâèå ïîìåõ áûëè ñâÿçàíû ñ ââåäåíèåì ìåòîäîâ ðàñ÷åòà ôèëüòðîâ, ïîçâîëÿþùèõ îöåíèòü ñïåêòð ìîùíîñòè ïîëåçíîãî ñèãíàëà. Ýòè ïîïûòêè äåëàëèñü â ïåðñïåêòèâíîì íàïðàâëåíèè, íî èõ ñäåðæèâàëà íåðàçâèòîñòü òåîðèè ôèëüòðàöèè. Ìàòåìàòè÷åñêèå îñíîâû ýòîé òåîðèè òîëüêî çàêëàäûâàëèñü: â íà÷àëå 30-õ ãîäîâ ÕÕ âåêà À. Õèí÷èí è Í. Âèíåð ñîçäàëè òåîðèþ ãàðìîíè÷åñêîãî àíàëèçà ñëó÷àéíûõ ôóíêöèé, öåíòðàëüíîå ìåñòî â êîòîðîé çàíèìàåò òåîðåìà î ñïåêòðàëüíîì ïðåäñòàâëåíèè ñòàöèîíàðíûõ ïðîöåññîâ. Îñíîâû òåîðèè îïòèìàëüíîé ôèëüòðàöèè ñòàöèîíàðíûõ ïðîöåññîâ áûëè çàëîæåíû â ðàáîòàõ À.Í. Êîëìîãîðîâà (1941 ã.  ñì. [18]) è îò÷åòå Í. Âèíåðà, íàïèñàííîì â 1942 ã. ïî çàäàíèþ Íàöèîíàëüíîãî Ñîâåòà îáîðîííûõ èññëåäîâàíèé ÑØÀ è îïóáëèêîâàííîì â 1949 ã.  ñì.[78]. Í. Âèíåð ïîêàçàë, â ÷àñòíîñòè, ÷òî òåîðèÿ îöåíèâàíèÿ ìîæåò áûòü ïðèìåíåíà äëÿ ñèíòåçà ýëåêòðè÷åñêîãî ôèëüòðà, êîòîðûé îáåñïå÷èâàåò íàèëó÷øåå âûäåëåíèå ñèãíàëà ïðè íàëè÷èè ñòàöèîíàðíîé ïîìåõè. Îñíîâíîé àêöåíò îí äåëàë íå ñòîëüêî íà ðàññìîòðåíèå ÷àñòîòíûõ ñïåêòðîâ ñèãíàëîâ, ñêîëüêî íà èõ îáðàáîòêó êàê ñòîõàñòè÷åñêèõ ïðîöåññîâ. Öåíòðàëüíûì ìåñòîì òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà ÿâëÿåòñÿ óðàâíåíèå ÂèíåðàÕîïôà, ðåøåíèå êîòîðîãî íåïîñðåäñòâåííî ñâÿçàíî ñ ñèíòåçîì îïòèìàëüíîãî ôèëüòðà. Àíàëèòè÷åñêèå òðóäíîñòè ðåøåíèÿ ýòîãî óðàâíåíèÿ (â ÷àñòíîñòè, ïðîáëåìà ôàêòîðèçàöèè) ÿâèëèñü ãëàâíûì ïðåïÿòñòâèåì íà ïóòè øèðîêîãî âíåäðåíèÿ ìåòîäîâ ôèëüòðàöèè â ïðàêòèêó. Êðîìå òîãî, çíà÷èòåëüíûì îãðàíè÷åíèåì äëÿ ìíîãèõ ïðèëîæåíèé áûëî âàæíîå ïðåäïîëîæåíèå î ñòàöèîíàðíîñòè îáðàáàòûâàåìîãî ñèãíàëà.  êîíöå 40-õ ãîäîâ ÕÕ âåêà çàêëàäûâàþòñÿ îñíîâû ñòàòèñòè÷åñêîé òåîðèè ñâÿçè è òåîðèè èíôîðìàöèè.  1947 ã. â äîêòîðñêîé äèññåðòàöèè Â.À. Êîòåëüíèêîâà "Òåîðèÿ ïîòåíöèàëüíîé ïîìåõîóñòîé÷èâîñòè", îïóáëèêîâàííîé â 1956 ã.  ñì. [19], âïåðâûå ñôîðìóëèðîâàíà çàäà÷à îïòèìàëüíîãî ñòà12

òèñòè÷åñêîãî ñèíòåçà ïðèåìíûõ óñòðîéñòâ è äàåòñÿ ðåøåíèå çàäà÷è îáíàðóæåíèÿ è ðàçëè÷åíèÿ äåòåðìèíèðîâàííûõ ñèãíàëîâ íà ôîíå êîððåëèðîâàííîé ïîìåõè.  ýòîé ðàáîòå ñ íîâûõ ïîçèöèé àíàëèçèðóþòñÿ ìíîãèå ôóíäàìåíòàëüíûå ïîíÿòèÿ. Ñïóñòÿ íåìíîãèì áîëåå ãîäà ïîÿâëÿåòñÿ øèðîêî èçâåñòíàÿ ðàáîòà Ê. Øåííîíà, ñîäåðæàùàÿ çíàìåíèòûå òåîðåìû î êîäèðîâàíèè ïåðåäàâàåìûõ ñèãíàëîâ ñ öåëüþ óñòðàíåíèÿ èçáûòî÷íîé èíôîðìàöèè è î ïðîïóñêíîé ñïîñîáíîñòè êàíàëîâ ñî ñëó÷àéíûìè ïîìåõàìè. Øèðîêîå ïðèçíàíèå ñðåäè èíæåíåðîâ ïðîåêòèðîâùèêîâ ñèñòåì ñâÿçè ïîëó÷èëà èíòåðïðåòàöèÿ Áîäå Øåííîíà (1950 ã.) ïðîöåäóðû ñèíòåçà îïòèìàëüíîãî ôèëüòðà [62].  òî æå âðåìÿ Í. Âèíåð ïóáëèêóåò êíèãó "Êèáåðíåòèêà, èëè óïðàâëåíèå è ñâÿçü â æèâîòíîì è ìàøèíå", âîçâåñòèâøóþ î ñòàíîâëåíèè íîâîé íàóêè  êèáåðíåòèêè, â êîòîðîé èíôîðìàöèîííî-óïðàâëåí÷åñêàÿ ñâÿçü â ÿâëåíèÿõ ìàòåðèàëüíîãî ìèðà âûñòóïàåò êàê ôóíäàìåíòàëüíîå åãî ñâîéñòâî [5]. Ïîçæå òåîðèÿ îïòèìàëüíîé ôèëüòðàöèè îáîãàùàåòñÿ áàéåñîâñêîé èäåîëîãèåé. Ñòðóêòóðó îïòèìàëüíîãî ïðèåìíèêà-îáíàðóæèòåëÿ íà÷àëè ôîðìèðîâàòü íà îñíîâàíèè àíàëèçà îòíîøåíèÿ ïðàâäîïîäîáèÿ è ïðè îïðåäåëåííûõ óñëîâèÿõ íàó÷èëèñü ïîëó÷àòü ñîãëàñîâàííûé ôèëüòð, ìàêñèìèçèðóþùèé îòíîøåíèå ñèãíàë/øóì íà âõîäå ðåøàþùåãî óñòðîéñòâà. Íàðÿäó ñ ïðîáëåìîé îáíàðóæåíèÿ íà ïåðâûé ïëàí â ñòàòèñòè÷åñêîé òåîðèè ñâÿçè âûäâèãàþòñÿ ïðîáëåìû ðàçëè÷åíèÿ ñèãíàëîâ è âîññòàíîâëåíèÿ ñîîáùåíèé. Ýòè ïðîáëåìû îêàçàëèñü òåñíî ñâÿçàííûìè ñ îöåíêîé ïàðàìåòðîâ, îò êîòîðûõ ìîãóò çàâèñåòü ïðèíèìàåìûå ñèãíàëû. Òàê, íàïðèìåð, ïðîåêòèðîâùèêè ðàäèîëîêàòîðà óæå íå óäîâëåòâîðÿþòñÿ ðåøåíèåì òîëüêî ïðîáëåìû äåòåêòèðîâàíèÿ ñèãíàëà. Äëÿ íèõ âàæíî ïîëó÷èòü äîïîëíèòåëüíóþ èíôîðìàöèþ îá àìïëèòóäå è ôàçå ïðèíÿòûõ ðàäèîëîêàòîðîì ñèãíàëîâ. Õîòÿ ïåðâîíà÷àëüíî ïðåîáðàçîâàíèå ñèãíàëîâ è îöåíèâàíèå èõ ïàðàìåòðîâ èçó÷àëîñü ñî ñïåöèàëüíûìè öåëÿìè, âñêîðå áûëî óñòàíîâëåíî, ÷òî ýòè ïðîáëåìû åñòåñòâåííî óêëàäûâàþòñÿ â ðàìêè ñòàòèñòèêè. 13

 êîíöå 50-õ ãîäîâ ÕÕ âåêà ïðè èññëåäîâàíèè îïòèìàëüíûõ ôèëüòðîâ, ñèíòåçèðóåìûõ äëÿ îáðàáîòêè ðåçóëüòàòîâ íàáëþäåíèÿ íà êîíå÷íîì èíòåðâàëå âðåìåíè, áûëè ïðåäëîæåíû ïîäõîäû, íå èñïîëüçóþùèå èíòåãðàëüíîå óðàâíåíèå Âèíåðà Õîïôà. Ð. Êàëìàí è Ð. Áüþñè [16] ïîíÿëè, ÷òî âìåñòî åãî èññëåäîâàíèÿ ÷àñòî áûâàåò æåëàòåëüíî (è âîçìîæíî) ïðåâðàòèòü èíòåãðàëüíîå óðàâíåíèå â íåëèíåéíîå äèôôåðåíöèàëüíîå, ðåøåíèå êîòîðîãî äàåò êîâàðèàöèþ îøèáêè îïòèìàëüíîãî ôèëüòðà.  ñâîþ î÷åðåäü, ýòà êîâàðèàöèÿ ñîäåðæèò âñþ íåîáõîäèìóþ èíôîðìàöèþ äëÿ ïðîåêòèðîâàíèÿ. Ýòîò ïîäõîä, ïî ñóùåñòâó ïðåäñòàâëÿþùèé ñîáîé ðåêóððåíòíûé âàðèàíò ÌÍÊ, â ÷àñòíûõ ñëó÷àÿõ èññëåäîâàëñÿ ðàíåå è äðóãèìè àâòîðàìè, íî èìåííî ñ ðàáîò Ð. Êàëìàíà è Ð. Áüþñè â íà÷àëå 60-õ ãîäîâ ÕÕ âåêà íà÷àëîñü øèðîêîå ðàçâèòèå ìåòîäîâ òåîðèè ðåêóððåíòíîãî (ïîñëåäîâàòåëüíîãî) îöåíèâàíèÿ, â ðàìêàõ êîòîðîé çàäà÷à îïòèìàëüíîé ôèëüòðàöèè ïîëó÷èëà ñóùåñòâåííîå ïðîäâèæåíèå. Âîçìîæíîñòü ñèíòåçà îïòèìàëüíîãî ôèëüòðà ðåêóððåíòíûì ñïîñîáîì ïðåäñòàâëÿåò è áîëüøîé ïðàêòè÷åñêèé èíòåðåñ â ñâÿçè ñ óäîáñòâîì åãî ðåàëèçàöèè íà áàçå ñîâðåìåííîé âû÷èñëèòåëüíîé òåõíèêè. Ðåêóððåíòíûå ïðîöåäóðû îöåíèâàíèÿ (ôèëüòð ÊàëìàíàÁüþñè) îêàçàëèñü ïðèìåíèìûìè è â ñëó÷àå íåñòàöèîíàðíûõ ïðîöåññîâ. Ðàáîòû Ð. Êàëìàíà ïî ðåêóððåíòíîìó îöåíèâàíèþ ïîÿâèëèñü â ñâÿçè ñ íåîáõîäèìîñòüþ îïòèìàëüíîãî îöåíèâàíèÿ âåêòîðà ñîñòîÿíèÿ ëèíåéíûõ íåñòàöèîíàðíûõ ñèñòåì. Îöåíèâàíèå ïðîèçâîäèëîñü ïî íàáëþäåíèÿì çà çàøóìëåííîé êîìïîíåíòîé âåêòîðà ñîñòîÿíèÿ. Ïðè ýòîì â òåîðåòè÷åñêîì ïëàíå ñóùåñòâåííûì ìîìåíòîì ÿâëÿåòñÿ ëèíåéíàÿ çàâèñèìîñòü íàáëþäàåìîãî ïðîöåññà îò îöåíèâàåìîãî ïàðàìåòðà (ëèíåéíàÿ ôèëüòðàöèÿ). Âìåñòå ñ òåì, ìíîãèå ïðàêòè÷åñêèå çàäà÷è ïðèâîäÿò ê íåëèíåéíîé çàâèñèìîñòè äàííûõ íàáëþäåíèÿ îò îöåíèâàåìîãî ïàðàìåòðà. Ýòîò ðàçäåë òåîðèè îöåíèâàíèÿ  íåëèíåéíàÿ ôèëüòðàöèÿ  ðàçâèò çíà÷èòåëüíî ìåíüøå, îñíîâíûå èäåè áûëè âûäâèíóòû â 1960 ã. Ð.Ë. Ñòðàòîíîâè÷åì [41]. Ïðåäëî14

æåííàÿ èì ðåêóððåíòíàÿ ïðîöåäóðà îöåíèâàíèÿ â ëèíåéíîì ñëó÷àå ïðåîáðàçóåòñÿ â ôèëüòð ÊàëìàíàÁüþñè. Ïîçäíåå ðåçóëüòàòû òåîðèè ÂèíåðàÊîëìîãîðîâà îïòèìàëüíîé ôèëüòðàöèè è òåîðèè ÊàëìàíàÁüþñè ðåêóððåíòíîé ôèëüòðàöèè ñòàëè øèðîêî èñïîëüçîâàòüñÿ â òåîðèè îïòèìàëüíîãî óïðàâëåíèÿ, â ÷àñòíîñòè â çàäà÷àõ ëèíåéíî-êâàäðàòè÷íîé îïòèìèçàöèè ïðè íåïîëíûõ è çàøóìëåííûõ íàáëþäåíèÿõ çà âåêòîðîì ñîñòîÿíèé îáúåêòà óïðàâëåíèÿ.  êîíöå ÕÕ âåêà Â.Í. Ôîìèíó [47, 48] óäàëîñü ñóùåñòâåííî îáîáùèòü êëàññè÷åñêèå èññëåäîâàíèÿ â ýòîé îáëàñòè, ðàçâèâàÿ îïåðàòîðíûé ïîäõîä ê ðåøåíèþ çàäà÷ ëèíåéíîé ôèëüòðàöèè. Òåîðèÿ îöåíèâàíèÿ â ïîñëåäíåé ÷åòâåðòè ïðîøëîãî âåêà ïîëó÷èëà äîïîëíèòåëüíûé èìïóëüñ â ðàçâèòèè ïðè ñèíòåçå àäàïòèâíûõ ñèñòåì, ñïîñîáíûõ óñïåøíî ôóíêöèîíèðîâàòü â óñëîâèÿõ àïðèîðíîé íåîïðåäåëåííîñòè î ñâîéñòâàõ âíåøíåé ñðåäû. Àëãîðèòìû ïîñòðîåíèÿ îïòèìàëüíîãî óïðàâëåíèÿ îáû÷íî ïðåäïîëàãàþò èçâåñòíûìè íåêîòîðûå àïðèîðíûå äàííûå î ñâîéñòâàõ ñèñòåìû óïðàâëåíèÿ è ïîìåõ.  áîëüøèíñòâå ïðàêòè÷åñêèõ çàäà÷ ýòà èíôîðìàöèÿ íåäîñòóïíà ïðîåêòèðîâùèêó, íî åå ìîæíî â òîé èëè èíîé ñòåïåíè âîññòàíîâèòü èç àíàëèçà ïîëó÷àåìûõ íàáëþäåíèé. Åñëè òàêàÿ âîçìîæíîñòü èìååòñÿ, òî ìîæíî ñèíòåçèðîâàòü àëãîðèòìû, â êîòîðûõ ñîâìåùåíû ïðîöåññû óïðàâëåíèÿ è âîñïîëíåíèÿ íåäîñòàþùåé èíôîðìàöèè. Ýòîò ïîäõîä áëèçîê ïîíÿòèþ äóàëüíîãî (äâîéñòâåííîãî ) óïðàâëåíèÿ À.À. Ôåëüäáàóìà [43], óòâåðæäâøåãî, ÷òî "óïðàâëÿþùèå âîçäåéñòâèÿ äîëæíû áûòü â èçâåñòíîé ìåðå èçó÷àþùèìè, íî â èçâåñòíîé ìåðå íàïðàâëÿþùèìè". Ïðè äîñòàòî÷íî ýôôåêòèâíîì âîñïîëíåíèè íåäîñòàþùèõ ñâåäåíèé ñèñòåìà óïðàâëåíèÿ ïðèîáðåòàåò îïòèìàëüíûå ñâîéñòâà ëèáî áëèçêèå ê íèì. Òàêèå ñèñòåìû íàçûâàþò àäàïòèâíûìè, ïîñêîëüêó â ïðîöåññå ôóíêöèîíèðîâàíèÿ îíè ïðîÿâëÿþò ñâîéñòâî ïðèñïîñàáëèâàíèÿ ê çàðàíåå íåèçâåñòíûì ïîìåõî-ñèãíàëüíûì óñëîâèÿì (ñì. [27, 40, 44, 46, 49]). Ñêàçàííîå â ðàâíîé ñòåïåíè îòíîñèòñÿ è ê äðóãèì àäàïòèâíûì óñòðîéñò15

âàì, â ÷àñòíîñòè ê îáó÷àþùèìñÿ ìàøèíàì è àäàïòèâíûì ôèëüòðàì (ñì., íàïðèìåð, [27, 45, 48, 54]).  ïîñëåäíåå âðåìÿ áîëüøîå âíèìàíèå óäåëÿåòñÿ âîïðîñàì ðîáàñòíîé óñòîé÷èâîñòè ñèñòåì óïðàâëåíèÿ [37, 77]. Ïðè ñèíòåçå òàêèõ óñòðîéñòâ òåîðèÿ îöåíèâàíèÿ èãðàåò âàæíóþ ðîëü, ïðåäîñòàâëÿÿ ðåêóððåíòíûå àëãîðèòìû àäàïòàöèè. Ðàçâèòèå è äîñòóïíîñòü âû÷èñëèòåëüíîé òåõíèêè îêàçàëè âîçäåéñòâèå è íà êëàññè÷åñêèå ðàçäåëû ìàòåìàòè÷åñêîé ñòàòèñòèêè, ñòèìóëèðóÿ ðàçðàáîòêó è äàâàÿ ïðèîðèòåò ðåêóððåíòíûì ñõåìàì îöåíèâàíèÿ. Òàê ïîëó÷èëè øèðîêîå ïðèçíàíèå ïðîöåäóðû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÐîááèíñàÌîíðî (1951 ã.) [73] è ÊèôåðàÂîëüôîâèöà (1952 ã.) [68]. Áîëüøóþ ðîëü â ïðîïàãàíäå ïîäîáíûõ ìåòîäîâ ñûãðàë ß.Ç. Öûïêèí.  ñâîèõ êíèãàõ "Àäàïòàöèÿ è îáó÷åíèå â àâòîìàòè÷åñêèõ ñèñòåìàõ" [49] è "Îñíîâû òåîðèè îáó÷àþùèõñÿ ñèñòåì" [50] îí ïîêàçàë øèðîêóþ ïðèìåíèìîñòü ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ â çàäà÷àõ îöåíèâàíèÿ, èäåíòèôèêàöèè, ðàñïîçíàâàíèÿ îáðàçîâ, îïòèìèçàöèè, óïðàâëåíèÿ. Ïîçæå â ðàáîòàõ [29, 32, 33, 51, 52] áûëà îöåíåíà ýôôåêòèâíîñòü òàêèõ àëãîðèòìîâ è íàéäåíû èõ îïòèìàëüíûå è ðîáàñòíûå âàðèàíòû. Ñâîåîáðàçíîé ñîâðåìåííîé ýíöèêëîïåäèåé ïî ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è åå ïðèìåíåíèÿì ìîæåò ñëóæèòü êíèãà Ã. Êóøíåðà è Ã. Èíà [69]. Ðîñò ïðîèçâîäèòåëüíîñòè âû÷èñëèòåëüíûõ ìàøèí è óñëîæíåíèå ðåøàåìûõ ïðàêòè÷åñêèõ çàäà÷ ïðèâåëè êî âñå áîëåå øèðîêîìó èñïîëüçîâàíèþ îáó÷àþùèõñÿ ñèñòåì, â ÷àñòíîñòè íåéðîííûõ ñåòåé ñ áîëüøèì êîëè÷åñòâîì óçëîâ. Îêàçàëîñü, ÷òî è ïðè íàñòðîéêå èõ ïàðàìåòðîâ òåîðèè îöåíèâàíèÿ è îïòèìèçàöèè íà ñîâðåìåííîì óðîâíå ïðåäîñòàâëÿþò â ðàñïîðÿæåíèå ðàçðàáîò÷èêîâ óäîáíûå àëãîðèòìû. Íà ïðàêòèêå øèðîêî èñïîëüçóþòñÿ àëãîðèòìû òèïà ñëó÷àéíîãî ïîèñêà. Ýòî âûçâàíî ïîòðåáíîñòüþ â ðåøåíèè çàäà÷ îïòèìèçàöèè â óñëîâèÿõ, êîãäà ñâîéñòâà èññëåäóåìîé ôóíêöèè ïîòåðü íåèçâåñòíû, à èçìåðåíèÿ çíà÷åíèé ñàìîé ôóíêöèè äîñòóïíû ÷àùå âñåãî ñ ïîìåõàìè.  ðóññêîÿçû÷íîé ëèòåðàòóðå 16

ýòè àëãîðèòìû èññëåäîâàëèñü, íàïðèìåð, â ðàáîòàõ Ë.À. Ðàñòðèãèíà [38, 39], À. Æèëèíñêàñà [15], Ñ.Ì. Åðìàêîâà è À.À. Æèãëÿâñêîãî [13] ïðè óñëîâèè öåíòðèðîâàííîñòè è íåçàâèñèìîñòè ïîìåõ íàáëþäåíèÿ. Âîîáùå ãîâîðÿ, â óñëîâèÿõ, êîãäà èíôîðìàöèè î ôóíêöèè ïîòåðü ìàëî, äëÿ ïîèñêà òî÷êè ìèíèìóìà íàäî ïîñëåäîâàòåëüíî ïåðåáðàòü âñå âîçìîæíûå âàðèàíòû âåêòîðîâ ðåãóëèðóåìûõ ïàðàìåòðîâ. Ïðè âûñîêîé ðàçìåðíîñòè çàäà÷è ýòî ñäåëàòü çà ðàçóìíîå âðåìÿ íåâîçìîæíî. Hà îñíîâàíèè òåõ èëè èíûõ ïðåäïîëîæåíèé î ñâîéñòâàõ ôóíêöèè ïîòåðü èñïîëüçîâàíèå àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà ïîçâîëÿåò çàìåíèòü ïîëíûé ïåðåáîð íà, â íåêîòîðîì ñìûñëå, çäðàâîå áëóæäàíèå â ìíîæåñòâå ðåãóëèðóåìûõ ïàðàìåòðîâ. Ê íàñòîÿùåìó âðåìåíè ìåòîäèêà èññëåäîâàíèÿ ñâîéñòâ îöåíîê, äîñòàâëÿåìûõ ðåêóððåíòíûìè àëãîðèòìàìè îöåíèâàíèÿ è îïòèìèçàöèè ïðè çàøóìëåííûõ íàáëþäåíèÿõ, ïðèîáðåëà â öåëîì äîñòàòî÷íî çàêîí÷åííûé âèä. Îñíîâîé ìíîãèõ ðàáîò ïî îïòèìèçàöèè ñõîäèìîñòè àëãîðèòìîâ ÿâëÿþòñÿ ðàáîòû Ì. Âàçàíà [3], Â.ß. Êàòêîâíèêà [17], Ì.Á. Håâåëüñîíà è Ð.Ç. Õàñüìèíñêîãî [28], Á.Ò. Ïîëÿêà [9, 2835] è äðóãèõ àâòîðîâ. Ïðè êîððåëèðîâàííûõ ñòàòèñòè÷åñêèõ ïîìåõàõ â ðàáîòàõ Ë. Ëüþíãà è Ã. Êóøíåðà ñ ñîàâòîðàìè (ñì., íàïðèìåð, [23, 69]) íà îñíîâå èññëåäîâàíèÿ õàðàêòåðèñòèê ñëàáîé ñõîäèìîñòè ðàçðàáîòàíà ìåòîäèêà àíàëèçà àñèìïòîòè÷åñêèõ ñâîéñòâ îöåíîê ðåêóððåíòíûõ àëãîðèòìîâ, îïèðàþùàÿñÿ íà èçó÷åíèå óñòîé÷èâîñòè ðåøåíèé ñîîòâåòñòâóþùèõ îáûêíîâåííûõ äèôôåðåíöèàëüíûõ óðàâíåíèé (ÎÄÓ). Àñèìïòîòè÷åñêèå ñâîéñòâà ïðåäåëüíûõ ðàñïðåäåëåíèé îøèáîê îöåíèâàíèÿ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÷àñòî èññëåäóþòñÿ íà îñíîâå ðàáîòû Â. Ôàáèàíà [64]. Ñòîõàñòè÷åñêèå êâàçèãðàäèåíòíûå àëãîðèòìû äëÿ ðåøåíèÿ çàäà÷ íåâûïóêëîé îïòèìèçàöèè ðàññìàòðèâàëèñü Þ.Ì. Åðìîëüåâûì, À.Ì. Ãóïàëîì, Ñ.Ï. Óðÿñüåâûì è äð. [14, 25, 42]. Ïðè íåðåãóëÿðíûõ ïîìåõàõ â íàáëþäåíèè (íàïðèìåð, îãðàíè÷åííûõ, à â îñòàëüíîì ïðîèçâîëüíûõ) 17

â êíèãàõ Â.Í. Ôîìèíà, À.Ë. Ôðàäêîâà, Â.À. ßêóáîâè÷à [44], À.Á. Êóðæàíñêîãî [21] è Ô.Ë. ×åðíîóñüêî [53] èñïîëüçóþòñÿ ìåòîäû ïîëó÷åíèÿ ãàðàíòèðîâàííûõ ìíîæåñòâ, ñîäåðæàùèõ îöåíèâàåìûå ïàðàìåòðû. Ñèñòåìàòè÷åñêîå ïàðàëëåëüíîå èçëîæåíèå ìåòîäîâ îöåíèâàíèÿ ïðè ñòàòèñòè÷åñêèõ è íåðåãóëÿðíûõ ïîìåõàõ ïðîâåäåíî Ô. Øâåïïå [75]. Äðóãèå ñïîñîáû îïèñàíèÿ ñâîéñòâ íåîïðåäåëåííîñòåé îáñóæäàþòñÿ Ï.Å. Ýëüÿñáåðãîì â êíèãå [57]. Òàêîâî ñîâðåìåííîå ñîñòîÿíèå â îáëàñòè ñòîõàñòè÷åñêîé îïòèìèçàöèè è îöåíèâàíèÿ. Õàðàêòåð èçëîæåíèÿ ìàòåðèàëà â äàííîì ó÷åáíîì ïîñîáèè â ñóùåñòâåííîé ñòåïåíè ñëåäóåò èçâåñòíîé ìîíîãðàôèè Â.Í. Ôîìèíà "Ðåêóððåíòíîå îöåíèâàíèå è àäàïòèâíàÿ ôèëüòðàöèÿ" [45].

ÑÏÈÑÎÊ ÎÁÎÇÍÀ×ÅÍÈÉ Â òåêñòå ïîñîáèÿ ïðèíÿòû ñëåäóþùèå îáîçíà÷åíèÿ:

n  äèñêðåòíîå âðåìÿ i; j; k; l; m; p; N  öåëûå ÷èñëà (îáû÷íî íåîòðèöàòåëüíûå) ; ; ; Æ; "; ;  ; x ; C  ñêàëÿðíûå âåëè÷èíû a; b; '; w; X  âåêòîðíûå èëè ñêàëÿðíûå âåëè÷èíû y; Y  íàáëþäàåìûå ñêàëÿðíûå è âåêòîðíûå ïåðåìåííûå v  ïîìåõè (øóìû) â íàáëþäåíèÿõ (èçìåðåíèÿõ) ;   ñëó÷àéíûå âåêòîðû A; B; D; ; ; H; K; Q; R  ìàòðèöû, I  åäèíè÷íàÿ ìàòðèöà fn g; fXn g è fAn g  ïîñëåäîâàòåëüíîñòè ÷èñåë, âåêòîðîâ è ìàòðèö


T  îïåðàöèÿ òðàíñïîíèðîâàíèÿ âåêòîðà èëè ìàòðèöû B > 0 (B  0 )  ìàòðèöà B  ñèììåòðè÷íàÿ è ïîëîæèòåëüíî (íåîòðèöàòåëüíî) îïðåäåëåííàÿ: B = BT ; aT Ba > 0 (aT Ba  0) 8a

qP p

Tr[B]  ñëåä ìàòðèöû B (ñóììà äèàãîíàëüíûõ ýëåìåíòîâ) k
k  åâêëèäîâà íîðìà: äëÿ âåêòîðà kak = i a2i èëè äëÿ ìàòðèöû kAk = maxkxk=1kAxk = max (A) = max (AT A) f (
); F (
;
); L(
;
); Q(
;
); q(
); K (
)  âåùåñòâåííûå ôóíêöèè L(
;
)  ôóíêöèÿ ïðàâäîïîäîáèÿ g(
); G(
;
)  âåêòîðíûå ôóíêöèè f 0 (
); rf (
)  âåêòîð-ãðàäèåíò ôóíêöèè f (
) O(
)  ôóíêöèÿ òàêîãî æå ïîðÿäêà ìàëîñòè, êàê è åå àðãóìåíò o (
)  ôóíêöèÿ áîëåå âûñîêîãî ïîðÿäêà ìàëîñòè, ÷åì åå àðãóìåíò

R  ìíîæåñòâî âåùåñòâåííûõ ÷èñåë

r  ðàçìåðíîñòü âåêòîðà îöåíèâàåìûõ ïàðàìåòðîâ   îöåíèâàåìîå (îïòèìàëüíîå) çíà÷åíèå ^  âåêòîð (èíîãäà ìàòðèöà) â ïðîñòðàíñòâå îöåíèâàåìûõ ïàðàìåòðîâ (îöåíêà) 19


n  âåêòîð ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ â n-é ìîìåíò âðåìåíè   ìíîæåñòâî â ïðîñòðàíñòâå ïàðàìåòðîâ diam()  íàèáîëüøåå èç ðàññòîÿíèé ìåæäó äâóìÿ ïðîèçâîëüíûìè òî÷êàìè ìíîæåñòâà  Pf
g (
)  ôóíêöèÿ (îïåðàòîð) ïðîåêòèðîâàíèÿ íà ìíîæåñòâî

 âåðîÿòíîñòíîå ïðîñòðàíñòâî !  ýëåìåíò âåðîÿòíîñòíîãî ïðîñòðàíñòâà Pf
g  âåðîÿòíîñòü ñîáûòèÿ

P(
)  ôóíêöèÿ ðàñïðåäåëåíèÿ âåðîÿòíîñòåé N (
;
)  íîðìàëüíîå ðàñïðåäåëåíèå ñëó÷àéíîé âåëè÷èíû Ef
g  çíàê ìàòåìàòè÷åñêîãî îæèäàíèÿ Ef
j
g; Ew f
g  óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå M'  ñðåäíåå çíà÷åíèå ñëó÷àéíîé âåëè÷èíû ' (èëè åãî âåðõíÿÿ ãðàíèöà) v2  äèñïåðñèÿ ñëó÷àéíîé âåëè÷èíû v (èëè åå âåðõíÿÿ ãðàíèöà) Æij  ñèìâîë Êðîíåêåðà: Æii = 1 è Æij = 0, åñëè i 6= j Æ(
)  äåëüòà-ôóíêöèÿ Äèðàêà (Æ(x) = 0; 8x 6= 0)

1f
g  õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ ìíîæåñòâà (ôóíêöèÿ Õåâèñàéäà), ðàâíàÿ íóëþ èëè åäèíèöå

sgnf
g  çíàêîâàÿ ôóíêöèÿ, ðàâíàÿ ïëþñ/ìèíóñ åäèíèöå

8  êâàíòîð "äëÿ âñÿêîãî"

Ìåòîäû îöåíèâàíèÿ è îïòèìèçàöèè Èçëîæåíèå ìàòåðèàëà ïîñîáèÿ ìû íà÷íåì ñ ôîðìóëèðîâêè íåñêîëüêèõ ìîäåëüíûõ ïðèìåðîâ, èëëþñòðèðóþùèõ îáëàñòü ïðèìåíåíèÿ îáñóæäàåìûõ ìåòîäîâ.

1. Ïðèìåðû çàäà÷ îöåíèâàíèÿ Ðàññìàòðèâàåìûå ïðèìåðû íå ïðåäñòàâëÿþò ñîáîé êîíêðåòíûå ïðàêòè÷åñêèå çàäà÷è. Ìíîãèå èç íèõ çàäàíû â äîñòàòî÷íî îáùåé ìîäåëüíîé ôîðìå, íî, ïî ìíåíèþ àâòîðà, äëÿ ïðàêòèêîâ íå ñîñòàâèò òðóäà ïðè íåîáõîäèìîñòè êîíêðåòèçèðîâàòü ëþáîé èç íèõ.

1.1. Îöåíèâàíèå âåëè÷èíû ïîñòîÿííîãî ñèãíàëà, íàáëþäàåìîãî íà ôîíå ïîìåõè Ïðåäïîëîæèì, ÷òî íàáëþäàåìûé (ðåãèñòðèðóåìûé èçìåðèòåëüíûì ïðèáîðîì) ñèãíàë fyn g èìååò âèä

yn =  + vn ; çäåñü   íåèçâåñòíàÿ ïîñòîÿííàÿ âåëè÷èíà (ïîëåçíûé ñèãíàë); fvng  íåèçâåñòíàÿ ïîìåõà íàáëþäåíèÿ, èçìåíÿþùàÿñÿ âî âðåìåíè, n = 1; 2; : : : : Èíòåðâàë âðåìåíè íàáëþäåíèÿ ìîæåò áûòü ëèáî íåîãðàíè÷åííûì, ëèáî êîíå÷íûì. Ïðè ðàññìîòðåíèè âòîðîãî ñëó÷àÿ ìû áóäåì ïèñàòü: n = 1; 2; : : : ; N: Òðåáóåòñÿ ïî íàáîðó âåëè÷èí y1 ; : : : ; yN , ñîñòîÿùåìó èç íàáëþäåíèé, ïîëó÷åííûõ ê ìîìåíòó âðåìåíè N , îöåíèòü çíà÷åíèå âåëè÷èíû  . 21

 òàêîé îáùåé ïîñòàíîâêå íåò âîçìîæíîñòè ïîëó÷èòü êàêîåíèáóäü óäîâëåòâîðèòåëüíîå ðåøåíèå çàäà÷è. Äëÿ áîëüøåé ñîäåðæàòåëüíîñòè â ïîñòàíîâêó çàäà÷è âíîñÿò óòî÷íÿþùèå äîïîëíåíèÿ. Íàïðèìåð, ïðè ñòàòèñòè÷åñêîì ïîäõîäå äåëàþò òå èëè èíûå ïðåäïîëîæåíèÿ î âåðîÿòíîñòíûõ ñâîéñòâàõ ïîìåõ fvng. Äîñòàòî÷íî õàðàêòåðíûì ÿâëÿåòñÿ ïðåäïîëîæåíèå î öåíòðèðîâàííîñòè (ñðåäíåå çíà÷åíèå ðàâíî íóëþ) è íåçàâèñèìîñòè (â óïðîùåííîì ñìûñëå, íåò çàâèñèìîñòè ìåæäó çíà÷åíèÿìè â ðàçíûå ìîìåíòû âðåìåíè) ïîìåõè.  ýòîé ñèòóàöèè, ïðîñóììèðîâàâ è óñðåäíèâ N çíà÷åíèé íàáëþäåíèé, ïîëó÷èì

1 N

N X n=1

yn =  +

1 N

N X n=1

vn :

 çàâèñèìîñòè îò ñäåëàííûõ ñòàòèñòè÷åñêèõ ïðåäïîëîæåíèé â ñèëó çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3) âåëè÷èíû PN n=1 vn =N ìîãóò ñõîäèòñÿ â íåêîòîðîì âåðîÿòíîñòíîì ñìûñëå ê íóëþ. Òîãäà îöåíêè f^N g íåèçâåñòíîãî çíà÷åíèÿ  , âû÷èñëåííûå ïî ôîðìóëå N X ^N = 1 y; N n=1 n áóäóò ñõîäèòüñÿ â òîì æå âåðîÿòíîñòíîì ñìûñëå ê çíà÷åíèþ íåèçâåñòíîé âåëè÷èíû  . Ñ ïðàêòè÷åñêîé òî÷êè çðåíèÿ äëÿ óäîáñòâà ðåàëèçàöèè àëãîðèòìà îöåíèâàíèÿ íà ÝÂÌ åãî öåëåñîîáðàçíî ïåðåïèñàòü â ðåêóððåíòíîé ôîðìå, èñïîëüçóþùåé íà êàæäîì øàãå êîíå÷íóþ ïàìÿòü (ôèêñèðîâàííîå êîëè÷åñòâî çíà÷åíèé). Ïóñòü ^0 = 0. Ïðîèçâåäÿ íåñëîæíûå ïðåîáðàçîâàíèÿ: n 1X n 1 1 nX1 1 ^n = yk = y + y; n k=1 n n 1 k=1 k n n ïîëó÷èì ðåêóððåíòíûé âàðèàíò àëãîðèòìà äëÿ âû÷èñëåíèÿ îöåíîê:

^n = ^n

1

1 ^ ( n n

1

yn): 22

Îáðàòèì âíèìàíèå íà òî, ÷òî äëÿ âû÷èñëåíèÿ î÷åðåäíîé îöåíêè èñïîëüçóåòñÿ òîëüêî íîâîå íàáëþäåíèå è ïðåäûäóùàÿ îöåíêà. Êðîìå âû÷èñëåíèÿ ñðåäíåàðèôìåòè÷åñêîãî çíà÷åíèÿ äàííûõ íàáëþäåíèÿ øèðîêî èñïîëüçóåòñÿ ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Îáîçíà÷èì 0

1

y1 B y2 C B C

Y =B

. C: @ .. A

yN

 òîì ñëó÷àå, êîãäà ïîìåõè  ñëó÷àéíûå âåëè÷èíû, âåêòîð íàáëþäåíèé Y èìååò ñëó÷àéíóþ ïðèðîäó. Åñëè ñóùåñòâóåò ïëîòíîñòü ó åãî ôóíêöèè ðàñïðåäåëåíèÿ, òî åå îáû÷íî íàçûâàþò ôóíêöèåé ïðàâäîïîäîáèÿ è îáîçíà÷àþò L(Y;  ), ïîä÷åðêèâàÿ çàâèñèìîñòü îò  .  òàêîé ñèòóàöèè îäíèì èç åñòåñòâåííûõ ñïîñîáîâ âûáîðà îöåíêè ÿâëÿåòñÿ îïðåäåëåíèå òîé òî÷êè, â êîòîðîé ôóíêöèÿ ïðàâäîïîäîáèÿ äîñòèãàåò ìàêñèìàëüíîãî çíà÷åíèÿ. Íàïðèìåð, ïóñòü ïîìåõè íàáëþäåíèÿ  íåçàâèñèìûå ãàóññîâñêèå ñ íóëåâûì ñðåäíèì è íåâûðîæäåííîé äèñïåðñèåé n2 > 0: vn  N (0; n2 ). Òàê êàê yn  N (; n2 ), òî â ýòîì ïðèìåðå ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä

L(Y; ) =

(2)N=2

1

e QN k=1 k

P

(yk  )2 N k=1 2 2 k

Óäîáíåå ðåøàòü çàäà÷ó ìàêñèìèçàöèè ïî

ln L(Y; ) =

N ln 2 2

N X k=1

ln k

:

 ôóíêöèè N X (yk k=1

 )2

2k2

(ëîãàðèôìà ïðàâäîïîäîáèÿ). Ïðèðàâíèâàÿ ê íóëþ ðåçóëüòàò äèôôåðåíöèðîâàíèÿ ïî  , ïîëó÷àåì óðàâíåíèå äëÿ ^N : N X yk k=1

k2

^N

= 0; 23

ðåøåíèåì êîòîðîãî ÿâëÿåòñÿ îöåíêà, íàçûâàåìàÿ óñðåäíåíèåì ñ âåñàìè: PN 2 ^N = Pk=1 yk k : N  2 k=1 k Ïîñëåäíÿÿ ôîðìóëà ëåãêî îáîñíîâûâàåòñÿ è íà èíòóèòèâíîì óðîâíå: â ôîðìèðîâàíèå îöåíêè íàèáîëüøèé âêëàä âíîñÿò òå íàáëþäåíèÿ, êîòîðûå äåëàëèñü ñ íàèìåíüøèìè îøèáêàìè. Åñëè äîïîëíèòåëüíî ïðåäïîëîæèòü îäèíàêîâóþ ðàñïðåäåëåííîñòü ïîìåõ íàáëþäåíèé fvn g, òî, êàê è âûøå, ïîëó÷àåì ñðåäíåàðèôìåòè÷åñêîå çíà÷åíèå äàííûõ íàáëþäåíèÿ: P

2 N y k=1 k = 1 ^N = v N Nv 2

N X n=1

yn :

Äëÿ ðåøåíèÿ ïîñòàâëåííîé çàäà÷è ìîæíî âûáðàòü è êàêîéíèáóäü äðóãîé ñïîñîá ïîñòðîåíèÿ îöåíîê èñêîìîé âåëè÷èíû , íî âñå èçâåñòíûå ñîäåðæàòåëüíûå àëãîðèòìû îïèðàþòñÿ íà ñóùåñòâåííûå ïðåäïîëîæåíèÿ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ íàáëþäåíèÿ. Îáû÷íî, êàê è â ðàññìîòðåííîì ïðèìåðå, ïðåäïîëàãàþòñÿ èõ öåíòðèðîâàííîñòü è íåêîððåëèðîâàííîñòü. Äàëåå, â ðàçä. 5, ðàçáèðàþòñÿ åùå íåñêîëüêî ïðèìåðîâ òàêîãî æå òèïà. Èíòåðåñíà ïîñòàíîâêà çàäà÷è î âûáîðå íàèëó÷øèõ â òîì èëè èíîì ñìûñëå îöåíîê. Èçâåñòíî, ÷òî ïðèâåäåííûé ïåðâûì àëãîðèòì ÿâëÿåòñÿ îïòèìàëüíûì â ñëó÷àå íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ãàóññîâñêèõ ïîìåõ â íàáëþäåíèÿõ. Äëÿ ðàñïðåäåëåíèé ñòàòèñòè÷åñêèõ ïîìåõ äðóãèõ òèïîâ îïòèìàëüíûì ìîæåò áûòü èíîé ìåòîä ïîñòðîåíèÿ îöåíîê. Ïðè èññëåäîâàíèè âûáðàííîãî àëãîðèòìà ñòàðàþòñÿ äîïîëíèòåëüíî ïîëó÷èòü îòâåò íà âîïðîñ î ñêîðîñòè ñõîäèìîñòè äîñòàâëÿåìûõ èì îöåíîê, åñëè îíè ñõîäÿòñÿ ê çíà÷åíèþ íåèçâåñòíîé âåëè÷èíû  , ò.å. èçó÷àþò ñêîðîñòü ñõîäèìîñòè ê íóëþ ïîñëåäîâàòåëüíîñòè f^N  g. Ê ñîæàëåíèþ, ïðè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè ïðèâåäåííûå ðàññóæäåíèÿ íå ïîçâîëÿþò ïîëó÷èòü óäîâëåòâî24

ðèòåëüíîãî ðåøåíèÿ çàäà÷è. Õîðîøî îöåíèòü âåëè÷èíó ïîñòîÿííîãî ñèãíàëà íà ôîíå äåòåðìèíèðîâàííîé (íåñëó÷àéíîé) íåèçâåñòíîé ïîìåõè ïðèíöèïèàëüíî íåâîçìîæíî.

1.2. Çàäà÷à îá îáíàðóæåíèè ñèãíàëà Ðàññìîòðèì çàäà÷ó îáíàðóæåíèÿ (äåòåêòèðîâàíèÿ) ñèãíàëà f'n g, êîòîðûé ìîæåò ïîïàäàòü, à ìîæåò è íå ïîïàäàòü â çàøóìëåííûé êàíàë íàáëþäåíèÿ (èçìåðåíèÿ ïðîèçâîäÿòñÿ ñ ïîìåõàìè). Çäåñü äëÿ ïðîñòîòû áóäåì ñ÷èòàòü ñèãíàë f'n g ñêàëÿðíûì.  çàäà÷àõ îáíàðóæåíèÿ ñèãíàëà îöåíèâàåìàÿ âåëè÷èíà  îáû÷íî ïðèíèìàåò êîíå÷íîå ÷èñëî çíà÷åíèé è ÷àñòî ïðåäñòàâëÿåò ñîáîé õàðàêòåðèñòèêó òèïà "äà  íåò". Áóäåì ñ÷èòàòü, ÷òî ñëó÷àé f = 1g ñîîòâåòñòâóåò íàëè÷èþ ñèãíàëà â ïðèåìíèêå, à ñëó÷àé f = 0g  åãî îòñóòñòâèþ. Ñ ó÷åòîì ýòîãî äëÿ íàáëþäàåìûõ âåëè÷èí fyn g ìîæíî çàïèñàòü ñîîòíîøåíèÿ yn = 'n  + vn ; ãäå n = 1; 2; : : : :  èñòîðè÷åñêîì àñïåêòå ýòà çàäà÷à ÿâëÿåòñÿ êëàññè÷åñêîé. Áîëüøèíñòâî ìåòîäîâ òåîðèè îöåíèâàíèÿ ïðåæäå âñåãî àïðîáèðîâàëèñü íà íåé, ïîýòîìó íàáîð âîçìîæíûõ ñïîñîáîâ åå ðåøåíèÿ ïðè ðàçëè÷íûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ñèãíàëà f'n g è "õîðîøèõ" ïîìåõàõ fvng äîñòàòî÷íî îáøèðåí (ñì., íàïðèìåð, [45]). Ïðè ðåøåíèè âàæíî çíàòü: èçâåñòíû çíà÷åíèÿ âåëè÷èí f'n g â êàæäûé ìîìåíò âðåìåíè èëè íåò. Áóäåì ðàññìàòðèâàòü ñëó÷àé, êîãäà â êàæäûé ìîìåíò âðåìåíè n çíà÷åíèå îáíàðóæèâàåìîãî ñèãíàëà èçâåñòíî. Ïîìèìî ýòîãî ïóñòü ïîëåçíûé ñèãíàë  îãðàíè÷åííûé è èìååò ñòàòèñòè÷åñêóþ ïðèðîäó, ïðåäñòàâëÿÿ ñîáîé ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ ìåæäó ñîáîé ñëó÷àéíûõ âåëè÷èí ñ èçâåñòíûì íåíóëåâûì ñðåäíèì çíà÷åíèåì M' 6= 0 è ïîëîæèòåëüíîé îãðàíè÷åííîé äèñïåðñèåé '2 > 0. Êàê è ðàíåå, ïðîñóììèðîâàâ è óñðåäíèâ n ïîñëåäîâà25

òåëüíûõ äàííûõ íàáëþäåíèÿ, äëÿ ñðåäíåàðèôìåòè÷åñêîãî çíà÷åíèÿ äàííûõ íàáëþäåíèÿ ïîëó÷èì n n n 1X 1X 1X yk = 'k  + v: n k=1 n k=1 n k=1 k  ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), P ïîñëåäîâàòåëüíîñòü âåëè÷èí n1 nk=1 'k ñòðåìèòñÿ ê ñðåäíåìó çíà÷åíèþ M' . Åñëè âçÿòü ^0 = 0 è â êà÷åñòâå î÷åðåäíîé îöåíêè âûáðàòü n X ^n = 1 y; nM' k=1 k òî, ïðåäïîëàãàÿ íåçàâèñèìîñòü ïîìåõ íàáëþäåíèÿ, èõ îäèíàêîâóþ ðàñïðåäåëåííîñòü è îãðàíè÷åííîñòü âòîðûõ ñòàòèñòè÷åñêèõ ìîìåíòîâ, ìîæíî äîêàçàòü ñõîäèìîñòü ñ âåðîÿòíîñòüþ åäèíèöà ïîñëåäîâàòåëüíîñòè îöåíîê f^n g ê çíà÷åíèþ

+

Mv ; M'

çäåñü Mv  ñðåäíåå çíà÷åíèå ïîìåõè.  ìîìåíò âðåìåíè n ïðè âûáîðå ãèïîòåçû î íàëè÷èè ïîëåçíîãî ñèãíàëà â êàíàëå íàáëþäåíèÿ èëè îá åãî îòñóòñòâèè ðàçóìíî âçÿòü îïåðàöèþ ñðàâíåíèÿ âåëè÷èíû òåêóùåé îöåíêè ^n ñ íåêîòîðûì ïîðîãîâûì çíà÷åíèåì Æ . Åñëè ^n < Æ , òî ïðèíèìàåòñÿ ãèïîòåçà ñèãíàëà íåò, â ïðîòèâíîì ñëó÷àå  ñèãíàë åñòü. Ïðè èçâåñòíîé âåëè÷èíå Mv åñòåñòâåííî â ðåøàþùåì ïðàâèëå çàäàòü ïîMv . ðîãîâîå çíà÷åíèå Æ = 21 + M ' Ïðè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè ýòîò ïðîñòîé àëãîðèòì íå ãîäèòñÿ. Äàæå åñëè ïîìåõè  ñëó÷àéíûå, íåçàâèñèìûå, îäèíàêîâî ðàñïðåäåëåííûå, íî ñ íåèçâåñòíûì ñðåäíèì Mv j > 1 ðàññìîòðåííûé àëãîðèòì â ïðåäåçíà÷åíèåì, òî ïðè j M 2 ' ëå áóäåò äàâàòü íåïðàâèëüíûå îòâåòû. Êàê âñå-òàêè ïîäñòóïèòüñÿ ê ðåøåíèþ òàêîé çàäà÷è? Ïóñòü ïîìåõè çàäàþòñÿ íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé 26

jvnj  Cv ; n = 1; 2; : : :.

Îáîçíà÷èì ÷åðåç
n = 'n M' , n = Ïðåäïîëîæèì äîïîëíèòåëüíî îãðàíè÷åííîñòü ÷åòâåðòîãî öåíòðàëüíîãî ìîìåíòà ïîëåçíîãî ñèãíàëà: Efj
n j4 g < 1. Äîìíîæèì íà
n îáå ÷àñòè ñîîòíîøåíèÿ, îïðåäåëÿþùåãî íàáëþäàåìûå âåëè÷èíû yn , è, ïðîèçâåäÿ íåñëîæíûå ïðåîáðàçîâàíèÿ, ïîëó÷èì ïðè n = 1; 2; : : :

1; 2; : : :, öåíòðèðîâàííûå âõîäû.


n yn =
2n +
nM'  +
n vn : Ïðîñóììèðîâàâ è óñðåäíèâ, èìååì n n n 1X 1X 1X
k yk =
2k  +
M + n k=1 n k=1 n k=1 k '

n 1X
v; n k=1 k k

n = 1; 2; : : : : Ïåðâîå è âòîðîå ñëàãàåìûå â ïðàâîé ÷àñòè ïðè n ! 1 è ñäåëàííûõ ïðåäïîëîæåíèÿõ, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìÿòñÿ ê '2  è íóëþ ñîîòâåòñòâåííî. Ïîñëåäíåå ñëàãàåìîå ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìèòñÿ ê íóëþ1 . Îòñþäà ñëåäóåò, 1

Äîêàçàòåëüñòâî ýòîãî ôàêòà ñëîæíåå. Ïîêàæåì, ÷òî ñ âåðîÿòíîñòüþ åäèíèöà ïðè äîñòàòî÷íî áîëüøèõ n ïîñëåäíåå ñëàãàåìîå ïî àáñîëþòíîé âåëè÷èíå íå áóäåò ïðåâîñõîäèòü ëþáîå çàðàíåå âûáðàííîå ìàëîå ÷èñëî " " > , ò.å. ïðè n ! 1 îíî áóäåò ñòðåìèòüñÿ ê íóëþ. Ïóñòü h . 2' (1+") Ïî ïðåäïîëîæåíèþ, âîçìîæíûå çíà÷åíèÿ ïîìåõè vn ëåæàò â èíòåðâàëå Cv ; Cv . Ðàçîáúåì åãî íà l Cv =h ÷àñòåé VP vi 1 ; vi ; v0 i l Cv ; vi Cv ih; i ; : : : ; l. Îáîçíà÷èì n i=1 1fvn 2Vi g vn vi ; n  . Çàìåòèì, ÷òî jn j  h. Òàê êàê ÷èñëî l ôèêñèðîâàíî, òî, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë, ïðè i ; : : : ; l è äîñòàòî÷íî áîëüøèõ n ñ âåðîÿòíîñòüþ åäèíèöà

0

=

[ ]  = ) 1 

vi n

+

=1



X



k n;k:vk

= [2

2Vi

2

]+1


k  8Cv '"(1 + ")

= =1

= [

)  = (

n 1X
k  ' (1 + ") : 2

è

n

2

2

k=1

Ïðè ýòîì â ñèëó íåðàâåíñòâà Ãåëüäåðà (ñì. ðàçä. Ï.1.2) ïîëó÷àåì

1

n X n k=1





l X vi


k vk =

i=1

n



k n;k:vk

n X
k + n1
k k  8Cv 'l"(1 + ") + 2

X

2Vi

k=1

+ ' (1 + ")h  ";

÷òî è òðåáîâàëîñü äîêàçàòü.

27

÷òî ïðè
1 6= 0 ïîñëåäîâàòåëüíîñòü îöåíîê ôîðìèðóåìûõ ïî ïðàâèëó

f^ng; n = 1; 2; : : : ;

Pn k=1
k yk ; P n
2 k=1 k

^n =

ñõîäèòñÿ ñ âåðîÿòíîñòüþ åäèíèöà ê  . Çàäàäèì íåêîòîðîå ïîðîãîâîå çíà÷åíèå Æ 2 (0; 1), íàïðèìåð Æ = 1=2.  êà÷åñòâå ðåøàþùåãî ïðàâèëà â ìîìåíò âðåìåíè n ìîæíî âûáðàòü îïåðàöèþ ñðàâíåíèÿ âåëè÷èíû òåêóùåé îöåíêè ^n ñ âûáðàííûì ïîðîãîâûì çíà÷åíèåì Æ . Åñëè ^n < Æ , òî ïðèíèìàåòñÿ ãèïîòåçà ñèãíàëà íåò, â ïðîòèâíîì ñëó÷àå  ñèãíàë åñòü.

1.3. Ðàíäîìèçèðîâàííûå àëãîðèòìû Îñòàíîâèìñÿ ïîäðîáíåå íà ïîñëåäíåì ñïîñîáå ïîñòðîåíèÿ îöåíîê èç ïðåäûäóùåãî ïóíêòà. Èç åãî âèäà ñëåäóåò, ÷òî åñëè ïðè n = 1; 2; : : : îáîçíà÷èòü n

n X

=

k=1


2k

! 1

;

òî äâå ïîñëåäîâàòåëüíûå îöåíêè ñâÿçàíû ñîîòíîøåíèåì

^n

^n

1 n 1

=

n

+
nyn :

Ñëåäîâàòåëüíî, ïðè âûáîðå ^0 = 0 ðàññìàòðèâàåìûé àëãîðèòì ìîæåò áûòü çàïèñàí â ðåêóððåíòíîé ôîðìå:

^n = ^n

1

n


n n (
n ^n

=(

1

yn );

1 2 1 n 1 +
n ) :

Íàïîìíèì, ÷òî ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ
n  íåçàâèñèìûå öåíòðèðîâàííûå ñëó÷àéíûå âåëè÷èíû. Îáîçíà÷èâ 28

÷åðåç yn = n (
n ^n 1 yn ) âåëè÷èíû, âû÷èñëÿåìûå ïî íàáëþäàåìûì ê ìîìåíó âðåìåíè n äàííûì, ïîëó÷åííûé ðåêóððåíòíûé àëãîðèòì îöåíèâàíèÿ ìîæíî ïåðåïèñàòü â âèäå

^n = ^n

1


nyn :

Äëÿ ïðèìåðà èç ðàçä. 1.2 áûëî ïðèâåäåíî èíòóèòèâíîå îáîñíîâàíèå ñõîäèìîñòè ïîñëåäîâàòåëüíîñòè îöåíîê f^n g ê èñòèííîìó çíà÷åíèþ íåèçâåñòíîãî ïàðàìåòðà ïðè íåñëó÷àéíîé íåèçâåñòíîé, íî îãðàíè÷åííîé ïîñëåäîâàòåëüíîñòè ïîìåõ â íàáëþäåíèè. Êàê íè ñòðàííî, äîëãîå âðåìÿ èññëåäîâàòåëè íå çàìå÷àëè òîãî ôàêòà, ÷òî â ñëó÷àå çàøóìëåííûõ íàáëþäåíèé îöåíêè àëãîðèòìà ïîèñêà ñ ïîñëåäîâàòåëüíûì (n = 1; 2; : : : ) èçìåíåíèåì ^n 1 â íàïðàâëåíèè ïî îñè íåêîòîðîãî ñëó÷àéíîãî öåíòðèðîâàííîãî âåêòîðà
n ìîãóò ñõîäèòüñÿ ê èñòèííîìó âåêòîðó ðåãóëèðóåìûõ ïàðàìåòðîâ  íå òîëüêî ïðè "õîðîøèõ" ïîìåõàõ, íî è ïðè ïî÷òè ïðîèçâîëüíûõ. Ýòî äîñòèãàåòñÿ â óñëîâèÿõ, êîãäà íàáëþäåíèÿ yn ïðîèçâîäÿòñÿ â íåêîòîðîé òî÷êå, îïðåäåëÿåìîé ïðåäûäóùåé îöåíêîé ^n 1 è âåêòîðîì
n , íàçûâàåìûì ïðîáíûì îäíîâðåìåííûì âîçìóùåíèåì. Àëãîðèòìû òàêîãî òèïà â äàëüíåéøåì áóäåì íàçûâàòü ðàíäîìèçèðîâàííûìè, òàê êàê îáîñíîâàíèå èõ ñõîäèìîñòè ïðè "ïî÷òè ïðîèçâîëüíûõ" ïîìåõàõ ñóùåñòâåííî èñïîëüçóåò ñòîõàñòè÷åñêóþ (âåðîÿòíîñòíóþ) ïðèðîäó ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ.

1.4. Ôóíêöèîíàë ñðåäíåãî ðèñêà Ïðèâåäåííûå â ðàçä. 1.1 è 1.2 ïðèìåðû îòíîñÿòñÿ ê áîëåå øèðîêîìó êëàññó çàäà÷ ìèíèìèçàöèè ôóíêöèîíàëîâ ñðåäíåãî ðèñêà. Ïóñòü F (w; X ) : R p  Rr ! R  øòðàôíàÿ ôóíêöèÿ (ôóíêöèÿ ïîòåðü) è çàäàíà ïîñëåäîâàòåëüíîñòü p-ìåðíûõ ñëó÷àéíûõ âåêòîðîâ fwn g èç Rp , ïîðîæäåííàÿ ðàñïðåäåëåíèåì âåðîÿòíîñòåé Pw (
). Çàäà÷à ìèíèìèçàöèè ôóíêöèîíàëà ñðåä29

íåãî ðèñêà ñîñòîèò â íàõîæäåíèè òî÷êè ìèíèìóìà ôóíêöèè f (
), èìåþùåé âèä

f (X ) = Ew fF (w; X )g =

Z

Rp

F (w; X )Pw (dw);

Ôóíêöèþ f (
) îáû÷íî íàçûâàþò ôóíêöèåé ñðåäíèõ ïîòåðü.  òîì ñëó÷àå, êîãäà ôóíêöèÿ ðàñïðåäåëåíèÿ Pw (
) íåèçâåñòíà, ýòà çàäà÷à âûõîäèò çà ðàìêè êëàññè÷åñêîé òåîðèè îïòèìèçàöèè, íî åå ìîæíî ïîïûòàòüñÿ ðåøèòü â òåõ ñëó÷àÿõ, êîãäà â òî÷êàõ, çàäàâàåìûõ ïîñëåäîâàòåëüíîñòüþ f(wn ; Xn )g, äîñòóïíû íàáëþäåíèþ (ìîæåò áûòü ñ ïîìåõàìè) èëè çíà÷åíèÿ ôóíêöèè F (wn ; Xn ), èëè âåëè÷èíû rx F (wn ; Xn )  çíà÷åíèÿ âåêòîðãðàäèåíòà. Ïðè ýòîì îáû÷íî ïðåäïîëàãàþò, ÷òî ýêñïåðèìåíòàòîðó äîñòóïíû òîëüêî ïðîöåññû ôîðìèðîâàíèÿ è (èëè) íàáëþäåíèÿ ïîñëåäîâàòåëüíîñòè fXn g, à ñîîòâåòñòâóþùèå çíà÷åíèÿ fwn g ïîðîæäàþòñÿ ðàñïðåäåëåíèåì Pw (
) è íåïîäêîíòðîëüíû è äàæå, ìîæåò áûòü, íåèçâåñòíû. Äëÿ ïðèìåðîâ ðàçä. 1.1 è 1.2 ìîæíî âçÿòü p = r = 1. Åñëè ïîìåõà íàáëþäåíèÿ fvn g èìååò ñëó÷àéíóþ ïðèðîäó è åå ôóíêöèÿ ðàñïðåäåëåíèÿ  Pv (
), òîãäà çàäà÷à èç ðàçä. 1.1 îá îöåíèâàíèè âåëè÷èíû ïîñòîÿííîãî ñèãíàëà ýêâèâàëåíòíà çàäà÷å ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà:

f (X ) =

Z

1 ( X + w)2 Pv (dw); R2

à âòîðàÿ çàäà÷à èç ðàçä. 1.2 ñâÿçàíà ñ ôóíêöèîíàëîì

f (X ) = ãäå

Z Z

1 ('( R R2

X ) + v)2 P';v (dw);

 

w = 'v ; à P';v (
)  ôóíêöèÿ ñîâìåñòíîãî ðàñïðåäåëåíèÿ ïîëåçíîãî ñèãíàëà è ïîìåõè. Íàáëþäåíèþ â êàæäûé ìîìåíò âðåìåíè 30

n äîñòóïíû çíà÷åíèÿ rxF (wn ; Xn ), ðàâíûå Xn yn â ïåðâîì ñëó÷àå èëè 'n ('n Xn yn )  âî âòîðîì, ïðè ýòîì â ïåðâîé çàäà÷å çíà÷åíèÿ wn ; n = 1; 2; : : : ; íå èçâåñòíû ïîëíîñòüþ, à âî âòîðîé  íå èçâåñòíû ïîëíîñòüþ òîëüêî âòîðûå êîìïîíåíòû âåêòîðîâ wn ; n = 1; 2; : : : . Åñëè èçìåðåíèÿ çíà÷åíèé ôóíêöèè F (wn ; Xn ) ôàêòè÷åñêè äåëàþòñÿ ñ íåêîòîðîé àääèòèâíîé ñëó÷àéíîé öåíòðèðîâàííîé íåçàâèñèìîé îøèáêîé vn 2 R , òî â ñèëó îáùíîñòè ïîñòàâëåííîé çàäà÷è ýòî óñëîæíåíèå íåïðèíöèïèàëüíî. Ðàñøèðèâ âåêòîð w äîïîëíèòåëüíîé êîìïîíåíòîé v è îáîçíà÷èâ  

w = wv ; ìîæíî ðàññìàòðèâàòü âìåñòî

F (w; X ) íîâóþ ôóíêöèþ

F (w;  X ) = F (w; X ) + v ñî ñõåìîé íàáëþäåíèÿ áåç ïîìåõ è íîâîå ñîâìåñòíîå íåèçâåñòíîå ðàñïðåäåëåíèå Pw;v (
) âìåñòî Pw (
), êîòîðîå è ðàíåå ïðåäïîëàãàëîñü íåèçâåñòíûì. Åñëè îøèáêè èçìåðåíèÿ íå îáëàäàþò õîðîøèìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè, òî óïðîùàòü çàäà÷ó íåëüçÿ. Íàäî ðàññìàòðèâàòü ìîäåëü íàáëþäåíèé ñ ïîìåõàìè: yn = F (wn ; Xn ) + vn ; ãäå

n = 1; 2; : : : : 1.5. Ïðåäñêàçàíèå çíà÷åíèé ñëó÷àéíîãî ïðîöåññà

Îïèñàíèå ïðåäâàðèòåëüíûõ ïðèìåðîâ çàêîí÷èì çàäà÷åé î ïðåäñêàçàíèè çíà÷åíèé ñêàëÿðíîãî ñëó÷àéíîãî ïðîöåññà fn g, ïîðîæäàþùåãîñÿ óñòîé÷èâûì ëèíåéíûì ôèëüòðîì:

n+1 = a n + wn+1 ; 31

ãäå jaj < 1; n = 1; 2; : : : ; 0 = 0 è ïîñëåäîâàòåëüíîñòü fwn g ïðåäñòàâëÿåò ñîáîé íåêîòîðóþ ðåàëèçàöèþ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí. Íàáëþäåíèþ â êàæäûé ìîìåíò âðåìåíè äîñòóïíû âåëè÷èíû

yn = 'n n + vn ; ÿâëÿþùèåñÿ ñìåñüþ ïðåîáðàçîâàííîãî ïðîöåññà fn g è íåèçâåñòíîé ïîìåõè fvn g. Òðåáóåòñÿ íàéòè îöåíêè ^n+1 çíà÷åíèé ïðîöåññà fn g â ìîìåíò âðåìåíè n + 1 ïî íàáëþäåíèÿì yi ; 'i ; i  n. Êà÷åñòâî ïðåäñêàçàíèÿ îïðåäåëÿåòñÿ ñðåäíåé âåëè÷èíîé êâàäðàòà íåâÿçêè

Efk^n+1

n+1k2 g:

Îáû÷íî ñ÷èòàþò, ÷òî â ìîäåëè íàáëþäåíèé âåêòîðû f'n g îïðåäåëÿþòñÿ äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòüþ. Åñëè 'n  ', à fwn g è fvn g  ñòàöèîíàðíûå è ñòàöèîíàðíî ñâÿçàííûå öåíòðèðîâàííûå ñëó÷àéíûå ïðîöåññû (ñì. ðàçä. Ï.1.4) ñ èçâåñòíûìè ñïåêòðàëüíûìè õàðàêòåðèñòèêàìè, òî ðàññìàòðèâàåìàÿ çàäà÷à èìååò îïòèìàëüíîå ðåøåíèå â ðàìêàõ òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà.  íåñòàöèîíàðíîì ñëó÷àå ïðè 'n 6 ' è íåçàâèñèìûõ ãàóññîâñêèõ ñëó÷àéíûõ ïðîöåññàõ fwn g, fvn g îïòèìàëüíûé ïðîãíîç âû÷èñëÿåòñÿ ðåêóððåíòíî ïî ôèëüòðó ÊàëìàíàÁüþñè.  ñëó÷àå ïðîèçâîëüíûõ ïîìåõ íàáëþäåíèÿ fvn g ðåøåíèå çàäà÷è îá îïòèìàëüíîì ïðîãíîçå ñ ïîìîùüþ ôèëüòðà ÊàëìàíàÁüþñè è, òåì áîëåå, â ðàìêàõ òåîðèè ÂèíåðàÊîëìîãîðîâà íå ïîëó÷àåòñÿ.  [9] ïðè íåèçâåñòíûõ, íî îãðàíè÷åííûõ äåòåðìèíèðîâàííûõ ïîìåõàõ íàáëþäåíèÿ fvn g äëÿ ðåøåíèÿ çàäà÷è ïðåäëîæåí íîâûé ðàäîìèçèðîâàííûé àëãîðèòì, ÿâëÿþùèéñÿ ìîäèôèêàöèåé óïðîùåííîãî âàðèàíòà ôèëüòðà ÊàëìàíàÁüþñè. Ïðè îáîñíîâàíèè åãî îòíîñèòåëüíîé ýôôåêòèâíîñòè ïðåäïîëàãàåòñÿ ñëó÷àéíàÿ ïðèðîäà ôîðìèðîâàíèÿ ïîñëåäîâàòåëüíîñòè f'n g. 32

2. Ýëåìåíòû ðåãðåññèîííîãî àíàëèçà, ìåòîä íàèìåíüøèõ êâàäðàòîâ Îäíèì èç íàèáîëåå ÷àñòî âñòðå÷àþùèõñÿ âîïðîñîâ, âñòàþùèõ ïåðåä èññëåäîâàòåëÿìè ðàçëè÷íûõ ñïåöèàëüíîñòåé, ÿâëÿåòñÿ ïðîáëåìà íàõîæäåíèÿ çàâèñèìîñòè ìåæäó íåêîòîðûì íàáîðîì âåëè÷èí. Ýòà çàâèñèìîñòü ìîæåò áûòü âûâåäåíà èç òåîðèè è (èëè) ìîæåò áûòü ïîëó÷åíà íà îñíîâàíèè ýêñïåðèìåíòàëüíûõ èññëåäîâàíèé. Åñëè çàâèñèìîñòü ïîëó÷åíà èç òåîðåòè÷åñêèõ ñîîáðàæåíèé, òî äîâîëüíî ÷àñòî åå ìîæíî ïðèáëèæåííî ïðåäñòàâèòü â àíàëèòè÷åñêîì âèäå, çàäàííîì ñ òî÷íîñòüþ äî íåñêîëüêèõ íåèçâåñòíûõ ïàðàìåòðîâ. Åñëè æå â îñíîâå ïîñòðîåíèÿ çàâèñèìîñòè ëåæàò ýêñïåðèìåíòàëüíûå èññëåäîâàíèÿ, òî ïàðàìåòðè÷åñêàÿ çàâèñèìîñòü ïîñòóëèðóåòñÿ.  îáîèõ ñëó÷àÿõ ïðè ïîñòðîåíèè ìàòåìàòè÷åñêîé ìîäåëè äîëæíû èñïîëüçîâàòüñÿ îïðåäåëåííûå ñâåäåíèÿ îá èññëåäóåìîì îáúåêòå, íà îñíîâàíèè êîòîðûõ ìîã áû áûòü ñäåëàí âûâîä î ñòåïåíè òî÷íîñòè åãî îïèñàíèÿ ýòîé ìîäåëüþ.

2.1. Íàèëó÷øàÿ àïïðîêñèìàöèÿ îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ äðóãîé Çàäà÷à ðåãðåññèîííîãî àíàëèçà ñîñòîèò â ïîëó÷åíèè íàèëó÷øåé àïïðîêñèìàöèè (ðåãðåññèè) îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ ñåìåéñòâà ôóíêöèé îò äðóãîé ñëó÷àéíîé âåëè÷èíû. Íàèëó÷øàÿ àïïðîêñèìàöèÿ ïîíèìàåòñÿ â ñìûñëå íàèìåíüøèõ êâàäðàòîâ. Ïóñòü  è   ïðîèçâîëüíûå ñëó÷àéíûå âåëè÷èíû (âåêòîðû), ïðèíèìàþùèå çíà÷åíèÿ ñîîòâåòñòâåííî â R è Rs , îïðåäåëåííûå íà íåêîòîðîì âåðîÿòíîñòíîì ïðîñòðàíñòâå , è G  íåêîòîðîå ñåìåéñòâî ôóíêöèé, îòîáðàæàþùèõ R s â R , çàäàííûõ ñ òî÷íîñòüþ äî êîíå÷íîìåðíîãî íàáîðà ïàðàìåòðîâ, íàçûâàåìîå ðåãðåññèîííîé ìîäåëüþ. 33

Òðåáóåòñÿ íàéòè ôóíêöèþ g (
) ñðåäíåêâàäðàòè÷íîå îòêëîíåíèå

Efk

2 G,

ìèíèìèçèðóþùóþ

g()k2 g:

Åñëè G  êëàññ âñåõ èçìåðèìûõ ôóíêöèé èç R s â R , òî ñîîòâåòñòâóþùåé ìèíèìèçèðóþùåé ôóíêöèåé g (
) ÿâëÿåòñÿ g() = Ef jg  óñëîâíîå (ïðè óñëîâèè ) ñðåäíåå ñëó÷àéíîé âåëè÷èíû  , íàçûâàåìîå ðåãðåññèåé  ïî  . Hàèáîëåå ðàñïðîñòðàíåííîé ÿâëÿåòñÿ ëèíåéíàÿ ðåãðåññèîííàÿ ìîäåëü, êîãäà òðåáóåòñÿ íàéòè íàèëó÷øóþ â ñðåäíåêâàäðàòè÷íîì ñìûñëå àïïðîêñèìàöèþ ñëó÷àéíîé âåëè÷èíû  ñ ïîìîùüþ ëèíåéíîé ôóíêöèè îò ñëó÷àéíîé âåëè÷èíû  . ×èñëîâîé ( ) è âåêòîðíûé ( ) è êîýôôèöèåíòû ìîäåëè ëèíåéíîé ðåãðåññèè îïðåäåëÿþòñÿ èç óñëîâèÿ ìèíèìèçàöèè ôóíêöèîíàëà f ( ; ) = Efk k2 g òèïà ñðåäíåãî ðèñêà èç ðàçä. 1.4, åñëè îáîçíà÷èòü  

X= : Ââåäÿ ìàòðèöû êîâàðèàöèè

B = covf; g = Ef(

Ef g)(

Efg)T g;

B = covf; g = Ef( Efg)( Efg)T g è ïðåäïîëîæèâ, ÷òî ìàòðèöà B èìååò îáðàòíóþ, íåòðóäíî äëÿ îïòèìàëüíûõ çíà÷åíèé è ïîëó÷èòü ñëåäóþùèå ôîðìóëû:

= Ef g B B1 Efg; = B B1 : Ôóíêöèÿ

g() = Ef g + B B1 ( Efg)

íàçûâàåòñÿ ëèíèåé ðåãðåññèè. 34

Ïîíÿòèå ëèíåéíîé ðåãðåññèè äîïóñêàåò ÿñíóþ ãåîìåòðè÷åñêóþ èíòåðïðåòàöèþ. Äâà ñëó÷àéíûõ âåêòîðà  è  íàçûâàþòñÿ ñòðîãî îðòîãîíàëüíûìè, åñëè èõ ìàòðèöà êîâàðèàöèè ðàâíà íóëþ: cov f;  g = 0: Òàê êàê cov fg ( );  g = cov f;  g, òî ñëó÷àéíûå âåêòîðû  =  g ( ) è  ñòðîãî îðòîãîíàëüíû. Ñëåäîâàòåëüíî, ëèíåéíàÿ ðåãðåññèÿ ñîîòâåòñòâóåò ñòðîãî îðòîãîíàëüíîé ïðîåêöèè  íà  . Ïðè ñëó÷àéíûõ âåêòîðàõ  è  îäíîé ðàçìåðíîñòè ýòî ñîâïàäàåò ñ ïðèâû÷íûì ãåîìåòðè÷åñêèì ïðåäñòàâëåíèåì îá îðòîãîíàëüíîì ïðîåêòèðîâàíèè. Îïðåäåëåííûå ïîíÿòèÿ ðåãðåññèè è ëèíåéíîé ðåãðåññèè ñîîòíîñÿòñÿ ïðèìåðíî òàê æå, êàê ïîíÿòèÿ ôóíêöèè è ëèíåéíîé ôóíêöèè.  òåîðèè âåðîÿòíîñòåé è ìàòåìàòè÷åñêîé ñòàòèñòèêå îñîáîå âíèìàíèå óäåëÿåòñÿ ãàóññîâñêèì ñëó÷àéíûì âåëè÷èíàì (ñì. ðàçä. Ï.1.1). Ýòî îáîñíîâàíî íå òîëüêî óïðîùåíèåì ìíîãèõ òåîðåòè÷åñêèõ âûêëàäîê ïðè èññëåäîâàíèè ñâîéñòâ èìåííî ãàóññîâñêèõ ñëó÷àéíûõ âåëè÷èí, íî è âàæíåéøèì òåîðåòè÷åñêèì ðåçóëüòàòîì öåíòðàëüíîé ïðåäåëüíîé òåîðåìû òåîðèè âåðîÿòíîñòåé, óòâåðæäàþùèì ïðè äîñòàòî÷íî îáùèõ ïðåäïîëîæåíèÿõ, ÷òî áåñêîíå÷íàÿ ñóììà ñëó÷àéíûõ âåëè÷èí ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìèòñÿ ê íåêîòîðîé ãàóññîâñêîé ñëó÷àéíîé âåëè÷èíå. Îäíèì èç âàæíûõ ðåçóëüòàòîâ ðåãðåññèîííîãî àíàëèçà ÿâëÿåòñÿ çàêëþ÷åíèå î òîì, ÷òî åñëè âåêòîð, ñîñòàâëåííûé èç êîìïîíåíò ñëó÷àéíûõ âåëè÷èí  è ,  ãàóññîâñêèé, òî ðåãðåññèÿ Ef jg ñëó÷àéíîé âåëè÷èíû  ïî  ñîâïàäàåò ñ ëèíåéíîé ðåãðåññèåé. Äîêàçàòåëüñòâî ýòîãî ôàêòà îñíîâàíî íà òîì, ÷òî ñòðîãî îðòîãîíàëüíûå ãàóññîâñêèå âåëè÷èíû ñòîõàñòè÷åñêè íåçàâèñèìû. Äëÿ ãàóññîâñêèõ ñëó÷àéíûõ âåëè÷èí îêàçûâàåòñÿ, ÷òî óñëîâíàÿ êîâàðèàöèÿ ñëó÷àéíîé âåëè÷èíû  (ïðè óñëîâèè  ) íå çàâèñèò îò ñëó÷àÿ:

covf;  jg = B

B B1 BT :

Äëÿ ìèíèìàëüíîãî çíà÷åíèÿ êâàäðàòè÷íîãî ôóíêöèîíàëà, îïðåäåëÿþùåãî ðåãðåññèþ, èç ïîñëåäíåé ôîðìóëû ïîëó÷àåì Efk Ef jgk2 g = Tr[B B B1 BT ]: 35

2.2. Îöåíèâàíèå ïî êîíå÷íîìó ÷èñëó íàáëþäåíèé Hà ïðàêòèêå áûâàåò òàê, ÷òî âåðîÿòíîñòíûå õàðàêòåðèñòèêè ñëó÷àéíûõ âåëè÷èí  è  èçâåñòíû íå ïîëíîñòüþ, íî çàòî èìåþòñÿ âûáîðî÷íûå çíà÷åíèÿ ýòèõ ñëó÷àéíûõ âåëè÷èí, êîòîðûå ôàêòè÷åñêè ïðåäñòàâëÿþò ñîáîé íàáëþäàåìûå çíà÷åíèÿ ðåàëèçàöèé ñîîòâåòñòâóþùèõ ñëó÷àéíûõ âåëè÷èí. Îöåíêà îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ âûáîðî÷íûõ çíà÷åíèé äðóãîé òàêæå ÿâëÿåòñÿ ñëó÷àéíîé âåëè÷èíîé, è åå êà÷åñòâî îáû÷íî õàðàêòåðèçóåòñÿ ñðåäíèì çíà÷åíèåì, äèñïåðñèåé è ò.ï. Åñëè èìååòñÿ âûáîðî÷íàÿ ïîñëåäîâàòåëüíîñòü d1 ; d2 ; : : : ; dN ðåàëèçàöèé ñëó÷àéíîé âåëè÷èíû  , òî â ðàìêàõ ëèíåéíîé ðåãðåññèîííîé ìîäåëè ðåàëèçàöèè y1 ; y2 ; : : : ; yN ñëó÷àéíîé âåëè÷èíû  óäîáíî ïðåäñòàâèòü â âèäå

yn = 'Tn  + vn ; ãäå n = 1; 2; : : : ; N ;   âåêòîð êîýôôèöèåíòîâ; 'n = dn , åñëè, íàïðèìåð, èçâåñòíà öåíòðèðîâàííîñòü ñëó÷àéíûõ âåëè÷èí  è , èëè 



'n = d1 : n  ýòîì ïðåäñòàâëåíèè íåâÿçêè vn ; n = 1; 2; : : : ; N , èíòåðïðåòèðóþòñÿ êàê îøèáêè íàáëþäåíèÿ. Îáîçíà÷èì ÷åðåç 0

1

y1 B y2 C B C

Y = YN = B

. C @ .. A

yN

íàáëþäàåìûé â ìîìåíò âðåìåíè N âåêòîð, ÿâëÿþùèéñÿ ôóíêöèåé âõîäíûõ âîçäåéñòâèé, ïîìåõ â êàíàëå èçìåðåíèÿ è íåêîòîðîãî âåêòîðíîãî ïàðàìåòðà  . 36

Òðåáóåòñÿ ïî çíà÷åíèþ âåêòîðà Y ïîëó÷èòü õîðîøóþ îöåíâåêòîðà  .  Îöåíêà ^ íàçûâàåòñÿ ëèíåéíîé, åñëè îíà èìååò âèä ^ = Y c íåêîòîðîé ìàòðèöåé êîýôôèöèåíòîâ .  Îöåíêà ^ íàçûâàåòñÿ íåñìåùåííîé, åñëè Ef^g = :  Ïîñëåäîâàòåëüíîñòü îöåíîê f^N g1N =1 íàçûâàåòñÿ ñîñòîÿòåëüíîé, åñëè äëÿ ëþáîãî " > 0

êó

^ = ^N

lim Pfk^N

N !1

k2 > "g = 0;

 è íàçûâàåòñÿ ñèëüíîñîñòîÿòåëüíîé, åñëè ñ âåðîÿòíîñòüþ åäèíèöà lim ^N = : N !1

Äëÿ õàðàêòåðèñòèêè êà÷åñòâà îöåíêè ^ èñïîëüçóåòñÿ òåîðåòè÷åñêè ïðåäñêàçûâàåìûé âûáðàííîé ìîäåëüþ âûõîäíîé ñèãíàë Z , ò.å. âûõîä ïðèíÿòîé ìîäåëè, êîòîðûé çàâèñèò îò ^. Ýòà çàâèñèìîñòü, âîîáùå ãîâîðÿ, ìîæåò áûòü âûáðàíà ðàçíûìè ñïîñîáàìè. Ïðîñòåéøåé ÿâëÿåòñÿ ëèíåéíàÿ:

^ Z = T ; â êîòîðîé ìàòðèöà

 ñîñòîèò èç âåêòîðîâ '1 ; '2 ; : : : ; 'N :  = ('1 ; '2 ; : : : ; 'N ):

Îøèáêó îöåíèâàíèÿ åñòåñòâåííî îïðåäåëèòü êàê V = Y Z . Îöåíêè ^, ìèíèìèçèðóþùèå ôóíêöèîíàë êà÷åñòâà (ôóíêöèþ ïîòåðü)

fN (X ) = kV k = 2

N X n=1

kyn

k =

'Tn X 2

N X n=1

k vn k2 ;

íàçûâàþòñÿ îöåíêàìè ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌHÊ). Ôóíêöèîíàë fN (X ) çàâèñèò îò âûáîðî÷íûõ çíà÷åíèé ðåàëèçàöèé ñëó÷àéíûõ âåëè÷èí è íàçûâàåòñÿ ýìïèðè÷åñêèì.  37

ñèòóàöèè èñïîëüçîâàíèÿ áåñêîíå÷íîé âûáîðêè ïîñëåäîâàòåëüíîñòü âåëè÷èí fN (X )=N ìîæåò â òîì èëè èíîì âåðîÿòíîñòíîì ñìûñëå ñòðåìèòüñÿ, â ñèëó çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), ïðè N ! 1 ê çíà÷åíèþ êâàäðàòè÷íîãî ôóíêöèîíàëà, îïðåäåëÿþùåãî ëèíåéíóþ ðåãðåññèþ.  ÷àñòíîñòè, åñëè ïðåäïîëîæèòü íåçàâèñèìîñòü îøèáîê íàáëþäåíèÿ è îãðàíè÷åííîñòü èõ âòîðûõ ìîìåíòîâ, òî áóäåò ñõîäèìîñòü ñ âåðîÿòíîñòüþ åäèíèöà. Íåñëîæíî óáåäèòüñÿ, ÷òî îöåíêè ÌÍÊ äîëæíû óäîâëåòâîðÿòü ñèñòåìå óðàâíåíèé

T^ = Y: Åñëè ìàòðèöà T  íåâûðîæäåííàÿ, òî ýòà ñèñòåìà èìååò åäèíñòâåííîå ðåøåíèå:

^ = (T) 1 Y: Ìîæíî ðàññìîòðåòü áîëåå îáùåå ïðàâèëî âûáîðà îöåíêè. Ïóñòü R  íåêîòîðàÿ ñèììåòðè÷íàÿ íåîòðèöàòåëüíàÿ ìàòðèöà âåñîâûõ êîýôôèöèåíòîâ. Ââåäåì ôóíêöèîíàë êà÷åñòâà ïî ïðàâèëó fN (X ) = V T R V: Äëÿ ëèíåéíîé ìîäåëè ñ ìàòðèöåé  ïðè íåâûðîæäåííîé (îáðàòèìîé) ìàòðèöå RT îïòèìàëüíàÿ îöåíêà èìååò âèä

^ = (RT ) 1 RY = Y;

= (RT ) 1 R;

è íàçûâàåòñÿ îáîáùåííîé îöåíêîé ÌHÊ. Ïðè ýòîì, åñëè ïðèíÿòü, ÷òî Y = T  + V; òî âåêòîðû

 è ^ ñâÿçàíû ñîîòíîøåíèåì  = ^

V: 38

Ïîñëåäíåå ñîîòíîøåíèå ñïðàâåäëèâî ïðè ëþáîé ïðèðîäå îøèáêè îöåíèâàíèÿ. Åñëè ïðåäïîëîæèòü, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå EfV jg = 0, òî ïîëó÷åííàÿ îöåíêà ÿâëÿåòñÿ íåñìåùåííîé. Ïðè ýòîì æå ïðåäïîëîæåíèè íåòðóäíî ïîëó÷èòü ôîðìóëû äëÿ óñëîâíûõ äèñïåðñèè è ìàòðèöû êîâàðèàöèè îöåíêè:

Efk^ k2 jg = Tr[ Bv

ãäå

T ];

covf^^T jg = Bv

T;

Bv = EfV V T jg. Åñëè ìàòðèöà Bv èìååò îáðàòíóþ, òî ìîæíî âûáðàòü R =

Bv 1 .

Ïîëó÷àåìûå îöåíêè

^ = (Bv 1 T) 1 Bv 1 Y

íàçûâàþòñÿ ìàðêîâñêèìè. Óñëîâíàÿ êîâàðèàöèÿ ìàðêîâñêîé îöåíêè ïðè EfV jg = 0 ðàâíà cov(^T ^j) = (Bv 1 T ) 1 ; ïðè ýòîì ñðåäè âñåõ ëèíåéíûõ îöåíîê ìàðêîâñêèå îáëàäàþò çàìå÷àòåëüíûì îïòèìàëüíûì ñâîéñòâîì. Òåîðåìà (ÃàóññàÌàðêîâà). Åñëè EfV jg = 0 è ìàòðèöà Bv îáðàòèìà, òî ñðåäè âñåõ ëèíåéíûõ îöåíîê âèäà ~ = (RT) 1 RY

óñëîâíàÿ êîâàðèàöèÿ äëÿ ìàðêîâñêîé îöåíêè òîì ñìûñëå, ÷òî cov(^T ^j)  cov(~T ~j):

^ ìèíèìàëüíà â

Äëÿ ä î ê à ç à ò å ë ü ñ ò â à òåîðåìû ìîæíî âîñïîëüçîâàòüñÿ ìàòðè÷íûì íåðàâåíñòâîì èç ðàçä. Ï.2. Ïîäñòàâèâ â 1=2 1=2 íåãî A = Bv T ; BT = Bv , ïîëó÷èì çàêëþ÷åíèå òåîðåìû: cov(~T~j) = Bv  B1v=2 Bv 1=2 T(Bv 1=2 Bv 1=2 T ) 1  Bv 1=2 B1v=2 T = T(Bv 1 T) 1  T = cov(^T^j): 39

Ïðèìåð. Ðàññìîòðèì çàäà÷ó îá îöåíèâàíèè íåèçâåñòíîãî êîýôôèöèåíòà óñèëåíèÿ  èçâåñòíîãî ñêàëÿðíîãî ñèãíàëà f'n g, íàáëþäàåìîãî íà ôîíå ïîìåõ. Ïóñòü ïîëåçíûé ñèãíàë, ïîìåõè è íàáëþäàåìûå âåëè÷èíû ïðè n = 1; 2; : : : ; N ñâÿçàíû ñèñòåìîé óðàâíåíèé yn = 'n  + vn ; â êîòîðîé y1 ; y2 ; : : : ; yN  íàáëþäåíèÿ è v1 ; v2 ; : : : ; vN  ïîìåõè. Ïðåäïîëîæèì, ÷òî ïîìåõè fvn gN n=1 ïðåäñòàâëÿþò ñîáîé ðåàëèçàöèþ ñòîõàñòè÷åñêè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ öåíòðèðîâàííûõ ñëó÷àéíûõ âåëè÷èí ñ äèñïåðñèåé v2 :

Efvn g = 0; Efvn2 g = v2 > 0: Îáîçíà÷èâ

0

1

y1 B y2 C B C

Y =B

. C; @ .. A

0

 = ('1 ; '2 ; : : : ; 'N ); V = B

. C; @ .. A

yN

ïîëó÷àåì Åñëè

PN 2 n=1 'n

1

v1 B v2 C B C vN

Y = T  + V: > 0, òî îöåíêà ÌHÊ èìååò âèä ^ =

PN n=1 'n yn : PN 2 n=1 'n

Ìàðêîâñêèå îöåíêè â äàííîì ñëó÷àå ñîâïàäàþò ñ îöåíêàìè ÌHÊ, ÷òî ÿâëÿåòñÿ ñëåäñòâèåì íåêîððåëèðîâàííîñòè è îäèíàêîâîé ðàñïðåäåëåííîñòè ñëó÷àéíûõ âåëè÷èí fvn gN n=1 .  òîé ñèòóàöèè, êîãäà ïîëåçíûé ñèãíàë f'n gN è ïîìåõè fvngNn=1 n=1 íåçàâèñèìû, äèñïåðñèÿ îöåíêè ðàâíà

N2 =

v2

: PN 2 n=1 'n 40

Ïóñòü N ! 1. Åñëè ïðåäïîëîæèòü, ÷òî ïîëåçíûé ñèãíàë èìååò ñòàòèñòè÷åñêóþ ïðèðîäó, ïðåäñòàâëÿÿ ñîáîé ðåàëèçàöèþ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûì ÷åòâåðòûì ìîìåíòîì, íå çàâèñÿùèõ îò ïîìåõ íàáëþäåíèÿ:

Ef'n g = M' ; Ef('n

M' )2 g = '2 > 0;

Ef'4n g < 1; Ef'n vn g = 0; òî, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ðàçä. Ï.1.3), ìîæíî ñäåëàòü çàêëþ÷åíèå î ñõîäèìîñòè

1 N

N X n=1

'2n ! '2

2 ! 0, ò.å. îöåíêè ñ âåðîÿòíîñòüþ åäèíèöà. Ñëåäîâàòåëüíî, N ÌÍÊ  ñèëüíîñîñòîÿòåëüíûå. Ïðè öåíòðèðîâàííûõ âõîäíûõ ñèãíàëàõ (M' = 0) îöåíêè ÌÍÊ ñîâïàäàþò ñ ïðåäëîæåííûì â ðàçä. 1.2, 1.3 ðàíäîìèçèðîâàííûì àëãîðèòìîì ïîñòðîåíèÿ îöåíîê. Çíà÷èò, â ýòîì ñëó÷àå ïðè äîêàçàòåëüñòâå ñèëüíîé ñîñòîÿòåëüíîñòè îöåíîê ÌÍÊ óñëîâèå î öåíòðèðîâàííîñòè è íåçàâèñèìîñòè ïîìåõ ìîæåò áûòü çíà÷èòåëüíî îñëàáëåíî. Êàê è â ðàññìîòðåííîì ïðèìåðå, â ëèòåðàòóðå (ñì., íàïðèìåð, [1, 13, 23, 45]) îáû÷íî èçó÷àþò çàäà÷ó îá îöåíêå ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïðè "õîðîøèõ" ïîìåõàõ.  [7, 66] ýòà çàäà÷à ðàññìàòðèâàëàñü ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ, äëÿ êîòîðûõ, ñðåäíåå çíà÷åíèå ìîæåò áûòü íå èçâåñòíûì è îòëè÷íûì îò íóëÿ, èëè ýòè ïîìåõè ïðåäñòàâëÿþò ñîáîé (ìîæåò áûòü) ðåàëèçàöèþ êîððåëèðîâàííîãî ñëó÷àéíîãî ïðîöåññà, èëè îíè (ìîæåò áûòü) äàæå íåñëó÷àéíûå, íî îãðàíè÷åííûå. Ñóùåñòâåííîå ïðåäïîëîæåíèå, êîòîðîå ñäåëàíî â ýòèõ ðàáîòàõ, çàêëþ÷àåòñÿ â òîì, ÷òî ðåãðåññîðû ÿâëÿþòñÿ ñëó÷àéíûìè, ñ èçâåñòíûìè ñðåäíèìè çíà÷åíèÿìè è íåçàâèñèìûìè îò ïîìåõè. Óñòàíîâëåíû ñèëüíàÿ ñîñòîÿòåëüíîñòü è ïîðÿäîê ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäè41

ìîñòè äëÿ îöåíîê ðàíäîìèçèðîâàííûõ àëãîðèòìîâ òèïà ÌÍÊ è òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Êðîìå ðàññìîòðåííîé ëèíåéíîé ðåãðåññèè ÷àñòî èçó÷àþò áîëåå îáùèå ìîäåëè  ñêîëüçÿùåãî ñðåäíåãî:

yn = àâòîðåãðåññèè:

p X

p X i=0

'Tn i i + vn ;

ai yn i = 'Tn 0 + vn

i=0 è àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî: p X i=0

ai yn i =

p X i=0

'Tn i i + vn

ñ ïîìåõàìè vn , ÷èñëîâûìè ai ; i = 0; 1; : : : ; p; è âåêòîðíûìè êîýôôèöèåíòàìè i ; i = 0; 1; : : : ; p; ïðè n = 1; 2; : : : ; N . Ìîäåëü àâòîðåãðåññèè âîçíèêàåò â òåõ ñëó÷àÿõ, êîãäà ïûòàþòñÿ îïðåäåëèòü ëèíåéíîå óðàâíåíèå, êîòîðîìó óäîâëåòâîðÿþò âûáîðî÷íûå ðåàëèçàöèè ñëó÷àéíîé âåëè÷èíû  . Ìîäåëü àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî èñïîëüçóåòñÿ äëÿ îïèñàíèÿ ïîâåäåíèÿ ëèíåéíûõ äèíàìè÷åñêèõ îáúåêòîâ óïðàâëåíèÿ.

2.3. Ðåêóððåíòíûå ìîäèôèêàöèè ìåòîäà íàèìåíüøèõ êâàäðàòîâ Ðàññìîòðèì çàäà÷ó î ïîñòðîåíèè îöåíêè ^N

2 Rr , ìèíèìè-

çèðóþùåé îïðåäåëåííûé â ïðåäûäóùåì ïóíêòå ýìïèðè÷åñêèé ôóíêöèîíàë êà÷åñòâà fN (X ) ïðè áëî÷íî-äèàãîíàëüíîé ìàòðèöå âåñîâûõ êîýôôèöèåíòîâ R, ñ áëîêàìè R1 ; R2 ; : : : ; Rn ðàçìåðíîñòüþ mm: N = n m. Îáúåäèíèâ â íàáîðû ïî m íàáëþäåíèÿ è â (r  m)-ìàòðèöû ñîîòâåòñòâóþùèå ðåãðåññîðû ìî-

42

äåëè, ïåðåîáîçíà÷èâ èõ îïÿòü ÷åðåç yi è 'i , âûðàæåíèå äëÿ ôóíêöèîíàëà êà÷åñòâà ìîæíî ïåðåïèñàòü â âèäå

fn(X ) =

n X k=1

('Tk X

yk )T Rk ('Tk X

yk );

ãäå ìàòðèöû 'i è âåêòîðû yi ìîæíî èíòåðïðåòèðîâàòü êàê äàííûå íàáëþäåíèÿ â ìîìåíò âðåìåíè i = 1; 2; : : : ; n. Âåêòîð-ãðàäèåíò ôóíêöèè fn (X ) ìîæíî âû÷èñëèòü êàê

rfn (X ) = 2

n X k=1

'k Rk ('Tk X

yk ):

Ïîñëå âòîðîãî äèôôåðåíöèðîâàíèÿ ïîëó÷àåì íåçàâèñÿùóþ îò X ìàòðèöó-ãåññèàí:

Hn = r2 fn (X ) = 2

n X k=1

'k Rk 'Tk :

Åñëè îöåíêà ^n 1 îáåñïå÷èâàåò íàèìåíüøåå çíà÷åíèå ôóíêöèîíàëó êà÷åñòâà fn 1 (X ), òî rfn 1 (^n 1 ) = 0. Ïî ôîðìóëå Òåéëîðà äëÿ rfn (^n ) èìååì

0 = rfn(^n ) =

rfn(^n 1) + Hn(^n ^n 1) = rfn 1(^n 1) +

+ 2'n Rn ('Tn ^n 1 yn) + Hn (^n ^n 1 ): Îòñþäà, îáîçíà÷èâ n = Hn 1 ; ëåãêî âûïèñàòü ôîðìóëó âû÷èñëåíèÿ ñëåäóþùåé îöåíêè ïî ^n 1 :

^n = ^n

1

T n 'n Rn ('n ^n 1

äëÿ

yn):

Èñïîëüçóÿ ìàòðè÷íîå òîæäåñòâî èç ðàçä. Ï.2, äëÿ ìàòðèö n ìîæíî âûâåñòè ðåêóððåíòíóþ ôîðìóëó: n

=

n 1

n 1 'n (Rn

1 + 'T 1 T n n 1 'n ) 'n n 1 : 43

Ïîëó÷åííûå ðåêóððåíòíûå ñîîòíîøåíèÿ äëÿ ïåðåñ÷åòà ^n è n íàçûâàþòñÿ îáîáùåííûì ðåêóððåíòíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ. ×òîáû âîñïîëüçîâàòüñÿ ðåêóððåíòíîé ôîðìîé ïîëó÷åíèÿ îöåíîê, ñëåäóåò íåêîòîðûì îáðàçîì çàäàòü íà÷àëüíûå çíà÷åíèÿ ^0 è 0 . Ïðè èõ ïðîèçâîëüíîì âûáîðå, îïðåäåëÿåìûå ïîëó÷åííûìè ðåêóððåíòíûìè ôîðìóëàìè îöåíêè, âîîáùå ãîâîðÿ, íå îáÿçàíû îáåñïå÷èâàòü ìèíèìóì ñîîòâåòñòâóþùèì ôóíêöèîíàëàì êà÷åñòâà. Ïðè çàäàíèè íà÷àëüíûõ çíà÷åíèé åñòåñòâåííî âûáèðàòü îáðàòèìóþ ìàòðèöó 0 . Äëÿ ïðèëîæåíèé íàèáîëåå èíòåðåñåí ñëó÷àé, êîãäà m = 1, ò.å. yk è Rk > 0  ñêàëÿðíûå âåëè÷èíû, à 'k ; k = 1; 2; : : : ;  âåêòîðû. Ýìïèðè÷åñêèé ôóíêöèîíàë êà÷åñòâà â ýòîì ñëó÷àå èìååò âèä n X fn (X ) = Rk ('Tk X yk )2 ; k=1 à ôîðìóëû äëÿ çàïèñè îöåíîê îáîáùåííîãî ðåêóððåíòíîãî ÌHÊ ñ ÷èñëîâûìè ïîëîæèòåëüíûìè âåñîâûìè êîýôôèöèåíòàìè çàïèñûâàþòñÿ êàê

^n = ^n n

=

T n 'n Rn ('n ^n 1

1

n 1

yn);

T n 1 'n 'n n 1 : 1 Rn + 'Tn n 1 'n

Ïîëàãàÿ Rk = 1; k = 1; 2; : : : , ïîëó÷àåì ôîðìóëû îáûêíîâåííîãî ðåêóððåíòíîãî ÌHÊ:

^n = ^n

1

T n 'n ('n ^n 1

yn ); ^0 = 0;

T n 1 'n 'n n 1 ; 0 = 0 1 I; n 1 1 + 'Tn n 1 'n ãäå 0 > 0  ìàëûé ïàðàìåòð ðåãóëÿðèçàöèè. Ýòîò àëãîðèòì  ÷àñòíûé âèä ôèëüòðà ÊàëìàíàÁüþñè (ñì. ðàçä. 3.2). Â

n=

44

ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé è ãàóññîâñêèõ ïîìåõ îí îáëàäàåò îïòèìàëüíûìè ñâîéñòâàìè. Âî ìíîãèõ çàäà÷àõ ýôôåêòèâíî èñïîëüçóþò ìîäèôèöèðîâàííûé ÌHÊ, ïîëó÷àþùèéñÿ ïðè ôóíêöèîíàëå êà÷åñòâà ñ Rk = N k ; k = 1; 2; : : : ; N : ^n = ^n 1 n'n ('Tn ^n 1 yn); ^0 = 0;   T n 1 'n 'n n 1 1 ; 0 = 1 I; n= n 1

+ 'Tn n 1 'n ãäå 2 (0; 1)  çàáûâàþùèé ìíîæèòåëü.  òîé ñèòóàöèè, êîãäà íåëüçÿ ïðåäïîëàãàòü íåçàâèñèìîñòü íàáëþäåíèé, â [67] ïðè ñèíòåçå àäàïòèâíîãî óïðàâëåíèÿ ñòîõàñòè÷åñêèì ëèíåéíûì îáúåêòîì èñïîëüçîâàëñÿ ðåêóððåíòíûé ÌHÊ, ñîîòâåòñòâóþùèé âûáîðó âåñîâûõ êîýôôèöèåíòîâ:

1

1 + Pn 2 : i=1 'i ) Ðåêóððåíòíàÿ ïðîöåäóðà ÌHÊ, ÿâëÿÿñü îïòèìàëüíîé ïðè ñîîòâåòñòâóþùåì âûáîðå íà÷àëüíûõ ñòàòèñòèê, ñòàíîâèòñÿ ïðàêòè÷åñêè ìàëîïðèãîäíîé, åñëè ïðèõîäèòñÿ îöåíèâàòü âåêòîð ïàðàìåòðîâ âûñîêîé ðàçìåðíîñòè: îñíîâíîé îáúåì âû÷èñëåíèé ñâÿçàí ñ ïåðåñ÷åòîì ìàòðèö n . Åñòåñòâåííî ïîïûòàòüñÿ åå óïðîñòèòü, äàæå åñëè ïðèäåòñÿ ïîñòóïèòüñÿ îïòèìàëüíûìè ñâîéñòâàìè. Âïðî÷åì, ïîñëåäíåå îáñòîÿòåëüñòâî íå ÿâëÿåòñÿ îïðåäåëÿþùèì, òàê êàê íóæíûå íà÷àëüíûå äàííûå îáû÷íî íåèçâåñòíû, à ïðîèçâîëüíûé âûáîð íà÷àëüíûõ äàííûõ äåëàåò ïðîöåäóðó òîëüêî ïðåäåëüíî îïòèìàëüíîé. Íåêîòîðûå óïðîùåíèÿ ðåêóððåíòíîé ïðîöåäóðû ÌHÊ â òèïè÷íûõ ñëó÷àÿõ íå ñêàçûâàþòñÿ íà ïðåäåëüíûõ ñâîéñòâàõ îöåíîê. Ìàòðèöû n ìîíîòîííî óáûâàþò, åñëè âûïîëíåíî óñëîâèå ïîñòîÿííîãî âîçáóæäåíèÿ äëÿ ïîñëåäîâàòåëüíîñòè 'n : ñóùåñòâóåò öåëîå ÷èñëî N > 0 è ïîñòîÿííàÿ Æ > 0, òàêèå, ÷òî ïðè ëþáîì n = 1; 2; : : :

Rn =

ln(

k k

f g

nX +N k =n

Ef'k 'Tk g  ÆI: 45

Åñëè n ! 0 ïðè n ! 1, òî â òîì ñëó÷àå, êîãäà 'n ðàâíîìåðíî îãðàíè÷åíû, ïðè äîñòàòî÷íî áîëüøèõ n ñïðàâåäëèâî: (Rn 1 + 'Tn n 1 'n ) 1  Rn . Ñëåäîâàòåëüíî, ðåêóððåíòíûé àëãîðèòì äëÿ ïåðåñ÷åòà îöåíîê ìîæíî çàïèñàòü â âèäå

^n = ^n n

=

T n 'n Rn ('n ^n 1

1

n 1

yn);

T n 1 'n Rn 'n n 1 :

Äðóãèì ñóùåñòâåííûì óïðîùåíèåì â ðåêóððåíòíîé ïðîöåäóðå ÌHÊ ÿâëÿåòñÿ èñïîëüçîâàíèå â àëãîðèòìå âìåñòî ìàòðèö n ÷èñëîâûõ êîýôôèöèåíòîâ.  îáùåì ñëó÷àå, ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè óäàåòñÿ äîêàçàòü ñîñòîÿòåëüíîñòü îöåíîê, äîñòàâëÿåìûõ ïðèâåäåííûìè ðàíåå ðåêóððåíòíûìè àëãîðèòìàìè ÌHÊ, òîëüêî â íåêîòîðûõ ñïåöèàëüíûõ ñëó÷àÿõ [66, 70]. Ïðè ïðåäïîëîæåíèè, ÷òî ðåãðåññîðû f'n g èìåþò ñòàòèñòè÷åñêóþ ïðèðîäó è èçâåñòíû èõ ñðåäíèå çíà÷åíèÿ, â [7, 10] â óñëîâèÿõ ïî÷òè ïðîèçâîëüíûõ ïîìåõ â íàáëþäåíèÿõ äåòàëüíî ðàññìîòðåíû óñëîâèÿ ñõîäèìîñòè îöåíîê ðàíäîìèçèðîâàííîãî ðåêóððåíòíîãî ÌHÊ, èìåþùåãî ïðè 0 > 0 âèä

^n = ^n n ãäå


n = 'n

=

1

n 1

T n
n ('n ^n 1

yn); ^0 = 0;

T n 1
n
n n 1 ; 1 +
Tn n 1
n

0

= 0 1 I;

Ef'n g; n = 1; 2; : : : ;  öåíòðèðîâàííûå âõîäû.

46

3. Îïòèìàëüíàÿ ôèëüòðàöèÿ ñëó÷àéíûõ ïðîöåññîâ Ïîä îïòèìàëüíîé ôèëüòðàöèåé ïîíèìàþòñÿ àëãîðèòìû îáðàáîòêè ðåàëèçàöèé ñëó÷àéíûõ ïðîöåññîâ, íàïðàâëåííûå íà ìàêñèìàëüíîå (â ñìûñëå íåêîòîðîãî êðèòåðèÿ) ïîäàâëåíèå ïîìåõ, çàøóìëÿþùèõ (îáû÷íî àääèòèâíî) ïîëåçíûé ñèãíàë.  ôóíäàìåíòå òåîðèè îïòèìàëüíîé ôèëüòðàöèè ëåæèò ìåòîä ÂèíåðàÊîëìîãîðîâà [18, 78] è åãî ðåêóððåíòíûå ìîäèôèêàöèè, èçâåñòíûå ïîä îáùèì íàçâàíèåì ôèëüòðà ÊàëìàíàÁüþñè [2, 16, 45]. Òåîðèÿ ÂèíåðàÊîëìîãîðîâà â ñóùåñòâåííîé ñòåïåíè áàçèðóåòñÿ íà ìåòîäå íàèìåíüøèõ êâàäðàòîâ. Îöåíèâàíèå ïàðàìåòðîâ â ýòîé òåîðèè ïðîèñõîäèò íà îñíîâå îáðàáîòêè ïîñëåäîâàòåëüíî ïîñòóïàþùèõ âõîäíûõ äàííûõ, ÿâëÿþùèõñÿ íåêîòîðîé òðàåêòîðèåé ñòîõàñòè÷åñêîãî ïðîöåññà. Ýòî ïðèâîäèò ê âàæíûì êîíöåïöèÿì ôèçè÷åñêîé ðåàëèçóåìîñòè è îïòèìàëüíîñòè ñèíòåçèðóåìîãî ôèëüòðà.  ïîñîáèè áóäåò îïèñàí òîëüêî ñëó÷àé äèñêðåòíîãî âðåìåíè.

3.1. Ôèëüòð ÂèíåðàÊîëìîãîðîâà Îãðàíè÷èìñÿ ðàññìîòðåíèåì ñëåäóþùåé ïîñòàíîâêè çàäà÷è: ïîñëåäîâàòåëüíîñòü íàáëþäåíèé ïðè n = : : : ; 1; 0; 1; : : : óäîâëåòâîðÿåò óðàâíåíèþ

yn = 'T n + vn ; â êîòîðîì fn g è fvn g  âåùåñòâåííûå âåêòîðíûå ïðîöåññû: n 2 Rr ; vn 2 Rm ; '  ïðÿìîóãîëüíàÿ ìàòðèöà ðàçìåðíîñòüþ r  m. Òðåáóåòñÿ ïîëó÷èòü îöåíêó ^n ïðîöåññà n â ìîìåíò âðåìåíè n ïî íàáëþäåíèÿì çà ïðîöåññîì fyn g äî ìîìåíòà âðåìåíè n l; l  çàäàííîå öåëîå ÷èñëî. Îöåíêà èùåòñÿ ñ

47

ïîìîùüþ ëèíåéíîãî óñòîé÷èâîãî ñòàöèîíàðíîãî ôèëüòðà, óðàâíåíèå êîòîðîãî èìååò âèä

^n =

1 X i=l

H(i l)yn i ;

ãäå H(i)  âåñîâàÿ ôóíêöèÿ ôèëüòðà. Ââåäåì ïåðåäàòî÷íóþ ôóíêöèþ ôèëüòðà:

H () = l

1 X i=0

H(i)i :

Äëÿ óïðîùåíèÿ îãðàíè÷èìñÿ ðàññìîòðåíèåì ôèëüòðîâ ñ äðîáíî-ðàöèîíàëüíûìè ïåðåäàòî÷íûìè ôóíêöèÿìè. Äðîáíî-ðàöèîíàëüíóþ ôóíêöèþ  l H () áóäåì íàçûâàòü óñòîé÷èâîé, åñëè ó íåå íåò ïîëþñîâ, êîòîðûå ïî àáñîëþòíîé âåëè÷èíå ìåíüøå ëèáî ðàâíû åäèíèöå. Ñâîéñòâî óñòîé÷èâîñòè ôèëüòðà ðàâíîñèëüíî óñòîé÷èâîñòè ôóíêöèè  l H (). Çàäà÷à ôèëüòðàöèè íàçûâàåòñÿ ïî-ðàçíîìó â çàâèñèìîñòè îò ÷èñëà l â óðàâíåíèè ôèëüòðà. Ïðè l > 0 åå íàçûâàþò çàäà÷åé ýêñòðàïîëÿöèè (ïðîãíîçà) íà l ìîìåíòîâ âðåìåíè, ïðè l < 0  çàäà÷åé èíòåðïîëÿöèè (ñãëàæèâàíèÿ), ïðè l = 0  ñîáñòâåííî ôèëüòðàöèåé. Òàêèì îáðàçîì, ïðè ñãëàæèâàíèè îöåíêà ìîæåò çàâèñåòü îò íåêîòîðîãî ÷èñëà "áóäóùèõ" íàáëþäåíèé, à ïåðåäàòî÷íàÿ ôóíêöèÿ ôèëüòðà èìååò ïîëþñ ïîðÿäêà l â íà÷àëå êîîðäèíàò.  êëàññè÷åñêîé ïîñòàíîâêå çàäà÷è ðàññìàòðèâàþòñÿ ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû fyn g è fn g, êîòîðûå âäîáàâîê ñòàöèîíàðíî ñâÿçàíû, è èõ ìàòðèöû êîâàðèàöèé âìåñòå ñî ñïåêòðàëüíûìè ïëîòíîñòÿìè: Byy (n), Syy (), By (n), Sy (), B (n), S (), ñóùåñòâóþò è èçâåñòíû (ñì. ðàçä. Ï.1.4). Îöåíêà ^n äîëæíà áûòü îïòèìàëüíîé â ñìûñëå ìèíèìóìà ñðåäíåêâàäðàòè÷íîãî ôóíêöèîíàëà:

fl = Efk^n

nk2 g (= fl (H ())):

 ñèëó ñòàöèîíàðíîñòè ïðîöåññîâ ýòîò ôóíêöèîíàë íå çàâèñèò îò âðåìåíè. 48

Ïåðåïèøåì íà îñíîâàíèè îïðåäåëåíèé ìàòðèö êîâàðèàöèè ôóíêöèîíàë êà÷åñòâà fl â âèäå

fl = Tr[Ef(^n

1 h nX

= Tr E

i=l

H(i l)yn h

= Tr B (0) + 1 X i=l

i

n)(^n

n )T g] =

n

H(j

1 X

1 X 1 X i=l j =l

H(i)By ( i l)

j =l

l)yn

i=l

n

T oi

=

i)H(j )T

H(i)Byy (j 1 X

j

i

By (i + l)H(j )T :

Èçâåñòíî, ÷òî ïðåîáðàçîâàíèå ñïåêòðàëüíîé ïëîòíîñòè â ëèíåéíîì ôèëüòðå ïîçâîëÿåò çàïèñàòü ôóíêöèîíàë êà÷åñòâà fl êàê êâàäðàòè÷íóþ ôîðìó îò ïåðåäàòî÷íîé ôóíêöèè ôèëüòðà: h

1 fl = Tr B (0) + 2i

I 

H ()Syy ()H ( 1 )T

Sy ()H ( 1 )T

H ()Sy ()

 d i



:

Ìàòðèöà ñïåêòðàëüíûõ ïëîòíîñòåé Syy ()  íåîòðèöàòåëüíî îïðåäåëåííàÿ ïðè jj = 1. Èçâåñòíî, ÷òî òàêàÿ ìàòðè÷íàÿ ôóíêöèÿ (ñì. ðàçä. Ï.3) äîïóñêàåò ôàêòîðèçàöèþ, ò.å. ïðåäñòàâëåíèå â âèäå

Syy () = ()( 1 )T ; ãäå ()  óñòîé÷èâàÿ ìàòðè÷íàÿ ôóíêöèÿ (åå ýëåìåíòû íå èìåþò ïîëþñîâ ïðè jj  1). Ïðåäïîëîæèì, ÷òî ìàòðèöà Syy ()  ïîëîæèòåëüíî îïðåäåëåííàÿ ïðè jj = 1.  ýòîì ñëó÷àå ìîæíî âûáðàòü òàêóþ ìàòðèöó (), ÷òîáû () 1 áûëà óñòîé÷èâîé. Ñ ïîìîùüþ ôîðìóëû ôàêòîðèçàöèè, ó÷èòûâàÿ âûïîëíåíèå ïðè jj = 1 ñîîòíîøåíèÿ

Sy () = Sy ( 1 )T ; 49

äëÿ ôóíêöèîíàëà êà÷åñòâà fl ìîæíî âûâåñòè ôîðìóëó h

1 fl = Tr Q+ 2i

I 

H ()() R())(H ()() R()

 T d i

;



â êîòîðîé èñïîëüçîâàíû îáîçíà÷åíèÿ:

Q = B (0)

1 2i

I

R()R( 1 )T



R() = Sy () ( 1 )T

 1

d ; 

:

Òàê êàê ìàòðèöà Q íå çàâèñèò îò H (), à âòîðîå ñëàãàåìîå â ïðàâîé ÷àñòè ïîëó÷åííîé äëÿ fl ôîðìóëû  íåîòðèöàòåëüíàÿ ìàòðèöà, òî ìèíèìóì ôóíêöèîíàëà êà÷åñòâà fl äîñòèãàåòñÿ ïðè H () = R()() 1 = Sy ()Syy () 1 ; ïðè÷åì ìèíèìàëüíîå çíà÷åíèå ôóíêöèîíàëà êà÷åñòâà ðàâíî

min f = Tr[Q]: fH ()g l Îäíàêî íàéäåííîå ðåøåíèå íåóäîâëåòâîðèòåëüíî, ïîñêîëüêó, âîîáùå ãîâîðÿ, íå âûïîëíÿåòñÿ óñëîâèå óñòîé÷èâîñòè ôèëüòðà, òàê êàê ìàòðèöà Syy () 1 ìîæåò èìåòü îñîáåííîñòè ïðè jj  1 è ýòî ñâîéñòâî ïåðåäàåòñÿ H (). Äëÿ ïîëó÷åíèÿ óñòîé÷èâîãî ôèëüòðà íàäî ïðîèçâåñòè ñåïàðàöèþ ôóíêöèè R(), ò.å. ïðåäñòàâèòü åå â âèäå

 l R() = R+ () + R (); â êîòîðîì R+ (); è

R ( 1 )  óñòîé÷èâûå ìàòðè÷íûå ôóíêöèè lim R () = 0: jj!1

Îñíîâíîé ðåçóëüòàò òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà çàêëþ÷àåòñÿ â òîì, ÷òî ïðè ñäåëàííûõ âûøå ïðåäïîëîæåíèÿõ è ââåäåííûõ îáîçíà÷åíèÿõ ïåðåäàòî÷íàÿ 50

ôóíêöèÿ îïòèìàëüíîãî óñòîé÷èâîãî ôèëüòðà, ìèíèìèçèðóþùåãî ôóíêöèîíàë êà÷åñòâà fl , îïðåäåëÿåòñÿ ïî ôîðìóëå

H () = l R+ ()() 1 ; è ñîîòâåòñòâóþùåå ìèíèìàëüíîå çíà÷åíèå ôóíêöèîíàëà êà÷åñòâà ðàâíî

1 min fl = Tr[Q] + 2i fH ()g

I

Tr[R ()R ( 1 )T ]

d : 

 ñëó÷àå ñêàëÿðíîãî ïðîöåññà yn c äðîáíî-ðàöèîíàëüíîé ñïåêòðàëüíîé ïëîòíîñòüþ ïðîöåäóðà ïîñòðîåíèÿ ôóíêöèè () ñâîäèòñÿ, ïî ñóùåñòâó, ê íàõîæäåíèþ êîðíåé è ïîëþñîâ äðîáíî-ðàöèîíàëüíîé ôóíêöèè Syy (), êîòîðûå ïî àáñîëþòíîé âåëè÷èíå áîëüøå åäèíèöû. Ñåïàðàöèÿ ôóíêöèè  l R() â ýòîì ñëó÷àå ñîñòîèò â âûäåëåíèè öåëîé ÷àñòè ôóíêöèè ñ ïîñëåäóþùèì îïðåäåëåíèåì "óñòîé÷èâûõ" è "íåóñòîé÷èâûõ" ïîëþñîâ ó ïîëó÷åííîé äðîáíî-ðàöèîíàëüíîé ôóíêöèè. Ïðèìåð: îïòèìàëüíûé ïðîãíîç ïðîöåññà. Ïðåäïîëîæèì, ÷òî ïðè n = : : : ; 1; 0; 1; 2; : : : íàáëþäàåòñÿ ñêàëÿðíûé ïðîöåññ fyng: yn = 'n + vn ; ãäå fn g è fvn g  ñòîõàñòè÷åñêè íåçàâèñèìûå ñòàöèîíàðíî ñâÿçàííûå ïðîöåññû: Efvn g = 0, Efvn2 g = v2 , ïðè÷åì fn g îïðåäåëÿåòñÿ óðàâíåíèåì

n+1 = a n + wn+1 ; â êîòîðîì 0 < jaj < 1; Efwn g = 0;  äàííîì ñëó÷àå Svv = v2 ;

S () =

Efwi wj g = w2 Æij :

w2 ; S () = Svv + '2 S (): (1 a)(1 a 1 ) yy 51

Äëÿ ïðîâåäåíèÿ ôàêòîðèçàöèè ôóíêöèè Syy () íàéäåì âåùåñòâåííûå ïîñòîÿííûå c1 è c2 èç óðàâíåíèÿ

v2 (1 a)(1 a 1 ) + '2 w2 = (c1 + c2 )(c1 + c2  1 ): Íåñëîæíûå ðàñ÷åòû äàþò

1 1 c1 = (1 + 2 ); c2 = (1 2 2

2 );

ãäå p

1 = '2 w2 + v2 (1 a)2 ; 2 = Ïîëîæèâ

() =

p

'2 w2 + v2 (1 + a)2 :

c1 + c2  ; 1 a

ñ ó÷åòîì ââåäåííûõ îáîçíà÷åíèé, èìååì:

Syy () = ()( 1 )T : Ïðè ýòîì ôóíêöèè () è () 1  óñòîé÷èâûå, òàê êàê jc1 j > jc2 j. Äàëåå, ïîñêîëüêó

Sy () =

'w2 ; (1 a)(1 a 1 )

R() =

'w2  : (1 a)(c1  + c2 )

òî

Ðàññìîòðèì çàäà÷ó îá îïòèìàëüíîì ïðîãíîçå íà îäèí øàã, ò.å. ñëó÷àé l = 1. Äëÿ åå ðåøåíèÿ íàäî ïðîèçâåñòè ñåïàðàöèþ ôóíêöèè: 'w2  1 R() = : (1 a)(c1  + c2 )  ðåçóëüòàòå ñåïàðàöèè ïîëó÷àåì

R+ () =

1 'w2 c1 1 'w2 a ; R () = : c1 + c2 a 1 a c1 + c2 a c1  + c2

52

Ñëåäîâàòåëüíî, ïåðåäàòî÷íàÿ ôóíêöèÿ îïòèìàëüíîãî ôèëüòðà èìååò âèä

H () =

'w2 a  : c1 + c2 a c1 + c2 

Îòñþäà äåëàåì âûâîä, ÷òî äâå ïîñëåäîâàòåëüíûå îïòèìàëüíûå îöåíêè ^n+1 è ^n ñâÿçàíû ñîîòíîøåíèåì

c1 ^n+1 + c2 ^n =

'w2 a y : c1 + c2 a n

Îòìåòèì, ÷òî ïîñëåäíåå óðàâíåíèå ìîæíî ïåðåïèñàòü â âèäå

^n+1 = a^n a'('^n yn ); ãäå

w2 = c1 (c1 + c2 a)







 1  c2 + a : a'2 c1

3.2. Ôèëüòð ÊàëìàíàÁüþñè Òåîðèÿ ÂèíåðàÊîëìîãîðîâà îïòèìàëüíîé ôèëüòðàöèè ïîñëóæèëà ìîùíûì ñòèìóëîì ïîèñêà íîâûõ ïóòåé îïðåäåëåíèÿ êîíêðåòíûõ ñïîñîáîâ ñèíòåçà òåîðåòè÷åñêè îïòèìàëüíîãî ôèëüòðà. Áîëüøîé ïðàêòè÷åñêèé èíòåðåñ ïðåäñòàâëÿåò âîçìîæíîñòü ñèíòåçèðîâàòü îïòèìàëüíûé ôèëüòð ðåêóððåíòíûì ñïîñîáîì, îáåñïå÷èâàÿ óäîáñòâî åãî ðåàëèçàöèè ïðè èñïîëüçîâàíèè ÝÂÌ. Ïðåäïîëîæèì, ÷òî ïðè n = 1; 2; : : : íàáëþäàåòñÿ ñëó÷àéíûé ïðîöåññ yn = 'Tn n + vn ; ïðåäñòàâëÿþùèé ñîáîé ñìåñü ïðåîáðàçîâàííîãî âåêòîðíîãî ïðîöåññà fn g è âåêòîðíîé ïîìåõè fvn g. Ïðÿìîóãîëüíûå ìàòðèöû 'n ýòîãî ïðåîáðàçîâàíèÿ ñ÷èòàþòñÿ èçâåñòíûìè è â îòëè÷èå îò òåîðèè ÂèíåðàÊîëìîãîðîâà ìîãóò èçìåíÿòüñÿ âî 53

âðåìåíè. Âåêòîðíûé ïðîöåññ fn g ïîðîæäàåòñÿ ñîîòíîøåíèåì

n+1 = An n + wn+1 ; â êîòîðîì 0 = 0 è An  èçâåñòíàÿ ìàòðè÷íàÿ ôóíêöèÿ âðåìåíè, à fwn g  ïîñëåäîâàòåëüíîñòü öåíòðèðîâàííûõ íåçàâèñèìûõ ñëó÷àéíûõ âåêòîðîâ ñ èçâåñòíûìè ìàòðèöàìè êîâàðèàöèè: Efwn wjT g = Qw (n)Ænj :

Îáû÷íî ñ÷èòàþò, ÷òî ïîìåõà fvn g òàêæå ïðåäñòàâëÿåò ñîáîé ïîñëåäîâàòåëüíîñòü öåíòðèðîâàííûõ íåçàâèñèìûõ ñëó÷àéíûõ âåêòîðîâ ñ èçâåñòíûìè ìàòðèöàìè êîâàðèàöèè

Efvn vjT g = Bv (n)Ænj ;

êîòîðûå ïðè âñåõ n  íåâûðîæäåííûå, è f'n g  äåòåðìèíèðîâàííàÿ ïîñëåäîâàòåëüíîñòü ìàòðèö. Îãðàíè÷èìñÿ ðàññìîòðåíèåì çàäà÷è îá îïòèìàëüíîì îäíîøàãîâîì ïðîãíîçå. Äëÿ n = 1; 2; : : : òðåáóåòñÿ ïî íàáëþäåíèÿì y1 ; y2 ; : : : ; yn íàéòè ëèíåéíûå îöåíêè ^n+1 çíà÷åíèé ïðîöåññà fn g â ìîìåíòû âðåìåíè n + 1, ìèíèìèçèðóþùèå ñðåäíåêâàäðàòè÷íûå îòêëîíåíèÿ

fn = Efk^n+1

n+1 k2 g:

Âûïèøåì íåîáõîäèìûå è äîñòàòî÷íûå óñëîâèÿ îïòèìàëüíîñòè ëèíåéíîé îöåíêè â òåðìèíàõ êîððåëÿöèîííûõ ìàòðèö ðàññìàòðèâàåìûõ ïðîöåññîâ. Ïðåäïîëîæèì, ÷òî îïòèìàëüíàÿ îöåíêà èìååò âèä

^n+1 =

n X i=1

Hn (i)yi :

Åñëè îöåíêà ^n+1 ìèíèìèçèðóåò ôóíêöèîíàë êà÷åñòâà fn , òî äëÿ ëþáîãî j = 1; 2; : : : ; n âûïîëíåíî óñëîâèå

Ef(^n+1

n+1)yjT g = 0: 54

Ýòî ñîîòíîøåíèå èìååò ïðîñòîé ãåîìåòðè÷åñêèé ñìûñë: ñëó÷àéíàÿ âåëè÷èíà ^n+1 , ÿâëÿþùàÿñÿ ëèíåéíîé êîìáèíàöèåé ñëó÷àéíûõ âåëè÷èí y1 ; : : : ; yn , äîëæíà áûòü ñòðîãî îðòîãîíàëüíîé ïðîåêöèåé âåêòîðà n+1 íà ïîäïðîñòðàíñòâî, íàòÿíóòîå íà ñîîòâåòñòâóþùèå âåêòîðû íàáëþäåíèé.  ñèëó ïðåäïîëàãàåìîãî âèäà îïòèìàëüíîãî ôèëüòðà, èç ïîñëåäíåãî âûðàæåíèÿ ïîëó÷àåì íåñòàöèîíàðíûé âàðèàíò óðàâíåíèÿ Âèíåðà Õîïôà (â äèñêðåòíîì âðåìåíè) îòíîñèòåëüíî âåñîâûõ ôóíêöèé Hn (i) n X T Efn+1 yj g = Hn (i)Efyi yjT g: i=1 T Îáîçíà÷èâ Bij = Efyi yj g è Kn = Hn (n), èç ïîñëåäíåãî óðàâíåíèÿ, çàïèñàííîãî äëÿ äâóõ ïîñëåäîâàòåëüíûõ çíà÷åíèé âðåìåíè n è n + 1, ñ îäíîé ñòîðîíû, ïîëó÷àåì

Ef(n+1

n )yjT g =

nX1 i=1

(Hn (i) Hn 1 (i))Bij + Kn Bnj :

Ñ äðóãîé ñòîðîíû, ó÷èòûâàÿ âèä ôèëüòðà, ïîðîæäàþùåãî ïðîöåññ fn g, èìååì

Ef(n+1

n)yjT

g = (An I)

nX1 i=1

Hn 1 (i)Bij :

Èç ïîñëåäíèõ äâóõ óðàâíåíèé ñëåäóåò, ÷òî ïðè

:::;n 1

nX1 i=1

j = 1; 2; : : :




An Hn 1 (i) Kn 'Tn Hn 1 (i) Hn (i) Bij = 0;

òàê êàê â ñèëó óðàâíåíèÿ íàáëþäåíèé

Bnj = Ef

yn yjT

g

f

= 'Tn E

n yjT

g + Ef

vn yjT

g

= 'Tn

nX1 i=1

Hn 1 (i)Bij : 55

À çíà÷èò, îïòèìàëüíîé â ñðåäíåêâàäðàòè÷íîì ñìûñëå îöåíêîé âåêòîðà n ïî íàáëþäåíèÿì y1 ; y2 ; : : : ; yn 1 òàêæå ÿâëÿåòñÿ è îöåíêà nX1 ~n = (Hn 1 (i) Dn (i))yi ; i=1 ãäå Dn (i) = An Hn 1 (i) Kn'Tn Hn 1 (i) Hn (i): Ïîýòîìó

Efk~n

^n k2 g = 0

èëè

2 o n n nX1 X1

T E Dn (i)'i i + Dn (i)T Bv (i)Dn (i) i=1 i=1

Òàê êàê

= 0:

Bv (i) > 0 ïðè i = 1; 2; : : : ; n 1, òî Dn (i) = 0, ò.å. Hn (i) = An Hn 1 (i) Kn 'Tn Hn 1 (i):

Ýòî è åñòü èñêîìîå ñîîòíîøåíèå, êîòîðîìó äîëæíà óäîâëåòâîðÿòü âåñîâàÿ ôóíêöèÿ îïòèìàëüíîãî ôèëüòðà. Ó÷èòûâàÿ åãî, íåñëîæíî íàéòè ðàçíîñòíîå óðàâíåíèå äëÿ ïîñëåäîâàòåëüíîñòè îïòèìàëüíûõ îöåíîê f^n g:

^n+1 = Kn yn + +

nX1 i=1

nX1 i=1

Hn (i)yi = Kn yn+ 

An Hn 1 (i) Kn 'Tn Hn 1 (i) yi = Kn yn +(An Kn 'Tn )^n = = An ^n

Kn ('Tn ^n

yn):

Îáîçíà÷èì ÷åðåç n

= Ef(^n

n )(^n n )T g 56

êîâàðèàöèîííûå ìàòðèöû îøèáîê îöåíèâàíèÿ. Ìàòðè÷íûå ôóíêöèè Kn , íàçûâàåìûå êàëìàíîâñêèìè êîýôôèöèåíòàìè óñèëåíèÿ, íåïîñðåäñòâåííî ñâÿçàíû ñ n , òàê êàê èç óðàâíåíèÿ ÂèíåðàÕîïôà ñëåäóåò

0 = Ef(^n+1 = (An

n+1 )(yn 'Tn ^n)T g =

Kn 'Tn ) n 'n + Kn Bv (n):

Ñôîðìóëèðóåì îêîí÷àòåëüíûé ðåçóëüòàò. Êàëìàíîâñêèé êîýôôèöèåíò óñèëåíèÿ Kn îïðåäåëÿåòñÿ ïî ôîðìóëå Kn = An n 'n (Bv (n) + 'Tn n 'n ) 1 ;

ãäå n  êîâàðèàöèîííàÿ ìàòðèöà îøèáêè îöåíèâàíèÿ, ïîñëåäîâàòåëüíîñòü êîòîðûõ óäîâëåòâîðÿåò ðåêóððåíòíîìó ñîîòíîøåíèþ n+1

= (An Kn'Tn ) n (An Kn 'Tn )T +KnBv (n)KTn +Qw (n +1):

Ïîñëåäíÿÿ ôîðìóëà ëåãêî âûâîäèòñÿ èç ðàçíîñòíîãî óðàâíåíèÿ, ñâÿçûâàþùåãî äâå ïîñëåäîâàòåëüíûå îöåíêè. Èñïîëüçóÿ ìàòðè÷íîå òîæäåñòâî èç ðàçä. Ï.2, ðåêóððåíòíûå ñîîòíîøåíèÿ äëÿ ìàòðèö n ìîæíî ïåðåïèñàòü â âèäå n+1 èëè n+1

= An



n

= An n ATn

Kn 'Tn n ATn + Qw (n + 1)

T 1 T n 'n (Bv (n)+ 'n n 'n ) 'n n



ATn +Qw (n +1):

Ïîñëå çàäàíèÿ íà÷àëüíûõ çíà÷åíèé ^0 è 0 âìåñòå ñ ôîðìóëîé äëÿ ïîñëåäîâàòåëüíîãî ïåðåñ÷åòà îöåíîê

^n+1 = An ^n An n 'n (Bv (n) + 'Tn n'n ) 1 ('Tn ^n yn ) ýòè ñîîòíîøåíèÿ, íàçûâàåìûå ôèëüòðîì ÊàëìàíàÁüþñè, îïðåäåëÿþò çàìêíóòóþ ñèñòåìó äëÿ ðåêóððåíòíîãî âû÷èñëåíèÿ 57

^n

è n âî âñå ìîìåíòû âðåìåíè n. Òàêèå æå ôîðìóëû ìîæíî ïîëó÷èòü ïðè ðàññìîòðåíèè íå òîëüêî äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòè f'n g, íî è åñëè ñ÷èòàòü åå ðåàëèçàöèåé íåêîòîðîãî ìàòðè÷íîãî íåçàâèñèìîãî ñëó÷àéíîãî ïðîöåññà, íåêîððåëèðîâàííîãî ñ ïîìåõàìè fvn g è ñ ïîðîæäàþùèì ïðîöåññîì fwn g. Ñòîèò çàìåòèòü, ÷òî ïðè An  I; Qw (n)  0 è âûáîðå ìàòðèöû âåñîâûõ êîýôôèöèåíòîâ Rn = Bv (n) 1 ôèëüòð ÊàëìàíàÁüþñè â òî÷íîñòè ñîâïàäàåò ñ îáîáùåííûì ðåêóððåíòíûì ÌÍÊ èç ðàçä. 2.3, ÷òî è íåóäèâèòåëüíî. Íà ïðàêòèêå ïîëó÷åííûå ñîîòíîøåíèÿ ÷àñòî óïðîùàþò, èñïîëüçóÿ äëÿ âû÷èñëåíèÿ îöåíîê ôîðìóëó

^n+1 = An ^n An 'n ('Tn ^n yn ) ñ çàäàííûìè ïîëîæèòåëüíî îïðåäåëåííûìè ìàòðèöàìè è . Äàëüíåéøåå óïðîùåíèå âîçìîæíî ïðè âûáîðå ñêàëÿðíîãî çíà÷åíèÿ  > 0.  ñëó÷àå âûðîæäåííûõ ïîìåõ íàáëþäåíèÿ fvn g, â ÷àñòíîñòè ïðè çàäàíèè èõ íåèçâåñòíûìè äåòåðìèíèðîâàííûìè îãðàíè÷åííûìè ôóíêöèÿìè, î êà÷åñòâå îöåíîê ôèëüòðà ÊàëìàíàÁüþñè òðóäíî ÷òî-ëèáî ñêàçàòü. Åñëè ïðåäïîëîæèòü, ÷òî f'n g  ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ èçâåñòíûì ñðåäíèì çíà÷åíèåì è ïîëîæèòåëüíîé îãðàíè÷åííîé äèñïåðñèåé, òî äëÿ ðåøåíèÿ çàäà÷è î ïðîãíîçèðîâàíèè â [9] ïðåäëîæåíî âîñïîëüçîâàòüñÿ ðàíäîìèçèðîâàííûì àëãîðèòìîì âèäà

^n+1 = An ^n An
n('Tn ^n yn); ãäå
n = 'n Ef'n g. Òàì æå ïîêàçàíî, ÷òî â óñëîâèÿõ ñêàëÿðíûõ íàáëþäåíèé íà ôîíå íåèçâåñòíîé, íî îãðàíè÷åííîé íåñëó÷àéíîé ïîìåõè ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó îöåíêè ìîãóò äàâàòü äîñòàòî÷íî õîðîøåå êà÷åñòâî ïðåäñêàçàíèÿ ïðè An  A : kAk < 1. 58

Ïðèìåð: îïòèìàëüíûé ïðîãíîç ïðîöåññà. Ïðåäïîëîæèì, ÷òî ïðè n = 1; 2; : : : íàáëþäàåòñÿ ñêàëÿðíûé ïðîöåññ fyn g

yn = 'n n + vn ; ãäå f'n g, fn g è fvn g  ñòîõàñòè÷åñêè íåçàâèñèìûå ïðîöåññû: Efvn g = 0, Efvn2 g = v2 > 0, 0 = 0 è fn g îïðåäåëÿåòñÿ óðàâíåíèåì n+1 = a n + wn+1 ; 2 > 0.  äàííîì â êîòîðîì 0 < jaj  1, Efwn g = 0; Efwn2 g = w ñëó÷àå Bv (n)  v2 ; Qw (n)  w2 è ïðè çàäàíèè ^0 = 0; 0 = 0 îïòèìàëüíàÿ ïîñëåäîâàòåëüíîñòü ïðîãíîçèðóþùèõ îöåíîê âû÷èñëÿåòñÿ ïî ôîðìóëàì

^n+1 = a^n a

v2 +

n

^

'n ('n n n '2n

 a2 v2 a2 v4  a2 '2n '2n (v2 + n '2n )  ñòàöèîíàðíîì ñëó÷àå ïðè 'n  ' êîãäà f'n g  áåðíóëëèåâñêèé ïðîöåññ:

n+1

= w2 +

n

yn);  a2 2n '2n 2 : +  v2 + n '2n w

èëè â òîé ñèòóàöèè,

'n = '; Ef'n g = 0; ïîñëåäîâàòåëüíîñòü f n g ñõîäèòñÿ ê ïðåäåëó ìîæíî íàéòè èç óðàâíåíèÿ

a2 2

1 = w2 + '2 v

1, êîòîðûé

a2 v4 ; '2 (v2 + 1'2 )

ðåøåíèå êîòîðîãî åñòü p

'2 w2 + (a2 1)v2 + ('2 w2 + (a2 1= 2'2

1)v2 )2 + 4'2 w2 v2

:

59

 ïðåäåëå ïðè n ! 1 äëÿ îöåíîê ôèëüòðà ÊàëìàíàÁüþñè èìååì ïðèáëèæåííîå ñîîòíîøåíèå

^n+1  a^n a'n ('n ^n yn ); â êîòîðîì îáîçíà÷åíî

c2 + c c =a  = 2 1 2 = 1 2 1 22 v + 1 ' ' c1 è







 1  c2 + a ; a'2 c1

1 1 c1 = (1 + 2 ); c2 = (1 2 ); 2 2 p p 1 = '2 w2 + v2 (1 a)2 ; 2 = '2 w2 + v2 (1 + a)2 : Òàêèì îáðàçîì, â ñòàöèîíàðíîì ñëó÷àå ('n  ') îöåíêè

ôèëüòðà ÊàëìàíàÁüþñè â ïðåäåëå ñîâïàäàþò ñ îöåíêàìè ôèëüòðà ÂèíåðàÊîëìîãîðîâà. Ýòà ñâÿçü îáóñëîâëåíà ìåòîäîì íàèìåíüøèõ êâàäðàòîâ, çàëîæåííûì â îñíîâó îáîèõ ôèëüòðîâ. Ïîñëåäíÿÿ ôîðìóëà òàêæå èëëþñòðèðóåò îáîñíîâàííîñòü çàìåíû â íåêîòîðûõ ñëó÷àÿõ îöåíîê ôèëüòðà ÊàëìàíàÁüþñè íà îöåíêè, äîñòàâëÿåìûå àëãîðèòìîì óïðîùåííîãî òèïà. Êðîìå òîãî, åñëè f'n g  áåðíóëëèåâñêèé íåçàâèñèìûé ïðîöåññ, òî àëãîðèòì

^n+1 = a^n a'n ('n ^n yn) îòíîñèòñÿ ê òèïó ðàíäîìèçèðîâàííûõ. Êàê ïîêàçàíî â [9], îí ìîæåò äàâàòü óäîâëåòâîðèòåëüíûå îöåíêè íå òîëüêî â ñëó÷àå íåçàâèñèìûõ öåíòðèðîâàííûõ ïîìåõ íàáëþäåíèÿ, íî è ïðè íåèçâåñòíûõ îãðàíè÷åííûõ äåòåðìèíèðîâàííûõ ïîìåõàõ. Çàìåòèì, ÷òî ïðè a  1 è w 0, íàáëþäàåìîãî íà ôîíå íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõ fvn g. Áîëåå òî÷íî: ïî íàáëþäåíèÿì ïðè n = 1; 2; : : : ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí

yn = 'n  + vn ; ãäå

jvnj  Cv ;

òðåáóåòñÿ ïîñëåäîâàòåëüíî îöåíèâàòü íåèçâåñòíîå çíà÷åíèå  .  ëèòåðàòóðå ïðè îïèñàíèè ñïîñîáîâ ðåøåíèÿ çàäà÷ òàêîãî òèïà: ïðè îãðàíè÷åííûõ, à â îñòàëüíîì  ïðîèçâîëüíûõ ïîìåõàõ, ÷àñòî ïðèâîäèòñÿ ñëåäóþùèé àëãîðèòì. Ïóñòü çàäàí íåêîòîðûé èíòåðâàë  = 0 = [a0 ; b0 ], ãàðàíòèðîâàííî ñîäåðæàùèé çíà÷åíèå  . Íà êàæäîì øàãå, ïîëó÷èâ 97

íîâîå íàáëþäåíèå yn , ìîæíî óòî÷íèòü ãðàíèöû ìíîæåñòâà, ñîäåðæàùåãî  , ïî ñëåäóþùåìó ïðàâèëó:

n = [an ; bn ] = n

1

\ fX : jyn 'n X j  Cv g:

Åñëè an ! bn ïðè n ! 1, ò.å. èíòåðâàëû n ñòÿãèâàþòñÿ â òî÷êó, òî î÷åâèäíî, ÷òî õîðîøåé îöåíêîé âåëè÷èíû  íà øàãå ñ íîìåðîì n ìîæåò áûòü ëþáîé èç ýëåìåíòîâ ìíîæåñòâà n , íàïðèìåð ^n = (an +bn )=2: Ñîñòîÿòåëüíîñòü ïîñëåäîâàòåëüíîñòè îöåíîê áóäåò ãàðàíòèðîâàíà. Hî, ê ñîæàëåíèþ, ñóùåñòâåííûõ îñíîâàíèé íàäåÿòüñÿ íà òî, ÷òî an ! bn ïðè n ! 1, íåò.  ýòîé ñèòóàöèè ìîæíî ãîâîðèòü òîëüêî î ïîëó÷åíèè ïðåäåëüíîãî ìíîæåñòâà 1 , êîòîðîå ãàðàíòèðîâàííî ñîäåðæèò íåèçâåñòíîå èñêîìîå çíà÷åíèå : Èñòîðè÷åñêè òàê ñëîæèëîñü, ÷òî ðåçóëüòàòîì òàêîãî òèïà îáû÷íî óäîâëåòâîðÿþòñÿ, ñ÷èòàÿ íåâîçìîæíûì ïðè ðåøåíèè ýòîé çàäà÷è ïîëó÷èòü ëó÷øèé îòâåò.  [7] ïîêàçàíî, ÷òî è â ýòîé çàäà÷å âîçìîæíî ïîëó÷åíèå ïîñëåäîâàòåëüíîñòè ñîñòîÿòåëüíûõ îöåíîê. Äàëåå ïðèâåäåì íåñêîëüêî ïðèìåðîâ àëãîðèòìîâ ïîñòðîåíèÿ ìíîæåñòâ, ãàðàíòèðîâàííî ñîäåðæàùèõ âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ.

6.2. Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ. Êîíå÷íî-ñõîäÿùèåñÿ àëãîðèòìû Êàê è â ïðèìåðå ïðåäûäóùåãî ðàçäåëà, òàê è âî ìíîãèõ äðóãèõ ñëó÷àÿõ çàäà÷è îöåíèâàíèÿ, îïòèìèçàöèè, àäàïòèâíîãî óïðàâëåíèÿ è ò.ï. ìîãóò áûòü ñôîðìóëèðîâàíû â ñëåäóþùåì âèäå (ñì. [11, 58, 59, 72]). Äëÿ íåêîòîðîé ôóíêöèè (
;
), çàäàííîé íà W  , íàéòè ýëåìåíò  2  (íå îáÿçàòåëüíî åäèíñòâåííûé), äëÿ êîòîðîãî ïðè ëþáîì w 2 W âûïîëíÿþòñÿ íåðàâåíñòâà

(w; )  0; 98

êîòîðûå îáû÷íî íàçûâàþò öåëåâûìè íåðàâåíñòâàìè. Åñëè ìíîæåñòâî W  íå êîíå÷íîå, òî íàáîð èç öåëåâûõ íåðàâåíñòâ ïðåäñòàâëÿåò ñîáîé áåñêîíå÷íîìåðíóþ ñèñòåìó íåðàâåíñòâ.  ðÿäå ïðàêòè÷åñêèõ çàäà÷ â ðàñïîðÿæåíèè ýêñïåðèìåíòàòîðà åñòü íåêîòîðàÿ òðåíèðîâî÷íàÿ (îáó÷àþùàÿ) ïîñëåäîâàòåëüíîñòü òî÷åê w1 ; w2 ; : : : èç ìíîæåñòâà W , äëÿ êîòîðîé èçâåñòíû çíà÷åíèÿ ôóíêöèè (wk ;  ); k = 1; 2; : : : , è, ïîëó÷åííàÿ òàêèì îáðàçîì ïîäñèñòåìà íåðàâåíñòâ

(wk ; )  0; ãäå k = 1; 2; : : : ; ìîæåò áûòü èñïîëüçîâàíà äëÿ îòûñêàíèÿ íóæíîãî âåêòîðà  . Êîíå÷íî, ïîäëåæèò ñïåöèàëüíîìó èññëåäîâàíèþ âîïðîñ î òîì, â êàêèõ ñëó÷àÿõ ðåøåíèÿ ýòîé ïîäñèñòåìû ÿâëÿþòñÿ è ðåøåíèÿìè èñõîäíîé. Îòâåò íà íåãî ìîæíî äàòü, ñäåëàâ íåêîòîðûå ïðåäïîëîæåíèÿ î õàðàêòåðèñòèêàõ ôóíêöèè (
;
) è î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîñëåäîâàòåëüíîñòè w1 ; w2 ; : : : :  èíòåðåñóþùåé íàñ ñèòóàöèè î÷åðåäíîå íåðàâåíñòâî â ìîìåíò âðåìåíè n ôîðìèðóåòñÿ ëèøü ïîñëå íàõîæäåíèÿ ïðåäûäóùåé îöåíêè ^n 1 .  ýòîì êîíòåêñòå ïîäñèñòåìó íåðàâåíñòâ (wk ;  )  0; k = 1; 2; : : : ; íàçûâàþò ðåêóððåíòíûìè öåëåâûìè íåðàâåíñòâàìè. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ìíîæåñòâ

0 = ; n = n

1

\ f : (wn ; )  0g;

n = 1; 2; : : : ; 0  1  : : : : Äëÿ ëþáîãî n ìîæíî óòâåðæäàòü, ÷òî äëÿ âñÿêîãî  , ÿâëÿþùåãîñÿ ðåøåíèåì èñõîäíîé ñèñòåìû öåëåâûõ íåðàâåíñòâ, âûïîëíåíî óñëîâèå  2 n : Èíîãäà ïðè

îáîñíîâàíèè ñõîäèìîñòè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ïðîåêòèðîâàíèåì âàæíî çíàòü, ÷òî ðåêóððåíòíûé ñïîñîá ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ìíîæåñòâ fn g  êîíå÷íî-ñõîäÿùèéñÿ â òîì ñìûñëå, ÷òî íà÷èíàÿ ñ íåêîòîðîãî n, ìíîæåñòâà n ïåðåñòàþò èçìåíÿòüñÿ:

n = n? ; n  n? : 99

Êîíå÷íî-ñõîäÿùèéñÿ àëãîðèòì (ÊÑÀ) çà êîíå÷íîå ÷èñëî øàãîâ äîñòàâëÿåò ðåøåíèå áåñêîíå÷íîãî ÷èñëà çàðàíåå íåèçâåñòíûõ ðåêóððåíòíûõ íåðàâåíñòâ. Ñôîðìóëèðóåì äâà óñëîâèÿ, ïðè âûïîëíåíèè êîòîðûõ ìîæíî íåçíà÷èòåëüíî âèäîèçìåíèòü îïèñàííûé ñïîñîá ðåêóððåíòíîãî ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ìíîæåñòâ fn g òàê, ÷òîáû îí ñòàë êîíå÷íî-ñõîäÿùèìñÿ.  Ïðè êàæäîì n = 1; 2; : : : ìíîæåñòâî f : (wn ; )  0g  âûïóêëîå.  Ñðåäè ðåøåíèé âñåõ ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ åñòü íåïóñòîé îòêðûòûé øàð, ò.å. ñóùåñòâóåò  2  è íåêîòîðîå Æ > 0, òàêîå, ÷òî äëÿ ëþáîãî n = 1; 2; : : : è ëþáîãî X : kX k2  Æ âûïîëíåíî óñëîâèå (wn ; X )  0. Ïðè âûïîëíåíèè ýòèõ óñëîâèé îïðåäåëèì ïîñëåäîâàòåëüíîñòè òî÷åê f^n g è ìíîæåñòâ fn g ïî ñëåäóþùåìó ïðàâèëó: ïðè n = 0 ïîëàãàåì

^0 2 ; 0 = ; ïðè n = 1; 2; : : : , åñëè (wn ; ^n 1 )  0, òî

^n = ^n 1 ; n = n 1 ; ^n

â ïðîòèâíîì ñëó÷àå â êà÷åñòâå ^n âûáèðàåì áëèæàéøèé ê 1 ýëåìåíò èç

\ f : (wn ; X )  0 8X : kX k2  Æg: Äëÿ ïîëó÷åííîé ïîñëåäîâàòåëüíîñòè èìååì 0  1  : : : : n = n

1

 ðåçóëüòàòå ïîñòðîåíèÿ ýòîé ïîñëåäîâàòåëüíîñòè ìíîæåñòâ ìîæåì ïîòåðÿòü íåêîòîðûå ðåøåíèÿ èñõîäíîé ñèñòåìû öåëåâûõ íåðàâåíñòâ, íî ïî êðàéíåé ìåðå îäíî èç íèõ, ðàâíîå  , ïðèíàäëåæèò âñåì ìíîæåñòâàì:  2 \n n . Ïåðâîå óñëîâèå ñóùåñòâåííî îãðàíè÷èâàåò êðóã çàäà÷, ðåøàåìûõ ñ ïîìîùüþ êîíå÷íî-ñõîäÿùåãîñÿ àëãîðèòìà, íî âî ìíîãèõ ïðàêòè÷åñêèõ 100

ïðèëîæåíèÿõ îíî âûïîëíÿåòñÿ. Âòîðîå óñëîâèå íå îãðàíè÷èòåëüíî è èìååò äîñòàòî÷íî åñòåñòâåííûé õàðàêòåð. Îñíîâíàÿ èäåÿ äîêàçàòåëüñòâà êîíå÷íîé ñõîäèìîñòè àëãîðèòìà çàêëþ÷àåòñÿ â ñëåäóþùåì. Ïðåäïîëîæèì, ÷òî ìíîæåñòâà n èçìåíÿþòñÿ áåñêîíå÷íîå ÷èñëî ðàç. Ïóñòü ýòè èçìåíåíèÿ ïðîèñõîäÿò â ìîìåíòû âðåìåíè, çàäàâàåìûå ïîñëåäîâàòåëüíîñòüþ fni g. Ðàññìîòðèì ÷èñëîâóþ ïîñëåäîâàòåëüíîñòü fdi g, îïðåäåëÿåìóþ ïî ïðàâèëó

di = k^ni

 k2 ;

ãäå i = 0; 1; 2; : : : : Èç ñïîñîáà ïîñòðîåíèÿ ïîäïîñëåäîâàòåëüíîñòè f^ni g ñëåäóåò, ÷òî äëÿ ýëåìåíòîâ ÷èñëîâîé ïîñëåäîâàòåëüíîñòè fdi g ïðè êàæäîì i = 0; 1; 2; : : : âûïîëíÿþòñÿ íåðàâåíñòâà di  di 1 Æ: Ïðîñóììèðîâàâ ýòè íåðàâåíñòâà

0  dN

N

ðàç

(N > 0), èìååì

 d0 ÆN:

Åñëè â ïîñëåäíåì íåðàâåíñòâå N > d0 =Æ , òî ïîëó÷àåì ïðîòèâîðå÷èå. Ñëåäîâàòåëüíî, êîëè÷åñòâî ïåðåêëþ÷åíèé ñ îäíîãî çíà÷åíèÿ ^i íà äðóãîå êîíå÷íî, à çíà÷èò, è ìíîæåñòâà â ïîñëåäîâàòåëüíîñòè fn g èçìåíÿþòñÿ òîëüêî êîíå÷íîå ÷èñëî ðàç. Èç ïîñëåäíåãî íåðàâåíñòâà ïðè îãðàíè÷åííîì èñõîäíîì ìíîæåñòâå  ìîæíî ïîëó÷èòü îöåíêó äëÿ ìàêñèìàëüíîãî ÷èñëà èçìåíåíèé ìíîæåñòâ â ÊÑÀ:

Nmax  diam()=Æ; çäåñü diam()  íàèáîëüøåå èç ðàññòîÿíèé ìåæäó äâóìÿ ïðîèçâîëüíûìè òî÷êàìè ìíîæåñòâà . Êîíêðåòíûé âèä ðåêóððåíòíûõ àëãîðèòìîâ äëÿ ðåøåíèÿ ðàçíîîáðàçíûõ öåëåâûõ íåðàâåíñòâ ñ îáîñíîâàíèåì èõ ñõîäèìîñòè ìîæíî íàéòè â [11, 58, 59, 72]. Äàëåå áóäåò ðàññìîòðåí ëèøü ÷àñòíûé, íî âàæíûé ñëó÷àé, îòíîñÿùèéñÿ ê ëèíåéíûì íåðàâåíñòâàì. 101

6.3. Àëãîðèòì "Ïîëîñêà" Hàèáîëåå ïðîñòîé âèä ôóíêöèè

(w; )  ëèíåéíûé:

'Tn  + n  0; n = 1; 2; : : : : Çäåñü 



wn = ' n ; n ãäå f'n g è fn g  íåêîòîðûå ïîñëåäîâàòåëüíîñòè âåêòîðîâ è ÷èñåë ñîîòâåòñòâåííî. Âîçìîæíûå ñïîñîáû ðåøåíèÿ òàêîé ñèñòåìû ëèíåéíûõ íåðàâåíñòâ ïåðâîíà÷àëüíî ðàññìàòðèâàëèñü â [60]. Î÷åâèäíî, ÷òî â ýòîé çàäà÷å ïåðâîå óñëîâèå ïîñòðîåíèÿ êîíå÷íî-ñõîäÿùåãîñÿ àëãîðèòìà, âûïîëíåíî. Âòîðîå óñëîâèå îçíà÷àåò, ÷òî ñóùåñòâóþò òàêèå âåêòîð  è Æ > 0, ÷òî

'Tn  + n  Æk'n k; ãäå n = 1; 2; : : : : ×àùå âñåãî â ïðèëîæåíèÿõ ê ëèíåéíûì ñèñòåìàì ñ îãðàíè÷åííûìè ïîìåõàìè âñòðå÷àåòñÿ ÷àñòíûé ñëó÷àé ðåêóððåíòíûõ ëèíåéíûõ íåðàâåíñòâ

j'Tn  + nj  "n; f"n g  íåêîòîðàÿ

çäåñü n = 1; 2; : : : è ïîñëåäîâàòåëüíîñòü ïîëîæèòåëüíûõ ÷èñåë.  ýòîì ñëó÷àå âòîðîå óñëîâèå ïîñòðîåíèÿ êîíå÷íî-ñõîäÿùåãîñÿ àëãîðèòìà îçíà÷àåò, ÷òî ñóùåñòâóþò ÷èñëà 0 < Æ < 1, 0 < "? è âåêòîð  (íå èçâåñòíûé), òàêèå, ÷òî ïðè n = 1; 2; : : : "n  "? k'n k; j'Tn  + nj  Æ"n :  ýòîì ñëó÷àå êàæäîå èç ðåêóððåíòíûõ íåðàâåíñòâ âûäåëÿåò â âåêòîðíîì ïðîñòðàíñòâå ïàðàìåòðîâ  îïðåäåëåííóþ ïîëîñó, 102

øèðèíîé íå ìåíåå 2"? . Âûïîëíåíèå ïîñëåäíåãî íåðàâåíñòâà ãàðàíòèðóåò, ÷òî âñå ýòè ïîëîñû âêëþ÷àþò â ñåáÿ íåêîòîðûé øàð ðàäèóñîì Æ , ñîäåðæàùèé  . Äëÿ ïîñëåäíåãî ñëó÷àå â [44, 59] ôîðìóëèðóåòñÿ áîëåå ïðîñòîé êîíå÷íî-ñõîäÿùèéñÿ àëãîðèòì ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè òî÷åê f^n g, ïðè èçìåíåíèè êîòîðûõ íàäî ïåðåñòðàèâàòü ñîîòâåòñòâóþùèå ìíîæåñòâà fn g, ñîäåðæàùèå  . Ïóñòü ^0 2  è 0 = . Åñëè j'Tn ^n 1 + nj  "n; òî

^n = ^n

1 è n

= n 1 ;

â ïðîòèâíîì ñëó÷àå

^n = ^n

1

n = n

'n 1

'Tn ^n 1 + n sgn('Tn ^n 1 + n )Æ"n ; k'nk2

\ f : 'Tn  + n  Æ"n g; n = 1; 2; : : : :

Ýòà ïðîöåäóðà íàçûâàåòñÿ àëãîðèòìîì "Ïîëîñêà". Åñëè èñõîäíîå ìíîæåñòâî ñîâïàäàåò ñî âñåì ïðîñòðàíñòâîì èëè ÿâëÿåòñÿ ìíîãîãðàííûì, òî ïîëó÷àþùèåñÿ ïî ñôîðìóëèðîâàííîìó àëãîðèòìó ìíîæåñòâà  òîæå ìíîãîãðàííèêè. Êàê óæå îòìå÷àëîñü, â íåêîòîðûõ àëãîðèòìàõ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïðè îãðàíè÷åííûõ ïîìåõàõ öåëåñîîáðàçíî èñïîëüçîâàòü îïåðàöèþ ïðîåêòèðîâàíèÿ íà ìíîæåñòâî, ñîîòâåòñòâóþùóþ ïîèñêó áëèæàéøåãî ýëåìåíòà. Êîíå÷íàÿ ñõîäèìîñòü àëãîðèòìà ïåðåñòðîåíèÿ ìíîæåñòâ n âàæíà ïî äâóì ïðè÷èíàì. Âî-ïåðâûõ, èíîãäà ïðè äîêàçàòåëüñòâå àñèìïòîòè÷åñêèõ ñâîéñòâ ïîâåäåíèÿ îöåíîê, ïîñòðîåííûõ ïî àëãîðèòìó ñ ïðîåêòèðîâàíèåì, âàæíî áûòü óâåðåííûìè, ÷òî, íà÷èíàÿ ñ íåêîòîðîãî ìîìåíòà, îãðàíè÷èâàþùåå âîçìîæíûå çíà÷åíèÿ ïàðàìåòðîâ ìíîæåñòâî íå ìåíÿåòñÿ. Âî-âòîðûõ, ïðè ïðàêòè÷åñêîé ðåàëèçàöèè àëãîðèòìà ïðîåêòèðîâàíèÿ íà ìíîãîãðàííîå ìíîæåñòâî íàäî èìåòü êîíñòðóêòèâíûé ñïîñîá îïèñàíèÿ 103

íàáîðà ïëîñêîñòåé, êîòîðûå åãî îãðàíè÷èâàþò. Ïðè áåñêîíå÷íîì êîëè÷åñòâå îãðàíè÷èâàþùèõ ïëîñêîñòåé òðóäíî ïðåäñòàâèòü ñåáå ðåàëüíûé ñïîñîá õðàíåíèÿ òàêîé èíôîðìàöèè. Ïðè ñâîåé êàæóùåéñÿ ïðîñòîòå, îïèñàííûé ñïîñîá âñå-òàêè èìååò ñóùåñòâåííûå òðóäíîñòè ïðè ðåàëèçàöèè íà ïðàêòèêå. Âî ìíîãèõ ñëó÷àÿõ èñïîëüçóþò áîëåå ïðîñòûå àëãîðèòìû, õîòÿ ïðè ýòîì òðóäíî äîêàçàòü èõ êîíå÷íóþ ñõîäèìîñòü. Åñëè àëãîðèòì ïðåäïîëàãàåòñÿ èñïîëüçîâàòü âìåñòå ñ äðóãèì, áîëåå ÷óòêèì, òî êîíå÷íóþ ñõîäèìîñòü àëãîðèòìà ìîæíî îáåñïå÷èòü ïðîñòûì ïðàêòè÷åñêèì óñëîâèåì: ïðåêðàòèòü êîððåêöèè ïîñëå çàðàíåå çàäàííîãî îïðåäåëåííîãî êîëè÷åñòâà øàãîâ. Hàèáîëåå óäîáíûì ñ òî÷êè çðåíèÿ îïåðàöèé ïðîåêòèðîâàíèÿ è õðàíåíèÿ èíôîðìàöèè ÿâëÿåòñÿ ïîñëåäîâàòåëüíîå ïîñòðîåíèå â ïðîñòðàíñòâå ïàðàìåòðîâ ïðÿìîóãîëüíèêîâ, ñîäåðæàùèõ íåêîòîðîå ðåøåíèå ñèñòåìû ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ.

6.4. Ìåòîä ýëëèïñîèäîâ Äðóãèì ïðèìåðîì àëãîðèòìà ïîñòðîåíèÿ ìíîæåñòâ, óäîáíûõ äëÿ âûïîëíåíèÿ îïåðàöèé ïðîåêòèðîâàíèÿ è õðàíåíèÿ íåîáõîäèìîé èíôîðìàöèè, ÿâëÿåòñÿ ìåòîä ýëëèïñîèäîâ (ñì. [21, 53]). Ðàññìîòðèì çàäà÷ó î ðåøåíèè ëèíåéíûõ ðåêóððåíòíûõ íåðàâåíñòâ 'Tn  + n  0; ãäå n = 1; 2; : : : : Ïðåäïîëîæèì, êàê è ðàíåå, ñóùåñòâîâàíèå òàêèõ âåêòîðà  è êîíñòàíòû Æ > 0, ÷òî ïðè n = 1; 2; : : :

'Tn  + n  Æk'n k: Hå óìàëÿÿ îáùíîñòè, áóäåì ñ÷èòàòü, ÷òî íà÷àëüíîå ìíîæåñòâî, ñîäåðæàùåå   ðåøåíèå ñèñòåìû ðåêóððåíòíûõ íåðàâåíñòâ, çàäàíî â âèäå ýëëèïñîèäà (èëè øàðà):

0 = f : ( ^0 )T R0 1 ( ^0 )  1g 104

ñ öåíòðîì â íåêîòîðîé òî÷êå ^0 è ñèììåòðè÷íîé ïîëîæèòåëüíî îïðåäåëåííîé ìàòðèöåé R0 . Ðàññìîòðèì ðåêóððåíòíûé àëãîðèòì ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ýëëèïñîèäîâ fn g:

n = f : (

^n )T Rn 1 ( ^n )  1g;

îïðåäåëÿåìûé ïîñëåäîâàòåëüíî ïåðåñ÷èòûâàåìûìè òî÷êàìè f^ng è ïîëîæèòåëüíî îïðåäåëåííûìè ìàòðèöàìè fRng. Ïðàâèëî èõ ïåðåñ÷åòà ñëåäóþùåå: ïðè n = 1; 2; : : : ; ^ ^ ^ åñëè 'T n n 1 + n  0, òî n = n 1 ; Rn = Rn 1 ; â ïðîòèâíîì ñëó÷àå

^n = ^n Rn =

r2

Rn 1 'n p ; (r + 1) 'Tn Rn 1 'n

1



r2 1

Rn

1

2 Rn 1 'n 'Tn RTn n + 1 'Tn Rn 1 'n

1



;

çäåñü r  ðàçìåðíîñòü ïðîñòðàíñòâà ïàðàìåòðîâ  . Äëÿ ìàêñèìàëüíî âîçìîæíîãî ÷èñëà êîððåêöèé ýëëèïñîèäîâ fn g ìîæíî ïîëó÷èòü îöåíêó ñâåðõó:

Nmax  r êîòîðàÿ ïðè áîëüøèõ

lnfk^0 k=Æg r 1 lnf(r + 1)(r2 1) 2 r

rg

;

r ïðèáëèçèòåëüíî ðàâíà

2r2 (1 + O(n 2 )) ln

k^0 k : Æ

Àëãîðèòì èìååò ïðîñòóþ ãåîìåòðè÷åñêóþ èíòåðïðåòàöèþ. Åñëè ïðåäûäóùàÿ îöåíêà ^n 1 íå óäîâëåòâîðÿåò î÷åðåäíîìó öåëåâîìó íåðàâåíñòâó, çàäàþùåìó íåêîòîðóþ ãèïåðïëîñêîñòü â ïðîñòðàíñòâå ïàðàìåòðîâ  , òî ïàðàëëåëüíî åé ÷åðåç öåíòð ïîñëåäíåãî èç ïîñòðîåííûõ ýëëèïñîèäîâ ïðîâîäèòñÿ ãèïåðïëîñêîñòü. Ýòà ãèïåðïëîñêîñòü äåëèò ýëëèïñîèä íà äâå ÷àñòè, 105

îäíà èç êîòîðûõ ñîäåðæèò òî÷êó  . Ïîñëå ýòîãî íîâûé ýëëèïñîèä ñòðîèòñÿ êàê íàèìåíüøèé ïî îáúåìó, ñîäåðæàùèé íóæíóþ ÷àñòü ïðåäûäóùåãî ýëëèïñîèäà. Ïðè ýòîì îêàçûâàåòñÿ, ÷òî îòíîøåíèå îáúåìîâ íîâîãî è ñòàðîãî ýëëèïñîèäîâ íå ïðåâîñõîäèò âåëè÷èíû

rr r 1 < 1: (r + 1)(r2 1) 2

106

Ï Ð È Ë Î Æ Å Í È Å.

ÍÅÊÎÒÎÐÛÅ ÍÅÎÁÕÎÄÈÌÛÅ ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÑÂÅÄÅÍÈß

Ï.1. Òåîðèÿ âåðîÿòíîñòåé Äëÿ áîëåå ãëóáîêîãî ïîíèìàíèÿ îñíîâ òåîðèè âåðîÿòíîñòåé è ìåòîäîâ îáðàáîòêè ñëó÷àéíûõ ïðîöåññîâ ñîâåòóåì ïðî÷èòàòü êíèãè [22, 55].  ýòîì ðàçäåëå ïðèâîäÿòñÿ îïðåäåëåíèÿ îñíîâíûõ ïîíÿòèé è ôîðìóëèðîâêè ðåçóëüòàòîâ, èñïîëüçóåìûõ â ïîñîáèè.

Ï.1.1. Ñëó÷àéíûå âåëè÷èíû Ïóñòü ( ; F )  íåêîòîðîå èçìåðèìîå ïðîñòðàíñòâî è (R; B(R))  ÷èñëîâàÿ ïðÿìàÿ ñ ñèñòåìîé áîðåëåâñêèõ ìíîæåñòâ B (R). Äåéñòâèòåëüíàÿ ôóíêöèÿ  =  (! ), îïðåäåëåííàÿ íà ( ; F ), íàçûâàåòñÿ F -èçìåðèìîé ôóíêöèåé èëè ñëó÷àéíîé âåëè÷èíîé, åñëè äëÿ ëþáîãî B 2 B (R)

f! : (!) 2 B g 2 F : Ïóñòü ( ; F ; P)  ïðîèçâîëüíîå âåðîÿòíîñòíîå ïðîñòðàíñòâî. Ìàòåìàòè÷åñêèì îæèäàíèåì Ef g ïðîèçâîëüíîé ñëó÷àéíîé âåëè÷èíû  íàçûâàåòñÿ èíòåãðàë Ëåáåãà îò F -èçìåðèìîé ôóíêöèè  =  (! ) ïî ìåðå P, äëÿ êîòîðîãî (íàðÿäó ñ Ef g) èñïîëüçóþòñÿ òàêæå ñëåäóþùèå îáîçíà÷åíèÿ: Z



èëè

 (!) Pfd!g Z



 dP: 107

Äèñïåðñèåé ñëó÷àéíîé âåëè÷èíû  íàçûâàåòñÿ âåëè÷èíà Ef g)2 g, ïðè ýòîì âåëè÷èíà  > 0 íàçûâàåòñÿ ñòàíäàðòíûì îòêëîíåíèåì. Ïóñòü  è   ïàðà ñëó÷àéíûõ âåëè÷èí. Èõ êîâàðèàöèåé íàçûâàåòñÿ âåëè÷èíà

2 = Ef(

covf; g = Ef(

Ef g)(

Efg)g:

Åñëè cov f;  g = 0, òî ãîâîðÿò, ÷òî ñëó÷àéíûå âåëè÷èíû  è  íå êîððåëèðîâàíû. Ðàñïðåäåëåíèåì ñëó÷àéíîé âåëè÷èíû  íà (R ; B (R)) íàçûâàåòñÿ âåðîÿòíîñòíàÿ ìåðà P (
) íà (R ; B (R)):

P (B ) = Pf! :  (!) 2 B g; B 2 B(R): Èç îïðåäåëåíèÿ ñëåäóåò, ÷òî

Ef g = Ôóíêöèÿ

Z

R

xP (d x):

P (x) = Pf! :  (!)  xg; x 2 R;

íàçûâàåòñÿ ôóíêöèåé ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  . Íåîòðèöàòåëüíàÿ ôóíêöèÿ p (
) íàçûâàåòñÿ ïëîòíîñòüþ ôóíêöèè ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  , åñëè

P (x) =

Z x

1

p (t)dt:

Ñëó÷àéíàÿ âåëè÷èíà  íàçûâàåòñÿ ãàóññîâñêîé (èëè íîðìàëüíî ðàñïðåäåëåííîé) ñ ïàðàìåòðàìè M è  2 (  N (M;  2 )), jM j < 1,  > 0, åñëè âûðàæåíèå äëÿ åå ïëîòíîñòè p (
) èìååò ñëåäóþùèé âèä:

p (x) =

p1 e 2

(x

M )2

2 2

: 108

Ñëó÷àéíûå âåëè÷èíû 1 ; : : : ; n íàçûâàþòñÿ íåçàâèñèìûìè (íåçàâèñèìûìè â ñîâîêóïíîñòè), åñëè äëÿ ëþáûõ B1 ; : : : ; Bn 2

B(R)

Pf1 2 B1 ; : : : ; n 2 Bng = Pf1 2 B1 g


Pfn 2 Bn g: Ïóñòü

 è   íåçàâèñèìûå ñëó÷àéíûå âåëè÷èíû ñ Efj jg < 1

Òîãäà

è Efj jg

< 1:

Efjjg < 1

è

Efg = Ef gEfg:

Ïîíÿòèå ñëó÷àéíàÿ âåëè÷èíà åñòåñòâåííûì îáðàçîì îáîáùàåòñÿ è íà âåêòîðíûé ñëó÷àé. Äëÿ ñëó÷àéíûõ âåêòîðîâ ïî àíàëîãèè ìîæíî îïðåäåëèòü ìàòåìàòè÷åñêîå îæèäàíèå, äèñïåðñèþ, ìàòðèöû êîâàðèàöèè, ðàñïðåäåëåíèå è ò.ï. Ñîâîêóïíîñòü ñëó÷àéíûõ âåëè÷èí X = f1 ; 2 ; : : :g íàçûâàþò ñëó÷àéíûì ïðîöåññîì ñ äèñêðåòíûì âðåìåíåì èëè ñëó÷àéíîé ïîñëåäîâàòåëüíîñòüþ. Äëÿ êàæäîãî ôèêñèðîâàííîãî ! 2 ïîñëåäîâàòåëüíîñòü fn (!)g íàçûâàåòñÿ ðåàëèçàöèåé èëè òðàåêòîðèåé ïðîöåññà, ñîîòâåòñòâóþùåé èñõîäó ! .

Ï.1.2

Íåêîòîðûå íåðàâåíñòâà äëÿ ñëó÷àéíûõ âåëè÷èí

Íåðàâåíñòâî ×åáûøåâà [55, ñ. 209]. Ïóñòü   íåîòðèöàòåëüíàÿ ñëó÷àéíàÿ âåëè÷èíà. Òîãäà äëÿ âñÿêîãî " > 0 Pf  "g 

Ef g : "

Íåðàâåíñòâî Èåíñåíà [55, ñ. 209]. Ïóñòü g(x)  âûïóê-

ëàÿ ôóíêöèÿ, à



 ñëó÷àéíàÿ âåëè÷èíà ñ

Ef g < 1.

Òîãäà

g(Ef g)  Efg( )g: 109

Íåðàâåíñòâî Ãåëüäåðà [55, ñ. 210] Ïóñòü 1 < p
0; n0

(1 i ):

0 c âåðîÿòíîñòüþ

0 P EfV (^0 )g + 1 n n : PfV (^n )  " 8n  n0 g  1 "

Åñëè, êðîìå òîãî, limn!1 0n   > 1, òî äëÿ âñÿêîãî íàéäåòñÿ òàêîå C = C (K; EfV (^0 )g), ÷òî (

P V (^n )  (C + K ) à åñëè 0n (

i=0

  > 1 äëÿ âñåõ n, 

)

n Y

K>0

 1 KC ;

(1 i ) 8n

òî

P V (^n )  K + EfV (^0 )g + 1

0

n Y



i=0

(1 i ) 8n

)



^  1 EfVK(0)g K (0 1) :

120

ÒÅÐÌÈÍÎËÎÃÈ×ÅÑÊÈÉ ÓÊÀÇÀÒÅËÜ

Aëãîðèòì

êîíå÷íî-ñõîäÿùèéñÿ 99  îïòèìèçàöèè 6  îöåíèâàíèÿ 7  "Ïîëîñêà" 103  ïñåâäîãðàäèåíòíûé 68  ðàíäîìèçèðîâàííûé 29  ðîáàñòíûé 77  ñ îãðàíè÷åíèÿìè 77  ñ ïðîåêöèåé 77  ñ óñðåäíåíèåì 75  ñëó÷àéíîãî ïîèñêà 8, 16, 80  ñòîõàñòè÷åñêîé àïïðîêñèìàöèè 61    ïàññèâíîé 73    ïîèñêîâûé 69    ðàíäîìèçèðîâàííûé 69    ñ âîçìóùåíèåì íà âõîäå 70    ñ íàïðàâëåíèÿìè ñëó÷àéíûìè 69     ôèêñèðîâàííûìè 68  SPSA 69

Áàéåñîâñêèé

ïîäõîä 85

Båêòîð

ñëó÷àéíûé 109   ñòðîãî îðòîãîíàëüíûé 35 Âåëè÷èíà ðàáî÷åãî øàãà 61  ñëó÷àéíàÿ 107   ãàóññîâñêàÿ 35 Âîçìóùåíèå ïðîáíîå îäíîâðåìåííîå 68 Âûáîðêà ïîñëîéíàÿ 75 Äèñïåðñèÿ Çàêîí

108

áîëüøèõ ÷èñåë 110  óñèëåííûé 111

Èíòåðïîëÿöèÿ Êîâàðèàöèÿ

48

108

Êîýôôèöèåíò âåñîâîé 39  óñèëåíèÿ êàëìàíîâñêèé 57 Ëèíèÿ

ðåãðåññèè 34 Ëîãàðèôì ïðàâäîïîäîáèÿ 23, 90 Ìàòåìàòè÷åñêîå

îæèäàíèå 107 Ìàòðèöà èíôîðìàöèîííàÿ Ôèøåðà 94 Ìåäèàíà 86, 92 Ìåòîä ãðàäèåíòíûé 8  ÂèíåðàÊîëìîãîðîâà 47  èòåðàòèâíûé 7  Ëÿïóíîâà 118  ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ 23, 91  íàèìåíüøèõ êâàäðàòîâ 6, 10, 37    ìîäèôèöèðîâàííûé 45     ðåêóððåíòíûé 45      îáîáùåííûé 44  ÌîíòåÊàðëî 83  Íüþòîíà 63  ðåêóððåíòíûé 7  ñëó÷àéíîãî ïîèñêà 80  ñòîõàñòè÷åñêîé àïïðîêñèìàöèè 61  ýëëèïñîèäîâ 104  ýìïèðè÷åñêîãî ôóíêöèîíàëà 84 Ìîäà 86 Ìîäåëü àâòîðåãðåññèè 42   ñêîëüçÿùåãî ñðåäíåãî 42  ëèíåéíîé ðåãðåññèè 34  ðåãðåññèè 33  ñêîëüçÿùåãî ñðåäíåãî 42 Íåçàâèñèìîñòü

109 Íåêîððåëèðîâàííîñòü 108 Íåðàâåíñòâî Ãåëüäåðà 110  Èåíñåíà 110

121

   

ÊðàìåðàÐàî 94 ×åáûøåâà 109 öåëåâîå 99  ðåêóððåíòíîå 100

Îïòèìèçàöèÿ

7 Îòêëîíåíèå ñòàíäàðòíîå 108 Îöåíèâàíèå 6 Îöåíêà áàéåñîâñêàÿ 85, 88  ëèíåéíàÿ 37  ìàðêîâñêàÿ 39  ÌÌÏ 91  ÌÍÊ 37   îáîáùåííîãî 38   ðåêóððåíòíîãî 44    ìîäèôèöèðîâàííîãî 45    îáîáùåííîãî 44    ðàíäîìèçèðîâàííîãî 46  íåñìåùåííàÿ 37  ñèëüíîñîñòîÿòåëüíàÿ 37  ñîñòîÿòåëüíàÿ 37  óñå÷åííàÿ 76  óñðåäíåííàÿ 75  ýôôåêòèâíûå 95 Îøèáêà îöåíèâàíèÿ 37 Ïëîòíîñòü

àïîñòåðèîðíàÿ 87  àïðèîðíàÿ 87  ñïåêòðàëüíàÿ 112  ôóíêöèè ðàñïðåäåëåíèÿ 108 Ïîãðåøíîñòü 6  ñèñòåìàòè÷åñêàÿ 5  ñòàòèñòè÷åñêàÿ 5 Ïîìåõà íåçàâèñèìàÿ 22  ïî÷òè ïðîèçâîëüíàÿ 41, 97  öåíòðèðîâàííàÿ 22 Ïîðîãîâîå çíà÷åíèå 26 Ïîñëåäîâàòåëüíîñòü ñëó÷àéíàÿ 109 Ïðîáíîå îäíîâðåìåííîå âîçìóùåíèå 29, 68 Ïðîãíîç 48 Ïðîöåäóðà ÊèôåðàÂîëüôîâèöà 8, 67  ÐîááèíñàÌîíðî 8, 64 Ïðîöåññ ñòàöèîíàðíûé 111  ñòàöèîíàðíî ñâÿçàííûé 112

 íîðìàëüíîå 108 Ðåàëèçàöèÿ 109 Ðåãðåññèÿ 34 Ðåøàùåå ïðàâèëî 26 Ñåïàðàöèÿ

50 Ñèãíàë ïîëåçíûé 21 Ñóáãðàäèåíò 79 Òåîðåìà

ÃàóññàÌàðêîâà 39 Òðàåêòîðèÿ 109 Óðàâíåíèå

ÂèíåðàÕîïôà 55  ðåãðåññèè 61 Óñëîâèå Ãåëüäåðà 118  ïîñòîÿííîãî âîçáóæäåíèÿ 45  ïñåâäîãðàäèåíòíîñòè 118 Óñëîâíîå ñðåäíåå 86 Óñðåäíåíèå ñ âåñàìè 24 Ôàêòîðèçàöèÿ

49, 115 Ôèëüòð ÂèíåðàÊîëìîãîðîâà 12, 50  ÊàëìàíàÁüþñè 14, 47, 57  ëèíåéíûé 48 Ôèëüòðàöèÿ 48  îïòèìàëüíàÿ 47 Ôîðìóëà Áàéåñà 86 Ôóíêöèîíàë êà÷åñòâà 7  ñðåäíåãî ðèñêà 7, 29  ýìïèðè÷åñêèé 38, 84 Ôóíêöèÿ âåñîâàÿ ôèëüòðà 48  Ëÿïóíîâà 118  ïåðåäàòî÷íàÿ ôèëüòðà 48  ïîòåðü 7, 29  ïðàâäîïîäîáèÿ 23, 90  ðàñïðåäåëåíèÿ 108  ðåãðåññèè 7  ñïåêòðàëüíàÿ 112  ñðåäíèõ ïîòåðü 30  óñòîé÷èâàÿ 48  öåëåâàÿ 7  øòðàôíàÿ 30 Ýêñòðàïîëÿöèÿ

48

Ðàñïðåäåëåíèå

108  ãàóññîâñêîå 108

122

ÓÊÀÇÀÒÅËÜ ËÈÒÅÐÀÒÓÐÛ

1. Àëáåðò À. Ðåãðåññèÿ, ïñåâäîèíâåðñèÿ è ðåêóððåíòíîå îöåíèâàíèå. Ì.: Íàóêà, 1977. 223 ñ. 2. Áðàììåð Ê., Çèôôëèíã Ã. Ôèëüòð ÊàëìàíàÁüþñè: äåòåðìèíèðîâàííûå íàáëþäåíèÿ è ñòîõàñòè÷åñêàÿ ôèëüòðàöèÿ. Ì.: Íàóêà, 1982. 199 ñ. 3. Âàçàí Ì. Ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ. Ì.: Ìèð, 1972. 295 ñ. 4. Âàïíèê Â.Í. Âîññòàíîâëåíèå çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì. Ì.: Íàóêà, 1979. 447 ñ. 5. Âèíåð Í. Êèáåðíåòèêà, èëè óïðàâëåíèå è ñâÿçü â æèâîòíîì è ìàøèíå. Ì.: Íàóêà, 1983. 344 ñ. 6. Ãðàíè÷èí Î.Í. Îá îäíîé ñòîõàñòè÷åñêîé ðåêóððåíòíîé ïðîöåäóðå ïðè çàâèñèìûõ ïîìåõàõ â íàáëþäåíèè, èñïîëüçóþùåé íà âõîäå ïðîáíûå âîçìóùåíèÿ // Âåñòíèê Ëåíèíãð. óíòà Ñåð. 1. 1989. Âûï. 1. Ñ. 1921. 7. Ãðàíè÷èí Î.Í. Îöåíèâàíèå ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïðè ïðîèçâîëüíûõ ïîìåõàõ // Àâòîìàòèêà è òåëåìåõàíèêà. 2002. No. 1. Ñ. 3041. 8. Ãðàíè÷èí Î.Í. Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïðè ïðîèçâîëüíûõ ïîìåõàõ // Àâòîìàòèêà è òåëåìåõàíèêà. 2002. No. 2. Ñ. 4455.

123

9. Ãðàíè÷èí Î.Í. Íåìèíèìàêñíàÿ ôèëüòðàöèÿ ïðè íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõàõ â íàáëþäåíèÿõ // Àâòîìàòèêà è òåëåìåõàíèêà. 2002. No. 9. Ñ. 125133. 10. Ãðàíè÷èí Î.Í., Ïîëÿê Á.Ò. Ðàíäîìèçèðîâàííûå àëãîðèòìû îïòèìèçàöèè è îöåíèâàíèÿ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ. Ì.: Hàóêà.  ïå÷àòè. 11. Åðåìèí È.È. Èòåðàòèâíûé ìåòîä äëÿ ÷åáûøåâñêèõ ïðèáëèæåíèé íåñîâìåñòíûõ ñèñòåì ëèíåéíûõ íåðàâåíñòâ // Äîêëàäû ÀÍ ÑÑÑÐ. 1962. Ò. 143, No. 6. Ñ. 12541256. 12. Åðìàêîâ Ñ.Ì. Ìåòîä ÌîíòåÊàðëî è ñìåæíûå âîïðîñû. Ì.: Hàóêà, 1975. 471 c. 13. Åðìàêîâ Ñ.Ì., Æèãëÿâñêèé À.À. Ìàòåìàòè÷åñêàÿ òåîðèÿ îïòèìàëüíîãî ýêñïåðèìåíòà. Ì.: Hàóêà, 1987. 320 c. 14. Åðìîëüåâ Þ.Ì. Ìåòîäû ñòîõàñòè÷åñêîãî ïðîãðàììèðîâàíèÿ. Ì.: Íàóêà. 1976. 239 ñ. 15. Æèëèíñêàñ À. Ãëîáàëüíàÿ îïòèìèçàöèÿ. Ìîêñëàñ, 1986. 165 ñ.

Âèëüíþñ:

16. Êàëìàí Ð.Å., Áüþñè Ð.Ñ. Íîâûå ðåçóëüòàòû â ëèíåéíîé ôèëüòðàöèè è òåîðèè ïðåäñêàçàíèÿ // Òðóäû àìåðèêàíñêîãî îáùåñòâà èíæåíåðîâ-ìåõàíèêîâ. Òåõíè÷åñêàÿ ìåõàíèêà. Ñåð. Ä. 1961. Ò. 83, No 1. Ñ. 123141. 17. Êàòêîâíèê Â.ß. Ëèíåéíûå îöåíêè è ñòîõàñòè÷åñêèå çàäà÷è îïòèìèçàöèè. Ì.: Hàóêà, 1976. 487 ñ. 18. Êîëìîãîðîâ À.Í. Èíòåðïîëèðîâàíèå è ýêñòðàïîëèðîâàíèå ñòàöèîíàðíûõ ñëó÷àéíûõ ïîñëåäîâàòåëüíîñòåé // Èçâåñòèÿ ÀÍ ÑÑÑÐ. Ñåð. ìàòåì. 1941. No. 5. Ñ. 314. 19. Êîòåëüíèêîâ Â.À. Òåîðèÿ ïîòåíöèàëüíîé ïîìåõîóñòîé÷èâîñòè. Ì.: Ãîñýíåðãîèçäàò, 1956. 151 ñ. 124

20. Êðàñóëèíà Ò.Ï., Î âåðîÿòíîñòè íåïðåâûøåíèÿ èñêîìîãî ïîðîãà àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1998. No. 10. Ñ. 9094. 21. Êóðæàíñêèé À.Á. Óïðàâëåíèå è íàáëþäåíèÿ â óñëîâèÿõ íåîïðåäåëåííîñòè. Ì.: Hàóêà, 1977. 392 c. 22. Ëèïöåð Ð.Ø., Øèðÿåâ À.Í. Ñòàòèñòèêà ñëó÷àéíûõ ïðîöåññîâ. Ì.: Hàóêà, 1974. 696 c. 23. Ëüþíã Ë., Ñåäåðñòðåì T. Èäåíòèôèêàöèÿ ñèñòåì: òåîðèÿ äëÿ ïîëüçîâàòåëÿ. Ì.: Hàóêà, 1991. 431 ñ. 24. Ìàðêîâ À.À. Èñ÷èñëåíèå âåðîÿòíîñòåé. Ì.: ÃÈÇ, 1924. 25. Ìèõàëåâè÷ Â.Ñ., Ãóïàë À.Ì., Íîðêèí Â.È. Ìåòîäû íåâûïóêëîé îïòèìèçàöèè. Ì.: Íàóêà, 1987. 279 ñ. 26. Íàçèí À.Â.,Ïîëÿê Á.T., Öûáàêîâ À.Á. Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ // Àâòîìàòèêà è òåëåìåõàíèêà. 1989. No 11. Ñ. 127134. 27. Íàçèí À.Â., Ïîçíÿê À.Ñ. Àäàïòèâíûé âûáîð âàðèàíòîâ: ðåêóððåíòíûå àëãîðèòìû. Ì.: Íàóêà, 1986. 288 ñ. 28. Íåâåëüñîí Ì.Á., Õàñüìèíñêèé Ð.Ç. Ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ è ðåêóððåíòíîå îöåíèâàíèå. Ì.: Íàóêà, 1972. 304 ñ. 29. Ïîëÿê Á.T., Öûïêèí ß.Ç. Ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè è îáó÷åíèÿ // Àâòîìàòèêà è òåëåìåõàíèêà. 1973. No. 3. Ñ. 4568. 30. Ïîëÿê Á.T. Ñõîäèìîñòü è ñêîðîñòü ñõîäèìîñòè èòåðàòèâíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ. 1. Îáùèé ñëó÷àé // Àâòîìàòèêà è òåëåìåõàíèêà. 1976. No. 12. Ñ. 8394.

125

31. Ïîëÿê Á.T. Ñõîäèìîñòü è ñêîðîñòü ñõîäèìîñòè èòåðàòèâíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ. 2. Ëèíåéíûé ñëó÷àé // Àâòîìàòèêà è òåëåìåõàíèêà. 1977. No 4. Ñ. 101 107. 32. Ïîëÿê Á.T., Öûïêèí ß.Ç. Îïòèìàëüíûå ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1980. No. 8. Ñ. 7484. 33. Ïîëÿê Á.T., Öûïêèí ß.Ç. Ðîáàñòíûå ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1980. No 10. Ñ. 9197. 34. Ïîëÿê Á.Ò. Ââåäåíèå â îïòèìèçàöèþ. Ì.: Hàóêà, 1983. 384 ñ. 35. Ïîëÿê Á.Ò., Öûáàêîâ À.Á. Îïòèìàëüíûå ïîðÿäêè òî÷íîñòè ïîèñêîâûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Ïðîáëåìû ïåðåäà÷è èíôîðìàöèè. 1990. No. 2. Ñ. 4553. 36. Ïîëÿê Á.Ò. Hîâûé ìåòîä òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Àâòîìàòèêà è òåëåìåõàíèêà. 1990. No 7. Ñ. 98108. 37. Ïîëÿê Á.Ò., Ùåðáàêîâ Ï.Ñ. Ðîáàñòíàÿ óñòîé÷èâîñòü è óïðàâëåíèå. Ì.: Hàóêà, 2002. 303 ñ. 38. Ðàñòðèãèí Ë.À. Ñòàòèñòè÷åñêèå ìåòîäû ïîèñêà. Ì.: Íàóêà, 1968. 376 ñ. 39. Ðàñòðèãèí Ë.À. Àäàïòàöèÿ ñëîæíûõ ñèñòåì. Çèíàòíå, 1981. 386 c..

Ðèãà:

40. Ñðàãîâè÷ Â.Ã. Àäàïòèâíîå óïðàâëåíèå. Ì.: Íàóêà, 1981. 384 c.

126

41. Ñòðàòîíîâè÷ À.Ë. Óñëîâíûå ìàðêîâñêèå ïðîöåññû è èõ ïðèìåíåíèå ê òåîðèè îïòèìàëüíîãî óïðàâëåíèÿ. Ì.: Èçäâî Ìîñêîâñê. óíòà, 1966. 319 c. 42. Óðÿñüåâ Ñ.Ï. Àäàïòèâíûå àëãîðèòìû ñòîõàñòè÷åñêîé îïòèìèçàöèè è òåîðèè èãð. Ì.: Hàóêà, 1990. 182 c. 43. Ôåëüäáàóì À.À. Î ïðîáëåìàõ äóàëüíîãî óïðàâëåíèÿ // Ìåòîäû îïòèìèçàöèè àâòîìàòè÷åñêèõ ñèñòåì. Ì.: Hàóêà, 1972. Ñ. 89108. 44. Ôîìèí Â.Í., Ôðàäêîâ À.Ë., ßêóáîâè÷ Â.À. Àäàïòèâíîå óïðàâëåíèå äèíàìè÷åñêèìè îáúåêòàìè. Ì.: Íàóêà, 1981. 448 c. 45. Ôîìèí Â.Í. Ðåêóððåíòíîå îöåíèâàíèå è àäàïòèâíàÿ ôèëüòðàöèÿ. Ì.: Íàóêà, 1984. 288 ñ. 46. Ôîìèí Â.Í. Ìåòîäû óïðàâëåíèÿ ëèíåéíûìè äèñêðåòíûìè îáúåêòàìè. Ë.: Èçä-âî Ëåíèíãð. óí-òà, 1985. 336 c. 47. Ôîìèí Â.Í. Îïåðàòîðíûå ìåòîäû òåîðèè ëèíåéíîé ôèëüòðàöèè ñëó÷àéíûõ ïðîöåññîâ. ÑÏá.: Èçäâî Ñ.Ïåòåðá. óí-òà, 1996. 306 ñ. 48. Ôîìèí Â.Í. Îïòèìàëüíàÿ è àäàïòèâíàÿ ôèëüòðàöèÿ. Ñ.-Ïá.: Èçäâî Ñ.-Ïåòåðá. óí-òà.  ïå÷àòè. 49. Öûïêèí ß.Ç. Àäàïòàöèÿ è îáó÷åíèå â àâòîìàòè÷åñêèõ ñèñòåìàõ. Ì.: Hàóêà, 1968. 400 ñ. 50. Öûïêèí ß.Ç. Îñíîâû òåîðèè îáó÷àþùèõñÿ ñèñòåì. Ì.: Hàóêà, 1970. 252 ñ. 51. Öûïêèí ß.Ç. Îñíîâû èíôîðìàöèîííîé òåîðèè èäåíòèôèêàöèè. Ì.: Hàóêà, 1984. 320 c. 127

52. Öûïêèí ß.Ç. Èíôîðìàöèîííàÿ òåîðèÿ èäåíòèôèêàöèè. Ì.: Hàóêà, 1995. 336 c. 53. ×åðíîóñüêî Ô.Ë. Îöåíèâàíèå ôàçîâîãî ñîñòîÿíèÿ äèíàìè÷åñêèõ ñèñòåì: ìåòîä ýëëèïñîèäîâ. Ì.: Íàóêà, 1988. 319 ñ. 54. Øèëüìàí Ñ.Â. Àäàïòèâíàÿ ôèëüòðàöèÿ âðåìåííûõ ðÿäîâ. Í.Íîâãîðîä: Èçäâî Í.-Íîâã. óí-òà, 1995. 180 ñ. 55. Øèðÿåâ À.Í. Âåðîÿòíîñòü. Ì.: Íàóêà, 1980. 574 ñ. 56. Ýéêõîôô Ï. Îñíîâû èäåíòèôèêàöèè ñèñòåì óïðàâëåíèÿ. Ì.: Ìèð, 1975. 683 ñ. 57. Ýëüÿñáåðã Ï.Å. Îïðåäåëåíèå äâèæåíèÿ ïî ðåçóëüòàòàì èçìåðåíèé. Ì.: Íàóêà, 1976. 416 ñ. 58. ßêóáîâè÷ Â.À. Ðåêóððåíòíûå êîíå÷íî-ñõîäÿùèåñÿ àëãîðèòìû ðåøåíèÿ ñèñòåì íåðàâåíñòâ // Äîêëàäû ÀÍ ÑÑÑÐ. 1966. Ò. 166, No. 6. Ñ. 13081311. 59. ßêóáîâè÷ Â.À. Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ â òåîðèè àäàïòèâíûõ ñèñòåì // Âîïðîñû êèáåðíåòèêè. Àäàïòèâíûå ñèñòåìû. Ì.: Íàó÷í. ñîâ. ïî êèáåðíåòèêå ÀÍ ÑÑÑÐ, 1976. Ñ. 3263. 60. Agmon S., Motzkin T., Shoenberg I.J. The relaxation method for linear inequalities // Canadian J. Math. 1954. Vol. 6. P. 382404. 61. Blum J.R. Multidimensional stochastic appoximation // Ann. Math. Statist. 1954. Vol. 9. P. 737744. 62. Bode H.W., Shannon C.E. A simplified derivation of linear least square smoothing and prediction theory // Proc. IRE. 1950. N 38. P. 417425. 128

63. Chen H.F., Duncan T.E., PasikDuncan B. A Kiefer Wolfowitz algorithm with randomized differences // IEEE Trans. on Automatic Control. 1999. Vol. 44, N 3. P. 442 453. 64. Fabian V. Stochastic approximation of minima with improved asymptotic speed // Ann. Math. Statist. 1967. Vol. 38. P. 191200. 65. Fisher R.A. The design of experiments. Edinburgh: Oliver and Boyd, 1935. 66. Goldenshluger A.V., Polyak B.T. Estimation of regression parameters with arbitrary noise // Mathem. Methods Statist. 1993. Vol. 2, N 1. P. 1829. 67. Guo L. Selfconvergence of weighted leastsquares with applications to stochastic adaptive control // IEEE Trans. on Automatic Control. 1996. Vol. 41, N 1. P. 7989. 68. Kiefer J., Wolfowitz J. Statistical estimation on the maximum of a regression function // Ann. Math. Statist. 1952. Vol. 23. P. 462466. 69. Kushner H.J., Yin G.G. Stochastic approximation algorithms and applications. New York: SpringerVerlag, 1997. 415 p. 70. Ljung L., Guo L. The role of model validation for assessing the size of the unmodeled dynamics // IEEE Trans. on Automatic Control. 1997. Vol. 42, N 9. P. 12301239. 71. Polyak Â.Ò., Yuditskij A.Â. Acceleration of stochastic approximation procedures by averaging // SIAM J. Contr. Optim. 1992. Vol. 30, N 4. P. 838855. 72. Polyak Â.Ò. Random algorithms for solving convex inequalities // Inherently parallel algorithms in feasibility and 129

optimization and their applications. / Eds.: D. Butnaru, Y. Censor and S. Reich. Elsevier, 2001. P. 409422. 73. Robbins H., Monro S. A stochastic approximation method // Ann. Math. Statist. 1951. Vol. 22. P. 400407. 74. Robbins H., Siegmund D. A convergence theorem for nonnegative almost supermartingales and some applications // Optimizing methods in statistics. / Ed. J.S. Rustagi. New York: Academic Press, 1971. P. 233257. 75. Schweppe F.C. Uncertain dynamic systems. New York London: PrenticHall, 1973. 563 p. 76. Spall J.C. Multivariate stochastic approximation using a simultaneous perturbation gradient approximation // IEEE Trans. on Automatic Control. 1992. Vol. 37. P. 332341. 77. Vidyasagar M. Statistical learning theory and randomized algorithms for control // IEEE Control Systems. 1998. N 12. P. 6985. 78. Weiner N. The extrapolation, interpolation and smoothing of stationary time series with engineering application. New York: Technology Press and Wiley, 1949.

Ó÷åáíîå èçäàíèå Îëåã Íèêîëàåâè÷ Ãðàíè÷èí

Ââåäåíèå â ìåòîäû ñòîõàñòè÷åñêîé îïòèìèçàöèè è îöåíèâàíèÿ

Ó÷åáíîå ïîñîáèå

Ðåäàêòîð Ò.Â. Ìûçíèêîâà Êîìïüþòåðíàÿ âåðñòêà Î.Í. Ãðàíè÷èí Õóäîæåñòâåííûé ðåäàêòîð Å.È. Åãîðîâà Èçäàíèå ïîäãîòîâëåíî â MiKTEX 2.0