ÌÈÍÈÑÒÅÐÑÒÂÎ ÎÁÐÀÇÎÂÀÍÈß ÐÎÑÑÈÉÑÊÎÉ ÔÅÄÅÐÀÖÈÈ
Ñàíêò-Ïåòåðáóðãñêèé ãîñóäàðñòâåííûé óíèâåðñèòåò àýðîêîñìè÷åñêîãî ïðèáîðîñ...
7 downloads
158 Views
399KB Size
Report
This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form
ÌÈÍÈÑÒÅÐÑÒÂÎ ÎÁÐÀÇÎÂÀÍÈß ÐÎÑÑÈÉÑÊÎÉ ÔÅÄÅÐÀÖÈÈ
Ñàíêò-Ïåòåðáóðãñêèé ãîñóäàðñòâåííûé óíèâåðñèòåò àýðîêîñìè÷åñêîãî ïðèáîðîñòðîåíèÿ
Ñ. Í. Âîðîáüåâ, Ë. À. Îñèïîâ
ÐÅÃÐÅÑÑÈÎÍÍÛÉ ÀÍÀËÈÇ Ó÷åáíî-ìåòîäè÷åñêîå ïîñîáèå
Ñàíêò-Ïåòåðáóðã 2000
ÓÄÊ 519.2(075) ÁÁÊ 22.172 Â75
Âîðîáüåâ Ñ. Í., Îñèïîâ Ë. À.
Â75 Ðåãðåññèîííûé àíàëèç: Ó÷åá.-ìåòîä. ïîñîáèå / ÑÏáÃÓÀÏ. ÑÏá., 2000. 66 ñ.
Ìåòîäû ïðèêëàäíîé ñòàòèñòèêè, èçó÷àþùèåñÿ â äèñöèïëèíàõ ''Ñòàòè-
ñòè÷åñêàÿ îáðàáîòêà ñèãíàëîâ", "Ñèñòåìíûé àíàëèç", ìåòîä íàèìåíüøèõ êâàäðàòîâ, êðèòåðèè ïðîâåðêè ëèíåéíûõ ãèïîòåç, äèñïåðñèîííûé àíàëèç, ñòàòèñòè÷åñêàÿ ðåãðåññèÿ, ëèíåéíîå ïðîãíîçèðîâàíèå èçëàãàþòñÿ ñ åäèíûõ íàó÷íî-ìåòîäè÷åñêèõ ïîçèöèé ëèíåéíîãî ðåãðåññèîííîãî àíàëèçà. Ïðåäíàçíà÷åíî äëÿ ñòóäåíòîâ ñïåöèàëüíîñòè "Âû÷èñëèòåëüíûå ìàøèíû, êîìïëåêñû, ñèñòåìû è ñåòè".
Ðåöåíçåíòû: êàôåäðà àâòîìàòèêè è ïðîöåññîâ óïðàâëåíèÿ Ñàíêò-Ïåòåðáóðãñêîãî ãîñóäàðñòâåííîãî ýëåêòðîòåõíè÷åñêîãî óíèâåðñèòåòà "ËÝÒÈ èì. Â. È. Óëüÿíîâà-Ëåíèíà"; êàíäèäàò òåõíè÷åñêèõ íàóê äîöåíò Í. À. Ìóñòàôèí
Óòâåðæäåíî ðåäàêöèîííî-èçäàòåëüñêèì ñîâåòîì óíèâåðñèòåòà â êà÷åñòâå ó÷åáíî-ìåòîäè÷åñêîãî ïîñîáèÿ
© ÑÏáÃÓÀÏ, 2000 © Ñ. Í. Âîðîáüåâ, 2000
2
Ë. À. Îñèïîâ,
ÂÂÅÄÅÍÈÅ Ñîâðåìåííîå ñîñòîÿíèå âû÷èñëèòåëüíîé òåõíèêè è åå ïðîãðàììíîãî îáåñïå÷åíèÿ ïîçâîëÿåò èíæåíåðó ñàìîñòîÿòåëüíî ðåøàòü çàäà÷è, äîñòóïíûå â íåäàëåêîì ïðîøëîì ëèøü öåëûì êîëëåêòèâàì, îáðàáàòûâàòü áîëüøèå ìàññèâû äàííûõ. Ïîäîáíûå çàäà÷è èìåþò ïðàêòè÷åñêîå çíà÷åíèå â ðàçëè÷íûõ îáëàñòÿõ è õîðîøî îáîñíîâàíû òåîðåòè÷åñêè â ìíîãîìåðíîé ìàòåìàòè÷åñêîé ñòàòèñòèêå. Ïîäãîòîâêà ïî ñïåöèàëüíîñòè "Âû÷èñëèòåëüíûå ìàøèíû, êîìïëåêñû, ñèñòåìû è ñåòè" ïðåäóñìàòðèâàåò çíàíèå ìåòîäîâ ñòàòèñòè÷åñêîé îáðàáîòêè ìàññèâîâ è óìåíèå èõ ïðèìåíÿòü â ëþáîé ñôåðå îò áèçíåñà è ýêîíîìèêè äî íàó÷íîïðèêëàäíûõ èññëåäîâàíèé. Èçó÷åíèå ðàçäåëà ''Ðåãðåññèîííûé àíàëèç'' äèñöèïëèí ''Ñòàòèñòè÷åñêàÿ îáðàáîòêà ñèãíàëîâ'' è ''Ñèñòåìíûé àíàëèç'' áàçèðóåòñÿ íà çíàíèè òåîðèè âåðîÿòíîñòåé, ñëó÷àéíûõ ïðîöåññîâ, ïðîâåðêè ñòàòèñòè÷åñêèõ ãèïîòåç è îöåíèâàíèÿ.  ïîñîáèè ðàññìàòðèâàåòñÿ ëèíåéíûé ðåãðåññèîííûé àíàëèç, îáúåäèíÿþùèé øèðîêî ðàñïðîñòðàíåííûå ñòàòèñòè÷åñêèå ìåòîäû: ìåòîä íàèìåíüøèõ êâàäðàòîâ, ëèíåéíûå ìîäåëè è êðèòåðèè ïðîâåðêè ëèíåéíûõ ãèïîòåç, äèñïåðñèîííûé àíàëèç, ëèíåéíîå ïðîãíîçèðîâàíèå. Íà ïðàêòèêå ýòè ìåòîäû ìîãóò ïðèìåíÿòüñÿ äëÿ àïïðîêñèìàöèè íàáëþäåíèé, ïîñòðîåíèÿ ìîäåëåé äèñêðåòíûõ ñèñòåì, èññëåäîâàíèÿ çàâèñèìîñòåé ìåæäó íàáëþäåíèÿìè, ïðåäñêàçàíèÿ çíà÷åíèé äèíàìè÷åñêèõ ïðîöåññîâ.
3
1. ÌÅÒÎÄ ÍÀÈÌÅÍÜØÈÕ ÊÂÀÄÐÀÒΠ1.1. Ìîäåëü ðåãðåññèîííîãî àíàëèçà Îäíà èç êëàññè÷åñêèõ ìîäåëåé ñëó÷àéíîãî ïðîöåññà [1] âûáîðêà
(
)
XT=[x1, x2, ..., xn], â êîòîðîé îòñ÷åòû xi ∈ f x; mi , σ 2 ðàñïðåäåëåíû ïî
îäíîìó è òîìó æå çàêîíó ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ f(x) ñ ïîñòîÿííîé äèñïåðñèåé σ2 è ñ èçìåíÿþùèìèñÿ â îáùåì ñëó÷àå ñðåäíèìè mi îòñ÷åòàìè ìàòåìàòè÷åñêîãî îæèäàíèÿ ïðîöåññà . Íà ïðàêòèêå òàêàÿ ìîäåëü èñïîëüçóåòñÿ: ïðè ïðîâåðêå ãèïîòåçû H0: m = const ïðîòèâ àëüòåðíàòèâû H1: m = var; ïðè èçìåðåíèè äàëüíîñòè R, êîãäà ; R = ψ (t ) = m ; ïðè àíàëèçå âëèÿíèÿ óñëîâèé ïðîèçâîäñòâà (êâàëèôèêàöèÿ ïåðñîíàëà, êà÷åñòâî ñûðüÿ, ñîáëþäåíèå òåõíîëîãèè è ò. ï.) íà êà÷åñòâî èçäåëèÿ, íàïðèìåð íà ïîêàçàòåëü íàäåæíîñòè íàðàáîòêó íà îòêàç è ò. ä. Ôîðìàëèçàöèÿ ìîäåëè:
ââîäèòñÿ âåêòîð ïàðàìåòðîâ βT = [β1, β2 , ..., βk ], îò êîòîðûõ çàâè-
ñÿò ñðåäíèå çíà÷åíèÿ íàáëþäåíèé mi = ϕi (β1 , β2 , ..., βk ) , i = 1, ..., n; ôóíêöèè ϕi îãðàíè÷èâàþòñÿ êëàññîì ëèíåéíûõ ôóíêöèé, äëÿ ÷åãî ââîäèòñÿ ìàòðèöà ïëàíà z11 z12 z1n z z z2 n Z = 21 22 ... ... ... zk1 zk 2 zkn òàêàÿ, ÷òî âåêòîð ñðåäíèõ çíà÷åíèé çàäàåòñÿ ïðîèçâåäåíèåì M X = ZT β; 4
(1.1)
ìàòðèöà ïëàíà çàäàåòñÿ ëèáî èññëåäîâàòåëåì, êîãäà îí ïëàíèðóåò íàáëþäåíèÿ, ëèáî ïðèðîäîé; íàáëþäåíèÿ X ñîïðîâîæäàþòñÿ îøèáêîé ε : X = ZT β + ε , εT = [ε1 , ε 2 , ..., ε n ] M ε = 0, K ε = σ2 I
(1.2)
îøèáêà ñòàöèîíàðíàÿ, åå çíà÷åíèÿ εi íåêîððåëèðîâàíû, çàêîí ðàñïðåäåëåíèÿ íå îãîâàðèâàåòñÿ. Ïðè âûïîëíåíèè ïîñëåäíåãî îãðàíè÷åíèÿ ãîâîðÿò, ÷òî èìååò ìåñòî ìîäåëü ëèíåéíîé ðåãðåññèè; ïàðàìåòðû β íàçûâàþòñÿ êîýôôèöèåíòàìè ðåãðåññèè, σ2 îñòàòî÷íîé äèñïåðñèåé. Ïåðåìåííûå zi èç ìàòðèöû ïëàíà ìîãóò áûòü ôóíêöèîíàëüíî çàâèñèìûìè. Íàïðèìåð, âñå îíè ôóíêöèè îäíîé ïåðåìåííîé t z j = a j (t ) ,
ãäå a j (t ) ïîëèíîì ñòåïåíè j > 1; â ýòîì ñëó÷àå ðåãðåññèÿ íàçûâàåòñÿ ïàðàáîëè÷åñêîé.  îáùåì ñëó÷àå çíà÷åíèÿ îøèáêè ìîãóò áûòü êîððåëèðîâàííûìè: K ε = σ2 R , R ≠ I . Åñëè â ýòîì ñëó÷àå ïåðåéòè ê íàáëþäåíèÿì Y = R −1/ 2 X , òî MY = R −1/ 2 M X , K Y = R −1/ 2 K X R −1/ 2 = σ 2 I . Ïðèìåð 1.1. Ïóñòü íàáëþäåíèÿ ïðîâîäÿòñÿ áåç ïîãðåøíîñòåé (îøèáêà ε = 0):
X = ZT β . Åñëè âåêòîð ïàðàìåòðîâ íåèçâåñòåí, åãî ìîæíî îöåíèòü, èñïîëüçóÿ ñîîòíîøåíèå (1.1) −1 βˆ = ZT (1.3) X.
( )
Ïðåäïîëîæèì, ÷òî èçìåðÿåìàÿ ôóíêöèÿ îïèñûâàåòñÿ ïîëèíîìîì òðåòüåé ñòåïåíè
M X = β0 + β1t + β2t 2 + β3t 3
5
è íàáëþäàåòñÿ â ìîìåíòû âðåìåíè t1 = 1, t2 = 2, t3 = 3, t4 = 4. Òîãäà ìàòðèöà ïëàíà äëÿ çíà÷åíèé t0, t1, t2, t3 1 1 Z= 1 1
1 2 3 4 ; ZT 4 9 16 8 27 64 1
1
( )
–1
−6 −1 4 4 −13 / 3 19 / 2 −7 11/ 6 . = 3/ 2 −4 −1 7/2 −1/ 6 1/ 2 −1/ 2 1/ 6
Êîýôôèöèåíòû ëþáîãî ïîëèíîìà ñòåïåíè íå âûøå òðåòüåé îöåíèâàþòñÿ ïî ôîðìóëå (1.3) áåç îøèáîê. Íàïðèìåð, åñëè íàáëþäàëèñü çíà÷åíèÿ ôóíêöèè x(t) = 2t + t2, ò. å. ïîëó÷åí âåêòîð XT = [3; 8; 15; 24], òî âåêòîð îöåíîê êîýôôèöèåíòîâ ðåãðåññèè 0 2 −1 X = . 1 0
( )
βˆ = Z T
1.2. Îöåíèâàíèå êîýôôèöèåíòîâ ðåãðåññèè Ìåòîä îöåíèâàíèÿ êîýôôèöèåíòîâ ðåãðåññèè ïðè íàëè÷èè îøèáêè, ðàçðàáîòàííûé Ê. Ãàóññîì (1809) è À. Ìàðêîâûì (1900), ïîëó÷èë íàçâàíèå ìåòîäà íàèìåíüøèõ êâàäðàòîâ [1,2]. Íàáëþäåíèÿ (1.2)
X = ZT β + ε , M [X] = ZT β ; âåêòîð ðàçíîñòåé ìåæäó íàáëþäåíèÿìè è ìîäåëüþ (1.1) ε = X − ZT β
åñòü âåêòîð îøèáîê. Ïðîèçâåäåíèå
(
S (β ) = εT ε = X − ZT β
) ( X − ZT β) T
(1.4)
åñòü ñóììà êâàäðàòîâ ðàçíîñòåé. Ìåòîä íàèìåíüøèõ êâàäðàòîâ ïðåäïèñûâàåò ìèíèìèçèðîâàòü ñóììó S (β). Ýòî ýêñòðåìàëüíàÿ çàäà÷à áåç îãðàíè÷åíèé [4]. Óðàâíåíèå 6
(
)
∂ S (β ) = −2Z X − ZT β = 0, ∂β
(1.5)
ZZT β = ZX
èìååò ðåøåíèå
(
βˆ = AX = ZZT
)
−1
(1.6)
ZX .
Óðàâíåíèå (1.5) íàçûâàåòñÿ íîðìàëüíûì. Åãî ðåøåíèå (1.6) ïîëíîñòüþ îïðåäåëÿåòñÿ îïåðàòîðîì A (ìàòðèöåé ïëàíà) è íàáëþäåíèÿìè X. Ôîðìàëüíî îíî ïîëó÷åíî áåç îãðàíè÷åíèé, îäíàêî ôàêòè÷åñêèì îãðàíè÷åíèåì ÿâëÿåòñÿ ìàòðèöà ïëàíà. Ïðèìåð 1.2.  óñëîâèÿõ ïðèìåðà 1.1 ïðè îòñóòñòâèè îøèáêè îöåíêà
(
(1.6) βˆ = ZZT
)
−1
ZZTβ = β òî÷íàÿ. Âîîáùå äëÿ êâàäðàòíûõ ìàòðèö
(
A = ZZT
)
−1
( )
Z = ZT
−1
( )
Z −1Z = ZT
−1
,
ò. å. âû÷èñëåíèÿ ìîãóò óïðîñòèòüñÿ. Îäíàêî ìåòîä íàèìåíüøèõ êâàäðàòîâ ïðèìåíÿåòñÿ ïðè n > k , òàê êàê ïðè n = k ñëèøêîì âåëèêà ïîãðåøíîñòü îöåíêè (1.6).  ñëó÷àå n = 4, k = 2 (íàïðèìåð, äëÿ ïîëèíîìà ïåðâîé ñòåïåíè x(t) = a0 + a1t ) ìàòðèöà ïëàíà è îïåðàòîð A −1 1 1 1 1 4 10 3 / 2 −1/ 2 = Z= ; ZZT = ; ZZT , 1 2 3 4 10 30 −1/ 2 1/ 5 −1 −1/ 2 1/ 2 0 1 A = ZZT Z= . −3 /10 −1/10 1/10 3 /10
(
(
)
)
Ïðè x (t ) = 2 + 5t XT = [7;12;17; 22] βˆ T = XT AT = [2;5]
 îáùåì ñëó÷àå èíòåðåñ ïðåäñòàâëÿåò íå ñàì âåêòîð êîýôôèöèåíòîâ ðåãðåññèè, à íåêîòîðàÿ ëèíåéíàÿ ôóíêöèÿ îò íåãî t = Tβ (1.7) ãäå T m × k-ìàòðèöà, m ≤ k. Îöåíêà âåêòîðà (1.7)
(
tˆ = Tβˆ = At X = T ZZT
)
−1
ZX
(1.8)
íåñìåùåííàÿ, êîððåëÿöèîííàÿ ìàòðèöà îöåíêè 7
(
Btˆ = σ 2 T ZZT
)
−1 T
(1.9)
T ,
åå äèñïåðñèÿ ìèíèìàëüíà â êëàññå ëèíåéíûõ îöåíîê. Äåéñòâèòåëüíî: 1) â ñîîòâåòñòâèè ñ (1.7)
(
)
(
−1
)
−1
ZM [X] = T ZZT ZZT β = Tβ = t M tˆ = TM βˆ = T ZZT 2) òàê êàê êîððåëÿöèîííàÿ ìàòðèöà âåêòîðà íàáëþäåíèé B X = σ2I , êîððåëÿöèîííàÿ ìàòðèöà (1.9) åñòü
(
) ZM XXT ZT (ZZT ) −1 = σ2 T ( ZZT ) TT ;
ˆˆT = T ZZT Btˆ = M tt
−1
−1
TT =
3) ïóñòü èìååòñÿ ïðîèçâîëüíàÿ ëèíåéíàÿ íåñìåùåííàÿ îöåíêà äëÿ t â âèäå (1.10)
tˆ L = LX ;
M tˆ L = LZT β = Tβ , îòêóäà ñëåäóåò LZT = T ; îöåíêà (1.10) áóäåò íàèáîëåå òî÷íîé, åñëè äèàãîíàëüíûå ýëåìåíòû êîâàðèàöèîííîé ìàòðèöû B
tˆL = σ
2
LLT
(1.11)
ìèíèìàëüíû; ïðîèçâåäåíèå ðàçíîñòåé îïåðàòîðîâ L è At èç (1.8) èìèòèðóåò êîâàðèàöèîííóþ ìàòðèöó ( ZZT ñèììåòðè÷íàÿ ìàòðèöà):
(
T L − T ZZ
(
− T ZZT
)
)
−1
−1
(
Z L − T ZZT
(
ZLT + T ZZT
(
= LLT − T ZZT
îòêóäà ñëåäóåò 8
)
−1
)
)
−1
−1
(
T
Z = LLT − LZT ZZT
(
Z T ZZT
(
TT − T ZZT
)
−1
)
−1
)
−1
T
TT −
Z = T = LZT =
(
TT + T ZZT
)
−1
TT ,
(
)
(
)
T
(
)
−1 −1 −1 T LLT = L − T ZZT Z L − T ZZT Z + T ZZT T ; îò L çàâèñèò òîëüêî ïåðâîå ñëàãàåìîå, ò. å. (1.11) äîñòèãàåò ìèíèìóìà ïðè óñëîâèè
(
L = T ZZT
)
−1
Z,
à ýòî è åñòü îïåðàòîð At ìåòîäà íàèìåíüøèõ êâàäðàòîâ. 1.3. Îñòàòî÷íàÿ äèñïåðñèÿ Äèñïåðñèÿ îøèáêè σ2 ñ÷èòàåòñÿ ïîñòîÿííîé, íî íåèçâåñòíîé. Åå îöåíêà åñòü ïàðàìåòð òî÷íîñòè ìåòîäà íàèìåíüøèõ êâàäðàòîâ. Ìàòåìàòè÷åñêîå îæèäàíèå ñóììû êâàäðàòîâ ðàçíîñòåé (1.4) ðàâíî n M S (β ) = M εT ε = M ∑ εi2 = nσ2 . i =1 ∗ Ñóììó (1.4) ìîæíî çàïèñàòü ÷åðåç íåêîòîðûé âåêòîð ïàðàìåòðîâ β
{
)} {X − Z β + Z (β − β)} = = S (β ) + ( X − Z β ) Z (β − β ) + (β − β ) Z ( X − Z β ) + + (β − β ) ZZ (β − β ) ; (
S (β ) = X − ZT β∗ + ZT β∗ − β T ∗ T
∗
T
∗
(
T
T ∗
∗
∗
T
T
T
T
∗
T ∗
∗
) ZX , òî −1 Z ( X − ZT βˆ ) = ZX − ( ZZT )( ZZT ) ZX = 0 , T −1 (X − ZT βˆ ) ZT = XT ZT − XT ZT (ZZT ) (ZZT ) = 0;
T ∗ åñëè β = βˆ = ZZ
−1
() (
S (β ) = S βˆ + βˆ − β
) C (βˆ − β ),
(1.12)
T
ãäå C = ZZT. Ìàòåìàòè÷åñêîå îæèäàíèå âòîðîãî ñëàãàåìîãî 9
(
M βˆ − β
) C (βˆ − β ) = βˆ = A−1ZX = A−1Z (ZT β + ε ) = β + A−1Zε = T
= M εT ZT A −1 AA −1Zε = M εT ZT A −1ε = 1 − = M εT ZT ZZT Zε ;
(
(
ìàòðèöà D = ZT ZZT
)
−1
)
Z âûðîæäåííàÿ n × n-ìàòðèöà (åå îïðåäåëè-
òåëü ðàâåí íóëþ), spurD = k, k ðàíã ìàòðèöû, ñëåäîâàòåëüíî,
(
M βˆ − β è, êàê ñëåäóåò èç (1.12),
) C (βˆ − β ) = k σ2 T
()
M S βˆ = ( n − k ) σ 2 ,
ò. å. íåñìåùåííàÿ îöåíêà îñòàòî÷íîé äèñïåðñèè ñòàòèñòèêà
σˆ 2 =
(
()
1 1 X − ZT βˆ S βˆ = n−k n−k
) (X − ZT βˆ ). T
(1.13)
×åì áîëüøå èçáûòî÷íîñòü íàáëþäåíèé n k, òåì òî÷íåå îöåíèâàíèå êîýôôèöèåíòîâ ðåãðåññèè; êâàäðàòíàÿ ìàòðèöà ïëàíà (n = k), êàê âèäíî èç (1.13), íå äîïóñêàåòñÿ. Ìåòîäîì íàèìåíüøèõ êâàäðàòîâ ìîãóò ðåøàòüñÿ ðàçëè÷íûå çàäà÷è. Ïðèìåð 1.3. Àïïðîêñèìàöèÿ ôóíêöèè îäíîãî ïåðåìåííîãî ïîëèíîìîì ñòåïåíè k. Íà ïðàêòèêå òàêàÿ çàäà÷à ìîæåò áûòü ñâÿçàíà ñ èíòåãðèðîâàíèåì, êîãäà òî÷íîå ðåøåíèå íåèçâåñòíî. Íàïðèìåð, íåîáõîäèìî âçÿòü èíòåãðàë
J=
1 ∫
2π
(
)
exp − x 2 / 2 dx
Äëÿ êîíêðåòíûõ âû÷èñëåíèé ìîæíî âîñïîëüçîâàòüñÿ òàáëèöàìè èíòåãðàëîâ âåðîÿòíîñòè Φ (t ) èëè erf (t ) [3], íî ÷àñòî áûâàåò íåîáõîäèìî îáùåå ðåøåíèå. Íåèçâåñòíîå òî÷íîå ðåøåíèå èíîãäà ìîæíî çàìåíèòü ïðèáëèæåííûì, åñëè àïïðîêñèìèðîâàòü ïîäûíòåãðàëüíîå âûðàæåíèå ïîëèíîìîì, òàê êàê èíòåãðèðîâàíèå ïîëèíîìà ýëåìåíòàðíî.
10
Äëÿ àïïðîêñèìàöèè ìîæíî âîñïîëüçîâàòüñÿ ñòàíäàðòíîé ïðîöåäóðîé POLYFIT ñèñòåìû MATLAB [4,5] ñ ñèíòàêñèñîì
p = polyfit ( x, y, k ) (äàëåå áóäóò èñïîëüçîâàíû è äðóãèå ïðîöåäóðû ñèñòåìû MATLAB áåç ññûëîê íà èñòî÷íèêè). Ôóíêöèÿ y (t) àïïðîêñèìèðóåòñÿ ïîëèíîìîì ñòåïåíè k , âûõîäîì ÿâëÿåòñÿ ñòðîêà p äëèíû k + 1, ñîäåðæàùàÿ êîýôôèöèåíòû àïïðîêñèìèðóþùåãî ïîëèíîìà, íà÷èíàÿ ñ êîýôôèöèåíòà ïðè xk. Ïðîãðàììà ìîæåò áûòü, íàïðèìåð, ñëåäóþùåé: x = (0:0.1:3)'; y = exp(x.^ 2/2)/sqrt (2*pi) ; p = polyfit (x, y.5) pause f = polyval (p, x) ; table = [x y f y f ] plot (x, y,' ob', x, f.'g'), axis ( [0 4 0 0.5]) j = trapz (x, y) jp = trapz (x, f ) jv = erf (3/sqrt (1.2)) Îïåðàòîð p âûäàåò ñòðîêó êîýôôöèåíòîâ 0.0003 0.0207 0.1457 0.3123 0.0311 0.3974, ïîçâîëÿþùèõ çàïèñàòü àïïðîêñèìèðóþùåå âûðàæåíèå
x2 exp − ≈ 0,3974 + 0, 0311x − 0,3123x 2 + 0,1457 x3 + 2π 2
1
+ 0, 0207 x 4 + 0, 0003x5 = f ( x ). Ïîãðåøíîñòü àïïðîêñèìàöèè δ = y − f óäîâëåòâîðèòåëüíà (òàáë. 1.1, òî÷íîñòü äî òðåòüåãî çíàêà). Òàáëèöà 1.1
x
0,3
0,7
1,1
y
0,3814
0,3123
0,2179
f
0,3825
0,3113
0,2179
1,5
1,9
2,3
2,7
0,1295
0,0656
0,0283
0,0104
0,1304
0,0653
0,0276
0,0113
Èíòåãðèðîâàíèå íà èíòåðâàëå (0,0 3,0) ( ïðîöåäóðà TRAPZ): j = 0,4986 ìåòîäîì òðàïåöèé íà ñåòêå X ôóíêöèè Y; jp = 0,4988 ìåòîäîì òðàïåöèé íà X àïïðîêñèìèðóþùåé ôóíêöèè P; jv = Φ (3 ) − 0, 5 = 0, 4987 òî÷íîå çíà÷åíèå èíòåãðàëà âåðîÿòíîñòè.
11
Òàêèì îáðàçîì, ê ìíîæåñòâó ïðèáëèæåííûõ âûðàæåíèé èíòåãðàëà âåðîÿòíîñòè [6] ìîæíî äîáàâèòü ñëåäóþùåå:
Φ (x) =
1 2π
x
t2
∫ exp − 2 dt ≈ 0, 5000 + 0, 3974 x + 0, 0156 x
−∞
2
+
+ 0,1074 x3 + 0, 0364 x 4 − 0, 0041x5 + 0, 00006 x 6 . Èçìåíÿÿ ïîðÿäîê k àïïðîêñèìèðóþùåãî ïîëèíîìà, ìîæíî îïòèìèçèðîâàòü àïïðîêñèìàöèþ: ïîäîáðàòü ìèíèìàëüíîå çíà÷åíèå k , ïðè êîòîðîì äîñòèãàåòñÿ çàäàííàÿ òî÷íîñòü. Ïðèìåð 1.4. Àïïðîêñèìàöèÿ íàáëþäåíèé ïîëèíîìîì. Çàäàåòñÿ ñðåäíåå n
i çíà÷åíèå íàáëþäàåìîé ôóíêöèè y = ∑ βi z íà ñåòêå çíà÷åíèé z0 ≤ z ≤ z1 . i =0
Âåêòîð ñðåäíèõ çíà÷åíèé Y ñóììèðóåòñÿ ñ âåêòîðîì N , èìèòèðóþùèì ïîãðåøíîñòè íàáëþäåíèé, N ∈ Ν (0, σ ) ; íàáëþäàåòñÿ âåêòîð X = Y + N. Ìàòðèöà ïëàíà Z çàïèñûâàåòñÿ â ñîîòâåòñòâèè ñ ñåòêîé z è ïîðÿäêîì k. Âû÷èñëÿþòñÿ îöåíêè êîýôôèöèåíòîâ (1.6) è îñòàòî÷íîé äèñïåðñèè (1.13). Îöåíêè (1.6) ñðàâíèâàþòñÿ ñî çíà÷åíèÿìè p, ïîëó÷åííûìè ïðîöåäóðîé POLYFIT. Äëÿ òîãî ÷òîáû ìàòðèöà ïëàíà íå ñòàëà ñëèøêîì ãðîìîçäêîé, ðåêîìåíäóåòñÿ îãðàíè÷èòü ñåòêó äåñÿòüþ òî÷êàìè, à ñòåïåíü ïîëèíîìà çàäàâàòü íå âûøå ïÿòè.
1.4. Îïòèìàëüíàÿ ìàòðèöà ïëàíà Êîâàðèàöèîííàÿ ìàòðèöà îöåíîê ïàðàìåòðîâ, ïîëó÷åííûõ ìåòîäîì íàèìåíüøèõ êâàäðàòîâ (1.6): ˆ ˆ T = M C−1ZXXT ZT C−1 = C−1ZM XXT ZT C−1 ; M ββ åñëè â íåé çàìåíèòü íàáëþäåíèÿ X íà îøèáêè ε, ïîëó÷èòñÿ êîððåëÿöèîííàÿ ìàòðèöà
(
&ˆ &ˆ T M ββ = σ2 C−1ZZT C−1 = σ2 C−1 = σ2 ZZT
)
−1
.
(1.14)
Åå äèàãîíàëüíûå ýëåìåíòû äèñïåðñèè îöåíîê êîýôôèöèåíòîâ îïðåäåëÿþòñÿ ìàòðèöåé ïëàíà è ôîðìàëüíî ìîãóò áûòü ñêîëü óãîäíî ìàëûìè: åñëè çàìåíèòü Z íà αZ òî â (1.14) C1 çàìåíèòñÿ íà α2C1, è ïðè α → ∞ äèñïåðñèè óñòðåìÿòñÿ ê íóëþ. Íà ïðàêòèêå ýòîò ñëó÷àé òåðÿåò 12
ñìûñë èç-çà òðóäíîñòåé îáðàùåíèÿ ìàòðèöû, íî, ÷òîáû èñêëþ÷èòü åãî â ïðèíöèïå, íà ñòðîêè ìàòðèöû ïëàíà íàêëàäûâàþòñÿ îãðàíè÷åíèÿ âèäà [1] n
Z j ZTj = ∑ zij2 = a 2j > 0,
j = 1, ..., k .
i =1
Ïðè ýòîì äèñïåðñèè îöåíîê êîýôôèöèåíòîâ σ2ˆ ≥ βj
σ2 a 2j
, j = 1, ..., k
(1.15)
è ìèíèìóì äîñòèãàåòñÿ òîãäà è òîëüêî òîãäà, êîãäà ñòðîêè ìàòðèöû Z îðòîãîíàëüíû. Äëÿ òàêîé (îïòèìàëüíîé) ìàòðèöû ïëàíà ìàòðèöà C = ZZT ñòàíîâèòñÿ äèàãîíàëüíîé ìàòðèöåé D ñ ýëåìåíòàìè a 2j = Z j ZTj è (1.6) ïðèíèìàåò âèä
(
βˆ = AX = ZZT
)
−1
ZX = D−1ZX .
(1.16)
Îöåíêè êîýôôèöèåíòîâ (1.16) è äèñïåðñèè (1.15) ôîðìàëüíî ìîæíî çàïèñàòü áåç îáðàùåíèÿ ìàòðèöû C â âèäå îòíîøåíèé βˆ j = Z j X / a 2j , σ 2ˆ = σ 2 / a 2j . βj
Îöåíêè (1.16) êîýôôèöèåíòîâ íåêîððåëèðîâàíû:
M βˆ j βˆ i = 0. Íà ïðàêòèêå îïòèìàëüíóþ ìàòðèöó ïëàíà óäîáíî ñòðîèòü íà áàçå ìíîãî÷ëåíîâ ×åáûøåâà [1,2]. Îáùåå óñëîâèå îðòîãîíàëüíîñòè ôóíêöèé n
Z j ZTr = ∑ b j (ti ) br (ti ) = 0,
j ≠ r.
i =1
(1.17)
Ïåðâûå äâà ìíîãî÷ëåíà ×åáûøåâà b0 (t ) = 1, b1 (t ) = t + c .
Íàïðèìåð, ïðè =1; 2; 3; 4; 5 óñëîâèå (1.17) çàäàåò c = 3. Ñëåäóþùèå ìíîãî÷ëåíû âû÷èñëÿþòñÿ ðåêóððåíòíî: bk (t ) = (t + α ) bk −1 (t ) + γbk −2 (t ) ,
(1.18) 13
n
∑ bk (ti )bk −1 (ti ) = 0, i =1 n
∑ bk (ti )bk −2 (ti ) = 0. i =1
Äâà ïîñëåäíèõ óñëîâèÿ îðòîãîíàëüíîñòè (âèäà (1.17)) îïðåäåëÿþò íåèçâåñòíûå êîýôôèöèåíòû α, γ . Âñåãî ïðè n çàäàííûõ çíà÷åíèÿõ t ìîæíî ïîëó÷èòü n ìíîãî÷ëåíîâ (íóæíî k < n ìíîãî÷ëåíîâ). Ïðèìåð 1.5. Òðåòèé ìíîãî÷ëåí âèäà (1.18)
b2 (t ) = (t + α )(t − 3) + γ ðàññ÷èòûâàåòñÿ èç óñëîâèé 5
5
i =1
i =1
{
∑ b2 (ti ) b1 (ti ) = ∑ ti (ti − 3) + α (ti − 3) + γ (ti − 3)} = 0 , 2
5
5
i =1
i =1
2
∑ b2 (ti ) b1 (ti ) = ∑ {ti (ti − 3) + α (ti − 3) + γ} = 0 è çàïèñûâàåòñÿ b2 (t ) = (t − 3) − 2 . 2
Ñëåäóþùèå ìíîãî÷ëåíû ïîëó÷åíû òàêæå:
{
}
b3 (t ) = (t − 3) (t − 3) − 17 / 5 , b4 (t ) = (t − 3)
2
2
{(t − 3)
2
}
− 31/ 7 + 72 / 35.
Ïðèìåð 1.6. Ïóñòü â óñëîâèÿõ ïðèìåðà 1.5 íàáëþäàþòñÿ çíà÷åíèÿ ôóíêöèè
x (t ) = t + 0,1 t 2 + ε (t )
(1.19)
(ïðè îòñóòñòâèè îøèáîê òàáë. 1.2). Ìàòðèöû ïëàíà äëÿ îöåíèâàíèÿ êîýôôèöèåíòîâ β0 , β1 ; β0 , β1 , β2 ; β0 , β1 , β2 , β3 çàïèñûâàþòñÿ ñîîòâåòñòâåííî
14
1 1 1 1 1 1 1 1 1 1 1 1 2 3 4 5 , z = 1 Z= , z = 1 1 2 3 4 5 1 4 9 16 25 1
1 2 3 4 5 . 4 9 16 25 8 27 64 125 1
1
1
Òàáëèöà 1.2 t
1
2
3
4
5
x
1,1
2,4
3,9
5,6
7,5
(
)
−1
Îöåíèâàíèå βˆ = AX = ZZT ZX ìåòîäîì íàèìåíüøèõ êâàäðàòîâ êîýôôèöèåíòîâ β0 è β1 (îøèáî÷íîå, òàê êàê ìíîãî÷ëåí (1.19) èìååò âòîðîé, à íå ïåðâûé ïîðÿäîê, è îöåíèâàòüñÿ äîëæíû òðè ïåðâûõ êîýôôèöèåíòà) äàæå ïðè îòñóòñòâèè îøèáîê ε äàåò ôóíêöèþ, îòëè÷íóþ îò çàäàííîé: xˆ (t ) = −0, 7 + 1, 6 t ≠ x (t ).
(
A = ZZT
)
−1
8 5 2 −1 −4 Z= × 0,1. −2 −1 0 1 2
Îïåðàòîðû 126 0 −56 −42 42 1 A= −74 23 60 37 −46 , 70 10 −5 −10 −5 10 11/ 5 −14 / 5 −4 / 5 −4 / 5 16 / 5 −381 / 126 537 / 126 108 / 126 429 / 126 165 / 126 A= 25 / 28 −44 / 28 −4 / 28 −17 / 28 2 −2 / 12 2 / 12 0 1 / 12 −1 / 12
ïðè îöåíèâàíèè êîýôôèöèåíòîâ β0 , β1, β2 è β0 , β1, β2, β3 ïðè îòñóòñòâèè
îøèáîê ε äàþò âåêòîðû îöåíîê βˆ T = [0; 1; 0,1] è βˆ T = [0; 1; 0,1; 0]. Óâå-
ëè÷åíèå èçáûòî÷íîñòè ìîäåëè (ïðåâûøåíèÿ ïîðÿäêà ìîäåëè íàä ïîðÿäêîì íàáëþäåíèé) ïðè îòñóòñòâèè îøèáîê ε äîáàâëÿåò êîëè÷å15
ñòâî íóëåâûõ êîýôôèöèåíòîâ, íåäîñòàòîê ïîðÿäêà ìîäåëè ïðèâîäèò ê îøèáêàì îöåíèâàíèÿ. 1.5. Âû÷èñëåíèå îïòèìàëüíîé ìàòðèöû ïëàíà  îáùåì ñëó÷àå íà áàçå ôóíêöèé b0 (t ) = 1, b1 (t ) = t − c , n
ãäå c = ∑ ti / n ñðåäíÿÿ òî÷êà ìîìåíòîâ íàáëþäåíèÿ, ìîæíî ïîñòðîi =1
èòü ìíîæåñòâî îðòîãîíàëüíûõ ìíîãî÷ëåíîâ, èñïîëüçóÿ ïîñëåäîâàòåëüíóþ ïðîöåäóðó Ãðàìà-Øìèäòà [7]: ôóíêöèè bi (t ) , i ≥ 2 çàäàþòñÿ ïîëèíîìàìè ñòåïåíè i ; êîýôôèöèåíòû âû÷èñëÿþòñÿ èç óñëîâèÿ îðòîãîíàëüíîñòè âñåì ïðåäûäóùèì ïîëèíîìàì. Ðåêóððåíòíîñòü (1.18) ïîëèíîìîâ ×åáûøåâà ïîçâîëÿåò óïðîñòèòü ïðîöåäóðó îðòîãîíàëèçàöèè ñòîëáöîâ ìàòðèöû ïëàíà äëÿ ïðîèçâîëüíîé ïîñëåäîâàòåëüíîñòè òî÷åê íàáëþäåíèÿ ti , i = 1, 2, ..., n [2]. Åñëè k ïîëèíîìîâ ×åáûøåâà b j (t ) , j = 0, ..., k − 1 ïîñòðîåíû (ñòàðøàÿ ñòåïåíü k 1), òî ìíîãî÷ëåí k −1
ψ (t ) = ∑ ηs bs (t ) , s =0
ÿâëÿþùèéñÿ ëèíåéíîé êîìáèíàöèåé k ïîëèíîìîâ ×åáûøåâà, îáëàäàåò ñëåäóþùèì ñâîéñòâîì: n
n k −1
n
i =1
i =1 s =0
i =1
∑ ψ (ti )b j (ti ) = ∑ ∑ ηsb j (ti )bs (ti ) = η j ∑ b2j (ti ); â ÷àñòíîñòè, åñëè îãðàíè÷èòü ïîðÿäîê ìíîãî÷ëåíà ψ ÷èñëîì k 3, n
∑ ψ (ti )bk −1 (ti ) = 0. i =1
Åñëè çàäàòü ìíîãî÷ëåí (1.19) êàê ïîëèíîì (1.17) ñòåïåíè k bk (t ) = (t + α ) bk −1 (t ) + γbk −2 (t ) ,
16
(1.20)
òî â ñèëó ðàâåíñòâà (1.20) n
n
n
i =1
i =1
i =1
∑ bk (ti ) b j (ti ) = ∑ (ti + α ) b j (ti ) bk −1 (ti ) + γ ∑ b j (ti ) bk −2 (ti ) = 0 , ÷òî îçíà÷àåò îðòîãîíàëüíîñòü ïîëèíîìà ×åáûøåâà k-ãî ïîðÿäêà âñåì ïðåäûäóùèì ïîëèíîìàì ïîðÿäêà äî k 2 âêëþ÷èòåëüíî íåçàâèñèìî îò êîýôôèöèåíòîâ α, γ . Îñòàåòñÿ âûáðàòü êîýôôèöèåíòû òàêèìè, ÷òîáû îáåñïå÷èâàëàñü îðòîãîíàëüíîñòü ïîëèíîìàì ïîðÿäêà k 1 è k 2: n
∑ i =1
n
=
n
∑ (ti + α ) bk −1 (ti ) bk −1 (ti ) + γ∑ b j (ti ) bk −2 (ti ) =
bk −1 (ti ) bk (ti ) =
i =1
i =1
n
n
∑ ti bk2−1 (ti ) + α∑ bk2−1 (ti ) = 0 , i =1
n
i =1
n
n
∑ bk −2 (ti )bk (ti ) = ∑ (ti + α )bk −2 (ti )bk −1 (ti ) + γ ∑ bk −2 (ti )bk −2 (ti ) = i =1
i =1
=
i =1
n
n
i =1
i =1
∑ tibk −2 (ti )bk −1 (ti ) + γ ∑ bk2−2 (ti ) = 0.
Òàêèì îáðàçîì, êîýôôèöèåíòû ïîëèíîìà ×åáûøåâà k-ãî ïîðÿäêà îïðåäåëÿþòñÿ ðåêóððåíòíî ïî äâóì ïðåäûäóùèì: n
α=−
n
∑ ti bk2−1 (ti ) i =1 n
∑ bk2−1 (ti ) i =1
,
γ=−
∑ ti bk −2 (ti ) bk −1 (ti ) i =1
n
.
(1.21)
∑ bk2−2 (ti ) i =1
Ïðèìåð 1.7. Èñïîëüçîâàíèå ìíîãî÷ëåíîâ ×åáûøåâà â óñëîâèÿõ ïðåäûäóùåãî ïðèìåðà. Ìàòðèöà ïëàíà äëÿ ïÿòè ïåðâûõ ìíîãî÷ëåíîâ
1 1 1 1 1 −2 0 1 2 −1 Z= 2 2 −1 −2 −1 12 / 5 0 6/5 −12 / 5 −6 / 5 12 / 35 −48 / 35 72 / 35 −48 / 35 12 / 35
17
Äëÿ ëþáîãî ïîðÿäêà ìîäåëè ìàòðèöû C = ZZT äèàãîíàëüíûå: 0 5 0 0 5 0 0 0 10 0 5 0 0 0 10 0 , C = = C= , C , 0 0 14 0 0 10 0 0 14 0 0 0 72 / 5 0 0 5 0 0 0 10 0 0 0 C = 0 0 14 0 0 . 0 0 0 0 72 / 5 0 0 0 0 288 / 35
Óâåëè÷åíèå ïîðÿäêà äîïîëíÿåò ïðåäûäóùèé îïåðàòîð. Äèàãîíàëüíûé ýëåìåíò ìàòðèöû Ñ1 ðàâåí (çäåñü èíäåêñ åñòü íîìåð ñòðîêè èëè ïîëèíîìà, à íå åãî ïîðÿäîê) n
( )
cii = 1/ ∑ bi2 t j . j =1
(
Ìàòðèöà A = ZZT
)
−1
Z èìååò ñòðîêè ATi ñ ýëåìåíòàìè aij = bii bi (t j ) ,
îöåíêè βˆ i = ATi X . Âòîðîé ñòîëáåö ìàòðèöû ZT îïðåäåëÿåò ìîìåíòû âðåìåíè, êîãäà ñëåäóåò ïðîèçâîäèòü èçìåðåíèÿ.  ýòîì ñìûñëå îïòèìèçàöèþ ìàòðèöû ïëàíà ÷àñòî íàçûâàþò ïëàíèðîâàíèåì ýêñïåðèìåíòà. Çäåñü (òàáë. 1.3): t1 = 2, t2 = 1, t3 = 0, t4 = 1, t5 = 2. Òàáëèöà 1.3 t
2
1
0
1
2
x
1,6
0,9
0
1,1
2,4
Ìîäåëè ðàçíûõ ïîðÿäêîâ äàþò:
( ) = b2 (t j ) / 10 = [−2; − 1;
A1T = b1 t j / 5 = [1; 1; 1; 1; 1] / 5 , AT2
18
0; 1; 2] / 10 ,
( ) = b4 (t j ) / 14, 4 = [−1, 2; 2, 4; 0; − 2, 4; 1, 2] / 14, 4 , AT5 = b5 (t j ) / 288 = [1; − 4; 6; − 4; 1] / 840 , AT3 = b3 t j / 14 = [2; − 1; − 2; − 1; 2] / 14 ,
AT4
βˆ T = [0, 2; 1] , βˆ T = [0, 2; 1; 0,1] , βˆ T = [0, 2; 1; 0,1; 0] , βˆ T = [0, 2;1; 0,1; 0; 0]. Îöåíêè òàêæå òîëüêî äîáàâëÿþòñÿ. Ñëåäóåò îòìåòèòü, ÷òî îöåíêà βˆ 0 ñìåùåíà íà âåëè÷èíó 0,2.
Îðòîãîíàëüíîñòü ñòðîê ìàòðèöû ïëàíà, ÿâëÿþùèõñÿ ïîëèíîìàìè j-ãî ïîðÿäêà, j = 0, 1, 2, ... ïîçâîëÿåò ïîëó÷èòü ïðèáëèæåííîå ðàçëîæåíèå ôóíêöèè x(t) â ðÿä Òåéëîðà. Ïðèìåð 1.8. Íà ñåòêå çíà÷åíèé −5, 0 ≤ t ≤ 5, 0 ñ øàãîì ∆t = 0,5 çàäàíû çíà÷åíèÿ ôóíêöèè
t2 exp − . (1.22) 2π 2 Äâàäöàòü îäíà òî÷êà ñåòêè ïîçâîëÿåò ïî ôîðìóëàì (5) è (1.21) ïîñòðîèòü ìàòðèöó ïëàíà èç äâàäöàòè îäíîãî ïîëèíîìà ×åáûøåâà. Îöåíêè êîýôôèöèf (t ) =
1
åíòîâ ðåãðåññèè βˆ j åñòü îöåíêè êîýôôèöèåíòîâ fj ðÿäà Òåéëîðà ∞
f (t ) = ∑ f 2 j t = j
j =0
1 2π
∞
( −1) j
j =0
2 j j!
∑
t2 j
(1.23)
äëÿ ôóíêöèè (1.22).  òàáë. 1.4 ïðèâåäåíû íåêîòîðûå èõ çíà÷åíèÿ, ðàññ÷èòàííûå ïðîöåäóðîé POLYFIT è ïî ôîðìóëå (1.23). Âîñïðîèçâåäåíèå ôóíêöèè ïî îöåíêàì βˆ ( POLYVAL) è åå ðàñ÷åò (ïðîöåäóðà EXP) íà çàäàííîé ñåòêå j
äàþò îäèíàêîâûå çíà÷åíèÿ (òàáë. 1.5). Òàáëèöà 1.4
j
0
2
4
8
10
fj
3,9894e1
1,9947e1
4,9868e2
1,0389e3
1,0389e4
βˆ j
3,9894e1
1,9947e1
4,9856e2
1,0227e3
9,7289e4
19
Òàáëèöà 1.5 t
0,0
0,5
1,0
1,5
2,0
3,0
f
0,39894
0,35207
0,24197
0,12952
0,05399
0,00443
Ïðèìåð 1.9. Ïóñòü çàäàíà ôóíêöèÿ
f (t ) = 2 − 0,5t − 0, 02t 3
(1.24)
íà ðàâíîìåðíîé ñåòêå t1 = 5; t2 = 4; t3 = 3; t4 = 2; t5 = 1; t6 = 2; t7 = 3; t8 = 4; t9 = 5; t10 = 6; t11 = 7 ñ äâóìÿ ïðîïóùåííûìè çíà÷åíèÿìè, òàê ÷òî ñåòêà ñòàíîâèòñÿ íåðàâíîìåðíîé. Ïóñòü íàáëþäåíèÿ ñîïðîâîæäàþòñÿ îøèáêàìè
(
)
xi = f (ti ) + εi , εi ∈ Ν 0, σ 2 , σ2 = 4.
(1.25)
Íàáëþäàòåëþ èçâåñòíû òîëüêî îäèííàäöàòü çíà÷åíèé ti è ãðàôèê íàáëþäåíèé. Îí âûäâèãàåò ãèïîòåçó î òîì, ÷òî íàáëþäåíèÿ îïèñûâàþòñÿ ìíîãî÷ëåíîì ÷åòâåðòîãî ïîðÿäêà (k = 4). Êëàññè÷åñêàÿ ïðîöåäóðà îöåíèâàíèÿ ïÿòè êîýôôèöèåíòîâ ìíîãî÷ëåíà è îñòàòî÷íîé äèñïåðñèè ïðè êîíêðåòíûõ îøèáêàõ (òàáë. 1.6) äàåò: βˆ 0 = 2,1572; βˆ = 0, 0017; βˆ = 0,1395; βˆ = −0, 0417; βˆ = −0, 0023; σˆ 2 = 2,1594. 1
2
3
4
 òàáë. 1.6 ïðèâåäåíû òàêæå çíà÷åíèÿ ôóíêöèè (1.25) è ñãëàæèâàþùåé åå ôóíêöèè
(1.26) xˆ4 = βˆ 0 + βˆ 1t + βˆ 2 t 2 + βˆ 3 t 3 + βˆ 4 t 4 . ×åì áîëüøå ïîãðåøíîñòè íàáëþäåíèé, òåì ñèëüíåå ìîãóò îòëè÷àòüñÿ ôóíêöèè (1.25) è (1.26). Îñòàòî÷íàÿ äèñïåðñèÿ îäíîãî ïîðÿäêà ñ íàáëþäåíèÿìè, ÷òî ñâèäåòåëüñòâóåò î çíà÷èòåëüíûõ ïîãðåøíîñòÿõ ýêñïåðèìåíòà. Ïðîöåäóðû POLYFIT è POLYVAL äàþò òàêèå æå ðåçóëüòàòû. Îòíîñèòåëüíî íåáîëüøèå çíà÷åíèÿ êîýôôèöèåíòîâ βˆ , βˆ , βˆ , βˆ ïðèâîäÿò ê âîçìîæíîñòè âûä1
2
3
4
âèæåíèÿ íîâûõ ãèïîòåç:
1) k = 3 : βˆ 0 = 2, 5782; βˆ 1 = 0,1564; βˆ 2 = 0, 0625; βˆ 3 = −0, 0505; σˆ 2 = 1, 9916; 2) k = 2 : βˆ 0 = 4, 0950; βˆ 1 = −0, 9389; βˆ 2 = −1,1001; σˆ 2 = 7, 4009; 3) k = 1: βˆ 0 = 2, 5394; βˆ 1 = −1,1305; βˆ 2 = −1,1001; σˆ 2 = 8, 2319. Ñîîòâåòñòâóþùèå ôóíêöèè xˆ3 , xˆ2 , xˆ1 ïîêàçàíû â òàáë. 1.6. Çíà÷åíèÿ îñòàòî÷íîé äèñïåðñèè ïîêàçûâàþò, ÷òî íàèáîëåå áëèçêîé ê íàáëþäåíèÿì îêàçûâàåòñÿ ñãëàæèâàþùàÿ ôóíêöèÿ òðåòüåãî ïîðÿäêà. Ïåðâûå ïîëèíîìû ×åáû-
20
øåâà íà ýòîé ñåòêå ïîêàçàíû â òàáë. 1. 6: íåðàâíîìåðíîñòü ñåòêè ïðèâîäèò ê àñèììåòðèè ïîëèíîìîâ. Çíà÷åíèÿ ôóíêöèè (1.24) ñ òåìè æå ïîãðåøíîñòÿìè íàáëþäåíèé ε, ÷òî â òàáë. 1.6, è çíà÷åíèÿ ñãëàæèâàþùåé ôóíêöèè xˆ3 , âîñïðîèçâåäåííîé ïðîöåäóðîé POLYVAL ñ èñïîëüçîâàíèåì ïåðâûõ ïÿòè ïîëèíîìîâ, òàêæå ïðèâåäåíû â òàáë. 1.7. Îöåíêè êîýôôèöèåíòîâ ðåãðåññèè (ïðîöåäóðà POLYFIT) ðàâíû
βˆ 3 = −0, 0518,
βˆ 0 = 2,8391,
βˆ 1 = 0, 2166,
βˆ 2 = 0, 0520,
βˆ 4 = −0, 0023. Òàáëèöà 1.6
t
5
4
3
2
1
2
4
5
6
7
f
7,00
5,28
4,04
3,16
2,52
0,84
1,28
3,00
5,32
8,36
ε
2,33
1,25
0,15
0,70
1,4
3,39
3,59
0,53
1,74
2,89
x
9,33
6,53
4,19
3,86
1,13
4,23
2.31
2,47
3,58
11,3
xˆ4
9,38
6,45
4,34
3,01
2,33
2,35
1,13
1,01
4,83
10,9
xˆ3
9,69
6,20
4,04
2,92
2,54
2,74
0,99
1,37
5,11
10,5
xˆ2
6,29
6,25
6,01
5,57
4,93
1,82
1,26
3,10
5,14
7,38
xˆ1
8,19
7,06
5,93
4,80
3,67
0,28
1,98
3,11
4,24
5,37
Òàáëèöà 1.7 i
1
2
3
4
6
8
9
10
11
b0
1,00
1,00
1,00
1,00
1,00
1,00
1,00
1,00
1,00
b1
6,09
5,09
4,09
3,09
0,909
2,909
3,909
4,909
5,909
b2
19,03
8,111
0,80
7,72
15,4
7,21
0,12
8,965
20,05
b3
67,5
0,990
38,97
52,46
18,3
44,5
34,4
0,66
62,56
f
9,565
7,184
5,415
4,136
1,530
0,053
1,15
2,82
5,08
xˆ3
11,95
8,354
5,718
3,984
3,038
2,466
0,838
2,33
7,61
21
2. ÍÎÐÌÀËÜÍÀß ÐÅÃÐÅÑÑÈß Â ìîäåëè ëèíåéíîé ðåãðåññèè íàêëàäûâàëèñü îãðàíè÷åíèÿ òîëüêî íà äâà ïåðâûõ ìîìåíòà íàáëþäåíèé: M X = ZT β ëèíåéíîñòü ñðåäíèõ çíà÷åíèé; K ε = σ 2 I íåêîððåëèðîâàííîñòü (íåçàâèñèìîñòü) îøèáîê. Åñëè â îáùóþ ìîäåëü ëèíåéíîé ðåãðåññèè X = ZT β + ε ââåñòè íîâîå îãðàíè÷åíèå [1,2]
(
)
X ∈ Ν ZT β, σ 2 I ,
(2.1)
ñìûñë êîòîðîãî â òîì, ÷òî îøèáêè íàáëþäåíèé îòñ÷åòû äèñêðåòíîãî áåëîãî øóìà ñ äèñïåðñèåé σ2 , òî ìîæíî ðåøàòü íîâûå çàäà÷è, íàïðèìåð, îöåíèâàòü âåðîÿòíîñòè çàäàííûõ îòêëîíåíèé îöåíîê îò èñòèííûõ èõ çíà÷åíèé. Ìîäåëü íîðìàëüíîé ðåãðåññèè (2.1) óæå èñïîëüçîâàëàñü ïðè ìîäåëèðîâàíèè îöåíèâàíèÿ êîýôôèöèåíòîâ ðåãðåññèè. 2.1. Îöåíêè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ïàðàìåòðîâ íîðìàëüíîé ðåãðåññèè Íîðìàëüíàÿ ìîäåëü (2.1) îïðåäåëÿåòñÿ (k + 1)-ìåðíûì ïàðàìåòðîì [1]
(
)
è = β1 , ..., βk , σ 2 ,
(2.2)
−∞ < β j < ∞, j = 1, ..., k ; σ2 ≥ 0. Ôóíêöèÿ ïðàâäîïîäîáèÿ âåêòîðà íàáëþäåíèé L ( X; è ) =
22
1
(2πσ )
2 n/2
1 exp − 2 S ( X; β ) , 2σ
(2.3)
(
S ( X; β ) = X − ZT β
) (X − ZT β). T
(2.4)
Ôîðìóëà (2.4) çàäàåòñÿ ôîðìóëîé (1.4). Îöåíèâàíèå ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ (ÌÏ-îöåíèâàíèå) âåêòîðà (2.2) ïðåäóñìàòðèâàåò ìàêñèìèçàöèþ îòíîøåíèÿ (2.3) ïî âåêòîðó β, ò. å. ìèíèìèçàöèþ ïî âåêòîðó β êâàäðàòè÷íîé ôîðìû (2.4). Òàêèì îáðàçîì, äëÿ íîðìàëüíîé ìîäåëè îöåíêè íàèìåíüøèõ êâàäðàòîâ êîýôôèöèåíòîâ ðåãðåññèè β ñîâïàäàþò ñ îöåíêàìè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Åñëè â (2.3) âìåñòî âåêòîðà β ïîäñòàâèòü îöåíêó βˆ è ïðîëîãàðèôìèðîâàòü, òî ìîæíî óâèäåòü, ÷òî îöåíêà äèñïåðñèè σˆ 2 ýòî òî çíà÷åíèå σˆ 2 , êîòîðîå ìèíèìèçèðóåò âûðàæåíèå
S (β ) / σ2 + n ln σ2 . Îòñþäà ñëåäóåò îöåíêà äèñïåðñèè
()
σˆ 2 = S βˆ / n . Íåñìåùåííàÿ îöåíêà íàèìåíüøèõ êâàäðàòîâ îñòàòî÷íîé äèñïåðñèè èìååò âèä σˆ 2 = S βˆ / ( n − k ) ,
()
ñëåäîâàòåëüíî, ÌÏ-îöåíêà äèñïåðñèè îêàçûâàåòñÿ ñìåùåííîé íà âåëè÷èíó
k n − k 2 n−k M σˆ 2 − σ2 = M σˆ − σ2 = − 1 σ 2 = − σ 2 , n n n êîòîðàÿ óáûâàåò ñ óâåëè÷åíèåì ÷èñëà íàáëþäåíèé: ÌÏ-îöåíêè àñèìïòîòè÷åñêè íåñìåùåííûå [1]. 2.2. Èíòåðâàëüíûå îöåíêè ïàðàìåòðîâ íîðìàëüíîé ðåãðåññèè Ñëó÷àéíûå âåëè÷èíû βˆ è S( βˆ ), S( βˆ ), è Q = S(β) − S( βˆ ) íåçàâèñèìû [1,2].
(
)
βˆ ∈ Ν β, σ 2 A −1 ,
(2.5) 23
( ) ∈ χ2 ( n − k ) ,
S βˆ σ2
Q σ
2
∈ χ2 ( k ) ;
(
A = ZZT ,
(2.6)
Q = βˆ − β
) A (βˆ − β ). T
(2.7)
Ýòè ñîîòíîøåíèÿ ìîæíî çàïèñàòü èíà÷å [1]:
βˆ j − β j σ aj j
tj =
n−k
()
a j j S βˆ
F=
∈ Ν (0,1) ,
(2.8)
(βˆ j − β j )∈ S (n − k ) ,
(2.9)
n−k Q ∈ F (k , n − k ) , k S βˆ
(2.10)
()
ãäå S (n k) ïëîòíîñòü ðàñïðåäåëåíèÿ Ñòúþäåíòà ñ n k ñòåïåíÿìè ñâîáîäû Sn−k ( x ) =
1
Γ (( n − k + 1) / 2 )
π ( n − k ) Γ (( n − k ) / 2 )
1 n − k +1 2
,
x2 1 + n − k F ( k, n k) ïëîòíîñòü ðàñïðåäåëåíèÿ Ôèøåðà ñ k è n k ñòåïåíÿìè
χ2 χ2 2 ñâîáîäû: îòíîøåíèå äâóõ χ -âåëè÷èí x = 1 : 2 èìååò ïëîòíîñòü k n−k ðàñïðåäåëåíèÿ k n k −1 Γ 2 k x 2 2 F (k , n − k ) = ; n n − k Γ k Γ n − k k 2 x 2 2 1 + − n k 24
Γ ( n + 1) = n!, a jj , äèàãîíàëüíûé ýëåìåíò ìàòðèöû A1.
Èç ñîîòíîøåíèÿ (2.8) ñëåäóåò, ÷òî ýëåìåíòû βˆ j ñòàòèñòèêè (ôîðìóëà 1.6)
(
βˆ = AX = ZZT
(
)
)
−1
ZX
èìåþò ðàñïðåäåëåíèå Ν β j , σ 2 a jj . Ñëåäîâàòåëüíî, âîçíèêàåò çàäà÷à îöåíèâàíèÿ íåèçâåñòíîãî ñðåäíåãî íîðìàëüíîãî ðàñïðåäåëåíèÿ ïðè íåèçâåñòíîé äèñïåðñèè σ2 : îòíîøåíèå Ñòúþäåíòà (2.9) tj ÿâëÿåòñÿ öåíòðàëüíîé ñòàòèñòèêîé äëÿ îöåíèâàíèÿ β j ; ñèììåòðè÷íûé îòíîñèòåëüíî
βˆ j α -äîâåðèòåëüíûé èíòåðâàë äëÿ β j èìååò âèä a jj βˆ j ± t1+α S βˆ , n−k n − k 2
()
(2.11)
è äëèíó 2t1+α 2
t1+α 2
, n−k
a jj , n−k
n−k
()
S βˆ ;
α êâàíòèëü ðàñïðåäåëåíèÿ Ñòúþäåíòà ñ n k ñòåïåíÿìè
ñâîáîäû. 2 Äîâåðèòåëüíûé èíòåðâàë äëÿ îñòàòî÷íîé äèñïåðñèè σ ñòðîèòñÿ íà îñíîâàíèè ñîîòíîøåíèÿ (2.7), èç êîòîðîãî ñëåäóåò, ÷òî öåíòðàëüíàÿ ñòàòèñòèêà åñòü îòíîøåíèå
( );
S βˆ σ2
α-äîâåðèòåëüíûé èíòåðâàë äëÿ σ2 èìååò âèä
(2.12) 25
()
S βˆ
χ12+α , n−k 2