Эконометрика для продолжающих

ÝÊÎÍÎÌÅÒÐÈÊÀ ÄËß ÏÐÎÄÎËÆÀÞÙÈÕ Êóðñ ëåêöèé Ñòàíèñëàâ Àíàòîëüåâ Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà ÊË/2002/004

Ìîñêâà 20022003

c

Àíàòîëüåâ Ñòàíèñëàâ Àíàòîëüåâè÷, 2002 ã.

c

Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà, 2002 ã.

Ñîäåðæàíèå

I

1

Îïèñàíèå êóðñà

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2

Ðåêîìåíäóåìàÿ ëèòåðàòóðà . . . . . . . . . . . . . . . . . . . . . . . . . .

5

Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè

6

1

Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ

. . . . . . . . . . . . . .

6

2

Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè . . . . . . . . . . . . . . . . . . . . .

7

3

Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí

. . . . . . . . . . . . . . . .

8

4

Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . .

9

5

Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé . . . . . . . . . . . .

11

6

Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû

12

7

Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ

. . . . . . . . . . . .

13

8

Ââåäåíèå â àñèìïòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ . . . . . . . . .

18

. . . . . . . . . . . . . . . . .

II Áóòñòðàïîâñêèé ïîäõîä

19

1

Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì . . . . . . . . .

19

2

Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé

. . . . . . . . . . . . . . . . . . . .

20

3

Êàêèå ñòàòèñòèêè áóòñòðàïèòü ? . . . . . . . . . . . . . . . . . . . . . . .

21

4

Êîððåêòèðîâêà ñìåùåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

5

Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà

. . . . . . . . . . . . . . .

23

6

Àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå

. . . . . . . . . . . . . . . . . . . . . .

24

7

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé

. . . . . . . . .

26

8

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ . . . . . . .

27

III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ

28

1

Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå . . . . . . . . . . . . . . . . . . . . .

28

2

Ïðåäñêàçûâàíèå

29

3

Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

4

Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

. . . . . . . . . . .

32

5

Ïðèíöèï àíàëîãèé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

6

Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé

33

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

IV Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî

31

35

1

Ìåòîä íàèìåíüøèõ êâàäðàòîâ

. . . . . . . . . . . . . . . . . . . . . . . .

2

Àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè

3

Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ

4

Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ

3

. . . . . . . . . . . . . . . . . .

35 35

. . . . . . . . . . . . . . .

37

. . . . . . . . . . . . . . . .

38

5

Àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê

. . . . . . . . . . . . . . . . .

39

6

Äîñòóïíàÿ ÎÌÍÊ-îöåíêà . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

7

Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé

. . . . . . . . . . . . . . . . . . . . .

43

8

ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ . . . . . . . . . . . . .

43

V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè

46

1

Ýíäîãåííûå ïåðåìåííûå

. . . . . . . . . . . . . . . . . . . . . . . . . . .

46

2

Òî÷íàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3

Ñâåðõèäåíòèôèêàöèÿ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

4

Íåïîëíàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

5

Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê

50

6

Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ

. . . . . . . . . . . . . . . . . . . . . . . . . .

VI Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî

51

51

1

Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì

. . . . . . . . . . . . . . . .

51

2

Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè

. . . . . . . . . . . . . . . . . . . . .

53

3

Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ

4

Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè

5

Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà

. . . . . . . . . . .

58

6

Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà . . . . . . . . . . . . . . . . . . .

59

7

Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè

. . . . . . . .

53

. . . . . . . . . . . . . . . . .

55

íóëåâîé ãèïîòåçå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

60

Ââåäåíèå 1

Îïèñàíèå êóðñà

Êóðñ ñëóæèò ââåäåíèåì â ïðèíöèïû ñîâðåìåííîãî èñêóññòâà ýêîíîìåòðè÷åñêîãî îöåíèâàíèÿ è ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ (èíôåðåíöèè) êàê äëÿ êðîññ-äàííûõ, òàê è äëÿ âðåìåííûõ ðÿäîâ. Íåóäîâëåòâîðåííîñòü òî÷íûì ïîäõîäîì çàñòàâëÿåò íàñ ðàññìîòðåòü äâå àëüòåðíàòèâû : àñèìïòîòè÷åñêèé è áóòñòðàïîâñêèé ïîäõîäû. Ïîñëå èçó÷åíèÿ âàæíûõ ýêîíîìåòðè÷åñêèõ òîíêîñòåé îáîèõ ïîäõîäîâ êóðñ êîíöåíòðèðóåòñÿ íà ïîñòðîåíèè îöåíîê â ëèíåéíûõ ìîäåëÿõ è èçó÷åíèè èõ ñâîéñòâ. Òåì íå ìåíåå, çàêëþ÷èòåëüíàÿ ÷àñòü êóðñà ïîñâÿùåíà ïðîñòûì íåëèíåéíûì ìîäåëÿì è ìåòîäàì. Àêöåíò äåëàåòñÿ íà êîíöåïòóàëüíóþ ñîñòàâëÿþùóþ, íåæåëè íà ìàòåìàòè÷åñêóþ ñëîæíîñòü, õîòÿ ïîñëåäíÿÿ èíîãäà íåèçáåæíà. Äîìàøíèå çàäàíèÿ ïî êóðñó ñîäåðæàò êàê òåîðåòè÷åñêèå çàäà÷è, òàê è ïðàêòè÷åñêèå çàäàíèÿ, ïîäðàçóìåâàþùèå èñïîëüçîâàíèå ïàêåòà GAUSS. Çàäàíèÿ ñëóæàò âàæíûì èíãðåäèåíòîì îáó÷àþùåãî ïðîöåññà, â êîòîðîì ÷àñòî áóäóò âñòðå÷àòüñÿ òåîðåòè÷åñêèå è ýìïèðè÷åñêèå ïðèìåðû. Âûðàæàþ áëàãîäàðíîñòü Ñåì¼íó Ïîëáåííèêîâó çà ïîäãîòîâêó ÷åðíîâîé âåðñèè êîíñïåêòîâ, Ëþäìèëå Ñîëíöåâîé çà òåõíè÷åñêóþ ïîìîùü, è ñòóäåíòàì Ðîññèéñêîé Ýêîíîìè÷åñêîé Øêîëû çà çàìå÷àíèÿ è íàéäåííûå íåäî÷¼òû. Ìàòåðèàë ïîäãîòîâëåí â ðàìêàõ ïðîåêòà Ñîâåðøåíñòâîâàíèå ïðåïîäàâàíèÿ ñîöèàëüíî-ýêîíîìè÷åñêîãî îáðàçîâàíèÿ â ÂÓÇàõ, ôèíàíñèðóåìîãî Âñåìèðíûì Áàíêîì è ðåàëèçóåìîãî Íàöèîíàëüíûì Ôîíäîì Ïîäãîòîâêè Êàäðîâ (ÍÔÏÊ).

2

Ðåêîìåíäóåìàÿ ëèòåðàòóðà 1. Anatolyev, Stanislav

lutions ,

Intermediate and Advanced Econometrics : Problems and So-

Lecture Notes series, New Economic School, 2002

2. Hayashi, Fumio

Econometrics ,

3. Goldberger, Arthur 4. Greene, William

Princeton University Press, 2000

A Course in Econometrics ,

Econometric Analysis ,

5. Potcher, Benedikt and Prucha, Ingmar

Harvard University Press, 1991

Prentice Hall, 4th edition, 2000

Basic elements of asymptotic theory ,

in :

A

Companion to Theoretical Econometrics , edited by Baltagi, B., Blackwell Publishers, 2001 6. Horowitz, Joel

The bootstrap , in : Handbook of Econometrics , vol. 5, Elsevier Science,

North-Holland, 2001

5

I

Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè

1

Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ

Ïðè ýìïèðè÷åñêîì àíàëèçå äàííûõ âîçíèêàåò ñèòóàöèÿ, êîãäà ýêîíîìåòðèñò, èìåÿ òî÷å÷íóþ îöåíêó íåêîòîðîãî ïàðàìåòðà, õî÷åò èçó÷èòü åå ñòàòèñòè÷åñêèå ñâîéñòâà. Äëÿ ýòîãî åìó íåîáõîäèìî çíàòü ðàñïðåäåëåíèå ïîëó÷åííîé îöåíêè. Çíàòü ðàñïðåäåëåíèå âñåãäà íåîáõîäèìî äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è òåñòèðîâàíèÿ ñòàòèñòè÷åñêèõ ãèïîòåç. Ñóùåñòâóþò äâà ïîäõîäà ê âîïðîñó î ðàñïðåäåëåíèè îöåíèâàåìîãî ïàðàìåòðà :

Òî÷íûé ïîäõîä

òî÷íûé

è

ïðèáëèæåííûé .

îñíîâàí íà ïðåäïîëîæåíèè îá èçâåñòíîñòè âèäà ðàñïðåäåëåíèÿ

äàííûõ. Îñòà¼òñÿ ëèøü òðàíñôîðìèðîâàòü åãî â ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè.

Ïðèìåð. Ïóñòü óñëîâíîå íà ìàëüíûì ñî ñðåäíèì

Xβ

X

ðàñïðåäåëåíèå âåêòîðà

è äèñïåðñèåé

2

σ In ,

Y

áóäåò ìíîãîìåðíûì íîð-

ò.å.

Y |X ∼ N (Xβ, σ 2 In ). Òîãäà ÌÍÊ-îöåíêà òîæå èìååò íîðìàëüíîå óñëîâíîå ðàñïðåäåëåíèå :

βbOLS = (X 0 X)−1 X 0 Y |X ∼ N (β, σ 2 (X 0 X)−1 ). Íåäîñòàòêè òî÷íîãî ïîäõîäà äîñòàòî÷íî î÷åâèäíû.

Âî-ïåðâûõ ,

÷òîáû èñïîëüçî-

âàòü òî÷íûé ïîäõîä, íåîáõîäèìî ñäåëàòü ïðåäïîëîæåíèå î âèäå ðàñïðåäåëåíèÿ äàííûõ.

Âî-âòîðûõ , òî÷íûé ïîäõîä îáû÷íî îãðàíè÷èâàåòñÿ èñïîëüçîâàíèåì íîðìàëüíî-

ãî ðàñïðåäåëåíèÿ, ëèíåéíûõ ìîäåëåé è ïðîñòûõ ñòàòèñòèê, èáî â ïðîòèâíîì ñëó÷àå àíàëèòè÷åñêèé âûâîä ðàñïðåäåëåíèÿ èíòåðåñóþùåé íàñ ñòàòèñòèêè îáû÷íî ñòàíîâèòñÿ î÷åíü òðóäîåìêîé èëè âîîáùå íåïîñèëüíîé çàäà÷åé.

Ïðèáëèæåííûé ïîäõîä

îñíîâàí íà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ

èññëåäóåìîé ñòàòèñòèêè. Â íàñòîÿùåå âðåìÿ ñóùåñòâóþò äâà ìåòîäà â ïðèáëèæåííîì ïîäõîäå : Èäåÿ

àñèìïòîòè÷åñêèé

è

áóòñòðàïîâñêèé .

àñèìïòîòè÷åñêîãî ìåòîäà

â òîì, ÷òîáû äëÿ ïîñòðîåíèÿ ïðèáëèæåííîãî ðàñ-

ïðåäåëåíèÿ ñòàòèñòèêè èñïîëüçîâàòü ïðåäåëüíîå (ïðè ñòðåìëåíèè ðàçìåðà âûáîðêè ê áåñêîíå÷íîñòè) ðàñïðåäåëåíèå âûáîðî÷íûõ ñðåäíèõ. Íåñîìíåííûì äîñòîèíñòâîì òàêîãî ïîäõîäà ÿâëÿåòñÿ òîò ôàêò, ÷òî èñïîëüçóåìûå ïðåäåëüíûå ðàñïðåäåëåíèÿ îáû÷íî ÿâëÿþòñÿ ñòàíäàðòíûìè è çàòàáóëèðîâàííûìè. Ñ äðóãîé ñòîðîíû, àñèìïòîòè÷åñêàÿ àïïðîêñèìàöèÿ ðàñïðåäåëåíèÿ îöåíêè ìîæåò áûòü ïëîõîé, è, áîëåå òîãî, àïðèîðè ìû íå ìîæåì çíàòü, íàñêîëüêî îíà õîðîøà èëè ïëîõà. Äëÿ îòâåòà íà ýòîò âîïðîñ

6

ïðèõîäèòñÿ èñïîëüçîâàòü äîïîëíèòåëüíûå ñèìóëÿöèîííûå èññëåäîâàíèÿ. Êðîìå òîãî, àñèìïòîòè÷åñêèé ìåòîä â ñëîæíûõ ñèòóàöèÿõ ìîæåò ïîòðåáîâàòü çíà÷èòåëüíûõ àíàëèòè÷åñêèõ âûêëàäîê.

Áóòñòðàïîâñêèé ìåòîä

â êà÷åñòâå íåèçâåñòíîãî èñòèííîãî ðàñïðåäåëåíèÿ äàííûõ

èñïîëüçóåò ýìïèðè÷åñêîå ðàñïðåäåëåíèå äàííûõ, ò.å. êàê äàííûå ëåãëè â âûáîðêå.  äàëüíåéøåì ìû ïîäðîáíåå îáñóäèì áóòñòðàïîâñêèé ìåòîä.  íàñòîÿùåå âðåìÿ ýêîíîìåòðèñòû ïðåäïî÷èòàþò èñïîëüçîâàòü ïðèáëèæåííûé ïîäõîä, ïîñêîëüêó òî÷íûé òðåáóåò ðÿäà î÷åíü ñèëüíûõ ïðåäïîëîæåíèé î ìîäåëè è âèäå ðàñïðåäåëåíèÿ äàííûõ. Âðÿä ëè ðàçóìíî ñ÷èòàòü, ÷òî âèä ýòîãî ðàñïðåäåëåíèÿ èçâåñòåí èññëåäîâàòåëþ.

2

Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè

×àñòî èñïîëüçóåìûìè ïîíÿòèÿìè àñèìïòîòè÷åñêîé òåîðèè ÿâëÿþòñÿ

íîñòü, àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü

àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü . bn , ïîëó÷åííîé èç âûáîðñâîéñòâà îöåíêè β

è

Ïóñòü íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå êè ðàçìåðà

n.

ñîñòîÿòåëü-

Ïîñêîëüêó ìû ïðåäïîëàãàåì ñëó÷àéíóþ ïðèðîäó èñõîäíûõ äàííûõ,

ïîñòðîåííàÿ îöåíêà áóäåò ñëó÷àéíîé âåëè÷èíîé. Òàêèì îáðàçîì, ìû èìååì ïîñëåäî-

n

âàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí  äëÿ êàæäîãî

p • ñîñòîÿòåëüíîé , åñëè βbn → β , ãäå β

ñâîÿ

βbn .

Îöåíêà

βbn

ÿâëÿåòñÿ

 èñòèííîå çíà÷åíèå îöåíèâàåìîãî ïàðàìåò-

ðà,

• àñèìïòîòè÷åñêè íîðìàëüíîé ,

åñëè

1 ). Ñîîòâåòñòâåííî, 2

n

àñèìïòîòè÷åñêèì ñìåùåíèåì , Σ



(îáû÷íî

δ =

d nδ (βbn − β) → N (µ, Σ)

δ

íàçûâàåòñÿ

äëÿ êàêîãî-òî

δ>0

ñêîðîñòüþ ñõîäèìîñòè , µ



àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðè-

öåé,

•

áóäó÷è àñèìïòîòè÷åñêè íîðìàëüíîé è àñèìïòîòè÷åñêè íåñìåù¼ííîé íàðÿäó ñ äðóãîé îöåíêîé

βen , àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíîé ,

÷åì

d

βen ,

åñëè ïðè

nδ (βbn − β) → N (0, Σ), d e nδ (βen − β) → N (0, Σ), ìàòðèöà

e −Σ Σ

ÿâëÿåòñÿ íåîòðèöàòåëüíî îïðåäåëåííîé.

Ñîñòîÿòåëüíîñòü îöåíêè  íåîáõîäèìàÿ íîðìà, ãîâîðÿùàÿ, ÷òî ÷åì áîëüøå äàííûõ, òåì áëèæå íàøà îöåíêà ê èñòèííîìó ïàðàìåòðó. Ìîæíî, êîíå÷íî, ïðåäñòàâèòü ñåáå íåñîñòîÿòåëüíóþ îöåíêó, îáëàäàþùóþ æåëàåìûìè ñâîéñòâàìè â ìàëåíüêèõ âûáîðêàõ, íî òàêàÿ ñèòóàöèÿ îòíîñèòñÿ ê ðàçðÿäó ðåäêèõ èñêëþ÷åíèé.

7

Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü âàæíà ïî òîé ïðè÷èíå, ÷òî ïðîâåðêà ñòàòèñòè÷åñêèõ ãèïîòåç è ïîñòðîåíèå äîâåðèòåëüíûõ èíòåðâàëîâ òðåáóþò çíàíèÿ ðàñïðåäåëåíèÿ îöåíêè, à òàê êàê òî÷íîãî ðàñïðåäåëåíèÿ ìû íå çíàåì, ïîëüçóåìñÿ àñèìïòîòè÷åñêèì, íîðìàëüíûì, ðàñïðåäåëåíèåì. Çäåñü ôèãóðèðóåò èìåííî íîðìàëüíîå ðàñïðåäåëåíèå, ïîñêîëüêó ïðåäåëüíûå òåîðåìû, ÿâëÿþùèåñÿ ñåðäöåì àñèìïòîòèòåñêîé òåîðèè, ãîâîðÿò èìåííî î íîðìàëüíîñòè ýìïèðè÷åñêèõ ñðåäíèõ â áåñêîíå÷íûõ âûáîðêàõ. Ýôôåêòèâíîñòü îöåíêè æåëàòåëüíà, ïîñêîëüêó ÷åì áîëåå ýôôåêòèâíà îöåíêà, òåì òî÷íåå îíà ïðåäñêàçûâàåò èñòèííûé ïàðàìåòð. Ðàñøèðÿÿ îïðåäåëåíèå, ìîæíî ñêàçàòü, ÷òî äèñïåðñèÿ ýôôåêòèâíîé îöåíêè ìèìíèìàëüíà ñðåäè äèñïåðñèé îöåíîê èç íåêîòîðîãî êëàññà.

3

Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí

Ïðè ïðåäïîëîæåíèè î ñëó÷àéíîé ïðèðîäå èñõîäíûõ äàííûõ ïîñòðîåííûå îöåíêè ÿâëÿþòñÿ, êàê ïðàâèëî, ñëó÷àéíûìè âåëè÷èíàìè. Äëÿ äàëüíåéøåãî èññëåäîâàíèÿ ñòàòèñòè÷åñêèõ ñâîéñòâ îöåíîê äàäèì íåñêîëüêî îïðåäåëåíèé è ðåçóëüòàòîâ, îòíîñÿùèõñÿ ê òèïàì ñõîäèìîñòè ïîñëåäîâàòåëüíîñòåé ñëó÷àéíûõ âåëè÷èí.

Îïðåäåëåíèå 1 (ñõîäèìîñòü ïî÷òè íàâåðíîå). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü

Zn

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå as ðîÿòíîñòüþ åäèíèöà ), ò.å. Zn → Z , åñëè

P

n

lim Zn = Z

n→∞

o

Z ïî÷òè íàâåðíîå

(èëè

ñ âå-

= 1,

Z.

ò.å. ïî÷òè êàæäàÿ òðàåêòîðèÿ ñõîäèòñÿ ê

Îïðåäåëåíèå 2 (ñõîäèìîñòü ïî âåðîÿòíîñòè). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü p

Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî âåðîÿòíîñòè , ò.å. Zn → Z èëè

p lim Zn = Z ,

åñëè

∀ε > 0

lim P {kZn − Zk > ε} = 0,

n→∞

ò.å. âåðîÿòíîñòü áîëüøèõ îòêëîíåíèé îò

Z

ñòðåìèòñÿ ê 0.

Îïðåäåëåíèå 3 (ñõîäèìîñòü â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü

â ñðåäíåêâàäðàòè÷åñêèõ

Zn

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå ms îòêëîíåíèÿõ , ò.å. Zn → Z , åñëè

  lim E kZn − Zk2 = 0,

n→∞

ò.å. ñðåäíåêâàäðàòè÷åñêàÿ îøèáêà ñòðåìèòñÿ ê 0.

8

Z

Îïðåäåëåíèå 4 (ñõîäèìîñòü ïî ðàñïðåäåëåíèþ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü d Zn →

Zn Z

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå d èëè Zn → DZ , ãäå DZ  ðàñïðåäåëåíèå Z , åñëè

Z ïî ðàñïðåäåëåíèþ , ò.å.

lim P {Zn ≤ z} = P {Z ≤ z}

n→∞ äëÿ âñåõ òî÷åê íåïðåðûâíîñòè

z

ðàñïðåäåëåíèÿ

DZ .

Ìîæíî ïîêàçàòü, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè ñëåäóåò èç ñõîäèìîñòè ïî÷òè íàâåðíîå èëè ñõîäèìîñòè â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ. Ñõîäèìîñòü ïî ðàñïðåäåëåíèþ, â ñâîþ î÷åðåäü, âûòåêàåò èç ñõîäèìîñòè ïî âåðîÿòíîñòè.

as

p

ms

Ðåçóëüòàò 1.

{Zn → Z

Ðåçóëüòàò 2.

Zn → Z ⇒ Zn → Z .

p

èëè

Zn → Z} ⇒ Zn → Z . d

Ðåçóëüòàò 3. Åñëè

Z

 êîíñòàíòà, òî

p

d

Zn → Z ⇔ Zn → Z

Ïðèìåð. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí

Z Z Z Z Z , , , ,..., ,..., 1 2 3 4 n

{Zn } : ãäå

Z èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå. Òîãäà E(Zn ) = 0 è V ar(Zn ) =

Òàêèì îáðàçîì

4

ms

Zn → 0,

à, ñëåäîâàòåëüíî, è

p

1 . n2

Zn → 0.

Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí

Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ òåîðåì, êîòîðûå íàì ïîíàäîáÿòñÿ âïîñëåäñòâèè. Çäåñü îíè ïðèâåäåíû áåç äîêàçàòåëüñòâà.

Òåîðåìà (ÌàííàÂàëüäà). Ïóñòü ôóíêöèÿ

g : Rk1 ×k2 → Rl1 ×l2

íåïðåðûâíà, à

Zn



ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí. Òîãäà

as

•

åñëè

Zn → Z ,

•

åñëè

Zn → Z ,

•

åñëè

Zn → Z

•

åñëè

Zn → Z ,

p

ms

d

Çàìå÷àíèå : Åñëè

as

òî

g(Zn ) → g(Z),

òî

g(Zn ) → g(Z),

è

p

g

òî

Z

ëèíåéíà, òî

ms

g(Zn ) → g(Z),

d

g(Zn ) → g(Z). êîíñòàíòà, òî äëÿ âûïîëíåíèÿ òåîðåìû äîñòàòî÷íà òîëüêî ëî-

êàëüíàÿ íåïðåðûâíîñòü ôóíêöèè

g

â òî÷êå

Z.

Òåîðåìà (Ñëóöêîãî). Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí âåðîÿòíîñòè ê íåêîòîðîé êîíñòàíòå

U,

Un

ñõîäèòñÿ ïî

à ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí p d ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå V , ò.å. Un → U è Vn → V , òî

9

Vn

d

• Un + Vn → U + V, d

• Un Vn → U V, d

• Un−1 Vn → U −1 V ,

åñëè

P r{det(Un ) = 0} = 0.

Åù¼ ðàç îáðàòèì âíèìàíèå íà òîò ôàêò, ÷òî â òåîðåìå Ñëóöêîãî îäíà ïîñëåäîâàòåëüíîñòü äîëæíà ñõîäèòüñÿ

ïî âåðîÿòíîñòè ê êîíñòàíòå .

Åñëè ýòî íå òàê, òî

òåîðåìà, âîîáùå ãîâîðÿ, íå âåðíà. Ñëåäóþùèé ïðèìåð äåìîíñòðèðóåò ýòî.

Ïðèìåð. Ïóñòü ñëó÷àéíàÿ âåëè÷èíà ëåíèå, ò.å.

Îäíàêî,

èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäå-

Z ∼ N (0, 1).

Ðàññìîòðèì äâå ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí : p d è {Xn } = {Z, −Z, Z, −Z, . . . }. ßñíî, ÷òî {Zn } → Z è {Xn } →

{Zn } = {Z, Z, Z, Z, . . .} Z.

Z

{Zn + Xn } = {2Z, 0, 2Z, 0, 2Z, . . . }.

Òàêèì îáðàçîì, ïîñëåäîâàòåëüíîñòü

ñóììû ñëó÷àéíûõ âåëè÷èí íå ñõîäèòñÿ âîîáùå íèêóäà, ò.å. òåîðåìà Ñëóöêîãî íåïðèìåíèìà.

Òåîðåìà (Äåëüòà Ìåòîä). Ïóñòü ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåêòîðîâ ìåðíîñòè

k×1

óäîâëåòâîðÿåò óñëîâèþ

êîíñòàíòà, à ôóíêöèÿ

k

g: R → R √

ãäå

G=

l

√

d

n(Zn − Z) → N (0, Σ),

ãäå

Z

ðàç-

Z = p lim Zn

íåïðåðûâíî äèôôåðåíöèðóåìà â òî÷êå

Z.



Òîãäà

d

n(g(Zn ) − g(Z)) → N (0, GΣG0 ),

∂g(z) | . ∂z 0 z=Z

Ïðèìåðû 1 è 2 äåìîíñòðèðóþò ïðèìåíåíèå òåîðåìû ÌàííàÂàëüäà è Äåëüòà Ìåòîäà íà ïðàêòèêå.

Ïðèìåð 1. Ïóñòü

p

x→µ

ðåíöèðóåìóþ ôóíêöèþ

è

√

d

n(x − µ) → N (0, Σ).

g(x) = x0 x.

Ðàññìîòðèì íåïðåðûâíî äèôôå-

Ïî òåîðåìå ÌàííàÂàëüäà

√ d Σ−1/2 n(x − µ) → N (0, Ik ), ãäå

(Σ−1/2 )0 Σ−1/2 = Σ−1 .

Òàêèì îáðàçîì, ïîëó÷àåì ñëåäóþùèé ðåçóëüòàò :

√

d

n(x − µ)0 Σ−1 (x − µ) → χ2 (k).

Èñïîëüçóÿ Äåëüòà Ìåòîä è ó÷èòûâàÿ, ÷òî

√ Ïðèìåð 2. Ïóñòü

√

G=

∂(x0 x) | ∂x0 µ

= 2x0 |µ = 2µ0 ,

d

n(x0 x − µ0 µ) → N (0, 4µ0 Σµ).

    x1 µ1 d n − → N (0, I2 ). x2 µ2

10

ïîëó÷èì :

Ðàññìîòðèì íåïðåðûâíî äèôôåðåíöèðóåìóþ ôóíêöèþ

g

x1 x2

Âàëüäà,




=

x1 . Ïî òåîðåìå Ìàííà x2

x1 − µ1 d N (0, 1) → , x 2 − µ2 N (0, 1) ò.å. èíòåðåñóþùàÿ íàñ âåëè÷èíà èìååò ðàñïðåäåëåíèå Êîøè. Ïðèìåíÿÿ æå Äåëüòà Ìåòîä, èìååì :

  x1 x2 G= ∂(x1 , x2 ) ∂

òàê ÷òî

√

5

= (µµ12 )



1 µ1 ,− µ2 µ2





 2  µ1

x 1 µ1 d  1 + µ2 n − → N 0, x 2 µ2 µ22 



,

 .

Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé

Îñíîâíûìè èíñòðóìåíòàìè ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ â àñèìïòîòè÷åñêîì ïîäõîäå ÿâëÿþòñÿ

ìû

Çàêîíû Áîëüøèõ ×èñåë

(ÇÁ×) è

Öåíòðàëüíûå Ïðåäåëüíûå Òåîðå-

(ÖÏÒ). ÇÁ× ïðåäñòàâëÿåò ñîáîé ðåçóëüòàò î ñõîäèìîñòè âûáîðî÷íîãî ñðåäíåãî

ê ïîïóëÿöèîííîìó ñðåäíåìó, ÖÏÒ äàåò ïðåäñòàâëåíèå î ïðåäåëüíîì ðàñïðåäåëåíèè îïðåäåëåííûì îáðàçîì íîðìèðîâàííîãî öåíòðèðîâàííîãî âûáîðî÷íîãî ñðåäíåãî. Ñóùåñòâóåò äîâîëüíî áîëüøîå êîëè÷åñòâî ôîðìóëèðîâîê ÇÁ× è ÖÏÒ. Íàñ áóäóò èíòåðåñîâàòü ïðåäåëüíûå òåîðåìû äëÿ äâóõ îñíîâíûõ ñëó÷àåâ : ñëó÷àé

áëþäåíèé

è ñëó÷àé

ñòàöèîíàðíûõ ýðãîäè÷íûõ âðåìåííûõ ðÿäîâ .

íåçàâèñèìûõ íàÄàëåå ïðèâîäÿòñÿ

ÇÁ× è ÖÏÒ äëÿ íåçàâèñèìûõ èëè ñåðèéíî íåñêîððåëèðîâàííûõ ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí.

Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

{Zn }∞ i=1

íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû.

Êðîìå òîãî, ïóñòü ñóùåñòâóåò ìàòåìàòè÷åñêîå îæèäàíèå

E|Zi |.

Òîãäà

n

1X as Zi → E[Zi ]. n i=1 Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

∞,

2 {Zn }∞ i=1 íåçàâèñèìû è èìåþò êîíå÷íûå äèñïåðñèè σi . Åñëè

òî

σi2 i=1 i2

P∞


q1− α 2

.  ïðîòèâíîì ñëó÷àå ãèïîòåçà ïðèíèìàåò-

ñÿ. Îñòàëîñü ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè. Îêàçûâàåòñÿ, âûáîðî÷íàÿ äèñïåðñèÿ áóäåò ñîñòîÿòåëüíîé îöåíêîé äëÿ äèñïåðñèè :

v v u n u n X u1 X u1 p 2 t (Zi − Z n ) = t (Zi − µ)2 − (Z n − µ)2 → σ, σ b= n i=1 n i=1 ïîñêîëüêó èç ÇÁ× ñëåäóåò, ÷òî

7

1 n

Pn

i=1 (Zi

p

− µ)2 → E[(Zi − µ)2 ] = σ 2

è

p

(Z n − µ)2 → 0.

Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ

Äî ñèõ ïîð ìû ðàññìàòðèâàëè àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê â ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé, è åñëè ó íàñ åñòü ïîñëåäîâàòåëüíîñòü ìîãëè ñêàçàòü, ÷òî ó íàñ èìååòñÿ

n

Z 1 , Z2 , Z3 , . . . , Zn ,

ìû

íàáëþäåíèé.  ñëó÷àå âðåìåííûõ ðÿäîâ (íàáëþ-

äåíèé âî âðåìåíè) ýòî, âîîáùå ãîâîðÿ, íå òàê. Êàæäàÿ òðàåêòîðèÿ

îäíî íàáëþäåíèå ,

ïðåäñòàâëÿåò ñîáîé â îáùåì ñëó÷àå

Z1 , Z2 , Z3 , . . . , ZT

à èç îäíîãî íàáëþäåíèÿ äå-

ëàòü ñòàòèñòè÷åñêèå âûâîäû ïðîáëåìàòè÷íî. Ïîýòîìó íà ïðèðîäó èñõîäíûõ äàííûõ ïðèõîäèòñÿ íàêëàäûâàòü êàêóþ-òî ñòðóêòóðó. ×àñòî äëÿ ýòîãî èñïîëüçóþòñÿ ïðåäïîëîæåíèÿ î

ñòàöèîíàðíîñòè è ýðãîäè÷íîñòè

 ýòî ñòàáèëüíîñòü ðàñïðåäåëåíèÿ

Zt

ðÿäà. Ãðóáî ãîâîðÿ,

âî âðåìåíè, à

ñòàöèîíàðíîñòü

ýðãîäè÷íîñòü

 ýòî ïîòåðÿ

ïàìÿòè, èëè àñèìïòîòè÷åñêàÿ íåçàâèñèìîñòü îò íà÷àëüíûõ äàííûõ. Äàäèì áîëåå ÷åòêèå îïðåäåëåíèÿ :

Îïðåäåëåíèå. Âðåìåííîé ðÿä íàçûâàåòñÿ ðàñïðåäåëåíèå

Zt , Zt−1 , . . . , Zt−k

ñòðîãî ñòàöèîíàðíûì ,

íå çàâèñèò îò

t

äëÿ ëþáûõ

åñëè ñîâìåñòíîå

k.

Ïîñêîëüêó òî÷íîå îïðåäåëåíèå ýðãîäè÷íîñòè èñïîëüçóåò ïîíÿòèÿ òåîðèè ìåðû, äàäèì èíòóèòèâíîå îïðåäåëåíèå :

Îïðåäåëåíèå. Âðåìåííîé ðÿä òè÷åñêè íåçàâèñèìû ïðè

Zt

íàçûâàåòñÿ

k → ∞.

13

ýðãîäè÷íûì , åñëè Zt

è

Zt+k

àñèìïòî-

Ïðèâåäåì ïðèìåðû ðàçëè÷íûõ ñòàöèîíàðíûõ èëè íåñòàöèîíàðíûõ è ýðãîäè÷íûõ èëè íåýðãîäè÷íûõ âðåìåííûõ ðÿäîâ.

Ïðèìåð 1 (ñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).

• Zt ∼ iid,

íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ,

• εt ∼ iid(0, σ 2 ),

ñèëüíûé áåëûé øóì,

• AR(1) : zt = ρzt−1 + εt , |ρ| < 1, • M A(1) : zt = εt + θεt−1 . Ïðèìåð 2 (íåñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).

• zt = zt−1 + εt ,

ñëó÷àéíîå áëóæäàíèå. Çäåñü äèñïåðñèÿ íàáëþäåíèé ðàñòåò ñî

V ar(zt ) = V ar(zt−1 ) + σε2 , ò.å. ðÿä íå ìîæåò áûòü ñòàöèîíàðåí. Êðîìå Pt íà÷àëüíûå äàííûå íå çàáûâàþòñÿ ñî âðåìåíåì : zt = z0 + i=1 εi , è ðÿä

âðåìåíåì : òîãî,

íåýðãîäè÷åí.

Ïðèìåð 3 (ñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).

•

Ïóñòü

z ∼ N (0, 1)

è

zt = z + εt ,

ãäå

εt

è

z

íåçàâèñèìû. Î÷åâèäíî, ÷òî ðÿä

zt

ñòàöèîíàðåí, íî íåýðãîäè÷åí.

Ïðèìåð 4 (íåñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).

•

Ñåçîííûé ðÿä :

zt = s(τ, t) + εt ,

ãäå

s(τ, t) = s(τ, t + τ ).

Ðåçóëüòàò. Åñëè ñëó÷àéíûé ïðîöåññ zt ÿâëÿåòñÿ ñòàöèîíàðíûì è ýðãîäè÷íûì, è åñëè

Yt = f (zt , zt−1 . . .)

åñòü ñëó÷àéíàÿ âåëè÷èíà, òî

Yt

òàêæå ÿâëÿåòñÿ ñòàöèîíàðíûì è

t

íàçûâàþòñÿ âñå ðåàëèçîâàâøèåñÿ

ýðãîäè÷íûì ðÿäîì.

Îïðåäåëåíèå. çíà÷åíèÿ

zk

Èíôîðìàöèåé

âïëîòü äî

Îïðåäåëåíèå. Ðÿä

íèé

zt

zt ,

ò.å.

â ìîìåíò âðåìåíè

It = {zt , zt−1 , . . .}.

íàçûâàåòñÿ

ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùå-

(ÏÌÏ) ïî îòíîøåíèþ ê ñâîåìó ïðîøëîìó, åñëè

E[zt |It−1 ] = 0.

Ñôîðìóëèðóåì ÇÁ× è ÖÏÒ äëÿ âðåìåííûõ ðÿäîâ.

Òåîðåìà ÁèðêîôôàÕèí÷èíà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä ñòàöèîíàðåí è ýðãîäè÷åí. Êðîìå òîãî, ïóñòü

E[|Zt |] < ∞,

T 1X as Zt → E[Zt ] T t=1

14

òîãäà

{Zt }+∞ t=−∞

ïðè

T → ∞.

Òåîðåìà Áèëëèíãñëåÿ (ïîñëåäîâàòåëüíîñòü ìàðòèíãàëüíûõ ïðèðàùåíèé). Ïóñòü ðÿä

{Zt }+∞ t=−∞ ñòàöèîíàðåí, ýðãîäè÷åí è ÿâëÿåòñÿ ÏÌÏ ïî îòíîøåíèþ ê ñâîåìó σ 2 = E[Zt2 ] < ∞,

ïðîøëîìó. Êðîìå òîãî, ïóñòü

òîãäà

T 1 X d √ Zt → N (0, σ 2 ) T t=1 ïðè

T → ∞.

Òåîðåìà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä

{Zt }+∞ t=−∞

ñòàöèîíàðåí è ýðãîäè-

÷åí. Êðîìå òîãî, ïóñòü

2

σ =

+∞ X

Cov[Zt , Zt−j ] < ∞.

j=−∞ Òîãäà ïðè îïðåäåëåííûõ óñëîâèÿõ,

√

ïðè

T

T 1X Zt − E[Zt ] T t=1

!

d

→ N (0, σ 2 )

T → ∞.

Ïðèâåäåì ïðèìåðû èñïîëüçîâàíèÿ èçëîæåíûõ âûøå òåîðåì äëÿ èññëåäîâàíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ îöåíîê íà âðåìåííûõ ðÿäàõ.

Ïðèìåð. Ðàññìîòðèì àâòîðåãðåññèîííûé ïðîöåññ ïåðâîãî ïîðÿäêà

AR(1) :

xt = ρxt−1 + εt , |ρ| < 1, εt ∼ iid(0, σ 2 ). Íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè

ρb =

PT

xt−1 xt Pt=2 T 2 t=2 xt−1

PT

= ρ + Pt=2 T

xt−1 εt

t=2

x2t−1

.

Ïî òåîðåìå ÁèðêîôôàÕèí÷èíà,

T

1 X p xt−1 εt → E[xt−1 εt ] = 0, T − 1 t=2 T

1 X 2 p xt−1 → E[x2t−1 ]. T − 1 t=2 Ñëåäîâàòåëüíî, ïî òåîðåìå Ñëóöêîãî îöåíêà p ρb → ρ.

ρb ÿâëÿåòñÿ

ñîñòîÿòåëüíîé îöåíêîé, ò.å.

Òåïåðü íàéäåì àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÌÍÊ-îöåíêè :

√

T (b ρ − ρ) =

√1 T −1 1 T −1

PT

t=2 xt−1 εt PT 2 t−2 xt−1

15

r

T . T −1

q

PT p T 1 2 2 → 1, à T −1 t−2 xt−1 → E[xt−1 ]. Ïîêàæåì, ÷òî ïîñëåäîâàòåëüT −1 n→∞ íîñòü xt−1 εt ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé ïî îòíîøåÎ÷åâèäíî, ÷òî

íèþ ê ñâîåìó ïðîøëîìó, ò.å. èíôîðìàöèîííîìó ìíîæåñòâó

It−1 = {xt−2 εt−1 , xt−3 εt−2 . . .} :

E[xt−1 εt |It−1 ] = E[E[xt−1 εt |xt−1 , xt−2 εt−1 . . .]|It−1 ] = 0, ò.å. ïîñëåäîâàòåëüíîñòü

xt−1 εt

ÿâëÿåòñÿ ÏÌÏ. Òàêèì îáðàçîì, ìû ìîæåì ïðèìåíèòü

ÖÏÒ Áèëëèíãñëåÿ :

T

X 1 d √ xt−1 εt → N (0, E[x2t−1 ε2t ]). T − 1 t=2 Çàìåòèâ, ÷òî

E[x2t ] = V ar[xt ] = ρ2 V ar[xt−1 ] + σ 2 =

ðåçóëüòàò :

√

σ2 , ïîëó÷èì îêîí÷àòåëüíûé 1−ρ2

d

T (b ρ − ρ) → N (0, 1 − ρ2 ).

Ñîîòâåòñòâóþùàÿ ïèâîòàëüíàÿ ñòàòèñòèêà áóäåò

√ T (b ρ − ρ) d p → N (0, 1). 1 − ρb2

ρ åñòü " # r r 1 − ρb2 1 − ρb2 CIρ = ρb − 1.96 ; ρb + 1.96 . T T

 ðåçóëüòàòå, 95%-íûé äîâåðèòåëüíûé èíòåðâàë äëÿ

Îáðàòèìñÿ åùå ðàç ê ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé. Âèä âàðèàöèîííîé ìàòðèöû â àñèìïòîòè÷åñêîì ðàñïðåäåëåíèè îöåíêè òðåáóåò íåêîòîðîãî ïîÿñíåíèÿ. Êîãäà ìû èìååì äåëî ñ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé

0

äëÿ

j > 0,

σ 2 = E[Zt2 ].

Zt , ó íàñ E[Zt Zt−j ] =

ïîýòîìó àñèìïòîòè÷åñêàÿ äèñïåðñèÿ äëÿ ÏÌÏ èìååò ïðîñòîé âèä :

Îäíàêî, âñ¼ ñëîæíåå äëÿ áîëåå çàâèñèìûõ íàáëþäåíèé :

# " T # T X 1 1 X Zt = V ar Zt = V ar √ T T t=1 t=1 1 = [T V ar(Zt ) + (T − 1)Cov(Zt , Zt+1 ) + (T − 1)Cov(Zt , Zt−1 ) + T + (T − 2)Cov(Zt , Zt+2 ) + (T − 2)Cov(Zt , Zt−2 ) + . . . + +∞ X + Cov(Z1 , ZT ) + Cov(ZT , Z1 )] → Cov(Zt , Zt−j ). "

T →∞

j=−∞

Ðàññìîòðèì ïðèìåð ñ çàâèñèìûìè íàáëþäåíèÿìè, êîãäà àñèìïòîòè÷åñêóþ äèñïåðñèîííóþ ìàòðèöó ïðèõîäèòñÿ ñ÷èòàòü ïî óêàçàííîé âûøå ôîðìóëå. ßñíî, ÷òî â ýòîì ñëó÷àå îøèáêè äîëæíû áûòü ñêîððåëèðîâàíûìè.

16

Ïðèìåð. Ðàññìîòðèì ïðîöåññ ñêîëüçÿùåãî ñðåäíåãî ïåðâîãî ïîðÿäêà

M A(1) :

zt = εt + θεt−1 , εt ∼ iid(0, σ 2 ). Çàìåòèì, ÷òî

V ar(zt ) = (1 + θ2 )σ 2 , Cov(zt , zt−1 ) = θσ 2 , Cov(zt , zt−j ) = 0, j > 1.  ýòîì ñëó÷àå,

+∞ X

Cov(zt , zt−j ) = (1 + θ2 )σ 2 + 2θσ 2 = (1 + θ)2 σ 2 .

j=−∞ Òîãäà, ñîãëàñíî ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé,

T 1 X d √ zt → N (0, (1 + θ)2 σ 2 ). T t=1 Îáðàòèì âíèìàíèå íà òî, ÷òî â ýòîì ñëó÷àå

{zt−1 , zt−2 , zt−3 . . .},

ò.ê.

zt

íå ÿâëÿåòñÿ ÏÌÏ îòíîñèòåëüíî

It =

E[zt |zt−1 , zt−2 , . . .] = θεt−1 6= 0.

Äëÿ ïîëó÷åíèÿ ïèâîòàëüíîé ñòàòèñòèêè âîçíèêàåò íåîáõîäèìîñòü ñîñòîÿòåëüíîãî îöåíèâàíèÿ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöû. Âèä èñêîìîé îöåíêè ìîæåò áûòü

T T −1 T X 1 X 1X 0 b Ω= (Zt − Z)(Zt − Z) + {(Zt − Z)(Zt−j − Z)0 + (Zt − Z)(Zt+j − Z)0 }. T t=1 T j=1 t=j+1 Óâû, òàêàÿ îöåíêà íå áóäåò ñîñòîÿòåëüíîé, ò.å.

p b9 Ω Ω. Äåëî â òîì, ÷òî èç-çà êîíå÷íî-

ñòè âûáîðêè íåâîçìîæíî ñîñòîÿòåëüíî îöåíèòü êðàéíèå ÷ëåíû ðÿäà. Òàêèì îáðàçîì, èñïîëüçóÿ ýðãîäè÷íîñòü, íåîáõîäèìî îáðåçàòü ðÿä íà ñëàãàåìîì íîìåð òàêîì, ÷òîáû ïðè

T →∞

ìû èìåëè

m→∞

è

m/T → 0.

m 0.

Ïîëîæèòü

2. Âûáðîñèòü òå íàáëþäåíèÿ, äëÿ êîòîðûõ 3. Ïîëîæèòü

σ b2 (xi ) =

1 n

Pn

σ b2 (xi ) < 0.

σ b2 (xi ) = max(zi0 γ b, δ).

σ b2 (xi ) < 0.

0 b äëÿ òåõ íàáëþäåíèé, äëÿ êîòîðûõ j=1 zj γ

σ b2 (xi ) < 0.

Ðåçóëüòàò. Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ïðàâèëüíî ñïåöèôèöèðîâàíà, òî ÄÎÌÍÊîöåíêà

βeF

àñèìïòîòè÷åñêè ýêâèâàëåíòíà ÎÌÍÊ-îöåíêå

√

d

βe,

ò.å.

n(βeF − β) → N (0, Q−1 xx/σ 2 ).

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå åñòü

n X xi x0i b Vβ = n σ b2 (xi ) i=1

!−1

.

Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ñïåöèôèöèðîâàíà íåïðàâèëüíî, òî îöåíêà ìåíåå, îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

√

  d −1 −1 e n(βF − β) → N 0, Qxx/σ2 Qxx/σ4 e2 Qxx/σ2 , 42

βeF ,

òåì íå

ãäå èñïîëüçîâàíû ñëåäóþùèå îáîçíà÷åíèÿ :

Qxx/σ2

 xx0 =E 0 , zγ 

Qxx/σ4 e2

 xx0 2 =E e . (z 0 γ)2 

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå ðàâíà

X xi x0

i

Vbβ = n 7

i

zi0 γ b

!−1

X xi x0 i 2 eb 0 2 i (z γ b ) i i

X xi x0

i

i

zi0 γ b

!−1

.

Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé

 ñëó÷àå, êîãäà íàáëþäåíèÿ ïðåäñòàâëÿþò ñîáîé íåñëó÷àéíóþ âûáîðêó, äèñïåðñèîííàÿ ìàòðèöà îøèáîê îöåíêè

βb = (X 0 X)−1 X 0 y

Ω = V ar[y|X]

íå ÿâëÿåòñÿ äèàãîíàëüíîé. Äèñïåðñèÿ ÌÍÊ-

â ýòîì ñëó÷àå åñòü

b V ar[β|X] = (X 0 X)−1 X 0 ΩX(X 0 X)−1 , à äèñïåðñèÿ ÎÌÍÊ-îöåíêè

βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y

åñòü

e V ar[β|X] = (X 0 Ω−1 X)−1 . ×òîáû ïîñòðîèòü ïèâîòàëüíóþ ñòàòèñòèêó â ñëó÷àå íåñëó÷àéíûõ íàáëþäåíèé, íåîáõîäèìî ïàðàìåòðèçîâàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê

Ω

íåáîëüøèì ÷èñëîì ïà-

ðàìåòðîâ.

8

ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ðåãðåññèîííóþ ìîäåëü :

yt = x0t β + et , ãäå

{(xt , yt )}Tt=1

E[e2t |It−1 ] = σ 2 (It−1 ),

E[et |It−1 ] = 0,

 ñòàöèîíàðíûé è ýðãîäè÷íûé ïðîöåññ, à

It−1 = {yt−1 , yt−2 , . . . ; xt , xt−1 , . . .}. Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :

xt = (yt−1 , yt−2 , . . . , yt−p )0 .

•

Ìîäåëü

•

Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :

AR(p),

ãäå

st+1 − st = α + β(ft − st ) + et , ãäå

ft

 öåíà ôîðâàðäíîãî êîíòðàêòà, à

43

st

E[et |It−1 ] = 0,

 òåêóùèé îáìåííûé êóðñ.

•

Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :

E[et |It−1 ] = 0,

πt+1 = α + βit + et , ãäå

πt+1

 èíôëÿöèÿ, à

it

 ïðîöåíòíàÿ ñòàâêà.

Çàìåòèì, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

E[Y |X]

íå åñòü

Xβ ,

ïîýòîìó íå

ñëåäóåò îæèäàòü õîðîøèõ ñâîéñòâ â êîíå÷íûõ âûáîðêàõ. Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ- è ÎÌÍÊ-îöåíîê.

ÌÍÊ-îöåíêà. ßñíî, ÷òî ÌÍÊ-îöåíêà ñîñòîÿòåëüíà : T X

βb =

xt x0t

!−1

T X

p

xt yt → β.

t=1

t=1

Ýòî ñëåäóåò èç òîãî, ÷òî :

E[xt et ] = E[E[xt et |It−1 ]] = E[xt E[et |It−1 ]] = 0. Êðîìå òîãî, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ ïîñëåäîâàòåëüíîñòåé ìàðòèíãàëüíûõ ïðèðàùåíèé ñëåäóåò àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü ÌÍÊ-îöåíêè :

√ ãäå

d T (βb − β) → N (0, Vβ ),

−1 Vβ = Q−1 xx Qe2 xx Qxx ,

Qxx = E[xt x0t ], Qe2 xx = E[xt x0t e2t ]. Íåäèàãîíàëüíûå ýëåìåíòû ìàòðèöû Qe2 xx

ðàâíû

0, ïîñêîëüêó

E[xt et x0t−j et−j ] = E[E[xt et x0t−j et−j |It−1 ]] = E[xt E[et |It−1 ]x0t−j et−j ] = 0. ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà â ìîäåëÿõ áåç ñåðèéíîé êîððåëÿöèèè â îøèáêàõ, î÷åâèäíî, òîæå áóäåò ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà. Âûãëÿäèò ÎÌÍÊîöåíêà ñëåäóþùèì îáðàçîì :

βe =

T X t=1

xt x0t 2 σ (It−1 )

!−1

T X

xt yt . 2 σ (It−1 ) t=1

Íà ïðàêòèêå ÎÌÍÊ-îöåíêà ðåäêî èñïîëüçóåòñÿ âî âðåìåííûõ ðÿäàõ, ïîñêîëüêó òðåáóåò çíàíèÿ èëè ñîñòîÿòåëüíîãî îöåíèâàíèÿ ñêåäàñòè÷íîé ôóíêöèè â ïðèíöèïå ìîæåò çàâèñåòü îò áåñêîíå÷íîé ïðåäûñòîðèè

σ 2 (It−1 ), êîòîðàÿ

It−1 .

Òåïåðü ðàññìîòðèì ðåãðåññèîííóþ ìîäåëü íà âðåìåííûõ ðÿäàõ áîëåå îáùåãî âèäà, ñ âîçìîæíîñòüþ ñåðèéíîé êîððåëÿöèè â îøèáêàõ :

yt = x0t β + et , ãäå

E[et |It−q ] = 0,

It−q = {yt−q , yt−q−1 , . . . ; xt , xt−1 , . . .}.

Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :

44

E[e2t |It−q ] = σ 2 (It−q ),

xt = (yt−q , yt−q−1 , . . . , yt−q−p+1 )0 .

•

Ìîäåëü

•

Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :

ARM A(p, q),

ãäå

st+q − st = α + β(ft,q − st ) + et , ãäå

ft,q

 öåíà ôîðâàðäíîãî êîíòðàêòà íà

q

E[et |It−q ] = 0,

ïåðèîäîâ âïåðåä, à

st

 òåêóùèé

îáìåííûé êóðñ.

•

Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :

πt+q = α + βit,q + et , ãäå

πt+q

 èíôëÿöèÿ, à

it,q

E[et |It−q ] = 0,

 ïðîöåíòíàÿ ñòàâêà íà

ÌÍÊ-îöåíêà. T X

βb =

xt x0t

!−1

t=1

T X

q

ïåðèîäîâ âïåðåä.

xt yt .

t=1

Îöåíêà îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé, ò.å.

√ íî ìàòðèöà

Qe2 xx

d T (βb − β) → N (0, Vβ ),

−1 Vβ = Q−1 xx Qe2 xx Qxx ,

ñ÷èòàåòñÿ ïî ôîðìóëå

Qe2 xx =

E[xt x0t e2t ]

+

q−1 X

(E[xt x0t−j et et−j ] + E[xt x0t+j et et+j ]).

j=1

Ñóììà ñîäåðæèò êîíå÷íîå ÷èñëî êîìïîíåíò

2q − 1,

èáî äëÿ

j >q−1

0 E[xt x0t−j et et−j ] = E[E[xt Xt−j et et−j |It−q ]] = E[xt x0t−j E[et |It−q ]et−j ] = 0. ×òîáû ñîñòîÿòåëüíî îöåíèòü àñèìïòîòè÷åñêóþ äèñïåðñèþ ÌÍÊ-îöåíêè

Vβ

â ñëó÷àå

ñåðèéíîé êîððåëÿöèè îøèáîê, ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ôîðìóëîé ÍüþèÓýñòà.

ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà íå èñïîëüçóåòñÿ â ìîäåëÿõ ñ ñåðèéíîé êîððåëÿöèåé îøèáîê. Çàìåòèì,÷òî â ýòîì ñëó÷àå

βe 6=

T X t=1

xt x0t 2 σ (It−1 )

!−1

45

T X

xt yt . 2 σ (It−1 ) t=1

V

Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè

1

Ýíäîãåííûå ïåðåìåííûå

E[y|x]

Áûâàþò ñëó÷àè, êîãäà óñëîâíîå ñðåäíåå

íå ÿâëÿåòñÿ èíòåðåñóþùèì íàñ îáú-

åêòîì. Ïðèâåäåì íåñêîëüêî ïðèìåðîâ.

Ïðèìåð 1. Ïóñòü

E[y|x∗ ] = (x∗ )0 β ,

îäíàêî ïåðåìåííûå

ìè. Âìåñòî íèõ èññëåäîâàòåëü íàáëþäàåò ïåðåìåííûå îò

x

∗

è

y.

x∗

ÿâëÿþòñÿ íåíàáëþäàåìû-

x = x ∗ + u,

ãäå

u

 íåçàâèñèìà

 ýòîì ñëó÷àå ÌÍÊ-îöåíêà áóäåò íåñîñòîÿòåëüíîé :

y = (x∗ )0 β + e = (x − u)0 β + e = x0 β + v,

v = e − u0 β,

E[xv] = E[(x∗ + u)(e − u0 β)] = −E[uu0 ] 6= 0

⇒

p βb 9 β.

 òàêîé ñèòóàöèè àñèìïòîòè÷åñêîå ñìåùåíèå îöåíêè ñâÿçàíî ñ îøèáêîé èçìåðåíèÿ.

Ïðèìåð 2. Ïóñòü ó íàñ åñòü ñèñòåìà ëèíåéíûõ óðàâíåíèé Cïðîñ

Q = −β1 P + e1

:

: Q = β2 P + e2   e1 ∼ iid(0, I2 ). e2

Ïðåäëîæåíèå

ãäå

Î÷åâèäíî, ÷òî â ýòîì ñëó÷àå öåíû êîððåëèðóþò ñ îøèáêàìè :

E[e1 P ] 6= 0,

E[e2 P ] 6= 0.

Ïîýòîìó, èñïîëüçóÿ ÌÍÊ-îöåíêó â ðåãðåññèè

Q

íà

P,

ìû ïîëó÷èì

p E[QP ] βb → . E[P 2 ] Èñõîäíóþ ñèñòåìó ëåãêî ðàçðåøèòü îòíîñèòåëüíî âûïóñêà è öåí :

  1 Q = P β1 + β2

β2 1

!  e1 , e2 −1 β1

îòêóäà ñðàçó æå ñëåäóåò, ÷òî

E[QP ] =

β2 − β1 , β1 + β2

E[P 2 ] =

2 . β1 + β2

Òàêèì îáðàçîì, ÌÍÊ-îöåíêà íå ñîñòîÿòåëüíà íè äëÿ äëÿ ÷åãî-òî ñðåäíåãî ìåæäó íèìè :

β2 − β1 p E[QP ] = βb → . 2 E[P ] 2 46

β1 ,

íè äëÿ

β2 ,

à ñîñòîÿòåëüíà

 îáîèõ ïðèìåðàõ ïåðåìåííûå, êîððåëèðóþùèå ñ îøèáêàìè, ÿâëÿþòñÿ ýíäîãåíûìè, è ÌÍÊ-îöåíèâàíèå íåñîñòîÿòåëüíî.

Îïðåäåëåíèå. Ïåðåìåííàÿ íàçûâàåòñÿ

ýíäîãåííîé ,

åñëè

Îïðåäåëåíèå. Ïåðåìåííàÿ

x

â ïðàâîé ÷àñòè ñòðóêòóðíîãî óðàâíåíèÿ

y = x0 β + e

E[e|x] 6= 0. z

y = x0 β + e, åñëè E[e|z] = 0. Â

íàçûâàåòñÿ ýêçîãåííîé äëÿ ñòðóêòóðíîãî óðàâíåíèÿ

ýòîì ñëó÷àå

z

ìîæåò èñïîëüçîâàòüñÿ êàê

èíñòðóìåíò

äëÿ îöåíèâàíèÿ ïàðàìåòðîâ óðàâíåíèÿ. Çàìåòèì, ÷òî â îáû÷íîé ðåãðåññèè óñëîâíîãî ñðåäíåãî ðåãðåññîðû ÿâëÿþòñÿ ýêçîãåííûìè ïåðåìåííûìè, ò.å. äëÿ ìîäåëè

y = x0 β + e,

E[e|x] = 0

z = x ÿâëÿåòñÿ ýêçîãåííîé ïåðåìåííîé. ÌÍÊ êàê ðàç è èñïîëüçóåò å¼ êàê èíñòðóìåíò. 2

Òî÷íàÿ èäåíòèôèêàöèÿ

Ðàññìîòðèì ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ãðåññîðîâ

k

òî÷íîé èäåíòèôèêàöèè ).

(ñëó÷àé

ñîâïàäàåò ñ êîëè÷åñòâîì ðå-

Ïóñòü ìàòðèöà

æäåíà. Èç îïðåäåëåíèÿ èíñòðóìåíòîâ ñëåäóåò, ÷òî

óñëîâèåì âàëèäíîñòè

l

Qzz = E[zz 0 ]

íåâûðî-

E[ze] = 0. Ýòî óñëîâèå íàçûâàåòñÿ

èíñòðóìåíòîâ. Ïðèìåíÿÿ ê íåìó ïðèíöèï àíàëîãèé, ïîëó÷èì

n

1X zi (yi − x0i βbIV ) = 0, n i=1 îòêóäà ïîëó÷àåì

èíñòðóìåíòàëüíóþ îöåíêó

βbIV =

n X

zi x0i

!−1

i=1

n X

zi yi .

i=1

 ìàòðè÷íîì âèäå èíñòðóìåíòàëüíàÿ îöåíêà âûãëÿäèò ñëåäóþùèì îáðàçîì :

βbIV = (Z 0 X)−1 Z 0 Y,

Z = (z10 , z20 , . . . , zn0 )0 .

 êîíå÷íûõ âûáîðêàõ èíñòðóìåíòàëüíàÿ îöåíêà ñìåùåíà, îäíàêî ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

√ ãäå

E[βbIV |Z, X] = (Z 0 X)−1 Z 0 E[Y |Z, X] 6= β, d

n(βbIV − β) → N (0, Vβ ),

−1 Vβ = Q−1 zx Qe2 zz Qxz ,

Qzx = E[zx0 ], Qe2 zz = E[e2 zz 0 ]. Çàìåòèì, ÷òî âûøåïðèâåä¼ííàÿ àñèìïòîòèêà ñïðà-

âåäëèâà òîëüêî ïðè âûïîëíåíèè

óñëîâèÿ ðåëåâàíòíîñòè : ìàòðèöà Qzx

47

äîëæíà áûòü

íåâûðîæäåííîé. Ñîñòîÿòåëüíûå îöåíêè ìàòðèö çîì :

n

X bzx = 1 Q zi x0i , n i=1

Qzx , Qe2 zz

ñòðîÿòñÿ î÷åâèäíûì îáðà-

n

X be2 zz = 1 Q zi zi0 eb2i , n i=1

ebi = yi − x0i βbIV .

Çàìåòèì, ÷òî äîìíîæåíèå èíñòðóìåíòîâ ñëåâà íà ëþáóþ ñîðàçìåðíóþ íåâûðîæäåííóþ ìàòðèöó êîíñòàíò

C

íå ìåíÿåò âèäà èíñòðóìåíòàëüíîé îöåíêè

ñòâåííî, å¼ ñòàòèñòè÷åñêèõ ñâîéñòâ.

3

βbIV , è, åñòå-

Ñâåðõèäåíòèôèêàöèÿ

Ðàññìîòðèì ñëó÷àé, êîãäà

l>k

ñâåðõèäåíòèôèêàöèè ).

(ñëó÷àé

Ïóñòü ìàòðèöà

Qzz

íåâûðîæäåíà. Èäåÿ ïîñòðîåíèÿ èíñòðóìåíòàëüíîé îöåíêè â ýòîì ñëó÷àå ñîñòîèò â ñëåäóþùåì. Ñíà÷àëà íàéä¼ì ëèíåéíûé ïî

z

x:

E[zu0 ] = 0.

x = Γz + u, Èç ïîñëåäíåãî óñëîâèÿ íàõîäèì

ïðåäèêòîð

Γ:

E[z(x − Γz)0 ] = 0

⇒

Γ0 = (E[zz 0 ])−1 E[zx0 ] = Q−1 zz Qzx .

Òåïåðü, âîçâðàùàÿñü ê èñõîäíîé ñòðóêòóðíîé ôîðìå, ìû ìîæåì íàïèñàòü :

y = (Γz + u)0 β + e = (Γz)0 β + v,

v = e + u0 β.

Î÷åâèäíî, âûïîëíÿåòñÿ ñîîòíîøåíèå

E[Γzv] = ΓE[z(e + u0 β)] = 0, ïîýòîìó ïàðàìåòð ñòðóêòóðíîãî óðàâíåíèÿ ìîæíî çàïèñàòü êàê

−1 β = (E[Γz(Γz)0 ])−1 E[Γzy] = (Qxz Qzz Qzx )−1 Qxz Q−1 zz Qzy . Ïðèìåíÿÿ ïðèíöèï àíàëîãèé, ïîëó÷èì èíñòðóìåíòàëüíóþ îöåíêó (íàçûâàåìóþ îöåíêîé

äâóõøàãîâîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ ) äëÿ ñëó÷àÿ ñâåðõèäåíòèôèêàöèè :



βb2SLS = 

n X

xi zi0

i=1

n X i=1

zi zi0

!−1

n X i=1

−1

zi x0i 

n X i=1

xi zi0

n X

zi zi0

i=1

èëè â ìàòðè÷íîé ôîðìå,

βb2SLS = (X 0 Z(Z 0 Z)−1 Z 0 X)−1 X 0 Z(Z 0 Z)−1 Z 0 Y.

48

!−1

n X i=1

zi yi ,

Èíñòðóìåíòàëüíàÿ îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà, îäíàêî â îáùåì ñëó÷àå íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè ýôôåêòèâíîé :

p βb2SLS → β,

√

d

n(βb2SLS − β) → N (0, V2SLS ),

ãäå

−1 −1 −1 −1 −1 V2SLS = (Qxz Q−1 zz Qzx ) Qxz Qzz Qe2 zz Qzz Qzx (Qxz Qzz Qxz ) . Îñîáûì ñëó÷àåì ÿâëÿåòñÿ ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè, êîãäà

σ 2 = const. ïîñêîëüêó

E[e2 |z] =

 ýòîì ñëó÷àå àñèìïòîòè÷åñêàÿ äèñïåðñèîííàÿ ìàòðèöà óïðîùàåòñÿ,

Qe2 zz = σ 2 Qzz : −1 V2SLS = σ 2 (Qxz Q−1 zz Qzx ) .

Çàìåòèì, ÷òî íåñìîòðÿ íà ïðèñóòñòâèå äâóõ øàãîâ â íàçâàíèè, îöåíêó ìîæíî ïîäñ÷èòàòü ñðàçó ïî îäíîé ôîðìóëå.  òî æå âðåìÿ ïîíèìàíèå å¼ äâóõøàãîâîé ïðèðîäû ïîìîãàåò â íåêîòîðûõ ñëó÷àÿõ ëó÷øå îðèåíòèðîâàòüñÿ â ñâîéñòâàõ îöåíêè. Àíàëîãè÷íî ñëó÷àþ òî÷íîé èäåíòèôèêàöèè ïðè ñâåðõèäåíòèôèêàöèè íåîáõîäèìî, ÷òîáû ðàíã ìàòðèöû

Qxz

áûë ðàâåí êîëè÷åñòâó ðåãðåññîðîâ

k:

rank(Qxz ) = k. Çàìå÷àíèå. Îöåíêó èäåíòèôèêàöèåé :

βb2SLS

βb2SLS = Çäåñü

ξi

n X

ìîæíî âûðàçèòü êàê èíñòðóìåíòàëüíóþ îöåíêó ñ òî÷íîé

ξi x0i

i=1

!−1

n X

ξi yi ,

ξi =

i=1

n X

xj zj0

j=1

n X

zj zj0

!−1

zi .

j=1

 òðàíñôîðìèðîâàííûå èíñòðóìåíòû. Íî ñ òî÷êè çðåíèÿ àñèìïòîòè÷åñêîé

ýôôåêòèâíîñòè òàêàÿ òðàíñôîðìàöèÿ íåîïòèìàëüíà.

4

Íåïîëíàÿ èäåíòèôèêàöèÿ

Åñëè ìàòðèöà

Qzx

èìååò ðàíã ìåíüøå

k,

òî óñëîâèå èäåíòèôèêàöèè íå âûïîëíåíî.

 èíñòðóìåíòàõ íå õâàòàåò èíôîðìàöèè, ñïîñîáíîé îäíîçíà÷íî èäåíòèôèöèðîâàòü ïàðàìåòð.  ýòîì ñëó÷àå èíñòðóìåíòàëüíûå îöåíêè áóäóò èìåòü íåïðèÿòíûå àñèìïòîòè÷åñêèå ñâîéñòâà.

Ïðèìåð. Ðàññìîòðèì ñëåäóþùóþ ìîäåëü :

l = k = 1,

y = βx + e,

E[e|z] = 0,

49

E[xz] = 0.

Ïîñëåäíåå ðàâåíñòâî îçíà÷àåò, ÷òî ðàíã

Qxz

ðàâåí 0, ò.å. íå âûïîëíåíî óñëîâèå ðå-

ëåâàíòíîñòè èíñòðóìåíòîâ. Ñîãëàñíî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå èìååò ìåñòî ñîâìåñòíàÿ ñõîäèìîñòü :

n

n

1 X d √ zi xi → N (0, Qz2 x2 ). n i=1

1 X d √ zi ei → N (0, Qz2 e2 ), n i=1

Òàêèì îáðàçîì, èíñòðóìåíòàëüíàÿ îöåíêà óæå íå áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé :

βbIV ãäå

D

P zi yi =P =β+ zi xi

√1 n √1 n

P

i zi ei

P

i zi xi

d

→ β + D,

 íåêîå íåãàóññîâñêîå ðàñïðåäåëåíèå ñ òÿæ¼ëûìè õâîñòàìè. Òàêèì îáðàçîì,

àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå îöåíêè íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíûì è äàæå íå èìååò êîíå÷íîãî ñðåäíåãî. Åñëè ó íàñ åñòü ïîäîçðåíèå, ÷òî èíñòðóìåíòû íåðåëåâàíòíûå, ñòîèò âíà÷àëå ïðîòåñòèðîâàòü ãèïîòåçó :

H0 : E[xz] = 0,

è åñëè ýòà ãèïîòåçà îòâåðãàåòñÿ, òî èíñòðóìåíò

íàä¼æíûé. Íà ïðàêòèêå ÷àùå âñåãî ðóêîâîäñòâóþòñÿ çíà÷åíèåì F-ñòàòèñòèêè ïðè ëèíåéíîé ðåãðåññèè

5

x

íà

z.

Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê

Ïðîöåäóðà áóòñòðàïà äëÿ èíñòðóìåíòàëüíûõ îöåíîê ïðàêòè÷åñêè íè÷åì íå îòëè÷àåòñÿ îò ïîñòðîåíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ äëÿ îáû÷íîé ñòàòèñòèêè îò íåçàâèñèìûõ íàáëþäåíèé. Åñòü, ïðàâäà, òîíêèé ìîìåíò â ñëó÷àå ñâåðõèäåíòèôèêàöèè.

Ñëó÷àé

l = k. βbIV =

X

zi x0i

−1 X

zi yi ,

∗ βbIV =

X

zi∗ x∗0 i

−1 X

zi∗ yi∗ .

Åñëè îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöà âûãëÿäèò êàê

VbIV = n

X

zi x0i

−1 X

zi zi0 eb2i

X

xi zi0

−1

,

òî å¼ áóòñòðàïîâñêèé àíàëîã 

∗ VbIV =n

Ñëó÷àé

l > k.

X

zi∗ x∗0 i

−1 X

zi∗ zi∗0 eb∗2 i

X

x∗i zi∗0

−1

.

Çàìåòèì, ÷òî õîòÿ â ïîïóëÿöèè âûïîëíåíî óñëîâèå

âûáîðêå îíî íàðóøàåòñÿ, èáî

n

1X zi ebi 6= 0. n i=1

50

E[ze] = 0,

â

Ïîýòîìó ïðè áóòñòðàïå íóæíî ïîìíèòü ïðî ðåöåíòðèðîâàíèå. Èòàê, èíñòðóìåíòàëüíàÿ îöåíêà åñòü

βb2SLS = (. . .)−1

X

xi zi0

X

zi zi0

−1 X

zi yi ,

à å¼ áóòñòðàïîâñêèé àíàëîã 

∗ βb2SLS = (. . .∗ )−1

X

x∗i zi∗0

X

zi∗ zi∗0

−1 X

zi∗ yi∗ −

X

Ñîîòâåòñòâåííî,

Vb2SLS = n(. . .)−1

X

xi zi0

X

zi zi0

−1 X

zi zi0 eb2i

X

zi zi0

 zi ebi .

−1 X

zi x0i (. . .)−1 ,

−1 X X −1 X X X ∗ −1 ∗ ∗0 ∗ zi∗ x∗0 z z u∗i u∗0 zi∗ zi∗0 = n(. . .∗ )−1 x∗i zi∗0 Vb2SLS i (. . . ) . i i i P ∗ ∗ ∗ Çäåñü ui = zi e bi − n1 nj=1 zj ebj . 6

Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ìîäåëü âðåìåííîãî ðÿäà :

yt = x0t β + et ,

E[et |It−1 ] = 0,

It−1 = {yt−1 , yt−2 . . . ; xt , xt−1 , . . .}.

Âîçüì¼ì âåêòîð èíñòðóìåíòîâ

zt = (yt−1 , yt−2 , . . . , yt−ly , x0t , x0t−1 , . . . , x0t−lx )0 . Îí âàëèäíûé, òàê êàê âñå ýëåìåíòû ïðèíàäëåæàò

It−1 ,

è

E[et |zt ] = E[E[et |It−1 ]|zt ] = 0. Ïðè òàêèì îáðàçîì âûáðàííîì èíñòðóìåíòå èíñòðóìåíòàëüíàÿ îöåíêà

βb2SLS

ñîâ-

ïàäàåò ñ ÌÍÊ-îöåíêîé (óïðàæíåíèå : ïî÷åìó ?), è, ñîîòâåòñòâåííî, îáëàäàåò òåìè æå ñâîéñòâàìè. Ïîýòîìó â äàííîé çàäà÷å îáû÷íî èñïîëüçóþò ðàñøèðåíèå èíñòðóìåíòàëüíûõ îöåíîê  îöåíêè îáîáùåííîãî ìåòîäà ìîìåíòîâ. Òî æå ñàìîå ñïðàâåäëèâî è â áîëåå îáùåé ìîäåëè, äîïóñêàþùåé àâòîêîððåëÿöèþ îøèáîê :

yt = x0t β + et ,

VI 1

E[et |It−q ] = 0,

zt = {yt−q , . . . , yt−ly , x0t , . . . , x0t−lx }0 .

Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì

Ïóñòü óñëîâíîå ñðåäíåå

E[y|x] = g(x, β) äëÿ íåêîòîðîé íåëèíåéíîé ôóíêöèè g(·, ·). Â

ýòîì ñëó÷àå ìû èìååì äåëî ñ íåëèíåéíîé ìîäåëüþ. Òåì íå ìåíåå, ñóùåñòâóþò ñëó÷àè íåëèíåéíîñòåé, ñâîäÿùèåñÿ ê ëèíåéíîìó ñëó÷àþ ñ ïîìîùüþ òðàíñôîðìàöèé.

51

Ïóñòü

g(x, β) íåëèíåéíà ïî ðåãðåññîðàì x è ëèíåéíà ïî ïàðàìåòðàì β , òîãäà ìîæíî

âûïîëíèòü òàêóþ òðàíñôîðìàöèþ

x → z,

÷òî

E[y|z] = z 0 β .

Ïðèìåð 1. Ïóñòü óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé îò ðåãðåññîðîâ ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x1 + β2 x2 + β3 x1 x2 + β4 x21 + β5 x22 . Òîãäà ïîäõîäÿùåé òðàíñôîðìàöèåé áóäåò :

z = (1, x1 , x2 , x1 x2 , x21 , x22 )0 . Ïðèìåð 2. Óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé ðåãðåññîðîâ ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x + β2 x2 + · · · + βp xp . Ñîîòâåòñòâóþùàÿ òðàíñôîðìàöèÿ ðåãðåññîðîâ :

z = (1, x, . . . , xp ). Íåîáõîäèìî îòìåòèòü î ñëîæíîñòè â èíòåðïðåòàöèè êîýôôèöèåíòîâ. Ìàðæèíàëüíîå âëèÿíèå ðåãðåññîðà

x

åñòü

∂g(x, β) = β1 + 2β2 x + · · · + pβp xp−1 . ∂x Íåÿñíî, êàêîå

x ïîäñòàâëÿòü â äàííóþ ôîðìóëó, ÷òîáû ïîëó÷èòü ÷èñëåííîå çíà÷åíèå.

Ìîæíî îöåíèòü â êàêîì-òî êîíêðåòíîì èëè èñïîëüçîâàòü ñðåäíåå çíà÷åíèå ìèðîâàííûõ ðåãðåññîðîâ

x, êîòîðîå îïðåäåëÿåòñÿ èç êîíòåêñòà çàäà÷è,

x, èëè æå îöåíèòü â ñðåäíèõ çíà÷åíèÿ òðàíñôîð-

x, x2 , . . . , xp−1 .  ëþáîì ñëó÷àå êîýôôèöèåíòû β1 , β2 , . . . , βp

ñàìè ïî ñåáå íå èìåþò ýêîíîìè÷åñêîãî ñìûñëà. Èìååò ñìûñë òîëüêî èõ îïðåäåë¼ííûå êîìáèíàöèè. Ëèíåéíûìè ïî-ñóùåñòâó ìîäåëÿìè íàçûâàþòñÿ òàêèå, êîòîðûå, íåñìîòðÿ íà îáìàí÷èâóþ íåëèíåéíîñòü, ìîæíî ïðåîáðàçîâàòü ê ëèíåéíîìó âèäó. Ðàññìîòðèì òàêîé ïðèìåð :

y = AK α L1−α exp(e),

E[e|A, K, L] = 0.

Çäåñü ëîãàðèôìè÷åñêàÿ òðàíñôîðìàöèÿ ìîäåëè ñâîäèò åå ê ëèíåéíîìó ñëó÷àþ :

E[log Y | log A, log K, log L] = log A + α log K + (1 − α) log L.

52

2

Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè

 äàííîé ãëàâå ìû ðàññìîòðèì íåëèíåéíûå ìîäåëè, êîòîðûå íå ïðèâîäÿòñÿ ê ëèíåéíûì, ò.å.

E[y|x] = g(x0 β) 6= z 0 β äëÿ ëþáîé ôóíêöèè

z(x).

Ïðèìåðû.

• g(x, β) = β1 + β2

x 1 + β3 x

• g(x, β) = β1 + β2 eβ3 x • g(x, β) = (β1 + β2 x1 )1[x2 ≤ β3 ] + (β4 + β5 x1 )1[x2 > β3 ] Ïóñòü ôóíêöèÿ

g(x, β)

äèôôåðåíöèðóåìà ïî îáîèì àðãóìåíòàì.

Îïðåäåëåíèå. Âåëè÷èíà

∂g(x, β) = gβ (x, β) ∂β 0

íàçûâàåòñÿ

êâàçèðåãðåññîðîì .

 îáû÷íîé ëèíåéíîé ðåãðåññèè

g(x, β) = x0 β

⇒

ò.å. êâàçèðåãðåññîð íå çàâèñèò îò ïàðàìåòðà

gβ (x) = x, β.

Îäíàêî â îáùåì ñëó÷àå êâàçèðå-

ãðåññîðû çàâèñÿò îò ïàðàìåòðîâ ìîäåëè. Ýòîò ôàêò óñëîæíÿåò îïðåäåë¼ííûå ýòàïû îöåíèâàíèÿ è èíôåðåíöèè.

3

Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ

Íàì èçâåñòíî, ÷òî ïàðàìåòð

β

åñòü ðåøåíèå ìèíèìèçàöèîííîé çàäà÷è

β = arg minE[(y − g(x, b))2 ]. b

Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì îöåíêó

äðàòîâ (ÍÌÍÊ) :

íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâà-

n

1X β = arg min (yi − g(xi , b))2 . b n i=1 Óñëîâèå ïåðâîãî ïîðÿäêà åñòü

n

1X b β (xi , β) b = 0. (yi − g(xi , β))g n i=1 ßñíî, ÷òî ÿâíîå àíàëèòè÷åñêîå âûðàæåíèå äëÿ

βb

ïîëó÷èòü â îáùåì ñëó÷àå íåâîç-

ìîæíî, ïîýòîìó äëÿ íàõîæäåíèÿ ÍÌÍÊ-îöåíîê ïîëüçóþòñÿ ÷èñëåííûìè ìåòîäàìè.

53

Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì êîíöåíòðàöèè. Îäíèì èç ÷èñëåííûõ ìåòîäîâ ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ìåòîä êîíöåíòðàöèè. Ðàçäåëèì ïàðàìåòðû çàäà÷è íà äâå ãðóïïû, óäîâëåòâîðÿþùèå óñëîâèÿì

β = (γ10 , γ20 )0 ,

g(x, β) = γ10 x(γ2 ).

Ãðóáî ãîâîðÿ, óñëîâíîå ñðåäíåå ëèíåéíî ïî ïàðàìåòðàì ðàì

γ1

è íåëèíåéíî ïî ïàðàìåò-

γ2 . Êðîìå òîãî, ïðåäïîëàãàåòñÿ, ÷òî ÷èñëî ïàðàìåòðîâ γ2 íåâåëèêî, ÷òîáû ìîæíî

áûëî áûñòðî áåãàòü ïî èõ ñåòêå.

Ïðèìåð.  êà÷åñòâå ïðèìåðà ïðèâåäåì ñëåäóþùóþ ìîäåëü :

g(x, β) = β1 + β2 eβ3 x . Òîãäà ñîîòâåòñòâóþùåå ðàçäåëåíèå ïàðàìåòðîâ ñëåäóþùåå :

γ1 = (β1 , β2 )0 ,

γ2 = β3

⇒

x(γ2 ) = (1, eβ3 x )0 .

 ïîäîáíûõ ñëó÷àÿõ èñïîëüçóåòñÿ äâóõóðîâíåâàÿ ïðîöåäóðà îöåíèâàíèÿ ïàðàìåòðîâ :

# n X 1 βb = arg min min (yi − γ10 xi (γ2 ))2 . γ n 1 γ2 i=1 "

1. Ïðè ôèêñèðîâàííîì ïàðàìåòðå

γ2

ïàðàìåòð

γ b1 (γ2 ) = (X 0 (γ2 )X(γ2 ))−1 X 0 (γ2 )Y,

γ1

îöåíèâàåòñÿ ñ ïîìîùüþ ÌÍÊ :

X(γ2 ) = (x1 (γ2 ), . . . , x2 (γ2 ))0 .

2. ×èñëåííî ðåøàåòñÿ îïòèìèçàöèîííàÿ çàäà÷à

"

# n 1X (yi − γ b10 xi (γ2 ))2 . γ b2 = arg min γ2 n i=1 Ïîñêîëüêó ðàçìåðíîñòü

γ2

ìàëåíüêàÿ, òî îïòèìóì ëåãêî íàõîäèòñÿ íà ñåòêå.

Ïðèâåäåì àëãîðèòì ìåòîäà êîíöåíòðàöèè.

•

Äëÿ ïàðàìåòðà

•

Äëÿ êàæäîãî

γ2

γ2

íà íåêîòîðîì èíòåðâàëå

íà ýòîé ñåòêå îöåíèâàåòñÿ

1 åòñÿ öåëåâîå çíà÷åíèå n

•

Èç âñåõ çíà÷åíèé

γ2

Pn

i=1 (yi

0

[γ 2 , γ 2 ] γ b1 (γ2 ) 2

−γ b1 (γ2 ) xi (γ2 ))

ñòðîèòñÿ ñåòêà.

ñ ïîìîùüþ ÌÍÊ è âû÷èñëÿ-

.

íà ñåòêå âûáèðàåòñÿ òî, äëÿ êîòîðîãî öåëåâîå çíà÷åíèå

íàèìåíüøåå.

54

•

Åñëè íåîáõîäèìî, â îêðåñòíîñòè ïîëó÷åííîãî çíà÷åíèÿ

γ2 ñòðîèòñÿ áîëåå ìåëêàÿ

ñåòêà, è ïðîöåäóðà ïîâòîðÿåòñÿ.

Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì ëèíåàðèçàöèè. Äðóãèì ÷èñëåííûì ìåòîäîì ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ëèíåàðèçàöèÿ óñëîâèÿ ïåðâîãî ïîðÿäêà. Äîïóñòèì, ÷òî

βb1

 íà÷àëüíîå ïðåäïîëîæåíèå î ÷èñëåííîì çíà÷åíèè îöåíèâàåìûõ

ïàðàìåòðîâ. Òîãäà ñ ïîìîùüþ ëèíåàðèçàöèè ïðåäëàãàåòñÿ èòåðàòèâíàÿ ïðîöåäóðà ïåðåõîäà ìàëîãî

βbj → βbj+1 .

Ýòà ïðîöåäóðà ïðîäîëæàåòñÿ äî òåõ ïîð, ïîêà äëÿ äîñòàòî÷íî

ε íå áóäåò âûïîëíåíî óñëîâèå |βbj+1 −βbj | < ε. Áîëåå äåòàëüíî : ëèíåàðèçîâàííîå

óñëîâèå ïåðâîãî ïîðÿäêà äëÿ ÍÌÍÊ-îöåíêè åñòü

n

1X (yi − g(xi , βbj ) − gβ (xi , βbj )(βbj+1 − βbj ))gβ (xi , βbj ) ≈ 0. n i=1 Ââîäÿ îáîçíà÷åíèå

dj =

n X i=1

gβ (xi , βbj )gβ (xi , βbj )0

!−1

n X i=1

gβ (xi , βbj )(yi − g(xi , βbj )),

èìååì èòåðàòèâíóþ ïðîöåäóðó â âèäå

Åñëè

dj

βbj+1 = βbj + dj . ñëèøêîì âåëèêî (ïðîöåäóðà íå ñõîäèòñÿ), òî âûáèðàåòñÿ íåêîòîðîå

λj ∈ [0, 1],

òàêîå, ÷òîáû öåëåâàÿ ôóíêöèÿ áûëà ìèíèìàëüíîé, à ïðîöåäóðà ìîäèôèöèðóåòñÿ êàê

βbj+1 = βbj + λj dj . 4

Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè

Îïðåäåëåíèå. Ãîâîðÿò, ÷òî çàäà÷à óäîâëåòâîðÿåò óñëîâèþ

b=β

òîãäà è òîëüêî òîãäà, êîãäà

g(x, β) = g(x, b)

èäåíòèôèêàöèè ,

åñëè

ñ âåðîÿòíîñòüþ 1.

Åñëè ýòî óñëîâèå âûïîëíåíî, òî ââèäó òîæåñòâà

E[(y − g(x, b))2 ] = E[(y − g(x, β))2 ] + E[(g(x, β) − g(x, b))2 ] ìèíèìèçàòîð ëåâîé ÷àñòè ðàâåí èñòèííîìó çíà÷åíèþ ïàðàìåòðà

β

è îïðåäåë¼í îä-

íîçíà÷íî.

Ïðèìåðû.

•

Ðàññìîòðèì ëèíåéíóþ ìîäåëü. Ïóñòü ìàòðèöà ãäà ïðè

β 6= b

Qxx = E[xx0 ]

âûïîëíÿåòñÿ ñîîòíîøåíèå :

E[(x0 β − x0 b)2 ] = (β − b)0 Qxx (β − b) > 0. Ñëåäîâàòåëüíî,

x0 β 6= x0 b

ñ âåðîÿòíîñòüþ 1.

55

íåâûðîæäåíà. Òî-

•

Ðàññìîòðèì òåïåðü ïðèìåð, ãäå íåò èäåíòèôèêàöèè :

g(x, β) = β1 + β2 eβ4 +β3 x = β1 + elog β2 +β4 +β3 x . Èäåíòèôèöèðîâàòü ïàðàìåòðû

β2

è

β4

îäíîâðåìåííî íåâîçìîæíî.

Îïðåäåëåíèå. Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ ôóíêöèé

{zi (θ)}ni=1

óäîâëåòâîðÿåò

ðàâíîìåðíîìó çàêîíó áîëüøèõ ÷èñåë (ÐÇÁ×), åñëè

n

n

1X 1X p supk zi (θ) − p lim zi (θ)k → 0. n i=1 n i=1 θ Ëåììà. Åñëè ïîñëåäîâàòåëüíîñòü

{zi (θ)}ni=1

óäîâëåòâîðÿåò ÐÇÁ× è

n

n

1X b p 1X zi (θn ) → p lim zi (θ). n i=1 n i=1

p θbn → θ,

òî

Äîêàçàòåëüñòâî. Çàïèøåì ïîñëåäîâàòåëüíîñòü íåðàâåíñòâ, âîñïîëüçîâàâøèñü ÐÇÁ× è òåîðåìîé Ìàííà-Âàëüäà :

n

n

1 X

X 1

zi (θbn ) − p lim zi (θ) ≤

n

n i=1

i=1

n n n n

1 X

X X X 1 1 1



≤ zi (θbn ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ) ≤

n b b

n n n i=1 i=1 i=1 i=1 θn

θn

n n n n

1 X



1X 1X 1X



≤ sup zi (θ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ)

b

n n n θ n i=1

i=1

i=1

i=1

θn

p

→ 0.

Êàê ñëåäñòâèå, ïðè âûïîëíåíèè ÐÇÁ× äëÿ ñîîòâåòñòâóþùèõ ñëàãàåìûõ èìååì ñîñòîÿòåëüíîñòü ñëåäóþùèõ îöåíîê :

n

X p be2 xx = 1 xi x0i eb2i → Qe2 xx , Q n i=1 ãäå

n

X p b β (xi , β) b0→ bgg = 1 Q gβ (xi , β)g Qgg , n i=1

Qgg = E[gβ (x, β)gβ (x, β)0 ].

Òåîðåìà. Ïóñòü âûïîëíåíû ñëåäóþùèå òðåáîâàíèÿ : 1. Âûïîëíåíî óñëîâèå èäåíòèôèêàöèè ; 2. Ôóíêöèÿ

g(x, β)

äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìà ïî

b;

3. Äëÿ ñëåäóþùèõ ïîñëåäîâàòåëüíîñòåé âûïîëíÿåòñÿ ÐÇÁ× :

(yi − g(xi , β))2 ,

gβ (xi , β)gβ (xi , β)0 ,

56

(yi − g(xi , β))

∂gβ (xi , β) ; ∂β 0

4. Ìàòðèöà

Qgg = E[gβ (x, β)gβ (x, β)0 ]

5. Ìàòðèöà

Qe2 gg = E[gβ (x, β)gβ (x, β)0 e2 ]

íåâûðîæäåíà ; ñóùåñòâóåò.

Òîãäà ÍÌÍÊ-îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

p βb → β,

√

d

−1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ).

Äîêàçàòåëüñòâî. 1.

Ñîñòîÿòåëüíîñòü : Äëÿ ëþáîãî

n → ∞,

ε > 0

ñ âåðîÿòíîñòüþ, ñòðåìÿùåéñÿ ê 1 ïðè

èìååì :

n

n

X 1X ε b 2< 1 (yi − g(xi , β)) (yi − g(xi , β))2 + , n i=1 n i=1 3 1 Pn 2 βb ìèíèìèçèðóåò i=1 (yi − g(xi , b)) . Ïîñêîëüêó ÐÇÁ× âûïîën (yi − g(xi , β))2 ,

òàê êàê îöåíêà íÿåòñÿ äëÿ

n

X b 2] < 1 b 2 + ε. E[(yi − g(xi , β)) (yi − g(xi , β)) n i=1 3 Àíàëîãè÷íî,

n

1X ε (yi − g(xi , β))2 < E[(yi − g(xi , β))2 ] + . n i=1 3 Ñóììèðóÿ ýòè òðè íåðàâåíñòâà, ïîëó÷àåì :

b 2 ] < E[(y − g(xi , β))2 ] + ε. E[(y − g(xi , β)) Òåïåðü îïðåäåëèì ñêîëüêó

β

ε.

Äëÿ ýòîãî âûáåðåì îòêðûòóþ îêðåñòíîñòü

β , N (β).

Ïî-

ðåøàåò çàäà÷ó íà ìèíèìóì, äîëæíî áûòü âûïîëíåíî ñëåäóþùåå ñî-

îòíîøåíèå :

inf E[(y − g(x, b))2 ] > E[(y − g(x, β))].

b∈N (β)c Âûáåðåì ñëåäóþùåå

ε=

ε: inf E[(y − g(x, b))2 ] − E[(y − g(x, β))],

b∈N (β)c

òîãäà âûïîëíåíî ñëåäóþùåå ñîîòíîøåíèå :

b 2] < E[(y − g(x, β)) ÷òî îçíà÷àåò, ÷òî

βb ∈ N (β).

inf E[(y − g(x, b))2 ],

b∈N (β)c

Ñëåäîâàòåëüíî,

57

p βb → β .

2.

Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü : Ðàçëîæèì óñëîâèå ïåðâîãî ïîðÿäêà â ðÿä Òýéëîðà âîêðóã

β:

n

1X (yi − g(xi , β))gβ (xi , β) + n i=1 " # n b ∂g (x , β) 1X β i b e β (xi , β) e 0 (βb − β) = 0, + (yi − g(xi , β)) − gβ (xi , β)g n i=1 ∂β 0 βe ïîêîìïîíåíòíî. Ñëåäîâàòåëüíî, #)−1 ( n " X b √ ∂g (x , β) 1 β i b e β (xi , β) e0 n(βb − β) = (yi − g(xi , β)) − gβ (xi , β)g × n i=1 ∂β 0 ãäå

β

ëåæèò ìåæäó

β

è

n

1 X d × √ (yi − g(xi , β))gβ (xi , β) → n i=1   −1 ∂gβ (x, β) d 0 → − E (yi − g(xi , β)) − gβ (x, β)gβ (x, β) N (0, Qe2 gg ) ∂β 0
−1 2 qq Q = N Q−1 Q e gg gg . Òåîðåìà äîêàçàíà. Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè :

E[e2 |x] = σ 2 = const. Êàê è äëÿ ëèíåéíîé ìîäåëè, èìååò ìåñòî óïðîùåíèå :

Qe2 gg = σ 2 Qgg 5

⇒

√

d

n(βb − β) → N (0, σ 2 Q−1 gg ).

Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà

ÍÌÍÊ-îöåíêó ìîæíî ðàññìàòðèâàòü êàê àíàëîãîâóþ îöåíêó, ïîëó÷åííóþ èç óñëîâèÿ

E[egβ (x, β)] = 0.

Ìîæíî ïîñòðîèòü äðóãóþ àíàëîãîâóþ îöåíêó, íåñêîëüêî èçìåíèâ

óñëîâèå íåñêîððåëèðîâàííîñòè :

  gβ (x, β) = 0. E e 2 σ (x) Ýòî óñëîâèå ñëåäóåò èç ðåãðåññèîííîãî ïðåäïîëîæåíèÿ. Ñîãëàñíî ïðèíöèïó àíàëîãèé

n e 1X e gβ (xi , β) = 0. (yi − g(xi , β)) n i=1 σ 2 (xi )

58

Ðåøåíèå

βe,

ïîëó÷åííîå èç ýòîãî óðàâíåíèÿ, ÿâëÿåòñÿ îöåíêîé âçâåøåííîãî íåëèíåé-

íîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÂÍÌÍÊ-îöåíêîé). Îíà ðåøàåò ìèíèìèçàöèîííóþ çàäà÷ó

1 βe = arg min b n

n X (yi − g(xi , b))

σ 2 (xi )

i=1

,

ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

√

p βe → β,

Q

d

n(βe − β) → N (0, Q−1 gg ), σ2

 gβ (x, β)gβ (x, β)0 =E . σ 2 (x) 

gg σ2

 óñëîâèÿõ óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè ÂÍÌÍÊ-îöåíêà áîëåå àñèìïòîòè÷åñêè ýôôåêòèâíà ïî ñðàâíåíèþ ñ ÍÌÍÊ, òî÷íî òàê æå êàê ÎÌÍÊ ïî ñðàâíåíèþ ñ ÌÍÊ äëÿ ëèíåéíîé ðåãðåññèè. Ìîæíî åù¼ óòâåðæäàòü, ÷òî ÂÍÌÍÊ-îöåíêà

βe

ÿâëÿåòñÿ

àñèìïòîòè÷åñêè ýôôåêòèâíîé â êëàññå îöåíîê, óäîâëåòâîðÿþùèõ óñëîâèþ

n

1X (yi − g(xi , βbIV ))zi = 0, n i=1 ãäå

6

zi

 ïðîèçâîëüíàÿ ôóíêöèÿ îò

xi ,

èìåþùàÿ òó æå ðàçìåðíîñòü

k × 1.

Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà

Ðàññìîòðèì ñëåäóþùóþ íåëèíåéíóþ ìîäåëü :

yi =

(

1

x0i β + ei ≥ 0,

0

èíà÷å,

ei |xi ∼ N (0, 1).

Íàéä¼ì ôîðìó ðåãðåññèè :

E[y|x] = P {x0 β + e ≥ 0|x} = P {e ≥ −x0 β|x} = Φ(x0 β). Âèäíî, ÷òî ðåãðåññèÿ íåëèíåéíàÿ. ÍÌÍÊ-îöåíêà â ýòîì ñëó÷àå åñòü

1 βb = arg min b n

n X

(yi − Φ(x0i b))2

i=1

ñ àñèìïòîòè÷åñêèìè ñâîéñòâàìè

p βb → β,

√

d

−1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ),

ãäå

gβ (x, β) = f (x0 β)x,

Qgg = E[f (x0 β)2 xx0 ],

59

Qe2 gg = E[f (x0 β)2 (y − Φ(x0 β))2 xx0 ].

Àñèìïòîòè÷åñêè ýôôåêòèâíàÿ ÂÍÌÍÊ-îöåíêà åñòü

1 βe = arg min b n

n X i=1

èáî

(yi − Φ(x0i b))2 , b − Φ(x0 β)) b Φ(x0 β)(1 i

i

σ 2 (x) = V ar[y|x] = Φ(x0 β)(1 − Φ(x0 β)) 6= const. Âûâåäåì å¼ àñèìïòîòè÷åñêèå ñâîéñòâà :

p βe → β,

7

√

d

n(βe − β) → N

  0, E

0

2

0

f (x β) xx − Φ(x0 β))

Φ(x0 β)(1

−1 !

.

Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè íóëåâîé ãèïîòåçå

 íåëèíåéíûõ ìîäåëÿõ ìîæåò ñëîæèòüñÿ îñîáàÿ ñèòóàöèÿ, êîãäà òåñòèðîâàíèå ñòàòèñòè÷åñêèõ ãèïîòåç íåñòàíäàðòíî. Ðàññìîòðèì äâà ïðèìåðà.

Ïðèìåð 1. Ðåãðåññèÿ ñ ãëàäêèìè ïîðîãàìè :

1 + e, E[e|x] = 0. 1 + ex−β5 ÷òî β3 = β4 = 0 (ò.å. òåñòèðóåòñÿ

y = (β1 + β2 x) + (β3 + β4 x) Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â òîì,

ìîäåëè), òî ïðè ýòîé íóëåâîé ãèïîòåçå ïàðàìåòð

β5

ëèíåéíîñòü

íåèäåíòèôèöèðóåì.

Ïðèìåð 2. Ðàññìîòðèì ñëåäóþùóþ ðàçíîâèäíîñòü ARCH-M ìîäåëè :

yt = β0 + x0t β1 + γσt2 + et ,

E[et |It−1 ] = 0,

E[e2t |It−1 ] = σt2 = α0 + α1 e2t−1 .

Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â îòñóòñòâèè ARCH ýôôåêòà, ò.å. ïðè íóëåâîé ãèïîòåçå ïàðàìåòð

γ

H0 : α1 = 0,

òî

íåèäåíòèôèöèðóåì, òàê êàê óñëîâíàÿ äèñïåðñèÿ

ïîñòîÿííà è å¼ âëèÿíèå ïîãëîùàåòñÿ ñâîáîäíûì ÷ëåíîì

β0 .

 òàêèõ ñèòóàöèÿõ ñòàíäàðòíàÿ òåñòîâàÿ ñòàòèñòèêà (íàïðèìåð, t èëè Âàëüäîâñêàÿ) àñèìïòîòè÷åñêè ðàñïðåäåëåíà íå òàê, êàê ìû ïðèâûêëè, ò.å. íå êàê ñòàíäàðòíî íîðìàëüíàÿ èëè õè-êâàäðàò ñëó÷àéíàÿ âåëè÷èíà. Âîò êàê îáû÷íî ðåøàåòñÿ ïîäîáíàÿ ïðîáëåìà. Ïóñòü

β = (β10 , β20 )0 ,

ãäå

β1

èäåíòèôèöèðóåòñÿ ïðè íóëåâîé ãèïîòåçå, à

 íåò. Ïîñòðîèì Âàëüäîâñêóþ ñòàòèñòèêó

W (β2 )

äëÿ âñåõ âîçìîæíûõ çíà÷åíèé

β2 β2 .

Òîãäà ñóï-Âàëüäîâñêàÿ ñòàòèñòèêà

sup W = supW (β2 ) β2 ñõîäèòñÿ ê íåêîòîðîìó íåñòàíäàðòíîìó ðàñïðåäåëåíèþ, êîòîðîå ïîëó÷àþò ñ ïîìîùüþ ñèìóëÿöèé. Ïîìèìî ïðèâåä¼ííûõ âûøå, ïðèìåðàìè ÿâëÿþòñÿ òåñòèðîâàíèå íà ëèíåéíîñòü ñàìîâîçáóæäàþùèõñÿ ïîðîãîâûõ àâòîðåãðåññèé è òåñòèðîâàíèå íà îòñóòñòâèÿ ñòðóêòóðíûõ ñäâèãîâ.

60