Å. Å. Òûðòûøíèêîâ
ÌÅÒÎÄÛ ×ÈÑËÅÍÍÎ Î ÀÍÀËÈÇÀ
Ìîñêâà 2006
Îãëàâëåíèå
Ïðåäèñëîâèå
1
ëàâà 1
3
1.1
Ìåòðè÷åñêîå ïðî...
6 downloads
268 Views
2MB Size
Report
This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form
Å. Å. Òûðòûøíèêîâ
ÌÅÒÎÄÛ ×ÈÑËÅÍÍÎ Î ÀÍÀËÈÇÀ
Ìîñêâà 2006
Îãëàâëåíèå
Ïðåäèñëîâèå
1
ëàâà 1
3
1.1
Ìåòðè÷åñêîå ïðîñòðàíñòâî . . . . . . . . . . . . . . . . . . . . . . .
3
1.2
Ïîëåçíûå îïðåäåëåíèÿ
. . . . . . . . . . . . . . . . . . . . . . . . .
3
1.3
Âëîæåííûå øàðû
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
1.4
Íîðìèðîâàííîå ïðîñòðàíñòâî
. . . . . . . . . . . . . . . . . . . . .
5
1.5
Ïîïóëÿðíûå âåêòîðíûå íîðìû . . . . . . . . . . . . . . . . . . . . .
5
1.6
Ìàòðè÷íûå íîðìû . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
1.7
Ýêâèâàëåíòíûå íîðìû
. . . . . . . . . . . . . . . . . . . . . . . . .
8
1.8
Îïåðàòîðíûå íîðìû . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
ëàâà 2
13
2.1
Ñêàëÿðíîå ïðîèçâåäåíèå
. . . . . . . . . . . . . . . . . . . . . . . .
13
2.2
Äëèíà âåêòîðà . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
2.3
Èçîìåòðè÷íûå ìàòðèöû . . . . . . . . . . . . . . . . . . . . . . . . .
14
2.4
Ñîõðàíåíèå äëèí è óíèòàðíûå ìàòðèöû
. . . . . . . . . . . . . . .
15
2.5
Òåîðåìà Øóðà . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
2.6
Íîðìàëüíûå ìàòðèöû . . . . . . . . . . . . . . . . . . . . . . . . . .
16
2.7
Çíàêîîïðåäåëåííûå ìàòðèöû . . . . . . . . . . . . . . . . . . . . . .
17
2.8
Ñèíãóëÿðíîå ðàçëîæåíèå ìàòðèöû
. . . . . . . . . . . . . . . . . .
18
2.9
Óíèòàðíî èíâàðèàíòíûå íîðìû
. . . . . . . . . . . . . . . . . . . .
19
2.10
Êîðîòêèé ïóòü ê ñèíãóëÿðíîìó ðàçëîæåíèþ . . . . . . . . . . . . .
20
2.11
Àïïðîêñèìàöèè ìåíüøåãî ðàíãà . . . . . . . . . . . . . . . . . . . .
20
ëàâà 3
23
3.1
Òåîðèÿ âîçìóùåíèé
. . . . . . . . . . . . . . . . . . . . . . . . . . .
23
3.2
×èñëî îáóñëîâëåííîñòè ìàòðèöû
. . . . . . . . . . . . . . . . . . .
23
3.3
Ñõîäÿùèåñÿ ìàòðèöû è ðÿäû
. . . . . . . . . . . . . . . . . . . . .
24
3.4
Ïðîñòåéøèé èòåðàöèîííûé ìåòîä . . . . . . . . . . . . . . . . . . .
25
3.5
Îáðàòíûå ìàòðèöû è ðÿäû . . . . . . . . . . . . . . . . . . . . . . .
25
3.6
Îáóñëîâëåííîñòü ëèíåéíîé ñèñòåìû . . . . . . . . . . . . . . . . . .
26
3.7
Ñîãëàñîâàííîñòü ìàòðèöû è ïðàâîé ÷àñòè
26
3.8
Âîçìóùåíèå ñîáñòâåííûõ çíà÷åíèé
3.9
Íåïðåðûâíîñòü êîðíåé ïîëèíîìà
. . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . .
27
. . . . . . . . . . . . . . . . . . .
28
ëàâà 4
33
4.1
Äèàãîíàëüíîå ïðåîáëàäàíèå
. . . . . . . . . . . . . . . . . . . . . .
33
4.2
Êðóãè åðøãîðèíà . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
i
4.3
Ìàëûå âîçìóùåíèÿ ñîáñòâåííûõ çíà÷åíèé è âåêòîðîâ
. . . . . . .
34
4.4
Îáóñëîâëåííîñòü ïðîñòîãî ñîáñòâåííîãî çíà÷åíèÿ . . . . . . . . . .
36
4.5
Àíàëèòè÷åñêèå âîçìóùåíèÿ
37
. . . . . . . . . . . . . . . . . . . . . .
ëàâà 5
41
5.1
Ñïåêòðàëüíûå ðàññòîÿíèÿ
. . . . . . . . . . . . . . . . . . . . . . .
41
5.2
Ñèììåòðè÷íûå òåîðåìû . . . . . . . . . . . . . . . . . . . . . . . .
41
5.3
Òåîðåìà ÂèëàíäòàÕî ìàíà
5.4
Ïåðåñòàíîâî÷íûå äèàãîíàëè
. . . . . . . . . . . . . . . . . . . .
42
. . . . . . . . . . . . . . . . . . . . . .
43
5.5
Íåíîðìàëüíîå îáîáùåíèå . . . . . . . . . . . . . . . . . . . . . . .
45
5.6
Ñîáñòâåííûå çíà÷åíèÿ ýðìèòîâûõ ìàòðèö
. . . . . . . . . . . . . .
46
5.7
Ñîîòíîøåíèÿ ðàçäåëåíèÿ . . . . . . . . . . . . . . . . . . . . . . . .
47 48
5.8
×òî òàêîå êëàñòåðû?
5.9
Êëàñòåðû ñèíãóëÿðíûõ ÷èñåë
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
49
5.10
Êëàñòåðû ñîáñòâåííûõ çíà÷åíèé . . . . . . . . . . . . . . . . . . . .
50
ëàâà 6
53
6.1
Ìàøèííûå ÷èñëà
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2
Àêñèîìû ìàøèííîé àðè ìåòèêè
6.3
Îøèáêè îêðóãëåíèÿ äëÿ ñêàëÿðíîãî ïðîèçâåäåíèÿ
. . . . . . . . .
54
6.4
Ïðÿìîé è îáðàòíûé àíàëèç . . . . . . . . . . . . . . . . . . . . . . .
55
. . . . . . . . . . . . . . . . . . .
53 53
6.5
Íåìíîãî èëîñî èè . . . . . . . . . . . . . . . . . . . . . . . . . . .
55
6.6
Ïðèìåð ïëîõîé îïåðàöèè . . . . . . . . . . . . . . . . . . . . . . .
55
6.7
Åùå îäèí ïðèìåð
56
6.8
Èäåàëüíûå è ìàøèííûå òåñòû . . . . . . . . . . . . . . . . . . . . .
56
6.9
Ââåðõ èëè âíèç . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
57
6.10
åøåíèå òðåóãîëüíûõ ñèñòåì . . . . . . . . . . . . . . . . . . . . . .
58
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
ëàâà 7 7.1
61 Ïðÿìûå ìåòîäû äëÿ ëèíåéíûõ ñèñòåì
LU -ðàçëîæåíèÿ
. . . . . . . . . . . . . . . .
61
. . . . . . . . . . . . . . . . . . . . . . . . .
61
7.2
Òåîðèÿ
7.3
Îøèáêè îêðóãëåíèÿ äëÿ
7.4
Âûáîð âåäóùåãî ýëåìåíòà
LU -ðàçëîæåíèÿ
. . . . . . . . . . . . . . .
63
. . . . . . . . . . . . . . . . . . . . . . .
64
7.5
Ïîëíûé âûáîð . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
65
7.6
Ìåòîä Õîëåöêîãî
65
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.7
Òðåóãîëüíûå ðàçëîæåíèÿ è ðåøåíèå ñèñòåì
7.8
Êàê óòî÷íèòü ðåøåíèå
. . . . . . . . . . . . .
67
. . . . . . . . . . . . . . . . . . . . . . . . .
68
ëàâà 8
71
8.2
QR-ðàçëîæåíèå QR-ðàçëîæåíèå
8.3
Ìàòðèöû îòðàæåíèÿ
8.4
Èñêëþ÷åíèå ýëåìåíòîâ ñ ïîìîùüþ îòðàæåíèé . . . . . . . . . . . .
73
8.5
Ìàòðèöû âðàùåíèÿ
73
8.6
Èñêëþ÷åíèå ýëåìåíòîâ ñ ïîìîùüþ âðàùåíèé
8.7
Ìàøèííûå ðåàëèçàöèè îòðàæåíèé è âðàùåíèé
8.8
8.1
êâàäðàòíîé ìàòðèöû . . . . . . . . . . . . . . . . .
71
ïðÿìîóãîëüíîé ìàòðèöû . . . . . . . . . . . . . . .
71
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
72
. . . . . . . . . . . .
74
. . . . . . . . . . .
74
Ìåòîä îðòîãîíàëèçàöèè . . . . . . . . . . . . . . . . . . . . . . . . .
74
8.9
Ïîòåðÿ îðòîãîíàëüíîñòè
. . . . . . . . . . . . . . . . . . . . . . . .
75
8.10
Êàê áîðîòüñÿ ñ ïîòåðåé îðòîãîíàëüíîñòè . . . . . . . . . . . . . . .
76
8.11
Ìîäè èöèðîâàííûé àëãîðèòì ðàìàØìèäòà
8.12
Äâóõäèàãîíàëèçàöèÿ
. . . . . . . . . . .
77
. . . . . . . . . . . . . . . . . . . . . . . . . .
78
8.13
Ïðèâåäåíèå ê ïî÷òè òðåóãîëüíîé îðìå
. . . . . . . . . . . . . . .
ëàâà 9
78
81
9.1
Ïðîáëåìà ñîáñòâåííûõ çíà÷åíèé . . . . . . . . . . . . . . . . . . . .
81
9.2
Ñòåïåííîé ìåòîä . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
82
9.3
Èòåðàöèè ïîäïðîñòðàíñòâà . . . . . . . . . . . . . . . . . . . . . . .
82
9.4
àññòîÿíèå ìåæäó ïîäïðîñòðàíñòâàìè
83
9.5
Ïîäïðîñòðàíñòâà è îðòîïðîåêòîðû
. . . . . . . . . . . . . . . . . .
83
9.6
àññòîÿíèÿ è îðòîïðîåêòîðû . . . . . . . . . . . . . . . . . . . . . .
84
9.7
Ïîäïðîñòðàíñòâà îäèíàêîâîé ðàçìåðíîñòè . . . . . . . . . . . . . .
85
9.8
Óãëû ìåæäó ïîäïðîñòðàíñòâàìè è
9.9
Ñõîäèìîñòü äëÿ áëî÷íî äèàãîíàëüíîé ìàòðèöû
9.10
Ñõîäèìîñòü â îáùåì ñëó÷àå
. . . . . . . . . . . . . . . .
CS -ðàçëîæåíèå
. . . . . . . . .
86
. . . . . . . . . .
87
. . . . . . . . . . . . . . . . . . . . . .
89
ëàâà 10
93
10.1
QR-àëãîðèòì
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
93
10.2
Îñíîâíûå ñîîòíîøåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . .
93
10.3
Ñõîäèìîñòü
10.4
Äîêàçàòåëüñòâî òåîðåìû î ñõîäèìîñòè
10.5
GR-àëãîðèòì
10.6
àçëîæåíèå Áðþà
QR-àëãîðèòìà
. . . . . . . . . . . . . . . . . . . . . . .
94
. . . . . . . . . . . . . . . .
95
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
96
10.7
. . . . . . . . . . . . . . . . . . . . . . . . . . . . −1 ×òî áóäåò, åñëè ìàòðèöà X íå ÿâëÿåòñÿ ñòðîãî ðåãóëÿðíîé . . .
10.8
QR-èòåðàöèè
è èòåðàöèè ïîäïðîñòðàíñòâ
. . . . . . . . . . . . . .
ëàâà 11
98 99 100
103
11.1
QR-àëãîðèòì
ñî ñäâèãàìè
. . . . . . . . . . . . . . . . . . . . . . .
103
11.2
Îáîáùåííûé
QR-àëãîðèòì
. . . . . . . . . . . . . . . . . . . . . . .
103
11.3
Ëåììà î
. . . . . . . . . . . . . . . . . . . . . . . . .
104
11.4
Êâàäðàòè÷íàÿ ñõîäèìîñòü
. . . . . . . . . . . . . . . . . . . . . . .
106
11.5
Êóáè÷åñêàÿ ñõîäèìîñòü . . . . . . . . . . . . . . . . . . . . . . . . .
107
11.6
×òî äåëàåò
. . . . . . . . . . . . . . .
108
QR-èòåðàöèè .
QR-àëãîðèòì ý åêòèâíûì QR-èòåðàöèè . . . . . . . . . .
11.7
Íåÿâíûå
. . . . . . . . . . . . . . .
109
11.8
Îðãàíèçàöèÿ âû÷èñëåíèé . . . . . . . . . . . . . . . . . . . . . . . .
110
11.9
Êàê íàéòè ñèíãóëÿðíîå ðàçëîæåíèå . . . . . . . . . . . . . . . . . .
111
ëàâà 12
113
12.1
Ïðèáëèæåíèå óíêöèé
. . . . . . . . . . . . . . . . . . . . . . . . .
113
12.2
Ïîëèíîìèàëüíàÿ èíòåðïîëÿöèÿ
. . . . . . . . . . . . . . . . . . . .
113
12.3
Ïëîõàÿ îáóñëîâëåííîñòü ìàòðèöû Âàíäåðìîíäà . . . . . . . . . . .
114
12.4
Èíòåðïîëÿöèîííûé ïîëèíîì Ëàãðàíæà . . . . . . . . . . . . . . . .
115
12.5
Ïîãðåøíîñòü ëàãðàíæåâîé èíòåðïîëÿöèè
. . . . . . . . . . . . . .
116
12.6
àçäåëåííûå ðàçíîñòè . . . . . . . . . . . . . . . . . . . . . . . . . .
116
12.7
Ôîðìóëà Íüþòîíà . . . . . . . . . . . . . . . . . . . . . . . . . . . .
117
12.8
àçäåëåííûå ðàçíîñòè ñ êðàòíûìè óçëàìè . . . . . . . . . . . . . .
118
12.9
Îáîáùåííûå èíòåðïîëÿöèîííûå óñëîâèÿ . . . . . . . . . . . . . . .
119
12.10
Òàáëèöà ðàçäåëåííûõ ðàçíîñòåé . . . . . . . . . . . . . . . . . . . .
121
12.11
Îñòàòî÷íûé ÷ëåí ìíîãîìåðíîé èíòåðïîëÿöèè . . . . . . . . . . . .
121
ëàâà 13
125
13.1
Ñõîäèìîñòü èíòåðïîëÿöèîííîãî ïðîöåññà . . . . . . . . . . . . . . .
125
13.2
Ñõîäèìîñòü ïðîåêòîðîâ . . . . . . . . . . . . . . . . . . . . . . . . .
125
13.3
Ëèíåéíûå íåïðåðûâíûå îïåðàòîðû â áàíàõîâîì ïðîñòðàíñòâå . . .
126
13.4
Àëãåáðàè÷åñêèå è òðèãîíîìåòðè÷åñêèå ïîëèíîìû . . . . . . . . . .
127
13.5
Ïðîåêòîðû, ñâÿçàííûå ñ ðÿäîì Ôóðüå
. . . . . . . . . . . . . . . .
127
13.6
Ïåññèìèñòè÷åñêèå ðåçóëüòàòû
. . . . . . . . . . . . . . . . . . . .
128
13.7
×åì ïëîõè ðàâíîìåðíûå ñåòêè . . . . . . . . . . . . . . . . . . . . .
129
13.8
Ïîëèíîìû ×åáûøåâà è ÷åáûøåâñêèå ñåòêè
13.9
Îïòèìèñòè÷åñêèå ðåçóëüòàòû
13.10
Ïîëèíîìû ×åáûøåâà è ýëëèïñû Áåðíøòåéíà
. . . . . . . . . . . .
132
13.11
Èíòåðïîëÿöèÿ àíàëèòè÷åñêèõ óíêöèé . . . . . . . . . . . . . . . .
133
13.12
Ìíîãîìåðíàÿ èíòåðïîëÿöèÿ íà ÷åáûøåâñêèõ ñåòêàõ
134
. . . . . . . . . . . . .
130
. . . . . . . . . . . . . . . . . . . .
132
. . . . . . . .
ëàâà 14
137
14.1
Ñïëàéíû
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14.2
Åñòåñòâåííûå ñïëàéíû
. . . . . . . . . . . . . . . . . . . . . . . . .
14.3
Âàðèàöèîííîå ñâîéñòâî åñòåñòâåííûõ ñïëàéíîâ
14.4
Ïîñòðîåíèå åñòåñòâåííûõ ñïëàéíîâ
137 137
. . . . . . . . . . .
138
. . . . . . . . . . . . . . . . . .
138
14.5
Àïïðîêñèìàöèîííûå ñâîéñòâà åñòåñòâåííûõ ñïëàéíîâ
14.6
B -ñïëàéíû
. . . . . . .
140
è ðàçäåëåííûå ðàçíîñòè . . . . . . . . . . . . . . . . . .
141
14.7
åêóððåíòíàÿ îðìóëà äëÿ
14.8
B -ñïëàéíû
. . . . . . . . . . . . . . . . . .
143
14.9
Ñïëàéíû è èíòåãðàë Ôóðüå . . . . . . . . . . . . . . . . . . . . . . .
144
14.10
Êâàçèëîêàëüíîñòü è ëåíòî÷íûå ìàòðèöû . . . . . . . . . . . . . . .
145
B -ñïëàéíîâ
íà ðàâíîìåðíûõ ñåòêàõ
. . . . . . . . . . . . . . .
ëàâà 15 15.1
142
149 Ìèíèìèçàöèÿ íîðìû
. . . . . . . . . . . . . . . . . . . . . . . . . .
149
15.2
àâíîìåðíûå ïðèáëèæåíèÿ . . . . . . . . . . . . . . . . . . . . . . .
149
15.3
Ïîëèíîìû, íàèìåíåå óêëîíÿþùèåñÿ îò íóëÿ . . . . . . . . . . . . .
150
15.4
ÿä Òåéëîðà è åãî äèñêðåòíûé àíàëîã
151
15.5
Êâàçèîïòèìàëüíîñòü èíòåðïîëÿöèîííûõ ïðèáëèæåíèé . . . . . . .
151
15.6
Ïðèíöèï íàèáîëüøèõ îáúåìîâ . . . . . . . . . . . . . . . . . . . . .
152
15.7
Ìåòîä íàèìåíüøèõ êâàäðàòîâ . . . . . . . . . . . . . . . . . . . . .
153
15.8
Îðòîãîíàëüíûå ïîëèíîìû
153
15.9
Òðåõ÷ëåííûå ðåêóððåíòíûå ñîîòíîøåíèÿ
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
154
15.10
Êîðíè îðòîãîíàëüíûõ ïîëèíîìîâ
. . . . . . . . . . . . . . . . . . .
156
15.11
àçëîæåíèå èíòåðïîëÿöèîííîãî ïîëèíîìà . . . . . . . . . . . . . .
157
15.12
Îðòîãîíàëüíûå ïîëèíîìû è ðàçëîæåíèå Õîëåöêîãî . . . . . . . . .
158
ëàâà 16 16.1
161 ×èñëåííîå èíòåãðèðîâàíèå . . . . . . . . . . . . . . . . . . . . . . .
161
16.2
Èíòåðïîëÿöèîííûå êâàäðàòóðíûå îðìóëû . . . . . . . . . . . . .
161
16.3
Àëãåáðàè÷åñêàÿ òî÷íîñòü êâàäðàòóðíîé îðìóëû
162
. . . . . . . . .
16.4
Ïîïóëÿðíûå êâàäðàòóðíûå îðìóëû . . . . . . . . . . . . . . . . .
162
16.5
Ôîðìóëû àóññà
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
163
16.6
Ñîñòàâíûå êâàäðàòóðíûå îðìóëû . . . . . . . . . . . . . . . . . .
164
16.7
Ïðàâèëî óíãå äëÿ îöåíêè ïîãðåøíîñòè
. . . . . . . . . . . . . . .
164
16.8
Êàê èíòåãðèðîâàòü ïëîõèå óíêöèè . . . . . . . . . . . . . . . . .
165
16.9
Èíòåãðàëû îò áûñòðîîñöèëëèðóþùèõ óíêöèé . . . . . . . . . . .
166
16.10
Ïðèìåíåíèå ïîëèíîìîâ Ëåæàíäðà . . . . . . . . . . . . . . . . . . .
166
ëàâà 17
169
17.1
Íåëèíåéíûå óðàâíåíèÿ
17.2
Ìåòîä ïðîñòîé èòåðàöèè
. . . . . . . . . . . . . . . . . . . . . . . . .
169
. . . . . . . . . . . . . . . . . . . . . . . .
170
17.3
Ñõîäèìîñòü è ðàñõîäèìîñòü ìåòîäà ïðîñòîé èòåðàöèè
. . . . . . .
170
17.4
Îïòèìèçàöèÿ ìåòîäà ïðîñòîé èòåðàöèè . . . . . . . . . . . . . . . .
172
17.5
Ìåòîä Íüþòîíà è ýðìèòîâà èíòåðïîëÿöèÿ . . . . . . . . . . . . . .
172
17.6
Ñõîäèìîñòü ìåòîäà Íüþòîíà . . . . . . . . . . . . . . . . . . . . . .
173
17.7
Âñþäó Íüþòîí . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
174
17.8
Ìíîãîìåðíîå îáîáùåíèå
174
. . . . . . . . . . . . . . . . . . . . . . . .
17.9
Ïðÿìàÿ è îáðàòíàÿ èíòåðïîëÿöèÿ . . . . . . . . . . . . . . . . . . .
175
17.10
Ìåòîä ñåêóùèõ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
176
17.11
×òî ëó÷øå: ìåòîä ñåêóùèõ èëè ìåòîä Íüþòîíà?
176
. . . . . . . . . .
ëàâà 18
179
18.1
Ìåòîäû ìèíèìèçàöèè . . . . . . . . . . . . . . . . . . . . . . . . . .
18.2
Ñíîâà Íüþòîí
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
179
18.3
åëàêñàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
180
18.4
Äðîáëåíèå øàãà
180
18.5
Ñóùåñòâîâàíèå è åäèíñòâåííîñòü òî÷êè ìèíèìóìà
. . . . . . . . .
181
18.6
ðàäèåíòíûé ìåòîä ñ äðîáëåíèåì øàãà . . . . . . . . . . . . . . . .
182
18.7
Ìåòîä ñêîðåéøåãî ñïóñêà . . . . . . . . . . . . . . . . . . . . . . . .
183
18.8
Ñëîæíîñòü ïðîñòîãî âû÷èñëåíèÿ
18.9
Áûñòðîå âû÷èñëåíèå ãðàäèåíòà
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
179
. . . . . . . . . . . . . . . . . . .
184
. . . . . . . . . . . . . . . . . . . .
185
18.10
Ïîëåçíûå èäåè . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
186
18.11
Êâàçèíüþòîíîâñêèå ìåòîäû
. . . . . . . . . . . . . . . . . . . . . .
187
18.12
Ñõîäèìîñòü äëÿ êâàäðàòè÷íûõ óíêöèîíàëîâ . . . . . . . . . . . .
189
ëàâà 19
191
19.1
Êâàäðàòè÷íûå óíêöèîíàëû è ëèíåéíûå ñèñòåìû
. . . . . . . . .
191
19.2
Ìèíèìèçàöèÿ è ïðîåêöèîííûå ìåòîäû
. . . . . . . . . . . . . . . .
191
19.3
Ïîäïðîñòðàíñòâà Êðûëîâà . . . . . . . . . . . . . . . . . . . . . . .
192
19.4
Îïòèìàëüíûå ïîäïðîñòðàíñòâà
192
. . . . . . . . . . . . . . . . . . . .
19.5
Îïòèìàëüíîñòü ïîäïðîñòðàíñòâ Êðûëîâà
. . . . . . . . . . . . . .
193
19.6
Ìåòîä ìèíèìàëüíûõ íåâÿçîê . . . . . . . . . . . . . . . . . . . . . .
195
19.7
A-íîðìà
. . . . . . . . . . . . . . . . . . . . .
196
è
A-îðòîãîíàëüíîñòü
19.8
Ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ . . . . . . . . . . . . . . . . . . . .
197
19.9
Îò ìàòðè÷íûõ ðàçëîæåíèé ê èòåðàöèîííûì ìåòîäàì
. . . . . . .
198
19.10
Ôîðìàëüíîå ñêàëÿðíîå ïðîèçâåäåíèå
. . . . . . . . . . . . . . . . .
198
. . . . . . . . . . . . . . . . . . . . . . .
199
19.11
Ìåòîä áèîðòîãîíàëèçàöèè
19.12
Ìåòîä êâàçèìèíèìàëüíûõ íåâÿçîê
. . . . . . . . . . . . . . . . . .
ëàâà 20
200
203
20.1
Ñõîäèìîñòü ìåòîäà ìèíèìàëüíûõ íåâÿçîê . . . . . . . . . . . . . .
203
20.2
Óñëîâèå ñòðîãîé ýëëèïòè÷íîñòè
203
20.3
Îöåíêè ñ ïîìîùüþ ïîëèíîìîâ . . . . . . . . . . . . . . . . . . . . .
204
20.4
Ïîëèíîìû è ðåçîëüâåíòà . . . . . . . . . . . . . . . . . . . . . . . .
205
. . . . . . . . . . . . . . . . . . . .
20.5
Ïðåäåëüíàÿ ñêîðîñòü ñõîäèìîñòè
. . . . . . . . . . . . . . . . . . .
206
20.6
×èñëîâàÿ îáëàñòü ìàòðèöû . . . . . . . . . . . . . . . . . . . . . . .
207
20.7
Îöåíêà ðåçîëüâåíòû . . . . . . . . . . . . . . . . . . . . . . . . . . .
208
20.8
Ñõîäèìîñòü â ñëó÷àå íîðìàëüíûõ ìàòðèö
. . . . . . . . . . . . . .
208
20.9
Ìèíèìàëüíûå íåâÿçêè è óðàâíåíèå Ëàïëàñà . . . . . . . . . . . . .
209
20.10
Ìåòîä ëîãàðè ìè÷åñêîãî ïîòåíöèàëà . . . . . . . . . . . . . . . . .
210
20.11
Îáîñíîâàíèå ìåòîäà . . . . . . . . . . . . . . . . . . . . . . . . . . .
211
ëàâà 21
215
21.1
Ñõîäèìîñòü ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ
. . . . . . . . . . . .
215
21.2
Êëàññè÷åñêàÿ îöåíêà
. . . . . . . . . . . . . . . . . . . . . . . . . .
216
. . . . . . . . . . . . . . . . . . . . . . . . . .
217
21.3
Áîëåå òî÷íûå îöåíêè
21.4
Ìåòîä Àðíîëüäè è ìåòîä Ëàíöîøà
. . . . . . . . . . . . . . . . . .
217
21.5
×èñëà èòöà è âåêòîðû èòöà . . . . . . . . . . . . . . . . . . . . .
219
21.6
Ñõîäèìîñòü ÷èñåë èòöà
. . . . . . . . . . . . . . . . . . . . . . . .
219
21.7
Âàæíîå ñâîéñòâî . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
220
21.8
Ñâåðõëèíåéíàÿ ñõîäèìîñòü è èñ÷åçàþùèå ñîáñòâåííûå çíà÷åíèÿ 221
21.9
ßâíûå è íåÿâíûå ïðåäîáóñëîâëèâàòåëè . . . . . . . . . . . . . . . .
222
21.10
Ïðåäîáóñëîâëèâàíèå ýðìèòîâûõ ìàòðèö
. . . . . . . . . . . . . . .
223
21.11
Îöåíêè ÷èñëà èòåðàöèé . . . . . . . . . . . . . . . . . . . . . . . . .
224
ëàâà 22
227
22.1
Îïåðàòîðíûå óðàâíåíèÿ
. . . . . . . . . . . . . . . . . . . . . . . .
227
22.2
Ñëàáûå ðåøåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
228
22.3
Ìåòîä êîíå÷íûõ ýëåìåíòîâ . . . . . . . . . . . . . . . . . . . . . . .
228
22.4
Àïïðîêñèìàöèÿ, óñòîé÷èâîñòü, ñõîäèìîñòü . . . . . . . . . . . . . .
229
22.5
Ìåòîä àëåðêèíà
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
230
22.6
Êîìïàêòíûå âîçìóùåíèÿ . . . . . . . . . . . . . . . . . . . . . . . .
231
22.7
Ôîðìû è îïåðàòîðû . . . . . . . . . . . . . . . . . . . . . . . . . . .
232
22.8
Ñóùåñòâîâàíèå ðåøåíèé
233
22.9
Òåîðèÿ èññàÔðåäãîëüìà
. . . . . . . . . . . . . . . . . . . . . . .
234
22.10
Ñîïðÿæåííûå îïåðàòîðû . . . . . . . . . . . . . . . . . . . . . . . .
235
22.11
Èíòåãðàëüíûå óðàâíåíèÿ . . . . . . . . . . . . . . . . . . . . . . . .
237
22.12
Ôóíêöèîíàëüíûå ïðîñòðàíñòâà
238
. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
ëàâà 23
241
23.1
Ìíîãîñåòî÷íûé ìåòîä . . . . . . . . . . . . . . . . . . . . . . . . . .
241
23.2
Àëãåáðàè÷åñêàÿ îðìóëèðîâêà
. . . . . . . . . . . . . . . . . . . .
242
23.3
Ñãëàæèâàòåëü
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
243
23.4
Îñíîâíûå ïðåäïîëîæåíèÿ
23.5
Îáùàÿ ñõåìà ìíîãîñåòî÷íîãî ìåòîäà
23.6
Îñíîâíîå óðàâíåíèå è íåðàâåíñòâî
23.7
Àíàëèç
23.8
Àíàëèç
23.9
Èíòåðåñíûå íàáëþäåíèÿ
V -öèêëà W -öèêëà
. . . . . . . . . . . . . . . . . . . . . . .
243
. . . . . . . . . . . . . . . . .
244
. . . . . . . . . . . . . . . . . .
245
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
246
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
247
. . . . . . . . . . . . . . . . . . . . . . . .
247
23.10
Ïðîñòåéøèé ïðèìåð . . . . . . . . . . . . . . . . . . . . . . . . . . .
248
23.11
Êîððåêöèè íà ïîäïðîñòðàíñòâàõ . . . . . . . . . . . . . . . . . . . .
249
ëàâà 24
253
24.1
Ìàòðèöû ñïåöèàëüíîãî âèäà . . . . . . . . . . . . . . . . . . . . . .
253
24.2
Öèðêóëÿíòû è òåïëèöåâû ìàòðèöû
. . . . . . . . . . . . . . . . . .
254
24.3
Öèðêóëÿíòû è ìàòðèöû Ôóðüå . . . . . . . . . . . . . . . . . . . . .
254
24.4
Áûñòðîå ïðåîáðàçîâàíèå Ôóðüå
255
24.5
Öèðêóëÿíòíûå ïðåäîáóñëîâëèâàòåëè
24.6
Îïòèìàëüíûå öèðêóëÿíòû äëÿ òåïëèöåâûõ ñèñòåì
. . . . . . . . .
257
24.7
Ñòðîåíèå îáðàòíûõ ìàòðèö . . . . . . . . . . . . . . . . . . . . . . .
259
24.8
Òåïëèöåâû ðàíãè . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
261
24.9
Àëãîðèòìû ìåòîäà îêàéìëåíèÿ
262
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
ëàâà 25
256
265
25.1
Íåëèíåéíûå àïïðîêñèìàöèè
25.2
Ìàëûé ðàíã è ëåíòî÷íûå ìàòðèöû
25.3
Ìíîãîóðîâíåâûå ìàòðèöû
25.4
Ìàòðèöû è óíêöèè
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
265 266
. . . . . . . . . . . . . . . . . . . . . . .
268
. . . . . . . . . . . . . . . . . . . . . . . . . .
269
25.5
Àñèìïòîòè÷åñêè ñåïàðàáåëüíûå óíêöèè
. . . . . . . . . . . . . .
271
25.6
Ìåòîä êðåñòîâîé àïïðîêñèìàöèè
. . . . . . . . . . . . . . . . . . .
271
25.7
Ñóïåð óíêöèè . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
273
25.8
Êëàññè÷åñêèå âåéâëåòû . . . . . . . . . . . . . . . . . . . . . . . . .
274
25.9
Îáîáùåííûå âåéâëåòû
276
Ëèòåðàòóðà
. . . . . . . . . . . . . . . . . . . . . . . . .
279
Ïðåäèñëîâèå
Ýòà êíèãà ñóùåñòâåííî äîïîëíåííàÿ, ïåðåðàáîòàííàÿ è, óâåðåí, óëó÷øåííàÿ âåðñèÿ îïóáëèêîâàííûõ ìíîþ â 1994 ãîäó ëåêöèé ïîä íàçâàíèåì Êðàòêèé êóðñ ÷èñëåííîãî àíàëèçà. Êîãäà ÿ ãîòîâèë ïåðâóþ âåðñèþ, òî òî÷íî çíàë, ïî÷åìó ýòî äåëàþ. Íåñìîòðÿ íà òî, ÷òî åñòü ìíîãî õîðîøèõ è î÷åíü õîðîøèõ êíèã ïî ìåòîäàì âû÷èñëåíèé è ñìåæíûì âîïðîñàì, ÿ ïîìíþ, ÷òî íå ïîíèìàë ýòîãî, áóäó÷è ñòóäåíòîì. Ïîýòîìó ÿ ñòàðàëñÿ íàïèñàòü òàêèå ëåêöèè, êîòîðûå õîòåë áû èìåòü â òî âðåìÿ, êîãäà áûë ñòóäåíòîì. Òàêèì îáðàçîì, ïîëó÷àåòñÿ, ÷òî ÿ ïèñàë êíèãó ïðåæäå âñåãî äëÿ ñåáÿ. Ìåòîäû ÷èñëåííîãî àíàëèçà, êàê ÿ èõ âèæó ýòî ïîðàçèòåëüíîå ñèíåðãåòè÷åñêîå ñî÷åòàíèå êðàñèâûõ è ãëóáîêèõ èäåé è òåîðèé èç ðàçíûõ ðàçäåëîâ ìàòåìàòèêè: àíàëèçà, òåîðèè óíêöèé, òåîðèè îïåðàòîðîâ, òåîðèè ïðèáëèæåíèé, ëèíåéíîé àëãåáðû è ìàòðè÷íîãî àíàëèçà. Ïðåäìåò ÿâëÿåòñÿ ñèíòåòè÷åñêèì ïî ñóòè. Ïîýòîìó îí îñîáåííî òðóäåí äëÿ îñâîåíèÿ è èçëîæåíèÿ, êîòîðîå ÷àùå âñåãî ñâîäèòñÿ ê ïðîñòðàííîìó îïèñàíèþ âû÷èñëèòåëüíûõ ðåöåïòîâ èëè ðàçáîðó ìíîãî÷èñëåííûõ ïðèìåðîâ è ïðèëîæåíèé. Âñå ýòî âàæíî è íóæíî. Íî î÷åíü õî÷åòñÿ èìåòü ðóêîâîäñòâî äðóãîãî òèïà ñ àêöåíòîì èìåííî íà èäåÿõ, äîñòàòî÷íî êðàòêîå äëÿ òîãî, ÷òîáû íå çàòóìàíèòü êðàñîòó èäåé è ïîêàçàòü áîãàòñòâî ñâÿçåé ñ çàìå÷àòåëüíûìè ìàòåìàòè÷åñêèìè òåîðèÿìè (äåòàëüíîå èçó÷åíèå êîòîðûõ òðåáóåò, êîíå÷íî, îòäåëüíûõ êóðñîâ, íåìàëûõ óñèëèé è âðåìåíè), è â ñóùåñòâåííîé ÷àñòè çàìêíóòîå ñ ïîëíûìè äîêàçàòåëüñòâàìè èëè óêàçàíèÿìè íà òî, ÷òî íóæíî äåëàòü äëÿ èõ çàâåðøåíèÿ. Èç ñêàçàííîãî ÿñíî, ÷òî êíèãà àäðåñîâàíà ìàòåìàòèêàì è òåì, êòî ñïåöèàëèçèðóåòñÿ â îáëàñòè ïðèêëàäíîé ìàòåìàòèêè. Íî äóìàþ, ÷òî îíà áóäåò ïîëåçíîé èíæåíåðàì è, âîçìîæíî, äàæå â áîëüøåé ñòåïåíè, òàê êàê äàåò øàíñ ñîïðèêîñíóòüñÿ, ïóñòü è êîíñïåêòèâíî, ñ ïðåêðàñíûìè ðàçäåëàìè ìàòåìàòèêè, êîòîðûå êàê óíäàìåíò ïîääåðæèâàþò ðàçðîñøååñÿ çäàíèå ÷èñëåííîãî àíàëèçà. Íàâåðíîå, âûáðàííûå àêöåíòû îòðàæàþò âêóñû àâòîðà. Íî îíè êîððåëèðóþò è ñ ñîâðåìåííûìè òåíäåíöèÿìè ðàçâèòèÿ ïðåäìåòà.  êíèãå íåìàëî 1
ìåñò, êîòîðûå ïîêà åùå íåëüçÿ íàéòè â ó÷åáíèêàõ, à èíîãäà è â ìîíîãðà èÿõ. Ïîýòîìó íàäåþñü, ÷òî êíèãà áóäåò èíòåðåñíà êàê òåì, êòî ó÷èòñÿ, òàê è òåì, êòî ó÷èò. Ìíå ïîñ÷àñòëèâèëîñü èìåòü õîðîøèõ íàñòàâíèêîâ, áåç íèõ âñå áûëî áû íå òàê, â òîì ÷èñëå è ýòà êíèãà áûëà áû äðóãîé. Ïðåæäå âñåãî õî÷ó ïîáëàãîäàðèòü Âàëåíòèíà Âàñèëüåâè÷à Âîåâîäèíà çà ïîñòîÿííîå âíèìàíèå, âñåãäà öåííûå, ñâîåâðåìåííûå ñîâåòû è ïîääåðæêó âî âñåì. Ìíå ïðèÿòíî âûðàçèòü ïðèçíàòåëüíîñòü Õàêèìó Äîäîäæàíîâè÷ó Èêðàìîâó è Àëåêñåþ åîðãèåâè÷ó Ñâåøíèêîâó. Íå ìîãó íå îòìåòèòü, ÷òî âñåãäà îùóùàë çàáîòó è ïîääåðæêó íà àêóëüòåòå âû÷èñëèòåëüíîé ìàòåìàòèêè è êèáåðíåòèêè Ìîñêîâñêîãî óíèâåðñèòåòà èì. Ì. Â. Ëîìîíîñîâà êàê ðàíüøå, âî âðåìåíà ñòóäåí÷åñòâà, àñïèðàíòóðû, ðàáîòû àññèñòåíòîì, òàê è òåïåðü, â êà÷åñòâå ïðî åññîðà. Îñîáàÿ áëàãîäàðíîñòü óðèþ Èâàíîâè÷ó Ìàð÷óêó è Âàëåíòèíó Ïàâëîâè÷ó Äûìíèêîâó çà ñ÷àñòüå ðàáîòàòü â ëó÷øåì èíñòèòóòå îññèéñêîé àêàäåìèè íàóê Èíñòèòóòå âû÷èñëèòåëüíîé ìàòåìàòèêè. À òàêæå è çà èõ òðóä ïî âîñïèòàíèþ ñòóäåíòîâ, äàâøèé æèçíü çàìå÷àòåëüíûì êà åäðàì â Ìîñêîâñêîì èçèêî-òåõíè÷åñêîì èíñòèòóòå è â Ìîñêîâñêîì óíèâåðñèòåòå. Ïî-ïðåæíåìó áëàãîäàðåí ïåðâûì ÷èòàòåëÿì Êðàòêîãî êóðñà... Ñåðãåþ Àíàòîëüåâè÷ó îðåéíîâó è Íèêîëàþ Ëåîíèäîâè÷ó Çàìàðàøêèíó. Êàê è ðàíüøå, î÷åíü âäîõíîâëÿåò, ÷òî ó íèõ íàõîäèòñÿ ìíîãî ïîâîäîâ äëÿ òîãî, ÷òîáû ïîäåëèòüñÿ çàìå÷àíèÿìè è ïðåäëîæåíèÿìè íå òîëüêî ïî ïîâîäó äàííîé êíèãè, íî è ïî ñàìûì ðàçíûì âîïðîñàì èç èçëþáëåííîé íàìè îáëàñòè ìàòðè÷íûõ ìåòîäîâ è ÷èñëåííîãî àíàëèçà.
ëàâà 1
1.1
Ìåòðè÷åñêîå ïðîñòðàíñòâî
Ìû õîòèì íàó÷èòüñÿ âû÷èñëÿòü ðàçëè÷íûå ìàòåìàòè÷åñêèå îáúåêòû. Íî íàøè àëãîðèòìû áóäóò äàâàòü íåêîòîðûå äðóãèå îáúåêòû, êîòîðûå, êàê ìû íàäååìñÿ, áóäóò áëèçêè ê èñêîìûì. Òàêèì îáðàçîì, íàì íóæíî óìåòü îïðåäåëÿòü áëèçîñòü äëÿ ðàçëè÷íûõ îáúåêòîâ.  îáùåì âèäå ïîíÿòèå áëèçîñòè ìîæíî ââåñòè ñ ïîìîùüþ ìåòðèêè, èëè ðàññòîÿíèÿ. Ïóñòü M íåïóñòîå ìíîæåñòâî è ρ(x, y) íåîòðèöàòåëüíàÿ óíêöèÿ, îïðåäåëåííàÿ äëÿ âñåõ x, y ∈ M è îáëàäàþùàÿ ñëåäóþùèìè ñâîéñòâàìè: (1) ρ(x, y) ≥ 0 ∀ x, y ∈ M; ρ(x, y) = 0 ⇔ x = y ; (2) ρ(x, y) = ρ(y, x) ∀ x, y ∈ M (ñèììåòðè÷íîñòü); (3) ρ(x, y) ≤ ρ(x, y) + ρ(y, z) ∀ x, y, z ∈ M (íåðàâåíñòâî òðåóãîëüíèêà).
Òàêàÿ óíêöèÿ ρ(x, y) íàçûâàåòñÿ ìåòðèêîé, èëè ðàññòîÿíèåì (ìåæäó x è y ), à M ïðè ýòîì íàçûâàåòñÿ ìåòðè÷åñêèì ïðîñòðàíñòâîì. Õîðîøî çíàêîìûé ïðèìåð ìåòðè÷åñêîãî ïðîñòðàíñòâà: M âñå âåùåñòâåííûå ÷èñëà è ρ(x, y) ≡ |x − y|. Äðóãîé ïîó÷èòåëüíûé ïðèìåð: M ïðîèçâîëüíîå íåïóñòîå ìíîæåñòâî, ρ(x, y) = 0 ïðè x = y è 1 ïðè x 6= y . 1.2
Ïîëåçíûå îïðåäåëåíèÿ
Ïîñëåäîâàòåëüíîñòü xn ∈ M íàçûâàåòñÿ ñõîäÿùåéñÿ, åñëè ∃ x ∈ M : lim ρ(xn, x) = 0. Ëåãêî äîêàçàòü, ÷òî òàêàÿ òî÷êà x ìîæåò áûòü òîëüêî
n→∞
îäíà; x íàçûâàåòñÿ ïðåäåëîì äëÿ xn. Îáîçíà÷åíèå: x = lim xn. n→∞
Ïîñëåäîâàòåëüíîñòü xn ∈ M íàçûâàåòñÿ ïîñëåäîâàòåëüíîñòüþ Êîøè ( óíäàìåíòàëüíîé, ñõîäÿùåéñÿ â ñåáå), åñëè
∀ε > 0 ∃ N :
n, m ≥ N ⇒ ρ(xn , xm) ≤ ε.
Ìåòðè÷åñêîå ïðîñòðàíñòâî M íàçûâàåòñÿ ïîëíûì, åñëè â íåì ëþáàÿ ïîñëåäîâàòåëüíîñòü Êîøè ÿâëÿåòñÿ ñõîäÿùåéñÿ. 3
Ìíîæåñòâî C ⊂ M íàçûâàåòñÿ çàìêíóòûì, åñëè äëÿ ëþáîé ñõîäÿùåéñÿ ïîñëåäîâàòåëüíîñòè xn ∈ C åå ïðåäåë ïðèíàäëåæèò C . Òî÷êà x ∈ M íàçûâàåòñÿ ïðåäåëüíîé òî÷êîé ìíîæåñòâà S ⊂ M , åñëè ∃ xn ∈ S, xn 6= x : xn → x. Çàìûêàíèåì ìíîæåñòâà íàçûâàåòñÿ åãî îáúåäèíåíèå ñî âñåìè åãî ïðåäåëüíûìè òî÷êàìè. Çàìêíóòîå ìíîæåñòâî C ⊂ M íàçûâàåòñÿ êîìïàêòíûì, åñëè â íåì èç ëþáîé ïîñëåäîâàòåëüíîñòè ìîæíî âûäåëèòü ñõîäÿùóþñÿ ïîäïîñëåäîâàòåëüíîñòü. Ìíîæåñòâî B(a; r) ≡ {x ∈ M : ρ(x, a) < r} íàçûâàåòñÿ îòêðûòûì øàðîì ñ öåíòðîì â òî÷êå a è ðàäèóñîì r. Ìíîæåñòâî B(a; r) ≡ {x ∈ M : ρ(x, a) ≤ r} íàçûâàåòñÿ çàìêíóòûì øàðîì. Ìíîæåñòâî O ⊂ M íàçûâàåòñÿ îòêðûòûì, åñëè â íåì ëþáàÿ òî÷êà x ñîäåðæèòñÿ âìåñòå ñ íåêîòîðûì îòêðûòûì øàðîì B(x, r). Ìíîæåñòâî S ⊂ M íàçûâàåòñÿ îãðàíè÷åííûì, åñëè S öåëèêîì ñîäåðæèòñÿ â íåêîòîðîì øàðå. ×èñëîâàÿ óíêöèÿ f (x), x ∈ M , íàçûâàåòñÿ íåïðåðûâíîé â òî÷êå x0 , åñëè äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè xn 6= x0 , ñõîäÿùåéñÿ ê x0 , èìååò ìåñòî ðàâåíñòâî f (x0) = lim f (xn). n→∞
1.3
Âëîæåííûå øàðû
Ïóñòü â ïîëíîì ìåòðè÷åñêîì ïðîñòðàíñòâå M èìåþòñÿ çàìêíóòûå øàðû B(an , rn) òàêèå, ÷òî: Òåîðåìà 1.3.1
(1) B(a1 ; r1 ) ⊃ B(a2 ; r2) ⊃ . . . ; (2) lim rn = 0. n→∞
Òîãäà ïåðåñå÷åíèå ýòèõ øàðîâ P = ðîâíî îäíó òî÷êó.
∞ T
B(an , rn) íå ïóñòî è ñîäåðæèò
n=1
Óñëîâèå (2) ñóùåñòâåííî. ×òîáû ýòî ïîêàçàòü, ïîñòðîèì ýêçîòè÷åñêîå ìåòðè÷åñêîå ïðîñòðàíñòâî: 0, m = n; M = {1, 2, . . .}, ρ(m, n) = 1 + max 1m , 1n , m 6= n. 2 2
Íåòðóäíî ïðîâåðèòü, ÷òî ρ ÿâëÿåòñÿ ìåòðèêîé (òî åñòü âûïîëíåíû ñâîéñòâà (1)(3) èç ï. 1.1). Â ïðîñòðàíñòâå M ëþáàÿ ïîñëåäîâàòåëüíîñòü Êîøè
ñîñòîèò èç îäèíàêîâûõ ÷ëåíîâ íà÷èíàÿ ñ íåêîòîðîãî íîìåðà è ïîýòîìó ÿâëÿåòñÿ ñõîäÿùåéñÿ ⇒ M ïîëíîå ìåòðè÷åñêîå ïðîñòðàíñòâî. Çàìåòèì, ÷òî çàìêíóòûå âëîæåííûå øàðû B 1, 1 + 21 ⊃ B 2, 1 + 212 ⊃ B 3, 1 + 213 ⊃ . . . èìåþò ïóñòîå ïåðåñå÷åíèå. 1.4
Íîðìèðîâàííîå ïðîñòðàíñòâî
Ïóñòü V âåùåñòâåííîå èëè êîìïëåêñíîå âåêòîðíîå (ëèíåéíîå) ïðîñòðàíñòâî, íà êîòîðîì îïðåäåëåíà íåîòðèöàòåëüíàÿ óíêöèÿ f (x) òàêàÿ, ÷òî: (1) f (x) ≥ 0
∀x ∈ V ;
2) f (αx) = |α|f (x),
f (x) = 0 ⇔ x = 0;
α ÷èñëî, x ∈ V ;
(2) f (x + y) ≤ f (x) + f (y)
(íåðàâåíñòâî òðåóãîëüíèêà).
Òàêàÿ óíêöèÿ f (x) íàçûâàåòñÿ íîðìîé âåêòîðà x, à ïðîñòðàíñòâî V íàçûâàåòñÿ ïðè ýòîì íîðìèðîâàííûì. Îáîçíà÷åíèå: kxk ≡ f (x). Äëÿ ëþáîãî íîðìèðîâàííîãî ïðîñòðàíñòâà ìåòðèêà ââîäèòñÿ òàê:
ρ(x, y) ≡ kx − yk.
Ñõîäèìîñòü è äðóãèå ïîíÿòèÿ, ðàññìîòðåííûå â ï. 1.2, îïðåäåëÿþòñÿ èìåííî äëÿ ýòîé ìåòðèêè. Ïîëíîå íîðìèðîâàííîå ïðîñòðàíñòâî íàçûâàåòñÿ áàíàõîâûì. 1.5
Ïîïóëÿðíûå âåêòîðíûå íîðìû T
Ïóñòü V = Cn (èëè Rn ). Åñëè p ≥ 1 è x = [x1 , . . . , xn] , òî ïîëîæèì n 1/p P |xi|p kxkp ≡ (p-íîðìà âåêòîðà x). i=1
Òåîðåìà 1.5.1
kxkp ÿâëÿåòñÿ íîðìîé.
Ñâîéñòâà (1) è (2) íîðìû î÷åâèäíû. Ñâîéñòâî (3) ïðåäñòàâëÿåò ñîáîé íåðàâåíñòâî Ìèíêîâñêîãî, êîòîðîå ìû äîêàæåì íèæå. Ëåììà 1.5.1
ñìûñëå, ÷òî
Ïóñòü ÷èñëà p, q îáðàçóþò ãåëüäåðîâñêóþ ïàðó â òîì
p, q > 1, Òîãäà äëÿ ëþáûõ a, b ≥ 0
1 1 + = 1. p q
ap bq + . ab ≤ p q
Äîêàçàòåëüñòâî ëåãêî ïîëó÷èòü, èñïîëüçóÿ âîãíóòîñòü ëîãàðè ìè÷åñêîé óíêöèè. Âîãíóòîñòü (ñâîéñòâî, ïðîòèâîïîëîæíîå âûïóêëîñòè) îçíà÷àåò, ÷òî ∀u, v > 0
α log u + β log v ≤ log (αu + βv), ∀α, β ≥ 0,
α + β = 1.
åëüäåðà) Äëÿ ëþáîé ãåëüäåðîâñêîé ïàðû p, q è ëþáûõ âåêòîðîâ x = [x1, . . . , xn]T , y = [y1, . . . , yn]T n X xiyi ≤ kxkpkykq . Òåîðåìà 1.5.2 (Íåðàâåíñòâî
i=1
Åñëè x = 0 èëè y = 0, òî íåðàâåíñòâî î÷åâèäíî. Ïîýòîìó ðàññìîòðèì íåíóëåâûå âåêòîðû x, y è ïîëîæèì
Äîêàçàòåëüñòâî.
x˜ = x/kxkp,
y˜ = y/kykq .
Òîãäà k˜ xkp = k˜ y kq = 1. Ñîãëàñíî ëåììå 1.5.1,
|˜ xi|p |˜ yi |q |˜ xi| |˜ yi | ≤ + , p q
i = 1, . . . , n.
Ñêëàäûâàÿ ýòè íåðàâåíñòâà, ïîëó÷àåì n X i=1
Òåîðåìà 1.5.3 (
k˜ xkpp k˜ y kqq |˜ xi | |˜ yi | ≤ + = 1. p q
2
Íåðàâåíñòâî Ìèíêîâñêîãî)
kx + ykp ≤ kxkp + kykp. Äîêàçàòåëüñòâî.
kx +
ykpp
=
n X i=1
p
|xi + yi | ≤
(äàëåå â ñèëó íåðàâåíñòâà åëüäåðà)
≤
n X i=1
n X i=1
q |xi + yi |p−1
Îñòàåòñÿ ó÷åñòü, ÷òî (p − 1)q = p. 2
|xi + yi|p−1 (|xi | + |yi |)
! q1
(kxkp + kykp ) .
Ê p-íîðìàì îòíîñÿò òàêæå ñëåäóþùèå íîðìû:
kxk∞ ≡ max |xi|, 1≤i≤n
kxk1 ≡
n X i=1
|xi |.
Ëåãêî äîêàçàòü, ÷òî ýòî äåéñòâèòåëüíî íîðìû è äëÿ íèõ îñòàþòñÿ â ñèëå íåðàâåíñòâà åëüäåðà (ïðè p = 1 è q = ∞) è Ìèíêîâñêîãî. Êðîìå òîãî,
kxk∞ = lim kxkp. p→∞
Ñðåäè p-íîðì íàèáîëåå ÷àñòî ïðèõîäèòñÿ èìåòü äåëî ñî çíà÷åíèÿìè p = 1, 2 è ∞. Âîò êàê âûãëÿäÿò åäèíè÷íûå ñ åðû äëÿ ýòèõ íîðì ïðè n = 2:
èñóíîê 1.1.
Åäèíè÷íûå ñ åðû ïðè p = 1, 2, 3.
Ïî÷åìó 1-íîðìó èíîãäà íàçûâàþò îêòàýäðè÷åñêîé, à ∞-íîðìó êóáè÷åñêîé? 1.6
Ìàòðè÷íûå íîðìû
Ìàòðèöû îäèíàêîâûõ ðàçìåðîâ îáðàçóþò êîíå÷íîìåðíîå âåêòîðíîå ïðîñòðàíñòâî. Ïîýòîìó íîðìà äëÿ ìàòðèö, â ïðèíöèïå, ìîæåò ïîðîæäàòüñÿ ëþáîé âåêòîðíîé íîðìîé. Îäíàêî ïîä ìàòðè÷íîé íîðìîé ïîíèìàåòñÿ íå÷òî á îëüøåå. Ïóñòü êàæäîé ìàòðèöå A ïîñòàâëåíî â ñîîòâåòñòâèå ÷èñëî kAk. Òîãäà kAk íàçûâàåòñÿ ìàòðè÷íîé íîðìîé, åñëè: (1) íà âåêòîðíîì ïðîñòðàíñòâå ìàòðèö îäèíàêîâûõ ðàçìåðîâ kAk ÿâëÿåòñÿ âåêòîðíîé íîðìîé;
(2) äëÿ ëþáûõ ìàòðèö A è B , äîïóñêàþùèõ óìíîæåíèå,
kABk ≤ kAkkBk (ñâîéñòâî ìóëüòèïëèêàòèâíîñòè). Îäèí èç âàæíåéøèõ ïðèìåðîâ ìàòðè÷íîé íîðìû ýòî íîðìà Ôðîáåíèóñà: !1/2 m X n X , A ∈ C m×n. kAkF ≡ |aij |2 i=1 j=1
 îòå÷åñòâåííîé ëèòåðàòóðå kAkF íàçûâàþò åâêëèäîâîé íîðìîé ìàòðèöû è îáîçíà÷àþò kAkE . Äîêàçàòåëüñòâî ìóëüòèïëèêàòèâíîñòè íîðìû Ôðîáåíèóñà. Ïóñòü T b1 m×n A = [a1, . . . , an ] ∈ C è B = . . . ∈ C n×k . bTn Òîãäà
AB = a1 bT1 + · · · + an bTn .
 ñèëó íåðàâåíñòâà òðåóãîëüíèêà
kABkF ≤ ||a1 bT1 kF + · · · + kan bTn kF
= ||a1 k2kb1k2 + · · · + kan k2kbn k2 21 n 1 Pn P 2 2 kb k = kAkF kBkF . 2 kai k22 ≤ i 2 i=1 i=1
1.7
Ýêâèâàëåíòíûå íîðìû
Íîðìû k · k∗ è k · k∗∗ íà îäíîì âåêòîðíîì ïðîñòðàíñòâå V íàçûâàþòñÿ ýêâèâàëåíòíûìè, åñëè ñóùåñòâóþò êîíñòàíòû c1 , c2 > 0 òàêèå, ÷òî
c1 kxk∗ ≤ kxk∗∗ ≤ c2 kxk∗
∀ x ∈ V.
Ïîíÿòíî, ÷òî ýêâèâàëåíòíûå íîðìû ðàâíîöåííû ñ òî÷êè çðåíèÿ ñõîäèìîñòè. Ñëåäóþùàÿ òåîðåìà óíäàìåíòàëüíûé àêò, ñïðàâåäëèâûé äëÿ êîíå÷íîìåðíûõ ïðîñòðàíñòâ. Òåîðåìà 1.7.1
âàëåíòíû.
Ëþáûå äâå íîðìû íà êîíå÷íîìåðíîì ïðîñòðàíñòâå ýêâè-
Äîêàçàòåëüñòâî.
 îñíîâå äîêàçàòåëüñòâà ëåæàò òðè âàæíûõ àêòà:
(1) êîìïàêòíîñòü åäèíè÷íîé ñ åðû Sn = {x ∈ Rn : kxk2 = 1} îòíîñèòåëüíî 2-íîðìû; (2) íåïðåðûâíîñòü ëþáîé íîðìû k · k∗ îòíîñèòåëüíî 2-íîðìû; (3) òåîðåìà Âåéåðøòðàññà î òîì, ÷òî óíêöèÿ, íåïðåðûâíàÿ íà êîìïàêòíîì ìíîæåñòâå, ÿâëÿåòñÿ îãðàíè÷åííîé. àññìîòðèì ïîñëåäîâàòåëüíîñòü (k) x = ..., ∈ Sn . Ïîñëåäîâàòåëüíîñòü ïåðâûõ êîîðäèíàò x1 ïðèíàäëåæèò îòðåçêó [−1, 1], è, çíà÷èò, èìååò ñõîäÿùóþñÿ ïîäïîñëåäîâà(k ) òåëüíîñòü: x1 1 → x1 , ãäå k1 ñòðåìèòñÿ ê áåñêîíå÷íîñòè, ïðîáåãàÿ êàêóþ-òî ïîäïîñëåäîâàòåëüíîñòü íîìåðîâ 1, 2, ... . àññìîòðèì ïîäïîñëåäîâàòåëü(k ) (k ) íîñòü x(k1 ) è âòîðûå êîîðäèíàòû x2 1 . Ïóñòü x2 2 → x2 , ãäå k2 ñòðåìèòñÿ ê áåñêîíå÷íîñòè, ïðîáåãàÿ ïîäïîñëåäîâàòåëüíîñòü ïåðâîé ïîäïîñëåäîâàòåëüíîñòè. Äàëåå ðàññìîòðèì ïîäïîñëåäîâàòåëüíîñòü x(k2 ) , òðåòüè êîîðäèíàòû (k ) x3 2 , è ò.ä.  èòîãå ïîëó÷èì ïîäïîñëåäîâàòåëüíîñòü âåêòîðîâ x(kn ) òàêóþ, ÷òî âñå êîîðäèíàòíûå ïîñëåäîâàòåëüíîñòè ÿâëÿþòñÿ ñõîäÿùèìèñÿ: Êîìïàêòíîñòü
(k)
(k) [x1 ,
ñ åðû.
åäèíè÷íîé
(k) xn ]T
(kn )
xi
→ xi ,
1 ≤ i ≤ n.
Ïóñòü x ≡ [x1, . . . , xn ]T . Òîãäà
(kn )
− x =
x 2
n 2 X (kn ) x i − x i i=1
! 21
→ 0.
Ïóñòü x(k) → x (çíà÷èò, x(k) − x 2 → 0). Ìû õîòèì äîêàçàòü, ÷òî kx(k) k∗ → kxk∗. Îáîçíà÷èì ÷åðåç e1 , . . . , en ñòîëáöû åäèíè÷íîé ìàòðèöû. Òîãäà
(k)
(k)
kx k∗ − kxk∗ ≤ x − x ∗
n n
X X (k)
(k) xi − xi ei ≤ = xi − xi kei k∗
i=1 i=1 ∗ 1 ! 2 n
X
→ 0. ≤ x(k) − x kei k2∗ Íåïðåðûâíîñòü íîðìû.
2
Òåîðåìà Âåéåðøòðàññà.
i=1
Ïóñòü M êîìïàêòíîå ìíîæåñòâî è ÷èñëîâàÿ óíêöèÿ f (x) íåïðåðûâíà â ëþáîé åãî òî÷êå. Ïðåäïîëîæèì, ÷òî óíêöèÿ f (x) íå îãðàíè÷åíà. Òîãäà ñóùåñòâóåò ïîñëåäîâàòåëüíîñòü x(k) òàêàÿ, ÷òî
f (x(k)) ≥ k .  ñèëó êîìïàêòíîñòè ñóùåñòâóåò ñõîäÿùàÿñÿ ïîäïîñëåäîâà′ ′ òåëüíîñòü: xk → x. Ïî íåïðåðûâíîñòè f x(k ) → f (x). Îäíàêî, ýòîãî íå ìîæåò áûòü, òàê êàê ′ ′ (k ) (k ) k ≤ f x − f (x) ≤ |f (x)| + f x äëÿ ëþáîãî k . Ñëåäîâàòåëüíî, óíêöèÿ f (x) îãðàíè÷åíà. Èòàê, óíêöèÿ kxk∗ íåïðåðûâíà íà êîìïàêòíîì ìíîæåñòâå Sn îòíîñèòåëüíî 2-íîðìû è ïîýòîìó ÿâëÿåòñÿ îãðàíè÷åííîé ⇒ äëÿ íåêîòîðîãî c2 > 0 èìååì kxk∗ ≤ c2 . Ôóíêöèÿ 1 / kxk∗ òàêæå ÿâëÿåòñÿ íåïðåðûâíîé íà Sn ⇒ äëÿ íåêîòîðîãî c1 > 0 èìååì 1 / kxk∗ ≤ c−1 1 . Ñëåäîâàòåëüíî,
c1 ≤ kxk∗ ≤ c2 ∀ x ∈ Sn . Åñëè x 6∈ Sn , x 6= 0, òî x / kxk2 ∈ Sn . Òàêèì îáðàçîì,
c1 kxk2 ≤ kxk∗ ≤ c2 kxk2 ∀ x. Ìû äîêàçàëè, ÷òî íîðìà k · k∗ ýêâèâàëåíòíà íîðìå k · k2 . Îòñþäà ÿñíî, ÷òî íîðìà k · k∗ ýêâèâàëåíòíà è ëþáîé äðóãîé íîðìå. 2 1.8
Îïåðàòîðíûå íîðìû
Ïóñòü íà Cm îïðåäåëåíà íîðìà k · k∗ , à íà Cn íîðìà k · k∗∗ . Òîãäà äëÿ A ∈ C m×n ïîëîæèì kAxk∗ kAk∗∗∗ = max . x6=0 kxk∗∗ Ìàêñèìóì ñóùåñòâóåò â ñèëó òåîðåìû Âåéåðøòðàññà: åñëè c òî÷íàÿ âåðõíÿÿ ãðàíü âåùåñòâåííîé íåïðåðûâíîé óíêöèè f (x) íà êîìïàêòíîì ìíîæåñòâå S ⊂ Cn , òî èç ïîñëåäîâàòåëüíîñòè xk ∈ S ñî ñâîéñòâîì f (xk ) → c ìîæíî âûáðàòü ñõîäÿùóþñÿ ïîäïîñëåäîâàòåëüíîñòü xk1 → x ∈ S ⇒ â ñèëó íåïðåðûâíîñòè f (x) = c. Íåñëîæíî ïðîâåðèòü, ÷òî kAk∗∗∗ ÿâëÿåòñÿ âåêòîðíîé íîðìîé íà Cm×n . Îíà íàçûâàåòñÿ îïåðàòîðíîé íîðìîé, ïîðîæäåííîé âåêòîðíûìè íîðìàìè k · k∗ è k · k∗∗. Äëÿ îïåðàòîðíîé íîðìû èìååò ìåñòî ñëåäóþùåå ñâîéñòâî ñîãëàñîâàííîñòè: kAxk∗ ≤ kAk∗∗∗kxk∗∗, î÷åâèäíî âûòåêàþùåå èç îïðåäåëåíèÿ kAk∗∗∗. Èñïîëüçóÿ p-íîðìû âåêòîðîâ, ïîëó÷àåì îïåðàòîðíóþ íîðìó
kAkp ≡ max x6=0
kAxkp . kxkp
Ýòî ìàòðè÷íàÿ íîðìà.  ñàìîì äåëå, åñëè AB 6= 0, òî
kABkp = ≤
kABxkp kBxkp x6=0,Bx6=0 kBxkp kxkp kBxk kABxk max kBxkpp · max kxkpp x6=0 x6=0,Bx6=0
max
≤ kAkpkBkp . 2
Îòìåòèì ïîëåçíûå îðìóëû (äîêàæèòå èõ!): åñëè A = [aij ] ∈ Cm×n, òî
kAk1 = max
1≤j≤n
m X i=1
|aij |,
kAk∞ = max
1≤i≤n
n X j=1
|aij |.
Ìû ñêîðî óâèäèì, ÷òî kAk22 åñòü ìàêñèìàëüíîå ñîáñòâåííîå çíà÷åíèå ìàòðèö A∗ A è AA∗ ïîýòîìó îïåðàòîðíóþ íîðìó kAk2 ÷àñòî íàçûâàþò ñïåêòðàëüíîé íîðìîé. Çàäà÷è
1. Äîêàæèòå, ÷òî â áàíàõîâîì ïðîñòðàíñòâå ïîñëåäîâàòåëüíîñòü âëîæåííûõ çàìêíóòûõ øàðîâ, ðàäèóñû êîòîðûõ ñòðåìÿòñÿ ê íóëþ, èìååò íåïóñòîå ïåðåñå÷åíèå, ñîñòîÿùåå èç åäèíñòâåííîé òî÷êè. 2. Ïîêàæèòå, ÷òî ïîñëåäîâàòåëüíîñòü îòêðûòûõ âëîæåííûõ øàðîâ, ðàäèóñû êîòîðûõ ñòðåìÿòñÿ ê íóëþ, ìîæåò èìåòü ïóñòîå ïåðåñå÷åíèå. 3. Âñåãäà ëè çàìûêàíèå îòêðûòîãî øàðà ñîâïàäàåò ñ çàìêíóòûì øàðîì ñ òåì æå öåíòðîì è ðàäèóñîì? 4. Íîðìà íàçûâàåòñÿ àáñîëþòíîé, åñëè ||x|| = || |x| ||, ãäå |x| îáîçíà÷àåò âåêòîð, ñîñòàâëåííûé èç àáñîëþòíûõ âåëè÷èí êîìïîíåíò âåêòîðà x. Ïðèâåäèòå ïðèìåð íîðìû, íå ÿâëÿþùåéñÿ àáñîëþòíîé. 5. Äëÿ âåêòîðîâ x, y ∈ Rn âûïîëíåíî ðàâåíñòâî ||x + y||2 = ||x||2 + ||y||2 . Äîêàæèòå, ÷òî x è y ëèíåéíî çàâèñèìû. Âåðíî ëè ýòî, åñëè ||x + y||p = ||x||p + ||y||p ïðè p 6= 2? 6. Äîêàæèòå, ÷òî îïåðàòîðíàÿ íîðìà ÿâëÿåòñÿ íîðìîé. 7. Äîêàæèòå îðìóëû äëÿ kAk1 è kAk∞ èç ï. 1.6. 8. Ïóñòü íîðìà || · || çàäàíà íà Cn . Îïåðàòîðíàÿ íîðìà
||x||∗ = max y6=0
|xT y| , ||y||
x ∈ Cn ,
íàçûâàåòñÿ äóàëüíîé ê íîðìå || · ||. Äîêàæèòå, ÷òî äëÿ p-íîðìû äóàëüíîé ÿâëÿåòñÿ q -íîðìà, ãäå p è q îáðàçóþò ãåëüäåðîâñêóþ ïàðó.
9. Ïóñòü ìàòðèöà A ∈ Cn×n ñîõðàíÿåò p-íîðìó:
||Ax||p = ||x||p ∀ x ∈ Cn×n .
Äîêàæèòå, ÷òî â ýòîì è òîëüêî â ýòîì ñëó÷àå ìàòðèöà AT ñîõðàíÿåò q -íîðìó: ||AT x||q = ||x||q ∀ x ∈ Cn×n (p ≥ 1 è q ≥ 1 îáðàçóþò ãåëüäåðîâñêóþ ïàðó).
10. Äîêàæèòå, ÷òî íîðìà Ôðîáåíèóñà íå ÿâëÿåòñÿ îïåðàòîðíîé íîðìîé. 11. Ï. ðîåí ïîñòðîèë ïðèìåð ìàòðè÷íîé íîðìû, ïðèíèìàþùåé çíà÷åíèå 1 íà åäèíè÷íîé ìàòðèöå, íî íå ÿâëÿþùåéñÿ îïåðàòîðíîé íîðìîé íè äëÿ êàêèõ âåêòîðíûõ íîðì, ñîõðàíÿþùèõ îäíî è òî æå çíà÷åíèå ïðè ëþáûõ ïåðåñòàíîâêàõ êîîðäèíàò âåêòîðîâ: X |aij | , c > 1, A = [aij ] ∈ Cn×n . kAk ≡ max |aii | + c 1≤i≤n
j6=i
Äîêàæèòå âñå ýòî â ñëó÷àå n = 2.
12. Ïðèâåäèòå ïðèìåð íåýêâèâàëåíòíûõ íîðì. 13. Äîêàæèòå, ÷òî çàìêíóòûé øàð B = B(0; 1) äëÿ ëþáîé íîðìû â Rn îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè: (1) B êîìïàêòíîå ìíîæåñòâî îòíîñèòåëüíî 2-íîðìû; (2) åñëè x, y ∈ B è 0 ≤ α ≤ 1, òî αx + (1 − α)y ∈ B (âûïóêëîñòü);
(3) åñëè x ∈ B è |α| ≤ 1, òî αx ∈ B (óðàâíîâåøåííîñòü);
(4) ∃ r > 0 :
{y : kyk2 < r} ⊂ B .
Äîêàæèòå, ÷òî åñëè â Rn âçÿòü ïðîèçâîëüíîå ìíîæåñòâî B , îáëàäàþùåå ñâîéñòâàìè (1)(4), òî ñóùåñòâóåò íîðìà, äëÿ êîòîðîé
B = B(0, 1). 14. Ìîæåò ëè íîðìà ïîäìàòðèöû áûòü áîëüøå íîðìû ñàìîé ìàòðèöû? 15. Ïóñòü A ïîäìàòðèöà ìàòðèöû B . Äîêàæèòå, ÷òî kAkp ≤ kBkp.
16. Ýëåìåíòû ìàòðèö A è B íåîòðèöàòåëüíû è aij ≤ bij äëÿ âñåõ i, j . Âåðíî ëè, ÷òî kAkp ≤ kBkp ? 17. Äàíà ìàòðèöà A ∈ Rm×n . Äîêàçàòü çàìêíóòîñòü ìíîæåñòâà
{y = Ax, x = [x1, . . . , xn ]⊤, x1, . . . , xn ≥ 0}.
ëàâà 2
2.1
Ñêàëÿðíîå ïðîèçâåäåíèå
Ïóñòü V âåùåñòâåííîå èëè êîìïëåêñíîå âåêòîðíîå ïðîñòðàíñòâî, íà êîòîðîì äëÿ êàæäîé ïàðû âåêòîðîâ x è y îïðåäåëåíî ÷èñëî (x, y) òàêèì îáðàçîì, ÷òî: (1) (x, x) ≥ 0 ∀x;
(x, x) = 0 ⇔ x = 0;
(2) (x, y) = (y, x); (3) (αx, y) = α(x, y),
α ÷èñëî;
(4) (x + y, z) = (x, z) + (y, z). Òîãäà (x, y) íàçûâàåòñÿ ñêàëÿðíûì ïðîèçâåäåíèåì âåêòîðîâ x è y . Âåùåñòâåííîå ïðîñòðàíñòâî ñî ñêàëÿðíûì ïðîèçâåäåíèåì íàçûâàåòñÿ åâêëèäîâûì. Êîìïëåêñíîå ïðîñòðàíñòâî ñî ñêàëÿðíûì ïðîèçâåäåíèåì íàçûâàåòñÿ óíèòàðíûì. Åñëè (x, y) = 0, òî âåêòîðû íàçûâàþòñÿ îðòîãîíàëüíûìè. Ïóñòü xi è yi êîîðäèíàòû âåêòîðîâ x è y â ðàçëîæåíèè èõ ïî íåêîòîðîìó áàçèñó â n-ìåðíîì V . Åñëè (x, y) = x1y¯1 + . . . + xny¯n , òî áàçèñ íàçûâàåòñÿ îðòîíîðìèðîâàííûì. 2.2
Äëèíà âåêòîðà
Ñêàëÿðíîå ïðîèçâåäåíèå ïîçâîëÿåò åñòåñòâåííûì îáðàçîì îïðåäåëèòü äëèíó âåêòîðà x êàê (x, x)1/2. Òî, ÷òî äëèíà âåêòîðà ÿâëÿåòñÿ íîðìîé, âûòåêàåò èç íåðàâåíñòâà ÊîøèÁóíÿêîâñêîãîØâàðöà (äîêàæèòå):
|(x, y)| ≤ (x, x)1/2(y, y)1/2.
àâåíñòâî äîñòèãàåòñÿ â òîì è òîëüêî òîì ñëó÷àå, êîãäà x è y ëèíåéíî çàâèñèìû (äîêàæèòå). Åñëè kxk ≡ (x, x)1/2, òî èìååò ìåñòî òîæäåñòâî ïàðàëëåëîãðàììà :
kx + yk2 + kx − yk2 = 2kxk2 + 2kyk2. 13
Îòñþäà ëåãêî âûâåñòè, ÷òî ñóùåñòâóþò íîðìû, íå ïîðîæäàåìûå íèêàêèì ñêàëÿðíûì ïðîèçâåäåíèåì (íàïðèìåð, kxk1 äîêàæèòå).
Äëÿ òîãî ÷òîáû íîðìà íà âåêòîðíîì ïðîñòðàíñòâå ïîðîæäàëàñü ñêàëÿðíûì ïðîèçâåäåíèåì, íåîáõîäèìî è äîñòàòî÷íî, ÷òîáû îíà ïîä÷èíÿëàñü òîæäåñòâó ïàðàëëåëîãðàììà.
Òåîðåìà 2.2.1
Äîêàçàòåëüñòâî.
Äëÿ ïðîñòîòû ðàññìîòðèì âåùåñòâåííîå ïðîñòðàíñòâî;
ïîëîæèì
(x, y) ≡
1 2
kx + yk2 − kxk2 − kyk2
è áóäåì äîêàçûâàòü, ÷òî ýòî ñêàëÿðíîå ïðîèçâåäåíèå. Ñâîéñòâà (1) è (2) î÷åâèäíû. Ñâîéñòâî (4) ðàâíîñèëüíî òîæäåñòâó
kx + y + zk2 − kx + yk2 − kzk2 = kx + zk2 − kxk2 − kzk2 + ky + zk2 − kyk2 − kzk2 .
(∗)
×òîáû åãî ïîëó÷èòü, áóäåì îïèðàòüñÿ íà òîæäåñòâî ïàðàëëåëîãðàììà:
kx + y + 2zk2 = k(x + y + z) + zk2 = 2kx + y + zk2 + 2kzk2 − kx + yk2 ;
kx + y + 2zk2 = k(x + z) + (y + z)k2 = 2kx + zk2 + 2ky + zk2 − kx − yk2 .
Èç ýòèõ äâóõ ðàâåíñòâ íàõîäèì
kx + y + zk2 = 21 kx + y + 2zk2 − kzk2 + 12 kx + yk2 ; kx + zk2 + ky + zk2 = 21 kx + y + 2zk2 + 21 kx − yk2 .
Ïåðâîå ïîäñòàâëÿåì â ëåâóþ, âòîðîå â ïðàâóþ ÷àñòü (∗). Åùå ðàç âñïîìíèâ î òîæäåñòâå ïàðàëëåëîãðàììà, âèäèì, ÷òî îáå ÷àñòè îäèíàêîâû. Ñâîéñòâî (3) äëÿ ðàöèîíàëüíûõ α âûòåêàåò èç ñâîéñòâà (4).  ñèëó íåïðåðûâíîñòè ïî α îíî âûïîëíÿåòñÿ äëÿ âñåõ âåùåñòâåííûõ α. 2 2.3
Èçîìåòðè÷íûå ìàòðèöû
Ìàòðèöà Q ∈ Cn×n íàçûâàåòñÿ ñîõðàíÿþùåé íîðìó || · || íà Cn , èëè èçîìåòðè÷íîé îòíîñèòåëüíî íîðìû || · || íà Cn , åñëè
||Qx|| = ||x|| ∀ x ∈ Cn . ×òî ìîæíî ñêàçàòü î ìàòðèöàõ, ñîõðàíÿþùèõ p-íîðìû? Î÷åâèäíûé ïðèìåð òàêèõ ìàòðèö ëþáûå ìàòðèöû, ïîëó÷àþùèåñÿ èç åäèíè÷íîé ìàòðèöû ñ ïîìîùüþ ïåðåñòàíîâêè ñòðîê (èëè ñòîëáöîâ), òî åñòü ìàòðèöû ïåðåñòàíîâêè. Çà èñêëþ÷åíèåì p = 2, èçîìåòðè÷íûå ìàòðèöû íå ñèëüíî îòëè÷àþòñÿ îò ìàòðèö ïåðåñòàíîâêè.
Âûáèðàÿ â êà÷åñòâå x ñòîëáöû åäèíè÷íîé ìàòðèöû, çàêëþ÷àåì, ÷òî píîðìà êàæäîãî ñòîëáöà ìàòðèöû Q ðàâíà 1. Êðîìå òîãî, åñëè p ≥ 1 è q ≥ 1 îáðàçóþò ãåëüäåðîâñêóþ ïàðó, òî ⊤
||Q y||q
|y T Qx| |y T Qx| = max = max x6=0 ||x||p x6=0 ||Qx||p |y T z| = max = ||y||q . z6=0 ||z||p
Îòñþäà ïîëó÷àåì, ÷òî q -íîðìà êàæäîé ñòðîêè ìàòðèöû Q ðàâíà 1. Ïóñòü p < 2. Òîãäà 2-íîðìà êàæäîãî ñòîëáöà Q íå ìåíüøå 1, à 2-íîðìà êàæäîé ñòðîêè Q íå áîëüøå 1. Ïðè ýòîì ñóììà êâàäðàòîâ äëèí âñåõ ñòðîê ñîâïàäàåò ñ ñóììîé êâàäðàòîâ äëèí âñåõ ñòîëáöîâ ⇒ êàæäàÿ ñòðîêà è êàæäûé ñòîëáåö èìåþò 2-íîðìó, ðàâíóþ 1. Åñëè â êàêîì-òî ñòîëáöå äâà èëè áîëåå íåíóëåâûõ ýëåìåíòà, òî êàæäûé èç íèõ ïî ìîäóëþ ñòðîãî ìåíüøå 1 ⇒ p-íîðìà òàêîãî ñòîëáöà äîëæíà áûòü ñòðîãî ìåíüøå 1, ÷òî ïðîòèâîðå÷èò ðàíåå óñòàíîâëåííîìó. Çíà÷èò, â êàæäîì ñòîëáöå èìååòñÿ ðîâíî îäèí íåíóëåâîé ýëåìåíò. Òî æå âåðíî îòíîñèòåëüíî ñòðîê. Ñëó÷àé p > 2 ðàññìàòðèâàåòñÿ àíàëîãè÷íî. Òàêèì îáðàçîì, ïðè p 6= 2 ìàòðèöà Q, ñîõðàíÿþùàÿ p-íîðìó, èìååò âèä
Q = P diag(d1, . . . , dn), ãäå P ìàòðèöà ïåðåñòàíîâêè è |di | = 1, i = 1, . . . , n. 2.4
Ñîõðàíåíèå äëèí è óíèòàðíûå ìàòðèöû
Ïðè p = 2 ìíîæåñòâî èçîìåòðè÷íûõ ìàòðèö ñóùåñòâåííî øèðå.  äàííîì ñëó÷àå ñîõðàíåíèå 2-íîðìû âëå÷åò çà ñîáîé ñîõðàíåíèå ñêàëÿðíîãî ïðîèçâåäåíèÿ (äîêàæèòå!) ⇒ ñòîëáöû q1 , . . . , qn ìàòðèöû Q îáðàçóþò îðòîíîðìèðîâàííóþ ñèñòåìó: qi∗ qj = δij ⇔ Q∗Q = I (δ ñèìâîë Êðîíåêåðà: δij = 1 ïðè i = j è 0 ïðè i 6= j ).
Ìàòðèöà Q ∈ Cn×n òàêàÿ, ÷òî Q∗ = Q−1 , íàçûâàåòñÿ óíèòàðíîé. Óíèòàðíûå ìàòðèöû èíòåðåñíû òåì, ÷òî îíè è òîëüêî îíè ñîõðàíÿþò äëèíó âåêòîðà (2-íîðìó) è ñêàëÿðíîå ïðîèçâåäåíèå âåêòîðîâ. Âàæíîå ñâîéñòâî óíèòàðíûõ ìàòðèö: èõ ïðîèçâåäåíèÿ è îáðàòíûå ê íèì ìàòðèöû îñòàþòñÿ óíèòàðíûìè (äîêàæèòå).
2.5
Òåîðåìà Øóðà
(Òåîðåìà Øóðà). Äëÿ ëþáîé ìàòðèöû A ∈ Cn×n ñ ñîáñòâåííûìè çíà÷åíèÿìè λ1 , . . . , λn ñóùåñòâóåò óíèòàðíàÿ ìàòðèöà Q òàêàÿ, ÷òî:
Òåîðåìà 2.5.1
(1) ìàòðèöà Q∗ AQ âåðõíÿÿ òðåóãîëüíàÿ; (2) diag(Q∗ AQ) = diag(λ1 , . . . , λn ). Äîêàçàòåëüñòâî.
Ïóñòü Av1 = λ1 v1 , ||v1 ||2 = 1. Âûáåðåì v2 , . . . , vn òàêèì îáðàçîì, ÷òîáû ìàòðèöà V1 = [v1 , v2 , . . . , vn] áûëà óíèòàðíîé. Òîãäà λ1 ∗ . . . ∗ 0 . V1∗ AV1 = ... A1 0 Äàëåå ïî èíäóêöèè. 2.6
2
Íîðìàëüíûå ìàòðèöû
Ìàòðèöà A íàçûâàåòñÿ íîðìàëüíîé, åñëè A∗ A = AA∗ . Âàæíåéøèå êëàññû íîðìàëüíûõ ìàòðèö: (1) ýðìèòîâû ìàòðèöû: H ∗ = H ; (2) óíèòàðíûå ìàòðèöû: U ∗ = U −1 .  âåùåñòâåííîì ñëó÷àå ýðìèòîâà ìàòðèöà íàçûâàåòñÿ ñèììåòðè÷íîé, à óíèòàðíàÿ îðòîãîíàëüíîé.
Ìàòðèöà A ∈ Cn×n ÿâëÿåòñÿ íîðìàëüíîé òîãäà è òîëüêî òîãäà, êîãäà â Cn ñóùåñòâóåò îðòîíîðìèðîâàííûé áàçèñ èç åå ñîáñòâåííûõ âåêòîðîâ.
Òåîðåìà 2.6.1
Äëÿ ëþáîé A ∈ Cn×n ñóùåñòâóåò óíèòàðíàÿ ìàòðèöà U òàêàÿ, ÷òî T = U ∗ AU åñòü âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà (òåîðåìà Øóðà). Äàëåå, A∗ A = AA∗ ðàâíîñèëüíî T ∗ T = T T ∗ , è ëåãêî óáåäèòüñÿ, ÷òî âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà ñ òàêèì ñâîéñòâîì îáÿçàíà áûòü äèàãîíàëüíîé. Òàêèì îáðàçîì, ñòîëáöû ìàòðèöû U îáðàçóþò áàçèñ èç ñîáñòâåííûõ âåêòîðîâ ìàòðèöû A. 2 Äîêàçàòåëüñòâî.
Íîðìàëüíàÿ ìàòðèöà A ÿâëÿåòñÿ ýðìèòîâîé òîãäà è òîëüêî òîãäà, êîãäà âñå åå ñîáñòâåííûå çíà÷åíèÿ âåùåñòâåííû. Òåîðåìà 2.6.2
Íîðìàëüíàÿ ìàòðèöà ÿâëÿåòñÿ óíèòàðíîé òîãäà è òîëüêî òîãäà, êîãäà âñå åå ñîáñòâåííûå çíà÷åíèÿ ïî ìîäóëþ ðàâíû 1. Òåîðåìà 2.6.3
Äîêàæèòå ýòè òåîðåìû. Ïîëåçíî èìåòü â âèäó, ÷òî ëþáàÿ ìàòðèöà A ∈ Cn×n ïðåäñòàâèìà è ïðèòîì îäíîçíà÷íî â âèäå
A = H + i K,
H ∗ = H,
K ∗ = K,
i2 = 1.
Ýòî òàê íàçûâàåìîå ýðìèòîâî ðàçëîæåíèå ìàòðèöû A. Òðèâèàëüíî äîêàçûâàåòñÿ, ÷òî íîðìàëüíîñòü ìàòðèöû A ðàâíîñèëüíà òîìó, ÷òî H è K êîììóòèðóþò. 2.7
Çíàêîîïðåäåëåííûå ìàòðèöû
Ñðåäè ýðìèòîâûõ ìàòðèö âûäåëÿþòñÿ çíàêîîïðåäåëåííûå ìàòðèöû äëÿ íèõ ñêàëÿðíîå ïðîèçâåäåíèå (Ax, x) = x∗ Ax èìååò îäèí è òîò æå çíàê äëÿ âñåõ x. Åñëè (Ax, x) äëÿ âñåõ x ∈ Cn×n, òî ìàòðèöà A íàçûâàåòñÿ ïîëîæèòåëüíî ïîëóîïðåäåëåííîé, èëè íåîòðèöàòåëüíî îïðåäåëåííîé. Îáîçíà÷åíèå: A ≥ 0. Åñëè (Ax, x) > 0 äëÿ âñåõ x 6= 0 èç Cn×n , òî ìàòðèöà A íàçûâàåòñÿ ïîëîæèòåëüíî îïðåäåëåííîé. Îáîçíà÷åíèå: A > 0. Ýðìèòîâîñòü âûòåêàåò èç çíàêîîïðåäåëåííîñòè.
åå ýðìèòîâî ðàçëîæåíèå A = H + i K . Èìååì
Äëÿ A ≥ 0 ðàññìîòðèì
(Ax, x) = (Hx, x) + i (Kx, x) ∈ R ∀ x ∈ Cn . Ñëåäîâàòåëüíî, (Kx, x) = 0 ∀ x ∈ Cn ⇒ âñå ñîáñòâåííûå çíà÷åíèå ýðìèòîâîé ìàòðèöû K ðàâíû 0 ⇒ K = 0. 2 Çàìåòèì, ÷òî åñëè A ∈ Rn×n è (Ax, x) ≥ 0 ∀ x ∈ Rn , òî ìàòðèöà A íå îáÿçàíà áûòü ñèììåòðè÷íîé. Äëÿ íåîòðèöàòåëüíîé (ïîëîæèòåëüíîé) îïðåäåëåííîñòè ìàòðèöû A ∈ n×n C íåîáõîäèìà è äîñòàòî÷íà íåîòðèöàòåëüíîñòü (ïîëîæèòåëüíîñòü) åå ñîáñòâåííûõ çíà÷åíèé (äîêàæèòå). Íåîòðèöàòåëüíàÿ (ïîëîæèòåëüíàÿ) îïðåäåëåííîñòü ìàòðèöû âëå÷åò çà ñîáîé íåîòðèöàòåëüíóþ (ïîëîæèòåëüíóþ) îïðåäåëåííîñòü âñåõ åå âåäóùèõ ïîäìàòðèö. (Ïîäìàòðèöà íàçûâàåòñÿ âåäóùåé, åñëè îíà çàíèìàåò ëåâûé
âåðõíèé óãîë ìàòðèöû.) Äëÿ äîêàçàòåëüñòâà äîñòàòî÷íî çàìåòèòü, ÷òî B ∗ y ∗ [y 0] = y ∗ By ∀ y. ∗ ∗ 0 Íàì ñêîðî ïîíàäîáèòñÿ ñëåäóþùèé ïðîñòîé àêò: A∗ A ≥ 0 äëÿ ëþáîé ìàòðèöû A (äîêàæèòå). 2.8
Ñèíãóëÿðíîå ðàçëîæåíèå ìàòðèöû
Ïóñòü A ∈ Cm×n , r = rankA.Òîãäà ñóùåñòâóþò ïîëîæèòåëüíûå ÷èñëà σ1 ≥ . . . ≥ σr > 0 è óíèòàðíûå ìàòðèöû U ∈ Cn×n, V ∈ Cm×m òàêèå, ÷òî A = V ΣU ∗, (2.8.1) Òåîðåìà 2.8.1
ãäå Σ äèàãîíàëüíàÿ ïðÿìîóãîëüíàÿ m × n-ìàòðèöà âèäà σ1 ... Σ = . σr Äîêàçàòåëüñòâî. n×n
[u1, . . . , un ] ∈ C
A∗ A ≥ 0 òàêàÿ, ÷òî
⇒
(2.8.2)
ñóùåñòâóåò óíèòàðíàÿ ìàòðèöà U =
U ∗A∗ AU = diag (σ12, . . . , σn2 ),
σ1 ≥ σ2 ≥ ... ≥ σn.
Ïðåäïîëîæèì, ÷òî σr > 0 è σi = 0 ïðè i > r. Ïóñòü Ur = [u1, . . . , ur ] è Σr = diag (σ1, . . . , σr ). Òîãäà
Ur∗ A∗ A Ur = Σ2r
⇒
∗ ∗ −1 (Σ−1 r Ur A )(AUr Σr ) = I.
∗ Ñëåäîâàòåëüíî, ìàòðèöà Vr = AUr Σ−1 r òàêîâà, ÷òî Vr Vr = I ⇒ Vr èìååò îðòîíîðìèðîâàííûå ñòîëáöû. Åñëè 1 ≤ i ≤ r, òî Aui = σivi. Ïðè r + 1 ≤ i ≤ n íàõîäèì u∗i A∗ Aui = ||Aui||22 = 0 ⇒ Aui = 0. Äîñòðàèâàÿ ïðîèçâîëüíûì îáðàçîì Vr äî óíèòàðíîé ìàòðèöû V ∈ Cm×m , ïîëó÷àåì Σr 0 Σr 0 ∗ AU = V ⇒ V AU = . 0 0 0 0
Ïîñêîëüêó óìíîæåíèå íà íåâûðîæäåííûå ìàòðèöû íå ìåíÿåò ðàíã,
r = rankA.
2
àçëîæåíèå (2.8.1) íàçûâàåòñÿ ñèíãóëÿðíûì ðàçëîæåíèåì ìàòðèöû A. ×èñëà σ1 ≥ . . . ≥ σr > 0 íàçûâàþòñÿ ñèíãóëÿðíûìè ÷èñëàìè, âåêòîðû ui ïðàâûìè, vi ëåâûìè ñèíãóëÿðíûìè âåêòîðàìè ìàòðèöû A. Îáû÷íî ãîâîðÿò, ÷òî ïîìèìî r íåíóëåâûõ ñèíãóëÿðíûõ ÷èñåë, ìàòðèöà A èìååò min(m, n) − r íóëåâûõ ñèíãóëÿðíûõ ÷èñåë. Ñëåäñòâèå 2.8.1
íî.
Ñèíãóëÿðíûå ÷èñëà ìàòðèöû îïðåäåëÿþòñÿ îäíîçíà÷-
Åñëè σ1 > . . . > σr > 0, òî ñèíãóëÿðíûå âåêòîðû u1, . . . , ur è v1, . . . , vr îïðåäåëÿþòñÿ îäíîçíà÷íî ñ òî÷íîñòüþ äî ìíîæèòåëÿ, ðàâíîãî ïî ìîäóëþ 1. Ñëåäñòâèå 2.8.2
Ñëåäñòâèå 2.8.3
Aui = ∗
A vi = Ñëåäñòâèå 2.8.4
A=
r P
i=1
Ñëåäñòâèå 2.8.5
σivi , 1 ≤ i ≤ r, 0, r + 1 ≤ i ≤ n.
(2.8.3)
σi ui, 1 ≤ i ≤ r, 0, r + 1 ≤ i ≤ m.
(2.8.4)
σiviu∗i .
ker A im A ker A∗ im A∗ 2.9
= = = =
span {ur+1 , . . . , un}, span {v1, . . . , vr }, span {vr+1 , . . . , vm}, span {u1, . . . , ur }
Óíèòàðíî èíâàðèàíòíûå íîðìû
Åñëè kAk = kQAZk äëÿ ëþáûõ óíèòàðíûõ Q, Z è ëþáîé ìàòðèöû A (ïðè åñòåñòâåííîì ñîãëàñîâàíèè ðàçìåðîâ), òî òàêàÿ ìàòðè÷íàÿ íîðìà íàçûâàåòñÿ óíèòàðíî èíâàðèàíòíîé. Âàæíåéøèå óíèòàðíî èíâàðèàíòíûå íîðìû: kAk2 è kAkF . Âîò äîêàçàòåëüñòâî óíèòàðíîé èíâàðèàíòíîñòè: ∗
xk2 2 kQAZk2 = sup kQAZxk = sup k(QAZ)Z = kxk2 kZ ∗ xk2 x6=0
= sup x6=0
kQAxk2 kxk2
=
x6=0 2 sup kAxk kxk2 x6=0
= kAk2;
kQAZk2F = tr(QAZ)∗(QAZ) = trZ ∗ (A∗ A) Z = trA∗ A = kAk2F . 2 Ñîãëàñíî (2.8.1), äëÿ ëþáîé óíèòàðíî èíâàðèàíòíîé íîðìû kAk = kΣk ⇒ óíèòàðíî èíâàðèàíòíàÿ íîðìà îïðåäåëÿåòñÿ ïî ñèíãóëÿðíûì ÷èñëàì. Äëÿ ñïåêòðàëüíîé è ðîáåíèóñîâîé íîðì íàõîäèì:
kAk2 = σ1,
2 1/2
kAkF = σ12 + . . . + σr 2.10
(2.9.5)
.
(2.9.6)
Êîðîòêèé ïóòü ê ñèíãóëÿðíîìó ðàçëîæåíèþ
Íîðìà kAk2 îïðåäåëÿåòñÿ êàê îïåðàòîðíàÿ íîðìà.  ñèëó êîìïàêòíîñòè åäèíè÷íîé ñ åðû ñóùåñòâóþò íîðìèðîâàííûå âåêòîðû x è y òàêèå, ÷òî Ax = σy , σ = kAk2. Âîçüìåì óíèòàðíûå ìàòðèöû U = [x U1], V = [y V1 ]. Òîãäà ∗ σ w V ∗AU = , 0 B 2 σ kV ∗ AU k22 ≥ σ 2 + w∗ w ⇒ kV ∗ AU k22 ≥ σ 2 + w∗ w. w Ïîñêîëüêó kV ∗ AU k2 = kAk2 (óíèòàðíàÿ èíâàðèàíòíîñòü ñïåêòðàëüíîé íîðìû), w = 0. Äàëåå ïî èíäóêöèè. 2.11
Àïïðîêñèìàöèè ìåíüøåãî ðàíãà
Òåîðåìà 2.11.1
Ïóñòü k < rankA, Ak ≡
k P
i=1
σi viu∗i . Òîãäà
min kA − Bk2 = kA − Ak k2 = σk+1.
rankB=k
Äîêàçàòåëüñòâî. Ïîñêîëüêó
rankB = k , íàõîäèì dim ker B = n−k . Òîãäà ñóùåñòâóåò íåíóëåâîé âåêòîð z ∈ ker B ∩ span {u1 , . . . , uk+1}. (Ïî÷åìó?) Áóäåì ñ÷èòàòü, ÷òî kzk2 = 1. Òîãäà kA −
Bk22
≥ k(A −
B)zk22
=
kAzk22
=
k+1 X i=1
2 σi (u∗i z)2 ≥ σk+1 . 2
 ÷àñòíîñòè, ìëàäøåå ñèíãóëÿðíîå ÷èñëî íåâûðîæäåííîé ìàòðèöû ýòî ðàññòîÿíèå (â ñïåêòðàëüíîé íîðìå) äî áëèæàéøåé âûðîæäåííîé ìàòðèöû.
Çàäà÷è
1. Íàéäèòå âñå p ≥ 1, ïðè êîòîðûõ íîðìà kxkp ïîðîæäàåòñÿ êàêèì-ëèáî ñêàëÿðíûì ïðîèçâåäåíèåì. 2. Äîêàæèòå, ÷òî äëÿ ëþáîé ìàòðèöû A ∈ Cm×n ïîäïðîñòðàíñòâà ker A è im A∗ îðòîãîíàëüíû è äàþò â ïðÿìîé ñóììå Cn . 3. Èçâåñòíî, ÷òî ìàòðèöà A2006 íîðìàëüíàÿ. Áóäåò ëè íîðìàëüíîé A? 4. Äîêàæèòå, ÷òî äëÿ ëþáîé ýðìèòîâîé ìàòðèöû H ìàòðèöà
Q = (I − i H)−1(I + i H) áóäåò óíèòàðíîé. Âåðíî ëè, ÷òî ëþáóþ óíèòàðíóþ ìàòðèöó ìîæíî ïðåäñòàâèòü òàêèì îáðàçîì? 5. Ïóñòü A = I + αuu∗ , kuk2 = 1. Íàéäèòå âñå êîìïëåêñíûå α, ïðè êîòîðûõ ìàòðèöà A áóäåò óíèòàðíîé. 6. Îòîáðàæåíèå A : Rn → Rn ñîõðàíÿåò ñêàëÿðíûå ïðîèçâåäåíèÿ. Äîêàæèòå, ÷òî îíî ÿâëÿåòñÿ îáðàòèìûì. 7. Äîêàæèòå, ÷òî ïðîèçâåäåíèå ýðìèòîâîé ìàòðèöû è ïîëîæèòåëüíî îïðåäåëåííîé ìàòðèöû èìååò âåùåñòâåííûå ñîáñòâåííûå çíà÷åíèÿ. 8. Íàéäèòå ñèíãóëÿðíîå ðàçëîæåíèå n × n-ìàòðèöû 1 2 A= . . . [1 1 . . . 1]. n
9. Äîêàæèòå, ÷òî σ1 (A) =
max
||u||2 =||v||2 =1
|u∗ Av|.
10. ×åìó ðàâíî ðàññòîÿíèå îò âûðîæäåííîé ìàòðèöû A äî áëèæàéøåé íåâûðîæäåííîé? 11. Ìîæíî ëè óòâåðæäàòü, ÷òî B = A∗ , åñëè (Ax, x) = (x, Bx) äëÿ ëþáîãî: (à) x ∈ Rn ; (á) x ∈ Cn ? 12. Äîêàæèòå, ÷òî äëÿ êâàäðàòíîé ìàòðèöû A âûïîëíÿåòñÿ íåðàâåíñòâî λmin (A+A∗) ≤ 2σmin(A), ãäå λmin (·) è σmin(·) îáîçíà÷àþò ìèíèìàëüíîå ñîáñòâåííîå çíà÷åíèå è ìèíèìàëüíîå ñèíãóëÿðíîå ÷èñëî. Ìîæíî ëè ñëåâà çàìåíèòü λmin íà σmin?
13. Äîêàæèòå, ÷òî kABkF ≤ kAk2 kBkF . p 14. Äîêàæèòå, ÷òî kAkF ≤ rank (A) kAk2 .
15. Ìàòðèöà A = [Aij ] ñîñòàâëåíà èç áëîêîâ Aij , à ìàòðèöà B = [bij ] òàêîâà, ÷òî bij = ||Aij ||2 , 1 ≤ i ≤ m, 1 ≤ j ≤ n. Äîêàæèòå, ÷òî
||A||2 ≤ ||B||2 . 16. Ïóñòü L íèæíÿÿ òðåóãîëüíàÿ ìàòðèöà ñ íèæíåé òðåóãîëüíîé ÷àñòüþ, âçÿòîé èç ìàòðèöû A ∈ Cn×n . Äîêàæèòå, ÷òî
||L||2 ≤ log2 2n ||A||2 . 17. Ïóñòü A ∈ Cn×n . Äîêàæèòå, ÷òî tr A = 0 â òîì è òîëüêî òîì ñëó÷àå, √ êîãäà ||I + zA||F ≥ n äëÿ âñåõ z ∈ C. 18. Íîðìàëüíàÿ ìàòðèöà èìååò áëî÷íî-òðåóãîëüíûé âèä A11 A12 A= 0 A22 ñ êâàäðàòíûìè áëîêàìè A11 è A22 . Äîêàæèòå, ÷òî ìàòðèöû A11 è A22 íîðìàëüíûå è, êðîìå òîãî, A12 = 0. 19. Ïóñòü çà èêñèðîâàíî ïîäïðîñòðàíñòâî L ∈ Cn è ðàññìàòðèâàþòñÿ ìàòðèöû P òàêèå, ÷òî P 2 = P è im P = L. Äîêàæèòå, ÷òî ñðåäè âñåõ òàêèõ ìàòðèö P íàèìåíüøóþ 2-íîðìó èìååò ýðìèòîâà ìàòðèöà.
ëàâà 3
3.1
Òåîðèÿ âîçìóùåíèé
Ïóñòü ïî x âû÷èñëÿåòñÿ f (x). Èíîãäà àëãîðèòìû äàþò áîëüøóþ ïîãðåøíîñòü. Äóìàÿ îá ýòîì, ìû, êîíå÷íî, äîëæíû ïîíèìàòü, ÷òî ïëîõèì ìîæåò áûòü íå òîëüêî àëãîðèòì, íî è ñàìà çàäà÷à. Âàæíûé âîïðîñ: êàê ñèëüíî ìîæåò èçìåíèòüñÿ f (x) ïðè ìàëûõ âîçìóùåíèÿõ x?  ïðîñòåéøåì ñëó÷àå f (x + δ) ≃ f (x) + f ′δ è, ñëåäîâàòåëüíî, ìåðîé ÷óâñòâèòåëüíîñòè çàäà÷è ìîæåò ñëóæèòü ||f ′ ||. Åñëè f (x) 6= 0 è x 6= 0, òî ′ f (x + δ) − f (x) f (x) δ ≃ ||x|| . ||f (x)|| ||f (x)|| ||x||
Ïîýòîìó îòíîñèòåëüíîé ìåðîé ÷óâñòâèòåëüíîñòè çàäà÷è (äðóãèìè ñëîâàìè, åå ÷èñëîì îáóñëîâëåííîñòè ) ìîæåò ñëóæèòü
cond (f (x)) ≡ 3.2
||f ′ (x)|| ||x||. ||f (x)||
×èñëî îáóñëîâëåííîñòè ìàòðèöû
Ïóñòü A íåâûðîæäåííàÿ ìàòðèöà è f (A) = A−1 . Òîãäà (ïðîâåðüòå!)
(A + ∆)−1 − A−1 = −A−1∆ (A + ∆)−1 ≃ −A−1∆ A−1 ⇒ Âåëè÷èíà
||(A + ∆)−1 − A−1|| ||A−1||
< ∼
(||A−1|| ||A||)
cond(A) ≡ ||A−1|| ||A||
||∆|| . ||A||
íàçûâàåòñÿ ÷èñëîì îáóñëîâëåííîñòè ìàòðèöû A. Îíî çàâèñèò îò íîðìû. Äëÿ p-íîðìû ïèøóò condp. Îáû÷íî cond2 íàçûâàþò ñïåêòðàëüíûì ÷èñëîì îáóñëîâëåííîñòè.
23
Äëÿ âûðîæäåííûõ ìàòðèö cond = ∞. Îáû÷íî ÷èñëî îáóñëîâëåííîñòè çàäà÷è îáðàòíî ïðîïîðöèîíàëüíî åå ðàññòîÿíèþ äî ìíîæåñòâà âûðîæäåííûõ (â ñîîòâåòñòâóþùåì ñìûñëå) çàäà÷. Ïðè îáðàùåíèè ìàòðèö ìíîæåñòâî âûðîæäåííûõ çàäà÷ ýòî âñå âûðîæäåííûå ìàòðèöû. Ìû çíàåì, ÷òî
min ||A − S||2 = σmin (ìèíèìàëüíîå ñèíãóëÿðíîå ÷èñëî)
det S=0
è îäíîâðåìåííî (äîêàæèòå) ||A−1 ||2 = 1 / σmin. Ïîýòîìó
cond (A) =
||A||2 . min ||A − S||2
det S=0
Ïî÷åìó (A + ∆)−1 ≈ A−1 ïðè ìàëûõ ∆ ? Ýòî âûòåêàåò èç ñòàíäàðòíûõ ñîîáðàæåíèé íåïðåðûâíîñòè. Îäíàêî, â ìàòðè÷íîì àíàëèçå åñòü ïðîñòàÿ è ïîëåçíàÿ òåõíèêà äëÿ òàêèõ ñëó÷àåâ. 3.3
Ñõîäÿùèåñÿ ìàòðèöû è ðÿäû
P n×n ÿä ∞ , íàçûâàåòñÿ ñõîäÿùèìñÿ, åñëè ñõîäèòñÿ ïîñëåk=0 Ak , ãäå Ak ∈ C PN äîâàòåëüíîñòü åãî ÷àñòè÷íûõ ñóìì SN ≡ k=0 Ak . Äëÿ ýòîãî äîñòàòî÷íî, P ÷òîáû ñõîäèëñÿ ÷èñëîâîé ðÿä ∞ k=0 kAk k (äîêàæèòå!). P∞ ÿä k=0 F k íàçûâàåòñÿ ðÿäîì Íåéìàíà. Î÷åâèäíî, îí áóäåò ñõîäèòüñÿ, åñëè kF k < 1 (äîêàæèòå). Ìåíåå î÷åâèäíî, ÷òî îí áóäåò ñõîäèòüñÿ, åñëè âñå ñîáñòâåííûå çíà÷åíèÿ F ïî ìîäóëþ ìåíüøå 1. Ìàêñèìàëüíîå ïî ìîäóëþ ñîáñòâåííîå çíà÷åíèå ìàòðèöû F íàçûâàåòñÿ åå ñïåêòðàëüíûì ðàäèóñîì. Îáîçíà÷åíèå: ρ(F ). Åñëè ρ(F ) < 1, òî ìàòðèöà F íàçûâàåòñÿ ñõîäÿùåéñÿ. ÿä Íåéìàíà ñ ìàòðèöåé F ∈ Cn×n ñõîäèòñÿ òîãäà è òîëüêî òîãäà, êîãäà ìàòðèöà F ÿâëÿåòñÿ ñõîäÿùåéñÿ.
Ëåììà 3.3.1
Ïî òåîðåìå Øóðà, äëÿ íåêîòîðîé óíèòàðíîé P ïîëó÷àåì âåðõíþþ òðåóãîëüíóþ ìàòðèöó T = [tij ] = P −1 F P . Äîêàæåì, ÷òî ðÿä Íåéìàíà ñõîäèòñÿ äëÿ íåêîòîðîé ìàòðèöû, ïîäîáíîé F (ýòî ýêâèâàëåíòíî åãî ñõîäèìîñòè äëÿ F ïî÷åìó?). Ïîëîæèì Dε = diag (1, ε, . . . , εn−1 ). Òîãäà {Dε−1 T Dε }ij = εj−itij ïðè i ≤ j . Äèàãîíàëüíûå ýëåìåíòû ýòîé ìàòðèöû ïî ìîäóëþ ìåíüøå 1 ⇒ −1 ïðè äîñòî÷íî ìàëîì ε èìååì ||Dε T Dε ||1 < 1 ⇒ ðÿä Íåéìàíà ñ ìàòðèöåé Dε−1 T Dε ñõîäèòñÿ. Íåîáõîäèìîñòü. Äîïóñòèì, ÷òî F x = λ x, x 6= 0, è |λ| ≥ 1. Òîãäà 1 ≤ |λ|k ≤ ||F k ||2 (ïî÷åìó?) ⇒ ||F k ||2 6→ 0 ⇒ ðÿä Íåéìàíà ñ F ðàñõîäèòñÿ. 2 Äîñòàòî÷íîñòü.
3.4
Ïðîñòåéøèé èòåðàöèîííûé ìåòîä
×òîáû ðåøèòü ëèíåéíóþ ñèñòåìó Ax = b ñ íåâûðîæäåííîé ìàòðèöåé êîý èöèåíòîâ, çàïèøåì åå â âèäå x = F x + α b, ãäå F = I − α A, α 6= 0, è ðàññìîòðèì ñëåäóþùèé èòåðàöèîííûé ìåòîä: ïðîèçâîëüíûé íà÷àëüíûé âåêòîð;
x0 xk
= F xk−1 + α b ïðè k = 1, 2, . . . .
Ýòî òàê íàçûâàåìûé ìåòîä ïðîñòîé èòåðàöèè (èíîãäà åãî íàçûâàþò ìåòîäîì è÷àðäñîíà). Ëåãêî âûâåñòè (ñì. ëåììó 3.3.1), ÷òî xk → x äëÿ ëþáîãî íà÷àëüíîãî âåêòîðà x0 òîãäà è òîëüêî òîãäà, êîãäà ìàòðèöà F ñõîäÿùàÿñÿ. ×àñòî ïûòàþòñÿ íàéòè ðàñùåïëåíèå A = M − N , äëÿ êîòîðîãî ìàòðèöà M N áóäåò ñõîäÿùåéñÿ, à M ëåãêî îáðàùàåòñÿ (ýòî îçíà÷àåò, ÷òî ìû óìååì ý åêòèâíî ðåøàòü ñèñòåìû ñ ìàòðèöåé M ). Òîãäà −1
xk = M −1 (N xk−1 + b) → x. 3.5
Îáðàòíûå ìàòðèöû è ðÿäû
Ëåììà 3.5.1
ýòîì: (a)
Åñëè kF k < 1, òî ìàòðèöà A = I − F îáðàòèìà è ïðè
(I − F )
−1
=
∞ X
F k;
(b)
k=0
k(I − F )−1k ≤
kIk . 1 − kF k
Ëåãêî ïðîâåðèòü, ÷òî ! N X F k = I − F N +1 −→ I. (I − F )
Äîêàçàòåëüñòâî.
k=0
×òîáû ïîëó÷èòü (b), çàïèøåì
k
N X k=0
k
F k ≤ kIk
N X k=0
kF kk ≤
kIk . 2 1 − kF k
Åñëè A íåâûðîæäåííàÿ ìàòðèöà è E åå âîçìóùåíèå, òàêîå ÷òî kA−1 Ek < 1, òî:
Ñëåäñòâèå 3.5.1
(a) Ìàòðèöà A + E íåâûðîæäåííàÿ è ïðè ýòîì
(A + E)
−1
=
∞ X k=0
(b) 3.6
−1
−A E
k
A
−1
= A
−1
∞ X k=0
−EA−1
k
;
k(A + E)−1 − A−1k kA−1kkEk . ≤ kA−1k 1 − kA−1Ek Îáóñëîâëåííîñòü ëèíåéíîé ñèñòåìû
àññìîòðèì ñèñòåìó Ax = f, f 6= 0, ñ íåâûðîæäåííîé ìàòðèöåé A è âîçìóùåííóþ ñèñòåìó x = f + ∆f . Êàê ñèëüíî x˜ ìîæåò îòëè÷àòüñÿ
−1 (A + ∆A)˜
îò x? Ïóñòü A ∆A < 1. Òîãäà
x˜ − x = (A + ∆A)−1(f + ∆f ) − A−1f = (A + ∆A)−1 − A−1 f + (A + ∆A)−1∆f # # "∞ "∞ X X k −A−1∆A A−1∆f (−A−1∆A)k A−1f + = k=0
k=1
⇒
k˜ x − xk kA−1kkAk ≤ kxk 1 − kA−1∆Ak
k∆Ak k∆f k + . kAk kf k
(3.6.1)
×èñëî cond A = kA−1kkAk (÷èñëî îáóñëîâëåííîñòè ìàòðèöû A) õàðàêòåðèçóåò ÷óâñòâèòåëüíîñòü ðåøåíèÿ x ê ìàëûì âîçìóùåíèÿì ìàòðèöû è ïðàâîé ÷àñòè. Î ìàòðèöàõ ñ î÷åíü áîëüøèì è íå î÷åíü áîëüøèì ÷èñëîì îáóñëîâëåííîñòè ãîâîðÿò êàê î ïëîõî è õîðîøî îáóñëîâëåííûõ ìàòðèöàõ. 3.7
Ñîãëàñîâàííîñòü ìàòðèöû è ïðàâîé ÷àñòè
Îöåíêà (3.6.1) íå óëó÷øàåìà íà âñåì ìíîæåñòâå ìàòðèö è âîçìóùåíèé. Îäíàêî ïëîõàÿ îáóñëîâëåííîñòü ìàòðèöû íå âñåãäà àäåêâàòíà ïëîõîé îáóñëîâëåííîñòè ëèíåéíîé ñèñòåìû. Èñïîëüçóÿ ñèíãóëÿðíîå ðàçëîæåíèå, çàïèøåì
A=
n X k=1
σk vk u∗k
⇒
A
−1
=
n X k=1
σk−1uk vk∗
⇒
x=
n X v∗f k
k=1
σk
uk .
Ïóñòü A èêñèðîâàíà è ∆f = ξ1 v1 + · · · + ξn vn , ∆x = η1 u1 + · · · + ηk uk . ßñíî, ÷òî σ12η12 + · · · + σn2 ηn2 = ξ12 + · · · + ξn2 .
Çíà÷èò, åñëè ∆f ïðèíàäëåæèò øàðó ðàäèóñà ε â êîîðäèíàòàõ {ξi }, òî ∆x ïðèíàäëåæèò ýëëèïñîèäó â êîîðäèíàòàõ {ηi}:
ξ12 + . . . + ξn2 ≤ ε2
⇔
η12 ηn2 + . . . + ≤ ε2 . 2 2 1/σ1 1/σn
Îòñþäà âèäíî, ÷òî k∆xk ñóùåñòâåííî çàâèñèò îò íàïðàâëåíèÿ âîçìóùåíèÿ. Åñëè ïðàâàÿ ÷àñòü f èìååò íóëåâûå êîìïîíåíòû â íàïðàâëåíèè ìëàäøèõ ñèíãóëÿðíûõ âåêòîðîâ vr+1 , . . . , vn (â ýòîì ñëó÷àå ãîâîðÿò, ÷òî ìàòðèöà è ïðàâàÿ ÷àñòü ÿâëÿþòñÿ ñîãëàñîâàííûìè ) è âîçìóùåíèÿ â ýòèõ íàïðàâëåíèÿõ òîæå îòñóòñòâóþò, òî îöåíêà (3.6.1), î÷åâèäíî, óëó÷øàåòñÿ:
k∆xk2 σ1 k∆f k2 ≤ . kxk2 σr kf k2 3.8
Âîçìóùåíèå ñîáñòâåííûõ çíà÷åíèé
Ïóñòü λ(A) îáîçíà÷àåò ñïåêòð ìàòðèöû A. Òåîðåìà ÁàóýðàÔàéêà. Åñëè µ ∈ λ(A + F ),
íî
1 ≤ ||F ||2 . ||(A − µ I)−1||2
µ∈ / λ(A),
òî
Ìàòðèöà (A + F ) − µ I = (A − µ I) + F âûðîæäåííàÿ ⇒ ìàòðèöà I + (A − µ I)−1F âûðîæäåííàÿ ⇒ ||(A − µ I)−1F ||2 ≥ 1. 2 Äîêàçàòåëüñòâî.
Òåîðåìà 3.8.1
Ïóñòü A äèàãîíàëèçóåìà:
P −1 AP = diag(λ1 , . . . , λn ) ≡ Λ.
(3.8.2)
min |µ − λi | ≤ kP −1 k2 kP k2 kF k2.
(3.8.3)
Òîãäà åñëè µ ∈ λ(A + F ), òî 1≤i≤n
Äîêàçàòåëüñòâî.
Íåðàâåíñòâî î÷åâèäíî, åñëè µ ∈ λ(A). Åñëè æå µ ∈ / −1 / λ(Λ) è µ ∈ λ(Λ + P F P ) îñòàåòñÿ ïðèìåíèòü òåîðåìó λ(A), òî µ ∈ ÁàóýðàÔàéêà. 2 Èòàê, ÷óâñòâèòåëüíîñòü ñïåêòðà ê ìàëûì âîçìóùåíèÿì õàðàêòåðèçóåòñÿ ÷èñëîì îáóñëîâëåííîñòè ìàòðèöû ñîáñòâåííûõ âåêòîðîâ (ýòî ñòîëáöû P ).
Ïóñòü P −1 AP = J åñòü æîðäàíîâà îðìà ìàòðèöû A è µ ∈ λ(A + F ). Òîãäà ñóùåñòâóåò λ ∈ λ(A) òàêîå, ÷òî Òåîðåìà 3.8.2
|µ − λ|m ≤ ||P −1 ||2 ||P ||2 ||F ||2 , m−1 1 + |µ − λ| + · · · + |µ − λ|
ãäå m ìàêñèìàëüíûé ïîðÿäîê æîðäàíîâûõ êëåòîê, îòâå÷àþùèõ λ.
Äîêàçàòåëüñòâî.
λ(A), òî
Îïÿòü èñïîëüçóåì òåîðåìó ÁàóýðàÔàéêà: åñëè µ ∈ /
1 ≤ ||P −1 F P ||2 . −1 ||(J − µ I) ||2 Ïóñòü J ñîñòîèò èç æîðäàíîâûõ êëåòîê J1 , . . . , Jk . Òîãäà 1 1 ≥ . ||(J − µ I)−1||2 max ||(Ji − µ I)−1||2 1≤i≤k
Çàïèøåì Ji = λ I + Ni è ïðåäïîëîæèì, ÷òî ýòà æîðäàíîâà êëåòêà èìååò ïîðÿäîê m. Òîãäà Nim = 0 è, êðîìå òîãî, ||Ni ||2 = 1 ⇒
||(Ji − µ I)−1||2 = ||((λ − µ) I + Ni )−1||2 ≤ ||(I + (λ − µ)−1Ni )−1||2 |(λ − µ)−1| ≤ 1 + |(λ − µ)−1| + · · · + |(λ − µ)−1|m−1 |(λ − µ)−1|. 2
Èòàê, åñëè ìàòðèöà ñ ìàêñèìàëüíûì ïîðÿäêîì æîðäàíîâûõ êëåòîê m âîçìóùàåòñÿ âåëè÷èíàìè ïîðÿäêà ε, òî ëþáîå ñîáñòâåííîå çíà÷åíèå âîçìóùåííîé ìàòðèöû ìîæåò îòëè÷àòüñÿ îò íåêîòîðîãî ñîáñòâåííîãî çíà÷åíèÿ 1 èñõîäíîé ìàòðèöû íà âåëè÷èíó ïîðÿäêà |ε| m .
Âåðíî ëè, ÷òî ïðè ìàëîì âîçìóùåíèè ñîáñòâåííûå çíà÷åíèÿ ìàòðèö A è A + F ìîæíî ðàçáèòü íà ïàðû áëèçêèõ çíà÷åíèé? ×òîáû îòâåòèòü íà ýòîò âîïðîñ, ïðèìåì âî âíèìàíèå íåïðåðûâíóþ çàâèñèìîñòü êîðíåé ïîëèíîìà îò åãî êîý èöèåíòîâ. Ýòîò âàæíûé àêò çàñëóæèâàåò ñïåöèàëüíîãî îáñóæäåíèÿ. 3.9
Íåïðåðûâíîñòü êîðíåé ïîëèíîìà
Òåîðåìà 3.9.1
àññìîòðèì ïàðàìåòðèçîâàííîå ñåìåéñòâî ïîëèíîìîâ
p(x, t) = xn + a1 (t)xn−1 + · · · + an (t),
ãäå a1 (t), . . . , an (t) ∈ C [α, β]. Òîãäà ñóùåñòâóþò íåïðåðûâíûå óíêöèè òàêèå, ÷òî
x1(t), . . . , xn(t) ∈ C [α, β] p (xi (t), t) = 0 ïðè α ≤ t ≤ β,
i = 1, . . . , n.
Íà÷èíàÿ äîêàçàòåëüñòâî, çàìåòèì, ÷òî äîñòàòî÷íî óñòàíîâèòü ñóùåñòâîâàíèå îäíîé íåïðåðûâíîé óíêöèè xn (t), òàêîé ÷òî p(xn(t), t) = 0 ïðè α ≤ t ≤ β . Åñëè ýòî ñäåëàíî, çàïèøåì
p(x, t) = (x − xn(t)) q(x, t),
ãäå q(x, t) = xn−1 + b1 (t)xn−2 + · · · + bn−1(t).  ñèëó èçâåñòíîãî àëãîðèòìà äåëåíèÿ ïîëèíîìîâ b1 (t), . . . , bn−1(t) ∈ C [α, β]. Òàêèì îáðàçîì, ìîæíî èñïîëüçîâàòü èíäóêöèþ. Èòàê, áóäåì äîêàçûâàòü ñóùåñòâîâàíèå îäíîãî íåïðåðûâíîãî êîðíÿ. Ñäåëàåì ýòî ïî àíàëîãèè ñ òåì, êàê äîêàçûâàåòñÿ ñóùåñòâîâàíèå ðåøåíèÿ äè åðåíöèàëüíîãî óðàâíåíèÿ dy dt = f (t, y) äëÿ íåïðåðûâíîé f ñ ïîìîùüþ ëîìàíûõ Ýéëåðà è òåîðåìû Àðöåëà. Ïîñëåäîâàòåëüíîñòü óíêöèé ym (t) íàçûâàåòñÿ ðàâíîñòåïåííî íåïðåðûâíîé ïðè t ∈ [α, β], åñëè ∀ ε > 0 ∃ δ > 0 : |t1 − t2 | ≤ δ ⇒ |ym (t1 ) − ym (t2 )| ≤ ε ∀ m. Ïîñëåäîâàòåëüíîñòü óíêöèé ym (t) íàçûâàåòñÿ ðàâíîìåðíî îãðàíè÷åííîé ïðè t ∈ [α, β], åñëè ∃ c > 0 : |ym (t)| ≤ c ∀ m, ∀ t ∈ [α, β]. (Àðöåëà) Äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè ðàâíîìåðíî îãðàíè÷åííûõ è ðàâíîñòåïåííî íåïðåðûâíûõ óíêöèé íà [α, β] ñóùåñòâóåò ïîäïîñëåäîâàòåëüíîñòü, ðàâíîìåðíî ñõîäÿùàÿñÿ íà [α, β]. Òåîðåìà 3.9.2
Ïðîíóìåðóåì êàêèì-ëèáî ñïîñîáîì âñå ðàöèîíàëüíûå òî÷êè íà [α, β] : t1 , t2 , . . . Èç èñõîäíîé ïîñëåäîâàòåëüíîñòè ym (t) âûáåðåì ïîäïîñëåäîâàòåëüíîñòü y1,m (t), ñõîäÿùóþñÿ â òî÷êå t1 ; èç ýòîé ïîäïîñëåäîâàòåëüíîñòè âûáåðåì ïîäïîñëåäîâàòåëüíîñòü y2,m (t), ñõîäÿùóþñÿ â òî÷êå t2 , è ò.ä.  èòîãå ìû áóäåì èìåòü âëîæåííûå ïîäïîñëåäîâàòåëüíîñòè y1,m (t), . . . , yk,m(t), . . . , òàêèå ÷òî yk,m (t) ñõîäèòñÿ ïðè t = t1 , . . . , tk (ïðè ýòîì yk+1,m(t) ÿâëÿåòñÿ ïîäïîñëåäîâàòåëüíîñòüþ äëÿ yk,m (t) ). àññìîòðèì äèàãîíàëüíóþ ïîñëåäîâàòåëüíîñòü ym,m (t). Âîçüìåì ε > 0 è δ > 0, îïðåäåëåííîå óñëîâèåì ðàâíîñòåïåííîé íåïðåðûâíîñòè. Äëÿ ïðîèçâîëüíîé òî÷êè t ∈ [α, β] ñóùåñòâóåò ti òàêîå, ÷òî |t − ti | ≤ δ . Ïðè äîñòàòî÷íî áîëüøèõ m, k ïîëó÷àåì Äîêàçàòåëüñòâî.
|ymm (t) − ykk (t)| ≤ |ymm (t) − ymm (ti)| + |ymm (ti ) − ykk (ti )| + + |ykk (ti ) − ykk (t)| ≤ 2ε + |ymm (ti) − ykk (ti)| ≤ 3ε.
Çíà÷èò, ym,m (t) ýòî ïîñëåäîâàòåëüíîñòü Êîøè. 2 Ïîñòðîèì íà [α, β] ïîñëåäîâàòåëüíîñòü ðàâíîìåðíûõ ñåòîê:
β−α . m Ïóñòü ym (t) åñòü ëîìàíàÿ ñ èçëîìàìè â óçëàõ t0m , t1m, . . . , tmm . Åå çíà÷åíèÿ â ýòèõ óçëàõ áóäóò îïðåäåëÿòüñÿ ñëåäóþùèì îáðàçîì. Ôèêñèðóåì êîðåíü z0 ïîëèíîìà p(x, α) è ïîëîæèì äëÿ âñåõ m α = t0m < t1m < . . . < tmm = β;
ti+1,m − tim =
ym (t0m ) = z0m ≡ z0 .
Äàëåå, ïóñòü z1m ëþáîé êîðåíü ïîëèíîìà p (x, t1m), áëèæàéøèé ê z0m , è, ïî èíäóêöèè, ïóñòü zi+1,m êîðåíü ïîëèíîìà p (x, ti+1,m), áëèæàéøèé ê zim . Ïîëîæèì ym (tim ) = zim , i = 1, . . . , m. àâíîìåðíàÿ îãðàíè÷åííîñòü ëîìàíûõ ym (t) î÷åâèäíà. àâíîñòåïåííàÿ íåïðåðûâíîñòü âûòåêàåò èç ñëåäóþùåãî íåðàâåíñòâà: 1
1
|zi+1,m − zim | ≤ |p (zim , ti+1,m)| n = |p (zim , ti+1,m) − p (zim , tim)| n ! n1 n P ≤ R max , |aj (t1 ) − aj (t2 )| t1 ,t2
j=1
ãäå ìàêñèìóì áåðåòñÿ ïðè óñëîâèè
α ≤ t1, t2 ≤ β,
|t1 − t2 | ≤
β−α , m
à R ≥ 1 åñòü ðàäèóñ êàêîãî-ëèáî êðóãà, ñîäåðæàùåãî âñå êîðíè âñåõ ïîëèíîìîâ p(x, t) ïðè α ≤ t ≤ β . Èñïîëüçóÿ òåîðåìó Àðöåëà, íàõîäèì ðàâíîìåðíî ñõîäÿùóþñÿ ïîäïîñëåäîâàòåëüíîñòü. Ïðèìåì âî âíèìàíèå, ÷òî ïðåäåë ðàâíîìåðíî ñõîäÿùåéñÿ ïîñëåäîâàòåëüíîñòè íåïðåðûâíûõ óíêöèé íà [α, β] ÿâëÿåòñÿ íåïðåðûâíîé óíêöèåé. Îñòàåòñÿ çàìåòèòü, ÷òî ïðåäåëüíàÿ óíêöèÿ y(t) óäîâëåòâîðÿåò óðàâíåíèþ p(y(t), t) = 0 ïðè α ≤ t ≤ β . Òåì ñàìûì òåîðåìà 3.9.1 äîêàçàíà. Çàäà÷è
1. Íåïðåðûâíàÿ çàâèñèìîñòü êîðíåé ïîëèíîìà îò êîý èöèåíòîâ íå ïðîòèâîðå÷èò òîìó, ÷òî îíè ìîãóò î÷åíü ñèëüíî èçìåíÿòüñÿ ïðè ìàëûõ âîçìóùåíèÿõ êîý èöèåíòîâ. Âîò ïðèìåð Óèëêèíñîíà:
p(x; ε) = (x − 1)(x − 2) . . . (x − 20) + ε x
19
=
20 Y i=1
(x − xi (ε)),
ãäå xi(ε) íåïðåðûâíûå óíêöèè òàêèå, ÷òî xi (0) = i. Ïðè ìàëûõ ε áûëî çàìå÷åíî, ÷òî x1 (ε) ≈ 1, íî x20 (ε) ñèëüíî îòëè÷àåòñÿ îò 20. ×òîáû îáúÿñíèòü ýòî ðàçëè÷èå, ñðàâíèòå çíà÷åíèÿ ïðîèçâîäíûõ óíêöèé x1(ε) è x20(ε) ïðè ε = 0. 2. Îçíà÷àåò ëè | det A| = 1 õîðîøóþ îáóñëîâëåííîñòü ìàòðèöû A? Îçíà÷àåò ëè | det A| ρ(N ), ãäå ρ(·) ñïåêòðàëüíûé ðàäèóñ ìàòðèöû. Äîêàæèòå, ÷òî ìàòðèöà A íåâûðîæäåííàÿ è âñå ýëåìåíòû ìàòðèöû A−1 íåîòðèöàòåëüíû. 10. Äëÿ ëþáîé ëè ìàòðèöû A ñóùåñòâóåò ðàñùåïëåíèå A = M − N ñî ñõîäÿùåéñÿ ìàòðèöåé M −1 N ? 11. Ïóñòü ìàòðèöà M íåâûðîæäåííàÿ è ìàòðèöà M ∗ M − N ∗ N íåîòðèöàòåëüíî îïðåäåëåííàÿ. Äîêàæèòå, ÷òî ρ(M −1 N ) ≤ 1 (ρ(·) ñïåêòðàëüíûé ðàäèóñ ìàòðèöû).
12. Ìàòðèöû A è M âåùåñòâåííûå, ïðè ýòîì A = A⊤ è âûïîëíÿåòñÿ óñëîâèå Ñàìàðñêîãî
1 (Mx, x) > (Ax, x) > 0 ∀ x 6= 0. 2 Äîêàæèòå, ÷òî ρ(I − M −1 A) < 1. 13. Ïóñòü A = A⊤ > 0 è A = L + D + L⊤ , ãäå D = diag(A) è L íèæíÿÿ òðåóãîëüíàÿ ìàòðèöà. Äîêàæèòå, ÷òî ρ(I −(L+D)−1A) < 1. Ïîëó÷èòå îòñþäà ñõîäèìîñòü ìåòîäà àóññàÇåéäåëÿ:
xi+1 = xi + (L + D)−1(b − Axi). 14. Äîêàæèòå, ÷òî äëÿ ëþáîãî ε > 0 ñóùåñòâóåò íèæíÿÿ òðåóãîëüíàÿ ìàòðèöà L òàêàÿ, ÷òî ||L||2 ≤ ε è ïðè ýòîì I +L èìååò îáùóþ íèæíþþ òðåóãîëüíóþ ÷àñòü ñ íåêîòîðîé ìàòðèöåé ðàíãà 1. 15. Âîçüìåì p(x) = xn + an−1 xn−1 + · · · + a0 è ðàññìîòðèì ñëåäóþùèå ìàòðèöû Ôðîáåíèóñà: −a 0 0 0 . . . 0 −a 1 0 ... 0 0 n−1
0
Φ=
1 0 0 0 1 0 ... ... ... 0 0 0 0 0 0
... 0 −a1 ... 0 −a2 ... ... ... . . . 0 −an−2 . . . 1 −an−1
, Ψ =
−an−2 −an−3 ... −a1 −a0
0 1 0 0 ... ... 0 0 0 0
... 0 0 ... 0 0 ... ... ... ... 0 1 ... 0 0
.
Äîêàæèòå, ÷òî p(x) åñòü õàðàêòåðèñòè÷åñêèé ïîëèíîì äëÿ Φ è äëÿ Ψ. Ìîæíî ëè òðàíñ îðìèðîâàòü òåîðåìó 3.8.1 â òåîðåìó î âîçìóùåíèè êîðíåé ïîëèíîìà? 16. Íàéäèòå ñîáñòâåííûå çíà÷åíèÿ âîçìóùåííîé æîðäàíîâîé êëåòêè λ 1 0 λ 1 . . .. .. . J (ε) = λ 1 ε λ n×n
17. Ïóñòü ñîáñòâåííûå çíà÷åíèÿ âåùåñòâåííîé ñèììåòðè÷íîé ìàòðèöû A ïîïàðíî ðàçëè÷íû. Äîêàæèòå, ÷òî ïðè âñåõ äîñòàòî÷íî ìàëûõ ïî íîðìå âåùåñòâåííûõ âîçìóùåíèÿõ F ñîáñòâåííûå çíà÷åíèÿ âîçìóùåííîé ìàòðèöû A + F áóäóò âåùåñòâåííûìè.
ëàâà 4
4.1
Äèàãîíàëüíîå ïðåîáëàäàíèå
Ìàòðèöà A ∈ Cn×n èìååò ñòðî÷íîå äèàãîíàëüíîå ïðåîáëàäàíèå, åñëè n X |aii | > ri ≡ (4.1.1) |aij |, i = 1, . . . , n,
j=1 j 6= i
è ñòîëáöîâîå äèàãîíàëüíîå ïðåîáëàäàíèå, åñëè n X |ajj | > cj ≡ |aij |, j = 1, . . . , n.
(4.1.2)
i=1 i 6= j
Äåñïëàíê) Ìàòðèöà, èìåþùàÿ ñòðî÷íîå èëè ñòîëáöîâîå äèàãîíàëüíîå ïðåîáëàäàíèå, ÿâëÿåòñÿ íåâûðîæäåííîé. Òåîðåìà 4.1.1 (Ëåâè Äîêàçàòåëüñòâî.
Ïðèìåì îáîçíà÷åíèÿ
diag(A) ≡ diag(a11, . . . , ann ),
off(A) ≡ A − diag(A).
Òîãäà íåðàâåíñòâà (4.1.1) îçíà÷àþò, ÷òî k[diag(A)]−1 off(A)k∞ < 1, è ïîýòîìó ìàòðèöà A = diag(A) + off(A) íåâûðîæäåííàÿ. Ñëó÷àé (4.1.2) ñâîäèòñÿ ê (4.1.1) ïåðåõîäîì ê AT . 2 4.2
Êðóãè åðøãîðèíà
Òåîðåìà 4.2.1 ( åðøãîðèí)
Äëÿ A ∈ Cn×n ðàññìîòðèì êðóãè
Ri ≡ {z ∈ C : |aii − z| ≤ ri},
Ci ≡ {z ∈ C : |aii − z| ≤ ci },
ãäå ri è ci èìåþò âèä (4.1.1) è (4.1.2). Òîãäà åñëè λ ∈ λ(A), òî
λ∈
n [
Ri
è
i=1
33
λ∈
n [
i=1
Ci .
S ∈ / i Ri , òî ìàòðèöà A−λI èìååò ñòðî÷íîå äèàãîíàëüíîå ïðåîáëàäàíèå è â ñèëó òåîðåìû Ëåâè Äåñïëàíêà íåâûðîæäåííàÿ ⇒ λ∈ / λ(A). 2 Äîêàçàòåëüñòâî. Åñëè λ
Åñëè m êðóãîâ åðøãîðèíà îáðàçóþò îáëàñòü G, èçîëèðîâàííóþ îò äðóãèõ êðóãîâ, òî â G íàõîäÿòñÿ ðîâíî m ñîáñòâåííûõ çíà÷åíèé. Òåîðåìà 4.2.2
Ïîëîæèì A(t) = diag(A) + t off(A), 0 ≤ t ≤ 1. Îáîçíà÷èì ÷åðåç G(t) îáúåäèíåíèå êðóãîâ åðøãîðèíà ñ òåìè æå öåíòðàìè, ÷òî è êðóãè â G, è ÷åðåç G′ (t) îáúåäèíåíèå îñòàëüíûõ êðóãîâ. Î÷åâèäíî, G(t) ⊂ G(1) = G è G′ (t) ⊂ G′ (1) ≡ C ′. Ïîñêîëüêó G ∩ G′ = ∅, èìååì G(t) ∩ G′ (t) = ∅ ïðè âñåõ t. Ñîãëàñíî òåîðåìå î íåïðåðûâíîé çàâèñèìîñòè êîðíåé ïîëèíîìà îò åãî êîý èöèåíòîâ, ñóùåñòâóþò íåïðåðûâíûå óíêöèè λ1 (t), . . . , λm (t) òàêèå, ÷òî
Äîêàçàòåëüñòâî.
(a) (b)
{λ1 (0), . . . , λm (0)} = G(0); λ1 (t), . . . , λm (t) ∈ λ(A(t)).
Ïóñòü ti ≡ sup t : λi (t) ∈ G(t). Åñëè ti < 1, òî ïðè âñåõ t > ti ïîëó÷àåì λi (t) ∈ G′ (t) (ñëåäñòâèå òåîðåìû 4.2.1). Îòñþäà G(ti ) ∩ G′ (ti ) 6= ∅, ÷òî íåâîçìîæíî. Ïîýòîìó ti = 1 ïðè i = 1, . . . , m. 2
Åñëè êðóãè åðøãîðèíà ïîïàðíî íå ïåðåñåêàþòñÿ, òî êàæäûé èç íèõ ñîäåðæèò ðîâíî îäíî ñîáñòâåííîå çíà÷åíèå. Ñëåäñòâèå 4.2.1
4.3
Ìàëûå âîçìóùåíèÿ ñîáñòâåííûõ çíà÷åíèé è âåêòîðîâ
Ïðåäïîëîæèì ÷òî ìàòðèöà A èìååò ëèøü ïðîñòûå (òî åñòü ïîïàðíî ðàçëè÷íûå) ñîáñòâåííûå çíà÷åíèÿ, à âîçìóùåííàÿ ìàòðèöà èìååò âèä A(ε) = A + A1ε + O ε2 .
Ïóñòü P ìàòðèöà ñîáñòâåííûõ âåêòîðîâ äëÿ A; òîãäà Λ ≡ P −1 AP äèàãîíàëüíàÿ ìàòðèöà ñîáñòâåííûõ çíà÷åíèé äëÿ A. Ïîëîæèì Ω1 = P −1 A1P. Ω(ε) ≡ P −1 A(ε)P = Λ + Ω1ε + O ε2 , Ìàòðèöà Ω(ε) èìååò òå æå ñîáñòâåííûå çíà÷åíèÿ, ÷òî è A(ε). Ïî òåîðåìàì åðøãîðèíà, ïðè âñåõ ìàëûõ ε îíà èìååò ïðîñòûå ñîáñòâåííûå çíà÷åíèÿ (äîêàæèòå).
Äèàãîíàëüíóþ ìàòðèöó ñîáñòâåííûõ çíà÷åíèé äëÿ Ω(ε) è ñîîòâåòñòâóþùóþ ìàòðèöó ñîáñòâåííûõ âåêòîðîâ çàïèøåì â âèäå
ˆ Λ(ε) = Λ + Λ1 ε + Λ(ε),
Λ(0) = Λ;
ˆ Z(ε) = I + Z1 ε + Z(ε),
Z(0) = I.
Ìàòðèöà Z(ε) îïðåäåëÿåòñÿ ñ òî÷íîñòüþ äî íîðìèðîâêè ñòîëáöîâ. Òåì íå ìåíåå, ïðè ëþáîé íîðìèðîâêå ïðè âñåõ äîñòàòî÷íî ìàëûõ ε > 0 èìååì diagZ(ε) 6= 0 (äîêàæèòå). Ïîýòîìó ìû ïîòðåáóåì, ÷òîáû
diagZ(ε) = I,
diagZ1 = 0
⇒
ˆ diagZ(ε) = 0.
àññìîòðèì ðàâåíñòâî 2 ˆ ˆ ˆ Λ + Ω1 ε + O ε I + Z1 ε + Z = I + Z1 ε + Z Λ + Λ1 ε + Λ . (∗) Ïåðåïèøåì åãî â âèäå
(ΛZ1 − Z1 Λ + Ω1 − Λ1 )ε + . . . = 0. è îïðåäåëèì Λ1 è Z1 èç óðàâíåíèÿ
ΛZ1 − Z1 Λ = Λ1 − Ω1 Λ1 = diagΩ1,
⇒
ΛZ1 − Z1 Λ = −offΩ1.
(∗∗)
Èòàê, ïóñòü Λ1 è Z1 óäîâëåòâîðÿþò (∗∗). Áóäåì ðàññìàòðèâàòü (∗) êàê 2 ˆ ˆ ˆ óðàâíåíèå îòíîñèòåëüíî Λ è Z . Ñíà÷àëà äîêàæåì, ÷òî Λ = O ε . Äëÿ ýòîãî çàìåòèì, ÷òî Λ + Ω1ε + O ε2 (I + Z1ε) − (I + Z1ε)(Λ + Λ1 ε) = O ε2 .
Ïðè ìàëûõ ε èìååì (I + Z1 ε)−1 = O(1). Ñëåäîâàòåëüíî, â ñèëó òåîðåì åðøãîðèíà ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû Λ + Ω1 ε + O ε2 ñ òî÷íîñòüþ ˆ = O ε2 . O ε2 ñóòü äèàãîíàëüíûå ýëåìåíòû Λ0 + Λ1 ε ⇒ Λ Òåïåðü äîêàæåì, ÷òî Zˆ = O ε2 . Äëÿ ýòîãî çàìåòèì, ÷òî ýëåìåíòû ìàòðèöû Zˆ ÿâëÿþòñÿ åäèíñòâåííûì ðåøåíèåì ñèñòåìû ëèíåéíûõ óðàâíåíèé Λ + Ω1ε + O ε2 Zˆ − Zˆ Λ + Λ1 ε + O ε2 = O ε2 , diagZˆ = 0,
à ìàòðèöà êîý èöèåíòîâ ýòîé ñèñòåìû åñòü ε-âîçìóùåíèå íåâûðîæäåííîé ìàòðèöû êîý èöèåíòîâ àíàëîãè÷íîé ñèñòåìû ïðè ε = 0. Òàêèì îáðàçîì, ïîëó÷åíà
Ïóñòü P −1 AP = Λ äèàãîíàëüíàÿ ìàòðèöà ñ ïîïàðíî ðàçëè÷íûìè ñîáñòâåííûìè çíà÷åíèÿìè äëÿ A. Òîãäà ïðè ìàëûõ ε ìàò 2 ðèöà A(ε) = A + A1 ε + O ε äèàãîíàëèçóåìà: Òåîðåìà 4.3.1
P −1 (ε)A(ε)P (ε) = Λ(ε),
è ïðè ýòîì
Λ(ε) = Λ + Λ1 ε + O ε2 ,
ãäå
P (ε) = P I + Z1 ε + O ε2
Λ1 = diag P −1 A1 P ,
,
à Z1 îäíîçíà÷íî îïðåäåëÿåòñÿ èç óðàâíåíèé
diagZ1 = 0, Ñëåäñòâèå 4.3.1
ΛZ1 − Z1 Λ = −off P −1A1 P .
Ñîáñòâåííûå çíà÷åíèÿ λi (ε) äëÿ A(ε) èìåþò âèä λi (ε) = λi + qiT A1 piε + O ε2 ,
ãäå qiT ñóòü ñòðîêè ìàòðèöû P −1 . 4.4
Îáóñëîâëåííîñòü ïðîñòîãî ñîáñòâåííîãî çíà÷åíèÿ
Áóäåì ñ÷èòàòü, ÷òî kA1 k2 = 1. Òîãäà, ñ ó÷åòîì ðàâåíñòâà qiT pi = 1,
kqiT A1pi k2 ×èñëî
kqiT k2kpTi k2 ≤ . |qiT pi|
kqiT k2 kpTi k2 |qiT pi | íàçûâàåòñÿ îáóñëîâëåííîñòüþ (èëè êîý èöèåíòîì ïåðåêîñà ) ñîáñòâåííîãî çíà÷åíèÿ λi . àâåíñòâà Api = λi pi è qiT A = λi qiT îçíà÷àþò, ÷òî âåêòîðû pi è qi ýòî ñîîòâåòñòâåííî ëåâûé è ïðàâûé ñîáñòâåííûå âåêòîðû ìàòðèöû A. ßñíî, ÷òî îáóñëîâëåííîñòü íå çàâèñèò îò íîðìèðîâêè âåêòîðîâ pi è qi . Îáóñëîâëåííîñòü êîððåêòíî îïðåäåëÿåòñÿ äëÿ ïðîñòîãî ñîáñòâåííîãî çíà÷åíèÿ è â ñëó÷àå íåäèàãîíàëèçóåìîé ìàòðèöû. Âàæíî, ÷òî ñëåäñòâèå 4.3.1 îñòàåòñÿ â ñèëå äëÿ ëþáîãî ïðîñòîãî ñîáñòâåííîãî çíà÷åíèÿ (ïðè óñëîâèè íîðìèðîâêè qiT pi = 1). (Ýòî ìîæíî äîêàçàòü ñ ïîìîùüþ ïåðåõîäà ê ñëàáî âîçìóùåííîé, íî óæå äèàãîíàëèçóåìîé ìàòðèöå, èìåþùåé òå æå âåêòîðû pi è qi äëÿ ïðîñòîãî ñîáñòâåííîãî çíà÷åíèÿ λi ). Îáóñëîâëåííîñòü ñîáñòâåííîãî çíà÷åíèÿ õàðàêòåðèçóåò ðàññòîÿíèå äî ìàòðèö, äëÿ êîòîðûõ äàííîå ñîáñòâåííîå çíà÷åíèå ÿâëÿåòñÿ êðàòíûì. s(λi) ≡
Ïóñòü A èìååò ïðîñòîå ñîáñòâåííîå çíà÷åíèå λi ñ îáóñëîâëåííîñòüþ s(λi ). Òîãäà ñóùåñòâóåò ìàòðèöà A + E , äëÿ êîòîðîé λi êðàòíîå ñîáñòâåííîå çíà÷åíèå è ïðè ýòîì Òåîðåìà 4.4.1 (Óèëêèíñîí)
Äîêàçàòåëüñòâî.
kEk2 ≤ p
kAk2
s2 (λi) − 1
(4.4.3)
.
Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî A èìååò
îðìó Øóðà
A=
λi z ⊤ 0 B
.
Ïðàâûé è ëåâûé ñîáñòâåííûå âåêòîðû äëÿ λi èìåþò âèä 1/2 p = [1 0 . . . 0]⊤ è q ⊤ = 1 v ⊤ ⇒ s(λi ) = kvk22 + 1 .
˜ ≡ B + vz ⊤2 Î÷åâèäíî, v ⊤B +z ⊤ = λi v ⊤ ⇒ v T (B −λi I) = z ⊤ ⇒ ìàòðèöà B kvk2 èìååò λi ñâîèì ñîáñòâåííûì çíà÷åíèåì, òî åñòü ìîæíî âçÿòü # " 0 0 kAk2 kAk2 kz T k2 T . ≤ = p ⇒ kEk ≤ E= 2 vz 2 (λ ) − 1 0 kvk2 kvk kvk s 2 2 i 2 2
4.5
Àíàëèòè÷åñêèå âîçìóùåíèÿ
P∞ Ïóñòü ðÿä A(ε) = k=0 Ak εk ñõîäèòñÿ ïðè âñåõ |ε| < ε0 . Òîãäà åñëè A0 èìååò ëèøü ïðîñòûå ñîáñòâåííûå çíà÷åíèÿ, òî ïðè âñåõ äîñàòî÷íî ìàëûõ ε ìàòðèöà A(ε) äèàãîíàëèçóåòñÿ ïðè ïîìîùè P (ε): P −1 (ε)A(ε)P (ε) = Λ(ε), ãäå
Λ(ε) =
∞ X k=0
k
Λk ε ,
P (ε) =
∞ X
(4.5.4)
Pk εk .
(4.5.5)
k=0
Ñóùåñòâîâàíèå è ñõîäèìîñòü ïðè âñåõ ìàëûõ ε ðÿäà Λ(ε) âûòåêàåò èç àíàëèòè÷åñêîãî âàðèàíòà òåîðåìû î íåÿâíîé óíêöèè. Ìàòðèöû Λk , Pk ëåãêî îïðåäåëÿþòñÿ. Ïîëîæèì Zk ≡ P0−1 Pk , Ωk ≡ P0−1 Ak P0 . Òîãäà
(Λ0 + Ω1ε + . . .)(I + Z1 ε + . . .) = (I + Z1ε + . . .)(Λ0 + Λ1 ε + . . .). Ïðèðàâíèâàíèÿ êîý èöèåíòû ïðè εk , íàõîäèì
Λ0 Zk − Zk Λ0 = Λk − Φk ,
(4.5.6)
ãäå
Φk =
k−1 X i=1
Îòñþäà
Λk = diagΦk ,
(ΩiZk−i − Zk−i Ωi) + Ωk . Λ0 Zk − Zk Λ0 = −offΦk .
(4.5.7)
(4.5.8)
Çíàÿ Λi , Zi ïðè i ≤ k − 1, ìû ìîæåì ïîëó÷èòü Λk , Zk èç 4.5.8. àññìîòðèì îïåðàòîð A : Z 7→ Λ0 Z − ZΛ0 íà ïðîñòðàíñòâå ìàòðèö Z òàêèõ, ÷òî diagZ = 0.  ñèëó ïðîñòîòû ñîáñòâåííûõ çíà÷åíèé îïåðàòîð A îáðàòèìûé. Òîãäà ïðè ìàëûõ ε áóäåò îáðàòèìûì è îïåðàòîð A + εB , ãäå
B : Z 7→ Ω1 (ε)Z − ZΛ1 (ε), ∞ ∞ P P Λk+1εk . Ωk+1εk , Λ1 (ε) = Ω1(ε) = k=0
k=0
Ïîëîæèì
Z1 (ε) =
∞ X
Zk+1εk .
k=0
Òîãäà
[A + εB] Z1 (ε) = Λ1 (ε) − Ω1(ε).
Îòñþäà âèäíî, ÷òî Z1 (ε) ïðåäñòàâëÿåòñÿ ñõîäÿùèìñÿ ñòåïåííûì ðÿäîì (åñëè èçâåñòíî, ÷òî Λ1 (ε) ïðåäñòàâëÿåòñÿ òàêîâûì ðÿäîì). Åñëè A0 èìååò êðàòíûå ñîáñòâåííûå çíà÷åíèÿ, òî ñîáñòâåííûå çíà÷åíèÿ è âåêòîðû ïðåäñòàâëÿþòñÿ ðÿäàìè Ïþèçüå (òî åñòü ðÿäàìè ïî äðîáíûì ñòåïåíÿì ε). Çàäà÷è
1. Ïóñòü A = diag(λ1 , . . . , λn ), ãäå λi âåùåñòâåííûå ïîïàðíî ðàçëè÷íûå ÷èñëà. Ïóñòü âîçìóùåííàÿ ìàòðèöà A(ε) = A + A1 ε ÿâëÿåòñÿ ýðìèòîâîé è diag(A1 ) = 0. Äîêàæèòå, ÷òî ñîáñòâåííûå çíà÷åíèÿ A(ε) èìåþò âèä λi (ε) = λi + O ε2 .
2. Ïóñòü λ ïðîñòîå ñîáñòâåííîå çíà÷åíèå ìàòðèöû A; p è q ñîîòâåòñòâóþùèå åìó ëåâûé è ïðàâûé ñîáñòâåííûå âåêòîðû òàêèå, ÷òî q T p = 1. Äîêàæèòå, ÷òî âîçìóùåííàÿ ìàòðèöà A(ε) = A + A1 ε ïðè âñåõ äîñòàòî÷íî ìàëûõ ε èìååò ïðîñòîå ñîáñòâåííîå çíà÷åíèå λ(ε) = λ + q T A1pε + O ε2 .
3. Åñëè åñòü áîëüøîé êîý èöèåíò ïåðåêîñà, òî õîòÿ áû åùå îäèí áóäåò áîëüøèì. Îáúÿñíèòå, ïî÷åìó. 4. Ïóñòü A èìååò ïðîñòûå ñîáñòâåííûå çíà÷åíèÿ ñ êîý èöèåíòàìè ïåðåêîñà s1 , . . . , sn . Äîêàæèòå, ÷òî åñëè P ìàòðèöà èç ñîáñòâåííûõ âåêòîðîâ, òî cond 2 P ≥ max si . 1≤i≤n
5. Ïóñòü A èìååò ïðîñòûå ñîáñòâåííûå çíà÷åíèÿ ñ êîý èöèåíòàìè ïåðåêîñà s1 , . . . , sn . Äîêàæèòå, ÷òî s1 = . . . = sn = 1 òîãäà è òîëüêî òîãäà, êîãäà ìàòðèöà A íîðìàëüíàÿ. 6. Îáúÿñíèòå, ïî÷åìó ïî÷òè òðåóãîëüíàÿ ìàòðèöà
A=
n n−1 n−2 n−1 n−1 n−2 n−2 n−2 ... ... ...
... 3 2 ... 3 2 ... 3 2 ... ... ... 2
2 1
1 1 1 ... 1 1
n×n
èìååò ïëîõî îáóñëîâëåííûå ñîáñòâåííûå çíà÷åíèÿ ïðè áîëüøèõ n. 7. Ïóñòü A äèàãîíàëèçóåòñÿ ìàòðèöåé P :
P −1 AP = diag(λ1 , . . . , λn), è ïóñòü A + F âîçìóùåííàÿ ìàòðèöà. Ïóñòü ñðåäè êðóãîâ Bi = z : |z − λi | ≤ kP −1 F P k2 , i = 1, . . . , n.
îáúåäèíåíèå êàêèõ-òî m èç íèõ îáðàçóåò îáëàñòü M , íå ïåðåñåêàþùóþñÿ ñ îñòàëüíûìè êðóãàìè. Äîêàæèòå, ÷òî â M ñîäåðæèòñÿ ðîâíî m ñîáñòâåííûõ çíà÷åíèé ìàòðèöû A + F . 8. Ïóñòü âñå ýëåìåíòû ìàòðèöû A îòëè÷íû îò íóëÿ. Òîãäà ëþáîå ñîáñòâåííîå çíà÷åíèå λ ∈ λ(A) ëèáî ÿâëÿåòñÿ âíóòðåííåé òî÷êîé îáúåäèíåíèÿ êðóãîâ åðøãîðèíà R1 ∪ . . . ∪ Rn , ëèáî ÿâëÿåòñÿ îáùåé ãðàíè÷íîé òî÷êîé äëÿ âñåõ êðóãîâ åðøãîðèíà R1 , . . . , Rn . Äîêàæèòå. 9. Ïóñòü σ1 ≥ ... ≥ σn ñèíãóëÿðíûå ÷èñëà n × n-ìàòðèöû 1
A=
2 1
2
..
.
..
.
1
.
2 1
Äîêàæèòå, ÷òî 1 ≤ σn−1 ≤ ... ≤ σ1 ≤ 3 è, êðîìå òîãî, 0 < σn < 2−n+1 .
10. Äîêàæèòå, ÷òî âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A = [aij ] ∈ Cn×n ïðèíàäëåæàò îáúåäèíåíèþ ñëåäóþùèõ ìíîæåñòâ (èçâåñòíûõ êàê îâàëû Êàññèíè):
Mij = {z ∈ C : |aii − z||ajj − z| ≤ rirj }, ãäå
ri =
X l6=i
1 ≤ i, j ≤ n, i 6= j,
|ail |.
11. Ïðèâåäèòå ïðèìåð ìàòðèöû A = [aij ], äëÿ êîòîðîé íå âñå ñîáñòâåííûå çíà÷åíèÿ ïðèíàäëåæàò îáúåäèíåíèþ ìíîæåñòâ
Mijk = {z ∈ C : |aii − z||ajj − z||akk − z| ≤ rirj rk }, 1 ≤ i, j, k ≤ n, i 6= j, j 6= k, i 6= k. 12. Äàíà ìàòðèöà A ïîðÿäêà n ñ ïîëîæèòåëüíûìè ýëåìåíòàìè. Äîêàæèòå, ÷òî ìèíèìàëüíîå çíà÷åíèå óíêöèîíàëà f (D) = ||D−1 AD||∞ íà ìíîæåñòâå âñåõ äèàãîíàëüíûõ ìàòðèö ñ ïîëîæèòåëüíûìè äèàãîíàëüe òàêîé, ÷òî íûìè ýëåìåíòàìè äîñòèãàåòñÿ íà íåêîòîðîé ìàòðèöå D e −1 AD e âñå ñòðî÷íûå ñóììû îäèíàêîâû. Äîêàæèòå, ÷òî âåêòîð äëÿ D [de11, ..., denn]⊤ ÿâëÿåòñÿ ñîáñòâåííûì âåêòîðîì ìàòðèöû A, à ñîîòâåòñòâóþùåå ñîáñòâåííîå çíà÷åíèå ðàâíî ñïåêòðàëüíîìó ðàäèóñó ìàòðèöû A (òåîðåìà ÏåððîíàÔðîáåíèóñà). 13. Ïóñòü A = [aij ] ∈ Cn×n è |aij | ≤ bij , ãäå bij > 0 äëÿ âñåõ i, j . Èñïîëüçóÿ ïðåäûäóùóþ çàäà÷ó, äîêàæèòå, ÷òî âñå ñîáñòâåííûå çíà÷åíèÿ A ïðèíàäëåæàò îáúåäèíåíèþ êðóãîâ
Φi = {z ∈ C : |aii − z| ≤ ρ(B) − bii ,
1 ≤ i ≤ n,
ãäå ρ(·) ñïåêòðàëüíûé ðàäèóñ (òåîðåìà ÔàíüÖçû).
ëàâà 5
5.1
Ñïåêòðàëüíûå ðàññòîÿíèÿ
Ôîðìóëèðîâêè ñëåäñòâèé òåîðåìû ÁàóýðàÔàéêà íåñèììåòðè÷íû îòíîñèòåëüíî A è A + F : ìàòðèöà A + F , â îòëè÷èå îò A, ìîæåò áûòü íåäèàãîíàëèçóåìîé èëè èìåòü äðóãèå ïîðÿäêè æîðäàíîâûõ êëåòîê. Òåïåðü ìû çàéìåìñÿ ñèììåòðè÷íûìè òåîðåìàìè â íèõ áóäåò îöåíèâàòüñÿ íåêîòîðîå ðàññòîÿíèå ìåæäó ñïåêòðàìè ìàòðèö.
Õàóñäîð îâî ñïåêòðàëüíîå ðàññòîÿíèå ìåæäó A è B ñ ñîáñòâåííûìè çíà÷åíÿìè {λi } è {µj } îïðåäåëÿåòñÿ òàê:
hd(A, B) ≡ max{max min |λi − µj |, max min |λi − µj |}. i
j
j
i
Ñïåêòðàëüíîå p-ðàññòîÿíèå îïðåäåëÿåòñÿ òàê:
dp (A, B) ≡ min ||λ(A) − P λ(B)||p , P
ãäå ìèíèìóì áåðåòñÿ ïî âñåì ìàòðèöàì ïåðåñòàíîâêè P è ïîäðàçóìåâàåòñÿ, ÷òî λ(A) = [λ1, . . . , λn]⊤ , λ(B) = [µ1, . . . , µn ]⊤. 5.2
Ñèììåòðè÷íûå òåîðåìû
Òåîðåìà 5.2.1
(Ýëñíåð). 1
1
hd(A, B) ≤ (||A||2 + ||B||2 )1− n ||A − B||2n . Ïóñòü âåêòîðû x1 , . . . , xn îáðàçóþò ñòîëáöû óíèòàðíîé ìàòðèöû X è Bx1 = µx1 . Åñëè λ1 , ..., λn ñîáñòâåííûå çíà÷åíèÿ A, òî
Äîêàçàòåëüñòâî.
n Y i=1
|λi − µ| = |det ((A − µ I) X) | 41
(âñïîìíèì íåðàâåíñòâî Àäàìàðà: ìîäóëü îïðåäåëèòåëÿ íå ïðåâîñõîäèò ïðîèçâåäåíèÿ 2-íîðì ñòîëáöîâ ⇔ îáúåì n-ìåðíîãî êóáîèäà íå ïðåâîñõîäèò ïðîèçâåäåíèÿ åãî äëèí) n Y
≤
i=1
≤
||(A − µ I) xi||2 ≤ ||(A − B) x1||2
||A − B||2 (||A||2 + ||B||2 )
Òåîðåìà 5.2.2
n−1
. 2
n Y i=2
||(A − µ I) xi ||2
(ÎñòðîâñêèéÝëñíåð).
d∞ (A, B) ≤ (2n − 1) hd(A, B). Äîêàçàòåëüñòâî.
àññìîòðèì êðóãè
Di = {z : |z − λi | ≤ hd (A, B)} è Di (τ ) = {z : |z − λi | ≤ ε(τ )}, ãäå
ε(τ ) ≡
2 max ||A + t (B − A)||2 0≤t≤1
1− n1
1
||τ (B − A)|| n ,
0 ≤ τ ≤ 1.
Ñîãëàñíî òåîðåìå 5.2.1, âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A + τ (B − A) ïðèíàäëåæàò îáúåäèíåíèþ êðóãîâ Di (τ ). Ïî àíàëîãèè ñ êðóãàìè åðøãîðèíà, åñëè m êðóãîâ Di (τ ) èçîëèðîâàíû îò îñòàëüíûõ êðóãîâ, òî èõ îáúåäèíåíèå ñîäåðæèò â òî÷íîñòè m ñîáñòâåííûõ çíà÷åíèé ìàòðèöû A+τ (B−A). ⇒ Åñëè m êðóãîâ Di (1) èçîëèðîâàíû îò îñòàëüíûõ êðóãîâ, òî îáúåäèíåíèå ñîîòâåòñòâóþùèõ êðóãîâ Di ñîäåðæèò â òî÷íîñòè m ñîáñòâåííûõ çíà÷åíèé µi (ïî÷åìó?). Ïóñòü íóìåðàöèÿ êðóãîâ è ñîáñòâåííûõ çíà÷åíèé µi äëÿ B òàêîâû, ÷òî [ Dk , i = 1, . . . , m. µi ∈ 1≤k≤m
Òîãäà |µi − λj | ≤ (2m − 1) hd(A, B), 1 ≤ i, j ≤ m. 5.3
2
Òåîðåìà ÂèëàíäòàÕî ìàíà
Òåîðåìà 5.3.1
(ÂèëàíäòÕî ìàí). Äëÿ íîðìàëüíûõ ìàòðèö A è B
d2 (A, B) ≤ ||A − B||F . Ïîñêîëüêó ìàòðèöû A è B íîðìàëüíûå, ñ ïîìîùüþ óíèòàðíûõ ìàòðèö P è Q ìû ìîæåì ïîëó÷èòü äèàãîíàëüíûå ìàòðèöû
Äîêàçàòåëüñòâî.
DA = diag(λi) = P ∗ AP
è DB = diag(µi ) = Q∗ BQ.
Ïîëîæèì Z ≡ P ∗ Q. Ó÷èòûâàÿ óíèòàðíóþ èíâàðèàíòíîñòü íîðìû Ôðîáåíèóñà, íàõîäèì
||A − B||2F = ||DA − ZDB Z ∗||2F = tr(DA − ZDB Z ∗) (DA − ZDB Z ∗ )∗ = ||DA ||2F + ||DB ||2F − 2 Re tr(ZDB Z ∗DA∗ ). ×òîáû ïîëó÷èòü îöåíêó ñíèçó, çàïèøåì
γ ≡ 2 Re tr(ZDB Z
∗
DA∗ )
=
n X n X
sij αij ,
i=1 j=1
sij = |zij |2 ,
αij = 2 Re λ∗i µj .
Ïðè èêñèðîâàííûõ αij óíêöèîíàë γ = γ (S) ÿâëÿåòñÿ ëèíåéíûì íà ìíîæåñòâå ìàòðèö S = [sij ] è íàñ èíòåðåñóåò åãî ìàêñèìóì íà ìíîæåñòâå ìàòðèö S ñ íåîòðèöàòåëüíûìè ýëåìåíòàìè è âñåìè ñòðî÷íûìè è ñòîëáöîâûìè ñóììàìè, ðàâíûìè 1. Òàêèå ìàòðèöû S íàçûâàþòñÿ äâîÿêîñòîõàñòè÷åñêèìè. Äëÿ íèõ èìååò ìåñòî ñëåäóþùàÿ Òåîðåìà Áèðêãî à. Ëþáàÿ äâîÿêîñòîõàñòè÷åñêàÿ ìàòðèöà S ïðåäñòàâèìà â âèäå âûïóêëîé êîìáèíàöèè êîíå÷íîãî ÷èñëà ìàòðèö ïåðåñòàíîâêè
Pk
(ñàìè ìàòðèöû ïåðåñòàíîâêè è èõ ÷èñëî çàâèñÿò îò
S=
m X
νk Pk ,
ν1 + ... + νm = 1,
k=1
S ):
ν1 , ..., µm ≥ 0.
 ñèëó òåîðåìû Áèðêãî à
γ (S) ≤ max γ (Pk ), 1≤k≤m
òî åñòü ìàêñèìàëüíîå çíà÷åíèå óíêöèè γ äîñòèãàåòñÿ íà íåêîòîðîé ìàòðèöå ïåðåñòàíîâêè. Îáîçíà÷èì åå ÷åðåç Π. Òîãäà
||A − B||2F = ||DA ||2F + ||DB ||2F − 2 Re tr(ZDB Z ∗DA∗ ) ≥ ||DA ||2F + ||ΠDB Π∗ ||2F − 2 Re tr(ΠDB Π∗DA∗ ) = ||DA − ΠDB Π∗ ||2F ≥ d2 (A, B). 2 Ñëåäóùèé ðàçäåë äëÿ òåõ, êòî õîòåë áû óçíàòü, êàê äîêàçûâàåòñÿ òåîðåìà Áèðêãî à. 5.4
Ïåðåñòàíîâî÷íûå äèàãîíàëè
Ïîä ïåðåñòàíîâî÷íîé äèàãîíàëüþ n × n-ìàòðèöû A, îòâå÷àþùåé ìàòðèöå ïåðåñòàíîâêè P , ïîíèìàåòñÿ âåêòîð, ñîñòàâëåííûé èç êîìïîíåíò ãëàâíîé
äèàãîíàëè ìàòðèöû diag (P T A). Ïîçèöèè èçâëåêàåìûõ èç A ýëåìåíòîâ ñîâïàäàþò ñ ïîçèöèÿìè åäèíèö â P . Òåîðåìà Áèðêãî à ïî÷òè î÷åâèäíûé àêò äëÿ òåõ, êîìó êàæåòñÿ î÷åâèäíûì, ÷òî â ëþáîé äâîÿêîñòîõàñòè÷åñêîé ìàòðèöå ìîæíî âûäåëèòü íåíóëåâóþ ïåðåñòàíîâî÷íóþ äèàãîíàëü. Äåéñòâèòåëüíî, åñëè ν1 ìèíèìàëüíàÿ êîìïîíåíòà íåíóëåâîé ïåðåñòàíîâî÷íîé äèàãîíàëè, îòâå÷àþùåé ìàòðèöå ïåðåñòàíîâêè P1 , òî S − ν1 P1 = φ1 S1 , ãäå 0 ≤ ν1 , φ1 ≤ 1, ν1 + φ1 = 1 è S1 åñòü äâîÿêîñòîõàñòè÷åñêàÿ ìàòðèöà, â êîòîðîé, ïî ìåíüøåé ìåðå, îäíèì íóëåâûì ýëåìåíòîì áîëüøå, ÷åì â èñõîäíîé ìàòðèöå S . Äàëåå ïî èíäóêöèè. Íî ïîïðîáóéòå âñå æå äîêàçàòü ñóùåñòâîâàíèå íåíóëåâîé ïåðåñòàíîâî÷íîé äèàãîíàëè ýòî íå î÷åíü ïðîñòî! Ìû ñäåëàåì ýòî, âîîðóæèâøèñü ñëåäóþùåé (íåòðèâèàëüíîé) òåîðåìîé. Òåîðåìà Õîëëà. Äëÿ òîãî ÷òîáû ëþáàÿ ïåðåñòàíîâî÷íàÿ äèàãîíàëü â n × n-ìàòðèöå A ñîäåðæàëà íóëü, íåîáõîäèìî è äîñòàòî÷íî, ÷òîáû â A ñóùåñòâîâàëà íóëåâàÿ p × q -ïîäìàòðèöà òàêàÿ, ÷òî p + q > n. Íåîáõîäèìîñòü. Ïóñòü ëþáàÿ ïåðåñòàíîâî÷íàÿ äèàãîíàëü ìàòðèöû A ïîðÿäêà n > 1 ñîäåðæèò íóëü. Åñëè A = 0, òî âñå äîêàçàíî. Åñëè A 6= 0, òî áóäåì ñ÷èòàòü, ÷òî a1n 6= 0, è çàïèøåì a11 · · · a1 n−1 a1n a2n . A= B ... ann Òîãäà ìàòðèöà B ïîðÿäêà n − 1 îáÿçàíà èìåòü íóëü â ëþáîé ñâîåé ïåðåñòàíîâî÷íîé äèàãîíàëè. Ïðåäïîëîæèì (èíäóêöèÿ ïî n), ÷òî äëÿ B ñóùåñòâóåò íóëåâàÿ p × q -ïîäìàòðèöà òàêàÿ, ÷òî p + q > n − 1. Åñëè p + q > n, òî ýòà ïîäìàòðèöà ÿâëÿåòñÿ èñêîìîé. Ïðåäïîëîæèì, ÷òî p + q = n è A èìååò âèä A11 A12 A= , 0p×q A22 ãäå áëîêè A11 è A22 êâàäðàòíûå ïîðÿäêà q è p, ñîîòâåòñòâåííî. Åñëè A22 èìååò ïåðåñòàíî÷íóþ äèàãîíàëü áåç íóëåé, òî â ëþáóþ ïåðåñòàíîâî÷íóþ äèàãîíàëü äëÿ A11 îáÿçàí âõîäèòü íóëü. Ïî èíäóêòèâíîìó ïðåäïîëîæåíèþ, â A11 åñòü íóëåâàÿ r × s-ïîäìàòðèöà ñ ðàçìåðàìè ÷òî r + s > q . Íå îãðàíè÷èâàÿ îáùíîñòè, ïðåäïîëîæèì, ÷òî ýòà ïîäìàòðèöà íàõîäèòñÿ â ëåâîì íèæíåì óãëó ìàòðèöû A11. Òîãäà â ëåâîì íèæíåì óãëó ìàòðèöû A ðàñïîëàãàåòñÿ íóëåâàÿ ïîäìàòðèöà ðàçìåðîâ (r + p) × s è ïðè ýòîì (r + p) + s = (r + s) + p > q + p = n.
Åñëè ëþáàÿ ïåðåñòàíîâî÷íàÿ äèàãîíàëü A22 ñîäåðæèò íóëü, òî èíäóêòèâíîå ïðåäïîëîæåíèå ìîæíî ïðèìåíèòü íåïîñðåäñòâåííî ê A22 . Äîñòàòî÷íîñòü. Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî p ≥ q è íóëåâàÿ ïîäìàòðèöà ðàçìåðîâ p × q çàíèìàåò íèæíèé ëåâûé óãîë. Òîãäà A èìååò âèä A11 A12 A= , (∗) 0(n−q)×q A22
ïðè÷åì ïîñëåäíÿÿ ñòðîêà â A11 íóëåâàÿ, òàê êàê p > n − q . Ïîýòîìó ëþáàÿ ïåðåñòàíîâî÷íàÿ äèàãîíàëü ìàòðèöû A11 îáÿçàíà ñîäåðæàòü ýëåìåíò ýòîé ñòðîêè, òî åñòü íóëü. 2 Ñëåäñòâèå.  ëþáîé äâîÿêîñòîõàñòè÷åñêîé ìàòðèöå ñóùåñòâóåò íåíóëåâàÿ ïåðåñòàíîâî÷íàÿ äèàãîíàëü. Äîêàçàòåëüñòâî. Î÷åâèäíî, åñëè n = 1. Äàëåå ïî èíäóêöèè. Åñëè ýòî íå òàê äëÿ äâîÿêîñòîõàñòè÷åñêîé ìàòðèöû A ïîðÿäêà n > 1, òî â ñèëó òåîðåìû Õîëëà â A ñóùåñòâóåò íóëåâàÿ p × q -ïîäìàòðèöà òàêàÿ, ÷òî p + q > n. Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ïîëàãàòü, ÷òî A èìååò âèä (∗). Ñóììà âñåõ ýëåìåíòîâ ìàòðèöû A11 ðàâíà q ⇒ ñóììà âñåõ ýëåìåíòîâ ìàòðèöû A12 ðàâíà íóëþ (ïî÷åìó?) ⇒ A12 = 0 ⇒ êàæäàÿ èç ìàòðèö A11 è A22 ÿâëÿåòñÿ äâîÿêîñòîõàñòè÷åñêîé. Ïåðåñòàíîâî÷íàÿ äèàãîíàëü äëÿ A ìîæåò áûòü ñîñòàâëåíà èç íåíóëåâûõ ïåðåñòàíîâî÷íûõ äèàãîíàëåé äëÿ A11 è A22 . 2 5.5
Íåíîðìàëüíîå îáîáùåíèå
 êîíöå 1980-õ ãîäîâ ïîëó÷åíî îáîáùåíèå òåîðåìû Âèëàíäòà Õî ìàíà íà ñëó÷àé ïðîèçâîëüíûõ äèàãîíàëèçóåìûõ ìàòðèö (íå îáÿçàòåëüíî íîðìàëüíûõ). (ÑàíÇõåíã) Ïóñòü A è B äèàãîíàëèçóåìû, à P è Q ñîîòâåòñòâóþùèå ìàòðèöû ñîáñòâåííûõ âåêòîðîâ. Òîãäà Òåîðåìà 5.5.1
ãäå
d2 (A, B) ≤ cond2 (P ) cond2 (Q) ||A − B||F , cond2 (P ) ≡ ||P −1 ||2 ||P ||2 ,
cond2 (Q) ≡ ||Q−1 ||2 ||Q||2 .
Äîêàçàòåëüñòâî.
||A − B||F = ||P DA P −1 − QDB Q−1||F = ||P {DA (P −1 Q) − (P −1 Q)DB }Q−1||F 1 ||DA Z − ZDB ||F , ãäå Z ≡ P −1 Q. ≥ −1 ||P ||2 ||Q||2
àññìîòðèì ñèíãóëÿðíîå ðàçëîæåíèå Z = V ΣU ∗ . Òîãäà
||DA Z − ZDB ||F = ||V {(V ∗DA V )Σ − Σ(U ∗DB U )}U ∗||F = ||MΣ − ΣN ||F , ãäå ìàòðèöû M = V ∗ DA V è N = U ∗ DB U , î÷åâèäíî, íîðìàëüíûå.  ñèëó òåîðåìû ÂèëàíäòàÕî ìàíà,
d2(A, B) = d2 (DA , DB ) ≤ ||M − N ||F . Ïîýòîìó äîñòàòî÷íî óáåäèòüñÿ â òîì, ÷òî
||MΣ − ΣN ||F ≥ σmin ||M − N ||F . Ïîëîæèì Ω = Σ − σmin I . Òîãäà
||MΣ − ΣN ||2F = ||(MΩ − ΩN ) + σmin (M − N )||2F 2 = ||MΩ − ΩN ||2F + σmin ||M − N ||2F + σmin tr ( (MΩ − ΩN )(M − N )∗ + (M − N )(MΩ − ΩN )∗ ) . Ñ èñïîëüçîâàíèåì íîðìàëüíîñòè M è N ïîñëåäíåå ñëàãàåìîå ïðåîáðàçóåòñÿ ê âèäó
σmin tr Ω ( (M − N )(M − N )∗ + (M − N )∗ (M − N ) ) ≥ 0. 2 5.6
Ñîáñòâåííûå çíà÷åíèÿ ýðìèòîâûõ ìàòðèö
(ÊóðàíòÔèøåð) Ïóñòü λ1 ≥ · · · ≥ λn ñîáñòâåííûå çíà÷åíèÿ ýðìèòîâîé ìàòðèöû A ïîðÿäêà n. Òîãäà
Òåîðåìà 5.6.1
x∗ A x = max min dim L = k x∈L x∗ x
λk
(5.6.1)
x6=0
è îäíîâðåìåííî
λk =
min
dim L = n−k+1
x∗ A x . max x∈L x∗ x
(5.6.2)
x6=0
Ïóñòü u1 , . . . , un îðòîíîðìèðîâàíííûå ñîáñòâåííûå âåêòîðû, îòâå÷àþùèå ñîîòâåòñòâåííî λ1 , . . . , λn . Åñëè Äîêàçàòåëüñòâî.
x =
k X i=1
ξi ui,
òî
x∗ A x ≥ λk . x∗ x
Ïîýòîìó ïðàâàÿ ÷àñòü (5.6.1) íå ìîæåò áûòü ìåíüøå λk (ïî÷åìó?). Òåïåðü âîçüìåì ïðîèçâîëüíîå k -ìåðíîå ïîäïðîñòðàíñòâî M . Ñóùåñòâóåò íåíóëåâîé âåêòîð (ïî÷åìó?) z ∈ M ∩ K, K ≡ span {uk , uk+1, . . . , un}, è äëÿ íåãî x∗ A x z∗ A z ≤ max ≤ λk . x∈K z∗ z x∗ x x6=0
Ïîýòîìó ïðàâàÿ ÷àñòü (5.6.1) íå ìîæåò áûòü áîëüøå λk . Ñîîòíîøåíèå (5.6.2) äîêàçûâàåòñÿ àíàëîãè÷íî. 2 5.7
Ñîîòíîøåíèÿ ðàçäåëåíèÿ
Ïóñòü A ýðìèòîâà ìàòðèöà ïîðÿäêà n, è B åå âåäóùàÿ ïîäìàòðèöà ïîðÿäêà n − 1. Òîãäà äëÿ ñîáñòâåííûõ çíà÷åíèé λ1 ≥ · · · ≥ λn ìàòðèöû A è ñîáñòâåííûõ çíà÷åíèé µ1 ≥ · · · ≥ µn−1 ìàòðèöû B âûïîëíÿþòñÿ ñëåäóþùèå ñîîòíîøåíèÿ ðàçäåëåíèÿ: Òåîðåìà 5.7.1
λk ≥ µk ≥ λk+1,
k = 1, . . . , n − 1.
(5.7.3)
Ïóñòü M ïîäïðîñòðàíñòâî âåêòîðîâ x ∈ Cn âèäà x∗Ax xˆ∗B xˆ xˆ x = , xˆ ∈ Cn−1 ⇒ = ∗ . 0 x∗ x xˆ xˆ
Äîêàçàòåëüñòâî.
Ñîãëàñíî (5.6.1) è (5.6.2),
µk
x∗ A x ≤ = max min dim L = k x∈L x∗ x L⊂M
µk =
min
dim L = (n−1)−k+1
L⊂M
x6=0
x∗ A x max ≥ x∈L x∗ x x6=0
x∗ A x max min = λk . dim L = k x∈L x∗ x x6=0
min
dim L = n−(k+1)+1
x∗ A x max = λk+1. 2 x∈L x∗ x x6=0
Ïóñòü A è B ýðìèòîâû ìàòðèöû ïîðÿäêà n ñ ñîáñòâåííûìè çíà÷åíèÿìè λ1 ≥ ... ≥ λn è µ1 ≥ ... ≥ µn . Òîãäà åñëè Òåîðåìà 5.7.2
B = A + εpp∗,
ε > 0,
p ∈ Cn , ||p||2 = 1,
(5.7.4)
òî âûïîëíÿþòñÿ ñîîòíîøåíèÿ ðàçäåëåíèÿ
µ1 ≥ λ1 ≥ µ2 ≥ ... ≥ λn−1 ≥ µn ≥ λn è ïðè ýòîì
µk = λk + tk ε, tk ≥ 0,
k = 1, ..., n;
t1 + ... + tn = 1.
(5.7.5)
Äîêàçàòåëüñòâî.
Ïî òåîðåìå 5.6.1,
x∗Bx x∗Ax λk = max min ∗ ≤ max min ∗ = µk . dim L=k x∈L x x dim L=k x∈L x x x6=0
x6=0
Ïðè k ≥ 2 íàõîäèì
µk
x∗Bx x∗Ax ≤ max min = max min ∗ dim L=k x∈L,x⊥p x∗ x dim L=k x∈L,x⊥p x x x6=0
≤
max
dim L=k−1
x6=0
min x∈L
x6=0
∗
x Ax = λk−1 . x∗ x
ßñíî, ÷òî µ1 ≤ λ1 + ε (ïî÷åìó?). Ïîýòîìó âîçìîæíîñòü çàïèñè
µk = λk + tk ε,
0 ≤ tk ≤ 1,
1 ≤ k ≤ n,
î÷åâèäíà. Ñëîæèâ ýòè ðàâåíñòâà ïðè âñåõ k , ïîëó÷èì
tr B = tr A + ε(t1 + ... + tn ). Â òî æå âðåìÿ èç (5.7.4) âûòåêàåò, ÷òî
tr B = tr A + ε 5.8
⇒
t1 + ... + tn = 1.
2
×òî òàêîå êëàñòåðû?
àññìîòðèì ïîñëåäîâàòåëüíîñòü íàáîðîâ (êîìïëåêñíûõ) ÷èñåë
z11 ;
z12 , z22;
z13, z23, z33;
... .
Êëàñòåð ýòî ìíîæåñòâî M íà êîìïëåêñíîé ïëîñêîñòè, ïðèòÿãèâàþùåå ê ñåáå ïî÷òè âñå ÷èñëà n-ãî íàáîðà ïðè n → ∞. ×òîáû äàòü ñòðîãîå îïðåäåëåíèå, îáîçíà÷èì ÷åðåç γn (ε), ε > 0, ÷èñëî εóäàëåííûõ ýëåìåíòîâ n-ãî íàáîðà îòñòîÿùèõ îò ëþáîãî ýëåìåíòà M íà ðàññòîÿíèå áîëüøå, ÷åì ε. Ìíîæåñòâî M íàçûâàåòñÿ (îáùèì) êëàñòåðîì äëÿ zin , åñëè γn(ε) = 0 ∀ ε > 0, lim n→∞ n è ñîáñòâåííûì (èëè ñèëüíûì) êëàñòåðîì, åñëè ñóùåñòâóåò óíêöèÿ c(ε) òàêàÿ, ÷òî γn(ε) ≤ c(ε) ∀ n, ∀ ε > 0.  ïðèëîæåíèÿõ ÷àñòî âîçíèêàþò ïîñëåäîâàòåëüíîñòè ìàòðèö An ∈ C , ïîðîæäåííûå êàêèì-òî îáùèì ïðîöåññîì (íàïðèìåð, äèñêðåòèçàöèè n×n
ëèíåéíîãî îïåðàòîðà íà ïîñëåäîâàòåëüíîñòè âñå áîëåå ìåëêèõ ñåòîê).  ýòèõ ñëó÷àÿõ ïîëåçíî çíàòü, êàêèå êëàñòåðû èìåþòñÿ ó ñîîòâåòñòâóþùèõ èì íàáîðîâ ñèíãóëÿðíûõ ÷èñåë An èëè íàáîðîâ ñîáñòâåííûõ çíà÷åíèé An . Îñîáûé èíòåðåñ ïðåäñòàâëÿþò êëàñòåðû, ñîñòîÿùèå èç îäíîé èëè íåñêîëüêèõ òî÷åê. 5.9
Êëàñòåðû ñèíãóëÿðíûõ ÷èñåë
×òîáû äîêàçàòü ñóùåñòâîâàíèå êëàñòåðà ñèíãóëÿðíûõ ÷èñåë äëÿ êàêîé-òî ïîñëåäîâàòåëüíîñòè ìàòðèö, äîñòàòî÷íî íàéòè áëèçêóþ ïîñëåäîâàòåëüíîñòü, äëÿ êîòîðîé íàëè÷èå êëàñòåðà î÷åâèäíî.  äàííîì ñëó÷àå ïîíÿòèå áëèçîñòè ìîæåò ïîíèìàòüñÿ â âåñüìà øèðîêîì ñìûñëå. 1 Òåîðåìà 5.9.1
÷òî
Ïóñòü äàíû ïîñëåäîâàòåëüíîñòè ìàòðèö An è Bn òàêèå,
||An − Bn ||2F = o(n)
(5.9.6)
rank(An − Bn ) = o(n).
(5.9.7)
èëè
 ëþáîì èç äâóõ ñëó÷àåâ âñÿêèé êëàñòåð ñèíãóëÿðíûõ ÷èñåë An ÿâëÿåòñÿ êëàñòåðîì ñèíãóëÿðíûõ ÷èñåë Bn. Ïóñòü σ1 (An ) ≥ ... ≥ σn (An) è σ1 (Bn) ≥ ... ≥ σ(Bn ) ñèíãóëÿðíûå ÷èñëà ìàòðèö An è Bn . Ñíà÷àëà ðàññìîòðèì ñëó÷àé (21.8.9). Íåòðóäíî ïðîâåðèòü, ÷òî ±σi(An) è ±σi(Bn ) áóäóò ñîáñòâåííûìè çíà÷åíèÿìè ýðìèòîâûõ ìàòðèö 0 B 0 A n n en = en = . , B A Bn∗ 0 A∗n 0
Äîêàçàòåëüñòâî.
Ïðèìåíÿÿ òåîðåìó ÂèëàíäòàÕî ìàíà ê ýðìèòîâûì ìàòðèöàì (â íàøåì en è B en ), ìîæíî èñïîëüçîâàòü åñòåñòâåííîå óïîðÿäî÷åíèå ñîáñòñëó÷àå ê A âåííûõ çíà÷åíèé (äîêàæèòå!) ⇒ n X k=1
(σk (An) − σk (Bn))2 ≤ ||An − Bn ||2F .
Âîçüìåì ïðîèçâîëüíîå δ > 0 è îáîçíà÷èì ÷åðåç αn (δ) ÷èñëî íîìåðîâ k ∈ {1, ..., n}, äëÿ êîòîðûõ |σk (An) − σk (Bn )| ≥ δ . Òîãäà, â ñèëó (21.8.9),
αn (δ)δ 2 = o(n)
⇒
αn (δ) = o(n).
1 E. E. Tyrtyshnikov, A unifying approa h to some old and new theorems on distribution and lustering,
Linear Algebra Appl.
323 (1996), 143.
Ïóñòü M ⊂ C êëàñòåð ñèíãóëÿðíûõ ÷èñåë An . Îïðåäåëèì äëÿ íåãî γnA (ε) è γnB (ε) êîëè÷åñòâà ε-óäàëåííûõ ýëåìåíòîâ ñðåäè ñèíãóëÿðíûõ ÷èñåë ìàòðèö An è Bn . Âûáåðåì δ = ε/2, òîãäà
γnB (ε) ≤ γnA(δ) + αn (δ). Ïðàâàÿ ÷àñòü åñòü o(n) ⇒ γnB (ε) = o(n). Ïåðåéäåì ê ñëó÷àþ (21.8.10). Çàìåòèì, ÷òî σi(An ) è σi(Bn ) ýòî êâàäðàòíûå êîðíè èç ñîáñòâåííûõ çíà÷åíèé ýðìèòîâûõ ìàòðèö A∗n An è Bn∗ Bn . Ïðè ýòîì rank(A∗nAn − Bn∗ Bn ) = o(n) (ïî÷åìó?). Áåç ïîòåðè îáùíîñòè ìîæíî ñ÷èòàòü, ÷òî An è Bn ýðìèòîâû. Êðîìå òîãî, Bn ïîëó÷àåòñÿ èç An ïóòåì ïðèáàâëåíèÿ è âû÷èòàíèÿ ýðìèòîâûõ ìàòðèö ðàíãà 1 â êîëè÷åñòâå m = rank(An − Bn). Ïðèìåíÿÿ m ðàç ñîîòíîøåíèÿ ðàçäåëåíèÿ òåîðåìû 5.7.2, ïîëó÷àåì
γnB (ε) ≤ γnA(ε) + rank(An − Bn). 5.10
2
Êëàñòåðû ñîáñòâåííûõ çíà÷åíèé
Ïðè èçó÷åíèè êëàñòåðîâ ñîáñòâåííûõ çíà÷åíèé ñâîáîäà â îïðåäåëåíèè áëèçêèõ ïîñëåäîâàòåëüíîñòåé ìàòðèö An è Bn ñóùåñòâåííî óìåíüøàåòñÿ.
Ïðåäïîëîæèì, ÷òî äëÿ ëþáîãî n ìàòðèöû An è Bn ïîðÿäêà n äèàãîíàëèçóåìû ñ ïîìîùüþ ìàòðèö ñîáñòâåííûõ âåêòîðîâ Pn è Qn , ñîîòâåòñòâåííî. Òîãäà åñëè Òåîðåìà 5.10.1
cond22 Pn cond22 Qn ||An − Bn ||2F = o(n), òî âñÿêèé êëàñòåð ñîáñòâåííûõ çíà÷åíèé An ÿâëÿåòñÿ êëàñòåðîì ñîáñòâåííûõ çíà÷åíèé Bn . Îáðàòèâøèñü ê íåíîðìàëüíîìó îáîáùåíèþ òåîðåìû ÂèëàíäòàÕî ìàíà, ìû ïî÷òè äîñëîâíî ìîæåì ïîâòîðèòü ðàññóæäåíèÿ òåîðåìû 5.9.1. 2 Ïóñòü M = {0} êëàñòåð ñîñòîèò èç îäíîé òî÷êè 0. Åñëè ñèíãóëÿðíûå ÷èñëà êëàñòåðèçóþòñÿ â òî÷êå 0, òî ïðè âåñüìà ñëàáûõ ïðåäïîëîæåíèÿõ òî æå âåðíî è äëÿ ñîáñòâåííûõ çíà÷åíèé. 2 Ïóñòü An èìååò ñèíãóëÿðíûå ÷èñëà σ1 (An) ≥ ... ≥ σn (An) è ñîáñòâåííûå çíà÷åíèÿ λi (An ), óïîðÿäî÷åííûå ïî íåâîçðàñòàíèþ ìîäóëÿ: |λ1 (An )| ≥
Äîêàçàòåëüñòâî.
2 E. E. Tyrtyshnikov, N. L. Zamarashkin, On eigen and singular lusters,
Cal olo,
33 (1997), 7178.
... ≥ |λn (An )|. Èñïîëüçóÿ òåîðåìó Øóðà è ñîîòíîøåíèÿ ðàçäåëåíèÿ, ìîæíî ïîëó÷èòü ñëåäóþùèå íåðàâåíñòâà Âåéëÿ: l Y i=1
|λi (An )| ≤
l Y i=1
σi(An),
1 ≤ l ≤ n.
Òåïåðü ïðåäïîëîæèì, ÷òî íóëü ÿâëÿåòñÿ êëàñòåðîì ñèíãóëÿðíûõ ÷èñåë An . Îïðåäåëèì íîìåðà k = k(δ, n) è m = m(ε, n) ñ ïîìîùüþ íåðàâåíñòâ
σk (An ) ≥ δ > σk+1(An) è |λm (An)| ≥ ε > |λm+1(An )|.
Åñëè êëàñòåð ñîáñòâåííûé (ñèëüíûé), òî k(δ) ≤ c(δ) ∀ n. Ôèêñèðóåì ïðîèçâîëüíîå ε > 0. Äîïóñòèì, ÷òî m(ε, n) → ∞ ïðè n → ∞. Òîãäà äëÿ ëþáîãî èêñèðîâàííîãî δ > 0 ïðè âñåõ ëîñòàòî÷íî áîëüøèõ n èìååì m(ε, n) > k(δ, n). Âñëåäñòâèå íåðàâåíñòâ Âåéëÿ ε m ||A || k n 2 εm ≤ ||An ||k2 δ m−k ⇒ ≤ . (∗) δ δ
Âûáðàâ, íàïðèìåð, δ = ε/2, ïðèõîäèì ê âûâîäó î òîì, ÷òî ||An ||2 → ∞. Î÷åâèäíàÿ ìîäè èêàöèÿ íàøåãî ðàññóæäåíèÿ äîêàçûâàåò, ÷òî íåîãðàíè÷åííîñòü ïîñëåäîâàòåëüíîñòè m(ε, n) âëå÷åò çà ñîáîé íåîãðàíè÷åííîñòü íîðìû ||An ||2 . Òàêèì îáðàçîì, äîêàçàíà
Åñëè ñïåêòðàëüíûå íîðìû An ðàâíîìåðíî îãðàíè÷åíû ïî n è ñèíãóëÿðíûå ÷èñëà An èìåþò ñîáñòâåííûé êëàñòåð â íóëå, òî ñîáñòâåííûå çíà÷åíèÿ An òàêæå èìåþò ñîáñòâåííûé êëàñòåð â íóëå. Òåîðåìà 5.10.2
Çàìåòèì òàêæå, ÷òî èç (∗) ñëåäóåò, ÷òî ε m/n ||A || k/n n 2 . ≤ δ δ
 ñëó÷àå îáùåãî êëàñòåðà â íóëå äëÿ σi(An) èìååì k(δ, n)/n → 0. Ïîýòîìó åñëè m(ε, n)/n 6→ 0, òî ëåâóþ ÷àñòü ìîæíî ñäåëàòü ñêîëü óãîäíî áîëüøîé çà ñ÷åò âûáîðà äîñòàòî÷íî ìàëîãî δ > 0 ⇒ ïðàâàÿ ÷àñòü íå ìîæåò áûòü ðàâíîìåðíî îãðàíè÷åííîé ïðè âñåõ n è âñåõ äîñòàòî÷íî ìàëûõ δ > 0. Çíà÷èò, ñïðàâåäëèâà
Ïðåäïîëîæèì, ÷òî ñèíãóëÿðíûå ÷èñëà An èìåþò êëàñòåð â íóëå ñ ÷èñëîì δ -óäàëåííûõ ýëåìåíòîâ k(δ, n) è äëÿ íåêîòîðîãî c > 0 n | ln ||An ||2 | ≤ c k(δ, n)
Òåîðåìà 5.10.3
ïðè âñåõ n è äîñòàòî÷íî ìàëûõ δ > 0. Òîãäà ñîáñòâåííûå çíà÷åíèÿ An òàêæå èìåþò êëàñòåð â íóëå.
Çàäà÷è
1. Èçâåñòíî ñèíãóëÿðíîå ðàçëîæåíèå ìàòðèöû A = V ΣU ∗ . Íàéäèòå áàçèñ èç ñîáñòâåííûõ âåêòîðîâ è ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû h i 0 A e A = A∗ 0 . 2. Ïóñòü ýðìèòîâû n × n-ìàòðèöû A è B èìåþò ñîáñòâåííûå çíà÷åíèÿ n P λ1 ≥ · · · ≥ λn è µ1 ≥ · · · ≥ µn . Äîêàæèòå, ÷òî |λi −µi |2 ≤ kA−Bk2F . i=1
3. Ïóñòü n × n-ìàòðèöû A è B èìåþò ñèíãóëÿðíûå ÷èñëà λ1 ≥ · · · ≥ λn n P è µ1 ≥ · · · ≥ µn . Äîêàæèòå, ÷òî |λi − µi |2 ≤ kA − Bk2F . i=1
4. Äàíà ýðìèòîâà ìàòðèöà A ∈ Cn×n è B = P ∗ AP , ãäå ìàòðèöà P ∈ Ck×n èìååò îðòîíîðìèðîâàííûå ñòîëáöû. Äîêàçàòü, ÷òî
λn−k+1(A) + ... + λn (A) ≤ tr B ≤ λ1 (A) + ... + λk (A). 5. Ïóñòü A ïðîèçâîëüíàÿ ìàòðèöà ïîðÿäêà n. Äîêàæèòå íåðàâåíñòâà Âåéëÿ l l Y Y |λi (An)| ≤ σi(An), 1 ≤ l ≤ n. i=1
i=1
6. Äîêàæèòå, ÷òî äëÿ ëþáîé n × n-ìàòðèöû l X i=1
2
|λi (An)| ≤
l X i=1
σi(An)2, 1 ≤ l ≤ n.
7. Ïðèâåäèòå ïðèìåð ïîñëåäîâàòåëüíîñòè ìàòðèö, äëÿ êîòîðûõ ñîáñòâåííûå çíà÷åíèÿ èìåþò êëàñòåð â íåêîòîðîé òî÷êå, íî íè îäíà òî÷êà íå ÿâëÿåòñÿ êëàñòåðîì äëÿ ñèíãóëÿðíûõ ÷èñåë. 8. Ïðèâåäèòå ïðèìåð ïîñëåäîâàòåëüíîñòè ìàòðèö, äëÿ êîòîðûõ ñèíãóëÿðíûå ÷èñëà èìåþò êëàñòåð â íóëå, à ñîáñòâåííûå çíà÷åíèÿ íå èìåþò. 9. Äàíû ïîñëåäîâàòåëüíîñòè ýðìèòîâûõ ìàòðèö ïîðÿäêà n = 1, 2, ... âèäà 2 1
An =
1 2
..
1
.
..
1
.
..
2 1
.
1 2
2 c n
, Bn =
cn
cn 2
cn
..
..
.
cn
.
cn
..
.
2 cn
cn 2
, cn = n − 1 . n
Äîêàæèòå, ÷òî ñîáñòâåííûå çíà÷åíèÿ ìàòðèö AnBn−1 èìåþò êëàñòåð â òî÷êå 1. Áóäåò ëè êëàñòåð ñîáñòâåííûì?
ëàâà 6
6.1
Ìàøèííûå ÷èñëà
Èìååòñÿ ëèøü êîíå÷íûé íàáîð ÷èñåë, ïðåäñòàâèìûõ â êîìïüþòåðå. Ýòî òàê íàçûâàåìûå ìàøèííûå ÷èñëà âèäà d1 d2 dt a=± + 2 + . . . + t · pα . p p p
Çäåñü p, α, d1, . . . , dt öåëûå ÷èñëà. ×èñëî p > 0 íàçûâàåòñÿ îñíîâàíèåì àðè ìåòèêè. ×èñëî â ñêîáêàõ íàçûâàåòñÿ ìàíòèññîé, à ÷èñëî α ïîðÿäêîì ìàøèííîãî ÷èñëà a. ×èñëà di ∈ {0, 1, . . . , p−1} íàçûâàþòñÿ ðàçðÿäàìè, à t äëèíîé ìàíòèññû. Îáû÷íî ñ÷èòàþò, ÷òî d1 6= 0. Êðîìå òîãî, èìåþòñÿ öåëûå L è U , çàäàþùèå ãðàíèöû äëÿ α: L ≤ α ≤ U . Îñîáûì ìàøèííûì ÷èñëîì ÿâëÿåòñÿ a = 0. Òàêèì îáðàçîì, ìíîæåñòâî ìàøèííûõ ÷èñåë îïðåäåëÿåòñÿ ïàðàìåòðàìè p, t, L è U . 6.2
Àêñèîìû ìàøèííîé àðè ìåòèêè
Ïðè ââîäå ÷èñåë â êîìïüþòåð è ïðè âûïîëíåíèè îïåðàöèé ñ ìàøèííûìè ÷èñëàìè îáû÷íî ïðîèñõîäèò îêðóãëåíèå ÷èñåë. Îêðóãëåíèå ýòî íåêîòîðîå îòîáðàæåíèå âåùåñòâåííûõ ÷èñåë â ìíîæåñòâî ìàøèííûõ ÷èñåë. Åñëè x âåùåñòâåííîå ÷èñëî è f l(x) ðåçóëüòàò îòîáðàæåíèÿ, òî èìååò ìåñòî àêñèîìà f l(x) = x(1 + ε), (6.2.1) ãäå â ñëó÷àå f l(x) 6= 0 |ε| ≤ η . Áóäåì ñ÷èòàòü, ÷òî η åñòü òî÷íàÿ âåðõíÿÿ ãðàíü äëÿ |ε|. Ïðè øêîëüíîì ïðàâèëå îêðóãëåíèÿ (äîêàæèòå!)
1 η = p1−t. (6.2.2) 2 Îáû÷íî ðåçóëüòàò îïåðàöèè ∗ ñ ìàøèííûìè ÷èñëàìè a è b îáîçíà÷àåòñÿ ÷åðåç f l(a ∗ b). Ïðè ýòîì ïðåäïîëàãàåòñÿ, ÷òî åñëè f l(a ∗ b) 6= 0, òî f l(a ∗ b) = a ∗ b(1 + ε), 53
|ε| ≤ η.
(6.2.3)
Ýòî ñîîòíîøåíèå ÿâëÿåòñÿ îñíîâíîé àêñèîìîé, ïîçâîëÿþùåé èçó÷àòü âëèÿíèå îøèáîê îêðóãëåíèÿ â àëãîðèòìàõ. Çàìåòèì, ÷òî îòíîñèòåëüíàÿ îøèáêà ε ìàëà òîëüêî â òîì ñëó÷àå, êîãäà ðåçóëüòàò îïåðàöèè íå ÿâëÿåòñÿ ìàøèííûì íóëåì! Èíîãäà îêðóãëåíèå ïðîèçâîäèòñÿ ïóòåì îòáðàñûâàíèÿ ëèøíèõ ðàçðÿäîâ.  ýòîì ñëó÷àå ðàâåíñòâî x = a ∗ b, âîîáùå ãîâîðÿ, íå âëå÷åò çà ñîáîé f l(a∗ b) = f l(x). Íàïðèìåð, ïóñòü p = 2, t = 2. Ïóñòü a = 0.11, b = 0.0001 è x = a− b = 0.1011.  äàííîì ñëó÷àå f l(x) = 0.10, îäíàêî f l(a− b) = 0.11 (â ñèëó òîãî, ÷òî äåéñòâèå ñ ÷èñëàìè â êîíå÷íîì ñëó÷àå ñâîäèòñÿ ê îïåðàöèè ñ t-ðàçðÿäíûìè ÷èñëàìè íà ñóììàòîðå). Ïðè îêðóãëåíèè îòáðàñûâàíèåì ðàçðÿäîâ η = p1−t. 6.3
Îøèáêè îêðóãëåíèÿ äëÿ ñêàëÿðíîãî ïðîèçâåäåíèÿ
Òî÷íûå ñîîòíîøåíèÿ ìåæäó ðåàëüíî âû÷èñëåííûìè âåëè÷èíàìè äîëæíû ñîäåðæàòü áîëüøîå ÷èñëî ðàçëè÷íûõ ε1 , ε2 , . . .. ×òîáû íå çàãðîìîæäàòü îðìóëû, áóäåì âñå ýòè ε1 , ε2 , . . . îáîçíà÷àòü îäíîé è òîé æå áóêâîé ε. Ïðèìåì òàêæå îáîçíà÷åíèå n
(1 + ε) ≡
n Y
(1 + εki ) .
i=1
Åñëè òàêèõ ñòåïåíåé íåñêîëüêî, òî εki â ðàçëîæåíèÿõ ñ÷èòàþòñÿ ðàçíûìè. Ïðè ïîëó÷åíèè íåðàâåíñòâ ýòî íå âûçûâàåò ïðîáëåì, òàê êàê ëþáîå ε óäîâëåòâîðÿåò (6.2.3) (åñëè íå âñòðåòèëñÿ ìàøèííûé íóëü). e åñòü ïîëó÷åííîå íà ìàøèíå ñêàëÿðíîå ïðîèçâåäåíèå Ïóñòü α
α = xT y,
x = [x1, . . . , xn]T ,
y = [y1 , . . . , yn]T ∈ Rn ,
âû÷èñëåííîå ïî ïðåäïèñàíèþ
α = 0; DO i = 1, n α = α + xiyi END DO Òîãäà ñîãëàñíî (6.2.3) íàõîäèì
α e=
n X i=1
xiyi (1 + ε)n+1−i.
(6.3.4)
6.4
Ïðÿìîé è îáðàòíûé àíàëèç
Ôîðìóëó (6.3.4) ìîæíî èíòåðïðåòèðîâàòü ïî-ðàçíîìó. Äåéñòâóÿ â äóõå ïðÿìîãî àíàëèçà, ìû ìîæåì îöåíèòü áëèçîñòü òî÷íîé è ðåàëüíî âû÷èñëåííîé âåëè÷èíû: |e α − α| ≤ nη|xT ||y| + O(η 2). (6.4.5) Çäåñü è îòíûíå ìû ïîëàãàåì, ÷òî åñëè A = [aij ], òî |A| = [ |aij | ]. Îáðàòíûé àíàëèç ïðåäëàãàåò ïðåäñòàâèòü ðåàëüíî âû÷èñëåííóþ âåëè÷èíó êàê ðåçóëüòàò òî÷íîãî âû÷èñëåíèÿ ñ âîçìóùåííûìè äàííûìè è äàòü îöåíêó ýòîãî (íàçûâàåìîãî ýêâèâàëåíòíûì ) âîçìóùåíèÿ:
α e=x eT ye, |˜ x − x| ≤ 12 nη|x| + O(η 2),
|˜ y − y| ≤ 21 nη|y| + O(η 2 ).
(6.4.6)
Î÷åâèäíî, â äàííîì ïðèìåðå âîçìîæíû âàðèàíòû ïðè ðàñïðåäåëåíèè âîçìóùåíèé ìåæäó x è y . 6.5
Íåìíîãî èëîñî èè
Ïðè àíàëèçå îøèáîê îêðóãëåíèÿ òèïè÷íûì ÿâëÿåòñÿ íåâíèìàíèå ê ÷ëåíàì ïîðÿäêà O(η 2 ). Êàê ïîä÷åðêèâàë êëàññèê ýòîé îáëàñòè Äæ. Õ. Óèëêèíñîí, ãëàâíîå â òàêîãî ðîäà àíàëèçå ýòî íå òî÷íûå íåðàâåíñòâà, à îáíàðóæåíèå (è óñòðàíåíèå) âîçìîæíûõ óçêèõ ìåñò â àëãîðèòìå. Íåïðàâèëüíî äóìàòü, ÷òî áîëüøàÿ ïîãðåøíîñòü â ðåøåíèè çàäà÷è åñòü ñëåäñòâèå áîëüøîãî ÷èñëà îïåðàöèé (è çíà÷èò, áîëüøîãî ÷èñëà îøèáîê îêðóãëåíèÿ). ×àùå âñåãî âñå ïîðòèò êàêàÿ-òî îäíà îïåðàöèÿ. 6.6
Ïðèìåð ïëîõîé îïåðàöèè
Ïëîõóþ ðåïóòàöèþ èìååò îïåðàöèÿ âû÷èòàíèÿ áëèçêèõ ÷èñåë îäíîãî çíàêà. Ýòà îïåðàöèÿ ñàìà ïî ñåáå íå õóæå îñòàëüíûõ, òî åñòü åå ñîáñòâåííàÿ îøèáêà îêðóãëåíèÿ åñòü âåëè÷èíà ïîðÿäêà η . Íî ýòà îïåðàöèÿ ìîæåò êàòàñòðî è÷åñêè óñèëèòü ðàíåå èìåâøèåñÿ ïîãðåøíîñòè. Èìåííî, ïóñòü e a ≈ a, eb ≈ b. Òîãäà ãäå
f l(e a − eb) = (e a − eb)(1 + ε) = (a − b)(1 + ε + δ), δ=
(e a − a) − (eb − b) a−b
!
(1 + ε).
Î÷åâèäíî, δ ìîæåò îêàçàòüñÿ î÷åíü áîëüøèì.
6.7
Åùå îäèí ïðèìåð
Ïðè âû÷èñëåíèè ñîáñòâåííûõ âåêòîðîâ áëî÷íî òðåóãîëüíîé ìàòðèöû ñ áëîêàìè 2 × 2 ïî íåêîòîðîé ïðîãðàììå îáíàðóæèëîñü, ÷òî â òî÷íîñòè îäèí ñîáñòâåííûé âåêòîð èìååò íåâÿçêó, ïðåâûøàþùóþ íà 3 ïîðÿäêà íåâÿçêè äëÿ äðóãèõ âåêòîðîâ.  äàííîì ñëó÷àå óçêèì ìåñòîì îêàçàëîñü ðåøåíèå îäíîðîäíîé ñèñòåìû ñ äâóìÿ óðàâíåíèÿìè è íåèçâåñòíûìè:
a1 x1 + a2 x2 = 0,
b1x1 + b2x2 = 0,
||x||∞ = 1.
Ïóñòü âåêòîðû a = [a1 , a2 ]T è b = [b1 , b2 ]T íåíóëåâûå è ïðèáëèæåííî êîëëèíåàðíû; ïîëîæèì |a1 b2 − a2 b1 | = δ . Ìîæíî âçÿòü
x1 = −a2 /kak∞ ,
x2 = a1 /kak∞.
(∗)
Òîãäà ïîëó÷àåì íåâÿçêó
r1 ≡ |a1 x˜1 + a2 x˜2| ≤ 2ηkak∞, r2 ≡ |b1 x˜1 + b2 x˜2| ≤
δ + 2ηkbk∞. kak∞
(6.7.7)
Ìîæíî ïîñòóïèòü èíà÷å:
x1 = −b2 /kbk∞, Òîãäà
x2 = b1/kbk∞.
δ + 2ηkak∞ , kbk∞ r2 ≤ 2ηkbk∞.
r1 ≤
(∗∗)
(6.7.8)
Îöåíêè (6.7.7) è (6.7.8) îòëè÷àþòñÿ âõîæäåíèåì ÷ëåíà δ/kak∞ ëèáî δ/kbk∞. Åñëè âåëè÷èíà kbk∞ ïðåâûøàåò kak∞ íà 3 ïîðÿäêà, òî íåâÿçêà â ïåðâîì ñïîñîáå, âîîáùå ãîâîðÿ, ìîæåò áûòü áîëüøå íà 3 ïîðÿäêà. Î÷åâèäíûì îáðàçîì âîçíèêàåò ðåêîìåíäàöèÿ: åñëè kak∞ ≥ kbk∞ , òî èñïîëüçîâàòü (∗); â ïðîòèâíîì ñëó÷àå èñïîëüçîâàòü (∗∗). 6.8
Èäåàëüíûå è ìàøèííûå òåñòû
Îáû÷íî àëãîðèòìû òåñòèðóþò: ñðàâíèâàþò âû÷èñëåííûé îòâåò ñ çàðàíåå èçâåñòíûì òî÷íûì îòâåòîì. Íåçàäà÷ëèâûå âû÷èñëèòåëè èíîãäà íå çàìå÷àþò ðàçíèöû ìåæäó èäåàëüíûìè è ìàøèííûìè òåñòàìè è èç-çà ýòîãî äåëàþò íåâåðíûå âûâîäû.
Íàïðèìåð, ïðîãðàììà, ðåøàþùàÿ ëèíåéíûå ñèñòåìû ïî ìåòîäó àóññà, îïðîáûâàëàñü íà òåñòå Ax = b ñ ìàòðèöåé èëüáåðòà n 1 A= i + j − 1 ij=1 è ðåøåíèåì x = [1, . . . , 1]⊤. Ïðàâàÿ ÷àñòü äëÿ òåñòà âû÷èñëÿëàñü óìíîæåíèåì ìàòðèöû A íà âåêòîð x. Îêàçàëîñü, ÷òî ïðè n = 10 äëÿ âû÷èñëåííîãî ðåøåíèÿ x ˜ (â ðåæèìå REAL*8 íà Ôîðòðàíå)
||˜ x − x||∞ ≈ 0.9 · 102 . Íî íå ñïåøèòå ãîâîðèòü, ÷òî àëãîðèòì âûäàë ïëîõîå ðåøåíèå.  äåéñòâèòåëüíîñòè âìåñòî òî÷íûõ A è b ìàøèíà ïîëó÷èëà áëèçêèå, íî äðóãèå Aˆ è ˆb, òî åñòü ìàøèííûé òåñò îòëè÷àåòñÿ îò èäåàëüíîãî òåñòà. Ìàòðèöà èëüáåðòà ïëîõî îáóñëîâëåíà; ïîýòîìó òî÷íîå ðåøåíèå x ˆ äëÿ ìàøèííîãî òåñòà áóäåò ñèëüíî îòëè÷àòüñÿ îò x:
xˆ ≈
1.042595644 0.459944616 1.284169655 2.772926997 2.217756963 3.252956378 − 5.410267887 −46.120499977 93.504857996 −43.063313904
.
À ýòî çíà÷èò, ÷òî âû÷èñëåííîå ðåøåíèå x ˜ íóæíî ñðàâíèâàòü ñ xˆ, à íå ñ x! Ïðè ýòîì îòíîñèòåëüíàÿ îøèáêà â êîìïîíåíòàõ ðåøåíèÿ íå ïðåâûøàåò 10−8. 6.9
Ââåðõ èëè âíèç
àññìîòðèì ïðèìåð íåóñòîé÷èâîãî àëãîðèòìà, ñâÿçàííîãî ñ âû÷èñëåíèåì èíòåãðàëîâ 1 Z1 an = xn ex−1 dx, n = 0, 1, ... . 0
Èíòåãðèðóÿ ïî ÷àñòÿì, ïîëó÷àåì ïðîñòîå ðåêóððåíòíîå ñîîòíîøåíèå. åàëèçóÿ åãî ñíèçó ââåðõ, ïîëó÷àåì ñëåäóþùèé àëãîðèòì:
a0 = 1/e,
an = 1 − n an−1,
1 Ïðèìåð èç êíèãè: Äæ.Ôîðñàéò, Ì.Ìàëüêîëüì, Ê.Ìîóëåð,
âû÷èñëåíèé, Ìèð, 1980.
n = 1, 2, ... .
(∗)
Ìàøèííûå ìåòîäû ìàòåìàòè÷åñêèõ
Ïðîïóñòèòå ýòîò àëãîðèòì íà ñâîåì êîìïüþòåðå. Íåñìîòðÿ íà òî, ÷òî äîëæíî áûòü (ïðîâåðüòå!)
0 < an
j, i = j, i < j.
Òîãäà
bi −
x˜i =
i−1 X
˜lij x˜j
j=1
!
/ ˜lii,
òî åñòü x ˜i åñòü êîìïîíåíòà òî÷íîãî ðåøåíèÿhäëÿ iñèñòåìû ñ òîé æå ïðàâîé ˜ = ˜lij . Áëèçîñòü L ˜ è L ëåãêî ÷àñòüþ, íî ñ âîçìóùåííîé ìàòðèöåé L îöåíèâàåòñÿ: i > j, |lij | (i − j)η + O(η 2), ˜ 2 |lii| 2η + O(η ), i = j, (6.10.9) lij − lij ≤ 0, i < j. Òàêèì îáðàçîì, ñïðàâåäëèâà ñëåäóþùàÿ
Äëÿ àëãîðèòìà ïðÿìîé ïîäñòàíîâêè ðåàëüíî âû÷èñëåííîå ðåøåíèå x ˜ ñèñòåìû Lx = b óäîâëåòâîðÿåò âîçìóùåííîé ñèñòåìå ˜ x = b, ãäå L ˜ íèæíÿÿ òðåóãîëüíàÿ ìàòðèöà òàêàÿ, ÷òî L˜ ˜ (6.10.10) L − L ≤ nη|L| + O(η 2 ).
Òåîðåìà 6.10.1
Íåðàâåíñòâî 6.10.10 ïðåäñòàâëÿåò ñîáîé êîìïàêòíóþ, íî îãðóáëåííóþ çàïèñü íåðàâåíñòâ 6.10.9. Ïîëó÷åííûé ðåçóëüòàò ýòî ïðàêòè÷åñêè èäåàë òîãî, ÷òî ñëåäóåò îæèäàòü îò àëãîðèòìà ñ òî÷êè çðåíèÿ îáðàòíîãî àíàëèçà îøèáîê îêðóãëåíèÿ. Àíàëîãè÷íûé ðåçóëüòàò èìååò ìåñòî è äëÿ ìåòîäà îáðàòíîé ïîäñòàíîâêè äëÿ ðåøåíèÿ ñèñòåì ñ âåðõíåé òðåóãîëüíîé ìàòðèöåé. Çàäà÷è
1. Âåðíî ëè, ÷òî âñåãäà f l( a+b 2 ) ∈ [a, b]?
2. ×òîáû íàéòè ex ïðè x = −13, íåêòî ñóììèðóåò ðÿä
x2 x3 e = 1+x+ + + ... 2! 3! è ïîëó÷àåò ÷óäîâèùíî áîëüøóþ ïîãðåøíîñòü. Ïî÷åìó? ×òî äåëàòü? x
3. Èçâåñòíî, ÷òî îáðàòíàÿ ïîäñòàíîâêà âñåãäà äàåò ìàëóþ íåâÿçêó. Ïî÷åìó? Íàïèøèòå ïðîãðàììó äëÿ îáðàòíîé ïîäñòàíîâêè è ðåøèòå ñèñòåìó
1 2 1
x1
2
..
.
..
1
.
2 1
n×n
. . .
xn
1
=
. . .
1 1/3
ïðè n = 50. Ìàëà ëè íåâÿçêà? Êàêóþ òî÷íîñòü èìååò ðåøåíèå?
4. Ïðèäóìàéòå àëãîðèòì ñóììèðîâàíèÿ n ÷èñåë, äëÿ êîòîðîãî
f l(a1 + · · · + an ) = a ˜1 + · · · + a ˜n , ãäå
|˜ai − ai | ≤ η log2 n|ai | + O(η 2 ).
ëàâà 7
7.1
Ïðÿìûå ìåòîäû äëÿ ëèíåéíûõ ñèñòåì
Ìû ñòðîèì àëãîðèòìû, èñõîäÿ èç êàêîãî-òî íàáîðà ýëåìåíòàðíûõ îïåðàöèé. Åñëè äëÿ ðåøåíèÿ çàäà÷è òðåáóåòñÿ êîíå÷íîå ÷èñëî ýëåìåíòàðíûõ îïåðàöèé (â òî÷íîé àðè ìåòèêå), òî ñîîòâåòñòâóþùèé ìåòîä íàçûâàþò ïðÿìûì. Íå äëÿ êàæäîé çàäà÷è ìîæíî ïðèäóìàòü ïðÿìîé ìåòîä. Íàïðèìåð, ñ ïîìîùüþ êîíå÷íîãî ÷èñëà àðè ìåòè÷åñêèõ îïåðàöèé íåëüçÿ ðåøèòü óðàâíåíèå x2 = 2. Åñëè èçâëå÷åíèå êîðíÿ ñ÷èòàòü ýëåìåíòàðíîé îïåðàöèåé, òî ïðÿìîé ìåòîä óæå ñóùåñòâóåò. Íî ìû çíàåì (áëàãîäàðÿ àëóà, Àáåëþ è ó èíè), ÷òî è â ýòîì ñëó÷àå íåâîçìîæíî ïîñòðîèòü ïðÿìîé ìåòîä íàõîæäåíèÿ êîðíåé ïðîèçâîëüíîãî ïîëèíîìà ñòåïåíè 5 è âûøå. Ïîýòîìó íå ñòîèò ïûòàòüñÿ ïðèäóìûâàòü ïðÿìîé ìåòîä âû÷èñëåíèÿ ñîáñòâåííûõ çíà÷åíèé äëÿ ïðîèçâîëüíîé ìàòðèöû (ïî÷åìó?). Äëÿ ëèíåéíûõ ñèñòåì ïðÿìûå ìåòîäû ñóùåñòâóþò.  êà÷åñòâå ýëåìåíòàðíûõ îïåðàöèé ðàññìàòðèâàþòñÿ àðè ìåòè÷åñêèå îïåðàöèè; èíîãäà ê íèì äîáàâëÿåòñÿ îïåðàöèÿ èçâëå÷åíèÿ êâàäðàòíîãî êîðíÿ. Êëàññè÷åñêèå ïðÿìûå ìåòîäû äëÿ ïëîòíûõ ìàòðèö (òî åñòü ìàòðèö áåç êàêîé-ëèáî ñïåöè èêè) ýòî, ïðåæäå âñåãî, ìåòîä àóññà è ìåòîäû, ïîëó÷àþùèå íóëè ñ ïîìîùüþ ïðåîáðàçîâàíèé âðàùåíèÿ èëè îòðàæåíèÿ. Ýòè ìåòîäû ñâÿçàíû ñ ïîëó÷åíèåì LU -ðàçëîæåíèÿ è QR-ðàçëîæåíèÿ äëÿ ìàòðèöû êîý èöèåíòîâ. 7.2
Òåîðèÿ
LU -ðàçëîæåíèÿ
Ìàòðèöà A íàçûâàåòñÿ ñòðîãî ðåãóëÿðíîé, åñëè âñå åå âåäóùèå ïîäìàòðèöû (â òîì ÷èñëå è A) íåâûðîæäåííûå. Ïîä LU -ðàçëîæåíèåì ìàòðèöû A ïîíèìàåòñÿ ðàâåíñòâî A = LU , ãäå ìàòðèöà L íèæíÿÿ óíèòðåóãîëüíàÿ (òðåóãîëüíàÿ ñ åäèíè÷íîé ãëàâíîé äèàãîíàëüþ), à U íåâûðîæäåííàÿ âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà. 61
Äëÿ òîãî ÷òîáû ìàòðèöà A èìåëà LU -ðàçëîæåíèå, íåîáõîäèìî è äîñòàòî÷íî, ÷òîáû îíà áûëà ñòðîãî ðåãóëÿðíîé.
Òåîðåìà 7.2.1
Íåîáõîäèìîñòü î÷åâèäíà (ïî÷åìó?). Äîñòàòî÷íîñòü äîêàæåì ïî èíäóêöèè. Çàïèøåì a c⊤ A= (7.2.1) . b D
Äîêàçàòåëüñòâî.
Òîãäà
1 0 −z I
a c⊤ b D
=
a c⊤ 0 A1
1 z = b, a
,
1 A1 ≡ D − bc⊤ . a
Ëåãêî âèäåòü, ÷òî ìàòðèöà A1 òàêæå áóäåò ñòðîãî ðåãóëÿðíîé. Ïî èíäóêòèâíîìó ïðåäïîëîæåíèþ îíà èìååò LU -ðàçëîæåíèå: A1 = L1 U1 . Ïîëîæèì 1 0 a c⊤ L= (7.2.2) , U= z L1 0 U1
è âû÷èñëèì
LU = Ñëåäñòâèå 7.2.1
a c⊤ b L1 U1 + a1 bc⊤
=
a c⊤ b D
= A. 2
LU -ðàçëîæåíèå îïðåäåëÿåòñÿ îäíîçíà÷íî.
−1 àâåíñòâî L1 U1 = L2 U2 âëå÷åò L−1 2 L1 = U2 U1 ≡ D . Ïðîèçâåäåíèå íèæíèõ òðåóãîëüíûõ ìàòðèö è îáðàòíàÿ ê òàêîé ìàòðèöå îñòàþòñÿ íèæíèìè òðåóãîëüíûìè ìàòðèöàìè. Òî æå âåðíî äëÿ âåðõíèõ òðåóãîëüíûõ ìàòðèö. Ïîýòîìó D îäíîâðåìåííî ÿâëÿåòñÿ íèæíåé è âåðõíåé òðåóãîëüíîé ìàòðè⇒ îíà ÿâëÿåòñÿ äèàãîíàëüíîé. Ïîñêîëüêó ìàòðèöà L−1 öåé 2 L1 óíèòðåóãîëüíàÿ, ïîëó÷àåì D = I . 2
Âñå âåäóùèå ìèíîðû ìàòðèöû A ïîëîæèòåëüíû òîãäà è òîëüêî òîãäà, êîãäà U èìååò ïîëîæèòåëüíûå äèàãîíàëüíûå ýëåìåíòû. Ñëåäñòâèå 7.2.2
Åñëè ñòðîãî ðåãóëÿðíàÿ ìàòðèöà A ∈ Cn×n ñèììåòðè÷íà (A = A⊤), òî äëÿ íåå ñóùåñòâóåò LDL⊤ -ðàçëîæåíèå:
Ñëåäñòâèå 7.2.3
A = LDL⊤, ãäå L íèæíÿÿ óíèòðåóãîëüíàÿ, D íåâûðîæäåííàÿ äèàãîíàëüíàÿ. Ïîëîæèì D = diag(U ). Òîãäà A = LDD−1 U = A⊤ = D−1 U ⊤ (DL⊤). Î÷åâèäíî, ìàòðèöà D−1 U ⊤ íèæíÿÿ óíèòðåóãîëüíàÿ.  ñèëó åäèíñòâåííîñòè LU -ðàçëîæåíèÿ DL⊤ = U . 2
Åñëè ñòðîãî ðåãóëÿðíàÿ ìàòðèöà A ∈ Cn×n ýðìèòîâà (A = A∗), òî äëÿ íåå ñóùåñòâóåò LDL∗-ðàçëîæåíèå, ò.å. A = LDL∗ , ãäå L íèæíÿÿ óíèòðåóãîëüíàÿ, D íåâûðîæäåííàÿ äèàãîíàëüíàÿ. Ñëåäñòâèå 7.2.4
Äîêàæèòå! Ïóñòü C íèæíÿÿ òðåóãîëüíàÿ ìàòðèöà ñ ïîëîæèòåëüíîé ãëàâíîé äèàãîíàëüþ. àçëîæåíèå A = CC ∗ íàçûâàåòñÿ ðàçëîæåíèåì Õîëåöêîãî.
Äëÿ òîãî ÷òîáû ìàòðèöà A ∈ Cn×n èìåëà ðàçëîæåíèå Õîëåöêîãî, íåîáõîäèìî è äîñòàòî÷íî, ÷òîáû îíà áûëà ýðìèòîâîé ñ ïîëîæèòåëüíûìè âåäóùèìè ìèíîðàìè.
Òåîðåìà 7.2.2
Äîêàçàòåëüñòâî.
Íåîáõîäèìîñòü î÷åâèäíà. Äîñòàòî÷íîñòü:√âîçüìåì√ðàç d1 , . . . , dn , ëîæåíèå A = LDL (èëè A = LDL∗ ) è ïîëîæèì C = Ldiag ãäå D = diag (d1 , . . . , dn). 2 2 T
7.3
Îøèáêè îêðóãëåíèÿ äëÿ
LU -ðàçëîæåíèÿ
Äîêàçàòåëüñòâî òåîðåìû îá LU -ðàçëîæåíèè áûëî êîíñòðóêòèâíûì. Ïî ñóòè, â íåì ñîäåðæèòñÿ ðåêóðñèâíûé àëãîðèòì, ñîâïàäàþùèé ñ òåì, ÷òî îáû÷íî íàçûâàåòñÿ àëãîðèòìîì àóññà.
Ïóñòü A ïðåäñòàâèìàÿ â ìàøèíå âåùåñòâåííàÿ ñòðîãî ðåãóëÿðíàÿ ìàòðèöà ïîðÿäêà n. Òîãäà äëÿ ðåàëüíî âû÷èñëåííûõ ïî àëãîe, U e âûïîëíÿåòñÿ íåðàâåíñòâî (ïðè óñëîâèè, ÷òî ðèòìó àóññà ìàòðèö L â ýëåìåíòàðíûõ îïåðàöèÿõ íå âîçíèêàë ìàøèííûé íóëü) e e e e (7.3.3) LU − A ≤ 3nη |A| + |L||U | + O(η 2 ). Òåîðåìà 7.3.1
Ïóñòü ìàòðèöû â òî÷íîì ðàâåíñòâå A = LU èìåþò âèä (7.2.1), (7.2.2). Äëÿ ðåàëüíî âû÷èñëåííûõ ìàòðèö íàõîäèì 1 0 a c⊤ 0 0 a c⊤ − = , H = D − zec⊤ . e e e e b D ze L1 0 U1 (e z − z)a L1U1 − H Äîêàçàòåëüñòâî.
e = f l(D − zec⊤ ). Ìàòðèöû L e1 è U e1 îáðàçóþò ðåàëüíî âû÷èñÏîëîæèì H e . Ïðåäïîëîæèì ïî èíäóêöèè, ÷òî óæå ëåííîå LU -ðàçëîæåíèå ìàòðèöû H óñòàíîâëåíî, ÷òî e1U e1 − H| e ≤ 3(n − 1)η(|H| e + |L e1 ||U e1|) + O(η 2 ). |L
 ñèëó àêñèîìû ìàøèííîé àðè ìåòèêè (6.2.3)
e − H| ≤ (|D| + 2|e |H z ||c⊤ |)η + O(η 2 ).
e ≤ |H| + O(η) ≤ |D| + |e Îòñþäà |H| z ||c⊤ | + O(η) è, îêîí÷àòåëüíî,
e1U e1 − H| ≤ (3n − 2)η|D| + (3n − 1)η|e e1||U e1 | + O(η 2 ) |L z ||c⊤| + (3n − 3η |L e1 ||U e1|) + O(η 2 ). ≤ 3n(|D| + |e z ||c⊤ | + |L
Êðîìå òîãî, ñîãëàñíî (6.2.3), |(e z − z)a| ≤ η|b|. 7.4
2
Âûáîð âåäóùåãî ýëåìåíòà
e U e | îöåíêà 7.3.3 áûëà áû èäåàëüíîé. Íî ïî âñåé âèäèìîñòè Áåç ÷ëåíà |L|| e U e | ïðèñóòñòâóåò â íåé ïî ñóùåñòâó è óêàçûâàåò íà óçêîå ìåñòî ÷ëåí |L|| àëãîðèòìà àóññà ðîñò ýëåìåíòîâ â òðåóãîëüíûõ ñîìíîæèòåëÿõ. Ñêîëü îïàñåí ðîñò ýëåìåíòîâ, ìîæíî óâèäåòü óæå â ñëó÷àå n = 2. Ïóñòü p îñíîâàíèå ìàøèííîé àðè ìåòèêè è t äëèíà ìàíòèññû. Âîçüìåì A≡ Òîãäà
è, ñëåäîâàòåëüíî,
e= L
a c b d
1. 0 pt 1.
=
,
eU e −A= L
p−t 1. 1. 1.
e= U
0 0 0 1.
.
p−t 1. 0 −pt
.
Ïðè÷èíà ÷óäîâèùíî áîëüøîé ïîãðåøíîñòè ìàëàÿ âåëè÷èíà âåäóùåãî ýëåìåíòà a. Î÷åâèäíî, íåîáõîäèì âûáîð âåäóùåãî ýëåìåíòà. Âîçìîæíîñòü âûáîðà èìååòñÿ. Íàïðèìåð, ñ ïîìîùüþ ïåðåñòàíîâêè ñòðîê âåäóùèì ìîæíî ñäåëàòü ëþáîé ýëåìåíò î÷åðåäíîãî ñòîëáöà. Êîíå÷íî, ýòî äîëæåí áûòü ýëåìåíò, ìàêñèìàëüíûé ïî ìîäóëþ. Òîãäà âûáîð â ñòîëáöå îáåñïå÷èâàåò îãðàíè÷åííîñòü ýëåìåíòîâ â L (|lij | ≤ 1).  òî æå âðåìÿ
ρ≡
max |uij | i,j
max |aij | i,j
≤ 2n−1.
(7.4.4)
Åñëè âåäóùèì äåëàåòñÿ ìàêñèìàëüíûé ïî ìîäóëþ ýëåìåíò ñ ìèíèìàëüíûì ñòðî÷íûì èíëåêñîì, òî ýòà îöåíêà äëÿ êîý èöèåíòà ðîñòà ρ äîñòèãàåòñÿ
íà ìàòðèöå
1 1 −1 1 0 1 ... A = −1 −1 1 . (7.4.5) . . . . .. . . .. .. −1 −1 . . . −1 1  ïðàêòè÷åñêèõ âû÷èñëåíèÿõ òàêîé ðîñò ïðè âûáîðå â ñòîëáöå íàáëþäàåòñÿ íå ÷àñòî (Êàõàí óòâåðæäàåò, ÷òî ñ ðîñòîì ýëåìåíòîâ èìåþò äåëî òîëüêî òå âû÷èñëèòåëè, êîòîðûå ñïåöèàëüíî åãî èùóò). 7.5
Ïîëíûé âûáîð
Ïîñëå âûïîëíåíèÿ k øàãîâ ìåòîäà àóññà, âåäóùèì ýëåìåíòîì ìîæíî ñäåëàòü ëþáîé ýëåìåíò àêòèâíîé ïîäìàòðèöû Ak :
k }|
A −→
z { × × k ... ×
× × ... ×
... ... ... ... Ak
× × ... ×
Äëÿ ýòîãî ïîòðåáóþòñÿ ïåðåñòàíîâêè ñòðîê è ñòîëáöîâ. Ïóñòü â àêòèâíîé ïîäìàòðèöå âûáèðàåòñÿ ýëåìåíò, ìàêñèìàëüíûé ïî ìîäóëþ ýòî òàê íàçûâàåìûé ïîëíûé âûáîð (èç ïîëíîãî íàáîðà âîçìîæíîñòåé) . Äîëãîå âðåìÿ ñóùåñòâîâàëà ãèïîòåçà Óèëêèíñîíà î òîì, ÷òî äëÿ ïîëíîãî âûáîðà ρ ≤ n.  1991 ãîäó ýòà ãèïîòåçà áûëà îïðîâåðãíóòà: Í. îóëä 1 ïðèâåë ïðèìåð âåùåñòâåííîé ìàòðèöû 13-ãî ïîðÿäêà, äëÿ êîòîðîé ρ > 13. Íàèáîëåå ðàäèêàëüíîå ñðåäñòâî áîðüáû ñ ðîñòîì ýëåìåíòîâ ïîëó÷àòü íóëè ñ ïîìîùüþ îðòîãîíàëüíûõ ïðåîáðàçîâàíèé. 7.6
Ìåòîä Õîëåöêîãî
Ïóñòü A âåùåñòâåííàÿ ñèììåòðè÷íàÿ ìàòðèöà ñ ïîëîæèòåëüíûìè âåäóùèìè ìèíîðàìè. Âîçüìåì n = 3 è ïîñìîòðèì, êàê ìîæíî óäîâëåòâîðèòü 1 N.Gould, On growth in Gaussian elimination with omplete pivoting, SIAM J. Matrix Anal. Appl. 12 (2): 354361 (1991).
óðàâíåíèå
0 c11 a11 a21 a31 c11 c21 c31 a21 a22 a32 = c21 c22 c22 c32 a31 a32 a33 0 c33 c31 c32 c33
⇒
√ c21 = a21 /c11, c31 = a31 /c11; c11 = pa11, 2 c32 = (a32 − c31c21 )/c22; c22 = pa22 − c21 , 2 2 c33 = a33 − c31 − c32 .
Ìû ïîëó÷èëè àëãîðèòì Õîëåöêîãî. Âîò êàê îí âûãëÿäèò äëÿ ïðîèçâîëüíîãî n: DO k = 1, n
ckk =
akk −
k−1 X
aik −
k−1 X
DO i = k + 1, n
cik = END DO END DO
j=1
j=1
c2kj
!1/2
cij ckj
!
(∗)
/ckk
(∗∗)
Ïðåäïîëîæèì, ÷òî âûðàæåíèÿ (∗) è (∗∗) âû÷èñëÿþòñÿ òàêèì îáðàçîì, ÷òî äëÿ îòíîñèòåëüíîé îøèáêè ε ëþáîé àðè ìåòè÷åñêîé îïåðàöèè è îïåðàöèè èçâëå÷åíèÿ êâàäðàòíîãî êîðíÿ îáåñïå÷èâàåòñÿ îöåíêà |ε| ≤ η . Òîãäà äëÿ ðåàëüíî âû÷èñëåííûõ âåëè÷èí c˜ij íàõîäèì:
c˜2kk
/ (1 + ε)
c˜ik c˜kk / (1 + ε)
3
2
= akk − = aik −
k−1 X
c˜2kj (1 + ε)k−j
äëÿ (∗);
c˜ij c˜kj (1 + ε)k−j
äëÿ (∗∗).
j=1
k−1 X j=1
Ïåðâîå ñîîòíîøåíèå äàåò v u k p uX √ t akk + O (η) ≤ akk + O (η). |˜ ckj |2 ≤ j=1
Ñëåäîâàòåëüíî, k X c˜ij c˜kj − aik j=1
|˜ cij | |˜ ckj | + O(η 2 )
≤
η (k + 1)
≤
v v u k u k uX uX t 2 η (k + 1) |˜ cij | t |˜ ckj |2 + O(η 2 )
≤
Òàêèì îáðàçîì,
k X
≤
j=1
j=1
j=1
j=1
j=1
v v u k u i uX uX t 2 η (n + 1) |˜ cij | t |˜ ckj |2 + O(η 2 )
√ √ η (n + 1) aii akk + O(η 2 ).
√ a11 √ √ |C˜ C˜ T − A| ≤ η (n + 1) . . . [ a11 , . . . , ann ] + O(η 2). √ ann
Îòñþäà âèäíî, ÷òî ìåòîä Õîëåöêîãî ñâîáîäåí îò íåïðèÿòíîñòåé, ñâÿçàííûõ ñ ðîñòîì ýëåìåíòîâ. 7.7
Òðåóãîëüíûå ðàçëîæåíèÿ è ðåøåíèå ñèñòåì
Ïðîöåññ ðåøåíèÿ ñèñòåìû Ax = b ñ íåâûðîæäåííîé ìàòðèöåé A ìîæåò ñîñòîÿòü èç òðåõ ýòàïîâ: 1) A = LU (âû÷èñëåíèå LU -ðàçëîæåíèÿ); 2) Ly = b (ïðÿìàÿ ïîäñòàíîâêà); 3) U x = y (îáðàòíàÿ ïîäñòàíîâêà). Íàèáîëåå òðóäîåìêèì ÿâëÿåòñÿ ïåðâûé ýòàï: ïðè èñïîëüçîâàíèè ìåòîäà àóññà òðåáóåòñÿ 23 n3 + O(n2 ) àðè ìåòè÷åñêèõ îïåðàöèé.  îáùåì ñëó÷àå ðåêîìåíäóåòñÿ ïðèìåíÿòü ñòîëáöîâîå ïèâîòèðîâàíèå. Âòîðîé è òðåòèé ýòàïû òðåáóþò n2 + O(n) àðè ìåòè÷åñêèõ îïåðàöèé êàæäûé. Çàìåòèì, ÷òî íà ïàðàëëåëüíîì êîìïüþòåðå âðåìåííîå ñîîòíîøåíèå ìåæäó ýòàïàìè ìîæåò èçìåíèòüñÿ. Åñëè âîîáðàçèòü àáñòðàêòíûé ïàðàëëåëüíûé êîìïüþòåð ñ ïðîèçâîëüíî áîëüøèì ÷èñëîì ïðîöåññîðîâ è ìãíîâåííûì îáìåíîì èí îðìàöèåé ìåæäó âñåìè ó÷àñòíèêàìè âû÷èñëåíèé, òî äëÿ êàæäîãî èç òðåõ ýòàïîâ ñóùåñòâóþò àëãîðèòìû ñ âðåìåíåì O(log22 n). Íèêòî íå çíàåò, ìîæíî ëè ñíèçèòü ýòî âðåìÿ õîòÿ áû äëÿ òðåóãîëüíûõ ñèñòåì.
7.8
Êàê óòî÷íèòü ðåøåíèå
˜0 . Ïðåäïîëîæèì, ÷òî ïî ìåòîäó àóññà âû÷èñëåíî ïðèáëèæåííîå ðåøåíèå x àññìîòðèì ñëåäóþùèé ïðîöåññ åãî óòî÷íåíèÿ: (1) âû÷èñëÿåì íåâÿçêó ri−1 = b − A˜ xi−1; (2) ðåøàåì ñèñòåìó îòíîñèòåëüíî ïîïðàâêè ci−1 : Aci−1 = ri−1 ;
˜i−1 + ci−1. (3) xi = x Åñëè ýòè äåéñòâèÿ âûïîëíèòü òî÷íî, òî âåêòîð xi áóäåò òî÷íûì ðåøåíèåì ñèñòåìû Ax = b.  óñëîâèÿõ îøèáîê îêðóãëåíèÿ ìû ïîëó÷èì íîâîå ïðèáëèæåíèå x ˜i ê òî÷íîìó ðåøåíèþ x. Áóäåò ëè íîâîå ïðèáëèæåíèå ëó÷øå ïðåæíåãî? Ïðåäïîëîæèì, ÷òî ðåàëüíî âû÷èñëåííàÿ è òî÷íàÿ ïîïðàâêè (c˜i è ci ) ñâÿçàíû íåðàâåíñòâîì k˜ ci − ci k2 ≤ τ kci k2, (7.8.6) ãäå 0 < τ < 1/(1 + η). Òîãäà äëÿ âåêòîðîâ ci = A−1 (b − A˜ xi) = x − x˜i èìååì
kci k2 ≤ qkci−1k2 + ηkxk2,
q = τ (1 + η).
(7.8.7)
Îòñþäà ëåãêî âûâåñòè, ÷òî
kci k2 ≤ q i kc0k2 + q i−1 + q i−2 + . . . , +1 ηkxk2;
Ñëåäîâàòåëüíî,
kci k2 η ≤ + O(q i ). kxk2 1−q
(7.8.8)
Èòàê, åñëè èñõîäíîå ïðèáëèæåíèå íå ñëèøêîì ïëîõîå (âûïîëíåíî íåðàâåíñòâî (7.8.6)), òî ïðîöåññ óòî÷íåíèÿ ïîçâîëÿåò ïîëó÷èòü ïðèáëèæåííîå ðåøåíèå ñèñòåìû ñ ïîãðåøíîñòüþ íå âûøå η/(1 − q). Âîîáùå ãîâîðÿ, óæå èñõîäíîå ïðèáëèæåíèå ìîæåò èìåòü ìàëóþ íåâÿçêó. Ïîýòîìó ðåêîìåíäóåòñÿ: (à) íåâÿçêó ri−1 âû÷èñëÿòü ñ ïîâûøåííîé òî÷íîñòüþ è ëèøü çàòåì îêðóãëÿòü äî îáû÷íîé òî÷íîñòè; (á) â ñèñòåìå óðàâíåíèé äëÿ ïîïðàâêè ñäåëàòü íîðìó ïðàâîé ÷àñòè âåëè÷èíîé ïîðÿäêà 1 ïóòåì ìàñøòàáèðîâàíèÿ:
bi = ri−1/s,
ãäå s èìååò ñìûñë âûáèðàòü â âèäå íåêîòîðîé ñòåïåíè îñíîâàíèÿ ìàøèííîé àðè ìåòèêè ÷òîáû èçáåæàòü îøèáîê îêðóãëåíèÿ; ðåøèâ ñèñòåìó Aˆ ci−1 = bi , ïðèñâîèòü
ci−1 = cˆi−1s. Ïðîöåññ óòî÷íåíèÿ ðàññìàòðèâàåòñÿ êàê îòíîñèòåëüíî äåøåâûé, ïîñêîëüêó ïðè ðåøåíèè ñèñòåìû îòíîñèòåëüíî ïîïðàâêè ñëåäóåò âîñïîëüçîâàòüñÿ óæå èçâåñòíûì LU -ðàçëîæåíèåì ìàòðèöû A. Âîîáùå ãîâîðÿ, ïðîöåññ óòî÷íåíèÿ ïîçâîëÿåò äîáèâàòüñÿ î÷åíü âûñîêîé òî÷íîñòè äàæå äëÿ ïëîõî îáóñëîâëåííûõ ìàòðèö. Ýòî èìååò ñìûñë, åñëè ìàòðèöà è ïðàâàÿ ÷àñòü â êîìïüþòåðå çàäàíû òî÷íî.  ïðîòèâíîì ñëó÷àå óòî÷íåíèå âðÿä ëè ìîæíî ðàññìàòðèâàòü êàê ñðåäñòâî áîðüáû ñ ïëîõîé îáóñëîâëåííîñòüþ çàäà÷è ïî êðàéíåé ìåðå, åãî ïðèìåíåíèå òðåáóåò ñïåöèàëüíîãî îáîñíîâàíèÿ. Çàäà÷è
1. Ïîêàæèòå, ÷òî ìåòîä àóññà ñ âûáîðîì âåäóùåãî ýëåìåíòà ïî ñòîëáöó ýêâèâàëåíòåí (â òî÷íîé è ìàøèííîé àðè ìåòèêå) ìåòîäó àóññà áåç âûáîðà âåäóùåãî ýëåìåíòà, ïðèìåíåííîãî ê òîé æå ìàòðèöå ñ ïåðåñòàâëåííûìè ñòðîêàìè. 2. Äîêàæèòå, ÷òî â ïðàâîé ÷àñòè íåðàâåíñòâà (7.3.3) êîý èöèåíò n ìîæíî çàìåíèòü íà n − 1. 3. Ïóñòü ñèñòåìà Ax = b ðåøàåòñÿ â òðè ýòàïà ñîãëàñíî ðàçäåëó 7.7. Ïðåäïîëîæèì, ÷òî ïðè ðåàëèçàöèè íå âîçíèêàëî ìàøèííûõ íóëåé è ˜ U˜ è ðåøåíèå x˜. Äîêàæèòå, ÷òî áûëè ðåàëüíî ïîëó÷åíû ìàòðèöû L, (A + E)˜ x = b, ãäå ˜ ˜ |E| ≤ nη 4|A| + 5|L||U | + O(η 2 ).
4. Ïóñòü LU -ðàçëîæåíèå âû÷èñëÿåòñÿ ïî ìåòîäó àóññà áåç âûáîðà âåäóùåãî ýëåìåíòà äëÿ ìàòðèöû A ∈ Rn×n, îáëàäàþùåé ñòðî÷íûì äèàãîíàëüíûì ïðåîáëàäàíèåì. Äîêàæèòå, ÷òî â ýòîì ñëó÷àå êîý èöèåíò ðîñòà ýëåìåíòîâ max |uij | i,j ρ≡ max |aij | i,j
íå ïðåâîñõîäèò 2. 5. Åñëè LU -ðàçëîæåíèå âû÷èñëÿåòñÿ ïî ìåòîäó àóññà áåç âûáîðà âåäóùåãî ýëåìåíòà äëÿ âåùåñòâåííîé ñèììåòðè÷íîé ïîëîæèòåëüíî îïðåäåëåííîé ìàòðèöû, òî êîý èöèåíò ðîñòà ýëåìåíòîâ ðàâåí 1. Äîêàæèòå. 6. Åñëè A ýðìèòîâà ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà, òî ñïåêòðàëüíîå ÷èñëî îáóñëîâëåííîñòè àêòèâíîé ïîäìàòðèöû êàæäîãî øàãà ìåòîäà àóññà íå ïðåâîñõîäèò ñïåêòðàëüíîãî ÷èñëà îáóñëîâëåííîñòè ìàòðèöû A. Äîêàæèòå. 7. Ïóñòü M ìíîæåñòâî n × n-ìàòðèö âèäà A = α I − N , ãäå ìàòðèöà N èìååò íåîòðèöàòåëüíûå ýëåìåíòû è âñå åå ñîáñòâåííûå çíà÷åíèÿ ïî ìîäóëþ ìåíüøå α. Äîêàæèòå, ÷òî åñëè A ∈ M, òî äëÿ íåå ñóùåñòâóåò LU -ðàçëîæåíèå è ïðè ýòîì L ∈ M è U ∈ M. 8. Ïðèäóìàéòå ïàðàëëåëüíûé àëãîðèòì, ðåøàþùèé òðåóãîëüíóþ ñèñòåìó çà âðåìÿ O(log22 n) (ïîäñêàçêà: ýòà çàäà÷à íå ÿâëÿåòñÿ î÷åíü òðóäíîé!) 9. Ïîêàæèòå, ÷òî ðàçëîæåíèå Õîëåöêîãî ìîæíî íàéòè çà O(n) ïàðàëëåëüíûõ øàãîâ.
ëàâà 8
8.1
QR-ðàçëîæåíèå
êâàäðàòíîé ìàòðèöû
àçëîæåíèå A = QR, ãäå Q óíèòàðíàÿ, R âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà, íàçûâàåòñÿ QR-ðàçëîæåíèåì (êâàäðàòíîé) ìàòðèöû A. Äëèíû ñî√ îòâåòñòâóþùèõ ñòîëáöîâ R è A îäèíàêîâû ⇒ max |rij | ≤ n max |aij |. i,j
i,j
Ïîýòîìó ðîñòà ýëåìåíòîâ ïðè ïîëó÷åíèè QR-ðàçëîæåíèÿ îïàñàòüñÿ íå ñëåäóåò. Òåîðåìà 8.1.1
ðèöû.
QR-ðàçëîæåíèå ñóùåñòâóåò äëÿ ëþáîé êâàäðàòíîé ìàò-
Ïóñòü A íåâûðîæäåííàÿ ⇒ A∗ A ïîëîæèòåëüíî îïðåäåëåííàÿ ⇒ âñå âåäóùèå ïîäìàòðèöû â A∗ A ïîëîæèòåëüíî îïðåäåëåííûå ⇒ âñå âåäóùèå ìèíîðû â A∗A ïîëîæèòåëüíû ⇒ ñóùåñòâóåò ðàçëîæåíèå Õîëåöêîãî A∗ A = R∗ R (R âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà) ⇒ ìàòðèöà Q ≡ A R−1 óíèòàðíàÿ: Äîêàçàòåëüñòâî.
Q∗Q = (A R−1)∗(A R−1) = R−∗(A∗A)R−1 = (R−∗R∗ ) (R R−1) = I.
Åñëè ìàòðèöà A âûðîæäåííàÿ, òî äëÿ âñåõ äîñòàòî÷íî áîëüøèõ n âîçìóùåííàÿ ìàòðèöà An = A + n1 I áóäåò íåâûðîæäåííîé (ïî÷åìó?). Ïîýòîìó ñóùåñòâóåò QR-ðàçëîæåíèå An = Qn Rn . Ìíîæåñòâî óíèòàðíûõ ìàòðèö ÿâëÿåòñÿ êîìïàêòíûì (ïî÷åìó?) ⇒ ñóùåñòâóåò ñõîäÿùàÿñÿ ïîäïîñëåäîâàòåëüíîñòü Qnk → Q ⇒ Q∗nk A → Q∗A ≡ R. Ëåãêî âèäåòü, ÷òî ìàòðèöà Q óíèòàðíàÿ, à R âåðõíÿÿ òðåóãîëüíàÿ. 2 Ñëåäñòâèå. Äëÿ íåâûðîæäåííîé A ìàòðèöû Q è R îïðåäåëÿþòñÿ îäíîçíà÷íî, åñëè òðåáîâàòü ïîëîæèòåëüíîñòü ãëàâíîé äèàãîíàëè äëÿ R. 8.2
QR-ðàçëîæåíèå
ïðÿìîóãîëüíîé ìàòðèöû
Ïóñòü A ∈ Cm×n è m ≥ n. Òîãäà ñóùåñòâóåò ðàçëîæåíèå A = QR, ãäå R êâàäðàòíàÿ âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà ïîðÿäêà n, à ìàòðèöà Q èìååò îðòîíîðìèðîâàííûå ñòîëáöû. 71
Äëÿ äîêàçàòåëüñòâà äîñòàòî÷íî âëîæèòü A â êâàäðàòíóþ ìàòðèöó, çàïîëíèâ íåäîñòàþùèå ïîçèöèè íóëÿìè. 8.3
Ìàòðèöû îòðàæåíèÿ
Ìàòðèöà H = H (u) = I − 2 u u∗, ãäå ||u||2 = 1, íàçûâàåòñÿ ìàòðèöåé îòðàæåíèÿ, èëè ìàòðèöåé Õàóñõîëäåðà. Ïðîâåðüòå, ÷òî: (a) H óíèòàðíàÿ; (b) H ýðìèòîâà; ( ) Hu = −u è Hv = v
∀ v ⊥ u.
Äëÿ ëþáûõ âåêòîðîâ a, b ∈ Cn îäèíàêîâîé äëèíû ñóùåñòâóþò ÷èñëî γ è ìàòðèöà îòðàæåíèé H òàêèå, ÷òî Ëåììà 8.3.1
Ha = γ b, Äîêàçàòåëüñòâî.
|γ| = 1.
Åñëè H = H (u), òî äîëæíî áûòü
a − 2 (u∗a) u = γ b.
(∗)
Åñëè a è b íåíóëåâûå êîëëèíåàðíûå âåêòîðû, òî ìîæíî âçÿòü u = a/||a||2 .  ïðîòèâíîì ñëó÷àå ïîëîæèì
u=
a−γb . ||a − γ b||2
Îòñþäà, ñîãëàñíî (∗),
2 (u∗a) = ||a − γ b||2
⇔
2 (a∗a − γ ∗b∗ a) = ||a − γ b||22 = ||a||22 + ||b||22 − 2 Re (γ ∗b∗a). Ïîñêîëüêó ||a||2 = ||b||2 , ïîëó÷àåì γ ∗ b∗ a = Re (γ ∗b∗ a) ⇔ ÷èñëî γ ∗ b∗ a âåùåñòâåííîå. Åñëè b∗ a = 0, òî ìîæíî âçÿòü ëþáîå γ, |γ| = 1. Èíà÷å, åñòü äâå âîçìîæíîñòè:
γ = b∗a/|b∗ a| èëè γ = −b∗a/|b∗ a|. 2
8.4
Èñêëþ÷åíèå ýëåìåíòîâ ñ ïîìîùüþ îòðàæåíèé
Ñîãëàñíî ëåììå 8.3.1, äëÿ ëþáîãî ñòîëáöà a ∈ Cn ñóùåñòâóåò ìàòðèöà îòðàæåíèé H òàêàÿ, ÷òî
H a = γ [kak2 , 0, . . . , 0]T ,
|γ| = 1.
 äàííîì ñëó÷àå H îïðåäåëÿåòñÿ âåêòîðîì u = v/||v||2 , ãäå
v = [a1 − γ kak2 , a2 , . . . , an ]T . Åñëè a1 6= 0, òî ðåêîìåíäóåì âçÿòü
γ = −a1 /|a1 |. (Ïðè ýòîì íå áóäóò âû÷èòàòüñÿ ÷èñëà îäíîãî çíàêà!)
Äëÿ ëþáîé ìàòðèöû A ∈ Cn×n ñóùåñòâóþò ìàòðèöû îòðàæåíèÿ H1 , . . . , Hn−1 òàêèå, ÷òî ìàòðèöà
Hn−1 . . . H1 A = R ÿâëÿåòñÿ âåðõíåé òðåóãîëüíîé. Áóäåì îïðåäåëÿòü Hi ñ ïîìîùüþ âåêòîðà ui, èìåþùåãî íóëè â ïåðâûõ i − 1 êîìïîíåíòàõ è òàêîãî, ÷òî Hi àííóëèðóåò ïîääèàãîíàëüíûå ýëåìåíòû i-ãî ñòîëáöà ìàòðèöû Hi−1 . . . H1 A. Ïðîèçâåäåíèå óíèòàðíûõ ìàòðèö Z ≡ Hn−1 . . . H1 åñòü óíèòàðíàÿ ìàòðèöà. Íàõîäèì A = Q R, Q = Z ∗ , ìû ïîëó÷èëè åùå îäíî (êîíñòðóêòèâíîå) äîêàçàòåëüñòâî ñóùåñòâîâàíèÿ QR-ðàçëîæåíèÿ. ×òîáû ïîëó÷èòü QR-ðàçëîæåíèå ñ ïîìîùüþ ìàòðèö îòðàæåíèÿ, ïîòðåáóåòñÿ 43 n3 +O (n2 ) àðè ìåòè÷åñêèõ îïåðàöèé (äîêàæèòå). Äëÿ ñðàâíåíèÿ: ìåòîä àóññà íàõîäèò LU -ðàçëîæåíèå çà 23 n3 +O (n2 ) àðè ìåòè÷åñêèõ îïåðàöèé. 8.5
Ìàòðèöû âðàùåíèÿ
Ìàòðèöà Gkl ∈ Rn×n íàçûâàåòñÿ ìàòðèöåé âðàùåíèÿ, èëè ìàòðèöåé èâåíñà, åñëè îíà îòëè÷àåòñÿ îò åäèíè÷íîé ìàòðèöû ëèøü 2 × 2-ïîäìàòðèöåé cos φ − sin φ M (φ) = , sin φ cos φ ðàñïîëîæåííîé íà ñòðîêàõ è ñòîëáöàõ ñ íîìåðàìè k è l. Ïðîâåðüòå, ÷òî ìàòðèöà Gkl ÿâëÿåòñÿ îðòîãîíàëüíîé.
8.6
Èñêëþ÷åíèå ýëåìåíòîâ ñ ïîìîùüþ âðàùåíèé
Åñëè âåêòîð [a1 , a2 ]T ∈ R2 íåíóëåâîé, òî âûáîð −a a1 p 2 , sin φ = cos φ = p 2 a1 + a22 a21 + a22 ïîçâîëÿåò èñêëþ÷èòü åãî âòîðóþ êîìïîíåíòó: a1 α M (φ) = . a2 0
Î÷åâèäíî, ïðè óìíîæåíèè ìàòðèöû A ñëåâà íà ìàòðèöó âðàùåíèÿ Gkl ìîæíî ïîëó÷èòü íóëü â ëþáîé ïîçèöèè k -é èëè l-é ñòðîêè. Ñëåäîâàòåëüíî, ìàòðèöó A ìîæíî ïðèâåñòè ê âåðõíåìó òðåóãîëüíîìó âèäó R ñ ïîìîùüþ óìíîæåíèé ñëåâà íà ïîñëåäîâàòåëüíîñòü ìàòðèö âðàùåíèÿ:
Gn−1 n . . . G1n . . . G13 G12 A = R. ×òîáû ïîëó÷èòü QR-ðàçëîæåíèå ñ ïîìîùüþ âðàùåíèé, ïîòðåáóåòñÿ 2 n3 + O (n2 ) àðè ìåòè÷åñêèõ îïåðàöèé (äîêàæèòå). 8.7
Ìàøèííûå ðåàëèçàöèè îòðàæåíèé è âðàùåíèé
˜èR ˜ òàêîâû, åàëüíî âû÷èñëåííûå ñ ïîìîùüþ îòðàæåíèé èëè âðàùåíèé Q ÷òî ˜ R|| ˜ ≤ c1 (n) η ||A|| + O (η 2 ), ||A − Q (8.7.1) ˜∗ Q ˜ − I|| ≤ c2 (n) η + O (η 2), ||Q (8.7.2)
ãäå c1 (n) è c2 (n) íåêîòîðûå óíêöèè îò n (îíè çàâèñÿò îò èñïîëüçóåìûõ íîðì è îñîáåííîñòåé ðåàëèçàöèè). Àëãîðèòìû îòðàæåíèé è âðàùåíèé ðàçëè÷àþòñÿ ñ òî÷êè çðåíèÿ ïàðàëëåëüíûõ âû÷èñëåíèé. Èñïîëüçóÿ íåñòàíäàðòíûé ñïîñîá âû÷èñëåíèÿ ñóìì (ïîïàðíîå ñóììèðîâàíèå), ñ ïîìîùüþ îòðàæåíèé ìû ìîæåì íàéòè QRðàçëîæåíèå çà O (n log n) ïàðàëëåëüíûõ øàãîâ.  òî æå âðåìÿ, ñòàíäàðòíûé àëãîðèòì âðàùåíèé îáëàäàåò ñêðûòûì ïàðàëëåëèçìîì: äëÿ åãî ðåàëèçàöèè äîñòàòî÷íî O (n) ïàðàëëåëüíûõ øàãîâ (ïðîâåðüòå!). 8.8
Ìåòîä îðòîãîíàëèçàöèè
QR-ðàçëîæåíèå ìîæíî ïîëó÷èòü áåç ïîìîùè âðàùåíèé èëè îòðàæåíèé. Ïóñòü n = 3 è ìû õîòèì óäîâëåòâîðèòü ðàâåíñòâî (A = Q R) r11 r12 r13 [a1 a2 a3 ] = [q1 q2 q3 ] 0 r22 r23 . 0 0 r33
Äëÿ óäîáñòâà ìû áóäåì ââîäèòü íåíîðìèðîâàííûå âåêòîðû p1 , p2 , p3 , êîëëèíåàðíûå ñîîòâåòñòâåííî q1 , q2 , q3 . Ïåðâûå ñòîëáöû áóäóò ðàâíûìè, åñëè ìû âîçüìåì p1 = a1 , r11 = ||p1 ||2 , q1 = p1 /r11. Ïðèðàâíÿåì âòîðûå ñòîëáöû: a2 = q1 r12 + q2 r22. Âåêòîð q2 äîëæåí áûòü îðòîãîíàëåí ê q1 . Óìíîæàÿ îáå ÷àñòè íà q1∗ , íàõîäèì: r12 = q1∗ a2 , p2 = a2 − q1 r12, r22 = ||p2 ||2 , q2 = p2 /r22. Ïðèðàâíÿåì òðåòüè ñòîëáöû:
a3 = q1 r13 + q2 r23 + q3 r33. Óìíîæàÿ îáå ÷àñòè ïî î÷åðåäè íà q1∗ è q2∗ , íàõîäèì:
r13 = q1∗ a3 , r23 = q2∗ a3 , p3 = a3 − q1 r13 − q2 r23, r33 = ||p3 ||2 , q3 = p3 /r33.
Òî, ÷òî ìû ïîëó÷èëè, ýòî êëàññè÷åñêèé ïðîöåññ îðòîãîíàëèçàöèè ðàìàØìèäòà. Îí ìîæåò ïðèìåíÿòüñÿ äëÿ ïîëó÷åíèÿ îðòîíîðìèðîâàííîãî áàçèñà â ëèíåéíîé îáîëî÷êå span {a1 , . . . , ak }, íàòÿíóòîé íà ëèíåéíî íåçàâèñèìûå âåêòîðû a1 , . . . , ak . Âîò êàê îí âûãëÿäèò â îáùåì ñëó÷àå:
pj = aj −
j−1 X i=1
qi (qi∗ aj ),
qj = pj /||pj ||2 ,
j = 1, . . . , k.
(8.8.3)
Ïðè ýòîì rij = qi∗ aj . Äëÿ òîãî ÷òîáû îðòîãîíàëèçîâàòü n âåêòîðîâ ðàçìåðíîñòè n, ïîòðåáóåòñÿ 2 n3 + O (n2 ) àðè ìåòè÷åñêèõ îïåðàöèé (ïðîâåðüòå). 8.9
Ïîòåðÿ îðòîãîíàëüíîñòè
 óñëîâèÿõ ìàøèííîé àðè ìåòèêè ëèíåéíàÿ îáîëî÷êà äëÿ ðåàëüíî âû÷èñëåííûõ âåêòîðîâ q˜1 , . . . , q˜k , ïîëó÷åííûõ ïî îðìóëàì (8.8.3), ñîâïàäàåò ñ ëèíåéíîé îáîëî÷êîé, íàòÿíóòîé íà âîçìóùåííûå âåêòîðû a1 +f1 , ... , ak +fk . Ìîæíî ãàðàíòèðîâàòü, ÷òî âîçìóùåíèÿ f1 , . . . , fk ìàëû (äîêàæèòå!). Îäíàêî, âåêòîðû q˜1 , . . . , q˜k ÷àñòî äàëåêè îò îðòîãîíàëüíûõ. Ïîïðîáóåì ïîíÿòü, ïî÷åìó. Ââåäåì ìàòðèöû
˜ i ≡ [˜ Q q1, . . . , q˜i ],
i = 1, . . . , k.
Òîãäà åñòåñòâåííîé ìåðîé îðòîãîíàëüíîñòè âåêòîðîâ q˜1 , . . . , q˜i ÿâëÿåòñÿ âåëè÷èíà ˜ ∗i Q ˜ i − I||2 . δi ≡ ||Q (8.9.4)
Ïðåäïîëîæèì, ÷òî íà i + 1-îì øàãå âû÷èñëåíèÿ âûïîëíÿþòñÿ àáñîëþòíî òî÷íî. Íàõîäèì 1 ∗ ∗ ∗ ˜ ˜ ˜ ˜ βi+1 ≡ Qi q˜i+1 = Q ai+1 − Qi Qi ai+1 k˜ pi+1k2 i 1 ∗ ˜ ˜ ˜ ∗ ai+1 . I − Qi Qi Q = i k˜ pi+1k2 Ñëåäîâàòåëüíî,
p
kai+1k2 . k˜ pi+1k2 Äëÿ íàøèõ öåëåé äîñòàòî÷íî î÷åâèäíîé îöåíêè
∗ ˜ Q ˜ − I βi+1
Q i
≤ δi + 2 kβi+1k2 . δi+1 = ∗
βi+1 0 2 kβi+1k2 ≤ δi
1 + δi
(8.9.5)
(8.9.6)
Áîëåå àêêóðàòíàÿ îöåíêà èìååò âèä
δi+1 ≤ Òàêèì îáðàçîì,
δi +
p δi2 + 4 kβi+1k22 . 2
(8.9.7)
kai+1k2 p δi 1 + δi . k˜ pi+1k2 ìîæåò îêàçàòüñÿ î÷åíü áîëüøèì, åñëè ìàëà âåëè-
δi+1 ≤ const Äàæå åñëè δi ìàëî, δi+1 pi+1k2. ÷èíà k˜ 8.10
Êàê áîðîòüñÿ ñ ïîòåðåé îðòîãîíàëüíîñòè
Ïóñòü âû÷èñëåíû âåêòîðû q˜1 , . . . , q˜i, êîòîðûå íå ñëèøêîì äàëåêè îò îðòîãîíàëüíûõ: ïóñòü δi < 1. ×òîáû ïîääåðæàòü îðòîãîíàëüíîñòü íà i + 1-îì øàãå, ðàññìîòðèì ñëåäóþùèé ïðîöåññ ðåîðòîãîíàëèçàöèè :
p(0) = ai+1 ; ˜i Q ˜ ∗ ) p(j−1), p(j) = (I − Q i
j = 1, 2, . . . .
Èòåðàöèÿ ïðè j = 1 îòâå÷àåò îáû÷íîìó øàãó ïðîöåññà ðàìàØìèäòà. Îñòàíîâèâøèñü íà j -îé èòåðàöèè, íàõîäèì qi+1 = p(j) /kp(j) k2 . Ëåãêî âèäåòü, ÷òî
˜ ∗ p(j) = (I − Q ˜∗ Q ˜ i )j Q ˜ ∗ p(0) . β (j) ≡ Q i i i ˜∗ Q ˜ i áóäåò ñõîäÿùåéñÿ ⇒ β (j) → 0 ïðè Ïðè δi < 1 ìàòðèöà I − Q i j → ∞. Òàêèì îáðàçîì, âåêòîð q˜i ìîæíî ñäåëàòü ñ âûñîêîé ñòåïåíüþ
òî÷íîñòè îðòîãîíàëüíûì âñåì ïðåäûäóùèì âåêòîðàì äàæå â òîì ñëó÷àå, êîãäà ïîñëåäíèå îðòîãîíàëüíû ñ ñóùåñòâåííî ìåíüøåé ñòåïåíüþ òî÷íîñòè. Â.Õî ìàí ðåêîìåíäóåò 1 ïðîâîäèòü ðåîðòîãîíàëèçàöèþ äî òåõ ïîð, ïîêà kp(j) k2 1 ≤ . (∗) 2 kp(j−1)k2 8.11
Ìîäè èöèðîâàííûé àëãîðèòì ðàìàØìèäòà
àññìîòðèì äâå ïðîãðàììû, ðåàëèçóþùèå îðìóëû (8.8.3): DO
j = 1, k DO pj = aj DO i = 1, j − 1 pj = pj − qi (qi∗ aj ) END DO qj = pj /kpj k2 END DO END
j = 1, k pj = aj DO i = 1, j − 1 pj = pj − qi (qi∗ pj ) END DO qj = pj /kpj k2 DO
Âòîðàÿ ðåàëèçóåò ìîäè èöèðîâàííûé àëãîðèòì ðàìàØìèäòà. Îíà ïîëó÷àåòñÿ èç ïåðâîé çàìåíîé aj íà pj âî âíóòðåííåì öèêëå.  òî÷íîé àðè ìåòèêå ìîäè èöèðîâàííûé àëãîðèòì ýêâèâàëåíòåí èñõîäíîìó. Îäíàêî, â îòëè÷èå îò èñõîäíîãî âàðèàíòà, ìîäè èöèðîâàííûé àëãîðèòì óæå äàåò íåêîòîðóþ ãàðàíòèþ îðòîãîíàëüíîñòè â óñëîâèÿõ ìàøèííîé àðè ìåòèêè. À.Áüîðê ïîêàçàë, ÷òî σmax η, δk ≤ c(n, k) σmin ãäå σmax è σmin ìàêñèìàëüíîå è ìèíèìàëüíîå ñèíãóëÿðíûå ÷èñëà n × k ìàòðèöû A = [a1 , . . . , ak ], n ≥ k . Íåäàâíî ×. Øå èëä îáíàðóæèë, ÷òî â óñëîâèÿõ ìàøèííîé àðè ìåòèêè ìîäè èöèðîâàííûé àëãîðèòì ðàìàØìèäòà ñîâïàäàåò ñ àëãîðèòìîì îòðàæåíèé, ñòðîÿùèì QR-ðàçëîæåíèå ðàñøèðåííîé íóëÿìè ïðÿìîóãîëüíîé ìàòðèöû 0 k×k . Aˆ = A  1992 ãîäó Áüîðê è Ïåéäæ âûâîäà îöåíêè Áüîðêà.
2
èñïîëüçîâàëè ýòî íàáëþäåíèå äëÿ íîâîãî
1 W.Homann, Iterative algorithms for GramS hmidt orthogonalization, Computing 41: 335348 (1989). ( ýòîé ñòàòüå ïðèâîäèòñÿ ìíîãî ÷èñëîâûõ ïðèìåðîâ â ïîëüçó îðòîãîíàëüíîñòè òàì âñå æå íå ïîëó÷åíî.)
(∗),
õîòÿ ñòðîãîé îöåíêè äëÿ ìåðû
2 A.Bjor k, C.C.Paige, Loss and re apture of orthogonality in the modi ed GramS hmidt algorithm,
SIAM J. Matrix Anal. Appl. 13 (1): 176190 (1992).
Åñëè îðòîãîíàëüíîñòü âåêòîðîâ â ìîäè èöèðîâàííîì àëãîðèòìå íàñ âñåòàêè íå óñòðàèâàåò, åãî íóæíî äîïîëíèòü ïðîöåññîì ðåîðòîãîíàëèçàöèè. 8.12
Äâóõäèàãîíàëèçàöèÿ
Ìàòðèöà B = [bij ] íàçûâàåòñÿ (âåðõíåé) äâóõäèàãîíàëüíîé, èëè áèäèàãîíàëüíîé, åñëè bij = 0, êîãäà i > j èëè i + 1 < j . Ëþáóþ n × n-ìàòðèöó A ìîæíî ïðèâåñòè ê äâóõäèàãîíàëüíîìó âèäó
B = P A Q, ãäå P è Q ïðîèçâåäåíèÿ êîíå÷íîãî ÷èñëà ìàòðèö îòðàæåíèÿ (èëè âðàùåíèÿ). Ïóñòü èñïîëüçóþòñÿ îòðàæåíèÿ. Ñíà÷àëà ìû óìíîæàåì A ñëåâà íà ìàòðèöó îòðàæåíèÿ, àííóëèðóþùóþ âñå ïîääèàãîíàëüíûå ýëåìåíòû ïåðâîãî ñòîëáöà. Çàòåì óìíîæàåì ðåçóëüòàò ñïðàâà íà ìàòðèöó îòðàæåíèÿ, àííóëèðóþùóþ ýëåìåíòû ïåðâîé ñòðîêè â ïîçèöèÿõ ñ 3-é ïî n-þ. Âàæíî, ÷òî ðàíåå ïîëó÷åííûå íóëè â ïåðâîì ñòîëáöå ñîõðàíÿòñÿ! Äàëåå óìíîæåíèåì ñëåâà àííóëèðóåì âñå ïîääèàãîíàëüíûå ýëåìåíòû âòîðîãî ñòîëáöà, çàòåì óìíîæåíèåì ñïðàâà ïîëó÷àåì íóëè âî âòîðîé ñòðîêå â ïîçèöèÿõ ñ 4-é ïî n-þ, è ò.ä.. Ïîñëå êàæäîãî óìíîæåíèÿ íà ìàòðèöó îòðàæåíèÿ âñå ðàíåå ïîëó÷åííûå íóëè îñòàþòñÿ (ïðîâåðüòå). Ñ ïîìîùüþ óíèòàðíîé äâóõäèàãîíàëèçàöèè íåêîòîðûå (íå âñå!) çàäà÷è äëÿ ìàòðèöû A ñâîäÿòñÿ ê çàäà÷àì äëÿ äâóõäèàãîíàëüíîé ìàòðèöû B . Âîò âàæíûå ïðèìåðû: ïðîèçâîëüíîé ìàòðèöû A ìîæíî ïîëó÷àòü, íàó÷èâøèñü íàõîäèòü ñèíãóëÿðíîå ðàçëîæåíèå äâóõäèàãîíàëüíîé ìàòðèöû B .
•
Ñèíãóëÿðíîå ðàçëîæåíèå
•
Çàäà÷à íàèìåíüøèõ êâàäðàòîâ
8.13
äëÿ A, òî åñòü çàäà÷à ìèíèìèçàöèè kA x − bk2 ïî x, ñ ïîìîùüþ çàìåíû ïåðåìåííûõ x = Q u, b = P f ñâîäèòñÿ ê çàäà÷å ìèíèìèçàöèè kB u−f k2 ïî u äëÿ äâóõäèàãîíàëüíîé ìàòðèöû B . Ïðèâåäåíèå ê ïî÷òè òðåóãîëüíîé îðìå
Ìàòðèöà H = [hij ] íàçûâàåòñÿ (âåðõíåé) ïî÷òè òðåóãîëüíîé, èëè õåññåíáåðãîâîé, åñëè hij = 0 ïðè i > j + 1. Ëþáóþ n × n-ìàòðèöó A ìîæíî ïðèâåñòè ê óíèòàðíî ïîäîáíîé ïî÷òè òðåóãîëüíîé ìàòðèöå H = P A P ∗,
ãäå P - ïðîèçâåäåíèå êîíå÷íîãî ÷èñëà îòðàæåíèé (èëè âðàùåíèé). Ïóñòü èñïîëüçóþòñÿ îòðàæåíèÿ. Âûáåðåì ìàòðèöó îòðàæåíèÿ
P1 = I − 2uu∗ òàê, ÷òîáû ïåðâàÿ êîìïîíåíòà âåêòîðà u áûëà íóëåâîé è ïðè ýòîì
P1 [a11 , a21, a31, . . . , an1]T = [a11 , ∗, 0, . . . , 0]T . Êîãäà ìàòðèöà óìíîæàåòñÿ íà P1 ñëåâà, â íåé íå èçìåíÿþòñÿ ýëåìåíòû ïåðâîé ñòðîêè. Ïîýòîìó êîãäà ìàòðèöà óìíîæàåòñÿ íà P1∗ = P1 ñïðàâà, â íåé íå èçìåíÿþòñÿ ýëåìåíòû ïåðâîãî ñòîëáöà. Ïîýòîìó â ìàòðèöå P1 A P1 ïåðâûé ñòîëáåö èìååò íóëè â ïîçèöèÿõ ñ 3-é ïî n-þ. Äàëåå âûáèðàåì ìàòðèöû îòðàæåíèÿ P2 , . . . , Pn−2 òàê, ÷òîáû óìíîæåíèå ñëåâà íà Pi äàâàëî íóëè â ïîçèöèÿõ i-ãî ñòîëáöà ñ i + 2-é ïî n-þ.  èòîãå P = Pn−2 . . . P1 . Ïîäîáíûå ìàòðèöû èìåþò îäèíàêîâûé ñïåêòð. Òàêèì îáðàçîì, åñëè òðåáóåòñÿ íàéòè ñîáñòâåííûå çíà÷åíèÿ è ñîáñòâåííûå âåêòîðû äëÿ ïðîèçâîëüíîé ìàòðèöû A, íàì äîñòàòî÷íî íàó÷èòüñÿ ðåøàòü ýòó çàäà÷ó äëÿ ïî÷òè òðåóãîëüíîé ìàòðèöû H . Âàæíîå ñâîéñòâî: â ñèëó óíèòàðíîñòè ìàòðèöû P ïðîñòûå ñîáñòâåííûå çíà÷åíèÿ äëÿ H áóäóò èìåòü òå æå êîý èöèåíòû ïåðåêîñà, ÷òî è äëÿ A (äîêàæèòå). Åñëè ìàòðèöà A ýðìèòîâà, òî ïî÷òè òðåóãîëüíàÿ ìàòðèöà H áóäåò â äåéñòâèòåëüíîñòè òðåõäèàãîíàëüíîé (äîêàæèòå!). Çàäà÷è
1. Âåðíî ëè, ÷òî äëÿ ëþáûõ âåêòîðîâ a, b ∈ Cn îäèíàêîâîé äëèíû ñóùåñòâóåò ìàòðèöà îòðàæåíèÿ H òàêàÿ, ÷òî H a = b ? 2. Âåðíî ëè, ÷òî ëþáóþ ìàòðèöó âðàùåíèÿ ìîæíî ïðåäñòàâèòü êîíå÷íûì ïðîèçâåäåíèåì ìàòðèö îòðàæåíèÿ? 3. Âåðíî ëè, ÷òî ëþáóþ ìàòðèöó îòðàæåíèÿ ìîæíî ïðåäñòàâèòü êîíå÷íûì ïðîèçâåäåíèåì ìàòðèö âðàùåíèÿ? 4. Ïóñòü H = H ∗ . Äîêàæèòå íåðàâåíñòâî p
H β kHk22 + 4 kβk22 kHk + 2
≤ .
β∗ 0 2 2 (Îòñþäà âûòåêàåò îöåíêà (8.9.7)).
5. Äîêàæèòå, ÷òî ëþáàÿ ìàòðèöà ïîðÿäêà 3 óíèòàðíî ïîäîáíà òðåõäèàãîíàëüíîé ìàòðèöå.
A11 A12 6. Ìàòðèöà A = ñîñòàâëåíà èç êâàäðàòíûõ áëîêîâ Aij ïîðÿäA21 A22 êà n. Äîêàæèòå, ÷òî åñëè A ÿâëÿåòñÿ îäíîâðåìåííî îðòîãîíàëüíîé è âåðõíåé õåññåíáåðãîâîé (ïî÷òè òðåóãîëüíîé), òî rankA12 ≤ 1. 7. Ïîêàæèòå, ÷òî â óñëîâèÿõ ìàøèííîé àðè ìåòèêè ìîäè èöèðîâàííûé àëãîðèòì ðàìàØìèäòà äëÿ îðòîãîíàëèçàöèè ñòîëáöîâ n × k ìàòðèöû A ýêâèâàëåíòåí àëãîðèòìó îòðàæåíèé, ïîëó÷àþùåìó QRðàçëîæåíèå ðàñøèðåííîé íóëÿìè ïðÿìîóãîëüíîé ìàòðèöû 0 k×k . Aˆ = A 8. Ïóñòü H = P ∗ A P , ãäå P óíèòàðíàÿ ìàòðèöà. Äîêàæèòå, ÷òî ëþáîå ïðîñòîå ñîáñòâåííîå çíà÷åíèå äëÿ A èìååò òîò æå êîý èöèåíò ïåðåêîñà, ÷òî è äëÿ H . 9. Íàïèøèòå ïðîãðàììó, ðåàëèçóþùóþ ìîäè èöèðîâàííûé àëãîðèòì ðàìà-Øìèäòà è ïðèìåíèòå åå äëÿ îðòîãîíàëèçàöèè ñòîëáöîâ ìàòðèöû A = [1/(i + j − 1)] ïîðÿäêà n = 13. Ïîñëå çàâåðøåíèÿ ñ÷åòà âû÷èñëèòå ñêàëÿðíûå ïðîèçâåäåíèÿ îðòîíîðìèðîâàííûõ ñòîëáöîâ è óáåäèòåñü â òîì, ÷òî íåêîòîðûå èç íèõ äàëåêè îò ìàøèííîãî íóëÿ. Ïîñìîòðèòå, ÷òî íà ýòîì ïðèìåðå äàåò ðåîðòîãîíàëèçàöèÿ. 10. Äîêàæèòå, ÷òî ìåòîä QR-ðàçëîæåíèÿ, îñíîâàííûé íà âðàùåíèÿõ, ðåàëèçóåòñÿ çà O(n) ïàðàëëåëüíûõ øàãîâ.
ëàâà 9
9.1
Ïðîáëåìà ñîáñòâåííûõ çíà÷åíèé
Ïîä ïðîáëåìîé ñîáñòâåííûõ çíà÷åíèé ïîíèìàåòñÿ ñîâîêóïíîñòü çàäà÷, ñâÿçàííûõ ñ âû÷èñëåíèåì ñîáñòâåííûõ çíà÷åíèé è âåêòîðîâ. Ïóñòü òðåáóåòñÿ íàéòè âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A ∈ Cn×n . Êàê ïîäñòóïèòüñÿ ê ýòîé çàäà÷å? Äîâîëüíî ñòàðàÿ èäåÿ íàéòè êîý èöèåíòû õàðàêòåðèñòè÷åñêîãî ïîëèíîìà è ñâåñòè çàäà÷ó ê âû÷èñëåíèþ êîðíåé ïîëèíîìà. Äëÿ ïîëó÷åíèÿ êîý èöèåíòîâ õàðàêòåðèñòè÷åñêîãî ïîëèíîìà ìîæíî ïîñòðîèòü ïðÿìîé ìåòîä, òðåáóþùèé O (n3 ) àðè ìåòè÷åñêèõ îïåðàöèé. Îäíàêî, â êîìïüþòåðíóþ ýðó èäåÿ áûëà îòâåðãíóòà. Äåëî â òîì, ÷òî ñîáñòâåííûå çíà÷åíèÿ ìîãóò áûòü ñëàáî ÷óâñòâèòåëüíû ê ìàëûì âîçìóùåíèÿì ýëåìåíòîâ ìàòðèöû, íî ñèëüíî ÷óâñòâèòåëüíû ê ìàëûì âîçìóùåíèÿì êîý èöèåíòîâ åå õàðàêòåðèñòè÷åñêîãî ïîëèíîìà: õîðîøàÿ çàäà÷à ñâîäèòñÿ ê ïëîõîé! Òðóäíûìè íóæíî ñ÷èòàòü ñëó÷àè, êîãäà ñîáñòâåííûå çíà÷åíèÿ ñèëüíî ÷óâñòâèòåëüíû ê ìàëûì âîçìóùåíèÿì ýëåìåíòîâ ìàòðèöû. Åñëè ýòè ñîáñòâåííûå çíà÷åíèÿ âîçíèêëè íà ïðîìåæóòî÷íîì ýòàïå ðåøåíèÿ êàêîé-òî çàäà÷è, òî, âåðîÿòíî, èìååò ñìûñë ïîäóìàòü î òîì, íåëüçÿ ëè åå ðåøèòü áåç âû÷èñëåíèÿ îòäåëüíûõ ñîáñòâåííûõ çíà÷åíèé. Ñîâðåìåííàÿ òî÷êà çðåíèÿ 1 íà ðåøåíèå ñïåêòðàëüíûõ çàäà÷ ñâÿçàíà ñ èçó÷åíèåì òàê íàçûâàåìûõ ñïåêòðàëüíûõ ïîðòðåòîâ: äëÿ çàäàííîé ìàòðèöû A è ïàðàìåòðà ε > 0 ýòî ìíîæåñòâà âèäà
S(ε) = {z ∈ C : f (λ) ≡ σmin (A − zI) ≤ ε}, ãäå σmin (B) îáîçíà÷àåò ìèíèìàëüíîå ñèíãóëÿðíîå ÷èñëî ìàòðèöû B . Î÷åâèäíî, ñïåêòð ìàòðèöû A ñîäåðæèòñÿ â S(ε) (äîêàæèòå). Âîçìóùåíèÿ ïîðÿäêà ε ïîçâîëÿþò ñîáñòâåííûì çíà÷åíèÿì èçìåíÿòüñÿ â ïðåäåëàõ ìíîæåñòâà S(ε). Ïîýòîìó îòâåò ê çàäà÷å î âû÷èñëåíèè ñîáñòâåííûõ çíà÷å1 Ñ. Ê. îäóíîâ,
Ñîâðåìåííûå àñïåêòû ëèíåéíîé àëãåáðû, Íàó÷íàÿ êíèãà, Íîâîñèáèðñê, 1997. 81
íèé ïîëåçíî äàâàòü â âèäå ëèíèé óðîâíÿ óíêöèè f (λ), òî åñòü êðèâûõ, îïðåäåëåííûõ óñëîâèåì f (λ) = ε ïðè ðàçëè÷íûõ ε > 0. Òåì íå ìåíåå, ìû äîëæíû èçó÷èòü ïðåæäå âñåãî êëàññè÷åñêèå ìåòîäû, äàþùèå â êà÷åñòâå îòâåòà îòäåëüíûå ñîáñòâåííûå çíà÷åíèÿ. Âî ìíîãèõ ñëó÷àÿõ ñïåêòðàëüíûå çàäà÷è ðåøàþòñÿ ñ èõ ïîìîùüþ î÷åíü óñïåøíî (â ÷àñòíîñòè, äëÿ íîðìàëüíûõ è äîñòàòî÷íî áëèçêèõ ê íèì ìàòðèö). 9.2
Ñòåïåííîé ìåòîä
Ïóñòü A èìååò áàçèñ èç ñîáñòâåííûõ âåêòîðîâ: A zi = λi zi , è ïðåäïîëîæèì, ÷òî |λ1 | > |λ2 | > . . . > |λn |. Òîãäà λ1 ìîæíî íàéòè, ïðèìåíèâ ñòåïåííîé ìåòîä:
y0 íåíóëåâîé íà÷àëüíûé âåêòîð, x0 = y0/ky0k; yk = A xk−1, xk = yk /kyk k, k = 1, 2, . . . . (Ïî÷åìó íåîáõîäèìû íîðìèðîâêè?) Åñëè y0 = µ1 z1 + · · · + µn zn è µ1 6= 0, òî xk êîëëèíåàðåí âåêòîðó k ! k λ2 A y0 = z + O =⇒ x∗k A xk −→ λ1 . 1 k λ µ λ 1
1
1
×òîáû íàéòè λi ïðè i 6= 1, ìîæíî ïîïûòàòüñÿ ïîäîáðàòü α òàê, ÷òîáû λi − α ñòàëî ñòàðøèì ñîáñòâåííûì çíà÷åíèåì äëÿ ìàòðèöû A − α I . Âñåãäà ëè ýòî âîçìîæíî? Äðóãîé ïîäõîä ïðîâåñòè îäèí øàã èíäóêòèâíîãî äîêàçàòåëüñòâà òåîðåìû Øóðà è ïîëó÷èòü ïðèáëèæåíèå ê ìàòðèöå ïîðÿäêà n − 1 ñ ñîáñòâåííûìè çíà÷åíèÿìè λ2 , . . . , λn (ýòó ìàíèïóëÿöèþ èíîãäà íàçûâàþò èñ÷åðïûâàíèåì ).  ÷èñòîì âèäå ñòåïåííîé ìåòîä èñïîëüçóåòñÿ íå ÷àñòî. Íî ìíîãèå ñîâðåìåííûå àëãîðèòìû ÿâíî èëè íåÿâíî ýêñïëóàòèðóþò èìåííî åãî èäåþ. 9.3
Èòåðàöèè ïîäïðîñòðàíñòâà
Åñòåñòâåííûì ðàçâèòèåì èäåè ñòåïåííîãî ìåòîäà ìîæíî ñ÷èòàòü ìåòîä èòåðàöèè ïîäïðîñòðàíñòâà : Y0 n × m-ìàòðèöà ðàíãà m, Y0 = X0 R0 (QR-ðàçëîæåíèå ïðÿìîóãîëüíîé ìàòðèöû Y0 ); Yk = A Xk−1, Yk = Xk Rk (QR-ðàçëîæåíèå), k = 1, 2, . . . .
Ìåòîä ïîðîæäàåò ïîñëåäîâàòåëüíîñòü ïîäïðîñòðàíñòâ Lk = im Xk . Ïðè ýòîì ðîëü QR-ðàçëîæåíèÿ ñðîäíè íîðìèðîâêàì â ñòåïåííîì ìåòîäå (îíî äàåò îðòîíîðìèðîâàííûå áàçèñû â Lk ). Åñëè ïîäïðîñòðàíñòâî Lk èíâàðèàíòíî îòíîñèòåëüíî A (ýòî îçíà÷àåò, ÷òî A Lk ⊂ Lk ), òî Ak = Xk∗ A Xk åñòü äèàãîíàëüíûé áëîê áëî÷íî òðåóãîëüíîé ìàòðèöû, ïîäîáíîé A (ïî÷åìó?). Ïîýòîìó
λ (Ak ) ⊂ λ (A). Ïðè îïðåäåëåííûõ óñëîâèÿõ ñ ðîñòîì k ïîäïðîñòðàíñòâî Lk áóäåò ïðèáëèæàòüñÿ ê íåêîòîðîìó èíâàðèàíòíîìó ïîäïðîñòðàíñòâó ìàòðèöû A. Ïîýòîìó ñîáñòâåííûå çíà÷åíèÿ m × m-ìàòðèöû Ak (îáû÷íî m ìíîãî ìåíüøå n) áóäóò ïðèáëèæàòü ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A. Äëÿ ñòðîãîãî àíàëèçà, î÷åâèäíî, íóæíî êàê-òî îïðåäåëèòü ðàññòîÿíèå ìåæäó ïîäïðîñòðàíñòâàìè. 9.4
àññòîÿíèå ìåæäó ïîäïðîñòðàíñòâàìè
àññòîÿíèå ìåæäó âåêòîðîì x ∈ Cn è ïîäïðîñòðàíñòâîì M ⊂ Cn îïðåäåëÿåòñÿ òàê: ρ (x, M) ≡ min kx − yk2 . y ∈ M
Ïîýòîìó, êàçàëîñü áû, ìîæíî îïðåäåëèòü ðàññòîÿíèå ìåæäó ïîäïðîñòðàíñòâàìè L è M êàê
ρ (L, M) ≡
max
x ∈ L, kxk2 = 1
ρ (x, M).
Âîïðîñ: óäîâëåòâîðÿåò ëè ρ àêñèîìàì ìåòðè÷åñêîãî ïðîñòðàíñòâà? Ìû ñêîðî óâèäèì, ÷òî ýòî òàê, åñëè ðàññìàòðèâàòü ëèøü ïîäïðîñòðàíñòâà îäèíàêîâîé ðàçìåðíîñòè. Åñëè æå ðàçìåðíîñòè íå îäèíàêîâû, òî â îáùåì ñëó÷àå ρ (L, M) 6= ρ (M, L). Ïðîâåðüòå, ÷òî åñëè L íå îðòîãîíàëüíî M è dim L > dim M , òî ρ (L, M) = 1, íî ρ (M, L) < 1. Âñå àêñèîìû ìåòðè÷åñêîãî ïðîñòðàíñòâà áóäóò î÷åâèäíûì îáðàçîì âûïîëíåíû, åñëè ðàññòîÿíèå ââåñòè ñëåäóþùèì îáðàçîì:
dist (L, M) ≡ max {ρ (L, M), ρ (M, L)}. 9.5
Ïîäïðîñòðàíñòâà è îðòîïðîåêòîðû
Ìàòðèöà P íàçûâàåòñÿ îðòîïðîåêòîðîì, åñëè P 2 = P
è
P ∗ = P.
Åñëè L = im P , òî âåêòîð P x ýòî îðòîãîíàëüíàÿ ïðîåêöèÿ âåêòîðà x íà ïîäïðîñòðàíñòâî L. Óòâåðæäåíèå 1.
Äîêàçàòåëüñòâî.
y∈L ⇒ y=Pv ⇒ y ∗ (x − P x) = v ∗ P ∗ (x − P x) = v ∗ (P x − P 2 x) = 0.
2
Ïîíÿòíî, ÷òî êàæäîìó ïîäïðîñòðàíñòâó L îòâå÷àåò åäèíñòâåííûé îðòîïðîåêòîð PL òàêîé, ÷òî im PL = L (äîêàæèòå!).
Åñëè ñòîëáöû ìàòðèöû Q îáðàçóþò îðòîíîðìèðîâàííûé áàçèñ â L, òî PL = Q Q∗ .
Óòâåðæäåíèå 2.
Äîêàçàòåëüñòâî.
(Q Q∗)2 = Q (Q∗ Q) Q∗ = Q Q∗; 9.6
(Q Q∗)∗ = (Q∗)∗ Q∗ = Q Q∗. 2
àññòîÿíèÿ è îðòîïðîåêòîðû
Ïóñòü îðòîïðîåêòîðû PL è PM îòâå÷àþò ïîäïðîñòðàíñòâàì L è M . Òîãäà ρ (L, M) = ||(I − PM ) PL ||2 .
Ëåììà 9.6.1
Äîêàçàòåëüñòâî.
ρ (L, M) = ||PL x − PM PL x||2 (äëÿ íåêîòîðîãî x = PL x, kxk2 = 1) ≤ ||PL − PM PL ||2 = ||(I − PM ) PL ||2 . Òåïåðü ïîêàæåì, ÷òî ||(I − PM ) PL ||2 ≤ ρ (L, M). Ïóñòü
||(I − PM ) PL||2 = ||(I − PM ) PL yk2, kyk2 = 1. Åñëè PL y = 0, òî ýòî î÷åâèäíî. Åñëè PL y 6= 0, òî
PL y P y L
kPL yk2 ≤ ρ (L, M). 2 − P ||(I − PM ) PL y||2 ≤ M
kPL yk2 kPL yk2 2
Ïóñòü îðòîïðîåêòîðû PL è PM îòâå÷àþò ïîäïðîñòðàíñòâàì L è M . Òîãäà
Òåîðåìà 9.6.1
dist (L, M) = kPL − PM k2.
Äîêàçàòåëüñòâî.
Ñîãëàñíî ëåììå 9.6.1,
ρ (L, M) = ||(I − PM ) PL ||2 = ||(PL − PM ) PL||2 ≤ ||PL − PM ||2 . ⇒
dist (L, M) ≤ kPL − PM k2 .
Äàëåå, ∃ x ∈ Cn , kxk2 = 1 : ||PL − PM ||2 = ||(PL − PM ) x||2 . Ïî òåîðåìå Ïè àãîðà,
||(PL − = = ≤ ≤
PM ) x||22 ||PL (PL − PM ) x||22 + ||(I − PL ) (PL − PM ) x||22 ||PL (I − PM ) x||22 + ||(I − PL ) PM x||22 ||PL (I − PM )||22 ||(I − PM ) x||22 + ||(I − PL ) PM ||22 ||PM x||22 max {k(PL (I − PM )k22, k(I − PL ) PM k22}.
Îñòàåòñÿ çàìåòèòü, ÷òî
||PL (I − PM )||2 = ||(PL (I − PM ))∗||2 = ||(I − PM ) PL||2 ≤ ρ (L, M). 2 àññòîÿíèå ìåæäó ïîäïðîñòðàíñòâàìè ðàâíî ðàññòîÿíèþ ìåæäó èõ îðòîãîíàëüíûìè äîïîëíåíèÿìè. Ñëåäñòâèå 9.6.1
9.7
Ïîäïðîñòðàíñòâà îäèíàêîâîé ðàçìåðíîñòè
Ëåììà 9.7.1
Åñëè ìàòðèöà Q11 Q12 Q= , Q21 Q22
Q11 ∈ Cm×m , Q22 ∈ Ck×k ,
óíèòàðíàÿ, òî kQ12 k2 = kQ21k2 . àññìîòðèì ñèíãóëÿðíîå ðàçëîæåíèå äëÿ ïåðâîãî äèàãîíàëüíîãî áëîêà: Q11 = U1 Σ1 V1∗ , è ïåðåéäåì ê äðóãîé óíèòàðíîé ìàòðèöå Äîêàçàòåëüñòâî.
ˆ = Q
U1∗ 0 0 I
ˆ 12k2, ßñíî, ÷òî kQ12k2 = kQ ˆQ ˆ∗ = I Q ˆ∗ Q ˆ=I Q
Q
V1 0 0 I
=
Σ1 ˆ 21 Q
ˆ 12 Q ˆ 22 Q
.
ˆ 21k2. Â òî æå âðåìÿ, kQ21k2 = kQ ⇒ ⇒
ˆ 12 Q ˆ ∗ = I − Σ2 , Q 1 12 ∗ 2 ˆ Q ˆ Q 21 21 = I − Σ1 . 2
Ïóñòü ïîäïðîñòðàíñòâà L è M èìåþò îäèíàêîâóþ ðàçìåðíîñòü è óíèòàðíûå ìàòðèöû U = [U1 U2 ] è V = [V1 V2 ] òàêîâû, ÷òî im U1 = L, im V1 = M. Òåîðåìà 9.7.1
Òîãäà
dist (L, M) = kU1∗ V2 k2 = kU2∗ V1 k2 .
Äîêàçàòåëüñòâî.
U
∗
(U1 U1∗
Ñëåäñòâèå 9.7.1
−
V1 V1∗ ) V
=
0 U1∗ V2 −U2∗ V1 0
. 2
Åñëè dim L = dim M , òî ρ (L, M) = ρ (M, L).
Äîêàçàòåëüñòâî.
U ∗ (U1 U1∗) (I − (V1 V1∗)) V = V 9.8
∗
(V1 V1∗)
(I −
(U1 U1∗ ))
U =
Óãëû ìåæäó ïîäïðîñòðàíñòâàìè è
0 U1∗ V2 0 0 0 V1∗ U2 0 0
, . 2
CS -ðàçëîæåíèå
àññòîÿíèå ìåæäó ïîäïðîñòðàíñòâàìè ýòî ëèøü îäíà èç õàðàêòåðèñòèê âçàèìîðàñïîëîæåíèÿ äâóõ ïîäïðîñòðàíñòâ. Áîëåå äåòàëüíóþ èí îðìàöèþ äàþò òàê íàçûâàåìûå ãëàâíûå óãëû ìåæäó ïîäïðîñòðàíñòâàìè. ×òîáû ââåñòè èõ, òðåáóåòñÿ CS -ðàçëîæåíèå íåêîòîðîé óíèòàðíîé ìàòðèöû, ñâÿçàííîé ñ äâóìÿ ïîäïðîñòðàíñòâàìè.
Ïóñòü Q óíèòàðíàÿ ìàòðèöà ïîðÿäêà n. Òîãäà äëÿ ëþáîãî m ≤ n/2 ñóùåñòâóþò óíèòàðíûå ìàòðèöû U1 , V1 ïîðÿäêà m è óíèòàðíûå ìàòðèöû U2 , V2 ïîðÿäêà n − m òàêèå, ÷òî C S 0 U1 0 V1 0 Q (∗) = −S C 0 , 0 U2 0 V2 0 0 In−2 m Òåîðåìà 9.8.1
C = diag (c1, . . . , cm ), S = diag (s1, . . . , sm ), c1 ≥ · · · ≥ cm ≥ 0,
0 ≤ s1 ≤ · · · ≤ sm ,
c2i + s2i = 1,
i = 1, . . . , m.
àçëîæåíèå (∗) íàçûâàåòñÿ CS -ðàçëîæåíèåì óíèòàðíîé ìàòðèöû Q. Äëÿ äîêàçàòåëüñòâà ïðåäñòàâèì Q â áëî÷íîì âèäå Q11 Q12 , Q11 ∈ Cm×m , Q21 Q22 è ðàññìîòðèì ñèíãóëÿðíîå ðàçëîæåíèå áëîêa Q11 = U C V ∗ . Ïîëó÷àåì ∗ U 0 V 0 C W12 Q = ≡ W. 0 In−m 0 In−m W21 W22 àâåíñòâa W W ∗ = W ∗ W = I âëåêóò çà ñîáîé ∗ ∗ W12 W12 = W21 W21 = Im − C 2 ≡ S 2 .
Îòñþäà âèäíî, ÷òî ñóùåñòâóþò óíèòàðíûå ìàòðèöû X, Y ïîðÿäêà n − m òàêèå, ÷òî W12 Y = [S, 0], X W21 = [−S, 0]T . (Çäåñü åñòü íåêîòîðûé ïðîèçâîë: íàïðèìåð, ìîæíî áûëî áû S è −S ïîìåíÿòü ìåñòàìè èëè óìíîæèòü èõ íà ëþáûå óíèòàðíûå äèàãîíàëüíûå ìàòðèöû.) Äîâåäèòå äîêàçàòåëüñòâî äî êîíöà!
Ïóñòü ïîäïðîñòðàíñòâà L è M èìåþò îäèíàêîâóþ ðàçìåðíîñòü m ≤ n2 . Òîãäà ñóùåñòâóþò îðòîíîðìèðîâàííûå áàçèñû u1, . . . , um ∈ L è v1, . . . , vm ∈ M òàêèå, ÷òî ci , i = j, u∗i vj = 0, i 6= j, Ñëåäñòâèå 9.8.1
ãäå ÷èñëà c1 ≥ · · · ≥ cm ≥ 0 îïðåäåëÿþòñÿ îäíîçíà÷íî.
×òîáû äîêàçàòü ñëåäñòâèå, äîñòàòî÷íî ðàññìîòðåòü CS -ðàçëîæåíèå óíèòàðíîé ìàòðèöû U ∗ V , ãäå U = [U1 U2 ], V = [V1 V2 ] óíèòàðíûå ìàòðèöû òàêèå, ÷òî L = im U1 , M = im V1 . Ìîæíî çàïèñàòü
π . 2 Óãëû φi íàçûâàþòñÿ ãëàâíûìè óãëàìè ìåæäó ïîäïðîñòðàíñòâàìè L è M . ci = cos φi ,
9.9
0≤φ≤
Ñõîäèìîñòü äëÿ áëî÷íî äèàãîíàëüíîé ìàòðèöû
Ïóñòü
A=
A1 0 0 A2
,
A1 ∈ Cm×m , A2 ∈ Cr×r ,
∃ A−1 1 .
(∗)
Ââåäåì m-ìåðíîå ïîäïðîñòðàíñòâî M , íàòÿíóòîå íà ïåðâûå m ñòîëáöîâ åäèíè÷íîé ìàòðèöû. Î÷åâèäíî, M èíâàðèàíòíî îòíîñèòåëüíî A. ×òîáû çàñòàâèòü ìåòîä èòåðàöèè ïîäïðîñòðàíñòâà ñõîäèòüñÿ ê M , ïîòðåáóåì, ÷òîáû íà÷àëüíîå m-ìåðíîå ïîäïðîñòðàíñòâî L íå áûëî ñëèøêîì äàëåêèì îò M (èñïîëüçóåì îáîçíà÷åíèÿ ðàçäåëà 9.4):
β ≡ ρ (L, M) < 1. Ëåììà 9.9.1
(∗∗)
 óñëîâèÿõ (∗) è (∗∗)
β
||A2||2 ||A−1 1 ||2 .
(9.9.1) 1 − β2 y1 x1 Äîêàçàòåëüñòâî. Ïóñòü y = A x, y = , x= , x1, y1 ∈ Cm . y2 x2 Ïðåäïîëîæèì, ÷òî x ∈ L, ρ (A L, M) = ρ (y, M), ||y||2 = 1. Òîãäà
ρ (A L, M) ≤ p
ρ(
||x2 ||2 x , M) = ≤β ||x||2 ||x||2 ρ (y, M) = ||y2 ||2
= ≤ ≤ ≤
⇒
||x2 ||2 ≤ p
β 1 − β2
||x1 ||2
||A2 x2||2 ≤ ||A2 ||2 ||x2 || β ||x1||2 ||A2 ||2 p 1 − β2 β ||A−1 ||A2 ||2 p 1 y1 ||2 1 − β2 β ||A2 ||2 p ||A−1 1 ||2 . 2 1 − β2
⇒
Îáîçíà÷èì ÷åðåç λm+1 ìàêñèìàëüíîå ïî ìîäóëþ ñîáñòâåííîå çíà÷åíèå áëîêà A2 , ÷åðåç λm ìèíèìàëüíîå ïî ìîäóëþ ñîáñòâåííîå çíà÷åíèå áëîêà A1, è ïîëîæèì γ = γ (A1, A2) ≡ |λm+1 | / |λm |. (9.9.2) Ñëåäñòâèå 9.9.1
Åñëè γ < 1, òî ∀ q ∈ (γ, 1) ∃ c = c (q) :
ρ (Ak L, M) ≤ c q k , Äîêàçàòåëüñòâî.
k = 1, 2, . . . .
Ïðèìåíèì ëåììó 9.9.1 ê ìàòðèöå Ak :
β ||Ak2 ||2 ||(A−1 )k ||2 . ρ (Ak L, M) ≤ p 1 1 − β2
1 Ìû çíàåì, ÷òî äëÿ ëþáîé ìàòðèöû A ïîñëåäîâàòåëüíîñòü ||Ak ||2 k ñòðåìèòñÿ ïðè k → ∞ ê ñïåêòðàëüíîìó ðàäèóñó ìàòðèöû A (ìàêñèìàëüíîìó ïî ìîäóëþ åå ñîáñòâåííîìó çíà÷åíèþ). Ñëåäîâàòåëüíî, ∀ δ > 0 ∃ kδ : k > kδ ⇒ k 1 k k ||Ak2 ||2 ||(A−1 +δ . 1 ) ||2 ≤ (|λm+1 | + δ) |λm | Äëÿ ëþáîãî q > γ ïðè âñåõ äîñòàòî÷íî ìàëûõ δ íåðàâåíñòâà áóäåò ìåíüøå q k . 2
9.10
> 0 ïðàâàÿ ÷àñòü
Ñõîäèìîñòü â îáùåì ñëó÷àå
Ïóñòü
A = Z Λ Z −1, A1 ∈ Cm×m ,
Λ=
A1 0 0 A2
A2 ∈ Cr×r ,
,
(9.10.3)
∃ A−1 1 .
Äëÿ ëþáîé íåâûðîæäåííîé ìàòðèöû Z è ïîäïðîñòðàíñòâ L, M âûïîëíÿåòñÿ íåðàâåíñòâî Ëåììà 9.10.1
ρ (Z L, Z M) ≤ cond2 Z ρ (L, M). Äîêàçàòåëüñòâî.
Ïóñòü x ∈ L, ||x||2 = 1 è ïðè ýòîì
ρ (Z L, Z M) = ρ ( Íàõîäèì:
ρ(
Zx , Z M). ||Z x||2
Zx Z Zx , Z M) = ρ ( , M) ||Z x||2 ||Z x||2 ||Z x||2 1 ||Z (x − z)||2 ( ∀ z ∈ M ) ≤ ||Z x||2 ||Z||2 ≤ ||x − z||2 ||Z x||2 ≤ ||Z||2 ||Z −1||2 ρ (L, M). 2
Ïóñòü A èìååò âèä (9.10.3), ïîäïðîñòðàíñòâî M åñòü ëèíåéíàÿ îáîëî÷êà, íàòÿíóòàÿ íà ïåðâûå m ñòîëáöîâ ìàòðèöû Z , à mìåðíîå ïîäïðîñòðàíñòâî L òàêîâî, ÷òî Òåîðåìà 9.10.1
β ≡ ρ (Z −1 L, Z −1 M) < 1.
Ïóñòü γ èìååò âèä (9.9.2). Òîãäà åñëè γ < 1, òî ∀ q ∈ (γ, 1) ∃ c = c (q) :
ρ (Ak L, M) ≤ c q k ,
k = 1, 2, . . . .
Îáùèé ñëó÷àé ñâîäèòñÿ ê ñëó÷àþ áëî÷íî äèàãîíàëüíîé ìàòðèöû Λ, èìåþùåé èíâàðèàíòíîå ïîäïðîñòðàíñòâî Z −1 M (ïî÷åìó?). Ìû óæå çíàåì, ÷òî äëÿ Λ èòåðàöèè íà÷àëüíîãî ïîäïðîñòðàíñòâà Z −1 L áóäóò ñõîäèòüñÿ ê Z −1 M : ïðè q ∈ (γ, 1) Äîêàçàòåëüñòâî.
ρ (Λk (Z −1 L), (Z −1 M)) ≤ c q k . Ïîñêîëüêó Ak = Z Λk Z −1 , ñ ïîìîùüþ ëåììû 9.10.1 íàõîäèì
ρ (Ak L, M) = ρ (Z (Λk Z −1 L), Z (Z −1 M) ≤ cond2 Z c q k . 2 Åñëè ýòîò àíàëèç ïîêàçàëñÿ Âàì ñîâåðøåííî åñòåñòâåííûì è ïðîñòûì, ïðèìèòå âñå æå âî âíèìàíèå, ÷òî äîáèòüñÿ ýòîé ïðîñòîòû ñòîèëî íåìàëûõ óñèëèé. 2 Çàäà÷è
1. Ïóñòü H âåðõíÿÿ õåññåíáåðãîâà ìàòðèöà ïîðÿäêà n ñ íåíóëåâîé ïîääèàãîíàëüþ, à T (λ) âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà âèäà 1 0 . T (λ) = . . . H − λ I 0 0 0 ... 0 1 Äîêàæèòå, ÷òî ñèñòåìà óðàâíåíèé
T (λ) [φ0 (λ), . . . , φn (λ)]T = [0, . . . , 0, 1]T îòíîñèòåëüíî ïîëèíîìîâ φ0 (λ), . . . , φn (λ) èìååò åäèíñòâåííîå ðåøåíèå è ïðè ýòîì φ0 (λ) ëèøü íåíóëåâûì êîý èöèåíòîì îòëè÷àåòñÿ îò õàðàêòåðèñòè÷åñêîãî ïîëèíîìà ìàòðèöû H . 2. Ïðèäóìàéòå àëãîðèòì, ïîëó÷àþùèé êîý èöèåíòû õàðàêòåðèñòè÷åñêîãî ïîëèíîìà ïðîèçâîëüíîé õåññåíáåðãîâîé ìàòðèöû ïîðÿäêà n çà O (n3) àðè ìåòè÷åñêèõ îïåðàöèé. 2 D.S.Watkins, L.Elsner, Convergen e of algorithms of de omposition type for the eigenvalue problem,
Linear Algebra Appl. 143: 1947 (1991).
3. Ïðèäóìàéòå àëãîðèòì, ïîëó÷àþùèé êîý èöèåíòû õàðàêòåðèñòè÷åñêîãî ïîëèíîìà ïðîèçâîëüíîé n×n-ìàòðèöû çà O (n3 ) àðè ìåòè÷åñêèõ îïåðàöèé. 4. Äàíà ìàòðèöà A ïîðÿäêà n. Ïðèäóìàéòå àëãîðèòì, âû÷èñëÿþùèé ñëåäû ìàòðèö A, A2 , ... , An çà O(log2 n) ïàðàëëåëüíûõ øàãîâ. Çíàÿ ýòè ñëåäû, êîý èöèåíòû õàðàêòåðèñòè÷åñêîãî ïîëèíîìà ìîæíî íàéòè çà O(log2 n) ïàðàëëåëüíûõ øàãîâ êàê? 5. Äîêàæèòå, ÷òî dist (L, M) = 1 òîãäà è òîëüêî òîãäà, êîãäà L ñîäåðæèò íåíóëåâîé âåêòîð, îðòîãîíàëüíûé M . 6. Äîêàæèòå, ÷òî ðàññòîÿíèå ìåæäó ëþáûìè äâóìÿ ïîäïðîñòðàíñòâàìè â Cn ðàâíî ðàññòîÿíèþ ìåæäó èõ îðòîãîíàëüíûìè äîïîëíåíèÿìè. 7. Äàéòå ïîëíîå äîêàçàòåëüñòâî òåîðåìû î CS -ðàçëîæåíèè óíèòàðíîé ìàòðèöû. 8. Óíèòàðíàÿ ìàòðèöà ïðåäñòàâëåíà â áëî÷íîì âèäå: Q11 Q12 Q= , Q11, Q22 ∈ Cm×m . Q21 Q22 Äîêàæèòå, ÷òî |det (Q12)| = |det (Q21 )|. 9. Ïóñòü A íåâûðîæäåííàÿ ìàòðèöà ïîðÿäêà n; L è M ïîäïðîñòðàíñòâà â Cn . Äîêàæèòå, ÷òî
dist (A L, A M) ≤ cond2 (A) dist (L, M). 10. Åñëè ïîäïðîñòðàíñòâà L è M èìåþò îäèíàêîâóþ ðàçìåðíîñòü, òî äëÿ ëþáîãî îðòîíîðìèðîâàííîãî áàçèñà â L (ñòîëáöû ìàòðèöû U ) ñóùåñòâóåò òàêîé îðòîíîðìèðîâàííûé áàçèñ â M (ñòîëáöû ìàòðèöû V ), ÷òî √ ||U − V ||2 ≤ 2 dist (L, M). Äîêàæèòå. 11. Âåðíî ëè, ÷òî åñëè ρ (L, M) < 1, L, M ∈ Cn , òî ρ (Z L, Z M) < 1 äëÿ ëþáîé íåâûðîæäåííîé n × n-ìàòðèöû Z ? 12. Äîêàæèòå, ÷òî åñëè äëÿ îðòîïðîåêòîðîâ P è Q èìååò ìåñòî íåðàâåíñòâî ||P − Q||2 < 1, òî rankP = rankQ.
13. Ñòîëáöû ìàòðèöû Q ðàçìåðîâ n × (n − 1) îáðàçóþò îðòîíîðìèðîâàííóþ ñèñòåìó. Äîêàæèòå, ÷òî â Q ìîæíî íàéòè íåâûðîæäåííóþ ïîäìàòðèöó M ïîðÿäêà n − 1, äëÿ êîòîðîé èìååò ìåñòî íåðàâåíñòâî √ ||M −1 ||2 ≤ n.
ëàâà 10
10.1
QR-àëãîðèòì
Åñëè íàñ èíòåðåñóþò ìàòðèöû îáùåãî âèäà, ïîðÿäîê êîòîðûõ íå áîëüøå òûñÿ÷è (íåñêîëüêèõ òûñÿ÷), òî äëÿ âû÷èñëåíèÿ âñåõ ñîáñòâåííûõ çíà÷åíèé (è ñîáñòâåííûõ âåêòîðîâ) ìîæíî ðåêîìåíäîâàòü QR-àëãîðèòì. Åãî ïðèäóìàëè â íà÷àëå 60-õ ãîäîâ Â. Í. Êóáëàíîâñêàÿ ( îññèÿ) è Äæ. Ôðýíñèñ (Àíãëèÿ). Ìû íà÷íåì ñ îáñóæäåíèÿ QR-àëãîðèòìà â åãî èçíà÷àëüíîé (îðòîäîêñàëüíîé) îðìå. Ïðåæäå âñåãî ïîïûòàåìñÿ ðàçîáðàòüñÿ, ïî÷åìó è ïðè êàêèõ óñëîâèÿõ QR-àëãîðèòì ñõîäèòñÿ. Âàæíîå çàìå÷àíèå: â ñîâðåìåííîì ïîíèìàíèè QR-àëãîðèòì ïðåäñòàâëÿåò ñîáîé ìîäè èêàöèþ îðòîäîêñàëüíîé ñõåìû ñ íåêîòîðîé ñîâîêóïíîñòüþ ðåöåïòîâ, äåëàþùèõ åãî äåéñòâèòåëüíî ý åêòèâíûì.
QR-àëãîðèòì (â îðòîäîêñàëüíîé îðìå): A0 = A èñõîäíàÿ ìàòðèöà; Ak−1 = Qk Rk (QR-ðàçëîæåíèå), Ak = Rk Qk , 10.2
k = 1, 2, . . . .
Îñíîâíûå ñîîòíîøåíèÿ
Âîò îñíîâíûå ñîîòíîøåíèÿ, íåîáõîäèìûå äëÿ àíàëèçà QR-àëãîðèòìà:
Ak = Zk∗ A Zk ,
Zk = Q1 . . . Qk ;
(10.2.1)
Ak = Zk Uk ,
Uk = Rk . . . R1 .
(10.2.2)
×òîáû ïîëó÷èòü (10.2.1), äîñòàòî÷íî çàìåòèòü, ÷òî ìàòðèöà Ak óíèòàðíî ïîäîáíà Ak−1: Äîêàçàòåëüñòâî.
Ak = Q∗k (Qk Rk ) Qk = Q∗k Ak−1 Qk . ×òîáû ïîëó÷èòü (10.2.2), çàïèøåì
Ak = (Q1 R1)k = Q1 (R1 Q1)k−1 R1 = Q1 Ak−1 R1. 1 93
Åñëè óæå äîêàçàíî, ÷òî Ak−1 = (Q2 . . . Qk ) (Rk . . . R2 ), òî íàõîäèì 1
Ak = Q1 (Q2 . . . Qk ) (Rk . . . R2) R1 . 2 Âûïîëíèâ k èòåðàöèé QR-àëãîðèòìà, ìû ñâîäèì çàäà÷ó äëÿ A ê òîé æå çàäà÷å äëÿ Ak . Ïîïðîáóåì ïîíÿòü, ïî÷åìó ðåøàòü çàäà÷ó äëÿ Ak áóäåò ïðîùå. 10.3
Ñõîäèìîñòü
QR-àëãîðèòìà
Ñäåëàåì òðè ïðåäïîëîæåíèÿ: Λ 0 1 (1) A = X Λ X −1 , Λ = , Λ1 ∈ Cm×m , Λ2 ∈ Cr×r ; 0 Λ2 (2) |λ1 | ≥ . . . ≥ |λm | > |λm+1 | ≥ . . . ≥ |λm+r | > 0,
{λ1, . . . , λm } = λ (Λ1 ),
{λm+1 , . . . , λm+r } = λ (Λ2);
(3) âåäóùàÿ ïîäìàòðèöà ïîðÿäêà m â X −1 íåâûðîæäåííàÿ.
Ïóñòü äëÿ ìàòðèöû A âûïîëíåíû ïðåäïîëîæåíèÿ (1), (2), (3) è QR-àëãîðèòì ïîðîæäàåò ïîñëåäîâàòåëüíîñòü ìàòðèö " # (k) (k) A11 A12 Ak = . (k) (k) A21 A22 Òåîðåìà 10.3.1
Òîãäà
(k)
A21 → 0 ïðè k → 0.
Áîëåå òîãî, åñëè γ ≡ |λm+1 |/|λm |, òî
∀ q ∈ (γ, 1) ∃ c = c (q) :
(k)
||A21 ||2 ≤ c q k ,
k = 1, 2, . . . .
Ïðåæäå ÷åì äîêàçûâàòü ýòó òåîðåìó, îáñóäèì åå. Ñõîäèìîñòü QR-àëãîðèòìà òðàêòóåòñÿ â íåé êàê ñõîäèìîñòü ê íóëþ ïîääèàãîíàëüíîãî áëîêà ìàòðèöû Ak . Ìàëîñòü ïîääèàãîíàëüíîãî áëîêà îçíà÷àåò, ÷òî ìàòðèöà áëèçêà ê íåêîòîðîé âåðõíåé áëî÷íî òðåóãîëüíîé ìàòðèöå. Åñëè ìû ðåøèëè, ÷òî áëîê äîñòàòî÷íî ìàë, òî çàìåíÿåì åãî íóëåì è çàòåì èùåì (íàïðèìåð, ñ ïîìîùüþ òîãî æå QR-àëãîðèòìà) ñîáñòâåííûå (k) (k) çíà÷åíèÿ äëÿ äèàãîíàëüíûõ áëîêîâ A11 è A22 . Ïðåäïîëîæèì, ÷òî óñëîâèÿ (1), (2), (3) âûïîëíåíû äëÿ âñåõ 1 ≤ m ≤ n−1. Òîãäà ñõîäÿòñÿ ê íóëþ âñå ïîääèàãîíàëüíûå áëîêè. Äðóãèìè ñëîâàìè:
âñå ïîääèàãîíàëüíûå ýëåìåíòû ìàòðèö Ak ñòðåìÿòñÿ ê íóëþ ⇒ äèàãîíàëüíûå ýëåìåíòû ìàòðèö Ak ñõîäÿòñÿ ê èñêîìûì ñîáñòâåííûì çíà÷åíèÿì ìàòðèöû A. Ïåññèìèñòè÷åñêîå çàìå÷àíèå: åñëè ðàññìîòðåííûå âûøå ïðåäïîëîæåíèÿ íå âûïîëíåíû, òî, âîçìîæíî, íè îäèí èç ïîääèàãîíàëüíûõ áëîêîâ íå ñõîäèòñÿ ê íóëþ. Ýòî îçíà÷àåò, ÷òî â îáùåì ñëó÷àå QR-àëãîðèòì íå îáÿçàí ñõîäèòüñÿ (ïðèâåäèòå ïðèìåð). Îïòèìèñòè÷åñêîå çàìå÷àíèå: âíåñÿ â ýëåìåíòû ìàòðèöû ñêîëü óãîäíî ìàëûå âîçìóùåíèÿ, ìû âñåãäà ìîæåì óäîâëåòâîðèòü ïðåäïîëîæåíèÿ (1), (2), (3) (ïî÷åìó?). 10.4
Äîêàçàòåëüñòâî òåîðåìû î ñõîäèìîñòè
Äîêàæåì òåîðåìó 10.3.1. Äîêàçàòåëüñòâî. Ñîãëàñíî óñëîâèÿì òåîðåìû, ìàòðèöà A íåâûðîæäåííàÿ (ïî÷åìó?). Èç ñîîòíîøåíèÿ (10.2.2) ïîëó÷àåì Zk = Ak Uk−1 è Zk−1 = Uk A−k . Ñëåäîâàòåëüíî,
Ak = (Uk A−k ) A (Ak Uk−1).  ñèëó ïðåäïîëîæåíèÿ (3) äëÿ X −1 ñóùåñòâóåò áëî÷íîå LU -ðàçëîæåíèå:
X
−1
= LU =
I 0 L21 I
U11 U12 0 U22
.
Èñïîëüçóÿ åãî, íàõîäèì:
⇒
Ak Uk−1 = = Uk A−k = Ak = =
(X Λ X −1 )k Uk−1 = X Λk (L U ) Uk−1 (X Λk L Λ−k ) Φk , ãäå Φk = Λk U Uk−1. k −1 −k Φ−1 Λ X −1 ) ⇒ k (Λ L k −1 −k Φ−1 Λ X −1 ) (X Λ X −1 )(X Λk L Λ−k ) Φk k (Λ L ãäå Ψk = Λk [L−1 Λ L] Λ−k . Φ−1 k Ψk Φk ,
Λ1 0 Ìàòðèöà Ψk íèæíÿÿ áëî÷íî òðåóãîëüíàÿ: Ψk = (k) Ψ21 Λ2 ïîääèàãîíàëüíîãî áëîêà ñïðàâåäëèâà îöåíêà (äîêàæèòå) (k)
||Ψ21 ||2 ≤ α ||Λk2 ||2 ||Λ−k 1 ||2 ,
α = ||A||2 ||L||2 ||L−1||2 .
, è äëÿ åå
Ïîñêîëüêó ìàòðèöà Ak Uk−1 óíèòàðíàÿ, åå 2-íîðìà ðàâíà 1. Ëåãêî ïðîâåðèòü, ÷òî
Ak Uk−1 = X Λk X −1 Uk−1 = X Λk L U Uk−1 = X (Λk L Λ−k ) (Λk U Uk−1) = X (Λk L Λ−k ) Φk ⇒ ||Φk ||2 ≤ ||X −1 ||2 ||Λk L−1 Λ−k ||2 . I 0 −1 −1 Ìàòðèöà L íèæíÿÿ áëî÷íî òðåóãîëüíàÿ: L = (ïðîâåðü−L22 I òå!); ïîýòîìó −k k I 0 Λ 0 I 0 Λ 0 1 1 = . Λk L−1 Λ−k = −k k k −L22 I −Λ L Λ I 0 Λ2 0 Λ−k 22 2 2 1  ñèëó ïðåäïîëîæåíèé (1), (2) âñå ýëåìåíòû ýòîé ìàòðèöû ïî àáñîëþòíîé âåëè÷èíå íå áîëüøå 1 ⇒ íîðìû ||Φk ||2 îãðàíè÷åíû ðàâíîìåðíî ïî k . k −k Àíàëîãè÷íî, íîðìû ||Φ−1 k ||2 ≤ ||X||2 ||Λ L Λ ||2 òàêæå ðàâíîìåðíî îãðàíè÷åíû ïî k . Ïóñòü max {||Φk ||2 , ||Φ−1 k ||2 } ≤ Γ; òîãäà, ó÷èòûâàÿ âåðõíèé òðåóãîëüíûé âèä ìàòðèöû Φk , ïîëó÷àåì
0 0 (k) −1
≤ α Γ2 ||Λk ||2 ||Λ−k ||2 . Φ ||A21 ||2 ≤ Φ k (k) 2 1
k
Ψ21 0 2 ×òîáû çàâåðøèòü äîêàçàòåëüñòâî, äîñòàòî÷íî çàìåòèòü, ÷òî äëÿ ëþáîãî δ > 0 ïðè äîñòàòî÷íî áîëüøèõ k
||Λk2 ||2 ≤ (|λm+1| + δ)k ,
||Λ−k 1 ||2 ≤ (
Îòìåòèì ïîëåçíîå ñëåäñòâèå (äîêàæèòå).
1 + δ)k . |λm |
2
Ïóñòü â óñëîâèÿõ òåîðåìû 10.3.1 ìàòðèöà Λ äèàãîíàëüíàÿ. Òîãäà äëÿ íåêîòîðîãî c > 0 k |λm+1| (k) ||A21 ||2 ≤ c , k = 1, 2, . . . . |λm |
Òåîðåìà 10.4.1
10.5
GR-àëãîðèòì
Ïðåäøåñòâåííèêîì QR-àëãîðèòìà áûë àëãîðèòì òàêîé æå ñòðóêòóðû, â êîòîðîì âìåñòî QR-ðàçëîæåíèÿ èñïîëüçîâàëîñü LU -ðàçëîæåíèå. Âñå àëãîðèòìû òàêîãî ðîäà ìîæíî ïðåäñòàâèòü â óíè èöèðîâàííîé îðìå, åñëè èñõîäèòü èç òîãî, ÷òî äëÿ ëþáîé íåâûðîæäåííîé ìàòðèöû A êàêèì-òî ñïîñîáîì îïðåäåëåíî GR-ðàçëîæåíèå A = GR, ãäå R âåðõíÿÿ òðåóãîëüíàÿ
ìàòðèöà, G íåâûðîæäåííàÿ ìàòðèöà èç êàêîãî-òî èêñèðîâàííîãî êëàññà ìàòðèö.
GR-àëãîðèòì: A0 = A èñõîäíàÿ ìàòðèöà; Ak−1 = Gk Rk (GR-ðàçëîæåíèå), Ak = Rk Gk ,
k = 1, 2, . . . .
Îñíîâíûå ñîîòíîøåíèÿ äëÿ àíàëèçà GR-àëãîðèòìà àíàëîãè÷íû îñíîâíûì ñîîòíîøåíèÿì äëÿ QR-àëãîðèòìà (ðàçëè÷èå â òîì, ÷òî òåïåðü G−1 k ìîæåò íå ñîâïàäàòü ñ G∗k ):
Ak = Zk−1 A Zk , Ak = Zk Uk , Òåîðåìà 10.5.1
Zk = G1 . . . Gk ;
(10.5.3)
Uk = Rk . . . R1.
(10.5.4)
Λ = diag (λ1, . . . , λn ),
(10.5.5)
Ïóñòü
A = X Λ X −1 ,
|λ1 | > . . . > |λn | > 0.
(10.5.6)
{Ak }ij diag (Ak )
(10.5.7)
Ïðåäïîëîæèì, ÷òî ìàòðèöà X −1 ñòðîãî ðåãóëÿðíàÿ (òî åñòü âñå åå âåäóùèå ïîäìàòðèöû íåâûðîæäåííûå) è GR-àëãîðèòì ïîðîæäàåò ïîñëåäîâàòåëüíîñòü ìàòðèö Gk ñ ðàâíîìåðíî îãðàíè÷åííûì ïî k ÷èñëîì îáóñëîâëåííîñòè cond2 (G1 . . . Gk ). Òîãäà
→ →
0, i > j; diag (Λ).
(10.5.8)
Äîêàçàòåëüñòâî ëåãêî ñòðîèòñÿ ïî àíàëîãèè ñ äîêàçàòåëüñòâîì òåîðåìû 10.3.1. Âïîëíå âîçìîæíî, ÷òî óñëîâèå ñòðîãîé ðåãóëÿðíîñòè ìàòðèöû X −1 íå ïîêàçàëîñü Âàì î÷åíü åñòåñòåííûì. Îíî ÿâëÿåòñÿ âàæíûì àòðèáóòîì äîêàçàòåëüñòâà, èñïîëüçóþùåãî LU -ðàçëîæåíèå ìàòðèöû X −1 . Íî ñóùåñòâåííî ëè îíî? Êîíå÷íî, ñêîëü óãîäíî ìàëûì âîçìóùåíèåì ìîæíî äîáèòüñÿ ñòðîãîé ðåãóëÿðíîñòè ìàòðèöû X −1 . Ïîýòîìó ìîæíî áûëî áû íå òðàòèòü ñèëû íà âûÿñíåíèå ñóùåñòâåííîñòè ýòîãî ïðåäïîëîæåíèÿ. Íî ÷òîáû óäîâëåòâîðèòü ýñòåòè÷åñêîå ÷óâñòâî, äàâàéòå âñå æå ïîñìîòðèì, êàê ìîæíî ìîäè èöèðîâàòü îðìóëèðîâêó òåîðåìû è äîêàçàòåëüñòâî ñ òåì, ÷òîáû íå îïèðàòüñÿ íà LU -ðàçëîæåíèå è ñâÿçàííîå ñ íèì òðåáîâàíèå ñòðîãîé ðåãóëÿðíîñòè. Ýòî ìîæíî ñäåëàòü, èñïîëüçóÿ ðàçëîæåíèå Áðþà.
10.6
àçëîæåíèå Áðþà
Ïîä (îñíîâíûì) ðàçëîæåíèåì Áðþà íåâûðîæäåííîé ìàòðèöû ïîíèìàåòñÿ ðàçëîæåíèå A = L1 Π L2 , ãäå Π = Π (A) ìàòðèöà ïåðåñòàíîâêè, L1 è L2 íåâûðîæäåííûå íèæíèå òðåóãîëüíûå ìàòðèöû. Ïîä ìîäè èöèðîâàííûì ðàçëîæåíèåì Áðþà ïîíèìàåòñÿ ðàçëîæåíèå A = L P U, ãäå P = P (A) ìàòðèöà ïåðåñòàíîâêè, L íåâûðîæäåííàÿ íèæíÿÿ òðåóãîëüíàÿ, U íåâûðîæäåííàÿ âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà.
Ìîäè èöèðîâàííîå è îñíîâíîå ðàçëîæåíèÿ Áðþà ñóùåñòâóþò äëÿ ëþáîé íåâûðîæäåííîé ìàòðèöû A. Ìàòðèöû ïåðåñòàíîâîê Π è P îïðåäåëÿþòñÿ îäíîçíà÷íî è ïðè ýòîì 0 1 . ... Π (A) = P (A J) J, P (A) = Π (A J) J, ãäå J = 1 0 Òåîðåìà 10.6.1
Óñòàíîâèì ñóùåñòâîâàíèå ìîäè èöèðîâàííîãî ðàçëîæåíèÿ Áðþà. Äëÿ ýòîãî áóäåì óìíîæàòü A ñëåâà íà íåâûðîæäåííûå íèæíèå òðåóãîëüíûå ìàòðèöû è ñïðàâà íà íåâûðîæäåííûå âåðõíèå òðåóãîëüíûå ìàòðèöû â èòîãå õîòèì ïîëó÷èòü ìàòðèöó ïåðåñòàíîâêè. àññìîòðèì ïåðâûé (ïðè äâèæåíèè ñëåâà íàïðàâî) íåíóëåâîé ýëåìåíò â ïåðâîé ñòðîêå ìàòðèöû A. Íàçîâåì åãî âåäóùèì. Ñ ïîìîùüþ óìíîæåíèÿ ñïðàâà íà âåðõíþþ òðåóãîëüíóþ ìàòðèöó ìû ìîæåì ñäåëàòü âåäóùèé ýëåìåíò ðàâíûì 1 è èñêëþ÷èòü âñå ñëåäóþùèå çà íèì ýëåìåíòû â ïåðâîé ñòðîêå. Çàòåì ñ ïîìîùüþ óìíîæåíèÿ ñëåâà íà íèæíþþ òðåóãîëüíóþ ìàòðèöó ìû ìîæåì èñêëþ÷èòü âñå ýëåìåíòû, ðàñïîëîæåííûå íèæå âåäóùåãî ýëåìåíòà â òîì æå ñòîëáöå. Äàëåå, âûáèðàåì â êà÷åñòâå âåäóùåãî ïåðâûé íåíóëåâîé ýëåìåíò âî âòîðîé ñòðîêå, è òàê äàëåå.  ðåçóëüòàòå ìû ïîëó÷èì íåêîòîðóþ ìàòðèöó ïåðåñòàíîâêè P . àññìîòðèì ïîäñòðîêè
Äîêàçàòåëüñòâî.
(j)
ri (A) ≡ [ai 1, . . . , aij ],
1 ≤ i, j ≤ n,
è ïóñòü
σ(i; A) = min j :
(j)
(j)
(j)
ri (A) ∈ / span {r1 (A), . . . , ri−1(A)}.
Çàìåòèì, ÷òî äëÿ ëþáûõ íåâûðîæäåííûõ íèæíåé è âåðõíåé òðåóãîëüíûõ ìàòðèö L è U σ(i; A) = σ(i, LP U ). Îòñþäà âûòåêàåò, ÷òî
σ(i; A) = σ(P ). Òàêèì îáðàçîì, ìàòðèöà ïåðåñòàíîâêè P íå çàâèñèò îò ñïîñîáà ïîñòðîåíèÿ ðàçëîæåíèÿ Áðþà. Îñòàåòñÿ óñòàíîâèòü ñâÿçü ìåæäó ìîäè èöèðîâàííûì è îñíîâíûì ðàçëîæåíèÿìè: AJ = LP U ⇔ A = L (P J) (JU J),
AJ = L1ΠL2 ⇔ A = L1 (ΠJ) (JL2J). 2
10.7
×òî áóäåò, åñëè ìàòðèöà
X −1
íå ÿâëÿåòñÿ ñòðîãî ðåãóëÿðíîé
Ïóñòü äëÿ ìàòðèöû A âûïîëíåíû ïðåäïîëîæåíèÿ (10.5.5), (10.5.6) è GR-àëãîðèòì ïîðîæäàåò ïîñëåäîâàòåëüíîñòü ìàòðèö Gk ñ ðàâíîìåðíî îãðàíè÷åííûì ïî k ÷èñëîì îáóñëîâëåííîñòè cond2 (G1 . . . Gk ). Òîãäà Òåîðåìà 10.7.1
{Ak }ij → 0, i > j; diag (Ak ) → diag (P −1 ΛP ),
(10.7.9) (10.7.10)
ãäå P ìàòðèöà ïåðåñòàíîâêè èç ìîäè èöèðîâàííîãî ðàçëîæåíèÿ Áðþà X −1 = LP U . Èñïîëüçóÿ ñîîòíîøåíèÿ (10.5.3), (10.5.4) è äåéñòâóÿ ïî àíàëîãèè ñ äîêàçàòåëüñòâîì òåîðåìû 10.3.1, ïîëó÷àåì
Äîêàçàòåëüñòâî.
Ak = (Uk U −1P −1 Λ−k P ) {P −1 Λk [L−1ΛL] Λ−k P } (P −1 Λk P U Uk−1 ). Ìàòðèöû â êðóãëûõ ñêîáêàõ ÿâëÿþòñÿ âçàèìíî îáðàòíûìè âåðõíèìè òðåóãîëüíûìè ìàòðèöàìè. Âñëåäñòâèå ðàâíîìåðíîé ïî k îãðàíè÷åííîñòè ÷èñëà îáóñëîâëåííîñòè cond2 (Zk ) ýòè ìàòðèöû áóäóò ðàâíîìåðíî îãðàíè÷åíû ïî k (äîêàæèòå).  ñèëó (10.5.6) è íèæíåãî òðåóãîëüíîãî âèäà ìàòðèöû L−1ΛL
Λk [L−1ΛL] Λ−k → diag (L−1ΛL) = Λ. Ñëåäîâàòåëüíî, ìàòðèöà â èãóðíûõ ñêîáêàõ èìååò âèä P −1 ΛP + Fk , ãäå Fk → 0. Îñòàåòñÿ ó÷åñòü, ÷òî
diag (Ak ) = P −1ΛP + (Uk U −1P −1 Λ−k ) Fk (P −1Λk P U Uk−1 ). 2
Èòàê, åñëè ìàòðèöà X −1 íå ñòðîãî ðåãóëÿðíàÿ, òî äèàãîíàëüíûå ýëåìåíòû ìàòðèö Ak (ïðè äîñòàòî÷íî áîëüøèõ k ) àïïðîêñèìèðóþò òå æå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A, íî âçÿòûå â äðóãîì ïîðÿäêå (íå òàêîì, êàê â Λ, òî åñòü íå ïî óáûâàíèþ ìîäóëåé). Ïðîíàáëþäàòü ýòî ïåðåóïîðÿäî÷åíèå â óñëîâèÿõ ïðèáëèæåííûõ âû÷èñëåíèé î÷åíü íå ïðîñòî (ïî÷åìó?). 10.8
QR-èòåðàöèè (k)
è èòåðàöèè ïîäïðîñòðàíñòâ (k)
Çàïèøåì Zk = [z1 , . . . , zn ] è ðàññìîòðèì ïîäïðîñòðàíñòâà (k)
(k) Lkm ≡ span {z1 , . . . , zm }.
Ïîäïðîñòðàíñòâî Lm ≡ L0m ýòî ëèíåéíàÿ îáîëî÷êà, íàòÿíóòàÿ íà ïåðâûå m ñòîëáöîâ åäèíè÷íîé ìàòðèöû. Ïðåäïîëîæèì, ÷òî ìàòðèöà A íåâûðîæäåííàÿ. Òîãäà
Lkm = Ak Lm,
m = 1, . . . , n.
Ñëåäîâàòåëüíî, îäíà QR-èòåðàöèÿ ïîðîæäàåò (âèðòóàëüíî) n ïîäïðîñòðàíñòâ Lk1 , . . . , Lkn, êîòîðûå âîçíèêëè áû íà k -îì øàãå èòåðàöèé ñ ìàòðèöåé A è íà÷àëüíûìè ïîäïðîñòðàíñòâàìè L1, . . . , Ln. Ìû óæå çíàåì óñëîâèÿ, ïðè êîòîðûõ ãàðàíòèðóåòñÿ ñõîäèìîñòü èòåðàöèé ïîäïðîñòðàíñòâà ê èíâàðèàíòíîìó ïîäïðîñòðàíñòâó.  ÷àñòíîñòè, ïóñòü ìàòðèöà A äèàãîíàëèçóåìà è åå ñîáñòâåííûå çíà÷åíèÿ ðàçëè÷íû ïî ìîäóëþ:
A = X diag (λ1, . . . , λn ) X −1, Ïóñòü
|λ1 | > . . . > |λn |.
ρ (X −1 Lm, X −1 Mm ) < 1 ∀ m,
(10.8.11)
ãäå Mm èíâàðèàíòíîå îòíîñèòåëüíî A ïîäïðîñòðàíñòâî, íàòÿíóòîå íà ïåðâûå m ñòîëáöîâ ìàòðèöû X . Òîãäà
∀ m Lkm → Mm ïðè k → ∞. Åñëè ïîäïðîñòðàíñòâî Lkm èíâàðèàíòíî îòíîñèòåëüíî A, ìàòðèöà Ak = Zk∗ A Zk áóäåò èìåòü íóëåâîé ïîääèàãîíàëüíûé áëîê. Èíòóèòèâíî ÿñíî, ÷òî ÷åì áëèæå ïîäïðîñòðàíñòâî ê èíâàðèàíòíîìó, òåì ìåíüøå äîëæåí áûòü ýòîò ïîääèàãîíàëüíûé áëîê. Âîò ñòðîãàÿ îðìóëèðîâêà:
Ïóñòü T11 T12 T = ∈ Cn×n , T21 T22
Ëåììà 10.8.1
T11 ∈ Cm×m , T22 ∈ Cr×r .
Ïóñòü L ëèíåéíàÿ îáîëî÷êà, íàòÿíóòàÿ íà ïåðâûå m ñòîëáöîâ åäèíè÷íîé ìàòðèöû, M ïðîèçâîëüíîå èíâàðèàíòíîå îòíîñèòåëüíî T ïîäïðîñòðàíñòâî â Cn ðàçìåðíîñòè m. Òîãäà
||T21 ||2 ≤ 3 ρ (L, M) ||T ||2 . Äîêàçàòåëüñòâî.
Âîçüìåì îðòîíîðìèðîâàííûé áàçèñ â M è äîñòðîèì åãî äî îðòîíîðìèðîâàííîãî áàçèñà â Cn . Èç ïîëó÷åííûõ ñòîëáöîâ îáðàçóåì óíèòàðíóþ ìàòðèöó U11 U12 U11 U= , M = im . U21 U22 U21 Ïîñêîëüêó M èíâàðèàíòíî îòíîñèòåëüíî T , íàõîäèì T11 T12 U11 U12 U11 U12 R11 R12 = T21 T22 U21 U22 U21 U22 0 R22 äëÿ íåêîòîðûõ áëîêîâ R11 , R12 , R22 . Îòñþäà ∗ R11 R12 U11 T21 = [U21 U22] . ∗ 0 R22 U12 Ïîëó÷àåì ||T21 ||2 ≤ 3 ||U21||2 ||T ||2 . Îñòàåòñÿ çàìåòèòü, ÷òî ρ (M, L) = ||U21||2 = ||U21 y||2 äëÿ íåêîòîðîãî y åäèíè÷íîé äëèíû (ïî÷åìó?). 2 Èòàê, ìû ïîëó÷èëè åùå îäíî äîêàçàòåëüñòâî òîãî, ÷òî ïðè äîñòàòî÷íî îáùèõ óñëîâèÿõ âñå ïîääèàãîíàëüíûå ýëåìåíòû ìàòðèö Ak ñòðåìÿòñÿ ê íóëþ ïðè k → ∞ ⇒ äèàãîíàëüíûå ýëåìåíòû ìàòðèöû Ak àïïðîêñèìèðóþò ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A. Çàìåòèì, ÷òî óñëîâèå (10.8.11) ðàâíîñèëüíî ñòðîãîé ðåãóëÿðíîñòè ìàòðèöû X −1 (äîêàæèòå). Çàäà÷è
1. Ïðèâåäèòå ïðèìåð ìàòðèöû, äëÿ êîòîðîé QR-àëãîðèòì íå ñõîäèòñÿ. 2. Äîêàæèòå, ÷òî èç ñîîòíîøåíèé
A0 = A;
Ak−1 = Gk Rk , Ak = Rk Gk ,
k = 1, 2, . . . ,
âûòåêàþò ñëåäóþùèå ñîîòíîøåíèÿ (îñíîâíûå äëÿ àíàëèçà GRàëãîðèòìà):
Ak = Zk−1AZk , Zk = G1 . . . Gk ;
Ak = Zk Uk , Uk = Rk . . . R1.
3. Ïóñòü âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà A ∈ Cn×n èìååò ïîïàðíî ðàçëè÷íûå ñîáñòâåííûå çíà÷åíèÿ λ1 , . . . , λn è ïîñëåäîâàòåëüíîñòü ìàòðèö Ak òàêîâà, ÷òî {Ak }ij → {A}ij ïðè i ≥ j. Äîêàæèòå, ÷òî äëÿ êàæäîãî k ñîáñòâåííûå çíà÷åíèÿ λi (Ak ) äëÿ Ak ìîæíî çàíóìåðîâàòü òàêèì îáðàçîì, ÷òî
λi (Ak ) → λi ,
i = 1, . . . , n.
4. Äîêàæèòå, ÷òî åñëè ||L||2 ≤ ||M||2 , òî
I 0
I 0
L I ≤ M I . 2 2
5. Äîêàæèòå, ÷òî óñëîâèå (10.8.11) ðàâíîñèëüíî ñòðîãîé ðåãóëÿðíîñòè ìàòðèöû X −1 .
ëàâà 11
11.1
QR-àëãîðèòì
ñî ñäâèãàìè
 îáùåì ñëó÷àå QR-àëãîðèòì â îðòîäîêñàëüíîé îðìå ñõîäèòñÿ ìåäëåííî. Ìåäëåííîå óáûâàíèå ïîääèàãîíàëüíîãî (n − m) × m-áëîêà îçíà÷àåò, ÷òî îòíîøåíèå |λm+1 |/|λm | íåäîñòàòî÷íî ìàëî. ×òîáû óñêîðèòü ïðîöåññ, ìîæíî ïåðåéòè ê ñäâèíóòîé ìàòðèöå A − s I , óïîâàÿ íà òî, ÷òî
QR-àëãîðèòì
|λm+1 − s|/|λm − s| ≪ |λm+1|/|λm |.
ñî ñäâèãàìè:
A0 = A èñõîäíàÿ ìàòðèöà; Ak−1 − sk I = Qk Rk (QR-ðàçëîæåíèå), Ak = Rk Qk + sk I, k = 1, 2, . . . . 11.2
Îáîáùåííûé
QR-àëãîðèòì
QR-àëãîðèòì ñî ñäâèãàìè ýòî ÷àñòíûé ñëó÷àé áîëåå îáùåãî àëãîðèòìà, èñïîëüçóþùåãî ïîëèíîìû fk . Îáîáùåííûé
QR-àëãîðèòì: A0 = A èñõîäíàÿ ìàòðèöà; fk (Ak−1) = Qk Rk (QR-ðàçëîæåíèå), Ak = Q−1 k = 1, 2, . . . . k Ak−1 Qk ,
Âîò îñíîâíûå îðìóëû äëÿ àíàëèçà îáîáùåííîãî QR-àëãîðèòìà:
Ak = Zk−1AZk , pk (A) ≡
k Y
Zk = Q1 . . . Qk ;
fi (A) = Zk Uk ,
Uk = Rk . . . R1 .
(11.2.1) (11.2.2)
i=1
Ïåðâîå î÷åâèäíî. Âòîðîå ëåãêî äîêàçûâàåòñÿ ïî èíäóêöèè. Åñëè óæå óñòàíîâëåíî, ÷òî
Äîêàçàòåëüñòâî.
f2 (A1) . . . fk (A1) = (Q2 . . . Qk ) (Rk . . . R2 ), 103
òî, ïîñêîëüêó A1 = Q−1 1 AQ1 , íàõîäèì −1 −1 −1 f2(Q−1 1 AQ1 ) . . . fk (Q1 AQ1 ) = (Q1 f2 (A)Q1) . . . (Q1 fk (A)Q1) = Q−1 1 f2 (A) . . . fk (A)Q1
Q−1 1 f2 (A) . . . fk (A)Q1 = (Q2 . . . Qk ) (Rk . . . R2 ).
⇒
Óìíîæèâ îáå åãî ÷àñòè ñëåâà íà Q1 è ñïðàâà íà R1 è âñïîìíèâ, ÷òî f1 (A) = Q1R1 , ïîëó÷àåì (11.2.2). 2 Îáîáùåííûé QR-àëãîðèòì èíîãäà íàçûâàþò QR-àëãîðèòìîì ñ ìóëüòèñäâèãàìè. Ïîä ìóëüòèñäâèãîì ñòåïåíè r = r (k) ïîäðàçóìåâàåòñÿ ïîëíûé íàáîð êîðíåé ïîëèíîìà r Y (k) fk (x) = (x − si ). i=1
Îäèí ìóëüòèñäâèã ñòåïåíè r ýêâèâàëåíòåí ïîñëåäîâàòåëüíîñòè r ìóëüòèñäâèãîâ ñòåïåíè 1 (ïî÷åìó?). 11.3
Ëåììà î
QR-èòåðàöèè
Ïóñòü G(m, n, X) ìíîæåñòâî ìàòðèö A ∈ Cn×n , óäîâëåòâîðÿþùèõ ñëåäóþùèì òðåáîâàíèÿì: Λ1 0 −1 A = XΛX , Λ = , (1) 0 Λ2
Λ1 = diag {λ1, . . . , λm }, (2)
Λ2 = diag {λm+1, . . . , λm+r },
|λ1 | ≥ · · · ≥ |λm | > |λm+1 | ≥ · · · ≥ |λm+r | > 0;
(3) âåäóùàÿ ïîäìàòðèöà ïîðÿäêà m â ìàòðèöå X −1 íåâûðîæäåííàÿ.
Ïðåäïîëîæèì, ÷òî A0 ∈ G(m, n, X) è A1 ðåçóëüòàò QR-èòåðàöèè âèäà A0 = QR, A1 = RQ.
Ëåììà 11.3.1
Òîãäà äëÿ ïîääèàãîíàëüíûõ áëîêîâ ìàòðèö " # " # (0) (0) (1) (1) A11 A12 A11 A12 A0 = , A1 = , (0) (0) (1) (1) A21 A22 A21 A22 âûïîëíÿåòñÿ íåðàâåíñòâî (1)
(0)
||A21 ||2 ≤ c ||A21 ||2
|λm+1 | , |λm |
(0)
(1)
A11 , A11 ∈ Cm×m.
ãäå êîíñòàíòà c > 0 çàâèñèò òîëüêî îò m è X .
Ïóñòü Im 0 U11 U12 = LU ≡ , U11 ∈ Cm×m . L21 Ir 0 U22
Äîêàçàòåëüñòâî.
X −1
Ìàòðèöû L è U , êîíå÷íî, íåâûðîæäåííûå. Îáðàòíûå ê íèì èìåþò ñëåäóþùåå áëî÷íîå ñòðîåíèå (ïî÷åìó?): −1 −1 −1 I 0 U −U U U m 11 11 12 22 L−1 = , U −1 = . −1 −L21 Ir 0 U22 Ëåãêî ïðîâåðèòü, ÷òî
A1 = Φ−1ΨΦ,
ãäå Φ = ΛU R−1 ,
Ψ = Λ(L−1ΛL)Λ−1.
Ìàòðèöà Q = X(ΛLΛ−1 ) (ΛU R−1 ) óíèòàðíàÿ
⇒
||Φ||2 ≤ ||X −1 ||2 ||ΛL−1 Λ−1 ||2 . Ìàòðèöà Q−1 òîæå óíèòàðíàÿ
⇒
||Φ−1||2 ≤ ||X||2 ||ΛLΛ−1||2 . Äàëåå, −1
ΛLΛ
=
I Λ2 L21Λ−1 1
||Φ||2 ≤ ||X −1 ||2 (1 + ||L21||2 ),
0 I
⇒
||Φ−1||2 ≤ ||X||2 (1 + ||L21||2 ).
àññìîòðèì áëî÷íîå ðàçáèåíèå ìàòðèöû Λ1 0 Ψ= . Λ2 {L−1ΛL}21 Λ−1 Λ2 1
(0)
−1 Ïîñêîëüêó L−1 ΛL = U AU −1, íàõîäèì {L−1 ΛL}21 = U22 A21 U11 , îòêóäà (−1)
(0)
||{L−1ΛL}21||2 ≤ (||U22||2 ||U11 ||2 ) ||A21 ||2 . Îêîí÷àòåëüíî, (1) ||A21 ||2
ãäå
−1 0 0
≤ c ||A(0) ||2 |λm+1 | , Φ Φ ≤ −1 21 −1
Λ2 {L ΛL}21 Λ1 0 |λm | 2
−1 c = ||X||2 ||X −1 ||2 (1 + ||L21 ||2 )2 ||U22||2 ||U11 ||2 . 2
11.4
Êâàäðàòè÷íàÿ ñõîäèìîñòü
Ïóñòü íà êàæäîì øàãå îáîáùåííîãî QR-àëãîðèòìà èñïîëüçóþòñÿ ïîëèíîìû fk (ìóëüòèñäâèãè) îäíîé è òîé æå ñòåïåíè r. Ìóëüòèñäâèã íàçûâàåòñÿ ìóëüòèñäâèãîì åëåÿ, åñëè fk åñòü õàðàêòå(k) ðèñòè÷åñêèé ïîëèíîì r × r-áëîêà A22 : " # (k) (k) A11 A12 (k) (k) Ak = , A11 ∈ Cm×m , A22 ∈ Cr×r . (k) (k) A21 A22
Ïóñòü A ∈ G(m, n, X), è ïðåäïîëîæèì, ÷òî îáîáùåííûé QR-àëãîðèòì ñ ìóëüòèñäâèãàìè åëåÿ ñòåïåíè r ñõîäèòñÿ, òî åñòü
Òåîðåìà 11.4.1
(k)
εk ≡ ||A21 ||2 → 0.
Òîãäà ñõîäèìîñòü êâàäðàòè÷íàÿ, òî åñòü
∃ δ, c > 0 : εk ≤ δ ⇒ εk+1 ≤ c ε2k .
Îäèí øàã îáîáùåííîãî QR-àëãîðèòìà ýêâèâàëåíòåí îäíîé QR-èòåðàöèè äëÿ ìîäè èöèðîâàííîé ìàòðèöû: Äîêàçàòåëüñòâî.
fk (Ak−1) = QR,
Ak = RQ.
Ïîýòîìó ìû ìîæåì ïðèìåíèòü ëåììó î QR-èòåðàöèè (ëåììà 11.3.1): αk , αk = ||fk (Λ2)||2 , βk = ||(fk (Λ1 ))−1||2 . εk ≤ c εk−1 βk (k−1)
Ïóñòü s1 , . . . , sr ñîáñòâåííûå çíà÷åíèÿ áëîêà A22 .  ñèëó òåîðåìû ÁàóýðàÔàéêà è òåîðåì åðøãîðèíà, ïðè äîñòàòî÷íî ìàëûõ εk−1 èìååì
min |λm+j − si | ≤ cond2 (X) εk−1 j = 1, . . . , r.
1≤i≤r
Ïîýòîìó
r Y |fk (λm+j )| = (λm+j − si ) ≤ c1 εk−1, j = 1, . . . , r; i=1 r Y |fk (λj )| = (λj − si ) ≥ c2 > 0, j = 1, . . . , m, i=1
ãäå c1 , c2 > 0 íå çàâèñÿò îò k (ïî÷åìó?). Ñëåäîâàòåëüíî,
αk ≤ c1 εk−1,
βk ≥ c2 > 0. 2
Çàìåòèì, ÷òî êâàäðàòè÷íàÿ ñõîäèìîñòü óñòàíàâëèâàåòñÿ â òåîðåìå ïðè óñëîâèè, ÷òî ïðîöåññ ñõîäèòñÿ.
11.5
Êóáè÷åñêàÿ ñõîäèìîñòü
Ïóñòü A ∈ G(m, n, X), è ïðåäïîëîæèì, ÷òî îáîáùåííûé QR-àëãîðèòì ñ ìóëüòèñäâèãàìè åëåÿ ñòåïåíè r ñõîäèòñÿ, òî åñòü Òåîðåìà 11.5.1
(k)
εk ≡ ||A21 ||2 → 0, è ïðè ýòîì äëÿ âñåõ k (k)
(k)
(k)
(11.5.3)
c1 ||A21 ||2 ≤ ||A12 ||2 ≤ c2 ||A21 ||2 ,
ãäå c1 , c2 > 0 íå çàâèñÿò îò k . Òîãäà ñõîäèìîñòü êóáè÷åñêàÿ, òî åñòü
∃ δ, c > 0 : εk ≤ δ ⇒ εk+1 ≤ c ε3k .  ñèëó òåîðåìû 11.4.1 ìû óæå èìååì êâàäðàòè÷íóþ ñõîäèìîñòü. Áóäåì èñïîëüçîâàòü ëîãèêó è îáîçíà÷åíèÿ åå äîêàçàòåëüñòâà. Óñëîâèå (11.5.3) ïîçâîëÿåò íàì óòâåðæäàòü, ÷òî
αk ≤ c1 ε2k−1. Ýòî íåðàâåíñòâî î÷åâèäíî âûòåêàåò èç ñëåäóþùåãî àíàëîãà òåîðåìû ÁàóýðàÔàéêà. Òåîðåìà 11.5.2
A + F , ãäå
(ÝëñíåðÂàòêèíñ) Ïóñòü µ ñîáñòâåííîå çíà÷åíèå äëÿ
A=
A11 0 0 A22
, F =
0 F12 F21 0
,
A11 = X1 Λ1 X1−1, A22 = X2 Λ2 X2−1 , Λ1 = diag (λ1 , . . . , λm),
Λ2 = diag (λm+1, . . . , λm+r ).
Òîãäà
min |µ − λi | min |µ − λm+j | ≤ cond2 (X1 ) cond2 (X2) ||F12||2 ||F21 ||2 .
1≤i≤m
1≤j≤r
Åñëè µ ∈ λ (A), òî íåðàâåíñòâî î÷åâèäíûì îáðàçîì âûïîëíåíî. Ïóñòü µ ∈ / λ (A). Òîãäà ñëåäóþùèå ìàòðèöû áóäóò âûðîæäåííûìè: Λ1 − µI X1 F12X2−1 , X2F21X1−1 Λ2 − µI Λ1 − µI X1 F12X2−1 , 0 (Λ2 − µI) − X2 F21X1−1(Λ1 − µI)−1X1 F12X2−1 Äîêàçàòåëüñòâî.
(I − (Λ2 − µI)−1X2 F21X1−1 (Λ1 − µI)−1X1 F12X2−1).
 ñèëó âûðîæäåííîñòè ïîñëåäíåé ìàòðèöû
||(Λ2 − µI)−1 X2F21X1−1 (Λ1 − µI)−1X1 F12X2−1||2 ≥ 1. 2 Åñëè â óñëîâèÿõ òåîðåìû 11.5.1 ìàòðèöà A ýðìèòîâà, òî äëÿ îáîáùåííîãî QR-àëãîðèòìà ñ ìóëüòèñäâèãîì åëåÿ èìååò ìåñòî êóáè÷åñêàÿ ñõîäèìîñòü. Ñëåäñòâèå 11.5.1
Äëÿ äîêàçàòåëüñòâà äîñòàòî÷íî çàìåòèòü, ÷òî ýðìèòîâîñòü ìàòðèöû A îáåñïå÷èâàåò (11.5.3). 11.6
×òî äåëàåò
QR-àëãîðèòì
ý åêòèâíûì
Ñäâèãè èëè ìóëüòèñäâèãè ýòî íåïðåìåííûé àòðèáóò ý åêòèâíîãî QRàëãîðèòìà. Íî ýòîãî ìàëî. Äåëî â òîì, ÷òî îäíà QR-èòåðàöèÿ äëÿ ìàòðèöû îáùåãî âèäà òðåáóåò O (n3 ) àðè ìåòè÷åñêèõ îïåðàöèé. Ýòî î÷åíü áîëüøèå çàòðàòû, äàæå åñëè èòåðàöèé íå î÷åíü ìíîãî (îáû÷íî èõ òðåáóåòñÿ íå áîëüøå 5 íà êàæäîå ñîáñòâåííîå çíà÷åíèé). Ê ñ÷àñòüþ, åñòü ÷ðåçâû÷àéíî ïðîñòîå ñðåäñòâî ñäåëàòü èòåðàöèþ äåøåâîé. Âñïîìíèì, ÷òî ñ ïîìîùüþ îòðàæåíèé èëè âðàùåíèé ìàòðèöó A ìîæíî ïðèâåñòè ê óíèòàðíî ïîäîáíîé âåðõíåé õåññåíáåðãîâîé ìàòðèöå H . Ïîñëå ýòîãî QR-àëãîðèòì áóäåò ïðèìåíÿòüñÿ ê õåññåíáåðãîâîé ìàòðèöå A0 = H . Ñàìî ïðèâåäåíèå ê õåññåíáåðãîâîé îðìå òðåáóåò, êîíå÷íî, O (n3 ) îïåðàöèé. Íî ïîñëå ýòîãî ëþáàÿ QR-èòåðàöèÿ áóäåò âûïîëíÿòüñÿ çà O (n2 ) îïåðàöèé! Ñîêðàùåíèå çàòðàò íà îäíó èòåðàöèþ îáúÿñíÿåòñÿ èíâàðèàíòíîñòüþ õåññåíáåðãîâîé îðìû ïî îòíîøåíèþ ê QR-èòåðàöèÿì. Äðóãèìè ñëîâàìè: åñëè H âåðõíÿÿ õåññåíáåðãîâà ìàòðèöà, òî QR-èòåðàöèþ
f (H) = QR,
H1 = Q−1HQ
(11.6.4)
ìîæíî âûïîëíèòü òàêèì îáðàçîì, ÷òî ìàòðèöà H1 ñîõðàíèò âåðõíþþ õåññåíáåðãîâó îðìó. Äîñòàòî÷íî óáåäèòüñÿ â ýòîì â ñëó÷àå ìóëüòèñäâèãà ñòåïåíè 1 (ïî÷åìó?).  ýòîì ñëó÷àå QR-ðàçëîæåíèå ìîæåò ñòðîèòüñÿ ñ ïîìîùüþ âðàùåíèé, èñêëþ÷àþùèõ ýëåìåíòû íà íèæíåé ïîääèàãîíàëè: Q∗ = Gn n−1 . . . G21 . Òî, ÷òî ìàòðèöà H1 = RQ = RG∗21 . . . G∗n n−1 áóäåò âåðõíåé õåññåíáåðãîâîé, ïðîâåðÿåòñÿ íåïîñðåäñòâåííî (ïðîâåðüòå).
 ñëó÷àå ýðìèòîâîé ìàòðèöû A ìàòðèöà H áóäåò òðåõäèàãîíàëüíîé. Ñëåäîâàòåëüíî, H1 òîæå òðåõäèàãîíàëüíàÿ (ïî÷åìó?). ×òîáû ðåàëèçîâàòü îäíó QR-èòåðàöèþ, òåïåðü äîñòàòî÷íî âñåãî ëèøü O (n) îïåðàöèé! 11.7
Íåÿâíûå
QR-èòåðàöèè
Åñëè èçâåñòíû êîðíè ïîëèíîìà fk , òî ìóëüòèñäâèã ìîæíî âûïîëíÿòü êàê ïîñëåäîâàòåëüíîñòü ìóëüòèñäâèãîâ ñòåïåíè 1. Ýòî íå âñåãäà æåëàòåëüíî. Íàïðèìåð, åñëè ìàòðèöà âåùåñòâåííàÿ, òî êîðíè fk ìîãóò îêàçàòüñÿ êîìïëåêñíûìè, òî åñòü ïðèäåòñÿ ïåðåõîäèòü ê êîìïëåêñíîé àðè ìåòèêå.  òî æå âðåìÿ, â ñëó÷àå âåùåñòâåííîé ìàòðèöû êîý èöèåíòû ïîëèíîìà fk äëÿ ìóëüòèñäâèãà åëåÿ áóäóò âåùåñòâåííûìè (äîêàæèòå). Ïîýòîìó ÷àñòî ïðåäïî÷èòàþò íåÿâíóþ ðåàëèçàöèþ QR-èòåðàöèè, íå ñâîäÿùóþ åå ê ìóëüòèñäâèãàì ñòåïåíè 1.  äàííîì ñïîñîáå äåéñòâèé íàì íóæíû èìåííî êîý èöèåíòû ïîëèíîìà fk . Äðóãèìè ñëîâàìè: íóæíû (k) êîý èöèåíòû õàðàêòåðèñòè÷åñêîãî ïîëèíîìà áëîêà A22 , à íå åãî êîðíè.  îñíîâå íåÿâíîé ðåàëèçàöèè QR-èòåðàöèè ëåæèò ñëåäóþùåå íàáëþäåíèå.
Ïóñòü A õåññåíáåðãîâà ìàòðèöà, è ïðåäïîëîæèì, ÷òî äâå õåññåíáåðãîâû ìàòðèöû B è C èìåþò íåíóëåâóþ ïîääèàãîíàëü è òàêîâû, ÷òî B = P ∗ AP, C = Q∗AQ Ëåììà 11.7.1
äëÿ íåêîòîðûõ óíèòàðíûõ ìàòðèö P è Q, èìåþùèõ êîëëèíåàðíûå ïåðâûå ñòîëáöû. Òîãäà ñóùåñòâóåò óíèòàðíàÿ äèàãîíàëüíàÿ ìàòðèöà D òàêàÿ, ÷òî P = QD, B = D∗ CD. Ïóñòü óæå äîêàçàíî, ÷òî pi = qidi , |di | = 1, 1 ≤ i ≤ k. ⇒ bij = d∗i cij dj , 1 ≤ i, j ≤ k. ⇒
Äîêàçàòåëüñòâî.
pk+1bk+1 k = Apk − =
k X
pi bik = Aqk dk −
i=1 k X
Aqk −
i=1
qi (did∗i )cik
!
k X
qidi (d∗i cik dk )
i=1
dk = qk+1ck+1 k dk . 2
Íà êàæäîì øàãå QR-àëãîðèòìà îñóùåñòâëÿåòñÿ ïåðåõîä îò íåêîòîðîé õåññåíáåðãîâîé ìàòðèöû H ê óíèòàðíî ïîäîáíîé õåññåíáåðãîâîé ìàòðèöå H1 = Q∗HQ.  óñëîâèÿõ ìàøèííîé àðè ìåòèêè âñåãäà ìîæíî ñ÷èòàòü, ÷òî
H1 èìååò íåíóëåâóþ ïîääèàãîíàëü. Ïîýòîìó êàê áû íè ñòðîèëàñü ìàòðèöà H1 , äîñòàòî÷íî ïðîñëåäèòü çà òåì, ÷òîáû ïåðâûé ñòîëáåö â ñîîòâåòñòâóþùåé ìàòðèöå Q áûë òàêèì æå, êàê â îáû÷íîé (ÿâíîé) ðåàëèçàöèè QR-øàãà. Íåÿâíàÿ
QR-èòåðàöèÿ:
(1) Íàõîäèì ïåðâûé ñòîëáåö h ìàòðèöû fk (H). (2) Íàõîäèì ìàòðèöó îòðàæåíèé V0 òàêóþ, ÷òî V0∗ h = [∗, 0, . . . , 0]T . (3) Íàõîäèì ìàòðèöó W0 = V0∗ HV0 . (4) Ñ ïîìîùüþ îòðàæåíèé ïðèâîäèì W0 ê óíèòàðíî ïîäîáíîé ìàòðèöå W1 = V1∗W0 V1 (V1 ïðîèçâåäåíèå n − 1 ìàòðèö îòðàæåíèÿ). (5) Ïîëàãàåì H1 = W1 . Ëåãêî âèäåòü, ÷òî H1 = (V0 V1 )∗ H(V0 V1 ). Ïðè ýòîì ïåðâûé ñòîëáåö â ìàòðèöå V0 V1 òàêîé æå, êàê â ìàòðèöå V0 (ïî÷åìó?).  òî æå âðåìÿ ïåðâûé ñòîëáåö ìàòðèöû V0 ñîâïàäàåò ñ ïåðâûì ñòîëáöîì ìàòðèöû Q â íåêîòîðîì QR-ðàçëîæåíèè ìàòðèöû fk (H) (ïî÷åìó?). 11.8
Îðãàíèçàöèÿ âû÷èñëåíèé
Óìíàÿ ïðîãðàììà, ðåàëèçóþùàÿ QR-àëãîðèòì, îáû÷íî íà÷èíàåò ñ óðàâíîâåøèâàíèÿ ìàòðèöû A: èùåòñÿ äèàãîíàëüíàÿ ìàòðèöà D, âûðàâíèâàþùàÿ (íàñêîëüêî ýòî âîçìîæíî) äëèíû ñòðîê è ñòîëáöîâ â ìàòðèöå AD = D−1 AD. Óðàâíîâåøèâàíèå ìîæåò óëó÷øèòü îáóñëîâëåííîñòü ñîáñòâåííûõ çíà÷åíèé (èíîãäà íà íåñêîëüêî ïîðÿäêîâ). Çàòåì ìàòðèöà AD ïðèâîäèòñÿ ê õåññåíáåðãîâîé îðìå A0 . Ïîñëå ýòîãî: (1) ñêàíèðóåòñÿ ïîääèàãîíàëü â A0 è êàæäûé äîñòàòî÷íî ìàëûé (â ñîîòâåòñòâèè ñ íåêîòîðûì êðèòåðèåì ìàëîñòè) ýëåìåíò çàìåíÿåòñÿ íóëåì; (2) âûáèðàåòñÿ íåïóñòîé äèàãîíàëüíûé áëîê â A0 , ðàñïîëîæåííûé ìåæäó äâóìÿ ïîñëåäíèìè íóëÿìè íà ïîääèàãîíàëè; åñëè íåïóñòîãî áëîêà íå íàøëîñü, òî ïðîöåññ çàêàí÷èâàåòñÿ (ìàòðèöà ïðèâåäåíà ê òðåóãîëüíîìó âèäó); (3) äëÿ âûáðàííîãî áëîêà ïðîâîäèòñÿ îäíà QR-èòåðàöèÿ (ñî ñäâèãîì), ïîñëå ÷åãî âñå ïîâòîðÿåòñÿ, íà÷èíàÿ ñ ï. (1). Çàìåòèì, ÷òî îïèñàííàÿ îðãàíèçàöèÿ âû÷èñëåíèé ìîæåò íå äàòü âûñîêîé ïðîèçâîäèòåëüíîñòè íà ïàðàëëåëüíîì êîìïüþòåðå. Ñ òî÷êè çðåíèÿ
ïàðàëëåëüíûõ âû÷èñëåíèé êàæóòñÿ ïðèâëåêàòåëüíûìè ìóëüòèñäâèãè. Îäíàêî, ïåðâûå ýêñïåðèìåíòû ñ íåÿâíîé ðåàëèçàöèåé ìóëüòèñäâèãîâ ïîêàçàëè íåóäîâëåòâîðèòåëüíûå ðåçóëüòàòû (èç-çà îøèáîê îêðóãëåíèÿ çíà÷èòåëüíî çàìåäëÿëàñü ñõîäèìîñòü).  1994 Âàòêèíñ 1 ðåàáèëèòèðîâàë ìóëüòèñäâèãè: îí ïîêàçàë, ÷òî íåÿâíûé ìóëüòèñäâèã íóæíî ðåàëèçîâûâàòü â âèäå êîíâåéåðà íåÿâíûõ ìóëüòèñäâèãîâ ìåíüøåé ñòåïåíè. Òàêàÿ ðåàëèçàöèÿ îêàçûâàåòñÿ ÷èñëåííî óñòîé÷èâîé è íå çàìåäëÿåò ñõîäèìîñòü. 11.9
Êàê íàéòè ñèíãóëÿðíîå ðàçëîæåíèå
Ïðåæäå âñåãî, óìíîæàÿ A ∈ Cn×n ñëåâà è ñïðàâà íà óíèòàðíûå ìàòðèöû, ïîëó÷àåì âåðõíþþ áèäèàãîíàëüíóþ ìàòðèöó B . Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî B âåùåñòâåííàÿ ìàòðèöà (ïî÷åìó?). Åñëè B èìååò íóëü íà äèàãîíàëè, òî, óìíîæàÿ åå ñëåâà è ñïðàâà íà B1 0 óíèòàðíûå ìàòðèöû, ìîæíî ïîëó÷èòü áëî÷íóþ ìàòðèöó âèäà ñ 0 B2 áèäèàãîíàëüíûìè áëîêàìè B1 è B2 .  ñàìîì äåëå, ïóñòü bkk = 0. Ýëåìåíò bk k+1 àííóëèðóåì ñ ïîìîùüþ ëåâîñòîðîííåãî âðàùåíèÿ k -é è k + 1-é ñòðîê. Íåíóëåâîé ýëåìåíò, êîòîðûé ìîæåò âîçíèêíóòü â ïîçèöèè (k, k + 2), àííóëèðóåì ñ ïîìîùüþ ëåâîñòîðîííåãî âðàùåíèÿ k -é è k+2-é ñòðîê. Íåíóëåâîé ýëåìåíò, âîçíèêøèé â ïîçèöèè (k, k + 3), àííóëèðóåì ñ ïîìîùüþ ëåâîñòîðîííåãî âðàùåíèÿ k -é è k + 3-é ñòðîê, è òàê äàëåå.  èòîãå ìû ïîëó÷èì áëîê B2 . Àíàëîãè÷íûì îáðàçîì ñ ïîìîùüþ ïðàâîñòîðîííèõ âðàùåíèé ìîæíî ïîëó÷èòü áëîê B1 . Èòàê, íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî B íåâûðîæäåííàÿ ìàòðèöà ñ íåíóëåâûìè äèàãîíàëÿìè. Òåïåðü ìîæíî ñìåëî ïðèìåíÿòü QR-àëãîðèòì ñî ñäâèãàìè ê âåùåñòâåííîé ñèììåòðè÷íîé òðåõäèàãîíàëüíîé ìàòðèöå T ≡ B T B . Êàê òîëüêî ìû íàéäåì ðàçëîæåíèå B T B = V Σ2 V T ñ îðòîãîíàëüíîé V è äèàãîíàëüíîé Σ > 0, ïîëàãàåì U = BV Σ−1 . Ìàòðèöà U áóäåò óíèòàðíîé (ïî÷åìó?) è, î÷åâèäíî, B = U ΣV T .  1965 ãîäó Äæ. îëóá è Â. Êàõàí çàìåòèëè, ÷òî íåÿâíàÿ îðìà QRèòåðàöèé ïîçâîëÿåò íå îðìèðîâàòü ÿâíî òðåõäèàãîíàëüíûå ìàòðèöû. àññìîòðèì îäíó QR-èòåðàöèþ ñ òðåõäèàãîíàëüíûìè ìàòðèöàìè: T − sI = QR, T1 = QT T Q. Çàïèøåì ðàçëîæåíèå Õîëåöêîãî äëÿ T1 â âèäå T1 = B1T B1 , ãäå B1 âåðõíÿÿ áèäèàãîíàëüíàÿ ìàòðèöà, è ïîïðîáóåì âû÷èñëèòü B1 , íå îðìèðóÿ T è T1 . Ýòî ìîæíî ñäåëàòü òàê:
• Íàõîäèì ïåðâûé ñòîëáåö h ìàòðèöû T − sI = B T B − sI.
1 D.S.Watkins, Shifting strategies for the parallel (1994).
QR-algorithm,
SIAM J. S i. Comput. 15 (4): 953958
• Ñòðîèì ìàòðèöó âðàùåíèÿ G òàêóþ, ÷òî Gh = [∗ , 0, . . . , 0]T . • Ôîðìèðóåì ìàòðèöó W0 = BGT è ñ ïîìîùüþ ïîñëåäîâàòåëüíîãî óìíîæåíèÿ åå ñëåâà è ñïðàâà íà ìàòðèöû âðàùåíèÿ ïîëó÷àåì âåðõíþþ áèäèàãîíàëüíóþ ìàòðèöó W1 = ZW0V (Z, V ïðîèçâåäåíèÿ ìàòðèö âðàùåíèÿ). • Ïîëàãàåì B1 = W1. ßñíî, ÷òî B1T B1 = (GV )T (B T B) (GV ) è ïðè íåêîòîðîé ðåàëèçàöèè QRðàçëîæåíèÿ äëÿ T − sI ïåðâûå ñòîëáöû îðòîãîíàëüíûõ ìàòðèö GV è Q ñîâïàäàþò. Çàäà÷è
1. Ïðèâåäèòå ïðèìåð ìàòðèöû, äëÿ êîòîðîé QR-àëãîðèòì ñî ñäâèãîì åëåÿ (ìóëüòèñäâèãîì ñòåïåíè 1) íå ñõîäèòñÿ. 2. Ïóñòü B âåðõíÿÿ äâóõäèàãîíàëüíàÿ ìàòðèöà. àññìîòðèì ñëåäóþùèé ïðîöåññ:
B0 = B;
Ck = Bk−1Qk , Bk = Zk Ck ,
k = 1, 2, . . . ,
ãäå ìàòðèöû Bk âåðõíèå äâóõäèàãîíàëüíûå, ìàòðèöû Ck íèæíèå äâóõäèàãîíàëüíûå, ìàòðèöû Qk , Zk óíèòàðíûå ìàòðèöû. Äîêàæèòå, ÷òî ìàòðèöû Bk è Ck ñõîäÿòñÿ ïðè k → ∞ ê îäíîé è òîé æå äèàãîíàëüíîé ìàòðèöå. 3. Ïðèäóìàéòå êàêîé-ëèáî àëãîðèòì, ñòðîÿùèé âåðõíèå è íèæíèå äâóõäèàãîíàëüíûå ìàòðèöû ïðåäûäóùåé çàäà÷è. Ïîêàæèòå, êàê ñ åãî ïîìîùüþ ìîæíî ïîëó÷èòü ñèíãóëÿðíîå ðàçëîæåíèå äâóõäèàãîíàëüíîé ìàòðèöû. 4. Îïèøèòå àëãîðèòì, âû÷èñëÿþùèé ñèíãóëÿðíûå ÷èñëà ïðîèçâîëüíîé ìàòðèöû A. 5. Ïóñòü A = AT ∈ Cn×n. Äîêàæèòå, ÷òî ñóùåñòâóåò ðàçëîæåíèå
A = V ΣV T , ãäå V óíèòàðíàÿ ìàòðèöà, Σ äèàãîíàëüíàÿ ìàòðèöà ñ íåîòðèöàòåëüíîé äèàãîíàëüþ. Ïðèäóìàéòå àëãîðèòì, âû÷èñëÿþùèé òàêîå ðàçëîæåíèå.
ëàâà 12
12.1
Ïðèáëèæåíèå óíêöèé
Ïóñòü çàäàí êëàññ óíêöèé F è ïîäêëàññ ïðîñòûõ óíêöèé Φ ⊂ F . Òèïè÷íàÿ çàäà÷à: äëÿ f ∈ F íàéòè ïðèáëèæåíèå φ ≈ f, φ ∈ Φ. ×òîáû îò èíòóèòèâíîãî îïèñàíèÿ ïåðåéòè ê òî÷íîé ïîñòàíîâêå, íåîáõîäèìî ñïåöè èöèðîâàòü êëàññû F è Φ è ïðèäàòü ñòðîãèé ñìûñë ïîíÿòèþ ïðèáëèçèòü. Áóäåì ñ÷èòàòü, ÷òî F ëèíåéíîå ïðîñòðàíñòâî óíêöèé ñ îáëàñòüþ îïðåäåëåíèÿ Ω. Ìîæíî âûäåëèòü äâà îáùèõ ïîäõîäà.
Ìèíèìèçàöèîííûé ïîäõîä. Âûáèðàåòñÿ êàêàÿ-ëèáî íîðìà (èëè ïîëóíîðìà 1) || · || íà F è èùåòñÿ óíêöèÿ φ ∈ Φ ⊂ F , ìèíèìèçèðóþùàÿ kf − φk.
Èíòåðïîëÿöèîííûé ïîäõîä. Âûáèðàþòñÿ óçëû x0 , . . . , xn ∈ Ω è èùåòñÿ óíêöèÿ φ ∈ Φ, óäîâëåòâîðÿþùàÿ èíòåðïîëÿöèîííûì óñëîâèÿì
φ (xi) = f (xi), 12.2
i = 0, 1, . . . , n.
Ïîëèíîìèàëüíàÿ èíòåðïîëÿöèÿ
Áóäåì ðàññìàòðèâàòü óíêöèè f (x) îäíîé âåùåñòâåííîé ïåðåìåííîé x. Åñëè f (x) ïðèáëèæàåòñÿ ïîëèíîìîì
φ(x) = Ln(x) ≡ an xn + an−1xn−1 + · · · + a0 , òî èíòåðïîëÿöèîííûå óñëîâèÿ ïðèíèìàþò âèä
1 x0 x20 1 x1 x21 ... ... ... 1 xn x2n
... ... ... ...
xn0 a0 xn1 a1 ... ... xnn an
f (x0) f (x1) = ... . f (xn)
(∗)
1 Ïîëóíîðìà îòëè÷àåòñÿ îò íîðìû òîëüêî òåì, ÷òî ýëåìåíò ñ íóëåâîé ïîëóíîðìîé íå îáÿçàí áûòü íóëåâûì
113
Ìàòðèöà êîý èöèåíòîâ W = W (x0 , . . . , xn) ýòîé ñèñòåìû íàçûâàåòñÿ (òðàíñïîíèðîâàííîé) ìàòðèöåé Âàíäåðìîíäà. Èçâåñòíî, ÷òî (äîêàæèòå) Y det W (x0, . . . , xn) = (xj − xi ). 0≤i<j≤n
Åñëè óçëû x0 , . . . , xn ïîïàðíî ðàçëè÷íû, òî ìàòðèöà êîý èöèåíòîâ äëÿ (∗) íåâûðîæäåííàÿ. Òàêèì îáðàçîì, èíòåðïîëÿöèîííûé ïîëèíîì ñóùåñòâóåò è îïðåäåëåí îäíîçíà÷íî. 12.3
Ïëîõàÿ îáóñëîâëåííîñòü ìàòðèöû Âàíäåðìîíäà
×òîáû íàéòè Ln (x), êàçàëîñü áû, ìîæíî èñïîëüçîâàòü ñòàíäàðòíûå ìåòîäû äëÿ ðåøåíèÿ ñèñòåìû (∗). Íî òàê íèêòî íå äåëàåò, ïîòîìó ÷òî: (1) ñòàíäàðòíûå ìåòîäû íå ó÷èòûâàþò ñïåöè èêè ìàòðèöû Âàíäåðìîíäà; (2) â ñëó÷àå âåùåñòâåííûõ óçëîâ ìàòðèöà Âàíäåðìîíäà î÷åíü ïëîõî îáóñëîâëåíà. Òåîðåìà 12.3.1
x0 , x1 , . . . , xn
Äëÿ ëþáûõ ïîïàðíî ðàçëè÷íûõ âåùåñòâåííûõ óçëîâ
2
√ cond2 W (x0, x1, . . . , xn) ≥ 2n−1/ n + 1.
Ïóñòü h = [h0 , ..., hn]⊤ âåêòîð, ïîëó÷åííûé âû÷èòàíèåì èç ïîñëåäíåãî ñòîëáöà W ëèíåéíîé êîìáèíàöèè ïðåäûäóùèõ ñòîëáöîâ: hi = xni − (a0 + a1 xi + ... + an−1xn−1 ), 0 ≤ i ≤ n. i
Äîêàçàòåëüñòâî.
Çàìåòèì, ÷òî h0 , ..., hn çíà÷åíèÿ ïîëèíîìà n-é ñòåïåíè ñî ñòàðøèì êîý èöèåíòîì 1 â íåêîòîðûõ òî÷êàõ x ∈ [−1, 1]. Ìîæíî äîêàçàòü, ÷òî ïðè ëþáîì n óíêöèÿ
Tn (x) = cos(n arccos x),
−1 ≤ x ≤ 1,
ÿâëÿåòñÿ ïîëèíîìîì n-é ñòåïåíè ñî ñòàðøèì êîý èöèåíòîì 2n−1 ýòî çíàìåíèòûå ïîëèíîìû ×åáûøåâà. ⇒ Ïðè a < b ïîëèíîì n (b − a) x − (b + a)/2 Pn (x) ≡ 21−n Tn 2n (b − a)/2 èìååò ñòàðøèé êîý èöèåíò 1 è, êðîìå òîãî,
|Pn (x)| ≤ 21−2n(b − a)n ,
2 E. E. Tyrtyshnikov, How bad are Hankel matri es?
a ≤ x ≤ b.
Numer. Math.
67: 261269 (1994).
Ïóñòü b = max |xi| è a = −b. Îïðåäåëèâ a0 , ..., an−1 ðàâåíñòâîì 0≤i≤n
Pn (x) = xn − (a0 + a1 x + ... + an−1xn−1)
è ó÷èòûâàÿ, ÷òî ðàññòîÿíèå îò W äî ìíîæåñòâà âûðîæäåííûõ ìàòðèö ìåíüøå èëè ðàâíî ||h||2 , íàõîäèì √ √ |hi | ≤ 21−nbn ∀ i ⇒ ||h||2 ≤ n + 1 21−n bn ⇒ σn+1(W ) ≤ n + 1 21−n bn ; √ bn n n−1 √ n + 1. 2 σ1(W ) ≥ b ⇒ cond2 W ≥ = 2 / n + 1 21−n bn Èñïîëüçóÿ òó æå òåõíèêó, íåòðóäíî ïîêàçàòü, ÷òî åñëè |xi | ≤ 1 ∀ i, òî cond 2 W (x0, ..., xn) ≥ 2n−1. Òî æå âåðíî, åñëè |xi | ≥ 1 ∀ i. 12.4
Èíòåðïîëÿöèîííûé ïîëèíîì Ëàãðàíæà
Ê ñ÷àñòüþ, íå îáÿçàòåëüíî èñêàòü èìåííî êîý èöèåíòû èíòåðïîëÿöèîííîãî ïîëèíîìà.  äåéñòâèòåëüíîñòè íóæíî èìåòü êàêîå-ëèáî êîìïàêòíîå ïðåäñòàâëåíèå ýòîãî ïîëèíîìà, ïîçâîëÿþùåå âû÷èñëèòü åãî çíà÷åíèå â ëþáîé çàäàííîé òî÷êå. Åñëè ïîëèíîìû l0 (x), . . . , ln(x) ñòåïåíè n óäîâëåòâîðÿþò (èíòåðïîëÿöèîííûì) óñëîâèÿì 1, i = j, lj (xi) = 0, i 6= j, òî, î÷åâèäíî, n X Ln(x) ≡ (12.4.1) f (xj )lj (x). j=0
Ïîëèíîìû lj (x) ñóùåñòâóþò è åäèíñòâåííû (êàê ðåøåíèÿ çàäà÷ ïîëèíîìèàëüíîé èíòåðïîëÿöèè). Èõ íàçûâàþò ýëåìåíòàðíûìè ïîëèíîìàìè Ëàãðàíæà. Ïîëèíîì Ln íàçûâàþò èíòåðïîëÿöèîííûì ïîëèíîìîì Ëàãðàíæà, à î ñàìîé çàäà÷å ïîëèíîìèàëüíîé èíòåðïîëÿöèè ÷àñòî ãîâîðÿò êàê î ëàãðàíæåâîé èíòåðïîëÿöèè. Ëåãêî ïðîâåðèòü, ÷òî n Y x − xk . lj (x) = (12.4.2) x − x j k k=0 k6=j
Ó÷èòûâàÿ ýòî, ïîëó÷àåì ïîëåçíîå ïðåäñòàâëåíèå (ïðîâåðüòå!) n n Y X f (xj ) ω(x) (x − xk ) , ω(x) = Ln (x) = (x − xj ) ω ′ (xj ) j=0
(ω ′ (x) ïðîèçâîäíàÿ îò ω (x)).
k=0
(12.4.3)
12.5
Ïîãðåøíîñòü ëàãðàíæåâîé èíòåðïîëÿöèè
Òåîðåìà 12.5.1
Ïóñòü x, x0, . . . , xn ∈ [a, b] è f ∈ C n+1[a, b]. Òîãäà
f (n+1) (ξ (x)) f (x) − Ln(x) = ω (x), (n + 1)!
ω (x) =
n Y
(x − xk ),
k=0
ãäå
min{x, x0, . . . , xn} < ξ (x) < max{x, x0, . . . , xn}. Ôèêñèðóåì x ∈ / {x0, . . . , xn}. Òîãäà ω(x) 6= 0 è ìû èìååì ïðàâî ðàññìîòðåòü òàêóþ óíêöèþ îò t: Äîêàçàòåëüñòâî.
g(t) ≡ f (t) − Ln(t) − c ω (t),
c≡
f (x) − Ln (x) . ω (x)
Ôóíêöèÿ g(t) îáðàùàåòñÿ â íóëü ïðè t = x, x0 , . . . , xn. Ïî òåîðåìå îëëÿ, g (1) (t) èìååò n + 1 íóëü ⇒ g (2) (t) èìååò n íóëåé ⇒ . . . ⇒ g n+1(t) îáðàùàåòñÿ â íóëü õîòÿ áû â îäíîé òî÷êå: ∃ ξ : g (n+1) (ξ) = 0. Îñòàåòñÿ çàìåòèòü, ÷òî g (n+1) (t) = f (n+1) (t) − c (n + 1)!. 2 12.6
àçäåëåííûå ðàçíîñòè
Çíà÷åíèÿ óíêöèè f (x) â óçëàõ áóäåì íàçûâàòü åå ðàçäåëåííûìè ðàçíîñòÿìè ïîðÿäêà 0. Äëÿ ëþáîé ïàðû óçëîâ x0 , x1 âåëè÷èíû
f (x0; x1) ≡
f (x1) − f (x0) x1 − x0
áóäåì íàçûâàòü ðàçäåëåííûìè ðàçíîñòÿìè ïîðÿäêà 1. Ïî èíäóêöèè, âåëè÷èíû f (x1; . . . ; xk ) − f (x0; . . . ; xk−1) f (x0; . . . ; xk ) ≡ xk − x0 áóäåì íàçûâàòü ðàçäåëåííûìè ðàçíîñòÿìè ïîðÿäêà k . Ëåììà 12.6.1
f (x0; . . . ; xk ) =
k X j=0
Q l=0
l6=j
f (xj ) . (xj − xl )
Äîêàçàòåëüñòâî.
f (x0; . . . ; xk ) =
Ïî èíäóêöèè, k X j=1
f (xj ) k Q l=1
l6=j
=
(xj − xl ) (xk − x0)
f (x0) k Q l=0
+
(x0 − xl )
l6=0
+
k−1 X j=1
k Q l=0
l6=k
k−1 Q l=0
(xj − xl ) (xk − x0 )
(xk − xl )
k−1 Q l6=j
j=0
f (xj )
l6=j
f (xk )
f (xj ) l=1
−
k−1 X
(xj − xl ) (xk − x0)
1 1 − xj − xk xj − x0
.2
Çíà÷åíèå ðàçäåëåííîé ðàçíîñòè f (x0 ; . . . ; xk ) íå çàâèñèò îò óïîðÿäî÷åíèÿ óçëîâ. Ñëåäñòâèå 12.6.1
Ñëåäñòâèå 12.6.2
f (x) − Ln(x) = f (x; x0; . . . ; xn) ω (x).
Äîêàçàòåëüñòâî.
f (x) − Ln (x) = ω (x)
(
f (x) + ω (x)
n X j=0
f (xj ) (xj − x) ω ′ (xj )
)
. 2
Ñëåäñòâèå 12.6.3
f (k) (ξ) , k! min{x0, . . . , xk } < ξ < max{x0, . . . , xk }. f (x0; . . . ; xk ) =
12.7
Ôîðìóëà Íüþòîíà
Òåîðåìà 12.7.1
(Ôîðìóëà Íüþòîíà)
Ln (x) = f (x0) + + + + Äîêàçàòåëüñòâî.
f (x0; x1) (x − x0) f (x0; x1; x2 ) (x − x0) (x − x1) ... f (x0; x1; . . . ; xn ) (x − x0) . . . (x − xn−1).
Çàïèøåì
Ln = L0 + (L1 − L0) + (L2 − L1) + . . . + (Ln − Ln−1),
ãäå Lk ïîëèíîì Ëàãðàíæà, èíòåðïîëèðóþùèé óíêöèþ f (x) â óçëàõ x0, . . . , xk . Ïîñêîëüêó Lk−1 èíòåðïîëèðóåò Lk â óçëàõ x0, . . . , xk−1, íàõîäèì
Lk (x) − Lk−1(x) = Lk (x; x0; . . . ; xk−1) (x − x0) . . . (x − xk−1). Åñëè Lk (x) = ak xk + . . . , òî â ñèëó ñëåäñòâèÿ 12.6.3 âåëè÷èíà
Lk (x; x0; . . . ; xk−1) = ak íå çàâèñèò îò x. Ïîýòîìó ìû ìîæåì âçÿòü x = xk ; òîãäà
Lk (xk ; x0; . . . ; xk−1) = f (x0; . . . ; xk ). 2 Ôîðìóëó Íüþòîíà ìîæíî ñ÷èòàòü äèñêðåòíûì àíàëîãîì ðÿäà Òåéëîðà. Ïðè ýòîì îíà íå ñîäåðæèò ïðîèçâîäíûõ è, êàê ìû ñêîðî óâèäèì, ìîæåò áûòü ìíîãî ëó÷øå ïî òî÷íîñòè ïðèáëèæåíèÿ. 12.8
àçäåëåííûå ðàçíîñòè ñ êðàòíûìè óçëàìè
Òåïåðü äîïóñòèì, ÷òî ñðåäè ÷èñåë x0 , . . . , xn ìîãóò áûòü îäèíàêîâûå (êðàòíûå). Åñëè y ∈ {x0 , . . . , xn} âñòðå÷àåòñÿ ðîâíî m ðàç, òî y íàçûâàåòñÿ óçëîì êðàòíîñòè m. Ñîâîêóïíîñòü óçëîâ M = {x0 , . . . , xn} íàçûâàåòñÿ ñåòêîé êðàòíîé, åñëè óçëû êðàòíûå, è ïðîñòîé, åñëè óçëû ïîïàðíî ðàçëè÷íû. Äëÿ ëþáîé ñåòêè M = {x0 , . . . , xn} ñóùåñòâóåò ñåìåéñòâî ïðîñòûõ ñåòîê M ε = {xε0, . . . , xεn}, ε > 0, òàêîå, ÷òî xεi → xi ïðè ε → 0 äëÿ âñåõ i. Ïîä ðàçäåëåííîé ðàçíîñòüþ ñ êðàòíûìè óçëàìè áóäåì ïîíèìàòü ïðåäåë
f (x0; . . . ; xn ) ≡ lim f (xε0; . . . ; xεn). ε→0
(∗)
Åñëè êðàòíîñòü êàæäîãî óçëà íå ïðåâîñõîäèò m è , òî ïðåäåë (∗) ñóùåñòâóåò è íå çàâèñèò îò âûáîðà ñåìåéñò-
Ëåììà 12.8.1
f ∈ C âà M ε .
m−1
àçäåëåííûå ðàçíîñòè äëÿ ïðîñòûõ ñåòîê íå çàâèñÿò îò óïîðÿäî÷åíèÿ óçëîâ. Ïîýòîìó áóäåì ñ÷èòàòü, ÷òî óçëû â ïðîñòûõ ñåòêàõ óïîðÿäî÷åíû òàêèì îáðàçîì, ÷òî åñëè äâà óçëà èìåþò îáùèé ïðåäåëüíûé óçåë, òî è âñå ïðîñòûå óçëû ìåæäó íèìè èìåþò òîò æå ïðåäåëüíûé óçåë. àçäåëåííûå ðàçíîñòè f (xi) ïîðÿäêà 0, î÷åâèäíî, ñóùåñòâóþò. Äàëåå, f (xε )−f (xεi ) , xi 6= xi+1, ε −xε xi+1 i i+1 ε ε f (xi ; xi+1) = f (1) (ξ ε), xi = xi+1.
Äîêàçàòåëüñòâî.
 ñëó÷àå xi 6= xi+1 ïðè âñåõ äîñòàòî÷íî ìàëûõ ε xεi 6= xεi+1 ; ïðè ε → 0 ñóùåñòâóþò ïðåäåëû ÷èñëèòåëÿ è çíàìåíàòåëÿ.  ñëó÷àå xi = xi+1 ïðåäåë ñóùåñòâóåò âñëåäñòâèå òîãî, ÷òî ξ ε íàõîäèòñÿ ìåæäó xεi è xεi+1. Ñîãëàñíî ðåêóðñèâíîìó îïðåäåëåíèþ ðàçäåëåííûõ ðàçíîñòåé äëÿ ïðîñòûõ ñåòîê, f (xεi+1 ; ... ; xεi+k )−f (xεi ; ... ; xεi+k−1 ) , xi 6= xi+k , xεi+k −xεi ε ε f (xi ; . . . ; xi+k ) = f (k) (ξ ε), xi = xi+k .
Ïóñòü óæå óñòàíîâëåíî ñóùåñòâîâàíèå ïðåäåëîâ äëÿ ðàçäåëåííûõ ðàçíîñòåé ïîðÿäêà k − 1. Òîãäà ïðè xi 6= xi+k ñóùåñòâóþò ïðåäåëû ÷èñëèòåëÿ è çíàìåíàòåëÿ. Ïðè xi = xi+k ïðåäåë ñóùåñòâóåò, ïîñêîëüêó
min{xεi, . . . , xεi+k } < ξ ε < max{xεi , . . . , xεi+k } è, ñëåäîâàòåëüíî, ξ ε → xi = xi+1 ïðè ε → 0. Ñëåäñòâèå 12.8.1
2
Åñëè f ∈ C k , òî
f (k) (ξ) f (x0; . . . ; xk ) = , k!
(12.8.4)
min{x0, . . . , xk } ≤ ξ ≤ max{x0, . . . , xk }.
(12.8.5)
ãäå  ñëó÷àå ïðîñòûõ óçëîâ ýòî âûòåêàåò èç ñëåäñòâèÿ 12.6.3.  ñëó÷àå êðàòíûõ óçëîâ f (x0; . . . ; xk ) åñòü ïðåäåë âåëè÷èí Äîêàçàòåëüñòâî.
f (xε0;
... ;
xεk )
f (k) (ξ ε ) = . k!
Ïóñòü ε = 1/N . Âîîáùå ãîâîðÿ, ïðàâàÿ ÷àñòü íå îáÿçàíà èìåòü ïðåäåë N → ∞. Îäíàêî, çàâåäîìî ñóùåñòâóåò (ïî÷åìó?) ïîäïîñëåäîâàòåëüíîñòü òî÷åê ξ ε , ñõîäÿùàÿñÿ ê íåêîòîðîé òî÷êå ξ , óäîâëåòâîðÿþùåé íåðàâåíñòâàì (12.8.5). 2 12.9
Îáîáùåííûå èíòåðïîëÿöèîííûå óñëîâèÿ
Åñëè óçåë z ∈ {x0, . . . , xn} èìååò êðàòíîñòü m, òî ïîä îáîáùåííûìè èíòåðïîëÿöèîííûìè óñëîâèÿìè äëÿ îïðåäåëåíèÿ îáîáùåííîãî èíòåðïîëÿöèîííîãî ïîëèíîìà Hn (x) ñòåïåíè íå âûøå n ïîíèìàþòñÿ óñëîâèÿ
Hn(j) (z) = f (j) (z),
j = 0, . . . , m − 1.
Åñëè èìååòñÿ ν ïîïàðíî ðàçëè÷íûõ óçëîâ z1 , . . . , zν ñ êðàòíîñòÿìè m1 , . . . , mν , òî
n = m1 + . . . + mν − 1. Íåòðóäíî óñòàíîâèòü åäèíñòâåííîñòü ïîëèíîìà Hn (ñäåëàéòå ýòî!). Èìååò ìåñòî òàêæå ñëåäóþùåå îáîáùåíèå îðìóëû Íüþòîíà: Òåîðåìà 12.9.1
Hn (x) = f (x0) + + + +
f (x0; x1 ) (x − x0) f (x0; x1 ; x2) (x − x0) (x − x1) ... f (x0; x1 ; . . . ; xn) (x − x0) . . . (x − xn−1).
àññìîòðèì ïðîñòûå ñåòêè M ε è îòâå÷àþùèå èì èíòåðïîëÿöèîííûå ïîëèíîìû Ëàãðàíæà Lεn(x). Ïîñêîëüêó Lεn(x) → Hn (x) ïðè ε → 0, ìû ïîëó÷èì îäèí è òîò æå ïîëèíîì Hn (x) ïðè ëþáîì óïîðÿäî÷åíèè óçëîâ. Ïóñòü z = x0 = . . . = xm−1 óçåë êðàòíîñòè m. Òîãäà Äîêàçàòåëüñòâî.
Hn (x) =
m−1 X j=0
f (j) (z) (x − z)j + (x − z)m pn−m (x), j!
ãäå ñòåïåíü ïîëèíîìà pn−m (x) íå âûøå n − m. Îáîáùåííûå èíòåðïîëÿöèîííûå óñëîâèÿ â óçëå z âûïîëíÿþòñÿ î÷åâèäíûì îáðàçîì. 2
Ñëåäñòâèå 12.9.1
Åñëè f ∈ C n+1, òî
f n+1(ξ (x)) ω (x), f (x) − Hn (x) = (n + 1)!
ω (x) =
n Y
(x − xk ),
k=0
min{x, x0, . . . , xn} ≤ ξ (x) ≤ max{x, x0, . . . , xn}. Îáîáùåííûé èíòåðïîëÿöèîííûé ïîëèíîì íàçûâàþò ïîëèíîìîì Ýðìèòà, à îá îáîáùåííîé ïîëèíîìèàëüíîé èíòåðïîëÿöèè ÷àñòî ãîâîðÿò êàê îá ýðìèòîâîé èíòåðïîëÿöèè.
12.10
Òàáëèöà ðàçäåëåííûõ ðàçíîñòåé
Ïðè âû÷èñëåíèè ðàçäåëåííûõ ðàçíîñòåé â ñëó÷àå ïðîñòûõ èëè êðàòíûõ óçëîâ ÿâíî èëè íåÿâíî ñòðîÿò ñëåäóþùóþ òàáëèöó ðàçäåëåííûõ ðàçíîñòåé: f (x0 ) ..
f (x1 )
..
f (x2 )
.
...
..
.
... ..
f (x0 ; x1 ) f (x1 ; x2 )
..
.
f (x3 )
...
f (x2 ; x3 )
...
...
...
.
...
f (x0 ; x1 ; x2 ) ..
.
...
.
f (x1 ; x2 ; x3 ) . . .
f (x0 ; x1 ; x2 ; x3 )
Ïðè ïîñòðîåíèè òàáëèöû â ñëó÷àå êðàòíûõ óçëîâ ñëåäóåò íóìåðîâàòü óçëû òàê, ÷òîáû ðàâåíñòâî xi = xj âëåêëî çà ñîáîé xk = xi ïðè âñåõ i ≤ k ≤ j . Äèàãîíàëü òàáëèöû ðàçäåëåííûõ ðàçíîñòåé ñîäåðæèò êîý èöèåíòû äèñêðåòíîãî àíàëîãà ðÿäà Òåéëîðà. Èñïîëüçóÿ èõ, ìîæíî ñ ëåãêîñòüþ ðåøàòü çàäà÷è êàê ëàãðàíæåâîé, òàê è ýðìèòîâîé èíòåðïîëÿöèè. 12.11
Îñòàòî÷íûé ÷ëåí ìíîãîìåðíîé èíòåðïîëÿöèè
Ïóñòü f (x) = f (x1, . . . , xm) óíêöèÿ îò m êîîðäèíàò âåêòîðà x è p(x) = p(x1, . . . , xm) èíòåðïîëÿöèîííûé ïîëèíîì äëÿ ñåòêè
M = {xi11 }pi11=1 × . . . × {ximm }pimm=1. Ïîëîæèì
1 ∂ pi1 . . . ∂ pik Di1 ,...,ik (x) ≡ f (x), pi1 ! . . . pik ! (∂xi1 )pi1 . . . (∂xik )pik Ωi1 ,...,ik ≡ ωi1 (xi1 ) . . . ωik (xik ),
ωi(t) =
pi Y j=1
(t − xji ).
Åñëè f èìååò íåïðåðûâíûå ÷àñòíûå ïðîèçâîäíûå ïîðÿäêà p1 + · · · + pm , òî
Òåîðåìà 12.11.1
f (x) − p(x) =
m X k=1
(−1)(k−1)
X
Ei1 ,...,ik ,
1≤i1 m ∀ m (ïðîòèâîðå÷èå!) 2 n
(ÁàíàõØòåéíãàóç) Äëÿ òîãî ÷òîáû ïîñëåäîâàòåëüíîñòü óíêöèé Pn f áûëà ñõîäÿùåéñÿ äëÿ âñåõ f ∈ F , íåîáõîäèìî è äîñòàòî÷íî âûïîëíåíèå äâóõ óñëîâèé: Òåîðåìà 13.3.2
(1) sup ||Pn || < +∞ ; n
(2) Pn f ñõîäèòñÿ ïðè n → ∞ íà íåêîòîðîì ïîäìíîæåñòâå F˜ , âñþäó ïëîòíîì â F . Íåîáõîäèìîñòü âûòåêàåò èç ïðèíöèïà ðàâíîìåðíîé îãðàíè÷åííîñòè. ×òîáû äîêàçàòü äîñòàòî÷íîñòü, âîçüìåì f ∈ F è ðàññìîòðèì ε-ïðèáëèæåíèå fε ∈ F˜ : ||f − fε || ≤ ε. Íàõîäèì
Äîêàçàòåëüñòâî.
||Pn f − Pm f ||
≤ =
||Pn f − Pn fε|| + ||Pn fε − Pm fε || + ||Pm fε − Pm f || O (ε) ïðè n, m → ∞. 2
Åñëè Pn èíòåðïîëÿöèîííûå ïðîåêòîðû, òî ñõîäèìîñòü íà âñþäó ïëîòíîì ìíîæåñòâå â C [a, b] çàâåäîìî èìååò ìåñòî (ïî÷åìó?). Êëþ÷åâîé âîïðîñ äëÿ àíàëèçà ñõîäèìîñòè èíòåðïîëÿöèîííîãî ïðîöåññà: êàê âåäóò ñåáÿ íîðìû ||Pn || ïðè n → ∞ ?
13.4
Àëãåáðàè÷åñêèå è òðèãîíîìåòðè÷åñêèå ïîëèíîìû
b−a Åñëè x ∈ [a, b], òî çàìåíà x = a+b 2 + 2 t ïîçâîëÿåò ïåðåéòè ê óíêöèÿì îò t ∈ [−1, 1]. Åùå îäíà çàìåíà t = cos φ ïîçâîëÿåò ïåðåéòè ê ÷åòíûì 2π -ïåðèîäè÷åñêèì óíêöèÿì îò φ, îïðåäåëåííûì íà âñåé âåùåñòâåííîé ïðÿìîé. Ïðè ýòîì àëãåáðàè÷åñêèé ïîëèíîì pn (t) ñòåïåíè íå âûøå n ïðåâðàùàåòñÿ â ÷åòíûé òðèãîíîìåòðè÷åñêèé ïîëèíîì
pn(cos φ) = qn (φ) ≡
n X
αk cos kφ.
k=0
Ôóíêöèÿ cos kφ åñòü àëãåáðàè÷åñêèé ïîëèíîì îò cos φ ñòåïåíè íå âûøå k (äîêàæèòå) ⇒ ëþáîé ÷åòíûé òðèãîíîìåòðè÷åñêèé ïîëèíîì qn (φ) ñòåïåíè íå âûøå n ìîæíî çàïèñàòü â âèäå pn (cos φ), ãäå pn (t) àëãåáðàè÷åñêèé ïîëèíîì ñòåïåíè íå âûøå n. Ïðîèçâîëüíûé (íå îáÿçàòåëüíî ÷åòíûé) òðèãîíîìåòðè÷åñêèé ïîëèíîì ñòåïåíè íå âûøå n èìååò âèä
Qn(φ) = α0 +
n X
(αk cos kφ + βk cos kφ) .
k=1
Åãî óäîáíî çàïèñûâàòü òàêæå â âèäå
Qn (φ) =
n X
ck ei k φ ,
k=−n
ãäå c−k = c¯k (êîìïëåêñíîå ñîïðÿæåíèå) äëÿ âñåõ k (â ýòîì è òîëüêî â ýòîì ñëó÷àå çíà÷åíèÿ Qn (φ) âåùåñòâåííû ïðè âñåõ φ). Âàæíûé âûâîä: âîïðîñû ïðèáëèæåíèÿ óíêöèé àëãåáðàè÷åñêèìè ïîëèíîìàìè ñâîäÿòñÿ ê âîïðîñàì ïðèáëèæåíèÿ ÷åòíûõ ïåðèîäè÷åñêèõ óíêöèé ÷åòíûìè òðèãîíîìåòðè÷åñêèìè ïîëèíîìàìè. 13.5
Ïðîåêòîðû, ñâÿçàííûå ñ ðÿäîì Ôóðüå
Ïóñòü C = C[−π, π] áàíàõîâî ïðîñòðàíñòâî âåùåñòâåííûõ íåïðåðûâíûõ 2π -ïåðèîäè÷åñêèõ óíêöèé ñ íîðìîé (13.2.1) è Sn ïðîåêòîð, ïåðåâîäÿùèé f ∈ C â n-é îòðåçîê åå ðÿäà Ôóðüå:
f (φ) 7→ sn (φ) =
n X
k=−n
ck ei k φ,
1 ck = 2π
Zπ
−π
f (ψ) e−i k ψ d ψ.
||Sn || ≥ c ln n,
Ëåììà 13.5.1
Ó÷èòûâàÿ âûðàæåíèÿ äëÿ ck , íàõîäèì
Äîêàçàòåëüñòâî. 1 sn (φ) = 2π
c > 0.
Zπ
−π
n X
e
i k (φ−ψ)
k=−n
!
1 f (ψ) d ψ = 2π
Zπ
−π
sin (n + 21 ) t f (φ + t) d t. sin 2t
Îòñþäà (èñïîëüçóåì íåðàâåíñòâà π2 x ≤ sin x ≤ x ïðè 0 ≤ x ≤ π2 ) ||Sn ||
=
1 2π
Zπ sin (n + 21 ) t sin 2t
−π
>
N −1 1 X π
πk N
Z+
k=0
πk N π 2N
>
N −1 Z 1 X π k=0 0
=
π 2N
2 π πk N
N −1 1 X 1 4π k + k=0
Zπ sin N u dt = 1 sin u π 0
sin N u sin u
1 2
>
(N
= 2 n + 1)
π 2N N −1 Z sin N v X 1 du = sin ( πNk + v) π k=0
0
N −1 1 X dv > π + v k=0
Nv
du
2 π
π 2 1 2N 2 π πk N + 2N N
dv
N −1 1 X 1 ≥ c ln n. 2 2π k k=1
Ñóùåñòâóåò íåïðåðûâíàÿ ïåðèîäè÷åñêàÿ óíêöèÿ, äëÿ êîòîðîé ðÿä Ôóðüå íå ñõîäèòñÿ ðàâíîìåðíî íè ê êàêîé íåïðåðûâíîé óíêöèè.
Ñëåäñòâèå 13.5.1
Äëÿ ëþáîé òî÷êè ñóùåñòâóåò íåïðåðûâíàÿ ïåðèîäè÷åñêàÿ óíêöèÿ, äëÿ êîòîðîé ðÿä Ôóðüå ðàñõîäèòñÿ â ýòîé òî÷êå.
Ñëåäñòâèå 13.5.2
Äëÿ çàäàííîé òî÷êè x0 ∈ [−π, π] íóæíî ðàññìîòðåòü óíêöèîíàëû sn (x0) è çàìåòèòü, ÷òî ||sn (x0)|| = ||Sn ||. 13.6
Ïåññèìèñòè÷åñêèå ðåçóëüòàòû
Ïóñòü ëèíåéíûé íåïðåðûâíûé îïåðàòîð Tn : C → C îñóùåñòâëÿåò ïðîåêòèðîâàíèå íà ïîäïðîñòðàíñòâî ÷åòíûõ (íå÷åòíûõ) òðèãîíîìåòðè÷åñêèõ ïîëèíîìîâ ñòåïåíè íå âûøå n è ïåðåâîäèò ëþáóþ íå÷åòíóþ (÷åòíóþ) óíêöèþ â íóëü. Òîãäà äëÿ ëþáîé ÷åòíîé (íå÷åòíîé) óíêöèè f èìååò ìåñòî òîæäåñòâî Zπ 1 [Tn f (t + h)] (t − h) d h = c0 (f ) + [Sn f ] (t), π
Ëåììà 13.6.1
−π
1 c0 (f ) = 2π
Zπ
−π
f (t)dt.
Òîæäåñòâî ëåãêî ïðîâåðèòü, âçÿâ f (t) = cos nt â ñëó÷àå ÷åòíûõ óíêöèé è f (t) = sin nt â ñëó÷àå íå÷åòíûõ óíêöèé. Îñòàåòñÿ çàìåòèòü, ÷òî ìíîæåñòâî ÷åòíûõ (íå÷åòíûõ) òðèãîíîìåòðè÷åñêèõ ïîëèíîìîâ âñþäó ïëîòíî â ïðîñòðàíñòâå íåïðåðûâíûõ ÷åòíûõ (íå÷åòíûõ) óíêöèé. 2 Äîêàçàòåëüñòâî.
(ÔàáåðÁåðíøòåéí) Äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè ïðîñòûõ ñåòîê íà [a, b] ñóùåñòâóåò íåïðåðûâíàÿ íà [a, b] óíêöèÿ, äëÿ êîòîðîé ïîñëåäîâàòåëüíîñòü èíòåðïîëÿöèîííûõ ïîëèíîìîâ íå ñõîäèòñÿ ðàâíîìåðíî íè ê êàêîé íåïðåðûâíîé óíêöèè.
Òåîðåìà 13.6.1
Ïóñòü Tn ïðîåêòîð íà ïðîñòðàíñòâî ÷åòíûõ òðèãîíîìåòðè÷åñêèõ ïîëèíîíîâ, à Sn àíàëîãè÷íûé ïðîåêòîð, ñâÿçàííûé ñ ðÿäîì Ôóðüå. Ïóñòü f ÷åòíàÿ óíêöèÿ è ||f || = 1. Òîãäà â ñèëó ëåììû 13.6.1 |[Sn f ](t)|−1 ≤ 2||Tn || ⇒ c log n ≤ ||Tn ||. Ñîãëàñíî òåîðåìå 13.3.2, ïîñëåäîâàòåëüíîñòü èíòåðïîëÿöèîííûõ ïîëèíîìîâ íå ìîæåò ñõîäèòüñÿ ðàâíîìåðíî äëÿ âñåõ f ∈ C [a, b], òàê êàê ||Pn || → ∞. 2 Äîêàçàòåëüñòâî.
Çàìåòèì, ÷òî åñëè Tn : C → C ëèíåéíûé íåïðåðûâíûé ïðîåêòîð íà ïðîñòðàíñòâî òðèãîíîìåòðè÷åñêèõ ïîëèíîìîâ ñòåïåíè íå âûøå n, òî èç ëåììû 13.6.1 âûòåêàåò òîæäåñòâî ÇèãìóíäàÌàðöèíêåâè÷à Rπ Áåðìàíà 21π [Tn f (t + h)] (t − h) d h = [Sn f ] (t) è íåðàâåíñò−π
âî ||Tn || ≥ ||Sn || ≥ c ln n, èçâåñòíîå êàê òåîðåìà ËîçèíñêîãîÕàðøèëàäçå.
Ïðèìåð Áåðíøòåéíà : åñëè f (x) = |x|, x ∈ [−1, 1], òî èíòåðïîëÿöèîííûå ïîëèíîìû, ïîñòðîåííûå íà ðàâíîìåðíûõ ñåòêàõ, íå áóäóò ñõîäèòüñÿ ê f (x) íè â îäíîé òî÷êå, êðîìå x = −1, 0, 1. 13.7
×åì ïëîõè ðàâíîìåðíûå ñåòêè
Äëÿ ðàâíîìåðíûõ ñåòîê íîðìû ||Pn || ðàñòóò ýêñïîíåíöèàëüíî. Â ñàìîì äåëå, ïóñòü 2 tj = −1 + j ∈ [−1, 1], j = 0, 1, . . . , n, n Òîãäà
n Y n X t − tj ||Pn || = max . −1≤t≤1 j=0 tk − tj k=0 j6=k
Äëÿ t = −1 +
2 n
θ, 0 < θ < 1, íàõîäèì n n Y n X n! θ (1 − θ) n θ (1 − θ) X θ − j 2 , = ||Pn || ≥ ≥ j=0 k − j n2 k! (n − k)! n2 k=0 k=0 j6=k ïîñêîëüêó 2n = n0 + n1 + . . . + nn . Áîëåå òî÷íàÿ îöåíêà
||Pn || ≥
n n Y θ X 2n θ n! (1 − ) ≥ c 1+θ , n k! (n − k)! k n k=0
0 < θ < 1,
k=1
âûòåêàåò èç èçâåñòíîãî â òåîðèè ãàììà- óíêöèè ñîîòíîøåíèÿ
n Y
k=1
Γ (z) =
Z∞
(1 −
xz−1 e−x d x
n−θ θ ) = + O (n−θ−1 ), k Γ (1 − θ) (ïðåäñòàâëåíèå Ýéëåðà äëÿ ãàììà- óíêöèè).
0
13.8
Ïîëèíîìû ×åáûøåâà è ÷åáûøåâñêèå ñåòêè
×òîáû ïîëó÷èòü îïòèìèñòè÷åñêèå ðåçóëüòàòû, íåîáõîäèìî îãðàíè÷èòü ïðîèçâîë â èñïîëüçîâàíèè ñåòîê. Ëîãàðè ìè÷åñêèé ðîñò íîðì ||Pn || èìååò ìåñòî âñåãäà. ×òîáû èìåòü íå áîëåå ÷åì ëîãàðè ìè÷åñêèé ðîñò, äîñòàòî÷íî èñïîëüçîâàòü ÷åáûøåâñêèå ñåòêè: èõ óçëû îïðåäåëÿþòñÿ êàê êîðíè óíêöèé Tn(t) = cos(n arccos t), −1 ≤ x ≤ 1, íàçûâàåìûõ ïîëèíîìàìè ×åáûøåâà. Òî, ÷òî ýòî ïîëèíîìû îò t, äîêàçûâàåòñÿ ïî èíäóêöèè. Ïðè n = 0 è n = 1 èìååì T0(t) = 1 è T1 (t) = t. Ïðè n ≥ 1
cos((n + 1) arccos t) + cos((n − 1) arccos t) = 2 cos(n arccos t) cos(arccos t) ⇒
Tn+1(t) = 2t Tn (t) − Tn−1(t),
n = 1, 2, ... .
⇒
Tn(t) ïîëèíîì ñòåïåíè n ñî ñòàðøèì êîý èöèåíòîì 21−n. Êîðíè Tn(t) ëåãêî íàõîäÿòñÿ êàê ðåøåíèÿ óðàâíåíèÿ cos(n arccos t) = 0: π π tnj = cos + j , j = 0, 1, . . . , n − 1. 2n n (Ìîæíî çàìåòèòü, ÷òî tnj ïîëó÷àþòñÿ èç ðàâíîìåðíîé ñåòêè íà [0, π] ïðè îòîáðàæåíèè t = cos φ.) Òàêèì îáðàçîì, ωn (t) ≡
n−1 Y j=0
(t − tnj ) = 21−n cos (n arccos t).
Îòñþäà ñëåäóåò
Åñëè Pn : C [−1, 1] → C [−1, 1] èíòåðïîëÿöèîííûé ïðîåêòîð äëÿ ÷åáûøåâñêîé ñåòêè ÷èñëîì óçëîâ n + 1, òî Ëåììà 13.8.1
||Pn || = max ρ (t),
ρ (t) ≡
−1≤t≤1
Òåîðåìà 13.8.1
áûøåâñêîé ñåòêå
n | cos ((n + 1) arccos t)| sin π (2k+1) X 2 (n+1)
(n + 1) |t − tk |
k=0
.
(Áåðíøòåéí) Äëÿ èíòåðïîëÿöèîííîãî ïðîåêòîðà íà ÷å-
||Pn || = O (ln n). Äîêàçàòåëüñòâî.
t = cos
Äîñòàòî÷íî ðàññìîòðåòü t ∈ [0, 1]. Ïóñòü
π (2m + 2θ) , 2 (n + 1)
0 < θ
1. Îíè ïîëó÷àþòñÿ ïðè îòîáðàæåíèè òî÷åê îêðóæíîñòè w = ρeiφ 7→ z ñ ïîìîùüþ óíêöèè Æóêîâñêîãî: 1 1 1 1 1 −1 z = (w + w ) = ρ+ cos φ + i ρ− sin φ. 2 2 ρ 2 ρ Î÷åâèäíî, ÷òî äàííîå ìíîæåñòâî òî÷åê z åñòü ýëëèïñ ñ ïîëóîñÿìè 1 1 1 1 a= ρ+ , b= ρ− . 2 ρ 2 ρ
Ïðè ýòîì a + b = ρ è, ïîñêîëüêó a2 − b2 = 1, îêóñû äåéñòâèòåëüíî íàõîäÿòñÿ â òî÷êàõ ±1. Çàìåòèì, ÷òî 2 1 1 1 1 ⇒ Tn(z) = ρeiφ − e−iφ ρn einφ + n e−inφ . z2 − 1 = 2 ρ 2 ρ Òàêèì îáðàçîì, |Tn (z)| ∼ 12 ρn ïðè ρ → ∞ (ëèíèè óðîâíÿ äëÿ |Tn (z)| àñèìïòîòè÷åñêè ñîâïàäàþò ñ ýëëèïñàìè Áåðíøòåéíà) è âñåãäà èìååò ìåñòî íåðàâåíñòâî 1 1 n ρ − n ∀ z ∈ Γρ . |Tn (z)| ≥ 2 ρ 13.11
Èíòåðïîëÿöèÿ àíàëèòè÷åñêèõ óíêöèé
 ïðàêòè÷åñêèõ çàäà÷àõ óíêöèÿ f (x), èíòåðåñóþùàÿ íàñ ïðè x ∈ [−1, 1], ÷àñòî ìîæåò ðàññìàòðèâàòüñÿ êàê ñëåä óíêöèè f (z) êîìïëåêñíîé ïåðåìåííîé z ∈ Ω, ãäå Ω îòêðûòàÿ îáëàñòü íà êîìïëåêñíîé ïëîñêîñòè, ñîäåðæàùàÿ [−1, 1]. Ïðåäïîëîæèì, ÷òî ãðàíèöåé îáëàñòè Ω = Ωρ ÿâëÿåòñÿ ýëëèïñ Áåðíøòåéíà Γρ .
Ïóñòü f (z) àíàëèòè÷åñêàÿ óíêöèÿ â çàìûêàíèè îáëàñòè Ωρ , ρ > 1, à ïîëèíîì Ëàãðàíæà Ln (z) èíòåðïîëèðóåò åå çíà÷åíèÿ â ÷åáûøåâñêèõ óçëàõ x0 , ... , xn ∈ [−1, 1]. Òîãäà ïðè íåêîòîðîì c > 0 c |f (x) − Ln (x)| ≤ n ∀ n, x ∈ [−1, 1]. ρ
Òåîðåìà 13.11.1
Äîêàçàòåëüñòâî.
Ôóíêöèÿ
Ïóñòü x ∈ [−1, 1] íå ñîâïàäàåò íè ñ îäíèì èç óçëîâ xi.
F (z) =
f (z) n Q (z − x) (z − xi) i=0
èìååò ïîëþñû â òî÷êàõ z = x, x0, ..., xn. Ïîýòîìó, ñîãëàñíî òåîðèè àíàëèòè÷åñêèõ óíêöèé,
Z
Γρ
n X f (x) f (x ) i ⇒ Q F (z)dz = 2πi − n Q (xi − xj ) (x − xj ) i=0 (x − xi) 0≤j≤n j 6= i
j=0
n
1 Y (x − xj ) f (x) − Ln (x) = 2πi j=0 =
1 Tn+1(x) 2πi
Z
Γρ
Z
Γρ
f (z) dz n Q (z − x) (z − xj ) j=0
f (z) dz. (z − x)Tn+1(z)
Îñòàåòñÿ ó÷åñòü, ÷òî |Tn+1(x)| ≤ 1 ïðè x ∈ [−1, 1] è |Tn+1 (z)| ≥ c1 ρn+1 ïðè âñåõ z ∈ Γρ , ãäå c1 > 0 íå çàâèñèò îò n. Òîãäà
|f (x) − Ln (x)| ≤ γρ =
Z
|dz|,
γρ 1 max |f (z)| n+1 , 2πc1 dρ z∈Γρ ρ
dρ =
min
z∈Γρ , x∈[−1, 1]
|z − x|. 2
Γρ
13.12
Ìíîãîìåðíàÿ èíòåðïîëÿöèÿ íà ÷åáûøåâñêèõ ñåòêàõ
Ïóñòü f (x) = f (x1, . . . , xk ) ∈ C(K), ãäå K ≡ [−1, 1]k , è Ln(x) = Ln (x1, . . . , xk ) åå èíòåðïîëÿöèîííûé ïîëèíîì äëÿ äåêàðòîâà ïðîèçâåäåíèÿ îäíîìåðíûõ ÷åáûøåâñêèõ ñåòîê
M = {xi11 }ni1=0 × . . . × {ximm }nim=0 .
àññìîòðèì ïðîåêòîð Pin , ïåðåâîäÿùèé f â åå èíòåðïîëÿöèîííûé ïîëèíîì Lin(x1, ..., xm) îòíîñèòåëüíî i-é ïåðåìåííîé ïðè èêñèðîâàííûõ çíà÷åíèÿõ îñòàëüíûõ ïåðåìåííûõ. Òîãäà
Ln = P1n ...Pknf. Åñëè f (x1, ..., xk ) èìååò m íåïðåðûâíûõ ÷àñòíûõ ïðîèçâîäíûõ ïî êàæäîé ïåðåìåííîé, òî ! lnk n ||f − Ln ||C(K) = O . nm Òåîðåìà 13.12.1
Ñîãëàñíî òåîðåìå 13.8.1 ||Pi || = O(ln n), à â ñèëó òåîðåìû 13.9.1 ||f − Pin f || = O(ln n/nm). Îòñþäà
Äîêàçàòåëüñòâî.
||f − Ln || ≤ ||f − P1n f || + ||P1n f − P1n P2n f || + ... ... + ||P1n ...Pk−1 nf − P1n ...Pk−1 nPkn f || ln n ≤ (1 + ln n + ... + lnk−1 n) · O =O nm
k
ln n nm
!
. 2
Ïóñòü äëÿ êàæäîãî i óíêöèÿ fi (xi) ≡ f (x1, ..., xk ) ÿâëÿåòñÿ ñëåäîì óíêöèè fi(zi ), àíàëèòè÷íîé â çàìêíóòîé îáëàñòè, îãðàíè÷åííîé ýëëèïñîì Áåðíøòåéíà Γρ , ρ > 1, è íåïðåðûâíîé ïî âñåì ïåðåìåííûì. Òîãäà ! k−1 ln n . ||f − Ln ||C(K) = O ρn
Òåîðåìà 13.12.2
Äëÿ äîêàçàòåëüñòâà äîñòàòî÷íî ïðèíÿòü âî âíèìàíèå òåîðåìó 13.11.1. Çàäà÷è
1. Íà îòðåçêå [−π, π] çàäàíû çíà÷åíèÿ íà ïðîñòîé ñåòêå ñ 2n + 1 óçëîì. Äîêàæèòå ñóùåñòâîâàíèå è åäèíñòâåííîñòü òðèãîíîìåòðè÷åñêîãî ïîëèíîìà
Qn(φ) = α0 +
n X
(αk cos k φ + βk cos k φ) ,
k=1
èíòåðïîëèðóþùåãî ýòè çíà÷åíèÿ. 2. Ïóñòü f (x) = |x| è Ln (x) ïîëèíîìû Ëàãðàíæà, ïîñòðîåííûå ïî ÷åáûøåâñêèì ñåòêàì íà [−1, 1]. Äîêàæèòå, ÷òî Ln(x) → f (x) ðàâíîìåðíî ïî x ∈ [−1, 1]. 3. Ïóñòü C áàíàõîâî ïðîñòðàíñòâî âåùåñòâåííûõ íåïðåðûâíûõ 2π ïåðèîäè÷åñêèõ óíêöèé ñ íîðìîé ïðîñòðàíñòâà C [−π, π] è Sn ïðîåêòîð, ïåðåâîäÿùèé f ∈ C â n-é îòðåçîê åå ðÿäà Ôóðüå. Äîêàæèòå, ÷òî Zπ sin (n + 12 ) t 1 d t. ||Sn || = 2π sin t −π
2
4. Ïóñòü C áàíàõîâî ïðîñòðàíñòâî âåùåñòâåííûõ íåïðåðûâíûõ 2π ïåðèîäè÷åñêèõ óíêöèé ñ íîðìîé ïðîñòðàíñòâà C [−π, π] è Sn ïðîåêòîð, ïåðåâîäÿùèé f ∈ C â n-é îòðåçîê åå ðÿäà Ôóðüå. Äîêàæèòå, ÷òî ||Sn || ≤ c ln n, ãäå c > 0 íå çàâèñèò îò n.
5. Ïóñòü C áàíàõîâî ïðîñòðàíñòâî âåùåñòâåííûõ íåïðåðûâíûõ ÷åòíûõ 2π -ïåðèîäè÷åñêèõ óíêöèé ñ íîðìîé ïðîñòðàíñòâà C [−π, π] è Sn ïðîåêòîð, ïåðåâîäÿùèé f ∈ C â n-é îòðåçîê åå ðÿäà Ôóðüå. Äîêàæèòå, ÷òî ||Sn || ≥ c ln n, ãäå c > 0 íå çàâèñèò îò n.
6. Ïóñòü íà îòðåçêå [−1, 1] âûáðàíû ïîïàðíî ðàçëè÷íûå òî÷êè x0 , ..., xn è Pn : C[−1, 1] → C[−1, 1] ïðîåêòîð, ïåðåâîäÿùèé íåïðåðûâíóþ óíêöèþ â åå èíòåðïîëÿöèîííûé ïîëèíîì ñòåïåíè íå âûøå n. Äîêàæèòå, ÷òî X Y x − xj ||Pn || = max . −1≤x≤1 x − x i j 0≤i≤n 0 ≤ j ≤ n j 6= i
7. Ïóñòü Γρ ýëëèïñ Áåðíøòåéíà äëÿ íåêîòîðîãî ρ > 1. Äîêàæèòå, ÷òî Z (ρ − 1)2 dρ ≡ min |z − x| ≥ , γρ ≡ |dz| ≤ 2ρ. 2ρ z∈Γρ , x∈[−1, 1] Γρ
ëàâà 14
14.1
Ñïëàéíû
Åñòåñòâåííûé ïóòü äëÿ ïîëó÷åíèÿ îïòèìèñòè÷åñêèõ ðåçóëüòàòîâ ïî ñõîäèìîñòè èíòåðïîëÿöèîííîãî ïðîöåññà îòêàçàòüñÿ îò èñïîëüçîâàíèÿ ÷èñòûõ ïîëèíîìîâ è èíòåðïîëèðîâàòü, íàïðèìåð, ñ ïîìîùüþ êóñî÷íîïîëèíîìèàëüíûõ óíêöèé. Òàêèå óíêöèè íàçûâàþòñÿ ñïëàéíàìè. Ñïëàéí èìååò ñòåïåíü m, åñëè ñòåïåíü êàæäîãî ïîëèíîìà íå âûøå m è ðàâíà m õîòÿ áû äëÿ îäíîãî ïîëèíîìà. Åñëè ñïëàéí ñòåïåíè m èìååò m íåïðåðûâíûõ ïðîèçâîäíûõ, òî îí ÿâëÿåòñÿ ÷èñòûì ïîëèíîìîì. Ïîýòîìó ìàêñèìàëüíî ãëàäêèì ñïëàéíîì ñòåïåíè m íóæíî ñ÷èòàòü ñïëàéí ñ ÷èñëîì íåïðåðûâíûõ ïðîèçâîäíûõ m − 1. Äëÿ çàäàííîé ïðîñòîé ñåòêè a = x0 < ... < xn = b è çíà÷åíèé fk = f (xk ) ðàññìîòðèì ìíîæåñòâî óíêöèé
Φ ≡ {φ ∈ C 2 [a, b] : φ (xk ) = fk , k = 0, 1, ... , n}.
(14.1.1)
Ôóíêöèÿ S (x) ∈ Φ íàçûâàåòñÿ èíòåðïîëÿöèîííûì êóáè÷åñêèì ñïëàéíîì, åñëè íà êàæäîì îòðåçêå [xk−1, xk ], k = 1, . . . , n, îíà ÿâëÿåòñÿ êóáè÷åñêèì ïîëèíîìîì. 14.2
Åñòåñòâåííûå ñïëàéíû
×òîáû ïîñòðîèòü êóáè÷åñêèé ñïëàéí, òðåáóåòñÿ íàéòè 4n êîý èöèåíòîâ, îïðåäåëÿþùèõ êóáè÷åñêèå ïîëèíîìû íà êàæäîì îòðåçêå. Îïðåäåëåíèå èíòåðïîëÿöèîííîãî êóáè÷åñêîãî ñïëàéíà äàåò 4n − 2 óðàâíåíèé (ïðîâåðüòå). ×òîáû ÷èñëî óðàâíåíèé ñîâïàäàëî ñ ÷èñëîì íåèçâåñòíûõ, îáû÷íî ââîäÿò äâà äîïîëíèòåëüíûõ óñëîâèÿ. Èíòåðïîëÿöèîííûé êóáè÷åñêèé ñïëàéí, óäîâëåòâîðÿþùèé äîïîëíèòåëüíûì óñëîâèÿì S ′′ (x0) = S ′′ (xn) = 0, (14.2.2) íàçûâàåòñÿ åñòåñòâåííûì ñïëàéíîì. 137
Ïðèõîäèòñÿ ðàáîòàòü è ñ ðàçëè÷íûìè íååñòåñòâåííûìè èíòåðïîëÿöèîííûìè êóáè÷åñêèìè ñïëàéíàìè. Íàïðèìåð, âìåñòî (14.2.2) ìîæíî ïðîèíòåðïîëèðîâàòü ïåðâûå ïðîèçâîäíûå
S ′ (x0) = f ′ (x0),
S ′ (xn) = f ′ (xn),
(14.2.3)
èëè (â ñëó÷àå f0 = fn) çàäàòü óñëîâèÿ ïåðèîäè÷íîñòè ïåðâûõ è âòîðûõ ïðîèçâîäíûõ:
S ′ (x0) = S ′ (x0), 14.3
S ′′ (xn) = S ′′ (xn).
(14.2.4)
Âàðèàöèîííîå ñâîéñòâî åñòåñòâåííûõ ñïëàéíîâ
Çàìå÷àòåëüíîå ñâîéñòâî åñòåñòâåííîãî ñïëàéíà: îí ìèíèìèçèðóåò óíêöèîíàë ýíåðãèè Z b (φ′′ (x))2 d x. E (φ) ≡ a
Ïóñòü Φ èìååò âèä (14.1.1) è S (x) ∈ Φ åñòåñòâåííûé ñïëàéí. Òîãäà E (φ) ≥ E (S) ∀ φ ∈ Φ, Òåîðåìà 14.3.1
ïðè÷åì íåðàâåíñòâî ñòðîãîå, åñëè φ 6= S .
(φ′′ )2 − (S ′′)2 = (φ′′ − S ′′ )2 + 2 S ′′ (φ′′ − S ′′ ) Z b E (φ) − E (S) = E (φ − S) + 2 S ′′ (φ′′ − S ′′ ) d x.
Äîêàçàòåëüñòâî.
a
Èíòåãðèðóÿ ïî ÷àñòÿì, ïîëó÷àåì
Zb a
n X k=1
14.4
S ′′ (φ′′ − S ′′ ) d x =
S ′′ (φ′ − S ′ ) |xxkk−1 − S ′′′ (xk−1 + 0) (φ − S) |xxkk−1 = 0. 2
Ïîñòðîåíèå åñòåñòâåííûõ ñïëàéíîâ
àññìîòðèì S (x) íà k -îì îòðåçêå [xk−1, xk ] è ïîëîæèì
uk = S ′′ (xk ),
hk = xk − xk−1,
x = xk−1 + t hk .
⇒
Ïîñêîëüêó S (x) êóáè÷åñêèé ïîëèíîì ïðè x ∈ [xk−1, xk ], íàõîäèì
S ′′ (x)
=
S ′ (x)
=
S (x)
=
(1 − t) uk−1 + t uk ⇒ t2 1 (1 − t)2 ′ } uk−1 + hk uk S (xk−1) + hk { − 2 2 2 ′ S (xk−1) + hk t S (xk−1) 3 t (1 − t) 1 t3 h2k + − uk−1 + h2k uk . 2 6 6 6
+
⇒
Ïîëîæèì δfk = (fk − fk−1 )/hk . Òîãäà ïðè t = 1 èç ïîñëåäíåãî óðàâíåíèÿ ïîëó÷àåì hk hk S ′ (xk−1) = δfk − uk−1 − uk . 3 6 Ó÷èòûâàÿ ýòî, ïîëàãàåì t = 1 â âûðàæåíèè äëÿ S ′ (x):
hk hk uk−1 + uk . 6 3 Ïðèðàâíèâàÿ ïåðâûå ïðîèçâîäíûå ñïëàéíà íà ïðàâîì êîíöå k -ãî îòðåçêà è íà ëåâîì êîíöå k + 1-ãî îòðåçêà, ïîëó÷àåì óðàâíåíèå S ′ (xk ) = δfk +
δfk +
hk hk hk+1 hk+1 uk−1 + uk = δfk+1 − uk − uk+1 6 3 3 6
⇒
hk uk−1 + 2 (hk + hk+1 ) uk + hk+1 uk+1 = ρk ≡ 6 (δfk+1 − δfk ) .
Ïîñêîëüêó u0 = un = 0, èìååì ñèñòåìó u 1 ... = T un−1
ρ1 ... ρn−1
ñ òðåõäèàãîíàëüíîé ìàòðèöåé êîý èöèåíòîâ
T =
Òåîðåìà 14.4.1
2 (h1 + h2 ) h2
h2 2 (h2 + h3 ) h3 ... ...
... hn−1
(14.4.5)
2 (hn−1 + hn )
.
(14.4.6)
Åñòåñòâåííûé ñïëàéí ñóùåñòâóåò è åäèíñòâåí.
Äîêàçàòåëüñòâî.
Ïîñëå ïîäñòàíîâêè S ′ (xk−1) â âûðàæåíèå äëÿ S (x)
áóäåì èìåòü
S (x) = (1 − t) fk−1 + t fk + uk−1 h2k a (t) + uk h2k b (t), ãäå
a (t) =
t (1 − t)3 1 + − , 6 6 6
b (t) = −
t t3 + . 6 6
(14.4.7)
(14.4.8)
Ïðè ëþáûõ uk îðìóëà (14.4.7) äàåò êóñî÷íî-ïîëèíîìèàëüíóþ óíêöèþ, êîòîðàÿ èíòåðïîëèðóåò çíà÷åíèÿ fk è èìååò íåïðåðûâíóþ âòîðóþ ïðîèçâîäíóþ. Óñëîâèå íåïðåðûâíîñòè ïåðâîé ïðîèçâîäíîé îïèñûâàåòñÿ ñèñòåìîé ñ òðåõäèàãîíàëüíîé ìàòðèöåé êîý èöèåíòîâ T îòíîñèòåëüíî uk . Ìàòðèöà T èìååò äèàãîíàëüíîå ïðåîáëàäàíèå è ïîýòîìó ÿâëÿåòñÿ íåâûðîæäåííîé. 2 14.5
Àïïðîêñèìàöèîííûå ñâîéñòâà åñòåñòâåííûõ ñïëàéíîâ
àññìîòðèì ïðîñòûå ñåòêè Mn : a = xn0 < ... < xnn = b, è åñòåñòâåííûå ñïëàéíû, èíòåðïîëèðóþùèå íà íèõ çíà÷åíèÿ îäíîé è òîé æå óíêöèè f (x). Òåîðåìà 14.5.1
Ïóñòü 1 ≤ j ≤ 4 è f ∈ C j [a, b]. Òîãäà
||f − Sn ||C [a, b] = O(hj ), Äîêàçàòåëüñòâî.
íà hk + hk+1 :
h ≡ max hk . k
Ïóñòü f ∈ C 2 . Ïîäåëèì k -å óðàâíåíèå ñèñòåìû (14.4.5)
αk uk−1 + 2uk + βk uk+1 = ρk /(hk + hk+1 ), 1 ≤ k ≤ n − 1;
α0 = βn = 0.
Äëÿ âåëè÷èí dk ≡ uk − fk′′ ïîëó÷àåì óðàâíåíèÿ αk dk−1 + 2dk + βk dk+1 = bk ≡ 6
fk+1 −fk kk+1
−
fk −fk−1 hk
hk + hk+1
′′ ′′ −αk fk−1 − 2fk′′ − βk fk+1 .
Ïóñòü dl ìàêñèìàëüíîå ïî ìîäóëþ ñðåäè dk , 1 ≤ k ≤ n − 1. Òîãäà èç l-ãî óðàâíåíèÿ íàõîäèì (çàìåòèì, ÷òî αk + βk ≤ 1)
max |dk | = |dl | ≤ 2|dl | − αl |dl−1| − βl |dl+1| ≤ |αl dl−1 + 2dl + βl dl+1| ≤ max |bk |. k
k
Åñëè f ∈ C 2 , òî ðàçäåëåííàÿ ðàçíîñòü f (xk−1; xk ; xk+1) ðàâíà f ′′ (ξ)/2 äëÿ íåêîòîðîãî ξ ∈ [xk−1, xk+1]. Ïîýòîìó ′′ ′′ |bk | ≤ αk |f ′′(ξ) − fk−1 | + 2|f ′′(ξ) − fk′′ | + βk |f ′′(ξ) − fk+1 | = o(1) ïðè h → 0.
Åñëè f ∈ C 3 èëè f ∈ C 4 , òî èç ðàçëîæåíèé fk−1 è fk+1 â ðÿä Òåéëîðà â òî÷êå xk ïîëó÷àåì ñîîòâåòñòâåííî |bk | = O(h) èëè |bk | = O(h2 ). Ñëåäîâàòåëüíî, o(1), f ∈ C 2 , ′′ |uk − fk | = O(h), f ∈ C 3 , O(h2 ), f ∈ C 4 .
Äàëåå, â ñèëó (14.4.7) S(x) − f (x) = Q + R, ãäå ′′ Q = (1 − t)(fk−1 − f (x)) + t(fk − f (x)) + fk−1 h2k a(t) + fk′′ hk b(t),
′′ R = (uk−1 − fk−1 )h2k a(t) + (uk − fk′′ )h2k b(t).
Åñëè f ∈ C j , òî óæå ÿñíî, ÷òî R = O(hj ). Äëÿ Q òà æå îöåíêà ïîëó÷àåòñÿ ñ ïîìîùüþ ðàçëîæåíèé fk−1 , fk è f (x) â ðÿä Òåéëîðà â òî÷êå xk . Ñëó÷àé f ∈ C 1 òðåáóåò îòäåëüíîãî ðàññìîòðåíèÿ. Òîò æå ñàìûé ñïëàéí ìîæíî ñòðîèòü ñ ïîìîùüþ ïàðàìåòðîâ vk = S ′ (xk ).  öåëîì àíàëîãè÷íûå âûêëàäêè ïðèâîäÿò ê ñèñòåìå óðàâíåíèé îòíî èòåëüíî v0 , ..., vn. Ïîäîáíî (14.4.5), ýòî áóäåò ñèñòåìà ñ òðåõäèàãîíàëüíîé (õîòÿ è äðóãîé) ìàòðèöåé ñ äèàãîíàëüíûì ïðåîáëàäàíèåì.  èòîãå îêàçûâàåòñÿ, ÷òî ïðè x ∈ [xk−1, xk ]
S(x) = (1 − t)2(1 + 2t) fk−1 + t2 (3 − 2t) fk + vk−1hk t(1 − t)2 − vk hk t2 (1 − t). Ìîæíî äîêàçàòü, ÷òî |vk − fk′ | = o(1), à çàòåì, êàê è ðàíüøå, èñïîëüçîâàòü ðàçëîæåíèÿ Òåéëîðà äëÿ fk−1, fk è f (x) â òî÷êå xk . 2 Ïîñëåäîâàòåëüíîñòü ñåòîê Mn íàçûâàåòñÿ êâàçèðàâíîìåðíîé, åñëè îòíîøåíèå ìàêñèìàëüíîãî øàãà h = h(Mn ) = max hk ê ìèíèìàëüíîìó øàãó k
δ = δ(Mn ) = min hk ðàâíîìåðíî îãðàíè÷åíî ïðè n → ∞. k
Äëÿ ëþáîé óíêöèè f (x) ∈ C [a, b] ïîñëåäîâàòåëüíîñòü åñòåñòâåííûõ ñïëàéíîâ Sn (x) íà êâàçèðàâíîìåðíûõ ñåòêàõ Mn ñõîäèòñÿ ê f (x) ðàâíîìåðíî ïî x ∈ [a, b], åñëè h → 0. Òåîðåìà 14.5.2
Èñïîëüçóÿ ñòðî÷íîå äèàãîíàëüíîå ïðåîáëàäàíèå ìàòðèöû T , íàõîäèì uk = O(ω(h; f )/δ 2 ), ãäå Äîêàçàòåëüñòâî.
ω (h; f ) ≡
max
|x−y|≤h, x,y∈[a,b]
|f (x) − f (y)|
îáîçíà÷àåò ìîäóëü íåïðåðûâíîñòè óíêöèè f . Âàæíî, ÷òî ω(h; f ) → 0 ïðè h → 0, åñëè f ∈ C[a, b]. Ñîãëàñíî îðìóëå (14.4.7), |S(x) − f (x)| = O(ω (∆n; f )(1 + h2 /δ 2)) = o(1). 2 14.6
B -ñïëàéíû
è ðàçäåëåííûå ðàçíîñòè
Ïóñòü ñåòêà x0 < . . . < xn âëîæåíà â áåñêîíå÷íóþ ïðîñòóþ ñåòêó
M∞ = {. . . x−1 < x0 < . . . < xn < xn+1 < . . . }, è íàñ èíòåðåñóþò ñïëàéíû ñòåïåíè m ìàêñèìàëüíîé ãëàäêîñòè (òî åñòü êëàññà C m−1(R)). Ëþáîé òàêîé ñïëàéí ìîæíî ïðåäñòàâèòü â âèäå ëèíåéíîé êîìáèíàöèè áàçèñíûõ ñïëàéíîâ, ðàâíûõ íóëþ âíå îòðåçêîâ âèäà [xk , xk+m+1].
×òîáû ïîñòðîèòü áàçèñíûå ñïëàéíû, ðàññìîòðèì óñå÷åííûå ñòåïåííûå óíêöèè (t − x)m, t − x ≥ 0, (t − x)m = + 0, t − x < 0. Î÷åâèäíî, óíêöèÿ(t−x)m + íåïðåðûâíî äè åðåíöèðóåìà m−1 ðàç êàê ïî t, òàê è ïî x. Îáîçíà÷èì ÷åðåç [xk , ..., xk+m+1]f (t, x) ðàçäåëåííóþ ðàçíîñòü äëÿ f (t, x) êàê óíêöèè îò t ïðè èêñèðîâàííîì çíà÷åíèè ïàðàìåòðà x.
B -ñïëàéíîì ïîðÿäêà m íàçûâàåòñÿ óíêöèÿ âèäà k Bm (x) = [xk , ..., xk+m+1](t − x)m +.
Ëåììà 14.6.1
(14.6.9)
k Bm (x) åñòü ñïëàéí ñòåïåíè m êëàññà C m−1(R).
Ñîãëàñíî ëåììå 12.6.1, ïðè xk+l < x < xk+l+1 âåëè÷èíà åñòü âçâåøåííàÿ ñóììà çíà÷åíèé (xi − x)m ïðè i ≥ k + l + 1 ⇒ ýòî ïîëèíîì ïðè xk+l < x < xk+l+1. Îñòàåòñÿ çàìåòèòü, ÷òî ïðè âû÷èñëåíèè ðàçäåëåííîé ðàçíîñòè â óçëàõ t = xk , ..., xk+m+1 ñîõðàíÿåòñÿ äè åðåíöèðóåìîñòü ïî ïàðàìåòðó x. 2 Äîêàçàòåëüñòâî.
k Bm (x)
14.7
åêóððåíòíàÿ îðìóëà äëÿ
B -ñïëàéíîâ
Ïóñòü B0k (x) = 1 ïðè xk ≤ x < xk+1 è 0 èíà÷å. Òîãäà ïðè m ≥ 1 èìååò ìåñòî òîæäåñòâî
Ëåììà 14.7.1
k Bm (x) =
Äîêàçàòåëüñòâî.
xk+m+1 − x k+1 x − xk k Bm−1 (x) + B (x). xk+m+1 − xk xk+m+1 − xk m−1 Íå îãðàíè÷èâàÿ îáùíîñòè, ïîëîæèì k = 0. Òîãäà
0 Bm (x) = [x0, ..., xm+1](t − x)m + =
A = [x1, ..., xm+1](t − x)m +,
A−B , xm+1 − x0
B = [x0, ..., xm](t − x)m +.
Ïóñòü
ω0 (t) =
m Y i=0
(t − xi ),
ω1 (t) =
m+1 Y i=1
(t − xi).
Òîãäà åñëè xl < x < xl+1, òî
A= B=
m+1 X
i=l+1 m X
i=l+1
m X (xi − x)m (xi − x)m−1 1 (xi − xm+1) = (xm+1 − x)Bm−1(x) + , ω1′ (xi) ω1′ (xi)
(xi − x)m 0 = (x0 − x)Bm−1 (x) + ′ ω0 (xi) = (x0 −
⇒
0 x)Bm−1 (x)
+
i=l+1 m X
(xi − x0)
i=l+1 m X
(xi − x)m−1 ω0′ (xi)
(xi − x)m−1 (xi − xm+1) ω1′ (xi)
i=l+1
0 k+1 A − B = (x − x0)Bm−1 (x) + (xm+1 − x)Bm−1 (x). 2
k Ñèñòåìà n + m ñïëàéíîâ Bm (x), −m ≤ k ≤ n − 1, ëèíåéíî íåçàâèñèìà êàê ñèñòåìà óíêöèé íà îòðåçêå [x0, xn].
Ñëåäñòâèå 14.7.1
Äîêàçàòåëüñòâî ïðîâîäèòñÿ ïî èíäóêöèè. Çàìåòèì, ÷òî îáùåå ÷èñëî êîý èöèåíòîâ ïîëèíîìîâ ñòåïåíè m íà n îòðåçêàõ, ñîñòàâëÿþùèõ [x0 , xn ], ðàâíî (m + 1)n, à ïðèíàäëåæíîñòü ñïëàéíà êëàññó C m−1 îïèñûâàåòñÿ ëèíåéíî íåçàâèñèìîé ñèñòåìîé m(n − 1) óðàâíåíèé. Îòñþäà ñëåäóåò, ÷òî ðàçìåðíîñòü ëèíåéíîãî ïðîñòðàíñòâà ñïëàéíîâ ñòåïåíè m, íåïðåðûâíî äè åðåíöèðóåìûõ m − 1 ðàç âî âíóòðåííèõ òî÷êàõ îòðåçêà [x0 , xn], ðàâíà n + m. Íîñèòåëåì óíêöèè, îïðåäåëåííîé íà âñåé ÷èñëîâîé îñè, íàçûâàåòñÿ çàìûêàíèå ìíîæåñòâà åå íåíóëåâûõ çíà÷åíèé. Îáîçíà÷åíèå: supp f . Åñëè supp f ⊂ [a, b], òî ãîâîðÿò, ÷òî f (x) ÿâëÿåòñÿ óíêöèåé ñ êîíå÷íûì íîñèòåëåì èëè èíèòíîé óíêöèåé. Äëÿ ñïëàéíà íà ñåòêå M∞ êîíå÷íûé íîñèòåëü íåïðåìåííî ÿâëÿåòñÿ îòðåçêîì, îãðàíè÷åííûì óçëàìè ñåòêè. Ìîæíî äîêàçàòü, ÷òî B -ñïëàéíû ïîðÿäêà m îáëàäàþò íîñèòåëåì, ñîäåðæàùèì ìèíèìàëüíî âîçìîæíîå ÷èñëî óçëîâ ñåòêè M∞ . 14.8
B -ñïëàéíû
íà ðàâíîìåðíûõ ñåòêàõ
Åñëè ñåòêà ðàâíîìåðíàÿ, òî âñå áàçèñíûå ñïëàéíû ìîæíî ïîëó÷èòü ïóòåì çàìåíû x íà x − xk èç îäíîé áàçèñíîé óíêöèè. Ïóñòü M∞ âñå öåëûå ÷èñëà. Ïîñòðîèì ðåêóððåíòíî òàêèå óíêöèè: 1 , 0 ≤ x < 1, B0 (x) = 0, èíà÷å; Z 1 Bm (x) = Bm−1 (x − y) B0 (y) d y, m = 1, 2, . . . . 0
Âîò èõ îñíîâíûå ñâîéñòâà (äîêàæèòå!):
(1) supp Bm = [0, m + 1]. (2) Bm ñïëàéí ñòåïåíè m íà ñåòêå M∞ . ′ (x) = Bm−1 (x) − Bm−1 (x − 1). (3) Bm ∈ C m−1 è ïðè ýòîì Bm
(4) Ëþáîé ñïëàéí ñòåïåíè m êëàññà C m−1 íà ñåòêå 0 < 1 < ... < n îäíîçíà÷íî ïðåäñòàâèì â âèäå ëèíåéíîé êîìáèíàöèè ñïëàéíîâ Bm (x − k) äëÿ öåëûõ −m ≤ k ≤ n − 1. (5) Ôóíêöèè Bm (h−1 x − k) ïðè öåëûõ k ÿâëÿþòñÿ áàçèñíûìè ñïëàéíàìè íà ðàâíîìåðíîé ñåòêå ñ øàãîì h. 14.9
Ñïëàéíû è èíòåãðàë Ôóðüå
Óäîáíûì èíñòðóìåíòîì äëÿ àíàëèçà àïïðîêñèìàöèîííûõ ñâîéñòâ ñïëàéíîâ íà ðàâíîìåðíûõ ñåòêàõ îêàçûâàåòñÿ èíòåãðàëüíîå ïðåîáðàçîâàíèå Ôóðüå:
φ(ξ) =
Z∞
f (x)eiξxdx,
−∞
−∞ < ξ < ∞.
Î÷åâèäíî, ÷òî èíòåãðàë ñóùåñòâóåò, åñëè f (x) èíòåãðèðóåìàÿ èíèòíàÿ óíêöèÿ.  ñëó÷àå f (x) = Bm (x) íåòðóäíî âû÷èñëèòü, ÷òî m+1 sin(ξ/2) m+1 i(ξ/2) φ(ξ) = e . ξ/2
Çàìå÷àòåëüíûé àêò, øèðîêî èçâåñòíûé â òåîðèè ñâÿçè: åñëè óíêöèÿ f (x) èìååò êîíå÷íûé íîñèòåëü íà îòðåçêå äëèíû L, òî φ(ξ) îäíîçíà÷íî âîññòàíàâëèâàåòñÿ ïî ñâîèì çíà÷åíèÿì íà áåñêîíå÷íîé ðàâíîìåðíîé ñåòêå
ξk =
2π k, a
k = 0, ±1, ... .
 ñàìîì äåëå, ïóñòü supp f ⊂ [−L/2, L/2]. àçëîæèâ f (x) â ðÿä Ôóðüå
f (x) =
∞ X
2π
ak e−i a x,
k=−∞
ïîëó÷àåì
φ(ξ) =
Za/2
−a/2
iξx
f (x)e dx = L
∞ X
k=−∞
−L/2 < x < L/2,
ak Sinc(L(ξ − ξk )/2),
ξk =
2πk , L
ãäå
Sinc(ξ) ≡
sin ξ , ξ
ξ 6= 0,
Sinc(0) = 1.
Îñòàåòñÿ çàìåòèòü, ÷òî φ(ξm ) = Lam . 1 Ïîëåçíûå àïïðîêñèìàöèè âîçíèêàþò ïðè äîñòàòî÷íî áûñòðîì óáûâàíèè çíà÷åíèé φ(ξk ) ïðè k → ∞. 14.10
Êâàçèëîêàëüíîñòü è ëåíòî÷íûå ìàòðèöû
Åñòåñòâåííûé ñïëàéí íå îáëàäàåò ñâîéñòâîì ëîêàëüíîñòè: ïðè çàìåíå fk íà f˜k â îäíîì óçëå xk çíà÷åíèÿ ñïëàéíà èçìåíÿþòñÿ âî âñåõ òî÷êàõ. Îäíàêî, åñòåñòâåííûé ñïëàéí îáëàäàåò âàæíûì ñâîéñòâîì êâàçèëîêàëüíîñòè : çíà÷åíèÿ ñïëàéíà èçìåíÿþòñÿ î÷åíü ìàëî âíå íåêîòîðîé îêðåñòíîñòè òî÷êè xk .  îñíîâå êâàçèëîêàëüíîñòè íåêîòîðîå îáùåå ñâîéñòâî ëåíòî÷íûõ ìàòðèö.
Ïóñòü A = [aij ] íåâûðîæäåííàÿ ëåíòî÷íàÿ ìàòðèöà ïîðÿäêà n ñ íåíóëåâîé äèàãîíàëüþ è ïîëóøèðèíîé ëåíòû íå áîëüøå L: aij = 0 ïðè |i − j| ≥ L. Ïóñòü ìàòðè÷íàÿ íîðìà || · || òàêîâà, ÷òî íîðìà ëþáîé ìàòðèöû íå ìîæåò áûòü ìåíüøå ìîäóëÿ êàæäîãî èç åå ýëåìåíòîâ. Òîãäà åñëè
Òåîðåìà 14.10.1
q ≡ ||(diag A)−1 off A|| < 1, (−1)
òî äëÿ ýëåìåíòîâ aij
ìàòðèöû A−1 èìååò ìåñòî íåðàâåíñòâî
(−1)
|aij | ≤ ||(diag A)−1||
q q |i−j|/L, 1−q
i, j = 1, ... , n.
Ïîëîæèì F ≡ (diag A)−1 off A è ðàññìîòðèì ðÿä Íåéìàíà (diag A) A−1 = I +F +F 2 . . . . Çàìåòèì, ÷òî F k ëåíòî÷íàÿ ìàòðèöà ñ ïîëóøèðèíîé ëåíòû íå áîëüøå, ÷åì (k − 1) L. Ýòî âûòåêàåò èç ëåãêî ïðîâåðÿåìîãî àêòà: ïîëóøèðèíà ëåíòû äëÿ ïðîèçâåäåíèÿ AB íå ïðåâîñõîäèò L1 + L2 − 1, ãäå L1 ïîëóøèðèíà ëåíòû äëÿ A è L2 ïîëóøèðèíà ëåíòû äëÿ B . Ôèêñèðóåì i, j è ðàññìîòðèì k òàêîå, ÷òî (k − 1) L ≤ |i − j| < k L. Òîãäà Äîêàçàòåëüñòâî.
gij ≡ {
∞ X j=0
j
F }ij = {
∞ X j=k
F j }ij
⇒
|gij | ≤
c qk . 1−q
1 Îáîñíîâàíèå ïðîâåäåííûõ íàìè îðìàëüíûõ âûêëàäîê ìîæíî íàéòè â êíèãå: óðüå â âû÷èñëèòåëüíîé ìàòåìàòèêå. - Ì.: Íàóêà, 1992.
2 À. È. Æóêîâ, Ìåòîä
Ïóñòü åñòåñòâåííûå ñïëàéíû S (x) è S˜ (x) èíòåðïîëèðóþò çíà÷åíèÿ fi è f˜i , ñîâïàäàþùèå ïðè âñåõ i, êðîìå i = k . Ïóñòü ε ≡ |fk − f˜k |. Òîãäà åñëè x ∈ [xi−1, xi], òî Ñëåäñòâèå 14.10.1
∆2 1 |S (x) − S˜ (x)| ≤ cˆ ε 2n |i−k| , δn 2
cˆ > 0.
Äëÿ òðåõäèàãîíàëüíîé ìàòðèöû T âèäà (14.4.6) èìååì L = 1 è, êðîìå òîãî, q = 12 è c = 1, åñëè èñïîëüçóåòñÿ íîðìà || · ||∞ . Åñëè çíà÷åíèå f (x) èçìåíÿåòñÿ òîëüêî â îäíîì óçëå xk , òî â ïðàâîé ÷àñòè ñèñòåìû T u = ρ èçìåíÿþòñÿ ëèøü òðè êîìïîíåíòû: ρk−1 , ρk , ρk+1 . Âîçìóùåíèÿ èìåþò âèä O (ε/δn), ãäå δn ìèíèìàëüíûé øàã ñåòêè, à ˜ = T −1 ρ˜ íàõîäèì |ui − u˜k | ≤ äëÿ êîìïîíåíò âåêòîðîâ u = T −1 ρ è u 1 c1 δε2 2|i−k| , c1 > 0. Îñòàåòñÿ âîñïîëüçîâàòüñÿ îðìóëîé (14.4.7). 2 Äîêàçàòåëüñòâî.
n
Çàäà÷è
1. Äîêàæèòå, ÷òî äëÿ ìàòðèöû T âèäà (14.4.6) ||T −1 ||∞ ≤
1 . min (hk +hk+1 )
1≤k≤n−1
2. Ïîñòðîéòå åñòåñòâåííûé êóáè÷åñêèé ñïëàéí, êîòîðûé â óçëàõ x = −2, −1, 0, 1, 2 ïðèíèìàåò çíà÷åíèÿ y = 0, 61 , 32 , 61 , 0.
3. Ïóñòü çàäàíà ñåòêà a = x0 < ... < xn = b, è ïóñòü äëÿ óíêöèè f ñ ïåðèîäîì b − a ñòðîèòñÿ èíòåðïîëÿöèîííûé êóáè÷åñêèé ñïëàéí, óäîâëåòâîðÿþùèé äîïîëíèòåëüíûì óñëîâèÿì ïåðèîäè÷íîñòè
S ′ (x0) = S ′ (x0),
S ′′ (xn) = S ′′ (xn).
Êàêîé âèä èìååò àëãåáðàè÷åñêàÿ ñèñòåìà îòíîñèòåëüíî âåëè÷èí uk = S ′′(xk )? Äîêàæèòå, ÷òî îíà èìååò åäèíñòâåííîå ðåøåíèå. 4. Ïóñòü íà ñåòêå a = x0 < ... < xn = b çàäàíû çíà÷åíèÿ f0 , ... , fn−1 , fn = f0 , è ïóñòü S(x) èíòåðïîëÿöèîííûé êóáè÷åñêèé ñïëàéí, óäîâëåòâîðÿþùèé óñëîâèÿì ïåðèîäè÷íîñòè. Äîêàæèòå, ÷òî åñëè óíêöèÿ φ ∈ C 2 [−∞, ∞] ñ ïåðèîäîì b − a èíòåðïîëèðóåò òå æå çíà÷åíèÿ, òî Z b Z b (φ′′ (x))2 d x ≥ (S ′′ (x))2 d x. a
a
5. Ïóñòü φ ∈ C r [a, b] è φ (xk ) = fk , 0 ≤ k ≤ n. Äîêàæèòå, ÷òî R b (r) 2 ìèíèìóì óíêöèîíàëà E (φ) ≡ a (f (x)) d x äîñòèãàåòñÿ íà óíêöèè φ, ÿâëÿþùåéñÿ ñïëàéíîì ñòåïåíè 2r − 1, èíòåðïîëèðóþùèì çíà÷åíèÿ fk è óäîâëåòâîðÿþùèì äîïîëíèòåëüíûì óñëîâèÿì f (j) (x0) = f (j) (xn) = 0, r ≤ j ≤ 2r − 2.
6. Åñòåñòâåííûé ñïëàéí S èíòåðïîëèðóåò çíà÷åíèÿ f ∈ C 4 [a, b] íà ñåòêå ñ ìàêñèìàëüíûì øàãîì h. Äîêàæèòå, ÷òî ||S (j) − f (j)||C [a, b] = O (h4−j ), 0 ≤ j ≤ 3. 7. Íà ñåòêå ñ óçëàìè x = −2, −1, 0, 1, 2 ïîñòðîèòü êóáè÷åñêèé ñïëàéí B(x) ∈ C 2, ïîä÷èíåííûé óñëîâèÿì
B (r) (±2) = 0,
r = 0, 1, 2.
Áóäåò ëè òàêîé ñïëàéí åäèíñòâåííûì? Ìîæåò ëè òàêîé ñïëàéí áûòü íå÷åòíîé óíêöèåé? 8. Ôèêñèðîâàíà ñåòêà a = x0 < . . . < xn = b. Äîêàçàòü, ÷òî óíêöèÿ, ìèíèìèçèðóþùàÿ íà C 2 [a, b] óíêöèîíàë Z b n X ′′ 2 (f (xk ) − yk )2, J (f ) ≡ (f ) d x + a
k=0
ãäå yk çàäàííûå çíà÷åíèÿ, ñ íåîáõîäèìîñòüþ ÿâëÿåòñÿ ÿâëÿåòñÿ åñòåñòâåííûì ñïëàéíîì.
9. Âåðíî ëè, ÷òî ëþáîé ñïëàéí ñòåïåíè m íà ñåòêå 0 < 1 < ... < n ïðåäñòàâèì â âèäå ëèíåéíîé êîìáèíàöèè ñïëàéíîâ Bm (x − k) äëÿ öåëûõ −m ≤ k ≤ n − 1? 10. àññìàòðèâàþòñÿ ðàâíîìåðíûå ñåòêè xk = kh ñ øàãîì h = b/n è óíêöèÿ f ∈ C 2 (R) àïïðîêñèìèðóåòñÿ íà îòðåçêå [0, b] ñ ïîìîùüþ óíêöèé Sh âèäà
Sh (x) =
n+1 X
k=−1
αk B3 (h−1 x − (k − 2)).
Ïóñòü αk = f (xk ) ïðè −1 ≤ k ≤ n + 1. Äîêàæèòå, ÷òî
||f − Sh ||C[0,b] = O(h2 ). ßâëÿåòñÿ ëè Sh èíòåðïîëÿöèîííûì ñïëàéíîì? 11. Äîêàæèòå, ÷òî âûâîä ïðåäûäóùåé çàäà÷è îñòàåòñÿ â ñèëå, åñëè αk = f (xk ) ëèøü ïðè 0 ≤ k ≤ n, à çíà÷åíèÿ α−1 è αn+1 îïðåäåëÿþòñÿ ñîîòâåòñòâåííî ïî f (x0 ), f (x1 ) è ïî f (xn), f (xn−1) ñ ïîìîùüþ ëèíåéíîé èíòåðïîëÿöèè. 12. Äîêàæèòå, ÷òî
R∞
−∞
k Bm (x) = (m + 1)/(xk+m+1 − xk ).
13. Äîêàæèòå, ÷òî äëÿ ëþáîãî öåëîãî 0 ≤ l ≤ m
1 X k σl (xk+1, ..., xk+m) Bm (x), x = l Cm l
k
k ãäå ñóììèðîâàíèå âåäåòñÿ ïî âñåì öåëûì k òàêèì, ÷òî x ∈ supp Bm ; óíêöèÿ X σl (z1, ..., zm) = zi1 ...zil 1≤i1 0.
β0 = 0; Äîêàçàòåëüñòâî.
Çàïèøåì
xLn(x) = sn0 L0(x) + . . . + snnLn (x) + sn
n+1 Ln+1 (x).
Òîãäà
snj = (xLn(x), Lj ) = (Ln(x), xLj (x)) = 0 ïðè j ≤ n − 2. Ïîëîæèì αn = snn , βn = sn n+1 = (xLn(x), Ln+1(x)). Òîãäà, ñîãëàñíî (15.8.7), ïîëó÷àåì sn n−1 = βn−1 è â èòîãå (15.9.10). 2 Ñëåäñòâèå 15.9.1
x
L0 (x) L1 (x) ... Ln−2 (x) Ln−1 (x)
=
α0 β1
β1 α1
..
β2
..
.
.
βn−2
..
.
αn−2 βn−1
βn−1 αn−1
L0 (x) L1 (x) ... Ln−2 (x) Ln−1 (x)
+ βn Ln (x)
0 0 ... 0 1
.
(15.9.11)
Ïîëèíîì Ln (x) èìååò n ïðîñòûõ êîðíåé x1 , . . . , xn, ñîâïàäàþùèõ ñ ñîáñòâåííûìè çíà÷åíèÿìè âåùåñòâåííîé ñèììåòðè÷íîé òðåõäèàãîíàëüíîé ìàòðèöû èç (15.9.11). Îòâå÷àþùèå èì ñîáñòâåííûå âåêòîðû èìåþò âèä Ñëåäñòâèå 15.9.2
[L0(xj ), . . . , Ln−1(xj )]T ,
1 ≤ j ≤ n.
Ïóñòü Tn ñèììåòðè÷íàÿ òðåõäèàãîíàëüíàÿ ìàòðèöà â ðàâåíñòâå (15.9.11). Çàìåòèì, ÷òî L0 (x) 6= 0 äëÿ âñåõ x (ïî÷åìó?). Ïîýòîìó î÷åâèäíî, ÷òî åñëè Ln (x) = 0 ïðè x = λ, òî λ áóäåò ñîáñòâåííûì çíà÷åíèåì äëÿ Tn . Åñëè λ êðàòíûé êîðåíü ïîëèíîìà Ln (x), òî L′n (λ) = 0. Äè åðåíöèðóÿ (15.9.11) ïî x è çàòåì ïîäñòàâëÿÿ x = λ, íàõîäèì L′ (λ) L (λ) L (λ) L′ (λ) L (λ) 0 0 0 0 0 ... ... ... ... ... Tn , Tn + . =λ =λ Äîêàçàòåëüñòâî.
L′n−1 (λ)
L′n−1 (λ)
Îòñþäà
L′0 (λ) ... L′n−1 (λ)
Ln−1 (λ)
Ln−1 (λ)
Ln−1 (λ)
∈ ker(Tn − λI)2 = ker(Tn − λI).
àâåíñòâî ÿäåð ker(Tn − λI)2 = ker(Tn − λI) ñïðàâåäëèâî äëÿ ëþáîé ýðìèòîâîé (äàæå äëÿ ëþáîé íîðìàëüíîé) ìàòðèöû.
 íàøåì ñëó÷àå βi 6= 0 äëÿ âñåõ i ⇒ Tn èìååò îòëè÷íûé îò íóëÿ ìèíîð ïîðÿäêà n − 1 ⇒ dim ker(Tn − λI) = 1. Ïîýòîìó äëÿ íåêîòîðîãî α L′ (λ) L′ (λ) L (λ) L (λ) 0 0 0 0 ... ... ... ... ⇒ α=0 ⇒ =α = 0, = L′n−1 (λ)
L′n−1 (λ)
Ln−1 (λ)
÷òî íåâîçìîæíî, òàê êàê L0 (x) íåíóëåâàÿ êîíñòàíòà.
Ln−1 (λ)
2
Âàæíûé ïðèìåð: √ ïîëèíîìû ×åáûøåâà îðòîãîíàëüíû íà îòðåçêå [−1, 1] ñ âåñîì w (x) = 1/ 1 − x2 . Òðåõ÷ëåííûå ñîîòíîøåíèÿ äëÿ íèõ èìåþò âèä
1 1 Ln−1(x) + 0 · Ln(x) + Ln+1(x). 2 2 Óäèâèòåëüíûé (íå î÷åíü ïðîñòîé) àêò: ïðè âåñüìà ñëàáîì îãðàíè÷åíèè íà âåñ â îðìóëå 15.8.5 òðåõ÷ëåííûå ñîîòíîøåíèÿ äëÿ ëþáûõ îðòîãîíàëüíûõ ïîëèíîìîâ íà îòðåçêå [−1, 1] àñèìïòîòè÷åñêè îäíè è òå æå: xLn(x) =
1 βn → , αn → 0. 2 Ýòè ñîîòíîøåíèÿ âûïîëíÿþòñÿ, åñëè âåñ ïîä÷èíåí óñëîâèþ Ñåãå Z1
−1
15.10
ln w(x) √ dx > −∞. 1 − x2
Êîðíè îðòîãîíàëüíûõ ïîëèíîìîâ
Ñâÿçü ñ ýðìèòîâûìè òðåõäèàãîíàëüíûìè ìàòðèöàìè äàåò, êàê ìèíèìóì, ðàçóìíûé àëãîðèòì âû÷èñëåíèÿ êîðíåé îðòîãîíàëüíûõ ïîëèíîìîâ (íàïðèìåð, ïðèìåíÿåì QR-àëãîðèòì äëÿ âû÷èñëåíèÿ ñîáñòâåííûõ çíà÷åíèé òðåõäèàãîíàëüíûõ ìàòðèö Tn ). Êðîìå òîãî, îíà ïîçâîëÿåò óñòàíîâèòü åùå îäíî âàæíîå ñâîéñòâî êîðíåé îðòîãîíàëüíûõ ïîëèíîìîâ òàê íàçûâàåìûå ñîîòíîøåíèÿ ðàçäåëåíèÿ.
Äëÿ êîðíåé λ1 > . . . > λn ïîëèíîìà Ln è êîðíåé µ1 > . . . > µn−1 ïîëèíîìà Ln−1 âûïîëíÿþòñÿ ñëåäóþùèå ñîîòíîøåíèÿ ðàçäåëåíèÿ: Òåîðåìà 15.10.1
λk > µk > λk+1,
k = 1, . . . , n − 1.
(15.10.12)
Äîñòàòî÷íî âñïîìíèòü òåîðåìó 5.7.1, â êîòîðîé óñòàíàâëèâàþòñÿ ñîîòíîøåíèÿ ðàçäåëåíèÿ äëÿ ñîáñòâåííûõ çíà÷åíèé ýðìèòîâûõ ìàòðèö, è çàìåòèòü, ÷òî ïîëèíîìû Ln è Ln−1 íå ìîãóò èìåòü îáùèõ êîðíåé (â ñèëó òðåõ÷ëåííûõ ñîîòíîøåíèé îáùèé êîðåíü äîëæåí áûòü êîðíåì íå èìåþùåãî êîðíåé ïîëèíîìà L0 ). 2
Äîêàçàòåëüñòâî.
Ïóñòü îðòîãîíàëüíûå ïîëèíîìû ïîðîæäåíû ñêàëÿðíûì ïðîèçâåäåíèåì âèäà (15.8.5) ñ âåñîâîé óíêöèåé, îïðåäåëåííîé íà îòðåçêå [a, b]. Òîãäà ïðè n ≥ 1 âñå êîðíè ïîëèíîìà Ln âåùåñòâåííû, ïîïàðíî ðàçëè÷íû è ðàñïîëîæåíû âíóòðè îòðåçêà [a, b]. Òåîðåìà 15.10.2
Äîêàçàòåëüñòâî.
Ïðè n ≥ 1 çàïèøåì
qn (x) = (x − ζ1 ) . . . (x − ζm ) pn−m (x), ãäå ζ1 , . . . , ζm ïîïàðíî ðàçëè÷íûå êîðíè ïîëèíîìà qn (x), ðàñïîëîæåííûå âíóòðè îòðåçêà [a, b] è èìåþùèå íå÷åòíóþ êðàòíîñòü. Áóäåì ñ÷èòàòü, ÷òî m ìàêñèìàëüíî âçìîæíîå ÷èñëî êîðíåé ñ òàêèìè ñâîéñòâàìè. Òîãäà ïîëèíîì pn−m (x) èìååò îäèí è òîò æå çíàê ïðè âñåõ x ∈ [a, b]. Åñëè m < n, òî â ñèëó îðòîãîíàëüíîñòè qn êî âñåì ïîëèíîìàì ìåíüøåé ñòåïåíè íàõîäèì Z b (x − ζ1 )2 . . . (x − ζm )2 pn−m (x) w (x) d x = 0. a
Ýòî ðàâåíñòâî íåâîçìîæíî (ïî÷åìó?). Ïîýòîìó m = n. 2 15.11
àçëîæåíèå èíòåðïîëÿöèîííîãî ïîëèíîìà
Îðòîãîíàëüíûå ïîëèíîìû îáðàçóþò óäîáíûé áàçèñ äëÿ ïðåäñòàâëåíèÿ èíòåðïîëÿöèîííûõ ïîëèíîìîâ. Ëåììà 15.11.1
Ìàòðèöà
L0 (x1) . . . Ln−1(x1) Qn = . . . ... ... L0(xn) . . . Ln−1(xn)
èìååò îðòîãîíàëüíûå ñòðîêè, à ìàòðèöà Dn−1 Qn , ãäå d1 ... , d2j = L20(xj ) + . . . + L2n−1(xj ), Dn = dn
(15.11.13)
ÿâëÿåòñÿ îðòîãîíàëüíîé.
Äàííîå óòâåðæäåíèå âûòåêàåò èç îðòîãîíàëüíîñòè ñèñòåìû ñîáñòâåííûõ âåêòîðîâ âåùåñòâåííîé ñèììåòðè÷íîé ìàòðèöû äëÿ ïîïàðíî ðàçëè÷íûõ ñîáñòâåííûõ çíà÷åíèé. 2
Äîêàçàòåëüñòâî.
Ïîëèíîì Πn−1 (x), èíòåðïîëèðóþùèé çíà÷åíèÿ f1 , . . . , fn â óçëàõ x1 , . . . , xn, äîïóñêàåò ïðåäñòàâëåíèå Òåîðåìà 15.11.1
Πn−1(x) = γ1 L0(x) + . . . + γn Ln−1(x),
(15.11.14)
f1 γ1 −2 . . . = Q⊤ ... . n Dn fn γn
(15.11.15)
ãäå
−1 Ïîñêîëüêó (Dn−1 Qn )−1 = (Dn−1 Qn)⊤ = Q⊤ n Dn , íàõîäèì −2 = Q⊤ n Dn , îòêóäà è âûòåêàåò ñîîòíîøåíèå (15.11.15). 2
Äîêàçàòåëüñòâî.
Q−1 n
Óäîáñòâî çàïèñè èíòåðïîëÿöèîííîãî ïîëèíîìà â âèäå (15.11.14) çàêëþ÷àåòñÿ â òîì, ÷òî êîý èöèåíòû γ1 , . . ., γn îïðåäåëÿþòñÿ óñòîé÷èâûì îáðàçîì (óìíîæåíèåì íà äèàãîíàëüíóþ è îðòîãîíàëüíóþ ìàòðèöû). Äëÿ èõ âû÷èñëåíèÿ äîñòàòî÷íî O(n2 ) îïåðàöèé. Äëÿ óìíîæåíèÿ íà Qn ñóùåñòâóþò è áîëåå áûñòðûå àëãîðèòìû (ñëîæíîñòè O(n log2 n) èëè äàæå O(n log n) â ñïåöèàëüíûõ ñëó÷àÿõ), íî èõ ÷èñëåííàÿ óñòîé÷èâîñòü, âîîáùå ãîâîðÿ, òðåáóåò èçó÷åíèÿ. 15.12
Îðòîãîíàëüíûå ïîëèíîìû è ðàçëîæåíèå Õîëåöêîãî
Çàïèøåì qi (x) = qi0 + qi1 x + . . . + qii xi è ðàññìîòðèì íèæíþþ òðåóãîëüíóþ ìàòðèöó q00 q10 q11 . Ln = ... ... ... qn0 qn1 . . . qnn
Ñîîòíîøåíèÿ îðòîãîíàëüíîñòè äëÿ ïîëèíîìîâ qi (x) è qj (x) ïðè 0 ≤ i, j ≤ n ìîæíî çàïèñàòü òàêèì îáðàçîì: Z b 1 n x 1, i = j, 2 n T w (x) d x = Ln . . . [1 x x . . . x ] Ln 0, i 6= j. a n x
ij
Ââåäåì ìàòðèöó ìîìåíòîâ
Mn ≡ [(xi, xj )]nij=0. Òîãäà Ln Mn LTn = I , è ñëåäîâàòåëüíî, −T Mn = L−1 n Ln .
Òàêèì îáðàçîì, ìàòðèöà Ln , ñîñòàâëåííàÿ èç êîý èöèåíòîâ îðòîãîíàëüíûõ ïîëèíîìîâ, ÿâëÿåòñÿ ìàòðèöåé, îáðàòíîé ê íèæíåé òðåóãîëüíîé ìàòðèöå èç ðàçëîæåíèÿ Õîëåöêîãî äëÿ ìàòðèöû ìîìåíòîâ Mn . Çàäà÷è
1. Äîêàæèòå åäèíñòâåííîñòü ïîëèíîìà íàèëó÷øåãî ðàâíîìåðíîãî ïðèáëèæåíèÿ äëÿ f ∈ C [a, b]. 2. Äëÿ ëþáîé óíêöèè f ∈ C [a, b] äîêàæèòå ñóùåñòâîâàíèå ïîëèíîìà íàèëó÷øåãî ðàâíîìåðíîãî ïðèáëèæåíèÿ. 3. Ïóñòü óíêöèÿ f ∈ C [−1, 1] ÷åòíàÿ. Äîêàæèòå, ÷òî ïîëèíîì íàèëó÷øåãî ðàâíîìåðíîãî ïðèáëèæåíèÿ äëÿ íåå äîëæåí áûòü ÷åòíîé óíêöèåé. Âåðíî ëè, ÷òî äëÿ íå÷åòíîé óíêöèè îí äîëæåí áûòü íå÷åòíîé óíêöèåé? 4. Äîêàæèòå, ÷òî ïîëèíîìû ×åáûøåâà √ ýòî îðòîãîíàëüíûå ïîëèíîìû íà îòðåçêå [−1, 1] ñ âåñîì w (x) = 1/ 1 − x2 . 5. Äîêàæèòå, ÷òî ïðîèçâîëüíûå îðòîãîíàëüíûå ïîëèíîìû ïðåäñòàâëÿþòñÿ îðìóëîé (15.8.9). 6. Ïîëèíîìû, îðòîãîíàëüíûå íà îòðåçêå [−1, 1] ñ âåñîì w (x) = 1, íàçûâàþòñÿ ïîëèíîìàìè Ëåæàíäðà. Äîêàæèòå, äëÿ ïðè óñëîâèè íîðìèðîâêè Pn (1) = 1 ñïðàâåäëèâà îðìóëà îäðèãà
(−1)n dn Pn (x) = n (1 − x2)n. n 2 n! dx 7. Äîêàæèòå, ÷òî äëÿ ïîëèíîìîâ Ëåæàíäðà ñ íîðìèðîâêîé Pn (1) = 1
Z1
−1
Pn2 (x)dx =
2 . 2n + 1
8. Íàéäèòå êîý èöèåíòû òðåõ÷ëåííûõ ðåêóððåíòíûõ ñîîòíîøåíèé äëÿ ïîëèíîìîâ Ëåæàíäðà Pn (x), íîðìèðîâàííûõ óñëîâèåì Pn (1) = 1. 9. Äîêàæèòå, ÷òî äëÿ ïîëèíîìîâ Ëåæàíäðà ñ óñëîâèåì íîðìèðîâêè Pn (1) = 1 ñïðàâåäëèâû ñîîòíîøåíèÿ
(2n + 1)Pn(x) =
d (Pn+1(x) − Pn−1 (x)), dx
n = 1, 2, ... .
10. Äîêàæèòå, ÷òî çíà÷åíèÿ ïîëèíîìîâ Ëåæàíäðà ñ óñëîâèåì íîðìèðîâêè Pn (1) = 1 óäîâëåòâîðÿþò íåðàâåíñòâó |Pn (x)| ≤ 1 ïðè −1 ≤ x ≤ 1. 11. Ïîëèíîìû, îðòîãîíàëüíûå íà îòðåçêå [0, +∞) ñ âåñîì w (x) = e−x , íàçûâàþòñÿ ïîëèíîìàìè Ëàãåððà. Äîêàæèòå, ÷òî ïðè óñëîâèè íîðìèðîâêè Pn (0) = 1 èìååò ìåñòî îðìóëà
dn n −x Pn (x) = (−1) e (x e ). dxn n x
12. Äîêàæèòå, ÷òî ðàçëîæåíèå ïî ñòåïåíÿì x äëÿ ïîëèíîìîâ Ëàãåððà ñ óñëîâèåì íîðìèðîâêè Pn (0) = 1 èìååò âèä n2 n−1 n2 (n − 1)2 n−2 1 n n + x − ... + (−1) n! . x − x Pn (x) = n! 1! 2! 13. Íàéäèòå êîý èöèåíòû òðåõ÷ëåííûõ ðåêóððåíòíûõ ñîîòíîøåíèé äëÿ ïîëèíîìîâ Ëàãåððà Pn (x), íîðìèðîâàííûõ óñëîâèåì Pn (0) = 1. 14. Äîêàæèòå, ÷òî ìíîæåñòâî êîðíåé âñåõ ïîëèíîìîâ Ëàãåððà íå ìîæåò ïðèíàäëåæàòü êàêîìó-ëèáî êîíå÷íîìó îòðåçêó. 15. Ôóíêöèè
Un(x) =
sin((n + 1) arccos x)) √ , 1 − x2
−1 < x < 1,
íàçûâàþòñÿ ïîëèíîìàìè ×åáûøåâà âòîðîãî ðîäà. Äîêàæèòå, ÷òî Un(x) ÿâëÿþòñÿ √ ïîëèíîìàìè îò x, îðòîãîíàëüíûìè íà [−1, 1] ñ âåñîì w(x) = 1 − x2 . Ïîëó÷èòå äëÿ íèõ òðåõ÷ëåííûå ðåêóððåíòíûå ñîîòíîøåíèÿ.
ëàâà 16
16.1
×èñëåííîå èíòåãðèðîâàíèå
Î÷åâèäíàÿ èäåÿ ÷èñëåííîãî èíòåãðèðîâàíèÿ: ïðèáëèçèòü f ïðîñòîé óíêöèåé φ è ïîëîæèòü
I (f ) ≡
Z
b a
f (x) d x ≈ S (f ) ≡
Z
b
φ (x) d x.
a
 êà÷åñòâå ïðîñòûõ îáû÷íî áåðóòñÿ óíêöèè, èíòåãðèðóåìûå àíàëèòè÷åñêè, íàïðèìåð, ïîëèíîìû èëè ñïëàéíû. Îáøèðíûé êëàññ ìåòîäîâ ÷èñëåííîãî èíòåãðèðîâàíèÿ îïèñûâàåòñÿ êâàäðàòóðíîé îðìóëîé n X S (f ) = (16.1.1) di f (xi), i=1
îïðåäåëÿåìîé óçëàìè xi è âåñàìè di . ×àñòî âåñà ïðåäñòàâëÿþò â âèäå di = b−a 2 Di , ãäå Di íå çàâèñèò îò a è b. 16.2
Èíòåðïîëÿöèîííûå êâàäðàòóðíûå îðìóëû
àññìîòðèì ñòàíäàðòíûé îòðåçîê [−1, 1] è îòîáðàçèì åãî íà [a, b]:
a+b b−a + t. 2 2
x = x (t) =
Âûáåðåì óçëû t1 , . . . , tn ∈ [−1, 1] è ïîëîæèì xi = x (ti). Åñëè óçëû ïîïàðíî ðàçëè÷íû, ïîñòðîèì èíòåðïîëÿöèîííûé ïîëèíîì Ëàãðàíæà n Y n X x − xj . f (xi) Ln−1 (x) = x − x i j j=1 i=1
j6=i
161
Èíòåãðèðóÿ åãî ïî [a, b], ïîëàãàåì
S (f ) ≡
Z
b
Ln−1 (x) d x =
a
n X
di f (xi),
i=1
b−a di = 2
Z
n Y t − tj d t. −1 j=1 ti − tj 1
j6=i
(16.2.2) Òàêèå êâàäðàòóðíûå îðìóëû íàçûâàþò îðìóëàìè ÍüþòîíàÊîòåñà. Ïóñòü f ∈ C n [a, b]. Òîãäà, èñïîëüçóÿ îöåíêó ïîãðåøíîñòè äëÿ ëàãðàíæåâîé èíòåðïîëÿöèè, ïîëó÷àåì Z n ||f n ||C [a, b] b − a n+1 1 Y |I (f ) − S (f )| ≤ | (t − tj )| d t. (16.2.3) n! 2 −1 j=1
16.3
Àëãåáðàè÷åñêàÿ òî÷íîñòü êâàäðàòóðíîé îðìóëû
Åñëè I (f ) = S (f ) äëÿ âñåõ ïîëèíîìîâ f ñòåïåíè íå âûøå m è I (f ) 6= S (f ) õîòÿ áû äëÿ îäíîãî ïîëèíîìà ñòåïåíè m + 1, òî ãîâîðÿò, ÷òî êâàäðàòóðíàÿ îðìóëà S èìååò àëãåáðàè÷åñêóþ òî÷íîñòü m.
Êâàäðàòóðíàÿ îðìóëà ñ n óçëàìè èìååò àëãåáðàè÷åñêóþ òî÷íîñòü m ≥ n − 1 òîãäà è òîëüêî òîãäà, êîãäà îíà ÿâëÿåòñÿ èíòåðïîëÿöèîííîé êâàäðàòóðíîé âèäà (16.2.2).
Òåîðåìà 16.3.1
Àëãåáðàè÷åñêàÿ òî÷íîñòü îðìóëû (16.2.2) íå ìåíüøå n − 1 ýòî î÷åâèäíî. Åñëè æå îðìóëà âèäà (16.1.1) òî÷íà äëÿ ïîëèíîìîâ ñòåïåíè n − 1, òî ÷òîáû íàéòè di , äîñòàòî÷íî ñ åå ïîìîùüþ ïðîèíòåãðèðîâàòü ýëåìåíòàðíûé ïîëèíîì Ëàãðàíæà li (x). 2 Äîêàçàòåëüñòâî.
16.4
Ïîïóëÿðíûå êâàäðàòóðíûå îðìóëû
Ïîëîæèì h ≡ b − a è Mm ≡ ||f m ||C [a, b].
) h. Îöåíêà ïîãðåøÔîðìóëà ïðÿìîóãîëüíèêîâ (t1 = 0): S (f ) = f ( a+b 2 íîñòè (ïðîâåðüòå): f ∈ C 1 ⇒ |I − S| ≤ 14 M1 h2 . Ëþáîïûòíî, ÷òî ýòó æå îðìóëó ìû ìîæåì ïîëó÷èòü, èíòåãðèðóÿ èíòåðïîëÿöèîííûé ïîëèíîì Ýðìèòà äëÿ êðàòíîãî óçëà t1 = t2 = 0. Äëÿ ñòàíäàðòíîãî îòðåçêà îðìàëüíî èìååì H1 (t) = f (0) + f ′ (0) t, íî â ñèëó íå÷åòíîñòè ÷ëåí ñ ïðîèçâîäíîé äàåò ïðè èíòåãðèðîâàíèè íóëü. Òåïåðü ìû ïîëó÷àåì òàêóþ îöåíêó ïîãðåøíîñòè (ïðîâåðüòå): f ∈ C2
⇒
|I − S| ≤
1 M2 h3 . 24
Ôîðìóëà òðàïåöèé (t1 = −1, t2 = 1): S (f ) = 12 (f (a) + f (b)) h. Îöåíêà 1 ïîãðåøíîñòè (ïðîâåðüòå): f ∈ C 2 ⇒ |I − S| ≤ 12 M2 h3 . Ôîðìóëà Ñèìïñîíà: t1 = −1, t2 = 1, t3 = t4 = 0. Äëÿ ñòàíäàðòíîãî îòðåçêà ïîëèíîì Ýðìèòà èìååò âèä
H3 (t) = f (−1) + f (−1; 1) (t + 1)
+ +
f (−1; 1; 0) (t + 1)(t − 1) f (−1; 1; 0; 0) (t + 1)(t − 1)t.
 ñèëó íå÷åòíîñòè ïîñëåäíèé ÷ëåí ïðè èíòåãðèðîâàíèè äàåò íóëü. Äîâåäèòå ïîñòðîåíèå äî êîíöà: íàéäèòå âåñà è îöåíèòå ïîãðåøíîñòü êâàäðàòóðíîé îðìóëû Ñèìïñîíà. 16.5
Ôîðìóëû àóññà
Ïðè çàäàííîì ÷èñëå óçëîâ n ïîïûòàåìñÿ íàéòè êâàäðàòóðíóþ îðìóëó âèäà (16.1.1) ñ ìàêñèìàëüíî âîçìîæíîé àëãåáðàè÷åñêîé òî÷íîñòüþ m. Òàêèå îðìóëû íàçûâàþòñÿ îðìóëàìè àóññà.
Äëÿ ëþáîãî ÷èñëà óçëîâ n êâàäðàòóðíàÿ îðìóëà àóññà ñóùåñòâóåò, åäèíñòâåííà è èìååò àëãåáðàè÷åñêóþ òî÷íîñòü 2n − 1. Òåîðåìà 16.5.1
Äîêàçàòåëüñòâî.
Ïîëîæèì
ωn (x) =
n Y j=1
(x − xj ).
Åñëè áû ñóùåñòâîâàëà îðìóëà ñ àëãåáðàè÷åñêîé òî÷íîñòüþ 2n, òî ìû èìåëè áû ðàâåíñòâî I (ωn2 ) = S (ωn2 ) = 0, ÷òî íåâîçìîæíî ⇒ m ≤ 2n − 1. Ïðåäïîëîæèì, ÷òî îðìóëà (16.1.1) èìååò àëãåáðàè÷åñêóþ òî÷íîñòü m = 2n − 1. Òîãäà
I (ωn (x) rn−1 (x)) = S (ωn (x) rn−1 (x)) = 0 äëÿ ëþáîãî ïîëèíîìà rn−1 (x) ñòåïåíè íå âûøå n − 1. Ñëåäîâàòåëüíî, ïîëèíîì ωn (x) åñòü n-é ïîëèíîì èç ïîñëåäîâàòåëüíîñòè îðòîãîíàëüíûõ ïîëèíîìîâ íà îòðåçêå [a, b] ñ âåñîì 1. Ìû çíàåì, ÷òî òàêîé ïîëèíîì îïðåäåëÿåòñÿ îäíîçíà÷íî ñ òî÷íîñòüþ äî íîðìèðîâêè. Ìû çíàåì òàêæå, ÷òî òàêîé ïîëèíîì äîëæåí èìåòü n ïîïàðíî ðàçëè÷íûõ êîðíåé âíóòðè [a, b]. Ýòè êîðíè ìû è áóäåì èñïîëüçîâàòü â êà÷åñòâå óçëîâ xi.  ñèëó òåîðåìû 16.3.1 èñêîìàÿ êâàäðàòóðíàÿ îðìóëà ÿâëÿåòñÿ èíòåðïîëÿöèîííîé. Ïîýòîìó îíà èìååò âèä (16.2.2).
Äîêàæåì, ÷òî ïîëó÷åííàÿ êâàäðàòóðíàÿ îðìóëà äåéñòâèòåëüíî èìååò àëãåáðàè÷åñêóþ òî÷íîñòü m = 2n − 1. Âîçüìåì ïðîèçâîëüíûé ïîëèíîì p2n−1 (x) è ðàçäåëèì åãî ñ îñòàòêîì íà ωn (x):
p2n−1 (x) = qn−1 (x) ωn (x) + rn−1 (x).  ñèëó ëèíåéíîñòè, îðòîãîíàëüíîñòè è âèäà ïîëó÷åííîé êâàäðàòóðû
I (p2n−1) = I (qn−1 ωn ) + I (rn−1) = I (rn−1) = S (rn−1) = S (qn−1 ωn ) + S (rn−1) = S (p2n−1). 2 16.6
Ñîñòàâíûå êâàäðàòóðíûå îðìóëû
àññìîòðåííûå íàìè êâàäðàòóðíûå îðìóëû äàþò ïðèåìëåìóþ ïîãðåøíîñòü ïðè íåáîëüøèõ h = b − a.  îáùåì ñëó÷àå ïðèìåíÿþò ñîñòàâíûå êâàäðàòóðíûå îðìóëû: ðàçáèâàþò îòðåçîê èíòåãðèðîâàíèÿ íà êàêîå-òî ÷èñëî ýëåìåíòàðíûõ îòðåçêîâ, íà êàæäîì èç íèõ âû÷èñëÿþò çíà÷åíèå ýëåìåíòàðíîé êâàäðàòóðû, à èíòåãðàë ïðèáëèæàþò èõ ñóììîé. Îöåíêè ïîãðåøíîñòè äëÿ ñîñòàâíûõ êâàäðàòóð ëåãêî âûòåêàþò èç îöåíîê äëÿ ýëåìåíòàðíûõ êâàäðàòóð. Íàïðèìåð, åñëè îòðåçîê [a, b] ðàçáèâàåòñÿ íà êàêîå-òî ÷èñëî îòðåçêîâ äëèíû h è íà êàæäîì èç íèõ èñïîëüçóåòñÿ îðìóëà òðàïåöèé, òî ïîãðåøíîñòü òàêîé ñîñòàâíîé êâàäðàòóðû èìååò âèä 3 2 O ( b−a h h ) = O (h ). Ïîëåçíî îáðàòèòü âíèìàíèå íà òî, ÷òî ïðè èíòåãðèðîâàíèè ïî ïåðèîäó ãëàäêèõ ïåðèîäè÷åñêèõ óíêöèé ñîñòàâíàÿ îðìóëà ïðÿìîóãîëüíèêîâ, íåñìîòðÿ íà ïðîñòîòó, ïðåâîñõîäèò ìíîãèå áîëåå ñëîæíûå êâàäðàòóðíûå ïðàâèëà: ïî n óçëàì îíà òî÷íî èíòåãðèðóåò òðèãîíîìåòðè÷åñêèå ïîëèíîìû ñòåïåíè ìåíüøå n/2. 16.7
Ïðàâèëî óíãå äëÿ îöåíêè ïîãðåøíîñòè
Ïðè ðàçáèåíèè îòðåçêà èíòåãðèðîâàíèÿ íà ýëåìåíòàðíûå îòðåçêè âàæíî ó÷èòûâàòü ïîâåäåíèå èíòåãðèðóåìîé óíêöèè. Åñëè î óíêöèè çàðàíåå íè÷åãî íå èçâåñòíî, òî ìû ìîæåì ïðîâîäèòü ðàçáèåíèå ïîñòåïåííî, äâèãàÿñü, íàïðèìåð, ñëåâà íàïðàâî. Äëÿ î÷åðåäíîãî ýëåìåíòàðíîãî îòðåçêà äëèíû h ìû äîëæíû êàêèì-òî îáðàçîì îöåíèòü ïîãðåøíîñòü èíòåãðèðîâàíèÿ íà íåì è ïðèíÿòü ðåøåíèå îá óìåíüøåíèè èëè óâåëè÷åíèèè øàãà èíòåãðèðîâàíèÿ. Íàèâíûé ñïîñîá îöåíêè ïîãðåøíîñòè: âçÿòü äâå ðàçíûå êâàäðàòóðíûå îðìóëû S1 è S2 è ñóäèòü î ïîãðåøíîñòè ïî ðàçíîñòè çíà÷åíèé S1 − S2 . Èíîãäà ìîæíî ïðîâåñòè áîëåå àêêóðàòíîå îöåíèâàíèå.
Ïóñòü íà îòðåçêå äëèíû h èñïîëüçóåòñÿ êâàäðàòóðíàÿ îðìóëà S1 , òî÷íàÿ äëÿ ïîëèíîìîâ ñòåïåíè íå âûøå n − 1. àçëîæèì óíêöèþ f (x) â ðÿä Òåéëîðà â ñåðåäèíå îòðåçêà . Òîãäà
I (f ) − S1 (f ) = α f (n) (c) hn+1 + O (hn+2). Îáîçíà÷èì ÷åðåç S2 ñîñòàâíóþ îðìóëó, ïîëó÷åííóþ ïðèìåíåíèåì îðìóëû S1 äëÿ äâóõ ïîëîâèíîê îòðåçêà äëèíû h. Òîãäà ñ òåì æå α íàõîäèì:
I (f ) − S2 (f ) = α f
(n)
hn+1 (c) n + O (hn+2) 2
(äîêàæèòå!). Ñëåäîâàòåëüíî, ñ òî÷íîñòüþ äî ÷ëåíîâ O (hn+2 ) ïîëó÷àåì ñëåäóþùåå ïðàâèëî óíãå :
I (f ) − S2 (f ) ≈
S2 − S1 . 2n − 1
(16.7.4)
Åñëè ìû õîòèì íàéòè èíòåãðàë ñ òî÷íîñòüþ ε, òî êàæäûé øàã ñëåäóåò âûáèðàòü òàêèì îáðàçîì, ÷òîáû âûïîëíÿëîñü íåðàâåíñòâî
h |S1 − S2| ≤ ε. 2n − 1 b−a 16.8
Êàê èíòåãðèðîâàòü ïëîõèå óíêöèè
àññìîòðåííûå âûøå êâàäðàòóðíûå îðìóëû íå î÷åíü õîðîøè äëÿ íåäîñòàòî÷íî ãëàäêèõ óíêöèé. Äàæå â òåõ ñëó÷àÿõ, êîãäà èíòåãðèðîâàíèå ñ àâòîìàòè÷åñêèì âûáîðîì øàãà ïîçâîëÿåò ïîëó÷èòü îòâåò, îíî ìîæåò òðåáîâàòü î÷åíü áîëüøîãî êîëè÷åñòâà âû÷èñëåíèé. Îòìåòèì äâà îñíîâíûõ ïîäõîäà ê ÷èñëåííîìó èíòåãðèðîâàíèþ ïëîõèõ óíêöèé.
• Çàïèñàòü f = w + g , ãäå w ïëîõàÿ óíêöèÿ; ïðîèíòåãðèðîâàòü w îòäåëüíî (ëó÷øå âñåãî, àíàëèòè÷åñêè), à êâàäðàòóðó èñïîëüçîâàòü äëÿ áîëåå ãëàäêîé óíêöèè g . • Çàïèñàòü f = wg è ïîïûòàòüñÿ ïîëó÷èòü êâàäðàòóðíûå îðìóëû äëÿ èêñèðîâàííîé ïëîõîé óíêöèè w. Ôóíêöèÿ g ïðåäïîëàãàåòñÿ óæå äîñòàòî÷íî ãëàäêîé. Îíà ïðèáëèæàåòñÿ ïîëèíîìîì p (íàïðèìåð, èíòåðïîëÿöèîííûì ïîëèíîìîì), è ÷òîáû ïîëó÷èòü ìåòîä èíòåãðèðîâàíèÿ, îñòàåòñÿ ïðåäúÿâèòü äîñòàòî÷íî òî÷íûé ñïîñîá âû÷èñëåíèÿ èíòåãðàëîâ îò óíêöèé âèäà w p. Åñëè óíêöèÿ w çíàêîïîñòîÿííà, òî åå ìîæíî ðàññìàòðèâàòü êàê âåñ, è ñëåäîâàòåëüíî, ìîæíî ñòðîèòü îðìóëû òèïà îðìóë àóññà.
Êîíå÷íî, åñòü è äðóãèå ðåöåïòû. Íàïðèìåð, åñëè óíêöèÿ èìååò â íóëå îñîáåííîñòü âèäà xα , ãäå 0 < α < 12 , òî ìîæíî ïåðåéòè ê áîëåå ãëàäêîé óíêöèè ñ ïîìîùüþ çàìåíû ïåðåìåííîé x = y m , ãäå m ≥ 2. 16.9
Èíòåãðàëû îò áûñòðîîñöèëëèðóþùèõ óíêöèé
Äëÿ âû÷èñëåíèÿ èíòåãðàëîâ îò áûñòðîîñöèëëèðóþùèõ óíêöèé âèäà
A(p) =
Z1
f (x) cos(px) dx,
B(p) =
−1
Z1
f (x) sin(px) dx
(16.9.5)
−1
åñòåñòâåííî ïðèáëèçèòü f (x) èíòåðïîëÿöèîííûì ïîëèíîìîì, à çàòåì ïðîèíòåãðèðîâàòü ïðîèçâåäåíèå ïîëèíîìà è òðèãîíîìåòðè÷åñêîé óíêöèè àíàëèòè÷åñêè.  ñëó÷àå ïîëèíîìà ïåðâîé ñòåïåíè ïîëó÷àåòñÿ òàê íàçûâàåìàÿ îðìóëà Ôèëîíà. Îäíàêî, äëÿ ïîëèíîìîâ ïðîèçâîëüíîé ñòåïåíè íåîáõîäèìî èìåòü ñïîñîá àíàëèòè÷åñêîãî èíòåãðèðîâàíèÿ, èçáåãàþùèé âû÷èñëåíèÿ êîý èöèåíòîâ èíòåðïîëÿöèîííîãî ïîëèíîìà (ïî÷åìó?). Ýòî ìîæíî ñäåëàòü ñ ïîìîùüþ òåîðåìû 15.11.1 î ðàçëîæåíèè èíòåðïîëÿöèîííîãî ïîëèíîìà ïî êàêîé-ëèáî ñèñòåìå îðòîãîíàëüíûõ ïîëèíîìîâ. 1 16.10
Ïðèìåíåíèå ïîëèíîìîâ Ëåæàíäðà
Äëÿ ïîëó÷åíèÿ àëãîðèòìîâ èíòåãðèðîâàíèÿ áûñòðîñöèëëèðóþùèõ óíêöèé óäîáíîé îêàçûâàåòñÿ ñèñòåìà ïîëèíîìîâ Ëåæàíäðà - ïîëèíîìîâ, îðòîãîíàëüíûõ íà [−1, 1] ñ âåñîì w(x) = 1. Ïóñòü Pn (x) ïîëèíîìû ñ óñëîâèåì íîðìèðîâêè Pn (1) = 1.
Ïóñòü q îòëè÷íîå îò íóëÿ êîìïëåêñíîå ÷èñëî. Òîãäà äëÿ âåëè÷èí âèäà Z1 Φn = Pn (x)e−qx dx,
Ëåììà 16.10.1
−1
èìåþò ìåñòî ðåêóððåíòûå ñîîòíîøåíèÿ
Φn+1 =
2n + 1 Φn + Φn−1, q
n = 1, 2, . . . .
(16.10.6)
1 Å. Å. Òûðòûøíèêîâ, Ìîäè èêàöèè ìåòîäîâ âû÷èñëåíèÿ èíòåãðàëîâ ×åáûøåâàËàãåððà è àóññà Ëåæàíäðà,
ÆÂÌ è ÌÔ, òîì 44, N 7, 11871195 (2004).
′ Äëÿ ïîëèíîìîâ Pn (x) èçâåñòíî, ÷òî Pn+1 (x) = ′ (2n + 1)Pn(x) + Pn−1 (x), n = 1, 2, . . . . Ó÷èòûâàÿ òàêæå, ÷òî Pn (1) = 1 è Pn (−1) = (−1)n, îòñþäà ïîëó÷àåì
Äîêàçàòåëüñòâî.
Φn+1 =
Z1
−qx
Pn+1 (x)e
1 Z1 1 e−qx ′ Pn+1 (x) + e−qx Tn+1 (x) dx = dx = − q q −1 −1
−1
1 Z1 Z1 e−qx 1 2n + 1 −qx ′ − Pn+1 (x) + Pn (x)e dx + e−qx Tn−1 (x) dx = q q q −1 −1
−1
1 1 −qx e 2n + 1 2n + 1 e−qx Pn+1 (x) + Φn + Pn−1 (x) + Φn−1 = Φn + Φn−1 . 2 − q q q q −1 −1
Ìîæíî äîêàçàòü, ÷òî lim Φn = 0. Íî íåñìîòðÿ íà ýòî, ïðÿìîå âû÷èñëån→∞
íèå ïî îðìóëàì (16.10.6) áóäåò ÷èñëåííî íåóñòîé÷èâûì. ×òîáû ïîëó÷èòü óñòîé÷èâûé àëãîðèòì âû÷èñëåíèÿ çíà÷åíèé Φ0 , . . . , Φn, âîçüìåì äîñòàòî÷íî áîëüøîå N > n, ïîëîæèì 2j + 1 aj = , j = 1, . . . N, q è çàïèøåì ñîîòíîøåíèÿ (16.10.6) â ìàòðè÷íî-âåêòîðíîì âèäå: a1 −1 1
−1
a2
..
..
.
..
.
1
.
aN −1 1
−1 aN
Φ1 Φ2 ... ΦN −1 ΦN
=
−Φ0 0 ... 0 ΦN +1
≈
−Φ0 0 ... 0 0
.
Î÷åâèäíàÿ âàðèàöèÿ ìåòîäà èñêëþ÷åíèÿ ýëåìåíòîâ ïîçâîëÿåò ïîëó÷èòü ñëåäóþùåå ðàçëîæåíèå:
a1 1
−1 a2 ..
.
1
−1 ..
.
1
..
.
−1 an
an−1 1
=
−β1 1
−β2 ..
βj =
1 αj+1
, αj = aj + βj ,
Φj = −Φj−1/αj ,
.
1
àñ÷åòíûå îðìóëû èìåþò âèä
αn = an ;
.
..
−βn−1 1
α1 1
α2 ..
.
..
1
.
αn−1 1
j = n − 1, n − 2, . . . , 1.
αn
.
(16.10.7)
j = 1, 2, . . . , n.
 îòëè÷èå îò èñõîäíûõ òðåõ÷ëåííûõ ñîîòíîøåíèé (16.10.6), âû÷èñëåíèÿ ïî îðìóëàì (16.10.7) îêàçûâàþòñÿ ÷èñëåííî óñòîé÷èâûìè è ïîçâîëÿþò íàéòè Φ0 , . . . , Φn ñ íóæíîé òî÷íîñòüþ ïðè ïîäõîäÿùåì âûáîðå N > n (õîðîøèå ðåçóëüòàòû ïîëó÷àþòñÿ, íàïðèìåð, ïðè N ≥ n + |p| + 10).
Çàäà÷è
1. Ïóñòü èìååòñÿ ïîñëåäîâàòåëüíîñòü êâàäðàòóðíûõ îðìóë
Sn (f ) =
n X i=1
Äîêàæèòå, ÷òî åñëè
n P
i=1
dni f (xni),
xni ∈ [a, b].
|dni| → ∞ ïðè n → ∞, òî ñóùåñòâóåò óíêöèÿ
f ∈ C [a, b], äëÿ êîòîðîé Sn (f ) íå ñõîäèòñÿ ê èíòåãðàëó îò f ïî [a, b]. 2. Ïóñòü îðìóëà ÍüþòîíàÊîòåñà ñ íå÷åòíûì ÷èñëîì óçëîâ n èñïîëüçóåòñÿ äëÿ âû÷èñëåíèÿ èíòåãðàëà ïî îòðåçêó [a, b] îò óíêöèè f ∈ C n+1 [a, b]. Äîêàæèòå, ÷òî ïîãðåøíîñòü ïî àáñîëþòíîé âåëè÷èíå íå ïðåâîñõîäèò c ||f n+1 ||C [a, b] hn+2 , ãäå c > 0 íå çàâèñèò îò f èëè h = b−a. 3. Äîêàæèòå, ÷òî âåñà â êâàäðàòóðíîé îðìóëå àóññà ïîëîæèòåëüíû. 4. Ïóñòü îðìóëà àóññà ñ n óçëàìè ïðèìåíÿåòñÿ ê f ∈ C 2n [a, b]. Äîêàæèòå, ÷òî ïîãðåøíîñòü ïî àáñîëþòíîé âåëè÷èíå íå ïðåâîñõîäèò c ||f 2n||C [a, b] h2n+1, ãäå c > 0 íå çàâèñèò îò f è h = b − a. 5. Îöåíèòå ïîãðåøíîñòü äëÿ ñîñòàâíîé êâàäðàòóðíîé îðìóëû, èñïîëüçóþùåé íà êàæäîì ýëåìåíòàðíîì îòðåçêå äëèíû h îðìóëó Ñèìïñîíà. 6. Ïóñòü íà îòðåçêå [a, b] ðàññìàòðèâàåòñÿ ïîñëåäîâàòåëüíîñòü Sn ñîñòàâíûõ îðìóë òðàïåöèé ñ øàãîì h = (b − a)/n. Äîêàæèòå, ÷òî åñëè f ∈ C 4 [a, b], òî Z b 1 f (x) d x = Sn (f ) − (f ′′ (b) − f ′′ (a)) h2 + O (h4 ). 12 a
ëàâà 17
17.1
Íåëèíåéíûå óðàâíåíèÿ
Èòåðàöèîííûå ìåòîäû âû÷èñëåíèÿ èçîëèðîâàííîãî (îòäåëåííîãî îò äðóãèõ êîðíåé) êîðíÿ z óðàâíåíèÿ f (x) = 0 îáû÷íî òðåáóþò óêàçàíèÿ êàêîé-ëèáî îáëàñòè D (æåëàòåëüíî, ìàëîé), ëîêàëèçóþùåé z . Åñëè f íåïðåðûâíàÿ óíêöèÿ, òî z ïðèíàäëåæèò ëþáîìó îòðåçêó, íà êîíöàõ êîòîðîãî f (x) èìååò ðàçíûå çíàêè. Äåëÿ îòðåçîê ïîïîëàì, ìû ïîëó÷àåì óíèâåðñàëüíûé ìåòîä âû÷èñëåíèÿ êîðíÿ. Îí áóäåò ðàáîòàòü, åñëè êîðåíü ëîêàëèçîâàí íà íåêîòîðîì (âîçìîæíî, áîëüøîì) îòðåçêå, íà êîíöàõ êîòîðîãî f (x) èìååò ðàçíûå çíàêè. Ìåòîä äåëåíèÿ ïîïîëàì çàìå÷àòåëåí òåì, ÷òî íå òðåáóåò õîðîøåãî ïðèáëèæåíèÿ ê êîðíþ. Åñëè òàêîâîå èìååòñÿ, òî äëÿ ãëàäêèõ óíêöèé åñòü ñìûñë ïåðåêëþ÷èòüñÿ íà ìåòîäû ñ áîëåå âûñîêîé ñêîðîñòüþ ñõîäèìîñòè. Ìû õîòèì ïðèáëèçèòü z ñ òî÷íîñòüþ ε è íå õîòèì èòåðèðîâàòü ñëèøêîì äîëãî. Êîãäà îñòàíàâëèâàòü èòåðàöèè? Îáðàòèì âíèìàíèå íà òî, ÷òî ìàëîñòü f (xk ) ÿâëÿåòñÿ âåñüìà ñîìíèòåëüíûì êðèòåðèåì îñòàíîâêè (ïî÷åìó?). Åñëè äîñòóïíî âû÷èñëåíèå ïðîèçâîäíîé, òî áîëåå ðàçóìíûì êðèòåðèåì îñòàíîâêè ìîæåò ñëóæèòü íåðàâåíñòâî (y = xk èëè y ≈ xk ) |f (xk )/f ′ (y)| ≤ ε. (∗)
Åñëè ïðîèçâîäíàÿ íåïðåðûâíà è íåðàâåíñòâî (∗) âûïîëíÿåòñÿ äëÿ âñåõ y ∈ [xk − ε, xk + ε], òî f (z) = 0 äëÿ íåêîòîðîãî z ∈ [xk − ε, xk + ε]. Óòâåðæäåíèå.
Ïî òåîðåìå Ëàãðàíæà f (xk + t) = f (xk ) + f ′(y)t ⇒ f (xk +t)/f ′(y) = f (xk )/f ′(y)+t ≥ 0 ïðè t = ε è ≤ 0 ïðè t = −ε. Ïîñêîëüêó ïðîèçâîäíàÿ íå ìåíÿåò çíàê íà [−ε, ε], ïðèõîäèì ê âûâîäó î òîì, ÷òî åñëè îáà çíà÷åíèÿ f (xk + ε) è f (xk − ε) îòëè÷íû îò íóëÿ, òî îíè èìåþò ðàçíûå çíàêè. 2 Íà ïðàêòèêå íåðàâåíñòâî (∗) ïðîâåðÿåòñÿ ëèøü ïðè y = xk , à òàêîé êðèòåðèé òàêæå íå èäåàëåí: ïóñòü g (t) = f (α t); òîãäà ïðè tk = xk /α Äîêàçàòåëüñòâî.
169
îòíîøåíèå |g (tk )/g ′ (tk )| ìîæåò áûòü ñäåëàíî ñêîëü óãîäíî ìàëûì çà ñ÷åò âûáîðà α (íåçàâèñèìî îò òîãî, íàñêîëüêî tk áëèçêî ê ðåøåíèþ óðàâíåíèÿ g (t) = 0). Êîíå÷íî, â ýòîì ñëó÷àå íåðàâåíñòâî (∗) íàðóøàåòñÿ äëÿ y â ε-îêðåñòíîñòè òî÷êè xk . 17.2
Ìåòîä ïðîñòîé èòåðàöèè
Ïåðåïèøåì óðàâíåíèå f (x) = 0 â âèäå x = F (x) (íàïðèìåð, ìîæíî âçÿòü F (x) = x−f (x)), âûáåðåì íà÷àëüíîå ïðèáëèæåíèå x0 è ðàññìîòðèì ìåòîä ïðîñòîé èòåðàöèè
xk+1 = F (xk ),
k = 0, 1, . . . .
åøåíèå z óðàâíåíèÿ z = F (z) íàçûâàåòñÿ íåïîäâèæíîé òî÷êîé îòîáðàæåíèÿ F .
Ïóñòü M ïîëíîå ìåòðè÷åñêîå ïðîñòðàíñòâî ñ ðàññòîÿíèåì ρ è îòîáðàæåíèå F : M → M ÿâëÿåòñÿ ñæèìàþùèì:
Òåîðåìà 17.2.1
ρ (F (x), F (y)) ≤ q ρ (x, y) ∀ x, y ∈ M,
(17.2.1)
ãäå 0 < q < 1 íå çàâèñèò îò x è y . Òîãäà óðàâíåíèå x = F (x) èìååò ðåøåíèå z , ýòî ðåøåíèå åäèíñòâåííî è äëÿ ëþáîãî íà÷àëüíîãî ïðèáëèæåíèÿ x0 ìåòîä ïðîñòîé èòåðàöèè ñõîäèòñÿ ê z ñî ñêîðîñòüþ ãåîìåòðè÷åñêîé ïðîãðåññèè: qk ρ (xk , z) ≤ (17.2.2) ρ (x1, x0). 1−q Äîêàçàòåëüñòâî.
ρ (xm , xk ) ≤
Ïðè m ≥ k íàõîäèì
m−1 X i=k
ρ (xi+1, xi) ≤
m−1 X i=k
qk ρ (x1, x0). q ρ (x1, x0) ≤ 1−q i
⇒ xk ïîñëåäîâàòåëüíîñòü Êîøè ⇒ â ñèëó ïîëíîòû M îíà ñõîäèòñÿ ê íåêîòîðîìó z ∈ M . ßñíî, ÷òî F (z) = z (ïî÷åìó?). Ïåðåõîäîì ê ïðåäåëó 2 ïðè m → ∞ ïîëó÷àåì (17.2.2). 17.3
Ñõîäèìîñòü è ðàñõîäèìîñòü ìåòîäà ïðîñòîé èòåðàöèè
Ïóñòü F ∈ C 1 [z − δ, z + δ], ãäå z åäèíñòâåííàÿ íåïîäâèæíàÿ òî÷êà äëÿ F . Òîãäà åñëè |F ′ (z)| < 1, òî ïðè íåêîòîðîì δ > 0 áóäåì èìåòü
q ≡ max |F ′ (x)| < 1 |x−z|≤δ
⇒
|F (x)−F (y)| ≤ q |x−y| ∀ x, y ∈ [z−δ, z+δ].
 äàííîì ñëó÷àå F ñæèìàþùåå îòîáðàæåíèå íà ïîëíîì ìåòðè÷åñêîì ïðîñòðàíñòâå M = [z − δ, z + δ]. Ïîýòîìó ìåòîä ïðîñòîé èòåðàöèè áóäåò ñõîäèòüñÿ äëÿ ëþáîãî íà÷àëüíîãî ïðèáëèæåíèÿ x0 ∈ M . Åñëè |F ′ (z)| > 1, òî ìåòîä ïðîñòîé èòåðàöèè ðàñõîäèòñÿ äëÿ ëþáîãî íà÷àëüíîãî ïðèþáëèæåíèÿ x0 6= z (äîêàæèòå!). ...... ....... .. .... .... ....... .. .... .... . .... . . . ... . ....................... ... .... . . . . . . . ..... . . . . ... . .... . . . .. . . .... . . . .. . . .... . ... . . . .... . . . . . ... . .... . . . . . . . . . . . . .. . . . . . .... . ... . . . .... . . . .. . . . .... . . .. . . . . ....... . .. . . . . . .. . ....... . . . ............... . .. . .. . . . . . . . . . . . .. . . . ... . .... .. . . . . . . . . . . . . . . . . .... . . . . .. . . . . . . . . .... . . . . . . ... . . . . . . . .... . . . . ... ...... . . . . . . . . . . . . . . . ........... . . . . . . .. . . . . ...... . . . . . . . . . . . . . . . . .... . . . . ........ . . . . . . . . . . . .... ..... . . . . . . . . . . . . . . . . . .. .. . . . . . . ....... . . . .. . . . . . . . . . ........ . . . . ........................................................................................ ......................................................................................... ............................................................ . .
z x0 x1
x2
.. ...... ........ .. . . .... .... .... .... .... .... .... .... .... .. .... . . ... . . .... .... .... .... .... .... .... ..... .... ............................................ .. .... ... . .... . . . . . .. ... ... . .... .. .... . ...... .. ................ .. ...... ............... . . . . .... . . . .... ....... .... .......... . . ......... ... ..... .... .. .... .......... ........ .... ... .... . . ....... .. .. ... ... ............................... ... . . . . . .. .. .... . .... . . . .... ... .... .... .... ... .... . . . . . .... ... ....... . . . . . . ........... .. ... ... ... .........................................................................................................................................................................................................................................
z
f (x) > 1
j
èñóíîê 17.1.
0
x2 x1
x0
f (x) < 1
j
j
0
j
àñõîäèìîñòü è ñõîäèìîñòü ìåòîäà ïðîñòîé èòåðàöèè.
Àíàëîãè÷íûå óòâåðæäåíèÿ ìîæíî ïîëó÷èòü è â ìíîãîìåðíîì ñëó÷àå. Ïóñòü F : Rn → Rn íåïðåðûâíî äè åðåíöèðóåìîå îòîáðàæåíèå â îêðåñòíîñòè åäèíñòâåííîé íåïîäâèæíîé òî÷êè z = F (z). Çàïèøåì
F (x) = [f1 (x), . . . , fn (x)]T ,
x = [x1, . . . , xn ]T ,
è ðàññìîòðèì ìàòðèöó
∂f1 (x) ∂x1
F (x) = . . . ′
∂fn (x) ∂x1
... ... ...
∂f1 (x) ∂xn
... .
∂fn (x) ∂xn
Ìàòðèöà F ′ (x) íàçûâàåòñÿ ÿêîáèàíîì îòîáðàæåíèÿ F â òî÷êå x. Íåïðåðûâíàÿ äè åðåíöèðóåìîñòü îòîáðàæåíèÿ F â òî÷êå x îçíà÷àåò ñóùåñòâîâàíèå è íåïðåðûâíîñòü ýëåìåíòîâ ÿêîáèàíà (âñåõ ÷àñòíûõ ïðîèçâîäíûõ) â òî÷êå x.
Ïóñòü îòîáðàæåíèå F : Rn → Rn èìååò åäèíñòâåííóþ íåïîäâèæíóþ òî÷êó z = F (z) è íåïðåðûâíî äè åðåíöèðóåìî â íåêîòîðîé åå îêðåñòíîñòè. Òîãäà åñëè ñïåêòðàëüíûé ðàäèóñ ÿêîáèàíà F ′ (z) ìåíüøå 1, òî äëÿ âñåõ íà÷àëüíûõ ïðèáëèæåíèé x0 èç íåêîòîðîé îêðåñòíîñòè òî÷êè z ìåòîä ïðîñòîé èòåðàöèè ñõîäèòñÿ ê z . Òåîðåìà 17.3.1
Äîêàçàòåëüñòâî ïðîâîäèòñÿ ïî àíàëîãèè ñ îäíîìåðíûì ñëó÷àåì.
17.4
Îïòèìèçàöèÿ ìåòîäà ïðîñòîé èòåðàöèè
Îò óðàâíåíèÿ f (x) = 0 ê ðàâíîñèëüíîìó óðàâíåíèþ x = F (x) ìîæíî ïåðåéòè ìíîãèìè ñïîñîáàìè. Íàïðèìåð, òàê:
F (x) = x − α (x) f (x),
ãäå α (x) 6= 0 ∀ x.
 ÷àñòíîñòè, α ìîæåò áûòü ëþáîé íåíóëåâîé êîíñòàíòîé. Åñëè z èñêîìûé èçîëèðîâàííûé êîðåíü è f ′ (z) 6= 0, òî α âñåãäà ìîæíî âûáðàòü òàê, ÷òîáû âûïîëíÿëîñü äîñòàòî÷íîå óñëîâèå ñõîäèìîñòè ìåòîäà ïðîñòîé èòåðàöèè: |F ′ (z)| = |1 − α f ′ (z)| < 1.
×òîáû óñêîðèòü ñõîäèìîñòü, íóæíî óìåíüøèòü çíà÷åíèå |F ′ (z)|. Íóëåâîå çíà÷åíèå ïîëó÷àåòñÿ ïðè α = 1/f ′ (z). Îäíàêî, áëèçêîå çíà÷åíèå ìîæåò äàòü âûáîð 1 1 α = ′ ≈ ′ . f (xk ) f (z)  èòîãå âîçíèêàåò ìåòîä Íüþòîíà : f (xk ) xk+1 = xk − ′ (17.4.3) . f (xk ) Ýòî íå ÷òî èíîå, êàê ìåòîä ïðîñòîé èòåðàöèè äëÿ óíêöèè
F (x) = x − 17.5
f (x) . f ′ (x)
Ìåòîä Íüþòîíà è ýðìèòîâà èíòåðïîëÿöèÿ
Äðóãîå íàçâàíèå ìåòîäà Íüþòîíà ìåòîä êàñàòåëüíûõ ñâÿçàíî ñ î÷åâèäíîé ãåîìåòðè÷åñêîé èíòåðïðåòàöèåé ìåòîäà. Ìû áóäåì îïèðàòüñÿ íà åùå îäíó èíòåðïîëÿöèîííóþ èíòåðïðåòàöèþ ìåòîäà Íüþòîíà. Èìåÿ xk , îïðåäåëèì xk+1 êàê åäèíñòâåííûé êîðåíü èíòåðïîëÿöèîííîãî ïîëèíîìà Ýðìèòà H (x) = f (xk ) + f ′ (xk ) (x − xk ). Ëåãêî ïðîâåðèòü, ÷òî îí âûðàæàåòñÿ îðìóëîé (17.4.3). Áóäåì ñ÷èòàòü, ÷òî
f ∈ C 2 è f ′ (z) 6= 0,
(17.5.4)
è ðàññìîòðèì ñëåäóþùèå äâà ðàâåíñòâà: f ′′ (ξk ) 2
(ïîãðåøíîñòü ýðìèòîâîé èíòåðïîëÿöèè), ′ (òîæäåñòâî H (xk+1) − H (z) = f (xk ) (xk+1 − z) Ëàãðàíæà).
f (z) − H (z) =
(z − xk )2
Îòñþäà ïîëó÷àåì (f (z) = H (xk+1) = 0)
ek+1 = − 17.6
f ′′ (ξk ) 2 e , 2 f ′ (xk ) k
(17.5.5)
ek ≡ z − xk .
Ñõîäèìîñòü ìåòîäà Íüþòîíà
Âàæíûé âûâîä: åñëè f óäîâëåòâîðÿåò óñëîâèÿì (17.5.4) è ìåòîä ìåòîä Íüþòîíà äëÿ f ñõîäèòñÿ , òî îí ñõîäèòñÿ êâàäðàòè÷íî. Ïî îïðåäåëåíèþ, ïîñëåäîâàòåëüíîñòü xk ñõîäèòñÿ ê z ñ ïîðÿäêîì p, åñëè ek+1 lim sup | p | ≤ c < +∞. ek k → ∞
Ïðè p = 1 ñõîäèìîñòü íàçûâàåòñÿ ëèíåéíîé; ïðè p > 1 ñâåðõëèíåéíîé; ïðè p = 2 êâàäðàòè÷íîé. Óñëîâèå f ′ (z) 6= 0 îçíà÷àåò, ÷òî êîðåíü z ÿâëÿåòñÿ ïðîñòûì.  îáùåì ñëó÷àå, êîðåíü z íàçûâàåòñÿ êîðíåì êðàòíîñòè m, åñëè f (j) (z) = 0 ïðè 0 ≤ j ≤ m − 1 è f (m) (z) 6= 0. Ìåòîä Íüþòîíà ìîæåò ñõîäèòüñÿ è äëÿ êðàòíîãî êîðíÿ, íî ñõîäèìîñòü íå îáÿçàíà áûòü êâàäðàòè÷íîé. Íàïðèìåð, äëÿ f (x) = x2 èìååì ek+1 = ek /2, òî åñòü ñõîäèìîñòü ëèíåéíàÿ. Òåîðåìà 17.6.1
ïîëîæèì, ÷òî
Ïóñòü z ïðîñòîé êîðåíü óðàâíåíèÿ f (x) = 0, è ïðåä-
f ∈ C 2 [z − δ, z + δ],
f ′ (x) 6= 0 ïðè x ∈ [z − δ, z + δ],
γ ≡ max |f ′′ (x)| / |x−z| ≤ δ
min |f ′ (x)| = 6 0.
|x−z| ≤ δ
Ôèêñèðóåì ëþáîå 0 < ε < min{δ, γ −1}. Òîãäà ìåòîä Íüþòîíà ñõîäèòñÿ äëÿ ëþáîãî íà÷àëüíîãî ïðèáëèæåíèÿ x0 ∈ [z − ε, z + ε] è äëÿ âñåõ k âûïîëíÿþòñÿ ñëåäóþùèå íåðàâåíñòâà:
(a) |ek+1| ≤ γ |ek |2 ; Äîêàçàòåëüñòâî.
äåëåíèÿ γ ïîëó÷àåì
2k
(b) |ek | ≤ γ −1 (γ |e0 |)2 .
Ïóñòü xk ∈ [z − ε, z + ε]. Òîãäà â ñèëó (17.5.5) è îïðå-
|ek+1| ≤ γ |ek |2 ≤ (γ ε) ε ≤ ε
⇒
xk+1 ∈ [z − ε, z + ε].
Èòàê, (a) èìååò ìåñòî äëÿ âñåõ k . Óìíîæèâ îáå åãî ÷àñòè íà γ è ïîëîæèâ k dk ≡ γ |ek+1|), íàõîäèì dk+1 ≤ d2k ⇒ dk ≤ d20 . Ñîãëàñíî óñëîâèÿì íà íà÷àëüíîå ïðèáëèæåíèå, d0 < 1 ⇒ ek → 0. 2 Ñëåäñòâèå 17.6.1
 óñëîâèÿõ òåîðåìû 17.6.1 ek+1 f ′′ (z) lim = − ′ . k → ∞ e2k 2 f (z)
17.7
Âñþäó Íüþòîí
Ìåòîä Íüþòîíà ïðèìåíÿåòñÿ ÷àùå, ÷åì ìîæíî áû äóìàòü: îí ïîìîãàåò äåëèòü ÷èñëà íà êîìïüþòåðå. Îïåðàöèÿ c = a/b îáû÷íî âûïîëíÿåòñÿ â äâà ïðèåìà: (1) z = 1/b, (2) c = a · z. Ïðè ýòîì z âû÷èñëÿåòñÿ ïî ìåòîäó Íüþòîíà êàê êîðåíü óðàâíåíèÿ
1 − 1 = 0. xa Âàæíî, ÷òî áåðåòñÿ èìåííî òàêîå óðàâíåíèå äëÿ íåãî íüþòîíîâû èòåðàöèè íå òðåáóþò îïåðàöèé äåëåíèÿ: xk+1 = xk − 17.8
( xk1 a − 1) −
1 a x2k
= 2 xk − a x2k .
Ìíîãîìåðíîå îáîáùåíèå
Ìåòîä Íüþòîíà ëåãêî ïåðåíåñòè íà ñëó÷àé, êîãäà òðåáóåòñÿ ðåøèòü ñèñòåìó íåëèíåéíûõ óðàâíåíèé âèäà f (x) = 0, f1 (x1, . . . , xn) = 0, ... ⇔ x, f (x) ∈ Rn , fn (x1, . . . , xn) = 0. f : Rn → Rn .
 ýòîì ñëó÷àå 1/f ′ (xk ) çàìåíÿåòñÿ ìàòðèöåé, îáðàòíîé ê ÿêîáèàíó îòîáðàæåíèÿ f â òî÷êå xk :
xk+1 = xk − [f ′ (xk )]−1 f (xk ).
(17.8.6)
Ïóñòü z ðåøåíèå óðàâíåíèÿ f (x) = 0, è ïðåäïîëîæèì, ÷òî â çàìêíóòîì øàðå {x : ||x − z||∞ ≤ δ} ÿêîáèàí îòîáðàæåíèÿ f : Rn → Rn ñóùåñòâóåò, ÿâëÿåòñÿ íåâûðîæäåííûì, è äëÿ ëþáûõ x, y èç ýòîãî øàðà Òåîðåìà 17.8.1
||f ′ (x) − f ′ (y)||∞ ≤ c ||x − y||∞ , Ïóñòü γ ≡ c
max
||z−x||∞ ≤δ
c > 0 (óñëîâèå Ëèïøèöà).
||[f ′ (x)]−1||∞ è 0 < ε < min{δ, γ −1}. Òîãäà äëÿ ëþ-
áîãî íà÷àëüíîãî ïðèáëèæåíèÿ x0 ∈ {x : ||x − z||∞ ≤ ε} ìåòîä Íüþòîíà ñõîäèòñÿ è äëÿ ïîãðàøíîñòåé ek ≡ z − xk âûïîëíÿþòñÿ ñëåäóþùèå íåðàâåíñòâà:
(a) ||ek+1 ||∞ ≤ γ ||ek ||2∞ ;
2k
(b) ||ek ||∞ ≤ γ −1 (γ ||e0 ||∞ )2 .
Åñëè ÿêîáèàí íåïðåðûâåí íà îòðåçêå, ñîåäèíÿþùåì òî÷êè x, y ∈ R , òî â ñèëó òîæäåñòâà Ëàãðàíæà íà ýòîì îòðåçêå íàéäóòñÿ òî÷êè ξ1 , . . . , ξn òàêèå, ÷òî ∂fn (ξ1 ) ∂f1 (ξ1 ) ... ∂xn ∂x1 ⇒ ... f (x) − f (y) = Jk (x − y), Jk = . . . . . . ∂f1 (ξn ) n (ξn ) . . . ∂f∂x ∂x1 n
Äîêàçàòåëüñòâî. n
ek+1
= = =
ek − [f ′ (xk )]−1 (f (z) − f (xk )) ek − [f ′ (xk )]−1 Jk ek [f ′ (xk )]−1 (f ′ (xk ) − Jk ) ek ⇒ (a).
Ñîãëàñíî óñëîâèþ Ëèïøèöà,
||f ′ (xk ) − Jk ||∞ ≤ c max ||xk − ξj ||∞ ≤ c ||xk − z||∞ . 1≤j≤n
Ñëåäîâàòåëüíî, åñëè ||z − xk ||∞ ≤ ε, òî ||z − xk+1 ||∞ ≤ (γ ε) ε ≤ ε. Çíàÿ, ÷òî (a) èìååò ìåñòî äëÿ êàæäîãî k , ìû íåìåäëåííî ïîëó÷àåì (b). 2 17.9
Ïðÿìàÿ è îáðàòíàÿ èíòåðïîëÿöèÿ
Èíòåðïîëÿöèîííàÿ òðàêòîâêà ìåòîäà Íüþòîíà èíòåðåñíà òåì, ÷òî ïîäñêàçûâàåò îáùèé ìåòîä ïîñòðîåíèÿ èòåðàöèîííûõ àëãîðèòìîâ. Ïðÿìàÿ èíòåðïîëÿöèÿ. Èìåÿ òî÷êè xk , xk−1 , . . . , xk−m, ìû ìîæåì ïîñòðîèòü èíòåðïîëÿöèîííûé ïîëèíîì L (x) ñòåïåíè m è â êà÷åñòâå xk+1 âçÿòü îäèí èç åãî êîðíåé.  ñëó÷àå ïîïàðíî ðàçëè÷íûõ òî÷åê ýòî áóäåò ïîëèíîì Ëàãðàíæà, â ñëó÷àå êðàòíûõ òî÷åê (êàê â ìåòîäå Íüþòîíà) ïîëèíîì Ýðìèòà. ×òîáû óñïåøíî ðåàëèçîâàòü ýòó èäåþ, íóæíî èìåòü õîðîøèé ìåòîä îòáîðà ïîäõîäÿùåãî êîðíÿ ïîëèíîìà L (x). Îáðàòíàÿ èíòåðïîëÿöèÿ. Èìåÿ òî÷êè xk , xk−1 , . . . , xk−m è çíà÷åíèÿ yk , yk−1 , . . . , yk−m óíêöèè f (x) â ýòèõ òî÷êàõ, ìû ìîæåì ïîñòðîèòü ïîëèíîì P (y) ñòåïåíè m, èíòåðïîëèðóþùèé â òî÷êàõ yk , yk−1 , . . . , yk−m çíà÷åíèÿ îáðàòíîé óíêöèè f −1 (y) (ò.å. xk , xk−1, . . . , xk−m). Ïîñëå ýòîãî åñòåñòâåííî âçÿòü xk+1 = P (0).  ñëó÷àå ïîïàðíî ðàçëè÷íûõ çíà÷åíèé yk , yk−1 , . . . , yk−m ñòðîèòñÿ ïîëèíîì Ëàãðàíæà, â ïðîòèâíîì ñëó÷àå ïîëèíîì Ýðìèòà. Èçâåñòíîå íàì ïðåäñòàâëåíèå ïîãðåøíîñòè ëàãðàíæåâîé è ýðìèòîâîé èíòåðïîëÿöèè äàåò åñòåñòâåííóþ îñíîâó äëÿ àíàëèçà òàêèõ ìåòîäîâ. Òåîðåòè÷åñêè ìîæíî ïîëó÷èòü ìåòîä ñ ëþáûì ïîðÿäêîì ñõîäèìîñòè.
17.10
Ìåòîä ñåêóùèõ
Ïðÿìàÿ è îáðàòíàÿ ëàãðàíæåâà èíòåðïîëÿöèÿ ïîëèíîìîì ñòåïåíè 1 ïðèâîäÿò ê îäíîìó è òîìó æå ìåòîäó ìåòîäó ñåêóùèõ. Èìåÿ ðàçíûå òî÷êè xk−1 è xk , ñòðîèì èíòåðïîëÿöèîííûé ïîëèíîì Ëàãðàíæà x − xk−1 x − xk + f (xk ) L (x) = f (xk−1) xk−1 − xk xk − xk−1 è íàõîäèì åãî åäèíñòâåííûé êîðåíü:
xk+1 = xk − f (xk )
xk − xk−1 . f (xk ) − f (xk−1)
(17.10.7)
 òî æå âðåìÿ, èìåÿ ðàçíûå çíà÷åíèÿ f (xk−1) è f (xk ) è èíòåðïîëèðóÿ îáðàòíóþ óíêöèþ, íàõîäèì
P (y) = xk−1
y − f (xk ) y − f (xk−1) + xk . f (xk−1) − f (xk ) f (xk ) − f (xk−1)
Ëåãêî ïðîâåðèòü, ÷òî P (0) = xk+1 . Ïóñòü z èñêîìûé êîðåíü è ek ≡ z − xk . Ïóñòü f ∈ C 2 . Äëÿ îäíîãî øàãà ìåòîäà ñåêóùèõ ïîëó÷àåì òàêèå ñîîòíîøåíèÿ:
f (z) − L (z) L (xk+1) − L (z)
= =
f ′′ (ξk ) (z − xk ) (z − xk−1), 2 f (xk )−f (xk−1 (xk+1 − z) = xk −xk−1
ek+1 17.11
f ′ (ζk ) (xk+1 − z).
f ′′ (ξk ) = − ek ek−1 . 2 f ′ (ζk )
⇒
(17.10.8)
×òî ëó÷øå: ìåòîä ñåêóùèõ èëè ìåòîä Íüþòîíà?
Ïóñòü f ∈ C 2 , f ′ (z) 6= 0, è ïðåäïîëîæèì, ÷òî ìåòîä ñåêóùèõ ñõîäèòñÿ. Òîãäà, ñîãëàñíî (17.10.8), äëÿ íåêîòîðîãî γ > 0 áóäåì èìåòü
|ek+1| ≤ γ |ek | |ek−1|. Ââåäåì âåëè÷èíû dk ≡ γ |ek | è ïðåäïîëîæèì, ÷òî d0 ≤ d < 1, d1 ≤ d < 1. Òîãäà d2 ≤ d1 d0 ≤ d2 , d3 ≤ d2 d1 ≤ d5 , è òàê äàëåå.  îáùåì ñëó÷àå, î÷åâèäíî, dk ≤ dφk , (17.11.9)
ãäå
φ0 = φ1 = 1; φk = φk−1 + φk−2 ,
k = 2, 3, . . . .
(17.11.10)
×èñëà φk , îïðåäåëÿåìûå ðåêóððåíòíûì ñîîòíîøåíèåì (17.11.10), íàçûâàþòñÿ ÷èñëàìè Ôèáîíà÷÷è. Ëåãêî ïðîâåðÿåòñÿ, ÷òî φk
√ !k+1 1 1+ 5 − = √ 2 5
√ !k+1 1− 5 2
⇒
φk
√ !k 1 + 5 . = O 2
k
Äëÿ ïîãðåøíîñòåé â ìåòîäå Íüþòîíà ñïðàâåäëèâà îöåíêà âèäà d2 . Ïîñêîëüêó √ 1+ 5 ≈ 1.618 < 2, 2 ïðèõîäèì ê âûâîäó, ÷òî ìåòîä Íüþòîíà ñõîäèòñÿ áûñòðåå. Îäíàêî, íà îäíîé èòåðàöèè îí òðåáóåò äâîéíîé ðàáîòû: íóæíî âû÷èñëèòü çíà÷åíèå óíêöèè è çíà÷åíèå ïðîèçâîäíîé. Ïîýòîìó ñ òî÷êè çðåíèÿ îáùèõ âû÷èñëèòåëüíûõ çàòðàò ìåòîä Íüþòîíà óñòóïàåò ìåòîäó ñåêóùèõ. Çàäà÷è
1. Ïóñòü F ∈ C 1 [z − δ, z + δ], ãäå z åäèíñòâåííàÿ íåïîäâèæíàÿ òî÷êà äëÿ F . Ìîæåò ëè ìåòîä ïðîñòîé èòåðàöèè ñõîäèòüñÿ ê z , åñëè |F ′ (z)| = 1? Ìîæåò ëè îí ðàñõîäèòüñÿ â ýòîì ñëó÷àå? 2. Ïóñòü îòîáðàæåíèå F : Rn → Rn èìååò åäèíñòâåííóþ íåïîäâèæíóþ òî÷êó z = F (z) è íåïðåðûâíî äè åðåíöèðóåìî â íåêîòîðîé åå îêðåñòíîñòè. Äîêàæèòå, ÷òî åñëè âñå ñîáñòâåííûå çíà÷åíèÿ åãî ÿêîáèàíà â òî÷êå z ïî ìîäóëþ áîëüøå 1, òî ìåòîä ïðîñòîé èòåðàöèè ðàñõîäèòñÿ. 3. Îòîáðàæåíèå F : Rn → Rn èìååò åäèíñòâåííóþ íåïîäâèæíóþ òî÷êó z = F (z) è íåïðåðûâíî äè åðåíöèðóåìî â íåêîòîðîé åå îêðåñòíîñòè. Èçâåñòíî, ÷òî õîòÿ áû îäíî ñîáñòâåííîå çíà÷åíèå ÿêîáèàíà F ′ (z) ïî ìîäóëþ áîëüøå 1. Ìîæåò ëè ìåòîä ïðîñòîé èòåðàöèè ñõîäèòüñÿ äëÿ âñåõ íà÷àëüíûõ ïðèáëèæåíèé x0 , äîñòàòî÷íî áëèçêèõ ê z ? 4. Âûÿñíèòü ñõîäèìîñòü ìåòîäà ïðîñòîé èòåðàöèè ïðè ðàçëè÷íûõ íà÷àëüíûõ ïðèáëèæåíèÿõ äëÿ ñëåäóþùèõ óðàâíåíèé:
(1) x = e2x − 1;
(2) x + ln x =
1 ; 2
(3) x = tg x.
5.  ïîëíîì ìåòðè÷åñêîì ïðîñòðàíñòâå M ñ ðàññòîÿíèåì ρ(x, y) çàäàíî îòîáðàæåíèå f : M → M ñ íåïîäâèæíîé òî÷êîé z è ñâîéñòâîì
ρ(f (x), f (y)) ≤ ρ(x, y)/(1 + ρ(x, y)) ∀ x, y ∈ M.
Äîêàæèòå, ÷òî ïðîñòûå èòåðàöèè xk+1 = f (xk ) ñõîäÿòñÿ ê z .
6. Ïðîâåðüòå, ÷òî z = [1, 1, 1]⊤ îäíî èç ðåøåíèé óðàâíåíèÿ f (x) = 0, ãäå f : R3 → R3 èìååò âèä x1x32 + x2x3 − x41 − 1 f (x) = x2 + x22 + x3 − 3 . x2 x3 − 1 Áóäåò ëè ìåòîä Íüþòîíà ñõîäèòüñÿ ê z ïðè äîñòàòî÷íî áëèçêèõ ê z íà÷àëüíûõ ïðèáëèæåíèÿõ?
7. Ñîãëàñíî ïðåäàíèþ, ìåòîä Íüþòîíà âïåðâûå áûë îïðîáîâàí íà óðàâíåíèè f (x) ≡ x5 − 2x − 5 = 0. Âîçüìèòå x0 = 2 è ïðîâåäèòå äâå èòåðàöèè ïî ìåòîäó Íüþòîíà. Äîêàæèòå, ÷òî óðàâíåíèå èìååò åäèíñòâåííûé âåùåñòâåííûé êîðåíü z è ÷òî |z − x2 | ≤ 10−4. 8. Ïðèâåäèòå ïðèìåð áåñêîíå÷íî äè åðåíöèðóåìîé óíêöèè f , äëÿ êîòîðîé óðàâíåíèå f (x) = 0 èìååò êîðåíü z òàêîé, ÷òî ìåòîä Íüþòîíà íå ñõîäèòñÿ ê z äëÿ âñåõ x0 6= z . 9. Ïðè 1 ≤ a ≤ 4 ðåøàåòñÿ óðàâíåíèå x2 = a.  êà÷åñòâå íà÷àëüíîãî ñòåïåíè ïðèáëèæåíèÿ x0 áåðåòñÿ çíà÷åíèå p1 (a), ãäå p1 (t) ïîëèíîì √ 1 íàèëó÷øåãî ðàâíîìåðíîãî ïðèáëèæåíèÿ ê óíêöèè t íà îòðåçêå [1, 4], à çàòåì ïðèìåíÿåòñÿ ìåòîä Íüþòîíà. Íàéäèòå âèä ïîëèíîìà √ p1 (t) è äîêàæèòå, ÷òî |x4 − a| ≤ 21 10−25. 10. Ôóíêöèÿ f ∈ C p+1 èìååò èçîëèðîâàííûé íóëü z êðàòíîñòè p. àññìîòðèòå èòåðàöèîííûé ïðîöåññ
f (xk ) f ′ (xk ) è äîêàæèòå, ÷òî åñëè îí ñõîäèòñÿ ê z , òî ñõîäèìîñòü êâàäðàòè÷íàÿ è äëÿ ïîãðåøíîñòåé ek ≡ z − xk ñïðàâåäëèâî ïðåäåëüíîå ñîîòíîøåíèå xk+1 = xk − p
ek+1 f (p+1) (z) lim = . k → ∞ e2k p (p + 1) f (p) (z)
11. Ìàòðèöà A ∈ Rn×n íåâûðîæäåííàÿ, à îáðàòíàÿ äëÿ íåå ìàòðèöà èùåòñÿ êàê ðåøåíèå óðàâíåíèÿ A − X −1 = 0. Äîêàæèòå, ÷òî èòåðàöèè ìåòîäà Íüþòîíà â äàííîì ñëó÷àå èìåþò âèä
Xk+1 = 2Xk − Xk AXk .
Äîêàæèòå, ÷òî Xk → A−1 êâàäðàòè÷íî äëÿ ëþáîé íà÷àëüíîé ìàòðèöû X0 òàêîé, ÷òî ρ(I − AX0) < 1 (ρ(·) ñïåêòðàëüíûé ðàäèóñ).
ëàâà 18
18.1
Ìåòîäû ìèíèìèçàöèè
Òðóäíî (ïðàêòè÷åñêè íåâîçìîæíî) ïðèäóìàòü ðàçóìíóþ çàäà÷ó, êîòîðàÿ íå ñâîäèëàñü áû ê ïîèñêó ìèíèìóìà óíêöèîíàëà â çàäàííîé îáëàñòè. Ïî ýòîé ïðè÷èíå ðàçðàáîòêà è àíàëèç ìåòîäîâ äëÿ ýêñòðåìàëüíûõ çàäà÷ ýòî îáøèðíåéøàÿ îáëàñòü, èç êîòîðîé ìû âîçüìåì äëÿ îáñóæäåíèÿ ëèøü íåêîòîðûå ïîëåçíûå èäåè è ìåòîäû. Åñëè ìèíèìàëüíîå çíà÷åíèå óíêöèîíàëà f ∈ C 2 äîñòèãàåòñÿ â òî÷êå z , òî f (z + δ) = f (z) + O (||δ||2 ) (ïî÷åìó?). Îòñþäà çàêëþ÷àåì, ÷òî åñëè ìèíèìàëüíîå çíà÷åíèå f âû÷èñëÿåòñÿ ñ òî÷íîñòüþ ε, òî ñîîòâåòñòâóþùàÿ ìèíèìèçèðóþùàÿ òî÷êà z âû÷èñ√ ëÿåòñÿ, â ëó÷øåì ñëó÷àå, ñ òî÷íîñòüþ ïîðÿäêà ε. 18.2
Ñíîâà Íüþòîí
Ïóñòü x = [x1 , . . . , xn]T ∈ Rn è óíêöèîíàë f (x) ∈ C 2 èìååò åäèíñòâåííóþ òî÷êó ìèíèìóìà z . Òîãäà z óäîâëåòâîðÿåò óðàâíåíèþ ∂f (x) ∂x1
f ′ (x) ≡ grad f (x) ≡ . . . = 0 . ∂f (x) ∂xn
Óðàâíåíèå grad f (x) = 0 ìîæíî ðåøàòü, íàïðèìåð, ïî ìåòîäó Íüþòîíà:
xk+1 = xk − [f ′′(xk )]−1 grad f (xk ),
(18.2.1)
ãäå f ′′(x) = [grad f (x)]′ ÿêîáèàí îòîáðàæåíèÿ grad f (x), íàçûâàåìûé òàêæå ãåññèàíîì. ×òîáû ïîëó÷èòü òåîðèþ ñõîäèìîñòè äëÿ ìåòîäà (18.2.1), äîñòàòî÷íî âñïîìíèòü òî, ÷òî ìû óæå çíàåì î ìåòîäå Íüþòîíà äëÿ ðåøåíèÿ íåëèíåéíûõ óðàâíåíèé. 179
18.3
åëàêñàöèÿ
 ìåòîäå Íüþòîíà, ê ñîæàëåíèþ, íóæíî âû÷èñëÿòü âòîðûå ïðîèçâîäíûå è íóæíî èìåòü õîðîøåå íà÷àëüíîå ïðèáëèæåíèå. Ñóùåñòâóþò ìåòîäû, â êîòîðûõ ýòîãî íå òðåáóåòñÿ. Ïîèñê ìèíèìóìà ìîæíî óïîäîáèòü ñïóñêó ñ ãîðû, êîãäà â êàæäîé òî÷êå xk íóæíî âûáðàòü íàïðàâëåíèå ñïóñêà pk è âåëè÷èíó øàãà ìàëûé øàã çàñòàâëÿåò äâèãàòüñÿ ìåäëåííî, à ñëèøêîì áîëüøîé øàã îïàñåí, òàê êàê ìîæåò çàâåñòè íà ñêëîí ñîñåäíåé ãîðû. Ïîëîæèì (18.3.2)
xk+1 = xk + αk pk , ãäå pk äîëæíî áûòü íàïðàâëåíèåì óáûâàíèÿ óíêöèîíàëà f ∈ C 1 :
(pk , −f ′(xk )) ≥ c ||pk ||2 ||f ′ (xk )||2,
c > 0,
à αk ≥ 0 äîëæíî óäîâëåòâîðÿòü óñëîâèþ ðåëàêñàöèè :
f (xk + αk pk ) ≤ f (xk ) − τ αk (pk , −f ′(xk )),
(18.3.3)
(18.3.4)
ãäå 0 < τ < 1 êîíñòàíòà óñëîâèÿ ðåëàêñàöèè. Óñëîâèå (18.3.3) íàâåÿíî àêòîì ëîêàëüíîãî ñêîðåéøåãî óáûâàíèÿ óíêöèîíàëà â íàïðàâëåíèè àíòèãðàäèåíòà. Îíî âûïîëíÿåòñÿ î÷åâèäíûì îáðàçîì ïðè pk = −f ′ (xk ).  ýòîì ñëó÷àå ìåòîä íàçûâàåòñÿ ãðàäèåíòíûì ìåòîäîì. 18.4
Äðîáëåíèå øàãà
Åñëè (18.3.3) âûïîëíåíî, f ∈ C 1 è f ′ (xk ) 6= 0, òî óñëîâèå (18.3.4) èìååò ìåñòî äëÿ âñåõ äîñòàòî÷íî ìàëûõ α = αk (äîêàæèòå!). Ïîýòîìó ïîäõîäÿùåå α âñåãäà ìîæíî íàéòè ïóòåì äðîáëåíèÿ øàãà : áåðåì α = 1, ïðîâåðÿåì óñëîâèå ðåëàêñàöèè, åñëè îíî íå âûïîëíåíî, áåðåì α/2, è òàê äàëåå äî âûïîëíåíèÿ óñëîâèÿ ðåëàêñàöèè. Åñëè æå ïðè α = 1 óñëîâèå ðåëàêñàöèè âûïîëíåíî, òî ïðîâåðÿåì åãî äëÿ 2α; â ñëó÷àå âûïîëíåíèÿ çàìåíÿåì α íà 2α è ïîâòîðÿåì ïðîâåðêó äëÿ óäâîåííîãî çíà÷åíèÿ, â ïðîòèâíîì ñëó÷àå çàâåðøàåì ïðîöåäóðó âûáîðà.
Ïóñòü f ∈ C 2 (Rn ) è ||f ′′(x)||2 ≤ M ∀ x ∈ Rn , è ïóñòü â ëþáîé òî÷êå xk íàïðàâëåíèå ñïóñêà pk óäîâëåòâîðÿåò óñëîâèþ (18.3.3) ñ îäíèì è òåì æå c > 0. Òîãäà â ëþáîé òî÷êå x óñëîâèå ðåëàêñàöèè ñ êîíñòàíòîé τ âûïîëíÿåòñÿ äëÿ âñåõ 0 ≤ αk ≤ α ˆ , ãäå
Ëåììà 18.4.1
2 c ||f ′(xk )||2 . α ˆ = (1 − τ ) M ||pk ||2
(18.4.5)
Äîêàçàòåëüñòâî.
Ñîãëàñíî îðìóëå Òåéëîðà ñ îñòàòî÷íûì ÷ëåíîì â
îðìå Ëàãðàíæà,
α2 ′′ f (xk + α pk ) = f (xk ) + α (f (xk ), pk ) + (f (ξ) pk , pk ) 2 ′
f (xk ) − f (xk + α pk )
≥ +
τ α(−f ′ (xk ), pk ) α (−f ′(xk ), pk ){1 − τ −
⇒
α M ||pk || 2 c ||f ′ (xk )|| }.
Åñëè âûðàæåíèå â èãóðíûõ ñêîáêàõ íåîòðèöàòåëüíî, òî, îòáðîñèâ åãî, ìû è ïîëó÷àåì óñëîâèå ðåëàêñàöèè. 2 Ñëåäñòâèå 18.4.1
Ïðè âûáîðå αk ïóòåì äðîáëåíèÿ øàãà
αk
c ||f ′ (xk )|| ≥ (1 − τ ) . M ||pk ||
(18.4.6)
Ïóñòü ìåòîä (18.3.2) (18.3.4) ñ ðåëàêñàöèåé ïóòåì äðîáëåíèÿ øàãà ïðèìåíÿåòñÿ äëÿ ìèíèìèçàöèè îãðàíè÷åííîãî ñíèçó óíêöèîíàëà f â óñëîâèÿõ ëåììû 18.4.1. Òîãäà äëÿ ëþáîãî íà÷àëüíîãî ïðèáëèæåíèÿ x0 ∈ Rn Òåîðåìà 18.4.1
lim ||f ′ (xk )||2 = 0.
k → ∞
Äîêàçàòåëüñòâî.
(18.4.7)
 ñèëó óñëîâèÿ ðåëàêñàöèè è ñëåäñòâèÿ 18.4.1
f (xk ) − f (xk+1) ≥ τ αk (−f ′(xk ), pk ) ≥
τ (1 − τ ) 2 ′ c ||f (xk )||2 . 2
Ëåâàÿ ÷àñòü ñòðåìèòñÿ ê íóëþ, òàê êàê ïîñëåäîâàòåëüíîñòü f (xk ) ìîíîòîííî óáûâàåò è îãðàíè÷åíà ñíèçó. 2 Êëþ÷åâóþ ðîëü èãðàåò ïîâåäåíèå îòíîñèòåëüíîãî øàãà α ||pk ||/||fk′ ||. Óñëîâèå ||f ′′ ||2 ≤ M íóæíî ëèøü äëÿ òîãî, ÷òîáû îáåñïå÷èòü åãî îãðàíè÷åííîñòü ñíèçó. Åñëè ïîñëåäîâàòåëüíîñòü xk èëè êàêàÿ-ëèáî åå ïîäïîñëåäîâàòåëüíîñòü ñõîäèòñÿ ê z , òî z òî÷êà ìèíèìóìà f (ïî÷åìó?). 18.5
Ñóùåñòâîâàíèå è åäèíñòâåííîñòü òî÷êè ìèíèìóìà
Ïóñòü f ∈ C 2 (Rn) è ñóùåñòâóþò ïîëîæèòåëüíûå êîíñòàíòû m è M òàêèå, ÷òî äëÿ âñåõ x, y ∈ Rn Ëåììà 18.5.1
m ||y||2 ≤ (f ′′(x) y, y) ≤ M ||y||2 . Òîãäà f èìååò åäèíñòâåííóþ òî÷êó ìèíèìóìà z .
(18.5.8)
Åñëè óíêöèîíàë f íå îãðàíè÷åí ñíèçó, òî ñóùåñòâóåò ïîñëåäîâàòåëüíîñòü òî÷åê yk òàêàÿ, ÷òî f (yk ) → −∞. Ïðè ýòîì ïîñëåäîâàòåëüíîñòü yk íå ìîæåò áûòü îãðàíè÷åííîé (ïî÷åìó?). Ó÷èòûâàÿ (18.5.8), ïîëó÷àåì
Äîêàçàòåëüñòâî.
f (yk ) ≥ f (y1 ) − ||f ′ (y1)|| ||yk − y1|| +
m ||yk − y1||2 . 2
(∗)
Îòñþäà f (yk ) → +∞. Ïîëó÷åííîå ïðîòèâîðå÷èå îçíà÷àåò îãðàíè÷åííîñòü f ñíèçó.  ñèëó (∗) ìíîæåñòâî {x : f (x) ≤ f (x0 )} êîìïàêòíî (ïî÷åìó?). Ïîýòîìó òî÷êà ìèíèìóìà ñóùåñòâóåò. ×òîáû äîêàçàòü åäèíñòâåííîñòü, ïðåäïîëîæèì, ÷òî òî÷êè y1 è yk òî÷êè ìèíèìóìà. Ïîñêîëüêó f ′ (y1 ) = 0, èç (∗) ïîëó÷àåì ||yk − y1 || = 0 ⇒ y1 = yk . 2 18.6
ðàäèåíòíûé ìåòîä ñ äðîáëåíèåì øàãà
Äëÿ êðàòêîñòè áóäåì ïèñàòü fk ≡ f (xk ), fk′ ≡ f ′ (xk ) è ïðèìåì îáîçíà÷åíèÿ εk ≡ fk − f (z), ek ≡ xk − z, ãäå z òî÷êà ìèíèìóìà äëÿ f .  ãðàäèåíòíîì ìåòîäå pk = −fk
xk+1 = xk − αk fk′ ,
fk+1 ≤ fk − τ αk ||fk′ ||.
⇒
(18.6.9)
 óñëîâèÿõ ëåììû (18.5.1) ãðàäèåíòíûé ìåòîä ñ äðîáëåíèåì øàãà ñõîäèòñÿ äëÿ ëþáîãî íà÷àëüíîãî ïðèáëèæåíèÿ x0 ñî ñêîðîñòüþ ãåîìåòðè÷åñêîé ïðîãðåññèè:
Òåîðåìà 18.6.1
εk ≤ q k ε0 ,
||ek || = O (q k/2),
(18.6.10)
0 < q < 1.
 ñèëó ñëåäñòâèÿ 18.4.1 äëÿ ñëó÷àÿ pk = −fk′ èìååì ≥ α ≡ (1 − τ )/M, è ïîýòîìó, â ñîîòâåòñòâèè ñ óñëîâèåì ðåëàêñàöèè,
Äîêàçàòåëüñòâî.
αk
εk+1 ≤ εk − τ α ||fk′ ||2 . ×òîáû ïîëó÷èòü íåðàâåíñòâî âèäà εk+1 ≤ q εk , äîñòàòî÷íî èìåòü íåðàâåíñòâî âèäà ||fk′ ||2 ≥ γ εk (18.6.11)
ïðè óñëîâèè 0 < q ≡ 1 − τ α γ < 1. Ëåãêî âûâåñòè (18.6.11) ñ êîíñòàíòîé γ = 2 m2 /M . Â ñàìîì äåëå,
(fk′ , ek ) = (fk′ − f ′(z), ek ) = (f ′′(ξ) ek , ek )
⇒
2
m ||ek || ≤
||fk′ || ||ek ||
||fk′ ||2
⇒
2 m2 εk . ≥ m ||ek || ≥ M 2
2
Áîëåå òîíêèé ðåçóëüòàò: (18.6.11) ñïðàâåäëèâî ïðè γ = òåëüíî, çàïèøåì ðÿä Òåéëîðà â òî÷êå z :
f (z) = fk + (fk′ , −ek ) + εk ≤
1 ′′ (f (ζ) ek , ek ) 2
||fk′ ||2 m ||fk′ ||2 m − ||ek ||2 ≤ − εk m 2 m M
Èòàê, εk+1 ≤ q εk ïðè q = 1 −
τ (1−τ ) M
m2 M
+ m. Äåéñòâè-
⇒
⇒ ||fk′ ||2 ≥ (
m2 + m) εk . M
2
(m M + m). 2
Ìû äîêàçàëè, ÷òî q < 1. Íî çàìåòèì, ê ñîæàëåíèþ, ÷òî âûáîð αk ïóòåì äåëåíèÿ ïîïîëàì íå äàåò âîçìîæíîñòè ïîëó÷èòü q < 12 (äîêàæèòå!). 18.7
Ìåòîä ñêîðåéøåãî ñïóñêà
Ìåòîä ñêîðåéøåãî ñïóñêà ýòî ãðàäèåíòíûé ìåòîä, â êîòîðîì αk ìèíèìèçèðóåò f (xk − α fk′ ) ïî âñåì α ∈ R.  óñëîâèÿõ ëåììû (18.5.1) îí ñõîäèòñÿ ñî ñêîðîñòüþ ãåîìåòðè÷åñêîé ïðîãðåññèè (äîêàæèòå!).
Åñëè ìåòîä ñêîðåéøåãî ñïóñêà ïðèìåíÿåòñÿ äëÿ ìèíèìèçàöèè êâàäðàòè÷íîãî óíêöèîíàëà Òåîðåìà 18.7.1
f (x) ≡
1 (A x, x) − (b, x), 2
A = AT ∈ Rn×n , b ∈ Rn ,
(18.7.12)
ïðè óñëîâèè
0 < m ||x||2 ≤ (Ax, x) ≤ M ||x||2
∀ x 6= 0,
òî ñïðàâåäëèâà îöåíêà
εk+1 ≤
M −m M +m
2
εk .
(18.7.13)
 äàííîì ñëó÷àå f ′ (x) = Ax − b (ïðîâåðüòå) è òî÷êà ìèíèìóìà èìååò âèä z = A−1 b. Ëåãêî ïîêàçàòü òàêæå, ÷òî Äîêàçàòåëüñòâî.
f (x) − f (z) =
1 (A (x − z), x − z). 2
àññìîòðèì ãðàäèåíòíûé ìåòîä ñ ïîñòîÿííûì øàãîì α:
xk+1 = xk − α (A xk − b)
⇒
ek+1 = (I − α A) ek .
 òî æå âðåìÿ (ïðîâåðüòå!)
εk+1 =
1 2
(A ek+1, ek+1)
=
1 2 1 2
≤
||I − α A||22 (A ek , ek ) = ||I − α A||22 εk .
=
(A (I − α A) ek , (I − α A) ek )
((I − α A) A ek , (I − α A) ek )
Ïîíÿòíî, ÷òî (ïî÷åìó?)
||I − α A||2 = max{|1 − α m|, |1 − α M|}. 2 −m Âûðàæåíèå â ïðàâîé ÷àñòè ìèíèìàëüíî ïðè α = M +m è ðàâíî M M +m (ïðîâåðüòå). Ïîýòîìó åñëè ìû âîçüìåì èìåííî òàêîå α, òî äëÿ ãðàäèåíòíîãî ìåòîäà ñ ïîñòîÿííûì øàãîì áóäåò ñïðàâåäëèâî íåðàâåíñòâî (18.7.13). Åñëè ãðàäèåíòíûé ìåòîä ñ øàãîì α è ìåòîä ñêîðåéøåãî ñïóñêà ñòàðòóþò ñ îäíîé è òîé æå òî÷êè xk , òî, î÷åâèäíî, ïîñëåäíèé èìååò ìåíüøóþ ïîãðåøíîñòü εk+1. 2 Ìåíåå òðèâèàëüíûì ñïîñîáîì îöåíêà (18.7.13) áûëà ïîëó÷åíà â 1947 ã. Ë. Â. Êàíòîðîâè÷åì (ñì., íàïðèìåð, êíèãó Ä. Ê. è Â. Í. Ôàääåâûõ Âû÷èñëèòåëüíûå ìåòîäû ëèíåéíîé àëãåáðû).
18.8
Ñëîæíîñòü ïðîñòîãî âû÷èñëåíèÿ
Íåäîñòàòêîì ãðàäèåíòíîãî ìåòîäà ÿâëÿåòñÿ, êîíå÷íî, òî, ÷òî îí òðåáóåò âû÷èñëÿòü ãðàäèåíòû. Êàæåòñÿ, ÷òî âû÷èñëåíèå ãðàäèåíòà â îäíîé òî÷êå äîëæíî áûòü ìèíèìóì â n ðàç äîðîæå êàæäîãî âû÷èñëåíèÿ çíà÷åíèÿ óíêöèîíàëà â îäíîé òî÷êå.  íà÷àëå 80-õ Áàóð è Øòðàññåí 1 ïîêàçàëè, ÷òî ýòî íå òàê. Õîòÿ ñòîèìîñòü ãðàäèåíòà è âûøå ñòîèìîñòè âû÷èñëåíèÿ óíêöèîíàëà, íî ëèøü â êîíå÷íîå, íå çàâèñÿùåå îò n, ÷èñëî ðàç! Äëÿ ñòðîãîé îðìóëèðîâêè íóæíî, êîíå÷íî, òî÷íî îïðåäåëèòü ïîíÿòèå ñòîèìîñòè âû÷èñëåíèÿ. Ïóñòü èìååòñÿ íåêîòîðûé çàïàñ O ýëåìåíòàðíûõ áèíàðíûõ îïåðàöèé, òî åñòü îïåðàöèé âèäà w = a (u, v) (íàïðèìåð, w = u + v èëè w = uv ), è ïðåäïîëîæèì, ÷òî çàäàíà ïîñëåäîâàòåëüíîñòü
yi = xi,
1 ≤ i ≤ n;
yi = ai (y i′ , y i′′ ),
n + 1 ≤ i ≤ n + m,
ãäå 1 ≤ i′ ≤ i′′ < i äëÿ âñåõ n + 1 ≤ i ≤ n + m. Òàêóþ ïîñëåäîâàòåëüíîñòü áóäåì íàçûâàòü ïðîñòûì âû÷èñëåíèåì. ×èñëî m íàçûâàåòñÿ ñëîæíîñòüþ (ñòîèìîñòüþ) ïðîñòîãî âû÷èñëåíèÿ. 1 W.Baur, V.Strassen, The omplexity of partial derivatives, Theor. Comput. S i. 22: 317330 (1983).
Ïðîñòîå âû÷èñëåíèå ìîæíî ðàññìàòðèâàòü êàê àëãîðèòì âû÷èñëåíèÿ ëþáîé èç âåëè÷èí yn+k , k = 1, . . . , m èëè ëþáîé èõ ñîâîêóïíîñòè. Åñëè ýëåìåíòàðíûå îïåðàöèè èìåþò âèä
ai (u, v) = ci u + di v, ãäå ci , di èêñèðîâàííûå êîíñòàíòû, òî ñîîòâåòñòâóþùåå ïðîñòîå âû÷èñëåíèå íàçûâàåòñÿ ëèíåéíûì âû÷èñëåíèåì. 18.9
Áûñòðîå âû÷èñëåíèå ãðàäèåíòà
Ïîòðåáóåì, ÷òîáû O ñîäåðæàëî îïåðàöèè u ± v , u v è ÷òîáû äëÿ ëþáîé îïåðàöèè a (u, v) ∈ O ñóùåñòâîâàëè ïðîñòûå âû÷èñëåíèÿ ñëîæíîñòè ∂a (u, v) è íå âûøå c, âû÷èñëÿþùèå ÷àñòíûå ïðîèçâîäíûå a′ (u, v) ≡ ∂u a′′ (u, v) ≡ ∂a ∂v (u, v). Òîãäà èìååò ìåñòî
Åñëè óíêöèîíàë f îò n ïåðåìåííûõ îïðåäåëÿåòñÿ ïðîñòûì âû÷èñëåíèåì ñëîæíîñòè m, òî n êîìïîíåíò ãðàäèåíòà îò f è çíà÷åíèå f â îäíîé òî÷êå îïðåäåëÿþòñÿ îáùèì ïðîñòûì âû÷èñëåíèåì ñëîæíîñòè íå âûøå (5 + 2 c) m.
Òåîðåìà 18.9.1
Äîêàçàòåëüñòâî.
Ââåäåì âåëè÷èíû
uij ≡
∂yi ∂xj
è çàìåòèì, ÷òî ïðè ëþáîì èêñèðîâàííîì j âåëè÷èíû uij óäîâëåòâîðÿþò ñëåäóþùèì ëèíåéíûì óðàâíåíèÿì:
u1j = · · · = uj−1 j = 0, ujj = 1, uj+1 j = · · · = unj = 0;
−a′i ui′ j − a′′i ui′′ j + uij = 0,
n + 1 ≤ i ≤ n + m.
Çàïèøåì èõ â ìàòðè÷íîì âèäå:
V U = Z, In 0n×m V = ∈ R(n+m)×(n+m) , V21 V22 I n U = [uij ] ∈ R(n+m)×n , Z = ∈ R(n+m)×n . 0m×n
Ìàòðèöà V ÿâëÿåòñÿ íèæíåé òðåóãîëüíîé ñ åäèíèöàìè íà ãëàâíîé äèàãîíàëè; åå ïåðâûå n ñòðîê òå æå, ÷òî â åäèíè÷íîé ìàòðèöå; â êàæäîé i-ñòðîêå ïðè i > n íå áîëåå äâóõ íåíóëåâûõ ýëåìåíòîâ, êðîìå ýëåìåíòà ãëàâíîé äèàãîíàëè. Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî f (x) = yn+m . Òîãäà, î÷åâèäíî, grad f = [un+m 1, . . . , un+m n]. Ïîýòîìó íàñ èíòåðåñóþò ëèøü ïåðâûå n êîìïîíåíò ïîñëåäíåé ñòðîêè ìàòðèöû V −1 , èëè, ïåðâûå n êîìïîíåíò ðåøåíèÿ ëèíåéíîé ñèñòåìû
[un+m 1 . . . un+m n, . . . ] V = [0 . . . 0 1]. Ýòî ðåøåíèå íàõîäèòñÿ îáðàòíîé ïîäñòàíîâêîé, êîòîðàÿ ðåàëèçóåòñÿ ñ ïîìîùüþ óìíîæåíèé è ñëîæåíèé. ×èñëî óìíîæåíèé ñîâïàäàåò ñ ÷èñëîì ñëîæåíèé è ðàâíî ÷èñëó íåíóëåâûõ ýëåìåíòîâ ïîä äèàãîíàëüþ. Ê ýòèì îïåðàöèÿì íóæíî äîáàâèòü îïåðàöèè äëÿ âû÷èñëåíèÿ çíà÷åíèé ui′ , ui′′ , a′i (ui′ , ui′′ ), a′′ (ui′ , ui′′ ). 2 Òåîðåìà ëåãêî îáîáùàåòñÿ íà ñëó÷àé, êîãäà ýëåìåíòàðíûå îïåðàöèè èìåþò p àðãóìåíòîâ: âìåñòî (5 + 2 c) m áóäåì èìåòü (1 + (2 + c) p) m (ïî÷åìó?). Äîêàçàòåëüñòâî òåîðåìû äàåò èäåþ êîíâåðòèðîâàíèÿ ïðîãðàììû, âû÷èñëÿþùåé çíà÷åíèå óíêöèîíàëà, â ïðîãðàììó, âû÷èñëÿþùóþ îäíîâðåìåííî çíà÷åíèå óíêöèîíàëà è åãî ãðàäèåíòà. 18.10
Ïîëåçíûå èäåè
Ïî-âèäèìîìó, êàæäûé ìåòîä ìèíèìèçàöèè èìååò ñâîé íåäîñòàòîê. Îáëàäàÿ ãëîáàëüíîé ñõîäèìîñòüþ, ãðàäèåíòíûå ìåòîäû ñõîäÿòñÿ äîâîëüíî ìåäëåííî. Âîò, íàïðèìåð, êàðòèíà ñõîäèìîñòè ìåòîäà ñêîðåéøåãî ñïóñêà ïðè ìèíèìèçàöèè êâàäðàòè÷íîãî óíêöèîíàëà â R2 : x2
... ...... ........ .... .. .. .. ... . ..................................................................................... .. ........................................ .............. ..................................................................................................................................................... . . . ........ . . . . . . . . . . . . . . . . .......... ...... ....... ............ ........ ..................................................................................................................................................................................................................................... . .. . . . . . . . . . . . . . . ......................... ....... ........ ........... .......................... .......... ............. . ..................... ...... ...................................................................................................................... . . . . . . . .... . . . .. . ... . . .. ..................................................................... .. ..... ..... ...... ....... .. .. ............................. .. . ... . .. ........ .. . .......................................................................................... ............................................................................... . . . . . . . . . . . . . . . . . . . . . . . . .................. .............. . ... ............... ... ...... ..... .... ..... .... ....... ................ . ..... ............................................................................. ............................................................................................................................... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . ... .. .. ... ... .... . .. ..... .... ..... .... ..... .. .. .......... ........... ......... .......... ................................................................................................................................... . .. . . .... . ......... ........ ......... ......... . .. . .. . ................ ............ .... .... ....... .......................... .............. .............. ........ ......... ........ ......... ............................................................................................................................... ........ ....... ......... ......... ... .. .. .. .... ................. .. .. .. .. .................. .......... ........ ....... ....... ... ....... ....... ...... ...... ............. ........................... ................................................... ................................ ... ......... ......... ......... ......... .......... .......... .......... .......... ...... ...... ....... ....... . . . .. .. .. ...... ...... ...... ....... ...... .......... ......... ........ ....... ............................................................................ ............................. ............. ......................... ............. ............ . .......... .......... ........ . ..... . ...... .......... .......... ......... . . . . . . .. . . . .. .. . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....................... . . . . . ... .... ........ ....... ........ ....... . .... ... ................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. . . . . . . . . . . . . . ... ......... . . .. . .. .. . .. .............. .. .... .... ...... . ........... .......... ......... .......... ...................... ............. .... . ... ............... ......................................................................................................................... .......................................................................................... .... ... .. ..... ..... ....................................... ... ......... ...... ..... ....... ...... ...... ... ... ..... ... .............. ............. ........... ........... .......................... ...................... ..... .... ............................................................. .............................................................................................................. ... ..... ........ .. .... ... . .. ...... .... . ..... .... ...... ........... ........................................................................................................................................................................................................................... .... . . ........................... . . . ......... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...... . . . . . . . . . . . . ..................................................... ..... ............... ........ ........ .. ........................................................................................................................................................................ ............... .... ......................................... ...................... ............................................................................ .... .. .. .. .. .. .
èñóíîê 18.1.
x1
Èòåðàöèè ìåòîäà ñêîðåéøåãî ñïóñêà.
Åñëè ëèíèè óðîâíÿ äëÿ f ñèëüíî âûòÿíóòû, òî íàïðàâëåíèå íà èñêîìóþ òî÷êó ìèíèìóìà ìîæåò áûòü ïî÷òè ïåðïåíäèêóëÿðíî ãðàäèåíòó. Ìîæíî
ïîïûòàòüñÿ âûáèðàòü áîëåå ðàçóìíûå íàïðàâëåíèÿ ñïóñêà. Íàïðèìåð, ïî äâóì òî÷êàì xk−1 è xk ìîæíî íàéòè íåêîòîðóþ íîâóþ òî÷êó yk = xk +(xk − xk−1) βk è çàòåì ñäåëàòü øàã â íàïðàâëåíèè àíòèãðàäèåíòà â ýòîé òî÷êå: xk+1 = xk − αk f ′ (yk ). Ýòà èäåÿ ïðèâîäèò ê òàê íàçûâàåìîìó îâðàæíîìó ìåòîäó. Äðóãàÿ èäåÿ èñêàòü xk+1 â âèäå
xk+1 = xk + α f ′ (xk ) + β (xk − xk−1), âûáèðàÿ α è β òàê, ÷òîáû ìèíèìèçèðîâàòü f (xk + α f ′(xk ) + β (xk − xk−1 )). Âìåñòî îäíîìåðíîé ìèíèìèçàöèè â ãðàäèåíòíûõ ìåòîäàõ ìû ïîëó÷àåì äâóìåðíóþ ìèíèìèçàöèþ íà êàæäîì øàãå. Ýòà èäåÿ âåäåò ê ìåòîäàì ñîïðÿæåííûõ íàïðàâëåíèé. Ïî÷òè î÷åâèäíàÿ èäåÿ îòòàëêèâàÿñü îò ìåòîäà Íüþòîíà, ïîëó÷èòü ìåòîä áåç âòîðûõ ïðîèçâîäíûõ ïóòåì êàêîé-ëèáî èõ àïïðîêñèìàöèè. Ýòà èäåÿ ìîæåò ïðèâåñòè ê êâàçèíüþòîíîâñêèì ìåòîäàì. Íàêîíåö, îòìåòèì èäåþ ãëîáàëèçàöèè ñõîäèìîñòè: ýòî çíàêîìàÿ íàì èäåÿ ðåëàêñàöèè.  ÷àñòíîñòè, ðåëàêñàöèÿ âîçìîæíà â ìåòîäå Íüþòîíà:
xk+1 = xk − αk [f ′′(xk ]−1 f ′ (xk ). Åñëè âûáèðàòü αk èç óñëîâèÿ ðåëàêñàöèè òèïà (18.3.4) ñ êîíñòàíòîé 0 < τ < 1/2, òî â óñëîâèÿõ ëåììû 18.5.1 ìîæíî ïîëó÷èòü àêò ñõîäèìîñòè (ñâåðõëèíåéíîé) íåçàâèñèìî îò íà÷àëüíîãî ïðèáëèæåíèÿ. Åñëè ïîòðåáîâàòü äîïîëíèòåëüíî, ÷òîáû ãåññèàí óäîâëåòâîðÿë óñëîâèþ Ëèïøèöà
||f ′′(x) − f ′′(y)|| ≤ L ||x − y|| ∀ x, y ∈ Rn , òî äëÿ ëþáîãî íà÷àëüíîãî ïðèáëèæåíèÿ ìîæíî ãàðàíòèðîâàòü êâàäðàòè÷íóþ ñõîäèìîñòü (ïîïðîáóéòå ýòî ñäåëàòü!). 18.11
Êâàçèíüþòîíîâñêèå ìåòîäû
Ïóñòü èùåòñÿ ìèíèìóì óíêöèîíàëà f (x), x ∈ Rn , è ïðåäïîëîæèì, ÷òî â òî÷êàõ x0 , x1 , ..., xk íàéäåíû çíà÷åíèÿ ãðàäèåíòà f0′ , f1′ , ..., fk′ . Ïðèìåì îáîçíà÷åíèÿ ′ ci = xi − xi−1, di = fi′ − fi−1 , 1 ≤ i ≤ k.
 ñëó÷àå êâàäðàòè÷íîãî óíêöèîíàëà
1 f (x) = (Ax, x) − (b, x) + c, 2
A ∈ Rn×n ,
b ∈ Rn ,
c ∈ R, (18.11.14)
íàõîäèì f ′(x) = Ax − b è f ′′(x) = A. Ïîýòîìó ïðè x = xi
f ′′(xi) ci = di ,
1 ≤ i ≤ k.
 îáùåì ñëó÷àå ìîæíî îæèäàòü, ÷òî ýòè ðàâåíñòâà âûïîëíÿþòñÿ ïðèáëèæåííî. Ïóñòü xk+1 ïîëó÷àåòñÿ êàê ðåøåíèå çàäà÷è îäíîìåðíîé ìèíèìèçàöèè â íàïðàâëåíèè âåêòîðà Hk−1 fk′ :
xk+1 = xk − αk Hk−1fk′ ,
′ ck+1 = xk+1 − xk ⊥ fk+1 ,
(18.11.15)
ãäå Hk ðàññìàòðèâàåòñÿ êàê ïðèáëèæåíèå ê ãåññèàíó fk′′ â òî÷êå xk , óäîâëåòâîðÿåò êâàçèíüþòîíîâñêîìó óñëîâèþ
Hk ck = dk
(18.11.16)
è ñòðîèòñÿ ñ ïîìîùüþ ìàëîðàíãîâîé ïîïðàâêè óæå èçâåñòíîé ìàòðèöû Hk−1. Îáû÷íî èñïîëüçóþò ïîïðàâêè ðàíãà 2, ãàðàíòèðóþùèå ñèììåòðèþ ìàòðèö Hk . Íàèáîëåå ïðîñòîé è ý åêòèâíîé ïðèçíàåòñÿ ñëåäóþùàÿ îðìóëà ÁðîéäåíàÔëåò÷åðà îëüä àðáàØàííî:
Hk−1ck c⊤ dk d⊤ k Hk−1 Hk = Hk−1 − + ⊤k. ⊤ ck Hk−1ck dk ck
(18.11.17)
Âèä îðìóëû î÷åâèäíî äàåò íàì ñâîéñòâî (18.11.16). Ïî îïðåäåëåíèþ, H0 = I .
Åñëè ìàòðèöà Hk−1 ïîëîæèòåëüíî îïðåäåëåííàÿ, òî äëÿ ïîëîæèòåëüíîé îïðåäåëåííîñòè Hk íåîáõîäèìî è äîñòàòî÷íî, ÷òîáû d⊤ k ck > 0.
Ëåììà 18.11.1
Äîêàçàòåëüñòâî.
Ëåãêî ïðîâåðèòü, ÷òî ñèììåòðè÷íàÿ ìàòðèöà
M = Hk−1 −
Hk−1ck c⊤ k Hk−1 c⊤ k Hk−1 ck
èìååò ñîáñòâåííîå çíà÷åíèå 0 (äëÿ ñîáñòâåííîãî âåêòîðà ck ).  ñèëó ñîîòíîøåíèé ðàçäåëåíèÿ 0 åñòü ìèíèìàëüíîå ñîáñòâåííîå çíà÷åíèå M ⇒ îòðèöàòåëüíîñòü ìèíèìàëüíîãî ñîáñòâåííîãî çíà÷åíèÿ Hk ðàâíîñèëüíà óñëîâèþ d⊤ k ck < 0. 2
18.12
Ñõîäèìîñòü äëÿ êâàäðàòè÷íûõ óíêöèîíàëîâ
Óñëîâèå (18.11.16) íå îçíà÷àåò, ÷òî Hk ci = di ïðè i < k . Îäíàêî, äëÿ êâàäðàòè÷íûõ óíêöèîíàëîâ ýòî âåðíî!
Ïóñòü òî÷êè x0 , x1 , ..., xk ïîëó÷åíû ñîãëàñíî ïðåäïèñàíèÿì (18.11.15) è (18.11.16) äëÿ êâàäðàòè÷íîãî óíêöèîíàëà (18.11.14) è fi′ 6= 0 ïðè 0 ≤ i ≤ k − 1. Òîãäà Òåîðåìà 18.12.1
(Hk−1ci , cj ) = 0, Hk ci = di ,
i 6= j,
1 ≤ i, j ≤ k,
1 ≤ i ≤ k.
Ñîãëàñíî óñëîâèþ òåîðåìû αi 6= 0 ïðè 0 ≤ i ≤ k − 1. Äëÿ k = 2 íàõîäèì c1 ⊥f1′ è H1 c2 = −α1 f1′ ⇒ (H1 c1 , c2 ) = 0. Êðîìå òîãî, (d2, c1) = (Ac2 , c1) = (c2 , Ac1) = (c2 , H1c1 ) = 0 ⇒ H2 c1 = d1 . ′ ′ Äàëåå ïî èíäóêöèè. Êàê è ðàíüøå, ck−1 ⊥fk−1 è Hk−1 ck = −αk−1 fk−1 . Ïîýòîìó (Hk−1ck , ck−1) = 0. Êðîìå òîãî, ïðè i ≤ k − 2 Äîêàçàòåëüñòâî.
′ (Hk−1ck , ci) = −αk−1(dk−1 + fk−2 , ci)
αk−1 (Hk−2ck−1, ci ) = 0, αk−2 òàê êàê îáà ñêàëÿðíûõ ïðîèçâåäåíèÿ â ïðàâîé ÷àñòè ðàâíû íóëþ â ñèëó èíäóêòèâíîãî ïðåäïîëîæåíèÿ. Îòñþäà óæå ëåãêî ñëåäóþò ðàâåíñòâà Hk ci = di, 1 ≤ i ≤ k . 2 = −αk−1(Hk−1ck−1, ci ) +
Êâàçèíüþòîíîâñêèé ìåòîä (18.11.15), (18.11.17) â ïðèìåíåíèè ê êâàäðàòè÷íîìó óíêöèîíàëó íàõîäèò òî÷êó ìèíèìóìà íå áîëåå ÷åì çà n øàãîâ.
Ñëåäñòâèå 18.12.1
Äîêàçàòåëüñòâî.
Îò ïðîòèâíîãî, ïóñòü fi′ 6= 0 ïðè 0 ≤ i ≤ n. Òîãäà
(Hn ci , cj ) = (Aci, cj ) = 0,
i 6= j,
1 ≤ i, j ≤ n + 1.
 ñèëó ïîëîæèòåëüíîé îïðåäåëåííîñòè A, âåêòîðû c1 , ..., cn+1 îáðàçóþò ëèíåéíî íåçàâèìóþ ñèñòåìó, ÷òî íåâîçìîæíî. 2 Ïðè ÷èñëåííîé ðåàëèçàöèè ìàòðèöû Hk â ÿâíîì âèäå ñòðîèòü íå íóæíî. Âìåñòî ýòîãî ìîæíî ïîëó÷àòü ñðàçó ìàòðèöó Hk−1 (îíà ëåãêî ïîëó÷àåòñÿ −1 ñ ïîìîùüþ ñèììåòðè÷íîé ïîïðàâêè ðàíãà 2). èç Hk−1 Îäíàêî, ëó÷øå èñïîëüçîâàòü ðàçëîæåíèÿ Õîëåöêîãî äëÿ ìàòðèö Hk : îíè ñòîëü æå ý åêòèâíî ïåðåñ÷èòûâàþòñÿ ïðè ïåðåõîäå îò Hk−1 ê Hk è, êðîìå òîãî, ïîçâîëÿþò åñòåñòâåííûì îáðàçîì ñëåäèòü çà ñîõðàíåíèåì ïîëîæèòåëüíîé îïðåäåëåííîñòè. Ïîñëåäíåå âàæíî: ïðè óòðàòå ïîëîæèòåëüíîé îïðåäåëåííîñòè òåðÿåòñÿ ñâÿçü ìàòðèö Hk ñ ãåññèàíîì, òî åñòü âñÿ ðàáîòà ïî åãî ïðèáëèæåíèþ îêàçûâàåòñÿ íàïðàñíîé.
Çàäà÷è
1. Ïîêàæèòå, ÷òî ìåòîä ñêîðåéøåãî ñïóñêà â îáùåì ñëó÷àå íå ìîæåò ñõîäèòüñÿ áûñòðåå, ÷åì ñî ñêîðîñòüþ ãåîìåòðè÷åñêîé ïðîãðåññèè. 2. Ïóñòü äëÿ f âûïîëíåíû óñëîâèÿ ëåììû 18.5.1. Äîêàæèòå, ÷òî ìåòîä ñêîðåéøåãî ñïóñêà ñõîäèòñÿ ê òî÷êå ìèíèìóìà ñî ñêîðîñòüþ ãåîìåòðè÷åñêîé ïðîãðåññèè äëÿ ëþáîãî íà÷àëüíîãî ïðèáëèæåíèÿ. Âåðíî ëè, ÷òî
εk+1 ≤
M −m M +m
2
εk ?
3. Ìíîæåñòâî ýëåìåíòàðíûõ îïåðàöèé ñîäåðæèò ëèøü îïåðàöèè ñëîæåíèÿ, âû÷èòàíèÿ, óìíîæåíèÿ è äåëåíèÿ. Äîêàæèòå, ÷òî åñëè çíà÷åíèå óíêöèîíàëà f (x) â òî÷êå x íàõîäèòñÿ ïðîñòûì âû÷èñëåíèåì ñëîæíîñòè m, òî f (x) è grad f (x) â òî÷êå x ìîæíî íàéòè ñ ïîìîùüþ íåêîòîðîãî ïðîñòîãî âû÷èñëåíèÿ ñëîæíîñòè íå âûøå 5 m. 4. Ìíîæåñòâî ýëåìåíòàðíûõ îïåðàöèé ñîäåðæèò ëèøü îïåðàöèè ñëîæåíèÿ, âû÷èòàíèÿ è óìíîæåíèÿ. Äîêàæèòå, ÷òî åñëè çíà÷åíèå óíêöèîíàëà f (x) â òî÷êå x íàõîäèòñÿ ïðîñòûì âû÷èñëåíèåì ñëîæíîñòè m, òî f (x) è grad f (x) â òî÷êå x ìîæíî íàéòè ñ ïîìîùüþ íåêîòîðîãî ïðîñòîãî âû÷èñëåíèÿ ñëîæíîñòè íå âûøå 3 m. 5. Ëèíåéíîå âû÷èñëåíèå ñëîæíîñòè m íàõîäèò êîìïîíåíòû âåêòîðà y = A x, A ∈ Rk×n . Âåðíî ëè, ÷òî êîìïîíåíòû âåêòîðà z = AT y ìîãóò áûòü íàéäåíû ñ ïîìîùüþ íåêîòîðîãî ëèíåéíîãî âû÷èñëåíèÿ ñëîæíîñòè m ? 6. Ïðåäïîëîæèì, ÷òî A è B = A − uu⊤ + vv ⊤ âåùåñòâåííûå ñèììåòðè÷íûå ïîëîæèòåëüíî îïðåäåëåííûå n × n-ìàòðèöû è u, v ∈ Rn . Äîêàæèòå, ÷òî ðàçëîæåíèå Õîëåöêîãî äëÿ B ìîæíî ïîëó÷èòü èç ðàçëîæåíèÿ Õîëåöêîãî äëÿ A ñ ïîìîùüþ O(n2 ) îïåðàöèé.
ëàâà 19
19.1
Êâàäðàòè÷íûå óíêöèîíàëû è ëèíåéíûå ñèñòåìû
Åñëè f (x) = 21 (A x, x) − Re (b, x), A = A∗ ∈ Cn×n , òî îãðàíè÷åííîñòü óíêöèîíàëà f ñíèçó ðàâíîñèëüíà íåîòðèöàòåëüíîé îïðåäåëåííîñòè ìàòðèöû A (äîêàæèòå!). Áóäåì ñ÷èòàòü, ÷òî A > 0.  ýòîì ñëó÷àå ñèñòåìà A x = b èìååò åäèíñòâåííîå ðåøåíèå z , è ëåãêî ïðîâåðèòü, ÷òî äëÿ ëþáîãî x
1 (A (x − z), x − z) ≡ E (x). 2 Îòñþäà ÿñíî, ÷òî z åäèíñòâåííàÿ òî÷êà ìèíèìóìà äëÿ f (x). ⇒ Ëþáîé ìåòîä ìèíèìèçàöèè êâàäðàòè÷íîãî óíêöèîíàëà f ìîæåò èñïîëüçîâàòüñÿ êàê ìåòîä ðåøåíèÿ ëèíåéíîé ñèñòåìû ñ ýðìèòîâîé ïîëîæèòåëüíî îïðåäåëåííîé ìàòðèöåé êîý èöèåíòîâ. Ôóíêöèîíàë E (x) ÷àñòî íàçûâàþò óíêöèîíàëîì îøèáêè äëÿ ñèñòåìû A x = b. Îí îòëè÷àåòñÿ îò f ëèøü íà êîíñòàíòó. Ïîýòîìó ëþáîé ìåòîä ìèíèìèçàöèè f îäíîâðåìåííî ìèíèìèçèðóåò E . Åñëè A ïðîèçâîëüíàÿ íåâûðîæäåííàÿ ìàòðèöà (íå îáÿçàòåëüíî ýðìèòîâà), òî ðåøåíèå ñèñòåìû A x = b ìîæíî ïîëó÷èòü, ìèíèìèçèðóÿ êâàäðàòè÷íûé óíêöèîíàë r (x) = ||b − A x||22 . Åãî íàçûâàþò óíêöèîíàëîì íåâÿçêè äëÿ ñèñòåìû A x = b. f (x) − f (z) =
19.2
Ìèíèìèçàöèÿ è ïðîåêöèîííûå ìåòîäû
Ïîäîáíî ìåòîäó ñêîðåéøåãî ñïóñêà, ìíîãèå ìåòîäû ìèíèìèçàöèè f òðåáóþò íà êàæäîé èòåðàöèè ðåøàòü ëîêàëüíóþ çàäà÷ó ìèíèìèçàöèè. Ëîêàëüíàÿ ìèíèìèçàöèÿ ìîæåò ïðîâîäèòüñÿ íà íåêîòîðîì ïîäïðîñòðàíñòâå èêñèðîâàííîé ðàçìåðíîñòè (êàê â ìåòîäå ñêîðåéøåãî ñïóñêà). Îäíàêî, ÷åì øèðå ïîäïðîñòðàíñòâî, òåì áëèæå ìîæíî ïîäîáðàòüñÿ ê èñêîìîìó ðåøåíèþ. Ïóñòü â Cn ñòðîèòñÿ öåïî÷êà ïîäïðîñòðàíñòâ
L1 ⊂ L2 ⊂ . . . ⊂ Lk ⊂ Cn , 191
dim Li = i,
i = 1, . . . , k,
è íà k -é èòåðàöèè íàõîäèòñÿ xk = argmin{f (x) : x ∈ Lk }. Äëÿ îãðàíè÷åííîãî ñíèçó óíêöèîíàëà f òàêîé ïîäõîä äàåò ðåøåíèå íå ïîçæå, ÷åì íà n-é èòåðàöèè (ïî÷åìó?). àçâèâàÿ îïèñàííóþ èäåþ, ìû ìîæåì ñòðîèòü ðàçëè÷íûå ïðîåêöèîííûå ìåòîäû. Ïóñòü òðåáóåòñÿ ðåøèòü ñèñòåìó A x = b. Êàêèì-ëèáî ñïîñîáîì ââåäåì ïðîåêòîðû Qk , Pk ðàíãà k è ïðåäïîëîæèì, ÷òî ïðîåêöèîííîå óðàâíåíèå (Qk A Pk ) x = Qk b, x = Pk x, èìååò åäèíñòâåííîå ðåøåíèå xk . Ìîæíî íàäåÿòüñÿ íà òî, ÷òî xk îêàæåòñÿ íåïëîõèì ïðèáëèæåíèåì ê x. Ïðîåêöèîííîå óðàâíåíèå ÷àñòî ÿâëÿåòñÿ ýêâèâàëåíòíîé îðìóëèðîâêîé çàäà÷è ìèíèìèçàöèè f íà ïîäïðîñòðàíñòâå Lk = im Lk . 19.3
Ïîäïðîñòðàíñòâà Êðûëîâà
Ïîäïðîñòðàíñòâà âèäà
Ki ≡ Ki (b, A) ≡ span {b, A b, . . . , Ai−1 b},
i = 1, 2, . . . ,
íàçûâàþòñÿ ïîäïðîñòðàíñòâàìè Êðûëîâà. Åñëè ìû õîòèì ðåøèòü ñèñòåìó A x = b, òî èäåÿ ìèíèìèçàöèè íà ïîäïðîñòðàíñòâàõ ìîæåò ïðèîáðåñòè òàêóþ îðìó:
xi = argmin {||b − A x||2 : x ∈ Ki },
i = 1, 2 , . . . .
(19.3.1)
Åñëè ìàòðèöà A íåâûðîæäåííàÿ, òî âåêòîðû xi îïðåäåëÿþòñÿ îäíîçíà÷íî (äîêàæèòå!). Ìåòîä, ïîëó÷àþùèé ïîñëåäîâàòåëüíîñòü xi, íàçûâàåòñÿ ìåòîäîì ìèíèìàëüíûõ íåâÿçîê. Ïî÷åìó ìåòîä ìèíèìàëüíûõ íåâÿçîê îáÿçàòåëüíî ïðèâåäåò ê ðåøåíèþ ñèñòåìû A x = b? àíî èëè ïîçäíî áóäåì èìåòü Ki = Ki+1 ⇒ A Ki ⊂ Ki . Ìàòðèöà A íåâûðîæäåííàÿ ⇒ A Ki = Ki ⇒ ïîñêîëüêó b ∈ Ki , äëÿ íåêîòîðîãî x ∈ Ki èìååì A x = b. Êîíêðåòíûå ðåàëèçàöèè ìåòîäà ìèíèìàëüíûõ íåâÿçîê ìû îáñóäèì ïîçæå. 19.4
Îïòèìàëüíûå ïîäïðîñòðàíñòâà
Ïóñòü ñèñòåìà A x = b ñ íåâûðîæäåííîé ìàòðèöåé A ðåøàåòñÿ ïóòåì ìèíèìèçàöèè íåâÿçêè íà ïîäïðîñòðàíñòâàõ. Êàê âûáèðàòü ïîäïðîñòðàíñòâà? àññìîòðèì ïðîèçâîëüíûé àëãîðèòì Φ ãåíåðàöèè ïîäïðîñòðàíñòâ Li:
Li+1 = Φ (b, Li , A Li).
Åñëè Li = span {p1 , . . . , pi }, òî íîâîå ïîäïðîñòðàíñòâî îïðåäåëÿåòñÿ âåêòîðîì pi+1 = φi+1 (b, p1 , . . . , pi, Ap1, . . . , Api). Ýòî îçíà÷àåò, ÷òî äëÿ ãåíåðàöèè íîâîãî ïîäïðîñòðàíñòâà äîñòàòî÷íî âûïîëíèòü îäíó îïåðàöèþ óìíîæåíèÿ ìàòðèöû A íà âåêòîð pi. åçóëüòàò ýòîé æå îïåðàöèè ìîæåò èñïîëüçîâàòüñÿ ïðè ìèíèìèçàöèè íåâÿçêè íà Li. Çà èêñèðîâàâ ε > 0, ñòîèìîñòü àëãîðèòìà Φ îïðåäåëèì òàêèì îáðàçîì:
m (Φ, A, b) ≡ min{i : min ||b − A y||2 ≤ ε}. y∈Li
Ïëîõîìó àëãîðèòìó Φ íå âîçáðàíÿåòñÿ èìåòü m (Φ, A, b) = +∞. Äëÿ èíäèâèäóàëüíîé ìàòðèöû è ïðàâîé ÷àñòè ëó÷øå òîò àëãîðèòì ãåíåðàöèè, êîòîðûé èìååò ìåíüøóþ ñòîèìîñòü. Íî îäèí è òîò æå àëãîðèòì ãåíåðàöèè îáû÷íî ïðèìåíÿåòñÿ ê ðàçíûì ìàòðèöàì, è î åãî îïòèìàëüíîñòè, ïî-âèäèìîìó, ñëåäóåò ñóäèòü ïî åãî ïîâåäåíèþ íà âñåõ èíòåðåñóþùèõ íàñ ìàòðèöàõ. Ïîä ñòîèìîñòüþ àëãîðèòìà Φ íà êëàññå ìàòðèö A ïîíèìàåòñÿ åãî ñòîèìîñòü â íàèõóäøåì ñëó÷àå:
m (Φ, b) ≡ sup m (Φ, A, b). A∈A
ˆ íàçûâàåòñÿ îïòèìàëüíûì íà êëàññå ìàòðèö A, åñëè Àëãîðèòì Φ ˆ b) ≤ m (Φ, b) ∀ Φ, ∀ b. m (Φ,
 êîíöå 1970-õ îòå÷åñòâåííûå ìàòåìàòèêè Íåìèðîâñêèé è Þäèí îáíàðóæèëè, ÷òî èí îðìàöèÿ î ëèíåéíîé ñèñòåìå, ñîäåðæàùàÿñÿ â ïîäïðîñòðàíñòâàõ Êðûëîâà, ÿâëÿåòñÿ ïî÷òè îïòèìàëüíîé ñ òî÷êè çðåíèÿ ëþáîãî ñïîñîáà åå èñïîëüçîâàíèÿ.  íàøèõ ðàññìîòðåíèÿõ ýòîò ñïîñîá èêñèðîâàí âïîëíå îïðåäåëåííûì îáðàçîì: èìåÿ ïîäïðîñòðàíñòâî (äðóãèìè ñëîâàìè, åãî áàçèñ), ìû íàõîäèì íà íåì ìèíèìàëüíîå çíà÷åíèå íåâÿçêè. 19.5
Îïòèìàëüíîñòü ïîäïðîñòðàíñòâ Êðûëîâà
Êëàññ ìàòðèö A íàçûâàåòñÿ óíèòàðíî èíâàðèàíòíûì, åñëè äëÿ âñÿêîé âõîäÿùåé â íåãî ìàòðèöû îí ñîäåðæèò âñå óíèòàðíî ïîäîáíûå åé ìàòðèöû: A ∈ A ⇒ Q∗AQ ∈ A äëÿ ëþáîé óíèòàðíîé ìàòðèöû Q. Àëãîðèòì K, ãåíåðèðóþùèé ïîäïðîñòðàíñòâà Êðûëîâà, ÿâëÿåòñÿ ïî÷òè îïòèìàëüíûì íà ëþáîì óíèòàðíî èíâàðèàíòíîì êëàññå ìàòðèö A â òîì ñìûñëå, ÷òî
m (K, b) ≤ 2 m (Φ, b) + 1 ∀ Φ, ∀ b. Ýòî ñðàçó æå âûòåêàåò èç ñëåäóþùåé òåîðåìû.
(19.5.2)
Äëÿ ëþáîé íåâûðîæäåííîé ìàòðèöû A è ëþáîãî àëãîðèòìà ãåíåðàöèè ïîäïðîñòðàíñòâ Φ ñóùåñòâóåò óíèòàðíàÿ ìàòðèöà Q òàêàÿ, ÷òî m (K, A, b) ≤ 2 m (Φ, Q∗ AQ, b) + 1. (19.5.3) Òåîðåìà 19.5.1
Ìû ïîñòðîèì óíèòàðíóþ ìàòðèöó Q òàêóþ, ÷òî äëÿ S = Q AQ ëèáî m ≡ m (Φ, S, b) = +∞, ëèáî
Äîêàçàòåëüñòâî. ∗
m (K, A, b) ≤ dim span {b, Lm , SLm },
(19.5.4)
ãäå Lm ïîäïðîñòðàíñòâî, ïîëó÷åííîå àëãîðèòìîì Φ äëÿ S . 1 àññìîòðèì îðòîíîðìèðîâàííûé áàçèñ v1 , . . . , vn , äëÿ êîòîðîãî span {v1, . . . , vi} = Ki (A, b) äî òåõ ïîð, ïîêà dim Ki = i. Èñïîëüçóÿ ïîäïðîñòðàíñòâà, ïîðîæäàåìûå àëãîðèòìîì Φ, ìû áóäåì ñòðîèòü íåêîòîðóþ ïîñëåäîâàòåëüíîñòü îðòîíîðìèðîâàííûõ âåêòîðîâ u1 , u2 , . . . è óíèòàðíûõ ìàòðèö Qi, ïðîèçâîëüíûõ âî âñåì, êðîìå óñëîâèé
Qi u j = v j ,
1 ≤ j ≤ r′ (i),
(19.5.5)
ãäå öåëî÷èñëåííàÿ íåóáûâàþùàÿ óíêöèÿ r′ (i) îïðåäåëÿåòñÿ íèæå. Ïîëîæèì r′ (1) = 1, Q1 = I è u1 = v1 . Ïðåäïîëîæèì, ÷òî êàêèì-òî îáðàçîì óæå îïðåäåëåíû ìàòðèöû Sj = Q∗j A Qj , 1 ≤ j ≤ i, òàêèå, ÷òî àëãîðèòì Φ ïîðîæäàåò äëÿ Sj ïîäïðîñòðàíñòâà Lj = span {p1 , . . . , pj } (âàæíî, ÷òî òå æå ïîäïðîñòðàíñòâà ïîëó÷àþòñÿ äëÿ Si ). àññìîòðèì ñëåäóþùèå ïîäïðîñòðàíñòâà:
Mi M′i+1
≡ ≡
span {b, Li , Si Li} = span {u1, . . . , ur (i) }, span {Mi, pi+1} = span {u1, . . . , ur′ (i+1)}.
Ïîëàãàåì, ÷òî pi+1 ãåíåðèðóåòñÿ àëãîðèòìîì Φ äëÿ Si . Ìàòðèöà Qi+1 îïðåäåëÿåòñÿ êàê ïðîèçâîëüíàÿ óíèòàðíàÿ ìàòðèöà, óäîâëåòâîðÿþùàÿ óñëîâèÿì (19.5.5). Òåïåðü ïðåäïîëîæèì, ÷òî ∃ y ∈ Lm : ||b − Sm y||2 ≤ ε. Ïî ïîñòðîåíèþ, Qm b = b è Lm ⊂ M′m. Ïîýòîìó
||b − Sm y||2 ≥ min′ ||b − A Qm u|| = u∈Mm
min ||b − A v||,
v∈Kr′ (m)
è ÷òîáû ïîëó÷èòü (19.5.4), îñòàåòñÿ çàìåòèòü, ÷òî r′ (m) ≤ dim Mm . Åñëè íè äëÿ êàêîãî m òî÷íîñòü ε äëÿ Sm íå äîñòèãàåòñÿ íà m-ì øàãå, òî ðàíî èëè ïîçäíî áóäåì èìåòü Qm = Qm+1 = . . . . Ïîýòîìó äëÿ Sm òî÷íîñòü ε íå äîñòèãàåòñÿ íè íà êàêîì øàãå ⇒ m (Φ, Sm , b) = +∞. 2 1 Ñõåìà ðàññóæäåíèÿ âçÿòà èç ðàáîòû: A.W.Chou, On the optimality of Krylov information,
Complexity,
3: 2640 (1987).
J. of
19.6
Ìåòîä ìèíèìàëüíûõ íåâÿçîê
×òîáû ðåøèòü ñèñòåìó Ax = b ñ íåâûðîæäåííîé ìàòðèöåé A, ìû âûáèðàåì (ïðîèçâîëüíîå) íà÷àëüíîå ïðèáëèæåíèå x0 è çàòåì àêòè÷åñêè ðåøàåì ðåäóöèðîâàííóþ ñèñòåìó Au = r0 , ãäå r0 = b − Ax0 , x = x0 + u. Ïîäïðîñòðàíñòâà Êðûëîâà ñòðîÿòñÿ äëÿ ðåäóöèðîâàííîé ñèñòåìû (â ïðåäïîëîæåíèè, ÷òî r0 6= 0). Ïóñòü xi = x0 + y , ãäå y ∈ Ki . Íåâÿçêà èìååò âèä ri = r0 − Ay , à åå äëèíà ìèíèìàëüíà, â ñèëó òåîðåìû Ïè àãîðà, â òîì è òîëüêî òîì ñëó÷àå, êîãäà
ri⊥AKi . Òàêèì îáðàçîì, äëÿ ðåàëèçàöèè i-ãî øàãà òðåáóåòñÿ îïóñòèòü ïåðïåíäèêóëÿð èç âåêòîðà r0 íà ïîäïðîñòðàíñòâî AKi . 2 Ïðîùå âñåãî ýòî ñäåëàòü, åñëè â äàííîì ïîäïðîñòðàíñòâå óæå íàéäåí îðòîãîíàëüíûé áàçèñ. åîìåòðè÷åñêàÿ ðåàëèçàöèÿ ìåòîäà ìèíèìàëüíûõ íåâÿçîê çàêëþ÷àåòñÿ â ïîñòðîåíèè ïîñëåäîâàòåëüíîñòè âåêòîðîâ q1 , q2 , ... òàêèì îáðàçîì, ÷òî q1 , ..., qi äàþò áàçèñ â ïîäïðîñòðàíñòâå Êðûëîâà Ki è ïðè ýòîì âåêòîðû p1 = Aq1 , ..., pi = Aqi îáðàçóþò îðòîãîíàëüíûé áàçèñ â ïîäïðîñòðàíñòâå AKi . Âåêòîð qi+1 ∈ / Ki äîëæåí îáëàäàòü ñëåäóþùèìè ñâîéñòâàìè:
qi+1 ∈ Ki+1,
pi+1 = Aqi+1⊥AKi.
Î÷åâèäíî, åãî ìîæíî ïîëó÷èòü ñ ïîìîùüþ ðàññìîòðåííîãî íàìè ðàíåå ïðîöåññà îðòîãîíàëèçàöèè, ïðèìåíåííîãî ê âåêòîðó p = Aq , ãäå q = Aqi. Çàìåòèì, ÷òî â ãåîìåòðè÷åñêîé ðåàëèçàöèè íóæíî õðàíèòü äâå ñèñòåìû âåêòîðîâ: q1 , ..., qi è p1 , ..., pi. Àëãåáðàè÷åñêàÿ ðåàëèçàöèÿ ìåòîäà ìèíèìàëüíûõ íåâÿçîê èñïîëüçóåò ëèøü îäíó ñèñòåìó âåêòîðîâ, îáðàçóþùèõ îðòîãîíàëüíûå áàçèñû â ïîäïðîñòðàíñòâàõ Ki . Îíà ïðåäëîæåíà â 1986 ã. Ñààäîì è Øóëüöåì. 3 Èìåííî ñ èõ ëåãêîé ðóêè çà ìåòîäîì çàêðåïèëàñü àááðåâèàòóðà GMRES (îáîáùåííûé ìåòîä ìèíèìàëüíûõ íåâÿçîê). Ïóñòü q1 = r0 /||r0 ||2 . ×òîáû ïîëó÷èòü îðòîíîðìèðîâàííûé áàçèñ q1 , . . . , qi+1 â Ki+1 = Ki+1 (r0, A), ïðîâîäèì îðòîãîíàëèçàöèþ âåêòîðà A qi ê âåêòîðàì q1 , . . . , qi . Åñëè Qi ≡ [q1 . . . qi] ∈ Cn×i, òî ïîëó÷àåì H i ˆ i, H ˆi = A Qi = Qi+1 H , 0 . . . 0 hi+1 i 2 Ìåòîä ìèíèìàëüíûõ íåâÿçîê â òàêîé èíòåðïðåòàöèè âïåðâûå îïèñàí â êíèãå: . È. Ìàð÷óê,
Þ. À. Êóçíåöîâ, Èòåðàöèîííûå ìåòîäû è êâàäðàòè÷íûå óíêöèîíàëû,
òåìàòèêè, Íîâîñèáèðñê, 1975, ñ. 4143.
Ìåòîäû âû÷èñëèòåëüíîé ìà-
3 Y.Saad, M.H.S hultz, GMRES: A generalized minimal residual algorithm for solving nonsymmetri linear
systems,
SIAM J. S ienti and Stat. Comp.
7: 856869 (1986).
ãäå Hi âåðõíÿÿ õåññåíáåðãîâà ìàòðèöà ïîðÿäêà i. ˆ i: Äàëåå ðàññìîòðèì QR-ðàçëîæåíèå ïðÿìîóãîëüíîé ìàòðèöû H
ˆ i = Ui Ri , H
Ri ∈ Ci×i.
Òîãäà ìèíèìóì íåâÿçêè ||r0 − AQiy||2 ïî âñåì y áóäåò äîñòèãàòüñÿ â òîì ñëó÷àå, åñëè y = yi óäîâëåòâîðÿåò óðàâíåíèþ (äîêàæèòå!)
Ri yi = zi ≡ ||r0 ||2 Ui∗ e1 ,
ãäå e1 = [1 0 . . . 0]T .
Ìàòðèöà Ri íåâûðîæäåííàÿ (ïî÷åìó?). Ñëåäîâàòåëüíî,
xi = x0 + Qi yi = x0 + Qi Ri−1 zi . Çàìåòèì, ÷òî õåññåíáåðãîâû ìàòðèöû Hi ÿâëÿþòñÿ âåäóùèìè ïîäìàòðèöàìè ñàìîé áîëüøîé õåññåíáåðãîâîé ìàòðèöû, îòâå÷àþùåé ïîñëåäíåé èòåðàöèè. ëàâíûå çàòðàòû i-é èòåðàöèè ñâÿçàíû ñ îðòîãîíàëèçàöèåé. Ïîìèìî ýòîãî, â ñèëó õåññåíáåðãîâîñòè ìàòðèö Hi âû÷èñëåíèå âåêòîðîâ zi è çàòåì yi ìîæíî îñóùåñòâèòü ñ çàòðàòîé ëèøü O (i2 ) àðè ìåòè÷åñêèõ îïåðàöèé (ïðèäóìàéòå, êàê ýòî ñäåëàòü!). Ïîä íåîáîáùåííûì ìåòîäîì ìèíèìàëüíûõ íåâÿçîê îáû÷íî ïîäðàçóìåâàåòñÿ ìåòîä ìèíèìàëüíûõ íåâÿçîê â ïðèìåíåíèè ê ýðìèòîâûì ìàòðèöàì.  ýòîì ñëó÷àå ìàòðèöû Hi îêàçûâàþòñÿ òðåõäèàãîíàëüíûìè (ïî÷åìó?). Ïðè áîëüøîì ÷èñëå èòåðàöèé âû÷èñëèòåëüíûå çàòðàòû è ïàìÿòü äëÿ õðàíåíèÿ âåêòîðîâ qi ìîãóò îêàçàòüñÿ íåïîçâîëèòåëüíî áîëüøèìè.  òàêèõ ñëó÷àÿõ ïðèìåíÿþò ìåòîä ìèíèìàëüíûõ íåâÿçîê ñ ðåñòàðòàìè : çàäàþò ìàêñèìàëüíî äîïóñòèìóþ ðàçìåðíîñòü ïîäïðîñòðàíñòâà Êðûëîâà, è åñëè òî÷íîñòü íå äîñòèãíóòà, áåðóò ïîëó÷åííîå ïðèáëèæåíèå â êà÷åñòâå íà÷àëüíîãî ïðèáëèæåíèÿ äëÿ íîâîé ãåíåðàöèè ïîäïðîñòðàíñòâ Êðûëîâà. 19.7
A-íîðìà
è
A-îðòîãîíàëüíîñòü
Ïóñòü A ýðìèòîâà ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà ïîðÿäêà n. Òîãäà äëÿ ëþáîé ïàðû âåêòîðîâ x, y ∈ Cn ïîëîæèì
(x, y)A ≡ (Ax, y). Ïðîâåðüòå, ÷òî ýòî p åñòü ñêàëÿðíîå ïðîèçâåäåíèå íà Cn . (x, y)A íàçûâàåòñÿ A-íîðìîé. Âåêòîðû x è y íàçûâàÍîðìà ||x||A ≡ þòñÿ A-îðòîãîíàëüíûìè, åñëè (x, y)A = 0. Äëÿ íèõ ñïðàâåäëèâà òåîðåìà Ïè àãîðà: ||x + y||2A = ||x||2A + ||y||2A .
19.8
Ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ
Ïóñòü A = A∗ > 0. ×òîáû ðåøèòü ñèñòåìó Ax = b, âûáèðàåì (ïðîèçâîëüíîå) íà÷àëüíîå ïðèáëèæåíèå x0 è ïåðåõîäèì, ïî ñóòè, ê ðåäóöèðîâàííîé ñèñòåìå Au = r0 , ãäå r0 = b − Ax0 , x = x0 + u. Ïîäïðîñòðàíñòâà Êðûëîâà ñòðîÿòñÿ äëÿ ðåäóöèðîâàííîé ñèñòåìû (â ïðåäïîëîæåíèè, ÷òî r0 6= 0). Ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ ýòî ìåòîä, â êîòîðîì íà ïîäïðîñòðàíñòâàõ Êðûëîâà Ki (r0 , A) ìèíèìèçèðóåòñÿ A-íîðìà îøèáêè e = x − z , ãäå z ðåøåíèå ñèñòåìû Ax = b. Èòàê, xi = x0 + yi , ãäå yi = argmin {||x0 + y − z||A : y ∈ Ki }.  ñèëó òåîðåìû Ïè àãîðà,
(xi, y)A = (z, y)A ∀ y ∈ Ki
⇔
ri ≡ b − A xi ⊥ Ki .
Åñëè èìååòñÿ A-îðòîãîíàëüíûé áàçèñ p1 , . . . , pi â Ki, òî, î÷åâèäíî, êîý èöèåíò αj , 1 ≤ j ≤ i, ðàçëîæåíèÿ
yi = α1 p1 + . . . + αi pi
íå çàâèñèò îò i. Ïîýòîìó (íå çàáóäåì, ÷òî ri ⊥ Ki )
(ri−1, pi ) . (A pi, pi ) Åñëè ri 6= 0, òî áóäåì èñêàòü pi+1 â âèäå pi+1 = ri + βi1 p1 + · · · + βii pi. ri ⊥ Ki ⇒ βij = 0 ïðè j < i (äîêàæèòå!). Âìåñòî βii áóäåì ïèñàòü βi ⇒ xi = xi−1 + αi pi ⇒ ri = ri−1 − αi Api ⇒ αi =
pi+1 = ri + βi pi ,
βi =
(ri, Api ) . (Api, pi )
Ïîñêîëüêó pi = ri−1 + βi−1 pi−1 , íàõîäèì: αi = òî αi 6= 0. ⇒
(ri−1 , ri−1 ) (Api , pi ) .
Åñëè ri−1 6= 0,
ri−1 − ri (ri, ri ) (ri, ri ) )=− ⇒ βi = . αi αi (ri−1, ri−1) Îêîí÷àòåëüíî, ïîëó÷àåì ñëåäóþùèå ðàñ÷åòíûå îðìóëû ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ : (ri, Api) = (ri,
αi xi ri βi pi+1
= = = = =
(ri−1, ri−1)/(Api, pi ), xi−1 + αi pi, ri−1 − αi Api, (ri, ri)/(ri−1, ri−1), ri + βi pi.
(19.8.6)
Çàìå÷àòåëüíî, ÷òî ðåêóððåíòíûå ñîîòíîøåíèÿ îêàçàëèñü êîðîòêèìè: ïðè ìèíèìèçàöèè íà ïîäïðîñòðàíñòâå Ki íàì íå ïîòðåáîâàëîñü èìåòü åãî ïîëíûé áàçèñ!
19.9
Îò ìàòðè÷íûõ ðàçëîæåíèé ê èòåðàöèîííûì ìåòîäàì
Ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ ìîæíî ïîëó÷èòü òàêæå êàê ñëåäñòâèå ðàçëîæåíèÿ Õîëåöêîãî. Ïóñòü A = A∗ > 0. Òîãäà Aj = Q∗j A Qj ýðìèòîâà òðåõäèàãîíàëüíàÿ ìàòðèöà è, áîëåå òîãî, Aj > 0 (ïî÷åìó?). àññìîòðèì åå ðàçëîæåíèå Õîëåöêîãî: Aj = Rj∗ Rj .  ñèëó òðåõäèàãîíàëüíîñòè Aj âåðõíÿÿ òðåóãîëüíàÿ ìàòðèöà Rj áóäåò áèäèàãîíàëüíîé: γ 1 δ1 γ 2 δ2 ... ... Rj = . . . .. .. γj−1 δj−1 γj Âîçüìåì (ïîêà ïðîèçâîëüíóþ) íåâûðîæäåííóþ äèàãîíàëüíóþ ìàòðèöó Dj è ïîëîæèì
Pj = [p1 . . . pj ] = Qj Rj−1 Dj
⇒
Pj∗ A Pj = Dj∗ Dj .
⇒
Ñòîëáöû ìàòðèöû Pj ÿâëÿþòñÿ A-îðòîãîíàëüíûìè è ïðè ýòîì
pj+1
δj γj+1 + pj = qj+1 dj+1 dj
⇒
pj+1 =
dj+1 −δj dj+1 qj+1 + pj . γj+1 γj+1 dj
Ìû õîòèì ðåøèòü ñèñòåìó Ax = b. Ïîòðåáóåì, ÷òîáû xj = x0 + Pj y è ïðè ýòîì rj ⊥ im Pj (ýòî ðàâíîñèëüíî ìèíèìèçàöèè A-íîðìû îøèáêè). Îòñþäà xj = xj−1 + αj pj , rj = rj−1 − αj A pj . Êðîìå òîãî, åñëè rj 6= 0, òî qj+1 êîëëèíåàðåí rj . Ïîýòîìó åñëè ìû ñòðîèì âåêòîðû q1 , . . . , qj+1, ñòàðòóÿ ñ q1 = r0 /||r0 ||2 , òî íè÷òî íå ìåøàåò âûáèðàòü qj+1 = rj /||rj ||2 è ñïåöè èöèðîâàòü Dj òàêèì îáðàçîì:
d1 = ||r0 ||2 ;
dj+1 = γj+1/||rj ||2 , j = 0, 1, . . . .
Ïîñëå ýòîãî âûðàæåíèå äëÿ pj+1 ïðèîáðåòàåò ïðèâû÷íûé âèä
pj+1 = rj + βj pj . 19.10
Ôîðìàëüíîå ñêàëÿðíîå ïðîèçâåäåíèå
Çàìå÷àòåëüíî, ÷òî ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ è ìåòîä ìèíèìàëüíûõ íåâÿçîê â ñëó÷àå ýðìèòîâûõ ìàòðèö ìîãóò áûòü ðåàëèçîâàíû ñ ïîìîùüþ êîðîòêèõ ðåêóððåíòíûõ ñîîòíîøåíèé, ïîçâîëÿþùèõ õðàíèòü â ïàìÿòè
êîìïüþòåðà ëèøü íåáîëüøîå, íå çàâèñÿùåå îò ïîðÿäêà ìàòðèöû ÷èñëî âåêòîðîâ. Çàìåíèâ çàäà÷ó ëîêàëüíîé ìèíèìèçàöèè ðåøåíèåì íåêîòîðîãî ïðîåêöèîííîãî óðàâíåíèÿ, ìîæíî ïîëó÷èòü êîðîòêèå ñîîòíîøåíèÿ è äëÿ íåýðìèòîâûõ ìàòðèö. ×òîáû âûâåñòè ïîäõîäÿùåå ïðîåêöèîííîå óðàâíåíèå, óäîáíî ïåðåéòè îò ñêàëÿðíûõ ïðîèçâåäåíèé ê áîëåå îáùèì áèëèíåéíûì èëè ïîëóòàðîëèíåéíûì îðìàì. Âçÿâ ìàòðèöó D ∈ Cn×n , ââåäåì îðìàëüíîå ñêàëÿðíîå ïðîèçâåäåíèå îäíèì èç äâóõ ñïîñîáîâ:
hx, yi = y T Dx,
x, y ∈ Cn ,
(∗)
hx, yi = y ∗ Dx,
x, y ∈ Cn .
(∗∗)
ëèáî Äëÿ ìàòðèöû A ∈ Cn×n îáîçíà÷èì ÷åðåç A′ äóàëüíóþ ìàòðèöó, îïðåäåëÿåìóþ ñîîòíîøåíèåì
hAx, yi = hx, A′yi ∀ x, y ∈ Cn . Åñëè α ñêàëÿðíàÿ âåëè÷èíà, òî α′ áóäåò îáîçíà÷àòü äóàëüíóþ âåëè÷èíó, äëÿ êîòîðîé, ïî îïðåäåëåíèþ,
hαx, yi = hx, α′yi ∀ x, y ∈ Cn . Äàëåå áóäåì ïèñàòü x ⊥ y , åñëè hx, yi = 0. Áóäåì ñ÷èòàòü ïîêà, ÷òî D = I . Òîãäà A′ = AT â ñëó÷àå (∗) è A′ = A∗ â ñëó÷àå (∗∗). 19.11
Ìåòîä áèîðòîãîíàëèçàöèè
×òîáû ðåøèòü ñèñòåìó Ax = b ñ íåâûðîæäåííîé ìàòðèöåé A ∈ Cn×n , âûáåðåì íà÷àëüíûé âåêòîð x0 è ïîïûòàåìñÿ ïðèáëèçèòü x âåêòîðîì âèäà xi = x0 + yi , ãäå yi ∈ Ki (r0, A) = span {p1, . . . , pi}, r0 = b − Ax0, ïîòðåáîâàâ, ÷òîáû ri ≡ b − Axi ⊥ Ki (r0′ , A′) = span {p′1 , . . . , p′i}, ãäå r0′ âûáèðàåòñÿ â 6 0. íà÷àëå ïðîöåññà òàêèì îáðàçîì, ÷òî hr0 , r0′ i = Ïðåäïîëîæèì, ÷òî âåêòîðû p1 , . . . , pi è p′1 , . . . , p′i ÿâëÿþòñÿ îðìàëüíî A-áèîðòîãîíàëüíûìè â òîì ñìûñëå, ÷òî hApj , p′k i = 0 äëÿ âñåõ j 6= k è 6 0 ïðè j = k . Òîãäà èç âûðàæåíèÿ äëÿ íåâÿçêè ri = r0 − Ax = hApj , p′k i = i P αji Apj âûòåêàåò, ÷òî r0 − j=1
αji = αj = hr0 , p′j i / hApj , pj i.
Îòñþäà xi = xi−1 + αi pi ⇒ ri = ri−1 − αi Api. Äàëåå ìû áóäåì ñ÷èòàòü, ÷òî ri−1 ⊥ Ki−1(r0′ , A′). Òîãäà αi = hri−1, p′ii / hApi, p′ii. ′ Ââåäåì â ðàññìîòðåíèå òàêæå âåêòîðû rj′ = rj−1 −α ˜ j′ A′ p′j , óäîâëåòîâðÿþùèå óñëîâèÿì Kj (r0 , A) ⊥ rj′ äëÿ âñåõ j ≤ i. Åñëè ýòè óñëîâèÿ âû˜i = ïîëíåíû äëÿ âñåõ j < i, òî íà î÷åðåäíîì øàãå íàì íóæíî âûáðàòü α ′ ′ hpi , ri−1i / hApi , pii. ˜ j 6= 0 äëÿ âñåõ j ≤ i. Òîãäà ìîäíî ñ÷èòàòü, ÷òî Ïðåäïîëîæèì, ÷òî αj , α
pi+1 = ri + βi pi,
p′i+1 = ri′ + β˜i′ p′i
′ è, ñëåäîâàòåëüíî, α = α ˜ = hri−1, ri−1 i / hApi , p′ii. Ïîñêîëüêó hAri, p′j i = hri , A′p′j i = 0 äëÿ j < i, áèîðòîãîíàëüíîñòü áóäåò ïîääåðæèâàòüñÿ ïðè âûáîðå βi = − hAri, p′ii / hApi , p′ii. Äàëåå,
hAri, p′ii
=
hri , A′ p′ii
′ ri−1 − ri′ −hri , ri′ i = hri , i= αi αi
⇒
hri , ri′ i βi = ′ i. hri−1, ri−1
Ëåãêî ïðîâåðÿåòñÿ, ÷òî β˜i = βi .  èòîãå ìû ïîëó÷àåì ñëåäóþùèé ìåòîä áèîðòîãîíàëîèçàöèè:
r0 = b − Ax0, p1 = r0, âûáðàòü r0′ , p′1 = r0′ ; ′ αi = hri−1, ri−1 i / hApi , p′ii, ′ xi = xi−1 + αi pi, ri = ri−1 − α1 Api, ri′ = ri−1 − α1′ A′ p′i , ′ βi = hri , ri′ i / hri−1, ri−1 i, ′ pi+1 = ri + βi pi, pi+1 = ri′ + βi′ p′i, i = 1, 2, . . . . Çàìåòèì, ÷òî αi′ = αi , βi′ = βi äëÿ îðìàëüíîãî ñêàëÿðíîãî ïðîèçâåäåíèÿ òèïà (∗) è αi′ = α¯i , βi′ = β¯i (êîìïëåêñíî ñîïðÿæåííûå âåëè÷èíû) â ñëó÷àå (∗∗).  îïèñàííîì ïðîöåññå âîçìîæíû àâàðèéíûå ñëó÷àè äâóõ òèïîâ:
• hApi , p′ii = 0 äëÿ íåêîòîðîãî i; ′ • hri−1, ri−1 i = 0 ⇒ αi = 0, íî ïðè ýòîì ri 6= 0.
 êàæäîì èç ýòèõ ñëó÷àåâ ïðîäîëæåíèå ïðîöåññà â ïðåæíåì âèäå íåâîçìîæíî. Äëÿ áîðüáû ñ àâàðèéíûìè ñëó÷àÿìè èñïîëüçóþòñÿ ðàçëè÷íûå áëî÷íûå âåðñèè ìåòîäà áèîðòîãîíàëèçàöèè. 19.12
Ìåòîä êâàçèìèíèìàëüíûõ íåâÿçîê
 íåýðìèòîâîì ñëó÷àå ïëàòîé çà ñîõðàíåíèå êîðîòêèõ ðåêóððåíòíûõ ñîîòíîøåíèé ÿâëÿåòñÿ îòêàç îò ìèíèìèçàöèè íåâÿçêè (èëè äðóãîãî ñâÿçàííîãî ñ íåé óíêöèîíàëà).  ðåçóëüòàòå íåâÿçêà ìîæåò ïàäàòü èëè ðàñòè
îò øàãà ê øàãó âåñüìà õàîòè÷åñêè è, êàê ñëåäñòâèå, ïî åå âåëè÷èíå òðóäíî ñóäèòü î òîì, íàäî ëè ïðîöåññ îñòàíàâëèâàòü èëè ïðîäîëæàòü. Ïîýòîìó ìîæåò âîçíèêíóòü æåëàíèå ïåðåéòè îò âåêòîðîâ xi ê íåêîòîðûì äðóãèì ˆi, äëÿ êîòîðûõ íåâÿçêà óáûâàåò ìîíîòîííî èëè, ïî êðàéíåé ìåâåêòîðàì x ðå, èìååò áîëåå ðåãóëÿðíîå ïîâåäåíèå. Ïðåäïîëîæèì, ÷òî èìååòñÿ ïðîèçâîëüíûé èòåðàöèîííûé ïðîöåññ, â êîòîðîì âû÷èñëåííûå âåêòîðû x0 , x1, ..., xi óäîâëåòâîðÿþò ñîîòíîøåíèÿì xj = xj−1 +αj pj , αj 6= 0, 1 ≤ j ≤ i. Äëÿ íåâÿçîê ïîëó÷àåì rj = rj−1 −αj Api. Ïóñòü Pi = [p1 , . . . , pi], ρi = krik2 , è Ri = [r0 /ρ0 , . . . , ri/ρi]. Òîãäà ρ0 ρ0 /α1 −ρ1 /α1 ρ1 /α2 . [r0, Ap1, ..., Api] = Ri Zi , Zi = ... ... −ρi−1/αi−1 ρi−1/αi −ρi /αi Ñîãëàñíî ýòîìó ðàâåíñòâó, åñëè x ˆi = x0 + Pi y , òî 1 rˆi = r(y) ≡ r0 − APi y = Ri Zi . −y Îòñþäà rˆi = Ri v , ãäå âåêòîð v = v(y) èìååò âèä
v = [ρ0 (1 − ξ1 ), ρ1 (ξ1 − ξ2 ), . . . , ρi−1(ξi−1 − ξi ), ρi ξi ]T , ξj = yj /αj , 1 ≤ j ≤ i.
Äàâàéòå âûáåðåì√ ξ1 , ..., ξi òàêèì îáðàçîì, ÷òîáû ìèíèìèçèðîààòü kvk2. Ïîñêîëüêó kRik2 ≤ i + 1 (ïî÷åìó?), íàõîäèì √ kˆ rik2 ≤ i + 1 min kv(y)k2. y
Ýòî íåðàâåíñòâî ìîæíî ðàññìàòðèâàòü êàê ñâîéñòâî êâàçèìèíèìèçàöèè, òàê êàê âìåñòî íîðìû íåâÿçêè r(y) ìèíèìèçèðóåòñÿ íîðìà âåêòîðà v(y), îäíîçíà÷íî îïðåäåëÿåìîãî ðàâåíñòâîì r(y) = Ri v(y).  êà÷åñòâå ïðèáëèæåííîãî ðåøåíèÿ ñèñòåìû áåðåòñÿ x ˆi . Ïóñòü η0 = 1 − ξ1 , η1 = ξ1 − ξ2 , . . . , ηi−1 = ξi−1 − ξi , ηi = ξi . Íàì íóæíî ìèíèìèçèðîâàòü óíêöèîíàë f = kvk22 = ρ20 η02 + · · · + ρ2i ηi2 ïðè îãðàíè÷åíèè η0 + · · · + ηi = 1. Èñïîëüçóÿ ìíîæèòåëè Ëàãðàíæà, 4 íàõîäèì
ηj =
σj , si
4 L. Zhou and H. F. Walker. Residual smoothing te hniques for iterative methods.
Comput. 15 (2): 297312 (1994).
SIAM J. on S i.
ãäå
i X 1 si = 2. ρ j=1 j
1 σj = 2 , ρj Ñëåäîâàòåëüíî,
rˆi =
i X σj j=0
si
rj
⇒
xˆi =
i X σj j=0
si
(19.12.7)
xj .
Èç ýòèõ îðìóë ìîæíî âûâåñòè, ÷òî σi σi σi σi xˆi = 1 − xˆi−1 + xi , rˆi = 1 − rˆi−1 + ri . si si si si
(19.12.8)
Ïóñòü â êà÷åñòâå îñíîâíîãî èòåðàöèîííîãî ïðîöåññà èñïîëüçóåòñÿ ìåòîä áèîðòîãîíàëèçàöèè. Äîïîëíèâ åãî âû÷èñëåíèÿìè ïî îðìóëàì (19.12.7) è (19.12.8), ìû ïîëó÷àåì ìåòîä êâàçèìèíèìàëüíûõ íåâÿçîê. 5 Çàäà÷è
1. Ïóñòü Az = b è f (x) = 12 (A x, x) − Re (b, x), A = A∗ ∈ Cn×n , b ∈ Cn . Äîêàæèòå, ÷òî f (x) − f (z) = 12 (A (x − z), x − z). 2. Ïóñòü A = A∗ ∈ Cn×n è b ∈ Cn . Äîêàæèòå, ÷òî îãðàíè÷åííîñòü óíêöèîíàëà f (x) = 12 (Ax, x) − Re (b, x) ñíèçó ðàâíîñèëüíà íåîòðèöàòåëüíîé îïðåäåëåííîñòè ìàòðèöû A. 3. Êàêèå âåêòîðû ÿâëÿþòñÿ îäíîâðåìåííî îðòîãîíàëüíûìè è Aîðòîãîíàëüíûìè? 4. Äîêàæèòå, ÷òî â ìåòîäå ñîïðÿæåííûõ ãðàäèåíòîâ i-ÿ íåâÿçêà Aîðòîãîíàëüíà ëþáîé j -é íåâÿçêå, åñëè |j − i| > 1. 5. Îáúÿñíèòå, ïî÷åìó ïîñëå ðåñòàðòà â ìåòîäå ìèíèìàëüíûõ íåâÿçîê îáû÷íî íàáëþäàåòñÿ óâåëè÷åíèå íåâÿçêè. 6. Âîçìîæíî ëè âîçðàñòàíèå íåâÿçêè â ìåòîäå êâàçèìèíèìàëüíûõ íåâÿçîê?
5 Èäåÿ êâàçèìèíèìèçàöèè ïîÿâèëàñü â ðàáîòå: R. W. Freund and N. M. Na htigal. QMR: a quasiminimal residual method for non-Hermitian linear systems,
Numer. Math.
60: 315339 (1991). àñ÷åòíûå
îðìóëû ìåòîäà QMR îòëè÷àþòñÿ îò ïîëó÷åííûõ íàìè îðìóë, íî â òî÷íîé àðè ìåòèêå ïðèáëèæåííûå ðåøåíèÿ áóäóò òàêèìè æå.
ëàâà 20
20.1
Ñõîäèìîñòü ìåòîäà ìèíèìàëüíûõ íåâÿçîê
Ìåòîä ìèíèìèçàöèè íåâÿçîê íà ïîäïðîñòðàíñòâàõ Êðûëîâà çà êîíå÷íîå ÷èñëî øàãîâ ïðèâîäèò ê òî÷íîìó ðåøåíèþ è ïî ýòîé ïðè÷èíå ÿâëÿåòñÿ ïðÿìûì ìåòîäîì. Íî ÷àùå åãî ðàññìàòðèâàþò êàê èòåðàöèîííûé ìåòîä ñ òèïè÷íûìè äëÿ èòåðàöèîííûõ ìåòîäîâ îöåíêàìè ñõîäèìîñòè. Çàìåòèì, ÷òî ïîëó÷åíèå îöåíîê òðåáóåò êàêèõ-ëèáî äîïîëíèòåëüíûõ ïðåäïîëîæåíèé îòíîñèòåëüíî ìàòðèöû êîý èöèåíòîâ: â îáùåì ñëó÷àå äëÿ ìàòðèöû ïîðÿäêà n ÷èñëî øàãîâ ìîæåò îêàçàòüñÿ ðàâíûì n, à íîðìà íåâÿçêè ìîæåò îñòàâàòüñÿ ðàâíîé íîðìå íà÷àëüíîé íåâÿçêè íà âñåõ øàãàõ, êðîìå ïîñëåäíåãî. Âîò ïðèìåð ñèñòåìû Ax = b: 0 1 0 1 0 1 0 0 ... = ... . ... ... 0 1 0 0 1 1 0 Åñëè x0 = 0, òî r0 = b. Ïîäïðîñòðàíñòâà Êðûëîâà ïîëó÷àþòñÿ òàêèå:
Ki = span {en , en−1, ..., en−i+1},
1 ≤ i ≤ n.
Çäåñü ej îáîçíà÷àåò j -é ñòîëáåö åäèíè÷íîé ìàòðèöû. Òî÷íîå ðåøåíèå ñèñòåìû èìååò âèä x = e1 , à íà èòåðàöèÿõ ïîëó÷àþòñÿ ñëåäóþùèå âåêòîðû (äîêàæèòå!): x0 = x1 = ... = xn−1 = 0, xn = e1 . 20.2
Óñëîâèå ñòðîãîé ýëëèïòè÷íîñòè
Ïðîùå âñåãî îöåíêè ñõîäèìîñòè ìåòîäà ìèíèìàëüíûõ íåâÿçîê ïîëó÷àþòñÿ ïðè óñëîâèè ñòðîãîé ýëëèïòè÷íîñòè (êîýðöèòèâíîñòè):
Re (Ax, x) ≥ τ (x, x) ∀ x, 203
τ > 0 êîíñòàíòà, îäèíàêîâàÿ äëÿ âñåõ x. Ìàòðèöà A íàçûâàåòñÿ ñòðîãî ýëëèïòè÷åñêîé (êîýðöèòèâíîé). Âåêòîð xi ìèíèìèçèðóåò íåâÿçêó íà ìíîæåñòâå âåêòîðîâ âèäà x0 + y , y ∈ Ki . Îòñþäà, â ÷àñòíîñòè,
||ri ||2 ≤ min ||ri−1 − αAri−1||2 α
= |α|2 (Ari−1, Ari−1) − 2Re (α(Ari−1, ri−1)) + (ri−1, ri−1).  ñëó÷àå âåùåñòâåííûõ α ìèíèìóì ïðàâîé ÷àñòè äîñòèíàåòñÿ ïðè
α=
||ri ||2 ≤
s
Re (Ari−1, ri−1) (Ari−1, Ari−1)
⇒
(Re (Ari−1, ri−1)/(ri−1, ri−1))2 ||ri−1||2 . 1− (Ari−1, Ari−1)/(ri−1, ri−1)
Ñëåäîâàòåëüíî, ïðè óñëîâèè ñòðîãîé ýëëèïòè÷íîñòè èìååò ìåñòî íåðàâåíñòâî 1 s τ2 ||ri ||2 ≤ 1 − (20.2.1) ||ri−1||2 . ||A||22
Îáðàòèì âíèìàíèå íà òî, ÷òî îöåíêà (20.2.1) îïèðàåòñÿ íà òî, ÷òî íîðìà i-é íåâÿçêè â ìåòîäå ìèíèìàëüíûõ íåâÿçîê íå ìîæåò áûòü áîëüøå íîðìû íåâÿçêè ëþáîãî âåêòîðà âèäà xi−1 + αri−1 , òàê êàê ri−1 ∈ Ki. Ïî ñóùåñòâó, ýòî îöåíêà äëÿ ìåòîäà, â êîòîðîì íà i-ì øàãå ðåøàåòñÿ çàäà÷à îäíîìåðíîé ìèíèìèçàöèè íåâÿçêè, è íèêàê íå ó÷èòûâàåòñÿ òî, ÷òî äëèíà íåâÿçêè â äåéñòâèòåëüíîñòè èìååò ìèíèìàëüíîå çíà÷åíèå íà âñåì ïîäïðîñòðàíñòâå Êðûëîâà ðàçìåðíîñòè i. 20.3
Îöåíêè ñ ïîìîùüþ ïîëèíîìîâ
Èñõîäíîé òî÷êîé äëÿ ïîëó÷åíèÿ áîëåå òî÷íûõ îöåíîê ñëóæèò ñëåäóþùåå íàáëþäåíèå: ri ∈ r0 + AKi ⇒ ri = fi(A)r0, (20.3.2) ãäå fi(ζ) ïîëèíîì ñòåïåíè íå âûøå i ñî ñâîáîäíûì ÷ëåíîì fi(0) = 1. Îáîçíà÷èì ÷åðåç Fi ìíîæåñòâî âñåõ òàêèõ ïîëèíîìîâ. Òîãäà ìèíèìàëüíîñòü äëèíû íåâÿçêè ri îçíà÷àåò, ÷òî
||ri ||2 ≤ ||fi (A)||2 ||r0 ||2
∀ f i ∈ Fi .
(20.3.3)
1 Äàííàÿ îöåíêà ïî îðìå ñîâïàäàåò ñ îöåíêîé, ïîëó÷åííîé â 1952 ãîäó Ì. À. Êðàñíîñåëüñêèì è Ñ. . Êðåéíîì äëÿ ïîëîæèòåëüíî îïðåäåëåííûõ ìàòðèö.  1982 ãîäó Ýëìàí çàìåòèë, ÷òî ýòà æå îöåíêà ñïðàâåäëèâà äëÿ ïðîèçâîëüíûõ ñòðîãî ýëëèïòè÷åñêèõ ìàòðèö.
20.4
Ïîëèíîìû è ðåçîëüâåíòà
Ïóñòü f (z) ïðîèçâîëüíàÿ óíêöèÿ îò êîìïëåêñíîãî ïåðåìåííîãî z , àíàëèòè÷åñêàÿ â îòêðûòîé îãðàíè÷åííîé îäíîñâÿçíîé îáëàñòè Ω ñ êóñî÷íîãëàäêîé ãðàíèöåé Γ. Èçâåñòíî, ÷òî â ýòîì ñëó÷àå f (z) âûðàæàåòñÿ ñ ïîìîùüþ èíòåãðàëà Êîøè: 2 Z 1 f (ζ) f (z) = dζ, z ∈ Ω. 2πi z−ζ Γ
Ïóñòü f (z) = a0 + a1 z + ... + an z n è f (A) = a0 I + a1 A + ... + an An ïðîèçâîëüíûé ïîëèíîì è ïîðîæäàåìûé èì ïîëèíîì îò ìàòðèöû A. Ìàòðèöà (A − ζI)−1 íàçûâàåòñÿ ðåçîëüâåíòîé ìàòðèöû A; î÷åâèäíî, ÷òî îíà îïðåäåëåíà äëÿ âñåõ ζ , îòëè÷íûõ îò ñîáñòâåííûõ çíà÷åíèé A.
Åñëè âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A ïðèíàäëåæàò îãðàíè÷åííîé îáëàñòè Ω ñ ãðàíèöåé Γ, òî äëÿ ïðîèçâîëüíîãî ïîëèíîìà f (z) Z 1 f (A) = (A − ζI)−1f (ζ)dζ, z ∈ Ω. 2πi Ëåììà 20.4.1
Γ
Êðèâàÿ Γ ÿâëÿåòñÿ îáùåé ãðàíèöåé äëÿ äâóõ îòêðûòûõ îáëàñòåé êîìïëåêñíîé ïëîñêîñòè îãðàíè÷åííîé îáëàñòè Ω è äîïîëíèòåëüíîé íåîãðàíè÷åííîé îáëàñòè Ω′. Ïðè äîñòàòî÷íî áîëüøîì R > 0 ýëåìåíòû ìàòðèöû (A − ζI)−1 ÿâëÿþòñÿ àíàëèòè÷åñêèìè óíêöèÿìè â êîëüöå ïåðåñå÷åíèè îáëàñòè Ω′ è êðóãà {|ζ| < R}. Ïîýòîìó Z Z 1 1 (A − ζI)−1f (ζ)dζ = (A − ζI)−1f (ζ)dζ. 2πi 2πi Äîêàçàòåëüñòâî.
Γ
|ζ|=R
Ïðè äîñòàòî÷íî áîëüøîì |ζ| = R íàõîäèì
(A − ζI)
−1
=−
∞ X
ζ −k−1Ak .
k=0
Ïðÿìîå âû÷èñëåíèå ïîêàçûâàåò, ÷òî j Z 1 A , k = j, k j−k−1 − A ζ dζ = 0, k = 6 j. 2πi |ζ|=1
2 Íàïðàâëåíèå îáõîäà ãðàíèöû
Γ
âûáèðàåòñÿ òàêèì îáðàçîì, ÷òîáû îáëàñòü
Ω
íàõîäèëàñü ñëåâà.
Ñëåäîâàòåëüíî, Z X n n ∞ X X 1 k −k−1 j A ζ aj ζ dζ = aj Aj = f (A). − 2πi |ζ|=R
20.5
k=0
j=0
2
j=0
Ïðåäåëüíàÿ ñêîðîñòü ñõîäèìîñòè
Èç ïðîâåäåííûõ ðàññìîòðåíèé ñðàçó æå âûòåêàåò ñëåäóþùàÿ
Åñëè âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A ïðèíàäëåæàò îãðàíè÷åííîé îáëàñòè Ω ñ ãðàíèöåé Γ, òî äëÿ íåâÿçîê ri ìåòîäà ìèíèìàëüíûõ íåâÿçîê ñïðàâåäëèâû îöåíêè Òåîðåìà 20.5.1
|Γ| ||ri ||2 ≤ max ||(A − ζI)−1||2 min max |f (ζ)|, f ∈Fi ζ∈Γ ||r0 ||2 2π ζ∈Γ ãäå |Γ| äëèíà êðèâîé Γ, à Fi ìíîæåñòâî âñåõ ïîëèíîìîâ f (ζ) ñòåïåíè íå âûøå i ñî ñâîáîäíûì ÷ëåíîì f (0) = 1. Òàêèì îáðàçîì, ïîëó÷åíèå îöåíîê ñõîäèìîñòè ìåòîäà ìèíèìàëüíûõ íåâÿçîê ñâîäèòñÿ ê îöåíêå âåëè÷èí
Ti(Γ) ≡ min max |f (ζ)|. f ∈Fi ζ∈Γ
(20.5.4)
Ïðåäïîëîæèì, ÷òî ðåøàþòñÿ ñèñòåìû ñ ìàòðèöàìè An ïîðÿäêà n ïðè ðàçëè÷íûõ n → ∞. Îáîçíà÷èì ÷åðåç A ìíîæåñòâî âñåâîçìîæíûõ ïîñëåäîâàòåëüíîñòåé ìàòðèö An òàêèõ, ÷òî âñå ñîáñòâåííûå çíà÷åíèÿ êàæäîé èç ìàòðèö An ïðèíàäëåæàò Ω è íîðìà ðåçîëüâåíòû íà Γ äëÿ êàæäîé èç ìàòðèö An íå ïðåâûøàåò íå çàâèñÿùåé îò n êîíñòàíòû R(A, Γ). Äàëåå, ïóñòü ri îáîçíà÷àåò i-þ íåâÿçêó äëÿ ïðîèçâîëüíî âûáðàííîé ìàòðèöû An ïðè n ≥ i. Òîãäà ||ri ||2 |Γ|R(A, Γ) ≤ Ti(Γ) ⇒ ||r0 ||2 2π 1/i ||ri ||2 lim ≤ q, i→∞ ||r0 ||2 ãäå q = q(Γ) ≡ lim (Ti(Γ))1/i. (20.5.5) i→∞
Âåëè÷èíà q = q(Γ) íàçûâàåòñÿ ïðåäåëüíîé ñêîðîñòüþ ñõîäèìîñòè ìåòîäà ìèíèìàëüíûõ íåâÿçîê íà ìíîæåñòâå A. Íàçâàíèå îïðàâäàíî, òàê êàê îêàçûâàåòñÿ, ÷òî âñåãäà ìîæíî âûáðàòü ïîñëåäîâàòåëüíîñòü ìàòðèö {An} ∈ A
è íåâÿçîê ri òàêèì îáðàçîì, ÷òî
lim
i→∞
20.6
||ri ||2 ||r0 ||2
1/i
= q.
(20.5.6)
×èñëîâàÿ îáëàñòü ìàòðèöû
 ïîëó÷åííîé íàìè îöåíêå ñõîäèìîñòè ìåòîäà ìèíèìàëüíûõ íåâÿçîê íîðìà ðåçîëüâåíòû íà êðèâîé Γ îïðåäåëÿåò ëèøü êîý èöèåíò, íå çàâèñÿùèé îò íîìåðà èòåðàöèè i. Íî äëÿ êîíêðåòíîé ìàòðèöû A ïîðÿäêà n ýòîò êîý èöèåíò ìîæåò îêàçàòüñÿ áîëüøèì (íàïðèìåð, âåëè÷èíîé ïîðÿäêà q −n) è ñäåëàòü îöåíêó áåñïîëåçíîé. Ê ñ÷àñòüþ, ïðè ñïåöèàëüíîì âûáîðå êðèâîé Γ íîðìà ðåçîëüâåíòû ëåãêî îöåíèâàåòñÿ âåëè÷èíîé, íå çàâèñÿùåé îò n. Ýòî ìîæíî ñäåëàòü, åñëè îáëàñòü Ω ñîäåðæèò ÷èñëîâóþ îáëàñòü ìàòðèöû A, îïðåäåëÿåìóþ êàê ìíîæåñòâî òî÷åê âèäà
Φ(A) = {z ∈ C : z = (Ax, x), ||x||2 = 1}. Ìíîæåñòâî Φ(A) çàìêíóòî (äîêàæèòå). Êðîìå òîãî, ñïðàâåäëèâà (ÒåïëèöÕàóñäîð ) ×èñëîâàÿ îáëàñòü ìàòðèöû ÿâëÿåòñÿ âûïóêëûì ìíîæåñòâîì. Òåîðåìà 20.6.1
Ìíîæåñòâî Φ ñîäåðæèò îòðåçîê, ñîåäèíÿþùèé òî÷êè z1 è z2 â òîì è òîëüêî òîì ñëó÷àå, êîãäà ìíîæåñòâî aΦ + b ≡ {az + b, z ∈ Φ} ñîäåðæèò îòðåçîê, ñîåäèíÿþùèé òî÷êè az1 + b è az2 + b ïðè óñëîâèè, êîíå÷íî, ÷òî a 6= 0. Åñëè ||z1 ||2 = ||z2 ||2 = 1 è (Az1 , z1 ) 6= (Az2 , z2 ), òî ìîæíî ðàññìîòðåòü ìàòðèöó B = aA + b è âûáðàòü a è b òàêèì îáðàçîì, ÷òî (Bz1 , z1) = 0 è (Bz2 , z2) = 1. Êðîìå òîãî, óìíîæèâ z1 íà ÷èñëî, ðàâíîå ïî ìîäóëþ 1, ìîæíî ñ÷èòàòü, ÷òî ÷èñëî (Bz1 , z2 ) + (Bz2 , z1 ) ÿâëÿåòñÿ âåùåñòâåííûì. Äîñòàòî÷íî äîêàçàòü, ÷òî Φ(B) ñîäåðæèò âñå òî÷êè îòðåçêà [0, 1]. Âåêòîðû z1 è z2 ëèíåéíî íåçàâèñèìû (ïî÷åìó?) ⇒ ïðè 0 ≤ t ≤ 1 óíêöèÿ (B(tz1 + (1 − t)z2 ), tz1 + (1 − t)z2 ) φ(t) ≡ ||tz1 + (1 − t)z2 ||22 Äîêàçàòåëüñòâî.
ÿâëÿåòñÿ íåïðåðûâíîé è ïðèíèìàåò âåùåñòâåííûå çíà÷åíèÿ, ïðè÷åì φ(0) = 1 è φ(1) = 0 ⇒ ïî òåîðåìå îëëÿ φ(t) ïðèíèìàåò âñå çíà÷åíèÿ ìåæäó 0 è 1. 2 Çàìåòèì, ÷òî ÷èñëîâàÿ îáëàñòü Φ(A) ñîäåðæèò âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A (äîêàæèòå).
20.7
Îöåíêà ðåçîëüâåíòû
Òåîðåìà 20.7.1
Ïóñòü ζ íå ïðèíàäëåæèò ÷èñëîâîé îáëàñòè Φ(A). Òîãäà
||(A − ζI)−1||2 ≤ ãäå
1 , d(ζ, Φ(A))
(20.7.7)
d(ζ, Φ(A)) = min ||ζ − ξ||2 ðàññòîÿíèå îò òî÷êè ζ äî Φ(A). ξ∈Φ(A)
Äëÿ íåêîòîðûõ âåêòîðîâ x è y åäèíè÷íîé äëèíû èìååò ìåñòî ðàâåíñòâî (ïî÷åìó?)
Äîêàçàòåëüñòâî.
(A − ζI)−1y = ||(A − ζI)−1||2 x. Çíà÷èò,
|(Ax, x) − ζ(x, x)| = |((A − ζI)x, x)| = ⇒
||(A − ζI)−1||2 ≤
|(y, x)| 1 ≤ ||(A − ζI)−1||2 ||(A − ζI)−1||2
1 1 ≤ . 2 |(Ax, x) − ζ| d(ζ, Φ(A))
Ïóñòü ðàññòîÿíèå îò ëþáîé òî÷êè êðèâîé Γ äî ÷èñëîâîé îáëàñòè Φ(A) íå ìåíüøå d. Òîãäà
Ñëåäñòâèå 20.7.1
max ||(A − ζI)−1||2 ≤ ζ∈Γ
20.8
1 . d
Ñõîäèìîñòü â ñëó÷àå íîðìàëüíûõ ìàòðèö
Íîðìàëüíîñòü ìàòðèöû A îçíà÷àåò ñóùåñòâîâàíèå îðòîíîðìèðîâàííîãî áàçèñà èç åå ñîáñòâåííûõ âåêòîðîâ ⇒
A = QΛQ−1, ãäå Q óíèòàðíàÿ ìàòðèöà, à Λ äèàãîíàëüíàÿ ìàòðèöà èç ñîáñòâåííûõ çíà÷åíèé A. Åñëè f ïîëèíîì, òî â ñèëó óíèòàðíîé èíâàðèàíòíîñòè ñïåêòðàëüíîé íîðìû
||f (A)||2 = ||Qf (Λ)Q−1||2 = ||f (Λ)||2. Ïóñòü âñå ñîáñòâåííûå çíà÷åíèÿ íîðìàëüíîé ìàòðèöû A ïðèíàäëåæàò îáëàñòè Ω ñ ãðàíèöåé Γ. Òîãäà
||ri ||2 ≤ min max |f (ζ)| = min max |f (ζ)|. f ∈Fi ζ∈Ω∪Γ f ∈Fi ζ∈Γ ||r0 ||2
(20.8.8)
Ïóñòü ñîáñòâåííûå çíà÷åíèÿ íîðìàëüíîé ìàòðèöû A ïðèíàäëåæàò îáëàñòè Ω, ãðàíèöà êîòîðîé Γ åñòü ýëëèïñ ñ öåíòðîì â òî÷êå c, áîëüøåé ïîëóîñüþ a è ðàññòîÿíèåì ìåæäó îêóñàìè 2d, ïðè÷åì 0∈ / Ω∪Γ . Òîãäà äëÿ ìåòîäà ìèíèìàëüíûõ íåâÿçîê ïðè ðåøåíèè ñèñòåìû Ti(a/d) ñ ìàòðèöåé A ñïðàâåäëèâû îöåíêè ||ri ||2 ≤ Ti (c/d) ||r0 ||2 , ãäå Ti ïîëèíîì ×åáûøåâà ñòåïåíè i. Òåîðåìà 20.8.1
Äîêàçàòåëüñòâî ïîëó÷àåòñÿ, åñëè â îöåíêå (20.8.8) âçÿòü f (x) =
Ti ( c−z d ) Ti ( dc )
è ó÷åñòü íàáëþäåíèÿ, ñäåëàííûå íàìè ðàíåå ïðè èñïîëüçîâàíèè ýëëèïñîâ Áåðíøòåéíà. 20.9
Ìèíèìàëüíûå íåâÿçêè è óðàâíåíèå Ëàïëàñà
Äëÿ íåêîòîðûõ êðèâûõ (â ÷àñòíîñòè, äëÿ ýëëèïñîâ) ïðåäåëüíóþ ñêîðîñòü ñõîäèìîñòè ìåòîäà ìèíèìàëüíûõ íåâÿçîê ìîæíî íàéòè àíàëèòè÷åñêè.  ñëó÷àå ïðîèçâîëüíîé ãëàäêîé (è äàæå êóñî÷íî-ãëàäêîé) êðèâîé åå ìîæíî âû÷èñëèòü ïðèáëèæåííî. Íå òðåáóÿ âûñîêîé òî÷íîñòè, ýòî ìîæíî ñäåëàòü ïðîñòî è áûñòðî ñ ïîìîùüþ ðåøåíèÿ ñëåäóþùåé âíåøíåé êðàåâîé çàäà÷è äëÿ óðàâíåíèÿ Ëàïëàñà: ∆g(z) = 0, z ∈ Ω′ , g(z) = 0, z ∈ Γ, (20.9.9) g(z) = ln |z| + γ + o(1), z → ∞. Ïîÿñíèì ñìûñë îáîçíà÷åíèé:
g(z) ðàññìàòðèâàåñÿ êàê óíêöèÿ z = x+iy , ãäå x è y âåùåñòâåííûå ïåðåìåííûå; ∆≡
∂2 ∂x2
+
∂2 ∂y 2
îïåðàòîð Ëàïëàñà;
γ êîíñòàíòà, êîòîðàÿ íàçûâàåòñÿ ïîñòîÿííîé îáýíà è íàõîäèòñÿ îäíîâðåìåííî ñ óíêöèåé g(z). 3 Èçâåñòíî, ÷òî çàäà÷à (20.9.9) èìååò åäèíñòâåííîå ðåøåíèå. Îíî ïîçâîëÿåò äàòü òî÷íîå âûðàæåíèå äëÿ ïðåäåëüíîé ñêîðîñòè ñõîäèìîñòè ìåòîäà ìèíèìàëüíûõ íåâÿçîê. ×òîáû óïðîñòèòü îáîñíîâàíèå, ïîëàãàåì â äàëüíåéøåì, ÷òî Γ êðèâàÿ êëàññà C 1 . Òåîðåìà 20.9.1
Ïóñòü 0 ∈ Ω è g(z) ðåøåíèå çàäà÷è (20.9.9). Òîãäà
q(Γ) = e−g(0). 3 Çàìåòèì òàêæå, ÷òî âåëè÷èíà
e−γ
íàçûâàåòñÿ
ëîãàðè ìè÷åñêîé åìêîñòüþ êðèâîé Γ.
(20.9.10)
20.10
Ìåòîä ëîãàðè ìè÷åñêîãî ïîòåíöèàëà
Äîêàçàòåëüñòâî òåîðåìû 20.9.1 è óäîáíûé ïðèáëèæåííûé ìåòîä ðåøåíèÿ çàäà÷è (20.9.9) èñïîëüçóþò ëîãàðè ìè÷åñêèé ïîòåíöèàë óíêöèþ âèäà Z v(z) = ln |z − ζ| σ(ζ) |dζ|, (20.10.11) Γ
ãäå σ(ζ) ïðèíèìàþùàÿ âåùåñòâåííûå çíà÷åíèÿ ïëîòíîñòü ïîòåíöèàëà. Äîâîëüíî ïðîñòî ïðîâåðÿåòñÿ, ÷òî ïðè ëþáîé ïëîòíîñòè
∆v(z) = 0 ïðè x ∈ Ω′ è ïðè z ∈ Ω.  òåîðèè ïîòåíöèàëà äîêàçûâàåòñÿ, ÷òî óíêöèÿ v(z) îïðåäåëåíà è íåïðåðûâíà ïðè âñåõ z . àññìîòðèì ñëåäóþùóþ ñèñòåìó èíòåãðàëüíûõ óðàâíåíèé îòíîñèòåëüíî óíêöèè σ(ζ) è ñêàëÿðíîé âåëè÷èíû γ : Z ln |z − ζ| σ(ζ) |dζ| = −γ, (20.10.12) Γ
Z
σ(ζ) |dζ| = 1.
(20.10.13)
Γ
Ïóñòü σ(ζ) è γ óäîâëåòâîðÿþò ñîîòíîøåíèÿì (20.10.12) è (20.10.13). Òîãäà óíêöèÿ g(z) = v(z) + γ ÿâëÿåòñÿ ðåøåíèåì âíåøíåé êðàåâîé çàäà÷è (20.9.9). Ëåììà 20.10.1
Äîêàçàòåëüñòâî.
v(z) = ln |z|
Z
σ(ζ) |dζ| +
Γ
Z
ln |1 − ζ/z| σ(ζ) |dζ| = ln |z| + o(1). 2
Γ
Äëÿ âû÷èñëåíèÿ σ(ζ) è γ ìîæíî äåéñòâîâàòü ïî òàêîé ñõåìå: íàéòè ðåøåíèå èíòåãðàëüíîãî óðàâíåíèÿ Z ln |z − ζ| φ(ζ) |dζ| = −1, Γ
âû÷èñëèòü
s=
Z Γ
φ(ζ) |dζ|
è ïîëîæèòü
σ(ζ) = φ(ζ)/s,
γ = 1/s;
åñëè ïðèâåäåííîå âûøå èíòåãðàëüíîå óðàâíåíèå íå èìååò ðåøåíèÿ, òî íàéòè íåòðèâèàëüíîå ðåøåíèå φ(ζ) àíàëîãè÷íîãî óðàâíåíèÿ ñ òîæäåñòâåííî íóëåâîé ïðàâîé ÷àñòüþ, â ýòîì ñëó÷àå γ = 0, à σ(ζ) îïðåäåëÿåòñÿ èç φ(ζ) ïóòåì íîðìèðîâêè, êàê è ðàíüøå. Ñëåäóþùèé ðàçäåë äëÿ òåõ, êòî õîòåë áû ïîçíàêîìèòüñÿ ñ îáîñíîâàíèåì îïèñàííîãî ìåòîäà è äîêàçàòåëüñòâîì òåîðåìû 20.9.1. 20.11
Îáîñíîâàíèå ìåòîäà
Ëåììà 20.11.1
òî÷êå z ∈ Ω′ .
Åñëè g(z) ðåøåíèå çàäà÷è (20.9.9), òî g(z) > 0 â ëþáîé
Ìíîæåñòâî M ⊂ Ω′ òî÷åê z , â êîòîðûõ g(z) = 0, ÿâëÿåòñÿ çàìêíóòûì. Åñëè M íå ïóñòî, òî â ñëó÷àå îãðàíè÷åííîñòè îíî ÿâëÿåòñÿ êîìïàêòíûì ⇒ ñóùåñòâóåò òî÷êà z ∈ M ñ ìàêñèìàëüíûì ìîäóëåì |z| ⇒ äëÿ ëþáîé îêðóæíîñòè γ ñ öåíòðîì â òî÷êå z , öåëèêîì ïðèíàäëåæàùåé îáëàñòè Ω′, èìååò ìåñòî ðàâåíñòâî Z g(ζ)|dζ| = 0 ⇒ g(ζ) = 0 ïðè ζ ∈ γ. Äîêàçàòåëüñòâî.
γ
Ýòî ïðîòèâîðå÷èò ìàêñèìàëüíîñòè ìîäóëÿ |z| ⇒ ìíîæåñòâî M íå ìîæåò áûòü îãðàíè÷åííûì ⇒ g(z) íå ñòðåìèòñÿ ê ∞ ïðè z → ∞. Çíà÷èò, ìíîæåñòâî M ïóñòî. 2
 ñëó÷àå êðèâîé Γ êëàññà C 1 ñóùåñòâóþò íåïðåðûâíàÿ ïëîòíîñòü ïîòåíöèàëà σ(ζ) è ÷èñëî γ , óäîâëåòâîðÿþùèå ñèñòåìå óðàâíåíèé (20.10.12), (20.10.13). Ïðè ýòîì σ(ζ) ≥ 0, à èíòåãðàë îò σ(ζ) ïî ëþáîé êîíå÷íîé ÷àñòè êðèâîé Γ ïîëîæèòåëåí. Ëåììà 20.11.2
Äîêàçàòåëüñòâî ìîæíî ïîëó÷èòü, èñïîëüçóÿ òåîðèþ èññàÔðåäãîëüìà (ñì. ãëàâó 22) è èçâåñòíûå ñâîéñòâà ëîãàðè ìè÷åñêîãî ïîòåíöèàëà: åãî íåïðåðûâíîñòü âî âñåõ òî÷êàõ ïëîñêîñòè è ñâîéñòâà ñêà÷êà ïðîèçâîäíîé ïî íîðìàëè ê Γ ïðè ïåðåõîäå ÷åðåç ãðàíèöó Γ. Ôèêñèðóåì ïðîèçâîëüíîå äîñòàòî÷íî ìàëîå ε > 0 è ðàññìîòðèì êðèâóþ Γε , îïðåäåëåííóþ óðàâíåíèåì g(z) = ε. Äîêàçàòåëüñòâî òåîðåìû 20.9.1. 4
4 Ìû àäàïòèðóåì ê íàøåìó ñëó÷àþ ñõåìó äîêàçàòåëüñòâà äëÿ ðîäñòâåííîé, íî îðìàëüíî äðóãîé çàäà÷è èç êíèãè: . Ì. îëóçèí, 1966.
åîìåòðè÷åñêàÿ òåîðèÿ óíêöèé êîìïëåêñíîãî ïåðåìåííîãî, Ì., Íàóêà,
Î÷åâèäíî, ÷òî Γε ⊂ Ω′ è ðàññòîÿíèå ìåæäó Γε è Γ ïîëîæèòåëüíî. Âûáðàâ ïîïàðíî ðàçëè÷íûå òî÷êè ζ1 , ..., ζn ∈ Γ, ïîñòðîèì ïîëèíîì
pn (z) =
n Y i=1
òàêîé,÷òî
(z − ζi)
| ln |pn (z)|1/n − v(z)| ≤ ε ∀ z ∈ Γε .
Ñîãëàñíî ëåììå 20.11.2, ïðè îáõîäå êðèâîé Γ ìîæíî ðàçáèòü åå íà ÷àñòè γ1, ..., γn òàêèì îáðàçîì, ÷òî Z 1 σ(ζ) |dζ| = . n γi
Êðîìå òîãî, ñóùåñòâóåò ÷èñëî N = N (ε) òàêîå, ÷òî ïðè n ≥ N äëÿ âñåõ 1 ≤ i ≤ n âûïîëíÿþòñÿ íåðàâåíñòâà
|ln |z − ζ| − ln |z − η|| ≤ ε ∀ ζ, η ∈ γi . ×òîáû îïðåäåëèòü ïîëèíîì pn(z), âûáåðåì ζi ∈ γi. Òîãäà n 1 X ln |z − ζi | − v(z) ≤ ε ∀ z ∈ Γε ⇒ n i=1
v(z) − ε ≤ ln |pn (z)|1/n ≤ v(z) + ε, −γ ≤ ln |pn (z)|1/n ≤ 2ε − γ,
e−γ ≤ |pn (z)|1/n ≤ e2ε−γ ,
z ∈ Γε
z ∈ Γε
⇒
⇒
z ∈ Γε .
Ìîæíî ñ÷èòàòü, ÷òî ε íàñòîëüêî ìàëî, ÷òî 0 ïðèíàäëåæèò íåîãðàíè÷åííîé îáëàñòè ñ ãðàíèöåé Γε . Òîãäà
| ln |pn (0)|1/n − v(0)| ≤ ε ⇒ ln |pn (0)|1/n ≥ g(0) − γ − ε 2ε−γ pn (z) 1/n pn (z) 1/n ≤ max ≤ e max ⇒ z∈Γ pn (0) z∈Γε pn (0) eg(0)−γ−ε pn (z) 1/n ≤ e3ε e−g(0). max z∈Γ pn (0)  ñèëó ïðîèçâîëüíîñòè ε ïîëó÷àåì q(Γ) = lim (Tn (Γ))1/n ≤ e−g(0). n→∞
⇒
Îñòàåòñÿ äîêàçàòü, ÷òî â äåéñòâèòåëüíîñòè çäåñü èìååò ðàâåíñòâî. Ïóñòü
mn (Γ) = max |pn(z)|, z∈Γ
è ïðåäïîëîæèì, ÷òî ïîñëåäîâàòåëüíîñòü ïîëèíîìîâ òàêîâà, ÷òî 1/n m (Γ) n + o(1) → q0. (Tn(Γ))1/n = |pn (0)|
Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî êîðíè ïîëèíîìà pn (z) íå ëåæàò íà Γ. Âîêðóã êàæäîãî èç êîðíåé â îáëàñòè Ω′ (åñëè òàêîâûå åñòü) îïèøåì îêðóæíîñòü ðàäèóñà δ > 0. Ïðè äîñòàòî÷íî ìàëîì δ âñå ïîëó÷åííûå êðóãè ïðèíàäëåæàò òîé æå îáëàñòè Ω′ . Îáîçíà÷èì ÷åðåç Ω′ (δ) ÷àñòü îáëàñòè Ω′ çà âû÷åòîì äàííûõ êðóãîâ. Ïðè äîñòàòî÷íî ìàëîì δ óíêöèÿ
u(z) = g(z) −
1 |pn (z)| ln n mn (Γ)
óäîâëåòâîðÿåò óðàâíåíèþ Ëàïëàñà ∆u(z) = 0 ïðè âñåõ z ∈ Ω′(δ), íåîòðèöàòåëüíà íà Γ è ïîñòðîåííûõ îêðóæíîñòÿõ ðàäèóñà δ è, êðîìå òîãî, èìååò êîíå÷íûé ïðåäåë ïðè z → ∞. Îòñþäà âûòåêàåò åå íåîòðèöàòåëüíîñòü ïðè âñåõ z ∈ Ω′ (δ). Áóäåì ñ÷èòàòü, ÷òî δ íàñòîëüêî ìàëî, ÷òî 0 ∈ Ω′(δ) ⇒ u(0) ≥ 0 ⇒ 1/n mn (Γ) ≥ e−g(0) ⇒ q0 ≥ e−g(0) ⇒ q(Γ) ≥ e−g(0) . 2 |pn (0)| Ñëåäñòâèå 20.11.1
ñÿ è åå ïðåäåë ðàâåí
Ïîñëåäîâàòåëüíîñòü (Tn(Γ))1/n ÿâëÿåòñÿ ñõîäÿùåé-
q(Γ) = lim (Tn(Γ))1/n. n→∞
(20.11.14)
Çàäà÷è
1. Ïóñòü ìåòîä ìèíèìàëüíûõ íåâÿçîê ïðèìåíÿåòñÿ äëÿ ðåøåíèÿ ñèñòåìû Ax = b è èçâåñòíî, ÷òî äëÿ íåêîòîðîãî êîìïëåêñíîãî ÷èñëà ζ ñ ìîäóëåì |ζ| = 1 ìàòðèöà A ÿâëÿåòñÿ ñòðîãî ýëëèïòè÷åñêîé. Äîêàæèòå, ÷òî â ýòîì ñëó÷àå òàêæå âûïîëíÿåòñÿ íåðàâåíñòâî (20.2.1). 2. Ïóñòü âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A ïðèíàäëåæàò ñåêòîðó Re λ(A) ≥ τ > 0, |λ(A)| ≤ ρ. Äîêàæèòå, ÷òî îöåíêà (20.2.1) èìååò ìåñòî, åñëè ìàòðèöà A íîðìàëüíàÿ, è ìîæåò íå âûïîëíÿòüñÿ â ïðîòèâíîì ñëó÷àå (ïðèâåäèòå ïðèìåð).
3. Ïðè íåêîòîðîì τ > 0 äëÿ âñåõ âåêòîðîâ x âûïîëíÿåòñÿ íåðàâåíñòâî |Re (Ax, x)| ≥ τ (x, x) è ñóùåñòâóåò âåêòîð x0 òàêîé, ÷òî Re (Ax0, x0) ≥ τ (x0, x0). Äîêàæèòå, ÷òî Re (Ax, x) ≥ τ (x, x) äëÿ âñåõ x. 4. Ïóñòü x òî÷íîå ðåøåíèå ñèñòåìû Ax = b ñ íåâûðîæäåííîé ýðìèòîâîé ìàòðèöåé A, à x0 , x1 , ... ïðèáëèæåííûå ðåøåíèÿ, ïîëó÷åííûå ìåòîäîì ìèíèìàëüíûõ íåâÿçîê. Äîêàæèòå, ÷òî åñëè xi−1 6= x, òî ||xi − x||2 < ||xi−1 − x||2. 5. Äîêàæèòå, ÷òî ÷èñëîâàÿ îáëàñòü íîðìàëüíîé ìàòðèöû ñîâïàäàåò ñ âûïóêëîé îáîëî÷êîé ìíîæåñòâà åå ñîáñòâåííûõ çíà÷åíèé. (Âûïóêëîé îáîëî÷êîé ìíîæåñòâà íàçûâàåòñÿ ìèíèìàëüíîå ñîäåðæàùåå åãî âûïóêëîå ìíîæåñòâî.) 6. Ïóñòü 0 < r < a è Γ îêðóæíîñòü ðàäèóñà r ñ öåíòðîì â òî÷êå a íà âåùåñòâåííîé îñè. Ïóñòü g(z) ðåøåíèå âíåøíåé êðàåâîé çàäà÷è (20.9.9). Äîêàæèòå, ÷òî a g(0) = ln . (20.11.15) r 7. Êðèâàÿ Γ ÿâëÿåòñÿ ýëëèïñîì ñ öåíòðîì â òî÷êå a íà âåùåñòâåííîé îñè è ïîëóîñÿìè r1 è r2 ,ïðè÷åì 0 < r1 < a. Ïóñòü g(z) ðåøåíèå âíåøíåé êðàåâîé çàäà÷è (20.9.9). Äîêàæèòå, ÷òî p a2 − r12 + r22 + a . g(0) = ln (20.11.16) r1 + r2 8. Äîêàæèòå òåîðåìó 20.8.1.
ëàâà 21
21.1
Ñõîäèìîñòü ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ
àññìîòðèì ðàçëîæåíèå íåâÿçêè r0 =
k P
ξi zi ïî îðòîíîðìèðîâàííîé ïîä-
i=1
ñèñòåìå ñîáñòâåííûõ âåêòîðîâ ìàòðèöû A = A∗ > 0 ïîðÿäêà n. Åñëè â ðàçëîæåíèè ó÷àñòâóþò ëèøü k âåêòîðîâ, òî ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ ïîëó÷àåò ðåøåíèå ñèñòåìû Ax = b íå ïîçæå, ÷åì íà k -ì øàãå. Åñëè îòâå÷àþùèå ýòèì âåêòîðàì ñîáñòâåííûå çíà÷åíèÿ ïîïàðíî ðàçëè÷íû, òî ðåøåíèå ïîëó÷àåòñÿ â òî÷íîñòè íà k -ì øàãå (äîêàæèòå!). Çàìå÷àòåëüíî, ÷òî ïðèáëèæåíèå ñ èíòåðåñóþùåé íàñ òî÷íîñòüþ ÷àñòî ïîëó÷àåòñÿ ðàíüøå, ÷åì íà k -ì øàãå. Êàê è â ìåòîäå ìèíèìàëüíûõ íåâÿçîê, êëþ÷åâîå íàáëþäåíèå äëÿ ïîëó÷åíèÿ îöåíîê ñõîäèìîñòè çàêëþ÷àåòñÿ â òîì, xi = x0 + φi−1 (A) r0, ãäå φi−1 (λ) ïîëèíîì ñòåïåíè i − 1. Îòñþäà ri = ψi (A) r0, ãäå ψi (λ) = 1 − λ φi−1 (λ) îäíîçíà÷íî îïðåäåëåííûé äàííûì ìåòîäîì ïîëèíîì ñòåïåíè i ñî ñâîáîäíûì ÷ëåíîì ψi (0) = 1. Íåâÿçêà r äëÿ ëþáîãî âåêòîðà âèäà x0 + y , ãäå y áåðåòñÿ â òîì æå ïîäïðîñòðàíñòâå Êðûëîâà, çàïèñûâàåòñÿ ñ ïîìîùüþ íåêîòîðîãî, âîîáùå ãîâîðÿ, äðóãîãî ïîëèíîìà f (λ) ñòåïåíè íå âûøå i ñî ñâîáîäíûì ÷ëåíîì f (0) = 1. Íàïîìíèì, ÷òî ìíîæåñòâî òàêèõ ïîëèíîìîâ óæå âñòðå÷àëîñü ïðè èçó÷åíèè ìåòîäà ìèíèìàëüíûõ íåâÿçîê è îáîçíà÷àëîñü Fi. Òàêèì îáðàçîì, r = f (A)r0, ãäå f ∈ Fi .  ìåòîäå ñîïðÿæåííûõ ãðàäèåíòîâ ìèíèìàëüíàÿ A-íîðìà îøèáêè i-ãî ïðèáëèæåíèÿ ei = A−1 ri ïîëó÷àåòñÿ ïðè âûáîðå f (λ) = ψi (λ) ⇒
||ei ||2A = (Aei, ei ) = (ri, A−1 ri) 2 k X ψi2 (λj ) 2 ||e0 ||2A . ξj ≤ max |ψi (λj )| = 1≤j≤k λj j=1 Åñëè λ (A) ⊂ [m, M], òî, î÷åâèäíî,
||ei ||A ≤ min max |f (λ)| ||e0 ||A . f ∈Fi m≤λ≤M 215
(21.1.1)
21.2
Êëàññè÷åñêàÿ îöåíêà
M −m Çàïèøåì λ ∈ [m, M] â âèäå λ = M +m 2 + 2 t, t ∈ [−1, 1], âîçüìåì ïîëèíîì ×åáûøåâà Ti(t) äëÿ îòðåçêà [−1, 1] è ðàññìîòðèì ïîëèíîì M +m λ − (M + m)/2 / Ti − . f (λ) = Ti (M − m)/2 M −m
Ïîñêîëüêó f ∈ Fi, â ñèëó (21.1.1) íàõîäèì
||ei ||A ≤
1 ||e0 ||A . M +m )| |Ti (− M −m
(21.2.2)
Ýòà îöåíêà îáíàäåæèâàåò, òàê êàê ïîëèíîìû ×åáûøåâà ðàñòóò ýêñïîíåíöèàëüíî ïðè |t| > 1:
i 1 i p p 1 2 2 Ti (t) = t+ t −1 + t− t −1 . 2 2
Îòñþäà î÷åâèäíî, íàïðèìåð, ÷òî |Ti (t)| ≥ |t|i /2 ⇒
||ei ||A ≤ 2
M −m M +m
i
(21.2.3)
||e0 ||A .
Ýòà îöåíêà, çàìåòèì, ìàëî îòëè÷àåòñÿ îò îöåíêè äëÿ ìåòîäà ñêîðåéøåãî ñïóñêà. Íî íå áóäåì ñïåøèòü ñ âûâîäàìè. Âçÿâ t = −(1 + ν)/(1 − ν) ïðè ν = m/M , ïîëó÷àåì
⇒ σ ≡ |t| +
(1 + ν)2 − (1 − ν)2 4ν t −1 = = (1 − ν)2 (1 − ν)2 2
p
⇒
√ √ 2 √ 1 + ν + 2 ν ν) ν (1 + 1 + √ . t2 − 1 = = = 1−ν 1−ν 1− ν
Ó÷èòûâàÿ, ÷òî 2 |Ti (t)| ≥ 1/σ i, íàõîäèì
||ei ||A ≤ 2
1− 1+
p m !i
pM m M
||e0 ||A .
(21.2.4)
Îöåíêà (21.2.4) ñóùåñòâåííî ëó÷øå îöåíêè (21.2.3). Òàêèì îáðàçîì, ìû ïîëó÷àåì êîëè÷åñòâåííîå ïîäòâåðæäåíèå òîìó, ÷òî êàæåòñÿ èíòóèòèâíî ÿñíûì: ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ ñõîäèòñÿ áûñòðåå ìåòîäà ñêîðåéøåãî ñïóñêà.
21.3
Áîëåå òî÷íûå îöåíêè
Îöåíêà (21.2.4) ïîêàçûâàåò, ÷òî ñõîäèìîñòü óõóäøàåòñÿ äëÿ ïëîõî îáóñëîâëåííûõ ìàòðèö. Ïîïðîáóåì îáúÿñíèòü, ïî÷åìó îíà ìîæåò îñòàâàòüñÿ âåñüìà áûñòðîé è â òàêèõ ñëó÷àÿõ. 1 Ïóñòü λ1 ≥ . . . ≥ λn ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A = A∗ > 0 , è ïðåäïîëîæèì, ÷òî λ1 ≫ λ2 .  ýòîì ñëó÷àå ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ âåäåò ñåáÿ òàê, êàê áóäòî ÷èñëî îáóñëîâëåííîñòè ìàòðèöû ðàâíî λ2 /λn .  ñàìîì äåëå, âîñïîëüçóåìñÿ îöåíêîé (21.1.1) è â êà÷åñòâå f ∈ Fi âîçüìåì ïîëèíîì 2 −λn Ti−1 ( 2 λ−λ λ λ2 −λn ) 1− f (λ) = ⇒ n λ Ti−1 (− λλ22 +λ ) 1 −λn q i−1 λn 1 − λ2 q ||e0 ||A . (21.3.5) ||ei ||A ≤ 2 λn 1 + λ2 Åñëè λn ≪ λn−1 , òî êàðòèíà ñõîäèìîñòè òàêàÿ æå: ìåòîä èãíîðèðóåò ìëàäøåå ñîáñòâåííîå çíà÷åíèå è âåäåò ñåáÿ òàê, áóäòî ÷èñëî îáóñëîâëåííîñòè ðàâíî λ1 /λn−1 .  ýòîì ñëó÷àå, ïðàâäà, ïîÿâëÿåòñÿ íå çàâèñÿùèé îò i êîý èöèåíò, ðàâíûé ÷èñëó îáóñëîâëåííîñòè ìàòðèöû: i−1 q λn−1 λ1 1 − λ1 q ||e0 ||A . ||ei ||A ≤ 2 (21.3.6) λn 1 + λn−1 λ1 21.4
Ìåòîä Àðíîëüäè è ìåòîä Ëàíöîøà
×òîáû ëó÷øå ïîíÿòü ñâîéñòâà ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ, ïîëåçíî îáðàòèòü âíèìàíèå íà åãî òåñíóþ ñâÿçü ñ âàæíûì äëÿ ïðàêòèêè ìåòîäîì âû÷èñëåíèÿ ñîáñòâåííûõ çíà÷åíèé è âåêòîðîâ ýðìèòîâûõ ìàòðèö, èçâåñòíûì êàê ìåòîä Ëàíöîøà.  íåýðìèòîâîì ñëó÷àå ìåòîä ìèíèìàëüíûõ íåâÿçîê ñâÿçûâàåòñÿ ñ ìåòîäîì âû÷èñëåíèÿ ñîáñòâåííûõ çíà÷åíèé è âåêòîðîâ íåýðìèòîâûõ ìàòðèö, èçâåñòíûì êàê ìåòîä Àðíîëüäè. Íà÷íåì ñ îïèñàíèÿ ìåòîäà Àðíîëüäè. Ôèêñèðóåì âåêòîð r0 6= 0 è ïðåäïîëîæèì, ÷òî âåêòîðû r0 , Ar0, ..., Ai−1r0 ëèíåéíî íåçàâèñèìû, à âåêòîð Air0 óæå ÿâëÿåòñÿ èõ ëèíåéíîé êîìáèíàöèåé ⇒ Ki = Ki (r0 , A) = Ki+1 (r0 , A).  ïîäïðîñòðàíñòâå Ki ðàññìîòðèì òàêîé îðòîíîðìèðîâàííûé áàçèñ q1 , . . . , qi, äëÿ êîòîðîãî span {q1, . . . , qj } = Kj äëÿ âñåõ 1 ≤ j ≤ i. 1 O. Axelsson, G. Lindskog, The rate of onvergen e of the onjugate gradient method,
48: 499523 (1986).
Numer. Math.,
Âåêòîð qj+1 ìîæíî ïîñòðîèòü ïóòåì îðòîãîíàëèçàöèè âåêòîðà A qj ê óæå íàéäåííûì âåêòîðàì q1 , . . . , qj . Ïîëîæèì Qj = [q1 . . . qj ]. Òîãäà ìàòðèöà
Aj = Q∗j A Qj íàçûâàåòñÿ ïðîåêöèîííûì ñóæåíèåì A íà Kj . Ïðè 1 ≤ j ≤ i ìàòðèöà Aj ÿâëÿåòñÿ âåäóùåé ïîäìàòðèöåé â Ai .  îáùåì ñëó÷àå ìàòðèöà Ai ÿâëÿåòñÿ âåðõíåé õåññåíáåðãîâîé (ïî÷åìó?). Åñëè A ýðìèòîâà, òî Ai ýðìèòîâà òðåõäèàãîíàëüíàÿ ìàòðèöà. Ïðîöåññ ïîñòðîåíèÿ ìàòðèö Aj è Qj ñâÿçûâàåòñÿ ñ èìåíåì Àðíîëüäè â îáùåì ñëó÷àå è ñ èìåíåì Ëàíöîøà â ýðìèòîâîì ñëó÷àå. Ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ Ki èíâàðèàíòíî îòíîñèòåëüíî A. Ïîýòîìó λ (Ai) ⊂ λ (A). Îäíàêî, ñîáñòâåííûå çíà÷åíèÿ ïðîåêöèîííûõ ñóæåíèé Aj ïðè j < i òàêæå ìîãóò íåïëîõî àïïðîêñèìèðîâàòü ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A. Óêàçàííûé ñïîñîá âû÷èñëåíèÿ ñîáñòâåííûõ çíà÷åíèé íàçûâàåòñÿ ìåòîäîì Àðíîëüäè â îáùåì ñëó÷àå è ìåòîäîì Ëàíöîøà â ýðìèòîâîì ñëó÷àå.  ìåòîäå Àðíîëüäè è â ìåòîäå Ëàíöîøà ñòðîÿòñÿ îðòîíîðìèðîâàííûå áàçèñû â ïîäïðîñòðàíñòâàõ Êðûëîâà. Çàìåòèì, ÷òî òå æå áàçèñû ìîæíî ïîëó÷èòü, àíàëèçèðóÿ èçâåñòíûå ìàòðè÷íûå ðàçëîæåíèÿ è íè÷åãî íå çíàÿ î ïîäïðîñòðàíñòâàõ Êðûëîâà. àññìîòðèì óíèòàðíî ïîäîáíîå ïðèâåäåíèå ìàòðèöû A ∈ Cn×n ê âåðõíåé õåññåíáåðãîâîé ìàòðèöå H :
A [q1 . . . qn ] = [q1 . . . qn ] H.
Âûáðàâ q1 ïðîèçâîëüíûì îáðàçîì (òîëüêî îäíî óñëîâèå: ||q1 ||2 = 1), ïðèðàâíèâàåì ïåðâûå ñòîëáöû:
A q1 = q1 h11 + q2 h21 . Äàëåå, q1 ⊥ q2 ⇒ h11 = (Aq1 , q1 ). Âåêòîð q2 ïîëó÷àåòñÿ íîðìèðîâêîé âåêòîðà A q1 − q1 h11 , åñëè îí íå ðàâåí íóëþ. Ïîñëå ýòîãî ïðèðàâíèâàåì âòîðûå ñòîëáöû è íàõîäèì q3 . È òàê äàëåå. Ïðîöåññ îáðûâàåòñÿ íà i-ì ñòîëáöå, åñëè ïðåòåíäåíò íà ðîëü qi+1 îêàçàëñÿ íóëåì.  ýòîì ñëó÷àå
A [q1 . . . qi] = [q1 . . . qi ] Hi, ãäå Hi âåäóùàÿ i × i-ïîäìàòðèöà â H . Èòàê, ìû èìååì åñòåñòâåííûé ñïîñîá ãåíåðàöèè ïîäïðîñòðàíñòâ
Lj = span {q1, . . . , qj },
äàþùèõ îñíîâó äëÿ ïîñòðîåíèÿ ðàçëè÷íûõ ïðîåêöèîííûõ ìåòîäîâ. Ôîðìàëüíî ìû îáîøëèñü áåç îïðåäåëåíèÿ ïîäïðîñòðàíñòâ Êðûëîâà. Íî åñëè âñå-òàêè âñïîìíèòü ýòî îïðåäåëåíèå, òî ïðèäåòñÿ êîíñòàòèðîâàòü, ÷òî Lj = Kj (q1, A).
21.5
×èñëà èòöà è âåêòîðû èòöà
Ïóñòü â ìåòîäå ñîïðÿæåííûõ ãðàäèåíòîâ ïîëó÷åíû íåíóëåâûå íåâÿçêè r0, ..., ri−1. Ïîñêîëüêó rj ⊥ Kj , íåíóëåâûå íåâÿçêè îáðàçóþò îðòîãîíàëüíóþ ñèñòåìó, à èòåðàöèè, åñòåñòâåííî, ïðåêðàùàþòñÿ, êàê òîëüêî ïîëó÷åíà íóëåâàÿ íåâÿçêà. Ïðîåêöèîííîå ñóæåíèå A íà Ki (r0 , A) îïðåäåëÿåòñÿ ñëåäóþùèì îáðàçîì: r r 0 i−1 Ai = Q∗i A Qi, Qi = [q1, . . . , qi ] = , ... , . (21.5.7) ||r0 ||2 ||ri−1||2
Ïóñòü θ1 ≥ . . . ≥ θi ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû Ai. Îáû÷íî èõ íàçûâàþò ÷èñëàìè èòöà. Åñëè Ai vj = θj vj , ||vj ||2 = 1, òî âåêòîð yj = Qi vj íàçûâàåòñÿ âåêòîðîì èòöà, îòâå÷àþùèì θj . Íàõîäèì: 0 = Q∗i (A Qi vj − θj Qj vj ) = Q∗i (A yj − θj yj ). Ñëåäîâàòåëüíî,
A yj − θj yj ⊥ Ki ,
1 ≤ j ≤ i.
Çàìåòèì, ÷òî ìàòðèöà Ai ÿâëÿåòñÿ òðåõäèàãîíàëüíîé (äîêàæèòå!), ïîýòîìó åå ñîáñòâåííûå çíà÷åíèÿ ëåãêî âû÷èñëÿþòñÿ ñ ïîìîùüþ èçâåñòíûõ ìåòîäîâ (îñîáåííî â ñëó÷àå, êîãäà i ≪ n). 21.6
Ñõîäèìîñòü ÷èñåë èòöà
Ïî÷åìó, íàïðèìåð, θ1 ≈ λ1 ? ×òîáû îòâåòèòü íà âîïðîñ, èñïîëüçóåì ïðåäñòàâëåíèå (Aφi−1 (A) r0, φi−1 (A) r0) (Ay, y) = max , θ1 = max y ∈ Ki (y, y) φi−1 (φi−1 (A) r0, φi−1 (A) r0) y 6= 0
ãäå ìàêñèìóì áåðåòñÿ ïî âñåì ïîëèíîìàì φi−1 ñòåïåíè íå âûøå i−1, òàêèì, ÷òî φi−1 (A) r0 6= 0. n P ξj zj ïî îðÎ÷åâèäíî, θ1 ≤ λ1 . Èñïîëüçóÿ ðàçëîæåíèå íåâÿçêè r0 = j=1
òîíîðìèðîâàííûì ñîáñòâåííûì âåêòîðàì ìàòðèöû A, íàõîäèì: n P λk |φi−1 (λk )|2 |ξk |2 (Aφi−1 (A) r0, φi−1 (A) r0) λ1 − θ1 ≤ λ1 − = λ1 − k=1 n P (φi−1 (A) r0, φi−1 (A) r0) |φi−1 (λk )|2 |ξk |2 k=1
=
n P
(λ1 − λk ) |φi−1 (λk )|2 |ξk |2
k=2
|φi−1 (λ1 )|2 |ξ1 |2
+
n P
k=2
|φi−1 (λk )|2 |ξk |2
≤ (λ1 − λn )
max |φi−1 (λk )|2
2≤k≤n
|φi−1 (λ1 )|2
γ,
ãäå
γ = γ (r0) =
n P
k=2
|ξk |2
|ξ1 |2
.
Ïîëó÷åííîå íåðàâåíñòâî îñòàåòñÿ â ñèëå äëÿ ëþáîãî ïîëèíîìà φi−1 ñòåïåíè íå âûøå i − 1. Èäåÿ: âçÿòü òàêîé ïîëèíîì, äëÿ êîòîðîãî çíà÷åíèå â òî÷êå λ1 ìíîãî áîëüøå çíà÷åíèé â òî÷êàõ λ2 , . . . , λn . Òàêèì ñâîéñòâîì îáëàäàåò, íàïðèìåð, ïîëèíîì ×åáûøåâà äëÿ îòðåçêà [λn, λ2 ]. Âûáîð 2λ − λ2 − λn λ2 + λn ψi−1 (λ) = Ti−1 / Ti−1 − λ2 − λn λ2 − λn ïðèâîäèò ê ñëåäóþùåé îöåíêå ÏåéäæàÊàíèýëÿ (ïðîâåðüòå):
λ1 − θ1 ≤ 21.7
(λ1 − λn ) 2 Ti−1 (1 + 2 µ)
γ (r0),
µ =
λ1 − λ2 . λ2 − λn
(21.6.8)
Âàæíîå ñâîéñòâî
Ïóñòü A = A∗ ∈ Cn×n ñ ïîìîùüþ óíèòàðíîé ìàòðèöû Q = [q1 . . . qn ] ïðèâîäèòñÿ ê ýðìèòîâîé òðåõäèàãîíàëüíîé ìàòðèöå α1 β1∗ β1 α2 β ∗ 2 ... ... ... ∗ Ai = Q A Q = . . . . .. .. .. ∗ βn−2 αn−1 βn−1 βn−1 αn
Ëåììà 21.7.1
Òîãäà åñëè βj 6= 0 ïðè 1 ≤ j ≤ i, òî qi+1 = πi (A) q1 äëÿ íåêîòîðîãî ïîëèíîìà πi ñòåïåíè i, êîòîðûé ñ òî÷íîñòüþ äî íîðìèðîâêè ñîâïàäàåò ñ õàðàêòåðèñòè÷åñêèì ïîëèíîìîì äëÿ Ai âåäóùåé ïîäìàòðèöû ïîðÿäêà i â ìàòðèöå A. Äîêàçàòåëüñòâî.
Ëåãêî âèäåòü, ÷òî
A [q1 . . . qi ] = [q1 . . . qi] Ai + βi qi+1 eTi ,
eTi = [0 . . . 0 1].
Îòñþäà î÷åâèäíî ñóùåñòâîâàíèå ïîëèíîìîâ πj (λ) òàêèõ, ÷òî qj+1 = πj (A) q1 ïðè 1 ≤ j ≤ i. Ïîëîæèì π0 (λ) = 1. Òîãäà èìååì
λ [π0 (λ), . . . , πi−1 (λ)] = [π0 (λ), . . . , πi−1 (λ)] Ai + βi πi (λ) eTi ,
èëè, ýêâèâàëåíòíî,
[π0 (λ), . . . , πi−1 (λ)] (Ai − λ I) = −βi πi (λ) eTi .
2
Åñëè ri = ψi (A) r0 6= 0, òî êîðíè ïîëèíîìà ψi (λ) ñîâïàäàþò ñ ñîáñòâåííûìè çíà÷åíèÿìè ìàòðèöû Ai , òî åñòü ñ ÷èñëàìè èòöà äëÿ ïðîåêöèîííîãî ñóæåíèÿ A íà Ki (r0 , A). 21.8
Ñâåðõëèíåéíàÿ ñõîäèìîñòü è èñ÷åçàþùèå ñîáñòâåííûå çíà÷åíèÿ
Ïîíÿòèå ñâåðõëèíåéíîé ñõîäèìîñòè â ñòðîãîì ñìûñëå, êîíå÷íî, íåïðèìåíèìî ê ïðîöåññó ñ êîíå÷íûì ÷èñëîì èòåðàöèé. Íî ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ îáëàäàåò íåêîòîðûìè åå ÷åðòàìè: îòíîøåíèå ωi ≡ ||ei ||A /||ei−1 ||A îáû÷íî (íå ìîíîòîííî) óáûâàåò (äëÿ ìåòîäà ñ ëèíåéíîé ñõîäèìîñòüþ ωi ≈ const). Îêàçûâàåòñÿ, â òî÷íîé àðè ìåòèêå ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ ÷åðåç íåêîòîðîå âðåìÿ íà÷èíàåò âåñòè ñåáÿ òàê, êàê áóäòî â ìàòðèöå A èñ÷åçëè êðàéíèå ñîáñòâåííûå çíà÷åíèÿ λ1 è λn , ïîñëå ýòîãî ÷åðåç íåêîòîðîå âðåìÿ îí íà÷èíàåò âåñòè ñåáÿ òàê, êàê áóäòî èñ÷åçëè äîïîëíèòåëüíî λ2 è λn−1, è òàê äàëåå. 2 Èñ÷åçíîâåíèå ñîáñòâåííîãî çíà÷åíèÿ ïðîèñõîäèò â òîò ìîìåíò, êîãäà îíî õîðîøî àïïðîêñèìèðóåòñÿ íåêîòîðûì ñîáñòâåííûì çíà÷åíèåì ïðîåêöèîííîãî ñóæåíèÿ, ïîðîæäàåìîãî (âèðòóàëüíî) ìåòîäîì Ëàíöîøà, ñòàðòóþùèì ñ âåêòîðà q1 = r0 /||r0 ||2 . àññìîòðèì ðàçëîæåíèå íåâÿçêè n X ri = ξ¯j zj j=1
ïî îðòîíîðìèðîâàííîìó áàçèñó ñîáñòâåííûõ âåêòîðîâ ìàòðèöû A è, ïðîäîëæàÿ èòåðàöèè, ìûñëåííî çàïóñòèì åùå îäèí èòåðàöèîííûé ïðîöåññ, ñòàðòóþùèé ñ íåâÿçêè n X r¯0 = ξ¯j zj . j=2
Òàêèì îáðàçîì, íàðÿäó ñ ïðèáëèæåíèÿìè xi+j , ïîÿâëÿþòñÿ ïðèáëèæåíèÿ x¯j , ïîðîæäàåìûå íîâûì èòåðàöèîííûì ïðîöåññîì. Ïîëîæèì
ei+j = xi+j − x,
e¯j = x¯j − x,
ãäå x èñêîìîå ðåøåíèå ñèñòåìû Ax = b.
2 A. van der Sluis, H.A. van der Vorst, The rate of onvergen e of onjugate gradients, 543560 (1986).
Numer. Math., 48:
(ÂàíäåðñëþèñÂàíäåðâîðñò). Ïóñòü λ1 ≥ . . . ≥ λn ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A = A∗ > 0 è θ1 ñòàðøåå ñîáñòâåííîå çíà÷åíèå ïðîåêöèîííîãî ñóæåíèÿ Ai . Òîãäà ïðè j = 0, 1, . . . èìååò ìåñòî íåðàâåíñòâî ||ei+j ||A ≤ ci ||¯ ej ||A , (21.8.9) Òåîðåìà 21.8.1
ãäå
Äîêàçàòåëüñòâî.
ri = r¯0 =
(λ1 − λk ) θ1 . ci = max 2≤k≤n (θ1 − λk ) λ1 Pn Ïóñòü r0 = k=1 ξk zk . Òîãäà
n X
k=1 n X
ψi (λk ) ξk zk , ri+j =
ψi (λk ) ξk zk , r¯j =
n X
(21.8.10)
ψi+j (λk ) ξk zk ,
k=1 n X
ψi (λk ) ψ¯j (λk )ξk zk ,
k=2
k=2
ãäå ψ¯j (λ) ïîëèíîì ñòåïåíè íå âûøå j . Ñîãëàñíî ëåììå 21.7.1, θ1 åñòü êîðåíü ïîëèíîìà ψi (λ), è ñëåäîâàòåëüíî, âûðàæåíèå 1 − λλ1 ψi (λ) Ψi (λ) = 1 − θλ1
ïðåäñòàâëÿåò ñîáîé ïîëèíîì ñòåïåíè i − 1, óäîâëåòâîðÿþùèé óñëîâèÿì Ψi (0) = 1 è Ψi (λ1 ) = 0. Âñëåäñòâèå òîãî, ÷òî ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ ìèíèìèçèðóåò A-íîðìó îøèáêè, íàõîäèì:
||ei+j ||2A
21.9
n X |ψi+j (λk )|2
n X 1 = |ξk | ≤ |Ψi (λk )|2 |ψ¯j (λk )|2 |ξk |2 λk λk k=1 k=2 n 1 − λk 2 X |ψi (λk )|2 ¯ λ1 |ψj (λk )|2 |ξk |2 = ci ||¯ ej ||2A . 2 ≤ max λ k 2≤k≤n (1 − |λk | θ1 ) k=2 2
ßâíûå è íåÿâíûå ïðåäîáóñëîâëèâàòåëè
Åñëè èòåðàöèîííûé ìåòîä äëÿ ñèñòåìû Ax = b íå ñïåøèò ñõîäèòüñÿ, òî îáû÷íî ïûòàþòñÿ ïðèìåíèòü åãî ê íåêîòîðîé ðàâíîñèëüíîé ñèñòåìå AC −1y = b. Ýòî è íàçûâàåòñÿ ïðåäîáóñëîâëèâàíèåì. Ïðè óìíîæåíèè íà ìàòðèöó AC −1 ïîñëåäîâàòåëüíî âûïîëíÿþòñÿ äâà äåéñòâèÿ: ðåøàåòñÿ íåêîòîðàÿ ñèñòåìà ñ ìàòðèöåé C ; âûïîëíÿåòñÿ óìíîæåíèå íà A.
Ëó÷øå âñåãî âçÿòü C = A (ýòî ãîâîðèò, êñòàòè, î òîì, ÷òî ñ ïîìîùüþ ïðåäîáóñëîâëèâàíèÿ ñõîäèìîñòü ìîæíî óñêîðèòü âñåãäà). Íî ýòîò âûáîð íå èìååò ïðàêòè÷åñêîãî ñìûñëà. Ìàòðèöà C íàçûâàåòñÿ íåÿâíûì ïðåäîáóñëîâëèâàòåëåì. Åñëè ïåðåõîäÿò ê ñèñòåìå AMy = b, òî M íàçûâàåòñÿ ÿâíûì ïðåäîáóñëîâëèâàòåëåì. Ïðè èñïîëüçîâàíèè ÿâíîãî ïðåäîáóñëîâëèâàòåëÿ âìåñòî ðåøåíèÿ ñèñòåìû ñ ìàòðèöåé C áóäåò âûïîëíÿòüñÿ óìíîæåíèå íà M . Ñ òî÷êè çðåíèÿ ïîñòðîåíèÿ ïðåäîáóñëîâëèâàòåëåé âàæíî èìåòü â âèäó, ÷òî C ≈ A (â îïðåäåëåííîì ñìûñëå), â òî âðåìÿ êàê M ≈ A−1 . 21.10
Ïðåäîáóñëîâëèâàíèå ýðìèòîâûõ ìàòðèö
 ñëó÷àå ýðìèòîâûõ ìàòðèö A è C ìàòðèöà AC −1, êàê ïðàâèëî, íå áóäåò ýðìèòîâîé. Îäíàêî, îíà îñòàåòñÿ ýðìèòîâîé â îáîáùåííîì ñìûñëå. Ìàòðèöû ìîæíî ðàññìàòðèâàòü êàê îïåðàòîðû â ïðîñòðàíñòâå ñî ñêàëÿðíûì ïðîèçâåäåíèåì, âûáèðàåìûì ñïåöèàëüíûì îáðàçîì, íàïðèìåð, òàê:
(x, y)D ≡ (Dx, y) äëÿ íåêîòîðîé ìàòðèöû D = D∗ > 0. Ìàòðèöà M íàçûâàåòñÿ D-ýðìèòîâîé, åñëè
(Mx, y)D = (x, My)D ∀ x, y ∈ Cn , è ïîëîæèòåëüíî D-îïðåäåëåííîé, åñëè (Mx, x)D > 0 äëÿ âñåõ x 6= 0. Ïóñòü A è C ýðìèòîâû ïîëîæèòåëüíî îïðåäåëåííûå ìàòðèöû. Òîãäà ëåãêî ïðîâåðèòü, ÷òî ìàòðèöà AC −1 ÿâëÿåòñÿ D-ýðìèòîâîé è ïîëîæèòåëüíî D-îïðåäåëåííîé ïðè âûáîðå D = C −1 . Ïîýòîìó ñèñòåìó AC −1x = b ìîæíî ðåøàòü ñ ïîìîùüþ îáû÷íîãî ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ, çàìåíèâ âñþäó îáû÷íîå ñêàëÿðíîå ïðîèçâåäåíèå (·, ·) íà (·, ·)C −1 :
r¯0 αi x¯i r¯i βi p¯i+1
= = = = = =
b − AC −1x¯0, p¯1 = r¯0; (C −1r¯i−1, r¯i−1) / (C −1AC −1p¯i , p¯i ), x¯i−1 + αi p¯i , r¯i−1 − αi AC −1p¯i, (¯ ri, r¯i) / (¯ ri−1, r¯i−1), r¯i + βi p¯i.
Äëÿ óäîáñòâà ñäåëàåì òàêóþ çàìåíó:
x¯i = Cxi,
r¯i = ri,
p¯i = C −1pi .
 èòîãå ïîëó÷àåòñÿ ñëåäóþùèé ïðåäîáóñëîâëåííûé ìåòîä ñîïðÿæåííûõ ãðàäèåíòîâ :
r0 αi xi ri βi pi+1
= = = = = =
b − Ax0, p1 = C −1r0; (ri−1, C −1ri−1)/(Api, pi), xi−1 + αi pi, ri−1 − αi Api, (ri, C −1ri)/(ri−1, C −1ri−1), C −1ri + βi pi.
(21.10.11)
Çàìåòèì, ÷òî xi ïðèáëèæåííîå ðåøåíèå, à âåêòîð ri = b − Axi åãî íåâÿçêà ïî îòíîøåíèþ ê èñõîäíîé ñèñòåìå. Åñëè C è A ýðìèòîâû ïîëîæèòåëüíî îïðåäåëåííûå ìàòðèöû, òî âñå ñîáñòâåííûå çíà÷åíèÿ ïðåäîáóñëîâëåííîé ìàòðèöû AC −1 ïîëîæèòåëüíû (ïî÷åìó?). Îáû÷íî ñòðåìÿòñÿ ê òîìó, ÷òîáû îíè ïîïàëè íà îòðåçîê [m, M] êàê ìîæíî ìåíüøåé äëèíû. Îäíàêî, â ñèëó èçó÷åííîé íàìè òåîðèè áûñòðàÿ ñõîäèìîñòü áóäåò íàáëþäàòüñÿ è â òîì ñëó÷àå, êîãäà áîëüøèíñòâî (íå âñå, íî ïî÷òè âñå!) ïðåäîáóñëîâëåííûõ ñîáñòâåííûõ çíà÷åíèé íàõîäèòñÿ íà ìàëîì îòðåçêå [m, M].  òàêèõ ñëó÷àÿõ äëÿ àíàëèçà ñõîäèìîñòè èñïîëüçóåòñÿ èçó÷åííîå â ãëàâå 5 ïîíÿòèå êëàñòåðîâ ñîáñòâåííûõ çíà÷åíèé. 21.11
Îöåíêè ÷èñëà èòåðàöèé
Ñîãëàñíî îöåíêå (21.2.4), íåðàâåíñòâî ||e| |A ≤ ε||e0 ||A áóäåò âûïîëíåíî ïðè óñëîâèè i 1 − κ−1/2 1 + κ−1/2 −1 , ≤ ε ⇔ i ≥ ln(2ε )/ ln 2 1 + κ−1/2 1 − κ−1/2 ãäå κ = M/m ñïåêòðàëüíîå ÷èñëî îáóñëîâëåííîñòè ìàòðèöû A = A∗ > 0. Çàìåòèì, ÷òî 2κ−1/2 1 + κ−1/2 2κ−1/2 = ln 1 + . ≤ ln 1 − κ−1/2 1 − κ−1/2 1 − κ−1/2 Çíà÷èò,
1 (21.11.12) ln(2ε−1)κ1/2 ⇒ ||ei ||A ≤ ε||e0 ||A . 2 Äàííàÿ îöåíêà ÷èñëà èòåðàöèé òî÷íà íà ìíîæåñòâå âñåõ ìàòðèö ñ çàäàííûì ÷èñëîì îáóñëîâëåííîñòè, íî, êàê ìû óæå çíàåì, äëÿ ìíîãèõ ÷àñòíûõ ìàòðèö èç ýòîãî êëàññà îíà ñèëüíî çàâûøåíà. Ïîýòîìó ïðè ïîñòðîåíèè ïðåäîáóñëîâëèâàòåëåé ñîâñåì íå îáÿçàòåëüíî ñòðåìèòüñÿ ê ìèíèìèçàöèè i≥
èìåííî ÷èñëà îáóñëîâëåííîñòè. Áîëåå ïîëåçíûì ìîæåò îêàçàòüñÿ, íàïðèìåð, ñëåäóþùåå K-÷èñëî îáóñëîâëåííîñòè:
(trA/n)n K(A) = . det A
(21.11.13)
Äëÿ íåâÿçîê ïðåäîáóñëîâëåííîãî ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ (21.10.11) èìåþò ìåñòî îöåíêè i/2 1/i ||r0 ||C −1 . ||ri ||C −1 ≤ (K(A)) − 1 Òåîðåìà 21.11.1
3
i ≥ log2 K(A) + log2 ε−1
Ñëåäñòâèå 21.11.1 Äîêàçàòåëüñòâî.
⇒ ||ri ||C −1 ≤ ε||r0 ||C −1 .
t − 1 ≤ (t/2)2 ∀ t ⇒ (K(A)1/i − 1)i/2 ≤ K(A)/2i. 2
Äëÿ ïðîñòîòû ðàññìîòðèì ñëó÷àé C = I . Ïóñòü íåâÿçêè r0 , ..., ri íåíóëåâûå. Òîãäà èç ðàñ÷åòíûõ îðìóë ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ (19.8.6) ïîëó÷àåì Äîêàçàòåëüñòâî òåîðåìû.
Api =
1 (ri−1 − ri ), αi
Api+1 =
1 αi+1
(ri − ri+1),
1 ARi+1 = Ri+1Ti+1 − ri+1[0...01]⊤, αi+1 1 β α1 − α11
Ti+1
=
− α11 + αβ11 − α12
1 α2
− αβ22 + αβ22 ...
1 α3
− αβ33 .... 1 − αi−1
1 αi
Api+1 = Ari + βi Api
⇒
Ri+1 = [r0, r1, ..., ri],
... + αβi−1 i−1 − α1i
− αβii 1 αi+1 +
βi αi
, i ≥ 1.
 ñèëó îðòîãîíàëüíîñòè íåâÿçîê ìàòðèöà Ti+1 èìååò òå æå ñîáñòâåííûå çíà÷åíèÿ, ÷òî è ïðîåêöèîííîå ñóæåíèå Ai+1 âèäà (21.5.7). Ïóñòü m = i + 1. Íàõîäèì: i m Y Y ||ri ||22 1 . , βj = det Tm = αj ||r0 ||22 j=1
j=1
Äàëåå, îáîçíà÷èâ ÷åðåç f (a1 , ..., am) îòíîøåíèå ñðåäíåãî àðè ìåòè÷åñêîãî ê ñðåäíåìó ãåîìåòðè÷åñêîìó ÷èñåë a1 , ..., am è âûáðàâ ïðîèçâîëüíîå ÷èñëî 0 < θ < 1, äëÿ B ≡ (K(Tm))1/m ïîëó÷àåì 2 1/m 1 1 1 − θ β θ β ||r || i 1 i 2 B = (1 − θ)1/mf , ..., , + θ1/mf , ..., , , α1 αi αm α1 αi αm ||r0 ||22 3 I. E. Kaporin, New onvergen e results and pre onditioning strategies for the onjugate gradient method,
Numer. Linear Algebra with Appl.,
vol. 1, no. 2, 179210 (1994).
îòêóäà ñëåäóåò, ÷òî
B ≥ (1 − θ)
1/m
+θ
1/m
||ri ||22 ||r0 ||22
1/m
||ri ||22 ≤ ⇒ ||r0 ||22
B − (1 − θ)1/m θ1/m
Ïîñëå ìèíèìèçàöèè ïðàâîé ÷àñòè ïî θ ïîëó÷àåì íåðàâåíñòâî i/2 1/i ||r0 ||2 . ||ri ||2 ≤ (K(Tm) − 1
m
.
Îñòàåòñÿ äîêàçàòü, ÷òî K(Tm) ≤ K(A). Äëÿ ýòîãî çàìåòèì, ÷òî T = Tm T S ÿâëÿåòñÿ âåäóùåé ïîäìàòðèöåé ïîðÿäêà m = i+1 â ìàòðèöå A˜ = , S∗ H óíèòàðíîïîäîáíîé èñõîäíîé ìàòðèöå A. Äëÿ áëî÷íî äèàãîíàëüíîé ìàòðèT 0 íàõîäèì: trA = trD è det D−1 A ≤ 1 ⇒ K(A) ≥ K(D). öû D = 0 H Îáîçíà÷èì µ1 , ..., µm è µm+1 , ..., µn ñîáñòâåííûå çíà÷åíèÿ áëîêîâ T è H . Ïóñòü s = (µ1 + ... + µm )/m. Òîãäà
K(D) = (f (µ1, ..., µn))n = ((f (s, ..., s, µm+1, ..., µn))n(f (µ1, ..., µm))m ≥ ≥ (f (µ1, ..., µm))m = K(T ). 2
Çàäà÷è
1. Ïóñòü 0 < m ≤ a ≤ b ≤ M è èçâåñòíî, ÷òî âñå ñîáñòâåííûå çíà÷åíèÿ ýðìèòîâîé ïîëîæèòåëüíî îïðåäåëåííîé ìàòðèöû A ïðèíàäëåæàò îòðåçêó [a, b], çà èñêëþ÷åíèåì k ñîáñòâåííûõ çíà÷åíèé íà îòðåçêå [m, a] è l ñîáñòâåííûõçíà÷åíèé íà îòðåçêå [b, M]. Ïîêàæèòå, ÷òî äëÿ A-íîðì îøèáîê â ìåòîäå ñîïðÿæåííûõ ãðàäèåíòîâ âûïîëíÿþòñÿ íåðàâåíñòâà p a !i−k−l k 1− b M p ||ei ||A ≤ 2 ||e0 ||A . m 1 + ab 2. Ïóñòü A ýðìèòîâà ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà ïîðÿäêà n ñ åäèíè÷íîé ãëàâíîé äèàãîíàëüþ. Äîêàæèòå, ÷òî äëÿ ëþáîé ïîëîæèòåëüíî îïðåäåëåííîé äèàãîíàëüíîé ìàòðèöû D
cond2 (A) ≤ n cond2 (DAD). 3. Äîêàæèòå, ÷òî äëÿ èòåðàöèé ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ íåðàâåíñòâî ||ri ||2 ≤ ε||r0 ||2 âûïîëíÿåòñÿ ïðè âñåõ i ≥ k(ε), ãäå k(ε) ≤ c ln ε−1/ ln ln ε−1 è c íå çàâèñèò îò ε. (Èñïîëüçóéòå òåîðåìó 21.11.1 è íåðàâåíñòâî t − 1 ≤ (σ − 1)σ−1 (t/σ)σ , σ, t > 1.)
ëàâà 22
22.1
Îïåðàòîðíûå óðàâíåíèÿ
àññìîòðèì îáùåå óðàâíåíèå Au = f , ãäå A : U → F çàäàííûé ëèíåéíûé îïåðàòîð, à U è F íîðìèðîâàííûå (â îáùåì ñëó÷àå áåñêîíå÷íîìåðíûå) ïðîñòðàíñòâà. Ïðåæäå ÷åì ãîâîðèòü î ìåòîäàõ ïðèáëèæåííîãî ðåøåíèÿ, íåîáõîäèìî ïðîÿñíèòü âîïðîñû ñóùåñòâîâàíèÿ è åäèíñòâåííîñòè ðåøåíèé. Íà÷íåì ñ ïðèìåðà:
−u′′ (x) = f (x), 0 < x < 1,
u(0) = u(1) = 0.
(22.1.1)
Êàê îïðåäåëèòü U è F ? Î÷åâèäíûé âûáîð ïðîñòðàíñòâà U óíêöèè êëàññà C 2 [0, 1] ñ äîïîëíèòåëüíûìè êðàåâûìè óñëîâèÿìè u(0) = u(1) = 0. Ïðîñòðàí òâî F îáÿçàíî ñîäåðæàòü îáðàç AV ìîæíî âçÿòü, íàïðèìåð, F = C[0, 1].  êà÷åñòâå íîðìû â U è F ìîæíî âçÿòü, íàïðèìåð, C -íîðìó. 1 Åäèíñòâåííîñòü ðåøåíèÿ ñëåäóåò èç åäèíñòâåííîñòè ðåøåíèÿ îäíîðîäíîãî óðàâíåíèÿ u′′ = 0, 0 < x < 1, u(0) = u(1) = 0.  äàííîì ñëó÷àå ðåøåíèå ñóùåñòâóåò äëÿ ëþáîé ïðàâîé ÷àñòè f ∈ F (äîêàæèòå). ×òîáû ïîñòðîèòü ìåòîä ïðèáëèæåííîãî ðåøåíèÿ, âûáåðåì íà [0, 1] ðàâíîìåðíóþ ñåòêó 0 = x0 < x1 < ... < xn < xn+1 = 1 ñ øàãîì h = 1/(n + 1). Åñëè u(x) ∈ C 4 , òî, èñïîëüçóÿ ðÿä Òåéëîðà, íàõîäèì
u′′ (xi) =
u(xi−1) − 2u(xi) + u(xi+1) + O(h2 ). 2 h
Äëÿ ïîëó÷åíèÿ ïðèáëèæåííûõ çíà÷åíèé ui = ui(n) ≈ u(xi), xi = xi(n), åñòåñòâåííî ðàññìîòðåòü ñèñòåìó óðàâíåíèé
u0 = un+1 = 0,
−ui−1 + 2ui − ui+1 = h2 f (xi), 1 ≤ i ≤ n.
(22.1.2)
Ïîãðåøíîñòè zi = zi (n) = ui (n) − u(xi), xi = xi(n), óäîâëåòâîðÿþò ñèñòåìå
z0 = zn+1 = 0, 1 Ïðè ýòîì
U
−zi−1 + 2zi − zi+1 = O(h4 ).
íå áóäåò áàíàõîâûì -ïî÷åìó?
227
Îòñþäà zi (n) = O(1/n2 ) (äîêàæèòå!). Çàìåòèì, ÷òî äëÿ ìíîãèõ f ∈ F óñëîâèå u ∈ C 4 íå âûïîëíÿåòñÿ. Áóäåò ëè ïîëó÷åííûé âûøå ìåòîä ñõîäèòüñÿ è â ýòîì ñëó÷àå? Êðîìå òîãî, ïî çíà÷åíèÿì â óçëàõ xi ìîæíî ïðîèíòåðïîëèðîâàòü çíà÷åíèÿ â äðóãèõ òî÷êàõ ˜n (x) ≈ u(x). Åñòåñòâåííî ïîòðåáîîòðåçêà [0, 1], ïîëó÷èâ ïðèáëèæåíèå u âàòü, ÷òîáû u ˜n ∈ U ∀ n. Ìîæíî ëè óòâåðæäàòü, ÷òî u˜n → u? 22.2
Ñëàáûå ðåøåíèÿ
Îòâåòû íà âîïðîñû òàêîãî ðîäà ìîæíî ïîëó÷àòü â ðàìêàõ îáùåé ñõåìû, îðìèðóþùåé ìåòîä êîíå÷íûõ ýëåìåíòîâ è ïîçâîëÿþùåé ðàññìàòðèâàòü áîëåå îáùèé êëàññ ðåøåíèé òàê íàçûâàåìûå ñëàáûå ðåøåíèÿ. R1 Èäåÿ çàêëþ÷àåòñÿ â ñëåäóþùåì. Ïóñòü (u, v) = u(x)v(x)dx. Òîãäà â 0
ñëó÷àå óðàâíåíèÿ (22.1.1) î÷åâèäíî, ÷òî (−u , v) = (u′ , v ′), åñëè óíêöèÿ v(x) ïîä÷èíÿåòñÿ êðàåâûì óñëîâèÿì v(0) = v(1) = 0 è èìååò êóñî÷íîíåïðåðûâíóþ ïðîèçâîäíóþ. Ïðîñòðàíñòâî òåñòîâûõ óíêöèé v îáîçíà÷èì ÷åðåç V . Òàêèì îáðàçîì, èç (22.1.1) âûòåêàåò, ÷òî ′′
(u′, v ′) = (f, v) ∀ v ∈ V.
(22.2.3)
Óðàâíåíèå (22.2.3) îòíîñèòåëüíî íåèçâåñòíîé óíêöèè u ∈ V ìîæíî ðàññìàòðèâàòü êàê îñíîâíîå óðàâíåíèå, äàþùåå áîëåå øèðîêèé êëàññ ðåøåíèé, ÷åì èñõîäíîå óðàâíåíèå. Åãî ðåøåíèÿ è íàçûâàþòñÿ ñëàáûìè ðåøåíèÿìè èñõîäíîé çàäà÷è.  îáùåì ñëó÷àå çàäà÷à î ñëàáûõ ðåøåíèÿõ ñòàâèòñÿ òàêèì îáðàçîì: ˜ è äëÿ f ∈ V˜ òðåáóåòñÿ çàäàíà áèëèíåéíàÿ îðìà a(u, v), u, v ∈ V ⊂ V íàéòè u èç óðàâíåíèÿ
a(u, v) = (f, v),
∀ v ∈ V.
(22.2.4)
˜ îïðåäåëÿåòñÿ îñîáåííîñòÿìè ðàññìàòðèâàåìîé Âûáîð ïðîñòðàíñòâ V è V çàäà÷è. 22.3
Ìåòîä êîíå÷íûõ ýëåìåíòîâ
Ïóñòü îáëàñòü îïðåäåëåíèÿ èñêîìîé óíêöèè ðàçáèâàåòñÿ íà ïîäîáëàñòè Si áåç îáùèõ âíóòðåííèõ òî÷åê, íà êàæäîé ïîäîáëàñòè Si èêñèðóåòñÿ êîíå÷íàÿ ñèñòåìà ëèíåéíî íåçàâèñèìûõ ïðîñòûõ óíêöèé è ïðèáëèæåíèå u˜(x) ê èñêîìîé óíêöèè íà Si èùåòñÿ â âèäå èõ ëèíåéíîé êîìáèíàöèè, êîý èöèåíòû êîòîðîé îïðåäåëÿþòñÿ óñëîâèÿìè ãëàäêîñòè óíêöèè u ˜(x)
íà âñåé îáëàñòè îïðåäåëåíèÿ è óðàâíåíèåì âèäà (22.2.4) ïðè âûáîðå íåêîòîðîãî êîíå÷íîãî ìíîæåñòâà óíêöèé v .  òàêèõ ñëó÷àÿõ î ïîäîáëàñòè Si îáû÷íî ãîâîðÿò êàê î êîíå÷íîì ýëåìåíòå, à âñÿ ñõåìà íàçûâàåòñÿ ìåòîäîì êîíå÷íûõ ýëåìåíòîâ. Äëÿ çàäà÷è (22.2.3) â êà÷åñòâå êîíå÷íûõ ýëåìåíòîâ ìîæíî âçÿòü îòðåçêè Si = [xi, xi+1], íà êîòîðûõ ïðèáëèæåíèå ê ðåøåíèþ u(x) èùåòñÿ â âèäå
u˜(x) = αi Pi (x) + βi Qi(x),
Pi (x) =
bi − x , bi − ai
Qi(x) =
x − ai . bi − ai
 ñèëó íåïðåðûâíîñòè óíêöèè u ˜(x) ïîëó÷àåì, ÷òî αi = βi−1 = u˜i ≡ ui. Êðîìå òîãî, ÿñíî, ÷òî n X Qi−1(x), xi−1 ≤ x ≤ xi, u˜(x) = uiφi (x), φi (x) = 1 ≤ i ≤ n. Pi (x), xi ≤ x ≤ xi+1, i=1
(22.3.5)  äàííîì ñëó÷àå êîý èöèåíòû ui îïðåäåëÿþòñÿ ñèñòåìîé ëèíåéíûõ àëãåáðàè÷åñêèõ óðàâíåíèé âèäà n X
(φ′j , φ′i)uj = (f, φi),
j=1
1 ≤ i ≤ n,
(22.3.6)
ïîëó÷àåìîé èç (22.2.3) ïðè v = vi, 1 ≤ i ≤ n. Ìàòðèöà êîý èöèåíòîâ äàííîé ñèñòåìû ëèøü ñêàëÿðíûì ìíîæèòåëåì îòëè÷àåòñÿ îò ìàòðèöû êîý èöèåíòîâ ñèñòåìû óðàâíåíèé (22.1.2) îòíîñèòåëüíî u1 , ..., un. 22.4
Àïïðîêñèìàöèÿ, óñòîé÷èâîñòü, ñõîäèìîñòü
Ïóñòü U è F áàíàõîâû ïðîñòðàíñòâà è A : U → F íåïðåðûâíî îáðàòèìûé ëèíåéíûé îïåðàòîð. àññìîòðèì îïåðàòîðíîå óðàâíåíèå Au = f , ïîñëåäîâàòåëüíîñòü êîíå÷íîìåðíûõ ïðîåêòîðîâ
Pn : U → Ln = im Pn ,
è ïðîåêöèîííîå óðàâíåíèå
Qn : F → L′n = im Qn
(QnAPn )un = Qn f, un = Pn un.
(22.4.7)
Ïðîåêöèîííûé ìåòîä ýòî ìåòîä ïîëó÷åíèÿ ïðèáëèæåííûõ ðåøåíèé óðàâíåíèÿ Au = f ïóòåì ðåøåíèÿ óðàâíåíèé âèäà (22.4.7). Ìåòîä íàçûâàåòñÿ ñõîäÿùèìñÿ, åñëè äëÿ âñåõ äîñòàòî÷íî áîëüøèõ n ïðîåêöèîííûå óðàâíåíèÿ îäíîçíà÷íî ðàçðåøèìû äëÿ ëþáîé ïðàâîé ÷àñòè f ∈ F è un → A−1 f ïðè n → ∞. Ïðè èññëåäîâàíèè ñõîäèìîñòè âàæíåéøèìè ÿâëÿþòñÿ ñëåäóþùèå äâà ñâîéñòâà:
• àïïðîêñèìàöèÿ: Pn u → u ∀ u ∈ U ,
Qn f → f ∀ f ∈ F .
• óñòîé÷èâîñòü: äëÿ âñåõ äîñòàòî÷íî áîëüøèõ n ||(Qn APn )u||F ≥ c ||Pn u||U
∀ u ∈ U,
c > 0.
Ïóñòü z ∈ U ðåøåíèå îïåðàòîðíîãî óðàâíåíèÿ Au = f . Åñëè ïðîåêöèîííûé ìåòîä îáëàäàåò ñâîéñòâîì óñòîé÷èâîñòè, òî äëÿ âñåõ äîñòàòî÷íî áîëüøèõ n âûïîëíÿåòñÿ íåðàâåíñòâî Ëåììà 22.4.1
||un − z||U ≤ (1 + c−1 ||Qn || ||A||) ||z − Pn z||U . Âû÷òåì QnAPn z = Qn APn z èç Qn APn un = Qn f . Òîãäà (QnAPn ) (un − Pn z) = QnA (z − Pn z). Âñëåäñòâèå óñòîé÷èâîñòè, äëÿ âñåõ äîñòàòî÷íî áîëüøèõ n îïåðàòîð Qn APn îñóùåñòâëÿåò îáðàòèìîå îòîáðàæåíèå ïîäïðîñòðàíñòâà im Pn íà ïîäïðîñòðàíñòâî im Qn. Ïîýòîìó Äîêàçàòåëüñòâî.
un − z = −(z − Pn z) + (QnAPn )−1 QnA (z − Pn z). 2 Ïóñòü ïðîåêöèîííûé ìåòîä ÿâëÿåòñÿ óñòîé÷èâûì è ||Qn || ||u − Pn u|| → 0. Òîãäà un → u. Ñëåäñòâèå 22.4.1
Åñëè ïðîåêöèîííûé ìåòîä îáëàäàåò ñâîéñòâàìè óñòîé÷èâîñòè è àïïðîêñèìàöèè, òî îí ÿâëÿåòñÿ ñõîäÿùèìñÿ. Òåîðåìà 22.4.1
Ïî òåîðåìå ÁàíàõàØòåéíãàóçà, ||Qn || ≤ M ≤ +∞. Îñòàåòñÿ ó÷åñòü ñëåäñòâèå 22.4.1. 2 Îòìåòèì òàêæå ñëåäóþùåå ñâîéñòâî êâàçèîïòèìàëüíîñòè: Äîêàçàòåëüñòâî.
||un − u|| ≤ C inf ||v − u||, v∈Ln
22.5
C > 0.
Ìåòîä àëåðêèíà
Íà ïðàêòèêå ïðîåêöèîííûé ìåòîä äëÿ óðàâíåíèÿ Au = f ÷àùå âñåãî ðåàëèçóåòñÿ êàê ìåòîä àëåðêèíà: âûáèðàþòñÿ ëèíåéíî íåçàâèñèìûå óíêöèè φ1 , ..., φn, à ïðèáëèæåííîå ðåøåíèå âèäà un = α1 φ1 + ... + αn φn íàõîäèòñÿ èç óðàâíåíèé àëåðêèíà: n X j=1
(Aφj , φi)αj = (f, φi),
1 ≤ i ≤ n.
(22.5.8)
 îáùåì ñëó÷àå ñêîáêè îáîçíà÷àþò áèëèíåéíóþ èëè ïîëóòîðàëèíåéíóþ îðìó (v, u), îïðåäåëåííóþ ïðè âñåõ u ∈ U è v ∈ F . Ìàòðèöà ñ ýëåìåíòàìè aij = (Aφj , φi ) íàçûâàåòñÿ ìàòðèöåé ìîìåíòîâ.
Áèëèíåéíàÿ èëè ïîëóòîðàëèíåéíàÿ îðìà (v, u) íàçûâàåòñÿ íåâûðîæäåííîé, åñëè ∀ u ∃ v : (v, u) 6= 0 è ∀ v ∃ u : (v, u) 6= 0. Ïàðà íîðìèðîâàííûõ ïðîñòðàíñòâ U, F , ñíàáæåííàÿ íåâûðîæäåííîé áèëèíåéíîé (ïîëóòîðàëèíåéíîé) îðìîé (v, u), u ∈ U, v ∈ F , íàçûâàåòñÿ äóàëüíîé ïàðîé.  ñëó÷àå äóàëüíîé ïàðû ïðîñòðàíñòâ U, F ìîæíî äîêàçàòü,÷òî äëÿ ëþáîé ëèíåéíî íåçàâèñèìîé ñèñòåìû φ1 , ..., φn ∈ U ñóùåñòâóåò äóàëüíàÿ ñèñòåìà ψ1 , ..., ψn ∈ F äóàëüíîñòü îçíà÷àåò, ÷òî (ψi, φj ) = δij (1 ïðè i = j è 0 ïðè i 6= j ). Ïðîåêòîðû Pn è Qn , ñîîòâåòñòâóþùèå ìåòîäó àëåðêèíà, ìîæíî îïðåäåëèòü, íàïðèìåð,òàêèì îáðàçîì:
Pn u =
n X
φj (ψj , u),
Qn v =
j=1
Äåéñòâèòåëüíî, çàïèøåì un = Pn un =
n X
ψi (v, φi).
i=1
n P
αj φj . Òîãäà
j=1
Qn APn un =
n X
ψi
i=1
Ëåììà 22.5.1
÷òî
n X
αj (Aφj , φi ),
Qn f =
j=1
X
ψi (f, ψi)
i=1
⇒
(22.5.8).
Ïóñòü îïåðàòîð A : U → F è äóàëüíàÿ ïàðà U, F òàêîâû,
c1 ||u||2U ≤ (Au, u) ≤ c2 ||Au||F ||u||U
∀ u ∈ U,
c1 , c2 > 0.
Òîãäà ñîîòâåòñòâóþùèé ìåòîäó àëåðêèíà ïðîåêöèîííûé ìåòîä ÿâëÿåòñÿ óñòîé÷èâûì. Äîêàçàòåëüñòâî.
Äîñòàòî÷íî çàìåòèòü, ÷òî
(QnAPn u, Pn u) = (APn u, Pnu). 22.6
2
Êîìïàêòíûå âîçìóùåíèÿ
Íàïîìíèì, ÷òî ëèíåéíûé íåïðåðûâíûé îïåðàòîð K : U → F íàçûâàåòñÿ êîìïàêòíûì, åñëè äëÿ ëþáîé îãðàíè÷åííîé ïîñëåäîâàòåëüíîñòè un ∈ U èç ïîñëåäîâàòåëüíîñòè Aun ∈ F ìîæíî âûäåëèòü ñõîäÿùóþñÿ ïîäïîñëåäîâàòåëüíîñòü.
Ïóñòü U è F áàíàõîâû ïðîñòðàíñòâà, A : U → F è B : U → F ëèíåéíûå íåïðåðûâíî îáðàòèìûå îïåðàòîðû è ïðè ýòîì îïåðàòîð K = B − A ÿâëÿåòñÿ êîìïàêòíûì. Òîãäà ëþáîé ïðîåêöèîííûé ìåòîä ñî ñâîéñòâàìè àïïðîêñèìàöèè è óñòîé÷èâîñòè äëÿ îïåðàòîðà A îáëàäàåò òåìè æå ñâîéñòâàìè è äëÿ îïåðàòîðà B .
Òåîðåìà 22.6.1
Ïóñòü Pn : U → U è Qn : F → F ïðîåêòîðû äàííîãî ìåòîäà, An = QnAPn è Kn = Qn KPn. Ñîãëàñíî óñëîâèþ òåîðåìû, ||An u|| ≥ ||Pn u|| ∀ u ∈ U . Îò ïðîòèâíîãî, äîïóñòèì, ÷òî ñóùåñòâóåò ïîñëåäîâàòåëüíîñòü un = Pn un òàêàÿ, ÷òî Äîêàçàòåëüñòâî.
||(An + Kn )un|| → 0,
||un || = 1.
(22.6.9)
Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî ïîñëåäîâàòåëüíîñòü Kun ñõîäèòñÿ. Ïóñòü Kun → v ⇒ A−1 Kun → A−1 v ⇒ −1 A−1 n Kn un → A v.
(22.6.10)
Ïîñëåäíåå ïðîâåðÿåòñÿ íåïîñðåäñòâåííî: −1 −1 −1 −1 −1 A−1 n Kn un − A v = (An Qn Kn un − An Qn v) + (An Qn v − A v).
Ïîñëåäîâàòåëüíîñòü â ïåðâûõ ñêîáêàõ ñòðåìèòñÿ ê íóëþ, ïîòîìó ÷òî íîðìà ||A−1 n Qn || îãðàíè÷åíà ðàâíîìåðíî ïî n. Ïîñëåäîâàòåëüíîñòü âî âòîðûõ ñêîáêàõ ñõîäèòñÿ ê íóëþ, òàê êàê ïðîåêöèîííûé ìåòîä äëÿ óðàâíåíèÿ Au = v ÿâëÿåòñÿ ñõîäÿùèìñÿ. Âñëåäñòâèå (22.6.9) è â ñèëó óñòîé÷èâîñòè (I + A−1 n Kn )un → 0. Èç (22.6.10) âûòåêàåò, ÷òî un → u = −A−1 v . Ñëåäîâàòåëüíî,
(A + K)u = 0
⇒
u = 0,
÷òî ïðîòèâîðå÷èò ðàâåíñòâó ||u|| = 1. 2 22.7
Ôîðìû è îïåðàòîðû
Çàäà÷ó (22.2.4) î ñëàáûõ ðåøåíèÿõ ìîæíî çàïèñàòü òàêæå êàê íåêîòîðîå îïåðàòîðíîå óðàâíåíèå. ˆ ïðîñòðàíñòâî ëèíåéíûõ óíêöèîíàëîâ íà V âèäà uˆ(v) = Ïóñòü U (u, v), ãäå u ∈ V , è ïóñòü Fˆ ïðîñòðàíñòâî ëèíåéíûõ óíêöèîíàëîâ íà V âèäà fˆ(v) = (f, v), ãäå f ∈ V˜ . Òîãäà îïåðàòîð A : Uˆ → Fˆ îïðåäåëÿåòñÿ ïðàâèëîì (u, v) 7→ a(u, v), à óðàâíåíèå (22.2.4) ïðèíèìàåò îïåðàòîðíûé âèä Aˆ u = fˆ. Òàêèì îáðàçîì, òåîðèÿ ïðîåêöèîííûõ ìåòîäîâ ïðèìåíèìà è ê çàäà÷å î ñëàáûõ ðåøåíèÿõ.  âîçíèêàþùèõ åñòåñòâåííûì îáðàçîì ïîñòàíîâêàõ íîðìèðîâàííûå ïðîñòðàíñòâà îáû÷íî íåïîëíûå, íî èõ âñåãäà ìîæíî âëîæèòü â íåêîòîðîå áàíàõîâî ïðîñòðàíñòâî â ñèëó èçâåñòíîé òåîðåìû î ïîïîëíåíèè ïðîñòðàíñòâà: ëþáîå íîðìèðîâàííîå ïðîñòðàíñòâî ÿâëÿåòñÿ ïîäïðîñòðàíñòâîì íåêîòîðîãî áàíàõîâà ïðîñòðàíñòâà.
22.8
Ñóùåñòâîâàíèå ðåøåíèé
Ïðè èçó÷åíèè çàäà÷è (22.2.4) ïîëåçíî èìåòü â âèäó ñëåäóþùóþ òåîðåìó èññà.
Ïóñòü H ãèëüáåðòîâî ïðîñòðàíñòâî ñî ñêàëÿðíûì ïðîèçâåäåíèåì (·, ·). Òîãäà äëÿ ëþáîãî îãðàíè÷åííîãî ëèíåéíîãî óíêöèîíàëà f (x) íà H ñóùåñòâóåò ýëåìåíò u ∈ H òàêîé, ÷òî (x, u) = f (x). Òåîðåìà 22.8.1
Äîêàçàòåëüñòâî âûòåêàåò èç òåîðåìû î òîì, ÷òî â ñëó÷àå çàìêíóòîãî ëèíåéíîãî ïîäïðîñòðàíñòâà L ⊂ H äëÿ ëþáîãî âåêòîðà x ∈ H ñóùåñòâóåò è åäèíñòâåííî ðàçëîæåíèå x = z+h, ãäå z ∈ L è h ⊥ L (h ïåðïåíäèêóëÿð, îïóùåííûé èç x íà L).  ñèëó îãðàíè÷åííîñòè ëèíåéíîãî óíêöèîíàëà f ïîäïðîñòðàíñòâî L = {v ∈ H : f (v) = 0} ÿâëÿåòñÿ çàìêíóòûì. Ïóñòü 0 6= h ⊥ L. Òîãäà f (h) 6= 0 è x − (f (x)/f (h))h ∈ L ∀ x ∈ H . Ïîýòîìó
x = z + αh, α = (z, h)/(h, h). Ïîëîæèì u = (x, u) =
f (h) (h,h) h.
Òîãäà
f (h) (z, h) = αf (h) = f (x). 2 (h, h)
Ïóñòü áèëèíåéíàÿ îðìà çàäà÷è (22.2.4) òàêîâà, ÷òî äëÿ íåêîòîðûõ ïîëîæèòåëüíûõ êîíñòàíò c1 , c2 > 0
Ñëåäñòâèå 22.8.1
c1 ||v||2V ≤ a(v, v) ≤ c2 ||v||2V .
(22.8.11)
Ïðåäïîëîæèì òàêæå, ÷òî äëÿ c3 > 0
|(f, v)| ≤ c3 ||v||V
(22.8.12)
∀ v∈V
è ïðîñòðàíñòâî V ïîëíîå. Òîãäà çàäà÷à (22.2.4) èìååò è ïðèòîì åäèíñòâåííîå ðåøåíèå. Äëÿ äîêàçàòåëüñòâà äîñòàòî÷íî çàìåòèòü, ÷òî a(u, v) çàäàåò íà V ñêàëÿðíîå ïðîèçâåäåíèå, ïðåâðàùàþùåå V â ãèëüáåðòîâî ïðîñòðàíñòâî.  çàäà÷å (22.2.3) a(u, v) = (u′, v ′ ), à V ïîïîëíåíèå ïðîñòðàíñòâà óíêöèé u(x) ∈ C 1 ñ êðàåâûìè óñëîâèÿìè u(0) = u(1) = 0 îòíîñèòåëüíî íîðìû p p ||u||V ≡ (u, u) + (u′, u′). Åñëè u ∈ C , òî èç êðàåâûõ óñëîâèé âûòåêàåò, ÷òî u(x) = 1
R1 u2(x) ≤ (u′(t))2dt ⇒ (u, u) ≤ (u′, u′) ⇒ (22.8.11). 0
Rx 0
u′(t)dt
⇒
Àíàëîãè÷íûå ïîñòðîåíèÿ ïîçâîëÿþò äîêàçàòü ñóùåñòâîâàíèå ñëàáûõ ðåøåíèé â áîëåå îáùåé çàäà÷å
(a(x)u′)′ = f (x),
0 < x < 1,
u(0) = u(1) = 0.
(22.8.13)
Ñîîòâåòñòâóþùàÿ çàäà÷à î ñëàáûõ ðåøåíèÿõ èìååò âèä
(a(x)u′, v ′) = (f, v) ∀ v ∈ V,
(22.8.14)
è ðàññìàòðèâàåòñÿ â ïðåäïîëîæåíèè, ÷òî a(x) êóñî÷íî-íåïðåðûâíàÿ óíêöèÿ, óäîâëåòâîðÿþùàÿ íåðàâåíñòâó a(x) ≥ a0 > 0 ïðè 0 ≤ x ≤ 1. 22.9
Òåîðèÿ èññàÔðåäãîëüìà
Åñëè A êâàäðàòíàÿ ìàòðèöà, òî óðàâíåíèå Ax = b èìååò ðåøåíèå äëÿ ëþáîé ïðàâîé ÷àñòè b â òîì è òîëüêî òîì ñëó÷àå, êîãäà kerA = 0. Òî æå âåðíî è äëÿ øèðîêîãî êëàññà îïåðàòîðíûõ óðàâíåíèé â ñëó÷àå îïåðàòîðîâ âèäà A = I − K , ãäå K : X → X êîìïàêòíûé îïåðàòîð íà áàíàõîâîì ïðîñòðàíñòâå X . Ïðåæäå âñåãî çàìåòèì, ÷òî kerA çàìêíóòîå ïîäïðîñòðàíñòâî êîíå÷íîé ðàçìåðíîñòè.  ñàìîì äåëå, kerA ⊂ imK , à ñ åðà â áåñêîíå÷íîìåðíîì ïðîñòðàíñòâå íå ÿâëÿåòñÿ êîìïàêòíûì ìíîæåñòâîì. Ïîñêîëüêó ïðîèçâåäåíèå êîìïàêòíîãî è îãðàíè÷åííîãî îïåðàòîðîâ ÿâëÿåòñÿ êîìïàêòíûì îïåðàòîðîì, êàæäîå èç ÿäåð kerAk ïðè k = 1, 2, ... êîíå÷íîìåðíî. Î÷åâèäíî, ÷òî kerA ⊂ kerA2 ⊂ ... Äîïóñòèì, ÷òî ìîæíî âûáðàòü áåñêîíå÷íóþ ïîñëåäîâàòåëüíîñòü âåêòîðîâ xk ∈ kerAk . Òîãäà åå ìîæíî âûáðàòü òàêèì îáðàçîì, ÷òî ||xk || = 1 ∀ k è ||xi − xj || ≥ 1 ïðè i 6= j . Ïðè ýòîì xk ∈ imK , à çíà÷èò, äîëæíà áûòü êàêàÿ-òî ñõîäÿùàÿ ïîäïîñëåäîâàòåëüíîñòü xki , ÷òî íåâîçìîæíî â ñèëó ïðåäûäóùèõ ñîîòíîøåíèé. Ñëåäîâàòåëüíî, äëÿ íåêîòîðîãî íîìåðà m âûïîëíÿåòñÿ ðàâåíñòâî kerAm = kerAm+1 . Òîãäà ýëåìåíòàðíî ïðîâåðÿåòñÿ, ÷òî kerAk = kerAm äëÿ âñåõ k ≥ m. Áóäåì ñ÷èòàòü, ÷òî m íàèìåíüøèé íîìåð ñ òàêèì ñâîéñòâîì; ÷èñëî m íàçûâàåòñÿ èíäåêñîì îïåðàòîðà A. Äàëåå, ìîæíî äîêàçàòü, ÷òî ïîäïðîñòðàíñòâà imAk çàìêíóòû, à öåïî÷êà âëîæåíèé imA ⊃ imA2 ⊃ ... òàêîâà, ÷òî imAn = imAk ïðè k ≥ n. Ïóñòü n íàèìåíüøèé íîìåð ñ òàêèì ñâîéñòâîì. Òîãäà íåïðåìåííî m = n.  ñàìîì äåëå, åñëè m < n, òî ëþáîé âåêòîð âèäà An+1 z ìîæíî çàïèñàòü â âèäå
An+1z = An y ⇒ An (Az −y) = 0 ⇒ An−1(Az −y) = 0 ⇒ imAn ⊂ imAn−1,
÷òî ïðîòèâîðå÷èò ìèíèìàëüíîñòè n ïðè óñëîâèè imAn = imAn+1 . Åñëè m > n, òî ëþáîé âåêòîð y ∈ kerAm+1 óäîâëåòâîðÿåò óðàâíåíèþ Am+1y = 0 è äëÿ íåêîòîðîãî z èìååì Am+1 y = Amz . Îòñþäà ïîëó÷àåì
Am (Ay − z) = 0 ⇒ Am−1(Ax − z) = 0 ⇒ kerAm ⊂ kerAm−1,
÷òî ïðîòèâîðå÷èò ìèíèìàëüíîñòè n. Èòàê, m = n.
Ïóñòü m èíäåêñ îïåðàòîðà A = I − K , ãäå K êîìïàêòíûé îïåðàòîð íà áàíàõîâîì ïðîñòðàíñòâå X . Òîãäà X ÿâëÿåòñÿ ïðÿìîé ñóììîé çàìêíóòûõ ïîäïðîñòðàíñòâ: Òåîðåìà 22.9.1
X = kerAm + imAm . Ïóñòü x ∈ X . Òîãäà Amx = A2m y äëÿ íåêîòîðîãî y ∈ X ⇒ z ≡ x − Am y ∈ kerAm . Òàêèì îáðàçîì, èìååò ìåñòî ðàçëîæåíèå
Äîêàçàòåëüñòâî.
x = v + z,
v ∈ imAm , z ∈ kerAm.
Êðîìå òîãî, v è z îïðåäåëåíû îäíîçíà÷íî: åñëè x ∈ imAm ∩ kerAm , òî x = Am y ⇒ A2my = 0 ⇒ Am y = 0 ⇒ x = 0. 2
Îïåðàòîð A = I − K íåïðåðûâíî îáðàòèì òîãäà è òîëüêî òîãäà, êîãäà kerA = 0. Ñëåäñòâèå 22.9.1
Åñëè kerA = 0, òî kerA = kerA2 . Ïîýòîìó èíäåêñ îïåðàòîðà A ðàâåí 1. Ñîãëàñíî òåîðåìå 22.9.1, imA = X , ïîýòîìó îáðàòíûé îïåðàòîð A−1 ñóùåñòâóåò. Îñòàåòñÿ äîêàçàòü åãî îãðàíè÷åííîñòü. Îò ïðîòèâíîãî, ïóñòü ||xk || = 1 è ||A−1 xk || → ∞. Òîãäà âåêòîðû zk = A−1xk /||A−1xk || ïðèíàäëåæàò åäèíè÷íîé ñ åðå è Azk = zk − Kzk → 0.  ñèëó êîìïàêòíîñòè K ìîæíî âûáðàòü ñõîäÿùóþñÿ ïîäïîñëåäîâàòåëüíîñòü Kzki . Çíà÷èò, zki → z . Ïðè ýòîì ||z|| = 1 è Az = 0, ÷òî ïðîòèâîðå÷èò óñëîâèþ kerA = 0. 2 Äîêàçàòåëüñòâî.
22.10
Ñîïðÿæåííûå îïåðàòîðû
Èòàê, åñëè A = I − K , òî óðàâíåíèå Au = f èìååò ðåøåíèå ïðè óñëîâèè kerA = 0. Â òåîðèè Ôðåäãîëüìà ýòîò ðåçóëüòàò äîïîëíÿåòñÿ ïîëåçíûì óòâåðæäåíèåì î ðàâåíñòâå ðàçìåðíîñòåé ÿäåð îïåðàòîðà A è åãî ñîïðÿæåííîãî îïåðàòîðà A′ . Ïóñòü áàíàõîâû ïðîñòðàíñòâà X , Y îáðàçóþò äóàëüíóþ ïàðó ñ íåâûðîæäåííîé áèëèíåéíîé îðìîé hu, vi, u ∈ X , v ∈ Y . Îïðåäåëåíèå. Ëèíåéíûå îïåðàòîðû A : X → X è A′ : Y → Y íàçûâàþòñÿ ñîïðÿæåííûìè îòíîñèòåëüíî íåâûðîæäåííîé áèëèíåéíîé îðìû h·, ·i, åñëè hAu, vi = hu, A′vi ∀ u ∈ X, v ∈ Y .
Ïóñòü K : X → X è K ′ : Y → Y êîìïàêòíûå îïåðàòîðû, ñîïðÿæåííûå îòíîñèòåëüíî íåâûðîæäåííîé áèëèíåéíîé îðìû h·, ·i. Òîãäà dim ker(I − K) = dim ker(I − K ′ ). Òåîðåìà 22.10.1
Ïóñòü u1 , ..., um áàçèñ â ÿäðå îïåðàòîðà A = I − K è v1, ..., vm ∈ Y ïðîèçâîëüíàÿ ñèñòåìà âåêòîðîâ ñî ñëåäóþùèìè ñâîéñòâàìè áèîðòîãîíàëüíîñòè (ñóùåñòâîâàíèå òàêîé ñèñòåìû ãàðàíòèðóåòñÿ íåâûðîæäåííîñòüþ áèëèíåéíîé îðìû): Äîêàçàòåëüñòâî.
hui , vj i = δij ,
1 ≤ i, j ≤ m.
àññìîòðèì òàêæå áàçèñ v1′ , ..., vn′ â ÿäðå îïåðàòîðà A′ = I − K ′ è ñèñòåìó âåêòîðîâ u′1 , ..., u′n ∈ X ñ àíàëîãè÷íûìè ñâîéñòâàìè áèîðòîãîíàëüíîñòè:
hu′i , vj′ i = δij ,
1 ≤ i, j ≤ n.
Ïðåäïîëîæèì, ÷òî m ≤ n, è îïðåäåëèì ëèíåéíûé îïåðàòîð A˜ : X → X ïðàâèëîì m X ˜ Au = Au + hu, viiu′i. i=1
˜ = 0. Òîãäà Au = Ïóñòü Au
m P
i=1
αi u′i
αj = 0 ∀ j . Çíà÷èò, Au = 0 ⇒ u =
⇒
m P
i=1
0 = hAu, vj′ i + αj = 0 + αj
⇒
˜ v ′ i = hAu, v ′ i+βj = βj βi ui ⇒ hAu, j j
⇒ βj = 0 ∀ j . Îêîí÷àòåëüíî, u = 0. Ìû äîêàçàëè, ÷òî kerA˜ = 0. Ëåãêî âèäåòü, ÷òî ê îïåðàòîðó A˜ ïðèìåíèìà òåîðåìà 22.9.1. Ïîýòîìó îïåðàòîð A˜ ÿâëÿåòñÿ îáðàòèìûì. Åñëè m < n, òî äëÿ íåêîòîðîãî u ∈ X íàõîäèì Au +
m X i=1
′ Îòñþäà 1 = hAu, vm+1 i+
m P
hu, viiu′i = u′m+1.
′ hu, viihu′i , vm+1 i = 0, ÷òî ïðèâîäèò ê î÷åâèäíîìó
i=1
ïðîòèâîðå÷èþ. Ñëåäîâàòåëüíî, m ≥ n. Åñëè äîïóñòèòü, ÷òî m > n, òî ïðîòèâîðå÷èå âîçíèêàåò ïðè ðàññìîòðåíèè îïåðàòîðà A˜′ : Y → Y , îïðåäåëÿåìîãî àíàëîãè÷íûì îáðàçîì; ïîýòîìó m ≤ n. 2
Óðàâíåíèå Au = f ðàçðåøèìî â òîì è òîëüêî ñëó÷àå, êîãäà hf, vi ∀ v ∈ kerA′.
Ñëåäñòâèå 22.10.1
 êà÷åñòâå åùå îäíîãî ñëåäñòâèÿ ìîæíî îòìåòèòü àëüòåðíàòèâó Ôðåäãîëüìà: ëèáî óðàâíåíèå Au = f èìååò åäèíñòâåííîå ðåøåíèå ïðè ëþáîé ïðàâîé ÷àñòè f , ëèáî îäíîðîäíîå ñîïðÿæåííîå óðàâíåíèå A′ v = 0 èìååò íåòðèâèàëüíîå ðåøåíèå. 22.11
Èíòåãðàëüíûå óðàâíåíèÿ
Òåîðèÿ èññàÔðåäãîëüìà îñîáåííî ïîëåçíà ïðè èçó÷åíèè èíòåãðàëüíûõ îïåðàòîðîâ. Ïóñòü Γ ãëàäêèé çàìêíóòûé êîíòóð íà êîìïëåêñíîé ïëîñêîñòè è ðàññìàòðèâàåòñÿ óðàâíåíèå âèäà Z u(z) − K(z, ζ)u(ζ)|dζ| = f (z), z ∈ Γ. (22.11.15) Γ
 êà÷åñòâå íåâûðîæäåííîé áèëèíåéíîé îðìû åñòåñòâåííûì îáðàçîì âûáèðàåòñÿ Z hu, vi = u(ζ)v(ζ)|dζ|. Γ
Òîãäà ñîïðÿæåííîå óðàâíåíèå èìååò âèä (ïðîâåðüòå!) Z v(ζ) − K(z, ζ)v(z)|dz| = g(ζ), z ∈ Γ.
(22.11.16)
Γ
Ôóíêöèÿ K(z, ζ) íàçûâàåòñÿ ÿäðîì èíòåãðàëüíîãî óðàâíåíèÿ. Òèïè÷íûé ïðèìåð: (ζ − z, ~nζ ) , K(z, ζ) = (22.11.17) π |ζ − z|2
ãäå ~nζ îáîçíà÷àåò âíåøíþþ íîðìàëü ê Γ â òî÷êå ζ è (·, ·) ñêàëÿðíîå ïðîèçâåäåíèå âåêòîðîâ íà ïëîñêîñòè.  ýòîì ñëó÷àå èíòåãðàë â óðàâíåíèè (22.11.15) íàçûâàåòñÿ ïîòåíöèàëîì äâîéíîãî ñëîÿ.  òåîðèè ïîòåíöèàëà äîêàçûâàåòñÿ, ÷òî Z 2π, z âíóòðè Ω, (ζ − z, ~nζ ) z ∈ Γ, |dζ| = π, |ζ − z|2 0, z âíå Γ. Γ
Îòñþäà ñëåäóåò,÷òî ðåøåíèåì îäíîðîäíîãî óðàâíåíèÿ äëÿ ïîòåíöèàëà äâîéíîãî ñëîÿ ÿâëÿåòñÿ ëþáàÿ êîíñòàíòà. Ìîæíî äîêàçàòü òàêæå, ÷òî ëþáûå äâà ðåøåíèÿ ëèíåéíî çàâèñèìû. Ïîýòîìó ÿäðî îäíîìåðíî. Çíà÷èò, ÿäðî îäíîðîäíîãî ñîïðÿæåííîãî óðàâíåíèÿ
(22.11.16) òàêæå îäíîìåðíî. Âûâîä: îäíîðîäíîå ñîïðÿæåííîå óðàâíåíèå èìååò íåòðèâèàëüíîå ðåøåíèå. Îòñþäà âûòåêàåò, â ÷àñòíîñòè, ÷òî óðàâíåíèå äëÿ ëîãàðè ìè÷åñêîãî ïîòåíöèàëà 2 Z ln |z − ζ| u(ζ)|dζ| = c, z ∈ Γ, Γ
èìååò íåòðèâèàëüíîå íåïðåðûâíîå ðåøåíèå u(ζ) äëÿ íåêîòîðîé êîíñòàíòû c. Äëÿ äîêàçàòåëüñòâà íóæíî ó÷åñòü, ÷òî ïðè äè åðåíöèðîâàíèè îáåèõ ÷àñòåé ïî íîðìàëè ïîëó÷àåòñÿ óðàâíåíèå òèïà (22.11.16). 22.12
Ôóíêöèîíàëüíûå ïðîñòðàíñòâà
Ïðè èçó÷åíèè îïåðàòîðíîãî óðàâíåíèÿ Au = f âàæíî ïðàâèëüíî âûáðàòü óíêöèîíàëüíûå ïðîñòðàíñòâà äëÿ u è v . ×àñòî ýòî ìîæíî ñäåëàòü ìíîãèìè ñïîñîáàìè, ïðè ýòîì îò âûáîðà ïðîñòðàíñòâ çàâèñèò, áóäåò ëè îïåðàòîð íåïðåðûâíî îáðàòèì èëè íåò.  ñëó÷àå èíòåãðàëüíûõ óðàâíåíèé íà çàìêíóòûõ êðèâûõ ìîæíî ñ÷èòàòü, ÷òî êðèâûå çàäàíû óíêöèÿìè îò ïàðàìåòðà t ∈ [0, 2π]. Òîãäà u è v ìîæíî ðàññìàòðèâàòü êàê 2π -ïåðèîäè÷åñêèå óíêöèè, îïðåäåëåííûå íà âñåé ïðÿìîé. àññìîòðèì ðÿä Ôóðüå
u(t) =
∞ X
uk exp(ikt),
k=−∞
è, âûáðàâ ëþáîå âåùåñòâåííîå ÷èñëî s, ïîëîæèì X 2 2 |k|2s |uk |2. ||u||s ≡ |u0| + k6=0
Ýòè âåëè÷èíû îïðåäåëåíû êîððåêòíî, åñëè u ∈ C ∞ , è îáëàäàþò âñåìè ñâîéñòâàìè íîðìû. Îáîçíà÷èì ÷åðåç H s ïðîñòðàíñòâî, â êîòîðîì êàæäûé ýëåìåíò àññîöèèðóåòñÿ ñ êëàññîì ýêâèâàëåíòíûõ ïîñëåäîâàòåëüíîñòåé Êîøè óíêöèé èç C ∞ ïî îòíîøåíèþ ê íîðìå || · ||s (äâå ïîñëåäîâàòåëüíîñòè íàçûâàþòñÿ ýêâèâàëåíòíûìè, åñëè èõ ðàçíîñòü ñòðåìèòñÿ ê íóëþ). Ïðîñòðàíñòâà H s èçâåñòíû êàê ïðîñòðàíñòâà Ñîáîëåâà. Çàìåòèì, ÷òî äëÿ îòðèöàòåëüíûõ s íåêîòîðûå ýëåìåíòû èç H s íå î÷åíü ïîõîæè íà îáû÷íûå óíêöèè èõ èíîãäà íàçûâàþò ðàñïðåäåëåíèÿìè. 2 Äàííîå óðàâíåíèå âîçíèêëî â ãëàâå 20 ïðè èçó÷åíèè ïðåäåëüíîé ñêîðîñòè ñõîäèìîñòè ìåòîäà ìèíèìàëüíûõ íåâÿçîê.
Ïîñëå î÷åâèäíîãî ïåðåîáîçíà÷åíèÿ èíòåãðàëüíîå óðàâíåíèå ñ ëîãàðè ìè÷åñêèì ÿäðîì ïðèíèìàåò âèä
Z2π
K(x(τ ), y(t)) u(t) dt = f (τ ),
0
0 ≤ τ ≤ 2π;
K(x, y) =
1 ln |x − y|. π
Ïóñòü êðèâàÿ åñòü îêðóæíîñòü ðàäèóñà a ñ öåíòðîì â íà÷àëå êîîðäèíàò. Äëÿ òî÷åê x = a eiτ è y = a eit íàõîäèì
K(x, y) ≡ k(τ, t) =
1 ln(a |1 − ei(τ −t) |). π
Ïðè |z| < 1 èìååò ìåñòî ðàçëîæåíèå ln(1 − z) = − ïîëó÷àåì îðìàëüíîå ðàçëîæåíèå ln |1 − eiφ | = −
[Ku](τ ) =
1 π
Z2π 0
ln a −
X eik(τ −t) k6=0
2 |k|
X uk eikτ . = 2 u0 ln a − |k|
∞ P
k=1
∞ P
k=1
X m
zk k.
cos kφ k .
um eimt
Âçÿâ z = eiφ , Äàëåå,
!
dt
k6=0
Îòñþäà âûòåêàåò ñëåäóþùåå ïðåäëîæåíèå.
Åñëè a 6= 1, òî îïåðàòîð K ñ ëîãàðè ìè÷åñêèì ÿäðîì îñóùåñòâëÿåò âçàèìíî-îäíîçíà÷íîå íåïðåðûâíî îáðàòèìîå îòîáðàæåíèå K : H s → H s+1 ∀ s ∈ R. Ëåììà 22.12.1
3
Åñëè îïåðàòîð K ðàññìàòðèâàòü êàê îïåðàòîð èç H 0 â H 0 , òî óðàâíåíèå Ku = f ìîæåò è íå èìåòü ðåøåíèÿ äëÿ çàäàííîé ïðàâîé ÷àñòè f ∈ H 0 . Åñëè æå ðåøåíèå åñòü, òî â íîðìå H 0 îíî ìîæåò ñèëüíî èçìåíèòüñÿ ïðè ìàëîì âîçìóùåíèè f â òîé æå íîðìå.  òî æå âðåìÿ âîçìîæåí âûáîð ïðîñòðàíñòâ äëÿ u è v , ïðè êîòîðîì îïåðàòîð îêàçûâàåòñÿ íåïðåðûâíî îáðàòèìûì. Çàäà÷è
1. Äîêàæèòå, ÷òî äëÿ ëþáîé íåïðåðûâíîé íà [0, 1] óíêöèè óðàâíåíèå u′′(x) = f (x), 0 < x < 1, u(0) = u(1) = 0, èìååò ðåøåíèå êëàññà C 2. 3  ñëó÷àå ïðîèçâîëüíîãî ãëàäêîãî êîíòóðà òî òî æå ñàìîå âåðíî ïî÷òè äëÿ ëþáîãî êîíòóðà.
2. ×òîáû ðåøèòü óðàâíåíèå u′′ (x) = f (x), 0 < x < 1, u(0) = u(1) = 0, íà [0, 1] âûáèðàþòñÿ ðàâíîìåðíûå ñåòêè 0 = x0 < x1 < ... < xn < xn+1 = 1 ñ øàãîì h = 1/(n + 1) è ðåøàåòñÿ ñèñòåìà ëèíåéíûõ àëãåáðàè÷åñêèõ óðàâíåíèé
u0 = un+1 = 0,
−ui−1 + 2ui − ui+1 = −h2 f (xi), 1 ≤ i ≤ n.
Âåëè÷èíû ui = ui(n) ðàññìàòðèâàþòñÿ êàê ïðèáëèæåíèÿ ê u(xi). Äîêàæèòå, ÷òî åñëè f ∈ C 2 , òî ïîãðåøíîñòè zi (n) = ui(n) − u(xi) èìåþò âèä O(1/n2 ). Âåðíî ëè, ÷òî zi (n) → 0 ïðè n → ∞, åñëè f ïðîèçâîëüíàÿ íåïðåðûâíàÿ óíêöèÿ f ? 3. Ïóñòü V ïîïîëíåíèå ïðîñòðàíñòâà óíêöèé u(x) ∈ C 1 [0, 1]p ñ êðàåâûìè p óñëîâèÿìè u(0) = u(1) = 0 îòíîñèòåëüíî íîðìû ||u||V ≡ (u, u) + (u′, u′). Ïóñòü a(x) ∈ C[0, 1] è a(x) ≥ a0 > 0 ïðè 0 ≤ x ≤ 1. Äîêàæèòå ñóùåñòâîâàíèå ñëàáîãî ðåøåíèÿ u ∈ V â çàäà÷å
(a(x)u′, v ′) = (f, v) ∀ v ∈ V,
ãäå f êóñî÷íî-íåïðåðûâíàÿ óíêöèÿ íà [0, 1].
4. Ïóñòü K(z, ζ) èìååò âèä (22.11.17). Äîêàæèòå, ÷òî óðàâíåíèå (22.11.15) èìååò íåïðåðûâíîå ðåøåíèå v(z) R äëÿ ëþáîé íåïðåðûâíîé ïðàâîé ÷èñòè g(z), ïîä÷èíåííîé óñëîâèþ g(z)|dz| = 0. Γ
5. Åñëè k(τ, t) íåïðåðûâíàÿ óíêöèÿ îò τ è t, òî èíòåãðàëüíûé îïåR2π ðàòîð [Ku](τ ) = k(τ, t) u(t) dt ÿâëÿåòñÿ êîìïàêòíûì îïåðàòîðîì èç 0
C[0, 2π] â C[0, 2π] (ïðîñòðàíñòâà ñ ÷åáûøåâñêîé íîðìîé).
6. Ïóñòü â óñëîâèÿõ ïðåäûäóùåé çàäà÷è îïåðàòîð I + K : C[0, 2π] → C[0, 2π] îáðàòèì, à äëÿ ðåøåíèÿ óðàâíåíèÿ (I + K)u = f ïðèìåíÿåòñÿ ïðîåêöèîííûé ìåòîä, â êîòîðîì Pn = Qn èíòåðïîëÿöèîííûé ïðîåêòîð íà ÷åáûøåâñêîé ñåòêå íà îòðåçêå [0, 2π]. Äîêàæèòå, ÷òî ||un −u||C[0,2π] → 0, åñëè u íåïðåðûâíî äè åðåíöèðóåìàÿ óíêöèÿ. 7. Äàí èíòåãðàëüíûé îïåðàòîð [Ku](x) =
R1 0
K(x, y) u(y) dy ñ íåïðåðûâ-
íûì ÿäðîì K(x, y). Ïóñòü Mn ìàòðèöà ìîìåíòîâ äëÿ ðàçëîæåíèÿ ïî ñèñòåìå êóñî÷íî-ïîñòîÿííûõ óíêöèé íà ðàâíîìåðíîé ñåòêå ñ n óçëàìè. Äîêàæèòå, ÷òî ñèíãóëÿðíûå ÷èñëà è ñîáñòâåííûå çíà÷åíèÿ ïîñëåäîâàòåëüíîñòè ìàòðèö Mn èìåþò êëàñòåð â íóëå. Áóäåò ëè êëàñòåð ñîáñòâåííûì?
ëàâà 23
23.1
Ìíîãîñåòî÷íûé ìåòîä
àññìîòðèì ïðîñòåéøóþ ìîäåëüíóþ çàäà÷ó (22.1.1) è ïðåäïîëîæèì, ÷òî äëÿ åå ðåøåíèÿ èñïîëüçóåòñÿ ìåòîä êîíå÷íûõ ýëåìåíòîâ, â êîòîðîì ïðèn P uniφi (x) ñ ïèðàìèäàëüíûìè áëèæåíèå ê ðåøåíèþ èùåòñÿ â âèäå u ˜(x) = i=1
óíêöèÿìè φi (x) âèäà (22.3.5) íà ðàâíîìåðíîé ñåòêå ñ øàãîì hn = 1/(n+1). Ìàòðèöà An àëãåáðàè÷åñêîé ñèñòåìû äëÿ îïðåäåëåíèÿ êîý èöèåíòîâ ui â äàííîì ñëó÷àå èìååò âèä 2 −1 −1 2 −1 1 ... ... ... ... ... . An = (23.1.1) hn −1 2 −1 −1 2 Ïóñòü óæå íàéäåíî êàêîå-òî ïðèáëèæåíèå u0n ê ðåøåíèþ u àëãåáðàè÷åñêîé ñèñòåìû Anun = fn. Òîãäà ñëåäóþùåå ïðèáëèæåíèå u1n ìîæíî èñêàòü â âèäå u1n = u0n + vn0 , ãäå vn0 ≈ vn è vn åñòü ðåøåíèå ñèñòåìû
Anvn = rn ≡ fn − An u1n .
Âî ìíîãèõ òèïè÷íûõ ñëó÷àÿõ íåâÿçêà rn ñîîòâåòñòâóåò óíêöèè áîëåå ãëàäêîé, ÷åì ïðàâàÿ ÷àñòü èñõîäíîãî óðàâíåíèÿ. Òîãäà äëÿ òîãî, ÷òîáû íàéòè ïðèáëèæåíèå ê vn, ìîæíî âçÿòü áîëåå ãðóáóþ ñåòêó è óíêöèþ, ñîîòâåòñòâóþùóþ âåêòîðó vn , ïðèáëèçèòü íåêîòîðîé ëèíåéíîé êîìáèíàöèåé ìåíüøåãî ÷èñëà ïèðàìèäàëüíûõ óíêöèé íà áîëåå ãðóáîé ñåòêå ïóòåì ðåøåíèÿ àëãåáðàè÷åñêîãî óðàâíåíèÿ, àíàëîãè÷íîãî èñõîäíîìó, íî ñ ìåíüøèì ÷èñëîì íåèçâåñòíûõ. Ýòà çàìå÷àòåëüíàÿ èäåÿ áûëà ïðåäëîæåíà â 1960-õ ãîäàõ . Ï. Ôåäîðåíêî è Í. Ñ. Áàõâàëîâûì. Îíè æå äàëè åå ïåðâîíà÷àëüíîå îáîñíîâàíèå íà ïðèìåðå óðàâíåíèÿ Ïóàññîíà.  1970-õ ãîäàõ òà æå èäåÿ ðàçâèâàëàñü â ðàáîòàõ À. Áðàíäòà, à âïîñëåäñòâèè ñòàëà îñíîâîé èñêëþ÷èòåëüíî ïîïóëÿðíîãî êëàññà ìíîãîñåòî÷íûõ ìåòîäîâ. 241
23.2
Àëãåáðàè÷åñêàÿ îðìóëèðîâêà
Ìû ïîñòàðàåìñÿ îáîéòèñü áåç óíêöèé è îïåðàòîðîâ. Íàäî ðåøèòü ñèñòåìó Au = f ïîðÿäêà n. Ìû íàìåðåíû ñäåëàòü ýòî, èñïîëüçóÿ (ïðèáëèæåííûå) ðåøåíèÿ ñïåöèàëüíî ïîäáèðàåìûõ ìåíüøèõ ñèñòåì Aj uj = fj ïîðÿäêà n0 < · · · < nk = n. Âñå ìàòðèöû áóäóò ñèììåòðè÷íûìè ïîëîæèòåëüíî îïðåäåëåííûìè. Ñîáñòâåííî, òàêîâîé ïðåäïîëàãàåòñÿ èñõîäíàÿ ìàòðèöà A. Äëÿ îñòàëüíûõ ìàòðèö ýòî óæå ñëåäóåò èç ñïîñîáà ïîñòðîåíèÿ. Ìàòðèöà Ak−1 = Aˆ îïðåäåëÿåòñÿ ïî Ak = A ñ ïîìîùüþ èíòåðïîëÿöèîííîé ìàòðèöû Q ñëåäóþùèì îáðàçîì:
Aˆ = QT AQ, ãäå Q ïðÿìîóãîëüíàÿ ìàòðèöà ðàçìåðà nk × nk−1 ïîëíîãî ðàíãà. Ïðåäïîëîæèì, ÷òî
c1 hj ≤
(Aj uj , uj ) ≤ c2 h−1 ∀ uj 6= 0, j (uj , uj )
(23.2.2)
ãäå hj îñîáûé ïàðàìåòð, çàâèñÿùèé îò nj , à c1 è c2 - êîíñòàíòû. 1  äàëüíåéøåì äîãîâîðèìñÿ îáîçíà÷àòü îäíîé è òîé æå áóêâîé c ëþáûå ïîëîæèòåëüíûå êîíñòàíòû (â òîì ÷èñëå è ðàçíûå äàæå â ïðåäåëàõ îäíîãî âûðàæåíèÿ). Ïîëîæèì h = hk . p Ïî îïðåäåëåíèþ, (u, v)A ≡ (Au, v), ||u||A ≡ (u, u)A. Êðîìå òîãî, 1
1
||M||A ≡ ||A 2 MA− 2 ||2 = max u6=0
||Mu||A . ||u||A
Ìàòðèöà M íàçûâàåòñÿ A-ñèììåòðè÷íîé, åñëè (Mu, v)A = (u, Mv)A äëÿ ëþáûõ âåêòîðîâ u è v . Ýòî ðàâíîñèëüíî îáû÷íîé ñèììåòðè÷íîñòè ìàòðèöû 1 1 A 2 MA− 2 . Ñîãëàñíî îïðåäåëåíèþ ìàòðèöû Aˆ, èìååì:
||Qv||A = ||v||Aˆ,
(23.2.3)
||QM||A = ||M||Aˆ.
(23.2.4)
Âàæíóþ ðîëü áóäóò èãðàòü ìàòðèöà P ≡ Aˆ−1 QT A è ñâÿçàííûå ñ íåé ñâîéñòâà: (QP )2 = QP, (I − QP )2 = I − QP ; (23.2.5)
1 Äëÿ ìàòðèöû âèäà (23.1.1) ýòè íåðàâåíñòâà ïðîâåðÿþòñÿ íåïîñðåäñòâåííî, ïðè ýòîì â ñëó÷àå ðàâ-
íîìåðíîé ñåòêè
hj
ýòî åå øàã.
1
1
1
1
(A 2 QP A− 2 )T = A 2 QP A− 2 ;
(23.2.6)
((I − QP )u, QP v)A = 0;
(23.2.7)
||(I − QP )u + QP v||2A = ||(I − QP )u||2A + ||QP v||2A .
(23.2.8)
Ïðîâåðÿåòñÿ áåç ïðîáëåì. Êàê âèäèì, QP - ýòî A-îðòîãîíàëüíûé ïðîåêòîð (â îáû÷íîì æå ñìûñëå ýòî êîñîé ïðîåêòîð). Çàìåòèì òàêæå, ÷òî P Q = Iˆ (åäèíè÷íàÿ ìàòðèöà ïîðÿäêà nk−1). 23.3
Ñãëàæèâàòåëü
Ïóñòü R ñèììåòðè÷íàÿ ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà, äàþùàÿ ñõîäèìîñòü êëàññè÷åñêîãî ìåòîäà ïðîñòîé èòåðàöèè:
u0 = 0;
ul = ul−1 + R(f − Aul−1),
l = 1, . . . , m.
Ñãëàæèâàòåëåì íàçûâàåòñÿ ìàòðèöà S = I − RA. Î÷åâèäíî, âñå ñîáñòâåííûå çíà÷åíèÿ λ(S) âåùåñòâåííûå. Çàìåòèì, ÷òî S ÿâëÿåòñÿ A-ñèììåòðè÷íîé ìàòðèöåé: (Su, v)A = (u, Sv)A. 23.4
Îñíîâíûå ïðåäïîëîæåíèÿ
1.
Âñå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû S = I − RA ñòðîãî áîëüøå 0 è ñòðîãî ìåíüøå 1.
2.
Ìèíèìàëüíîå ñîáñòâåííîå çíà÷åíèå ìàòðèöû R îãðàíè÷åíî ñíèçó âåëè÷èíîé ch.
 ñìûñëå ñêàëÿðíîãî ïðîèçâåäåíèÿ 1 (I − S): (u, v)A ìàòðèöà A ìàæîðèðóåòñÿ ìàòðèöåé ch
Ýêâèâàëåíòíîå óòâåðæäåíèå.
(Au, u)A ≤ 3.
1 ((I − S)u, u)A ch
(23.4.9)
Ïðè àïïðîêñèìàöèè u âåêòîðîì âèäà Qv èìååò ìåñòî îöåíêà
inf ||u − Qv||2 ≤ ch||Au||2 . v
Ëåììà 23.4.1
||(I − QP )u||2A ≤ ch||Au||22 .
Äîêàçàòåëüñòâî.
(I − QP )u = (I − QP )(u − Qv) ⇒
||(I − QP )u||2A ≤ ||u − Qv||2A
0
((I − S)S mu, u)A ≤ Äîêàçàòåëüñòâî.
èìååì
1 ((I − S m )u, u)A. m
(23.4.11)
 ñèëó îñíîâíîãî ïðåäïîëîæåíèÿ 1, äëÿ ëþáîãî j ≤ m
((I − S)S mu, u)A ≤ ((I − S)S j u, u)A.
Îñòàåòñÿ ëèøü çàìåòèòü, ÷òî
m
I −S =
m−1 X j=0
(I − S)S j .
Ëåììà 23.4.3
||(I − QP )S m u||2A ≤
c ((I − S 2m )u, u)A. m
Ïî ëåììå 1, ëåâàÿ ÷àñòü íåðàâåíñòâà íå ïðåâûøàåò ch(AS u, S u)A , à îñíîâíîå ïðåäïîëîæåíèå 2 äàåò Äîêàçàòåëüñòâî. m
m
c ((I − S)S m, S m )A. h Îñòàåòñÿ ïðèíÿòü âî âíèìàíèå A-ñèììåòðè÷íîñòü ìàòðèöû S è ïðèìåíèòü ëåììó 2. (AS m u, S m)A ≤
23.5
Îáùàÿ ñõåìà ìíîãîñåòî÷íîãî ìåòîäà
Ïóñòü ðåøàåòñÿ óðàâíåíèå Au = f è â ðåçóëüòàòå ïîëó÷àåòñÿ âåêòîð Bf ≈ ˆu = fˆ è âåêòîð B ˆ fˆ ≈ u. ×òîáû åãî íàéòè, ìû ñòðîèì "ìåíüøóþ"ñèñòåìó Aˆ ˆ ðåêóðñèâíî. Âîò àëãîðèòì ïîuˆ. Òàêèì îáðàçîì, B îïðåäåëÿåòñÿ ÷åðåç B ëó÷åíèÿ Bf . (1)
Ïðåäâàðèòåëüíîå ñãëàæèâàíèå:
u0 = 0; (2)
ul = ul−1 + R(f − Aul−1),
ˆu = fˆ: Ïðèáëèæåííîå ðåøåíèå "ìåíüøåé"ñèñòåìû Aˆ Aˆ = QT AQ, v 0 = 0;
(3)
l = 1, . . . , m.
fˆ = QT (f − Aum);
ˆ fˆ − Av ˆ l−1), v l = v l−1 + B(
l = 1, . . . , s;
Ïîñò-ñãëàæèâàíèå:
w0 = um + Qv s ;
wl = wl−1 + R(f − Awl−1),
l = 1, . . . , m.
23.6
Îñíîâíîå óðàâíåíèå è íåðàâåíñòâî
Îáîçíà÷èì ÷åðåç e(w) ≡ A−1 f − w îòêëîíåíèå âåêòîðà w îò òî÷íîãî ðåøåíèÿ ñèñòåìû Au = f è ÷åðåç eˆ(v) = Aˆ−1 fˆ − v îòêëîíåíèå âåêòîðà v îò ˆu = fˆ. Ëåãêî âèäåòü, ÷òî òî÷íîãî ðåøåíèÿ ñèñòåìû Aˆ
e(um) = S m u, Ñëåäîâàòåëüíî,
ˆ A) ˆ s (Aˆ−1QT A)S mu = (Iˆ − B ˆ A) ˆ sP S m u. eˆ(v s ) = (Iˆ − B ˆ A) ˆ sP S mu v s = P S m u − (Iˆ − B
 ðåçóëüòàòå ïîñò-ñãëàæèâàíèÿ ïîëó÷àåì
ˆ A) ˆ sP S m )u. e(wm ) = (I −BA)u = S m (S m u−Qv s ) = S m (S m −QP S m +Q(Iˆ−B Ýòî è äàåò îñíîâíîå óðàâíåíèå ìóëüòèãðèäà:
ˆ A) ˆ sP S m. I − BA = S m (I − QP )S m + S m Q(Iˆ − B
(23.6.12)
ˆ ñèììåòðè÷íû. Ïîýòîìó âñå ñîáñòâåííûå Ïî ïîñòðîåíèþ, ìàòðèöû B è B ˆ Aˆ âåùåñòâåííû. çíà÷åíèÿ ìàòðèö I − BA è Iˆ − B ˆ Aˆ îíè íåîòðèöàòåëüíû. Òîãäà, â ñèëó AÏðåäïîëîæèì, ÷òî äëÿ Iˆ − B ñèììåòðè÷íîñòè ýòîé ìàòðèöû, ñóùåñòâóåò A-ñèììåòðè÷íàÿ ìàòðèöà Fˆ ñ íåîòðèöàòåëüíûìè ñîáñòâåííûìè çíà÷åíèÿìè è òàêàÿ, ÷òî
ˆ A. ˆ Fˆ 2 = Iˆ − B
(23.6.13)
||Fˆ ||sA = ||Fˆ s ||A .
(23.6.14)
Âñëåäñòâèå A-ñèììåòðè÷íîñòè, äëÿ ëþáîãî öåëîãî s èìååì
Ëåãêî ïðîâåðèòü, ÷òî ìàòðèöà QFˆ P ÿâëÿåòñÿ A-ñèììåòðè÷íîé è (QFˆ P )s = QFˆ s P . Ó÷èòûâàÿ òàêæå, ÷òî S è I − QP ÿâëÿþòñÿ Añèììåòðè÷íûìè ìàòðèöàìè, íàõîäèì
((I − BA)u, u)A = ((I − QP )S m u, (I − QP )S m u)A + ((QFˆ sP )S m u, (QFˆ sP )S m u)A. Îòñþäà âèäíî, êñòàòè, ÷òî ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû I − BA òîæå áóäóò íåîòðèöàòåëüíû. Ïðèíèìàÿ âî âíèìàíèå (23.2.4) è (23.6.14), ïîëó÷àåì îñíîâíîå íåðàâåíñòâî:
ˆ A|| ˆ sˆ||QP S m u||2 (I − BA)u, u)A ≤ ||(I − QP )S m u||2A + ||Iˆ − B A A
(23.6.15)
23.7
Àíàëèç
V -öèêëà
V -öèêë ñîîòâåòñòâóåò s = 1. Ïóñòü c êîíñòàíòà èç íåðàâåíñòâà ëåììû 3, è ïðåäïîëîæèì, ÷òî ˆ A|| ˆ ˆ ≤ γ < 1. ||Iˆ − B (23.7.16) A Âûáåðåì òàêîé âåêòîð u, äëÿ êîòîðîãî
((I − BA)u, u)A = ||I − BA||A ,
||u||A = 1.
(23.7.17)
Ïðèìåì âî âíèìàíèå, ÷òî
||QP S m u||2A = ||S m u||2A − ||(I − QP )S m ||2A . Òîãäà, ñîãëàñíî îñíîâíîìó íåðàâåíñòâó (23.6.15) è îöåíêå ëåììû 3,
||I − BA||A ≤ (1 − γ)
c ((I − S 2m)u, u)A + γ(S 2mu, u)A. m
(23.7.18)
Ìû õîòèì ïîëó÷èòü îöåíêó
||I − BA||A ≤ γ.
(23.7.19)
×òîáû ñîõðàíèòü îäíî è òî æå γ â (23.7.16) è (23.7.19), íàì, âîçìîæíî, ïðèäåòñÿ åãî óâåëè÷èòü (ïðè ýòîì, î÷åâèäíî, (23.7.16) îñòàíåòñÿ â ñèëå). Ïîòðåáóåì, ÷òîáû c (1 − γ) ≤ γ. m Ýòî îçíà÷àåò, ÷òî c γ≥ (23.7.20) c+m è, ñ ó÷åòîì (23.7.17), ïðàâàÿ ÷àñòü íåðàâåíñòâà (23.7.18) îöåíèâàåòñÿ ñâåðõó âåëè÷èíîé γ . Î÷åâèäíî, ìû äîêàçàëè ñëåäóþùóþ âàæíóþ òåîðåìó.
Îáîçíà÷èì ÷åðåç Bj ìàòðèöó ìóëüòèãðèäà äëÿ ñèñòåìû ïîðÿäêà nj è ïðåäïîëîæèì, ÷òî
Òåîðåìà 23.7.1
||Ij − Bj Aj ||Aj ≤ γ, ãäå γ èìååò âèä (23.7.20). Òîãäà ïðè âñåõ j ≤ i ≤ k èìååò ìåñòî íåðàâåíñòâî ||I − BA||A ≤ γ.
Åñëè ñèñòåìà ñ ìàòðèöåé A0 ðåøàåòñÿ òî÷íî, òî ýòî íåðàâåíñòâî ñïðàâåäëèâî ïðè 0 ≤ i ≤ k .
23.8
Àíàëèç
W -öèêëà
W -öèêë ñîîòâåòñòâóåò s = 2. Ïóñòü èìååò ìåñòî (23.8.22). Òîãäà, ñîãëàñíî îñíîâíîìó íåðàâåíñòâó (23.6.15) è ëåììå 3, ïðè âûáîðå u â ñîîòâåòñòâèè ñ (23.7.17) ïîëó÷àåì ||I − BA||A ≤ (1 − γ 2)
c ((I − S 2m )u, u)A + γ 2(S 2mu, u)A. m
(23.8.21)
Òåïåðü ïðåäïîëîæèì äîïîëíèòåëüíî, ÷òî
(1 − γ 2)
c ≤ γ 2. m
Ýòî îçíà÷àåò, ÷òî
c (23.8.22) c+m Òàêèì îáðàçîì, òåîðåìà 23.7.1 îñòàåòñÿ â ñèëå è äëÿ W -öèêëà â ïðåäïîëîæåíèè, ÷òî γ óäîâëåòâîðÿåò íåðàâåíñòâó (23.8.22). Òåïåðü óæå ÿñíî, ÷òî àíàëîãè÷íûé ðåçóëüòàò ñïðàâåäëèâ äëÿ ëþáîãî s, åñëè γ2 ≥
γs ≥ 23.9
c . c+m
Èíòåðåñíûå íàáëþäåíèÿ
Ïðîâåäåííûé àíàëèç çàìå÷àòåëåí òåì, ÷òî â íåì äîïóñêàåòñÿ ëþáîå ÷èñëî ñãëàæèâàíèé. Êîãäà ãîâîðÿò, ÷òî W -öèêë èçó÷àòü ïðîùå, ÷åì V -öèêë, òî èìåþò â âèäó ñëåäóþùåå óòâåðæäåíèå: äëÿ ëþáîãî 0 < γ < 1 îöåíêà (23.7.19) âñåãäà èìååò ìåñòî äëÿ äîñòàòî÷íî áîëüøîãî ÷èñëà ñãëàæèâàíèé m.  ñëó÷àå W -öèêëà èç îñíîâíîãî íåðàâåíñòâà (23.6.15) ìãíîâåííî ïîëó÷àåòñÿ (áîëåå ãðóáàÿ, ÷åì (23.8.21) ) îöåíêà
||(I − BA)||A ≤
c + γ 2, m
è äîñòàòî÷íî ïîòðåáîâàòü, ÷òîáû
c + γ 2 ≤ γ. m c Ïîñëåäíåå èìååò ìåñòî, åñëè m ≥ γ(1−γ) . Äëÿ V -öèêëà ñòîëü ãðóáûé àíàëèç, êîíå÷íî, íå ïðîõîäèò. Ìîæíî ñäåëàòü òàêæå â êàêîé-òî ñòåïåíè íåîæèäàííîå çàêëþ÷åíèå â ïîëüçó V -öèêëà: ïîìèìî òîãî, ÷òî â íåì âû÷èñëèòåëüíûå çàòðàòû ìåíüøå, ÷åì â ñîîòâåòñòâóþùåì W -öèêëå, íèæíÿÿ ãðàíèöà äëÿ γ ïðè èêñèðîâàííîì ÷èñëå ñãëàæèâàíèé m â V -öèêëå òîæå ìåíüøå!
Çàìåòèì åùå, ÷òî íàøè ðàññóæäåíèÿ ëåãêî ìîäè èöèðîâàòü äëÿ àíàëèçà ìóëüòèãðèäà áåç ïîñò-ñãëàæèâàíèÿ.  ýòîì ñëó÷àå, êîíå÷íî, ìàòðèöà B íå áóäåò ñèììåòðè÷íîé è ìû íå âïðàâå îïèðàòüñÿ íà (23.6.13) è (23.6.14). Îñíîâíîå óðàâíåíèå òåïåðü ïðèíèìàåò âèä
ˆ A) ˆ sP S m. I − BA = (I − QP )S m + Q(Iˆ − B Îòñþäà ëåãêî âûâåñòè ñäåäóþùåå íåðàâåíñòâî:
ˆ A|| ˆ 2sˆ ||QP S m u||2A . ||(I − BA)u||2A ≤ ||(I − QP )S mu||2A + ||Iˆ − B A ˆ A|| ˆ ˆ ≤ γ < 1. Òîãäà Ïóñòü ||Iˆ − B A
c ((I − S 2m)u, u)A + γ 2s(S 2mu, u)A. m Åñëè ïðåäïîëîæèòü äîïîëíèòåëüíî, ÷òî c , γ 2s ≥ c+m òî, î÷åâèäíî, ||I − BA||A ≤ γ s ≤ γ. ||(I − BA)u||2A ≤ (1 − γ 2s)
Çàáàâíî, ÷òî â ñëó÷àå s ≥ 2 ìîæåò èìåòü ñìûñë ìóëüòèãðèä ñ ïîñòñãëàæèâàíèÿìè, íî áåç ïðåäâàðèòåëüíûõ ñãëàæèâàíèé. (Ýòî âðîäå áû óæå íå î÷åíü âïèñûâàåòñÿ â èçíà÷àëüíóþ êîíöåïöèþ ïåðåõîäà ê áîëåå ãðóáûì ñåòêàì!) Âîò îñíîâíîå óðàâíåíèÿ äëÿ çàáàâíîãî ìóëüòèãðèäà:
ˆ A) ˆ s P. I − BA = S m (I − QP ) + S m Q(Iˆ − B
ˆ A) ˆ s P . Ïîñêîëüêó Çàïèøåì âòîðîé ÷ëåí ñïðàâà â âèäå (S m QP )Q(Iˆ − B ||S m (I − QP )||A = ||(I − QP )S m ||A è ||QP ||A ≤ 1, èìååì ˆ A|| ˆ sˆ. ||I − BA||A ≤ ||(I − QP )S m ||A + ||Iˆ − B A
Äîñòàòî÷íî ïîòðåáîâàòü, ÷òîáû r
c + γ s ≤ γ, m
à ýòî, êîíå÷íî, âûïîëíÿåòñÿ ïðè äîñòàòî÷íî áîëüøîì m. 23.10
Ïðîñòåéøèé ïðèìåð
Äëÿ ïðèìåíåíèÿ ïîëó÷åííîé âûøå òåîðèè òðåáóåòñÿ ïðîâåðêà îñíîâíûõ ïðåäïîëîæåíèé. Äëÿ ïðîñòåéøåãî ïðèìåðà, ðàññìîòðåííîãî íàìè â íà÷àëå ãëàâû, ýòî äåëàåòñÿ î÷åíü ëåãêî.
Ââåäåì ðàâíîìåðíûå ñåòêè ñ øàãîì hj = 2−j è áóäåì ïîëó÷àòü äèñêðåòíûå óðàâíåíèÿ ïî ìåòîäó àëåðêèíà ñ àïïðîêñèìàöèåé êóñî÷íî-ëèíåéíûìè óíêöèÿìè. ×òîáû íà áîëåå ãðóáûõ ñåòêàõ èìåòü àíàëîãè÷íûå ïî ñìûñëó óðàâíåíèÿ, èíòåðïîëÿöèîííàÿ ìàòðèöà Q äîëæíà èìåòü âèä
Q=
1/2 0 . . . 1 0 ... 1/2 1/2 . . . 0 1 ... . 0 1/2 . . . 0 0 ... ... ... ...
Îñíîâíûå ïðåäïîëîæåíèÿ 1 è 2 ëåãêî âûïîëíÿþòñÿ ïðè âûáîðå
R = τ I,
τ=
1 . λmax (A)
Ïðåäïîëîæåíèå 3 âîîáùå îêàçûâàåòñÿ î÷åâèäíûì: îøèáêà èíòåðïîëÿöèè â i-îì óçëå ÿâëÿåòñÿ íóëåì èëè æå â òî÷íîñòè ðàâíà i-îé êîìïîíåíòå âåêòîðà h2 A. 23.11
Êîððåêöèè íà ïîäïðîñòðàíñòâàõ
Ìíîãîñåòî÷íûå ìåòîäû îðãàíè÷íî ñâÿçàíû ñ èäååé êîððåêöèè ïðèáëèæåíèÿ íà çàäàííîé ñèñòåìå ïîäïðîñòðàíñòâ. Ïóñòü ðåøàåòñÿ îïåðàòîðíîå óðàâíåíèå Au = f ñ ñàìîñîïðÿæåííûì ïîëîæèòåëüíî îïðåäåëåííûì îïåðàòîðîì A íà âåùåñòâåííîì n-ìåðíîì åâêëèäîâîì ïðîñòðàíñòâå V , ðàçëîæåííîì â (íå îáÿçàòåëüíî ïðÿìóþ!) ñóììó ïîäïðîñòðàíñòâ: V = V1 + ... + Vm . àññìîòðèì ïðîåêöèîííûå óðàâíåíèÿ (QiAPi )ui = Qi f , ãäå ui ∈ Vi , à Qi è Pi îðòîãîíàëüíûé è A-îðòîãîíàëüíûé ïðîåêòîðû íà Vi . Òîãäà îïåðàòîð Ai = QiAPi óäîâëåòâîðÿåò ðàâåíñòâó AiPi = QiA:
(AiPi x, y) = (APix, Qiy) = (Ax, PiQi y) = (Ax, Qiy) = (QiAx, y) ∀ x, y ∈ V. Ïóñòü Ri ïðåäîáóñëîâëèâàòåëü äëÿ Ai ïðè ðåøåíèè i-ãî ïðîåêöèîííîãî óðàâíåíèÿ. Äëÿ ïðàêòè÷åñêîãî ïðèìåíåíèÿ íóæíî îïðåäåëèòü äåéñòâèå Ri ëèøü íà âåêòîðàõ èç èíâàðèàíòíîãî äëÿ íåãî ïîäïðîñòðàíñòâà Vi . Íî äëÿ òåîðåòè÷åñêîãî àíàëèçà óäîáíî ñ÷èòàòü, ÷òî Ri îïðåäåëåí íà âñåõ âåêòîðàõ èç V : ìîæíî óñëîâèòüñÿ, íàïðèìåð, ÷òî îí îñòàâëÿåò íà ìåñòå âñå âåêòîðû èç îðòîãîíàëüíîãî äîïîëíåíèÿ ê Vi .
Äëÿ ðåøåíèÿ èñõîäíîãî óðàâíåíèÿ Au = f ìåòîä ïàðàëëåëüíîé êîððåêöèè íà ïîäïðîñòðàíñòâàõ ïðåäëàãàåò èñïîëüçîâàòü ïðåäîáóñëîâëèâàòåëü ñëåäóþùåãî âèäà: B = R1 Q1 + ... + Rm Qm . (23.11.23) Ëåãêî äîêàçûâàåòñÿ, ÷òî åñëè îïåðàòîðû Ri ÿâëÿþòñÿ ñàìîñîïðÿæåííûìè è ïîëîæèòåëüíî îïðåäåëåííûìè, òî îïåðàòîð B áóäåò òàêèì æå.  ñâÿçè ñ ìíîãîñåòî÷íûìè ìåòîäàìè åñòåñòâåííî ðàññìàòðèâàòü ñèñòåìó âëîæåííûõ ïîäïðîñòðàíñòâ
V1 ⊂ ... ⊂ Vm = V. Åñëè Si ñãëàæèâàòåëü, ïðèìåíÿåìûé ïîñëåäîâàòåëüíî k ðàç, òî ïðåäîáóñëîâëèâàòåëü âèäà (23.11.23), ãäå Ri = (I − Sik )A−1 i , íàçûâàåòñÿ BPX2 ïðåäîáóñëîâëèâàòåëåì. Åñëè Ai ìàòðèöà i-ãî ïðîåêöèîííîãî óðàâíåíèÿ, òî òèïè÷åí âûáîð Si = I − αDi−1 Ai , ãäå Di = diagAi. Äàííûé ïðåäîáóñëîâëèâàòåëü ïðèìåíÿåòñÿ äëÿ óñêîðåíèÿ ìåòîäà ñîïðÿæåííûõ ãðàäèåíòîâ. Ïðè îïðåäåëåííûõ óñëîâèÿõ îí ïðèâîäèò ê îöåíêå ÷èñëà èòåðàöèé, çàâèñÿùåé òîëüêî îò ïðåäïèñàííîé òî÷íîñòè, íî íå îò ïîðÿäêà ìàòðèöû. Ñëåäóþùàÿ òåîðåìà ïîêàçûâàåò, êàê âûãëÿäÿò ýòè óñëîâèÿ (èõ ïðîâåðêà îáû÷íî òðåáóåò èçðÿäíîé ðàáîòû). 3
Ïóñòü A è R1 , ..., Rm ñàìîñîïðÿæåííûå ïîëîæèòåëüíî îïðåäåëåííûå îïåðàòîðû è âûïîëíåíû ñëåäóþùèå äâà óñëîâèÿ: Òåîðåìà 23.11.1
• ëþáîé âåêòîð v ∈ V äîïóñêàåò ðàçëîæåíèå v = v1 + ... + vm , vi ∈ Vi , òàêîå ÷òî m X (23.11.24) (Ri−1vi , vi) ≤ K0(Av, v); i=1
• äëÿ îïåðàòîðîâ Ti = Ri AiPi è ëþáûõ âåêòîðîâ x, y ∈ V !1/2 !1/2 m m X X X . (Tiy, y)A (Tix, x)A (Tix, Tj y) ≤ K1 1≤i,j≤m
i=1
i=1
(23.11.25)
Òîãäà îòíîøåíèå ìàêñèìàëüíîãî è ìèíèìàëüíîãî ñîáñòâåííûõ çíà÷åíèé BA íå ïðåâîñõîäèò K0 K1. 2 Ïî èìåíè àâòîðîâ: Bramble, Pas iak, Xu.
3 Áîëåå ïîäðîáíîå ðàññìîòðåíèå ñ ïðèëîæåíèåì ê ðåøåíèþ óðàâíåíèÿ Ïóàññîíà, à òàêæå îáñóæäåíèå ñâÿçåé ñ êîíñòðóêöèÿìè ìíîãîñåòî÷íûõ ìåòîäîâ ìîæíî íàéòè â êíèãå: óïðàæíåíèÿ ïî ìíîãîñåòî÷íûì ìåòîäàì. Ì.: Ôèçìàòëèò, 2005.
Ì. À. Îëüøàíñêèé. Ëåêöèè
è
Çàäà÷è
1. Íàéäèòå ñîáñòâåííûå çíà÷åíèÿ è ñîáñòâåííûå âåêòîðû ìàòðèöû A âèäà (23.1.1). Îáúÿñíèòå, ïî÷åìó ñãëàæèâàòåëü âèäà S = I − αA äåëàåò íåâÿçêó áîëåå ãëàäêîé. 2. Ïðîâåðüòå íåðàâåíñòâà (23.2.2) äëÿ ìàòðèöû (23.1.1). 3. Ïóñòü Q1 , ..., Qm îðòîãîíàëüíûå ïðîåêòîðû ïðîñòðàíñòâà V íà ïîäïðîñòðàíñòâà V1 , ..., Vm, äàþùèå â ñóììå V , è ïóñòü R1 , ..., Rm ñàìîñîïðÿæåííûå ïîëîæèòåëüíî îïðåäåëåííûå îïåðàòîðû íà V . Äîêàæèòå, ÷òî îïåðàòîð B = R1 Q1 + ... + Rm Qm áóäåò ñàìîñîïðÿæåííûì è ïîëîæèòåëüíî îïðåäåëåííûì. 4. Äîêàæèòå òåîðåìó 23.11.1. 5. Äëÿ íåêîòîðîé ìàòðè÷íîé íîðìû ||A|| ≤ 1. Äîêàæèòå, ÷òî
lim 2−k ||(I − A)(I + A)k || = 0.
k→∞
ëàâà 24
24.1
Ìàòðèöû ñïåöèàëüíîãî âèäà
Ìàòðèöà ìîìåíòîâ M = [Aφj , φi ]n×n â ìåòîäå àëåðêèíà îáû÷íî áûâàåò ðàçðåæåííîé â ñëó÷àå äè åðåíöèàëüíîãî îïåðàòîðà A è ïëîòíîé â ñëó÷àå èíòåãðàëüíîãî îïåðàòîðà A.  ïðèëîæåíèÿõ ðàçìåðû ìàòðèöû M ìîãóò áûòü ïîðÿäêà íåñêîëüêèõ ìèëëèîíîâ è äàæå âûøå.  òàêèõ ñëó÷àÿõ ý åêòèâíûå ìåòîäû ðåøåíèÿ ñèñòåìû ñ ìàòðèöåé M îáÿçàíû èñïîëüçîâàòü êàêèå-ëèáî îñîáûå ñâîéñòâà, âûäåëÿþùèå åå ñðåäè ìàòðèö îáùåãî âèäà. Íàïðèìåð, äèàãîíàëüíûå, òðåõäèàãîíàëüíûå è áîëåå øèðîêèå ëåíòî÷íûå ìàòðèöû ýòî ïðèìåðû ñïåöè èêè â ðàçðåæåííûõ ìàòðèöàõ, ïîçâîëÿþùèå ñòðîèòü î÷åíü ý åêòèâíûå ìåòîäû ïî ñðàâíåíèþ ñ òåì, ÷òî óäàåòñÿ ïîëó÷èòü ïðè ïðîèçâîëüíîì ðàñïîëîæåíèè íåíóëåé, ïóñòü äàæå è îòíîñèòåëüíî ìàëîãî èõ ÷èñëà. Ïðè ðåøåíèè óðàâíåíèÿ Ïóàññîíà 2 ∂ ∂2 + u(x, y) = f (x, y) ∂x2 ∂y 2 â ïðÿìîóãîëüíèêå (x, y) ∈ [0, 1] × [0, 1] åñòåñòâåííûì îáðàçîì âîçíèêàþò áëî÷íî-òðåõäèàãîíàëüíûå ìàòðèöû ñ òðåõäèàãîíàëüíûìè áëîêàìè.  òðåõìåðíîì ñëó÷àå âîçíèêàþò áëî÷íî-òðåõäèàãîíàëüíûå ìàòðèöû, â êîòîðûõ êàæäûé èç áëîêîâ ÿâëÿåòñÿ áëî÷íî-òðåõäèàãîíàëüíîé ìàòðèöåé. Òàêîãî ðîäà âëîæåííûå áëî÷íûå ðàçáèåíèÿ ñ áëî÷íûìè ìàòðèöàìè ñïåöèàëüíîãî âèäà ïðèâîäÿò ê êîíöåïöèè ìíîãîóðîâíåâîé ìàòðèöû. Ìàòðèöà uv ⊤ (ñòðîêà íà ñòîëáåö) âàæíûé ïðèìåð ñïåöè èêè â ïëîòíûõ ìàòðèöàõ. Êðîìå òîãî, ýòî ïðèìåð ñïåöè èêè, êîòîðàÿ óæå íå îïèñûâàåòñÿ ëèíåéíûìè ñâÿçÿìè ìåæäó ýëåìåíòàìè ìàòðèöû. Êîíå÷íî, åñòü è äðóãèå âàæíûå êëàññû ìàòðèö ñïåöèàëüíîãî âèäà. Êðîìå òîãî, íóæíî èìåòü â âèäó, ÷òî ïðè ðåøåíèè ïðàêòè÷åñêèõ çàäà÷ ñïåöè èêà ìàòðèö ÷àùå âñåãî îêàçûâàåòñÿ íåÿâíîé íå èìåÿ ÿâíî âûðàæåííîé ñïåöè èêè, ìàòðèöà ìîæåò ïðèáëèæàòüñÿ ìàòðèöàìè èç õîðîøî èçó÷åííûõ êëàññîâ ìàòðèö ñïåöèàëüíîãî âèäà. 253
Äëÿ ïëîòíûõ ìàòðèö àïïðîêñèìàöèè äàþò âîçìîæíîñòü ñòðîèòü ý åêòèâíûå ìåòîäû áûñòðîãî ïðèáëèæåííîãî óìíîæåíèÿ ìàòðèöû íà âåêòîð ýòî íóæíî ïðè ðåàëèçàöèè èòåðàöèîííûõ ìåòîäîâ. Ìàòðèöû ñïåöèàëüíîãî âèäà èñïîëüçóþòñÿ òàêæå êàê ïðåäîáóñëîâëèâàòåëè äëÿ óìåíüøåíèÿ ÷èñëà èòåðàöèé. 24.2
Öèðêóëÿíòû è òåïëèöåâû ìàòðèöû
Ìàòðèöà íàçûâàåòñÿ öèðêóëÿíòíîé ìàòðèöåé èëè öèðêóëÿíòîì, åñëè îíà èìååò âèä c0 cn−1 cn−2 . . . c1 c1 c0 cn−1 · · · c2 . C= c c c · · · c 2 1 0 3 ··· ··· ··· ··· ··· cn−1 cn−2 cn−3 . . . c0
Ìàòðèöà T íàçûâàåòñÿ òåïëèöåâîé (â ÷åñòü íåìåöêîãî ìàòåìàòèêà Î. Òåïëèöà), åñëè îíà èìååò âèä t0 t−1 t−2 . . . t−1 t1 t0 t−1 · · · t−2 . T = t t t · · · t 2 1 0 −3 ··· ··· ··· ··· ···
tn−1 tn−2 tn−3 . . .
t0
Çàìåòèì, ÷òî ýëåìåíòû T îäèíàêîâû íà êàæäîé ëèíèè i − j = k è ïîëíîñòüþ îïðåäåëÿþòñÿ ýëåìåíòàìè åå ïåðâîãî ñòîëáöà è ïåðâîé ñòðîêè. Öèðêóëÿíòíàÿ ìàòðèöà ÿâëÿåòñÿ òåïëèöåâîé ìàòðèöåé, ïîëíîñòüþ îïðåäåëÿåìîé ñâîèì ïåðâûì ñòîëáöîì. Öèðêóëÿíòíûå ìàòðèöû âîçíèêàþò ïðè äèñêðåòèçàöèè èíòåãðàëüíîãî óðàâíåíèÿ íà îêðóæíîñòè, åñëè åãî ÿäðî K(x, y) çàâèñèò ëèøü îò ðàññòîÿíèÿ ìåæäó òî÷êàìè x è y (íàïðèìåð, óðàâíåíèå äëÿ ëîãàðè ìè÷åñêîãî ïîòåíöèàëà), à ñåòêà ïðåäïîëàãàåòñÿ ðàâíîìåðíîé. Òåïëèöåâû ìàòðèöû ïîëó÷àþòñÿ ïðè äèñêðåòèçàöèè èíòåãðàëüíûõ óðàâíåíèé ñ òàêîãî æå òèïà ÿäðàìè íà îòðåçêå. 24.3
Öèðêóëÿíòû è ìàòðèöû Ôóðüå
Öèðêóëÿíòû è òåïëèöåâû ìàòðèöû îïðåäåëÿþòñÿ ìàëûì ÷èñëîì íåçàâèñèìûõ ïàðàìåòðîâ: n è 2n−1 â ñëó÷àå ìàòðèö ïîðÿäêà n.  ñëó÷àå ïðîèçâîëüíîé ìàòðèöû ïîðÿäêà n èìååòñÿ, î÷åâèäíî, n2 íåçàâèñèìûõ ïàðàìåòðîâ.
Äëÿ çàïèñè ìàëîïàðàìåòðè÷åñêèõ ìàòðèö è ïðè ïîñòðîåíèè àëãîðèòìîâ äëÿ íèõ ïîÿâëÿåòñÿ çàìå÷àòåëüíàÿ âîçìîæíîñòü íå èñïîëüçîâàòü ìàññèâû ðàçìåðîâ n × n. Ïðè ýòîì ýêîíîìèÿ ïàìÿòè îêàçûâàåòñÿ ïðÿìî ñâÿçàííîé ñ ñóùåñòâåííûì ñîêðàùåíèåì ÷èñëà àðè ìåòè÷åñêèõ îïåðàöèé.  áûñòðûõ àëãîðèòìàõ ëèíåéíîé àëãåáðû êëþ÷åâàÿ ðîëü ïðèíàäëåæèò öèðêóëÿíòíûì ìàòðèöàì è îáåñïå÷èâàåòñÿ èõ ñâÿçüþ ñ äèñêðåòíûì ïðåîáðàçîâàíèåì Ôóðüå. Ïîñëåäíåå îïðåäåëÿåòñÿ êàê îïåðàöèÿ óìíîæåíèÿ âåêòîðà íà ìàòðèöó Ôóðüå ìàòðèöó âäà
Fn = [wkl ],
0 ≤ k, l ≤ n − 1,
2π
w = e−i n .
Äëÿ öèðêóëÿíòíîé ìàòðèöû C ∈ Cn×n ñ ïåðâûì ñòîëáöîì c ∈ Cn èìååò ìåñòî ðàçëîæåðíèå Òåîðåìà 24.3.1
C= Äîêàçàòåëüñòâî.
λk =
1 ∗ F diag(Fnc) Fn . n n
Âîçòìåì ζ = wk è ïîëîæèì n−1 X j=0
j
ζ cj
⇒
l
ζ λk =
n−1 X
ζ j cj−l (mod n) .
j=0
Ñîáèðàÿ âìåñòå ýòè óðàâíåíèÿ ïðè âñåõ l è k , ìû ïîëó÷àåì ìàòðè÷íîå ðàâåíñòâî Fn C = diag(Fnc)Fn . Îñòàåòñÿ ïðîâåðèòü, ÷òî Fn−1 = n1 Fn∗ . 2 Òàêèì îáðàçîì, óìíîæåíèå öèðêóëÿíòíîé ìàòðèöû íà âåêòîð ñâîäèòñÿ ê òðåì îïåðàöèÿì óìíîæåíèÿ íà ìàòðèöó Ôóðüå. Ñëîæíîñòü ðåøåíèÿ ñèñòåìû ñ öèðêóëÿíòíîé ìàòðèöåé êîý èöèåíòîâ îïðåäåëÿåòñÿ ñëîæíîñòüþ îïåðàöèè óìíîæåíèÿ íà ìàòðèöó Ôóðüå. Ïðè óìíîæåíèè íà âåêòîð òåïëèöåâîé ìàòðèöû T ïîðÿäêà n ìû ìîæåì ñâåñòè çàäà÷ó ê óìíîæåíèþ íà âåêòîð öèðêóëÿíòíîé ìàòðèöû C , ñîäåðæàùåé T êàê ïîäìàòðèöó: T ··· C= ∈ CN ×N . ··· ··· Òàêóþ öèðêóëÿíòíóþ ìàòðèöó C ìîæíî ïîñòðîèòü äëÿ ëþáîãî ïðåäïèñàííîãî ïîðÿäêà N ≥ 2n − 1 (äîêàæèòå). 24.4
Áûñòðîå ïðåîáðàçîâàíèå Ôóðüå
Âåêòîð y = Fn x äëÿ çàäàííîãî x ìîæíî âû÷èñëèòü çà O(n log n) îïåðàöèé. Âîçìîæíî,÷òî â ñâÿçè ñ ýòèì àêòîì ñëåäóåò óïîìèíàòü àóññà; ñåé÷àñ ìû
òî÷íî çíàåì, ÷òî àëãîðèòìû áûñòðîãî ïðåîáðàçîâàíèÿ Ôóðüå áûëè èçâåñòíû óíãå è Ëàíöîøó.  ëþáîì ñëó÷àå îíè îêàçàëèñü â öåíòðå âíèìàíèÿ âû÷èñëèòåëåé è èíæåíåðîâ áëàãîäàðÿ ðàáîòå Êóëè è Òüþêè, îïóáëèêîâàííîé â 1965 ã. 1 Äàâàéòå ïîñìîòðèì, êàê ýòî äåëàåòñÿ. Ïðåäïîëîæèì, ÷òî n = 2m, è îáîçíà÷èì ÷åðåç Pn ìàòðèöó ïåðåñòàíîâêè, ñîñòàâëåííóþ èç ñòðîê åäèíè÷íîé ìàòðèöû I ñ íîìåðàìè
1, 3, . . . , 2m − 1, 2, 4, . . . , 2m. Òîãäà íåòðóäíî ïðîâåðèòü, ÷òî " # [w2kl ] [w2k(m+l)] Pn Fn = , [w(2k+1)l ] [w(2k+1)(m+l)]
Pn Fn =
Fm 0 0 Fm
Im 0 0 Wm
0 ≤ k, l ≤ m − 1.
Im Im Im −Im
,
⇒ (24.4.1)
Wm = diag{w0 , w1, . . . , wm−1}.
Èòàê, çàäà÷à óìíîæåíèÿ âåêòîðà íà F2m ñâîäèòñÿ ê äâóì àíàëîãè÷íûì çàäà÷àì äëÿ ìàòðèöû Fm. Åñëè n åñòü ñòåïåíü ÷èñëà 2, òî ïîòðåáóåòñÿ â èòîãå 12 n log2 n êîìïëåêñíûõ óìíîæåíèé è n log2 n êîìïëåêñíûõ ñëîæåíèéâû÷èòàíèé (äîêàæèòå). 24.5
Öèðêóëÿíòíûå ïðåäîáóñëîâëèâàòåëè
àññìîòðèì èíòåãðàëüíîå óðàâíåíèå ñ ëîãàðè ìè÷åñêèì ÿäðîì íà ãëàäêîì êîíòóðå Γ = {γ(t) : 0 ≤ t ≤ 2π}. Èñïîëüçóÿ ðàâíîìåðíóþ ñåòêó íà [0, 2π] è ìåòîä àëåðêèíà ñ óíêöèÿìè âèäà U (t) ≡ u(t) |γ ′(t)|, ìû ìîæåì ðàñùåïèòü ìàòðèöó ìîìåíòîâ A = C + R òàêèì îáðàçîì, ÷òî C áóäåò öèðêóëÿíòíîé ìàòðèöåé, ñîîòâåòñòâóþùåé ãëàâíîé ÷àñòè îïåðàòîðà. Ìàòðèöà C −1R ìîæåò ðàññìàòðèâàòüñÿ êàê äèñêðåòíûé àíàëîã íåêîòîðîãî êîìïàêòíîãî îïåðàòîðà, ïîýòîìó íóæíî îæèäàòü, ÷òî C áóäåò õîðîøèì ïðåäîáóñëîâëèâàòåëåì äëÿ A âñëåäñòâèå êëàñòåðèçàöèè ñîáñòâåííûõ çíà÷åíèé ïðåäîáóñëîâëåííîé ìàòðèöû C −1 A â òî÷êå 1. Ïðè ïîñòðîåíèè öèðêóëÿíòíîãî ïðåäîáóñëîâëèâàòåëÿ äëÿ çàäàííîé ìàòðèöû A ïîðÿäêà n ìîæíî è çàáûòü î êàêîé-ëèáî ñâÿçè ñ ðàñùåïëåíèåì îïåðàòîðà. Íàïðèìåð, ïîòðåáóåì, ÷òîáû öèðêóëÿíò C ìèíèìèçèðîâàë íîðìó ||A − C||F íà ìíîæåñòâå âñåõ öèðêóëÿíòíûõ ìàòðèö ïîðÿäêà n. Òàêàÿ 1 J. W. Cooley and J. W. Tukey. An algorithm for the ma hine al ulation of omplex Fourier series.
Math. Comput. 19 (90): 297301 (1965).
ìàòðèöà C íàçûâàåòñÿ îïòèìàëüíûì öèðêóëÿíòîì 2 è ëåãêî íàõîäèòñÿ ïî ýëåìåíòàì ìàòðèöû A áåç êàêèõ-ëèáî ïðåäïîëîæåíèé î åå ñïåöè èêå. Âïåðâûå àíàëèç öèðêóëÿíòíûõ ïðåäîáóñëîâëèâàòåëåé ïðè ðåøåíèè òåïëèöåâûõ ñèñòåì áûë äàí . ×åíîì è . Ñòðýíãîì. 3 Ïóñòü C îïòèìàëüíûé öèðêóëÿíò äëÿ ìàòðèöû A ïîðÿäêà n. Ñîãëàñíî òåîðåìå 24.3.1, C = Fˆ ∗ DFˆ , ãäå Fˆ = n−1/2Fn , Fn ìàòðèöà Ôóðüå ïîðÿäêà n, à D äèàãîíàëüíàÿ ìàòðèöà èç ñîáñòâåííûõ çíà÷åíèé ìàòðèöû C . Íåòðóäíî ïðîâåðèòü, ÷òî ìàòðèöà Fˆ óíèòàðíàÿ. Ïîýòîìó ||A − C||F = ||D − Fˆ AFˆ ∗||F ≥ ||Fˆ AFˆ ∗ − diag(Fˆ AFˆ ∗)||F , îòêóäà ïîëó÷àåì
C = Fˆ ∗ diag(Fˆ AFˆ ∗)Fˆ .
(24.5.2)
Îòñþäà ÿñíî, ÷òî åñëè A = A∗ , òî è C = C ∗ , à èç ïîëîæèòåëüíîé îïðåäåëåííîñòè A ñëåäóåò ïîëîæèòåëüíàÿ îïðåäåëåííîñòü åå îïòèìàëüíîãî öèðêóëÿíòà C . 24.6
Îïòèìàëüíûå öèðêóëÿíòû äëÿ òåïëèöåâûõ ñèñòåì
àññìîòðèì âåùåñòâåííóþ èíòåãðèðóåìóþ 2π -ïåðèîäè÷åñêóþ óíêöèþ f (t) è åå îðìàëüíîå ðàçëîæåíèå â ðÿä Ôóðüå ∞ X ak eikt . f (t) = (24.6.3) k=−∞
Ïóñòü An = [ak−l ] òåïëèöåâà ìàòðèöà ïîðÿäêà n, ñîñòàâëåííàÿ èç êîý èöèåíòîâ ýòîãî ðÿäà Ôóðüå. Ëåììà 24.6.1
âåíñòâî
Äëÿ ëþáîãî âåêòîðà x = [x0 , x1, ..., xn−1]⊤ ñïðàâåäëèâî ðà-
(An x, x) = Äîêàçàòåëüñòâî.
1 2π
Zπ
−π
2 n−1 X ikt xk e dt. f (t)
(24.6.4)
k=0
Äîñòàòî÷íî âñïîìíèòü, ÷òî ak =
1 2π
Rπ
f (t)e−iktdt. Òîãäà
−π
ïðàâàÿ ÷àñòü ðàâåíñòâà (24.6.4) çàïèñûâàåòñÿ â âèäå Zπ n−1 n−1 n−1 n−1 X X X X 1 −i(k−l)t xl ak−l xl = (An x, x). 2 x¯k x¯k f (t)e dt = 2π k=0
l=0
k=0
−π
l=0
2 T. Chan. An optimal ir ulant pre onditioner for Toeplitz systems. 766771 (1988).
SIAM J. S i. Statist. Comput.
9:
3 R. Chan and G. Strang. Toeplitz equations onstru ted by onjugate gradients with ir ulant pre ondi-
tioners.
SIAM J. Stat. Comput.
10: 104119 (1989).
Åñëè cmin ≤ f (t) ≤ cmax äëÿ âñåõ t, òî âñå ñîáñòâåííûå çíà÷åíèÿ òåïëèöåâûõ ìàòðèö An è ïîñòðîåííûõ äëÿ íèõ îïòèìàëüíûõ öèðêóëÿíòîâ Cn íàõîäÿòñÿ íà îòðåçêå [cmin , cmax].
Ñëåäñòâèå 24.6.1
Ëåììà 24.6.2
Ïóñòü
∞ P
k=−∞
|ak | ≤ c < +∞. Òîãäà äëÿ ëþáîãî ε > 0 ñó-
ùåñòâóþò öåëûå r = r(ε) è N = N (ε) òàêèå, ÷òî ïðè n ≥ N èìååò ìåñòî ðàñùåïëåíèå An − Cn = Rn + En , (24.6.5)
ãäå
rankRn ≤ r,
(24.6.6)
||En ||∞ ≤ ε.
Ôèêñèðóåì ïðîèçâîëüíîå ε > 0 è âûáåðåì s = s(ε) P |ak | ≤ ε/2. Áóäåì ñ÷èòàòü, ÷òî c−k = cn−k . Òîãäà òàêèì îáðàçîì,÷òî
Äîêàçàòåëüñòâî.
|k|≥s
n−s X k=0
|c−k − a−k | ≤
n−s X k k=0
n
|an−k − a−k | ≤
X k≥s
(|ak | + |a−k |) +
cs ε cs ≤ + ≤ ε n 2 n
ïðè äîñòàòî÷íî áîëüøèõ n. Àíàëîãè÷íî, ïðè äîñòàòî÷íî áîëüøèõ n íàõîäèì n−s X |ck − ak | ≤ ε. k=0
 êà÷åñòâå Rn âîçüìåì ìàòðèöó ñ ýëåìåíòàìè (Rn)ij = (An − Cn )ij ïðè |i − j| ≥ n − s è íóëÿìè ïðè |i − j| < n − s. Î÷åâèäíî, rankRn ≤ r ≡ 2s. 2 Òåîðåìà 24.6.1
Ïóñòü f (t) ≥ cmin > 0 äëÿ âñåõ t è
∞ P
k=−∞
|ak | ≤ c < +∞.
Òîãäà ñîáñòâåííûå çíà÷åíèÿ ïîñëåäîâàòåëüíîñòè ìàòðèö Cn−1 An ðàñïîc ëîæåíû íà îòðåçêå [ cmin c , cmin ] è èìåþò ñîáñòâåííûé êëàñòåð â òî÷êå 1. Ñîáñòâåííûå çíà÷åíèÿ Cn−1An ñîâïàäàþò ñ ñîáñòâåííû−1/2 −1/2 è ïîýòîìó âåùåñòâåííû ìè çíà÷åíèÿìè ýðìèòîâîé ìàòðèöû Cn An Cn è ïîëîæèòåëüíû. Ñîãëàñíî (24.6.4) è (24.5.2), ñîáñòâåííûå çíà÷åíèÿ ìàòðèö An è Cn ðàñïîëîæåíû íà îòðåçêå [cmin , c]. Îòñþäà
Äîêàçàòåëüñòâî.
λ(Cn−1An ) ≤ ||Cn−1An ||2 ≤
c cmin
.
Àíàëîãè÷íî,
1 λ(Cn−1An )
−1 = λ(A−1 n Cn ) ≤ ||An Cn ||2 ≤
c cmin
.
Äàëåå, ïî ëåììå 24.6.2, äëÿ ëþáîãî ε > 0 ïðè âñåõ äîñòàòî÷íî áîëüøèõ n ìàòðèöà Cn−1An ïîëó÷àåòñÿ èç ìàòðèöû âèäà I +Cn−1 En ìîäè èêàöèåé ðàíãà íå âûøå r. Ïðè ýòîì íå áîëåå r ñîáñòâåííûõ çíà÷åíèé ìîãóò îêàçàòüñÿ âíå îòðåçêà [1 − cε, 1 + cε]. 2 Ïóñòü â óñëîâèÿõ äàííîé òåîðåìû ñèñòåìà ñ òåïëèöåâîé ìàòðèöåé An ðåøàåòñÿ ïî ìåòîäó ñîïðÿæåííûõ ãðàäåíòîâ ñ îïòèìàëüíûì öèðêóëÿíòíûì ïðåäîáóñëîâëèâàòåëåì.  ñèëó ðåçóëüòàòîâ ãëàâû 21 ÷èñëî èòåðàöèé äëÿ ïîëó÷åíèÿ íåâÿçêè ñ íîðìîé ||rj ||2 ≤ ε||r0 ||2 íå çàâèñèò îò n. Áîëåå òîãî, äëÿ ëþáîãî 0 < q < 1 ïðè äîñòàòî÷íî áîëüøèõ n âûïîëíÿåòñÿ íåðàâåíñòâî ||rj ||2 ≤ c(q)q j ||r0 ||2 .  òàêèõ ñëó÷àÿõ ãîâîðÿò, ÷òî ìåòîä ñõîäèòñÿ ñóïåðëèíåéíî. 24.7
Ñòðîåíèå îáðàòíûõ ìàòðèö
Ìàòðèöà, îáðàòíàÿ ê öèðêóëÿíòíîé, òàêæå ÿâëÿåòñÿ öèðêóëÿíòíîé (ïî÷åìó?). Äëÿ òåïëèöåâûõ ìàòðèö îáðàòíàÿ ìàòðèöà â îáùåì ñëó÷àå íå ÿâëÿåòñÿ òåïëèöåâîé (ïðèâåäèòå ïðèìåð). Òåì íå ìåíåå, îáðàòíûå ìàòðèöû äîïóñêàþò ïîëåçíûå ìàëîïàðàìåòðè÷åñêèå ïðåäñòàâëåíèÿ, îáíàðóæèâàþùèå èõ ñâÿçü ñ òåïëèöåâûìè ìàòðèöàìè. ( îõáåðãÑåìåíöóë) Ïóñòü A = [ai−j ] òåïëèöåâà ìàòðèöà ïîðÿäêà n + 1, äëÿ êîòîðîé äâå ñèñòåìû Òåîðåìà 24.7.1
x0 x A ...1 xn
=
1 0 , ... 0
y0 ...
0 ... 0 1
A yn−1 = yn
(24.7.7)
ñîâìåñòíû è ïðè ýòîì x0 6= 0 (èëè yn 6= 0). Òîãäà ìàòðèöà A îáðàòèìà è ïðåäñòàâèìà â âèäå ðàçíîñòè ïðîèçâåäåíèé òåïëèöåâûõ òðåóãîëüíûõ ìàòðèö:
A
−1
=
x0 −1 x1 x0 ... xn
u0
x0 ... ...
− x−1 0
ui = yn−i, Äîêàçàòåëüñòâî.
ñèììåòðè÷íîé:
... ... x0
0 y0 y1 ... yn−1
u1 u0 ...
0 y0 ... ...
... un ... un−1 − ... ... u0
0 ... ... ... ... y0
0 v0 0
0
0 ≤ i ≤ n.
wi = xn−1,
v1 v0 ...
... ... ... 0
vn−1 vn−2 ... , v0 0
Çàìåòèì, ÷òî ëþáàÿ òåïëèöåâà ìàòðèöà ÿâëÿåòñÿ ïåð-
A⊤ = JAJ,
J=
1
.
..
.
1
Åñëè ïåðñèììåòðè÷íàÿ ìàòðèöà îáðàòèìà, òî îáðàòíàÿ ìàòðèöà òàêæå ïåðñèììåòðè÷íà: (A−1 ) = JA−1 J . Îòñþäà ñëåäóåò, ÷òî ui è vi ýëåìåíòû ïåðâîé è ïîñëåäíåé ñòðîê A−1 . Èç ðàâåíñòâà Ay = e0 âûòåêàåò, ÷òî JAJ(Jy) = Jen = y0 , ãäå e0 è en ïåðâûé è ïîñëåäíèé ñòîëáöû åäèíè÷íîé ìàòðèöû. Ó÷èòûâàÿ ïåðñèììåòðè÷íîñòü ìàòðèöû A, ïîëó÷àåì (Jy)⊤A = e⊤ 0 . Îòñþäà
yn = (Jy)⊤Ax = x0. àññìîòðèì ðàâíóþ íóëþ ëèíåéíóþ êîìáèíàöèþ ñòðîê ìàòðèöû A: [α0 ... αn]A = [0 ... 0]. Óìíîæàÿ îáå ÷àñòè ñïðàâà íà x = [x0 ... xn]⊤ , íàõîäèì α0 = 0. Äàëåå, òåïëèöåâ âèä ìàòðèöû ïðèâîäèò ê âûâîäó î òîì, ÷òî [α1 ... αn]Aˆ = 0, ãäå Aˆ âåäóùàÿ ïîäìàòðèöà ïîðÿäêà n. Èç âòîðîãî óðàâíåíèÿ (24.7.7) è óñëîâèÿ yn 6= 0 ñëåäóåò, ÷òî ïîñëåäíèé ñòîëáåö ìàòðèöû A˜, ïîëó÷åííîé èç A èñêëþ÷åíèåì ïîñëåäíåé ñòðîêè, åñòü ëèíåéíàÿ êîìáè˜ = 0. Òå æå ðàññóæäåíèÿ íàöèÿ ïðåäûäóùèõ ñòîëáöîâ. Ïîýòîìó [α1 ... αn]A ìîæíî ïîâòîðèòü äëÿ ïðÿìîóãîëüíîé òåïëèöåâîé ìàòðèöû A˜: óìíîæàÿ îáå ÷àñòè ñïðàâà íà x, íàõîäèì α1 = 0, è ò. ä.  èòîãå α0 = .. = αn = 0 ⇒ ñòðîêè ìàòðèöû A ëèíåéíî íåçàâèñèìû. n P ai−k ckj = δij , 0 ≤ i, j ≤ n. Ó÷èòûâàÿ Ïóñòü A−1 = [ckj ]. Òîãäà n P −1
ðàâåíñòâà ai = −x0
c0j = uj , ïîëó÷àåì
n X k=1
k=1
k=0
ai−k xk , 1 ≤ i ≤ n, è ïðèíèìàÿ âî âíèìàíèå, ÷òî
ai−k (ckj − x−1 0 xk uj ) = δij ,
Èñïîëüçóÿ ðàâåíñòâà ai−n = −x−1 0 n−1 X k=0
n−1 P
1 ≤ i, j ≤ n.
(∗)
ai−k yk , íàõîäèì
k=0
ai−k (ckj − x−1 0 yk vj ) = δij ,
0 ≤ i, j ≤ n − 1.
Çàìåíÿÿ i íà i − 1 è j íà j − 1, ïîëó÷àåì n X k=1
ai−k (ck−1 j−1 − x−1 0 yk−1 vj−1 ) = δij ,
1 ≤ i, j ≤ n.
(∗∗)
Ñèñòåìû (∗) è (∗∗) èìåþò îáùóþ ìàòðèöó êîý èöèåíòîâ, ðàâíóþ Aˆ, è ˆ det A 6= 0 îäíó è òó æå ïðàâóþ ÷àñòü.  ñèëó ïðàâèëà Êðàìåðà x0 = det A/ ⇒ det Aˆ 6= 0 ⇒ ðåøåíèÿ ñèñòåì (∗) è (∗∗) ðàâíû. Çíà÷èò, −1 ckj = ck−1 j−1 + x−1 0 xk uj − x0 yk−1 vj−1 ,
1 ≤ k, j ≤ n.
(24.7.8)
Íî òî÷íî òàêèå æå ñîîòíîøåíèÿ ïîëó÷àþòñÿ äëÿ ýëåìåíòîâ ìàòðèöû â ïðàâîé ÷àñòè äîêàçûâàåìîé îðìóëû. Îñòàåòñÿ çàìåòèòü, ÷òî ïåðâûé ñòîëáåö è ïåðâàÿ ñòðîêà â åå ïðàâîé ÷àñòè ñîâïàäàþò ñ ïåðâûì ñòîëáöîì è ïåðâîé ñòðîêîé ìàòðèöû A−1 . 2 Ôîðìóëà îõáåðãàÑåìåíöóëà äàåò ìàòðè÷íóþ èíòåðïðåòàöèþ ñîîòíîøåíèé (24.7.8) ìåæäó ýëåìåíòàìè îáðàòíîé ìàòðèöû. Òàêîãî òèïà ñîîòíîøåíèÿ áûëè âïåðâûå ïîëó÷åíû Â. Òðåí÷åì â 1965 ã. â ïðåäïîëîæåíèè ñòðîãîé ðåãóëÿðíîñòè ìàòðèöû A. Èõ æå ìîæíî âûâåñòè èç îðìóë Êðèñòî åëÿÄàðáó, èçâåñòíûõ â òåîðèè îðòîãîíàëüíûõ ïîëèíîìîâ. 24.8
Òåïëèöåâû ðàíãè
Îáîçíà÷èì ÷åðåç L(u) òåïëèöåâó íèæíþþ òðåóãîëüíóþ ìàòðèöó, ïåðâûé ñòîëáåö êîòîðîé åñòü u. Òîãäà ìàòðèöà, îáðàòíàÿ ê òåïëèöåâîé, èìååò âèä
L(g1)L⊤(h1) + L(g2)L⊤(h2) äëÿ íåêîòîðûõ âåêòîðîâ g1 , g2 , h1 , h2 . Òðàíñïîíèðîâàííàÿ ìàòðèöà (â ñèëó ïåðñèììåòðè÷íîñòè) èìååò âèä
(JL(g1)J)(JL⊤(h1)J) + (JL(g2)J)(JL⊤(h2)J) = L⊤(g1)L(h1) + L⊤(g2)L(h2). Ýòè ìàòðèöû ìîæíî ðàññìàòðèâàòü êàê ïðèìåðû ìàòðèö áîëåå îáùåãî âèäà: r r X X ⊤ L(gk )L (hk ) è B = L⊤(gk )L(hk ). A= (24.8.9) k=1
k=1
Ïóñòü G = [g1 , ..., gr ] è H = [h1 , ..., hr ]. Òîãäà íåòðóäíî ïðîâåðèòü, ÷òî ðàâåíñòâà (24.8.9) âûïîëíÿþòñÿ â òîì è òîëüêî òîì ñëó÷àå, êîãäà
A − ZAZ ⊤ = GH ⊤ ,
B − Z ⊤BZ = (JG)(JH)⊤,
Z=
0 1
0 . ... ... 1 0
(24.8.10)
Åñëè ìàòðèöà A îáðàòèìà, òî rank(A − ZAZ ⊤) = rank(A−1 − Z ⊤A−1 Z) (äîêàæèòå!). Îòñþäà ñëåäóåò, ÷òî îáå ìàòðèöû A è A−1 ïðåäñòàâèìû â âèäå ñóììû îäíîãî è òîãî æå ÷èñëà ïðîèçâåäåíèé òåïëèöåâûõ òðåóãîëüíûõ ìàòðèö. Ñîâåðøåííî ïðîèçâîëüíàÿ ìàòðèöà òîæå äîïóñêàåò ïðåäñòàâëåíèå òàêîãî æå òèïà, íî ÷èñëî ïðîèçâåäåíèé ìîæåò áûòü ðàâíî åå ïîðÿäêó n. Ïðàêòè÷åñêèé èíòåðåñ âîçíèêàåò, êîãäà r ≪ n. àíãè ìàòðèö A − ZAZ ⊤ è A − Z ⊤AZ èíîãäà íàçûâàþòñÿ òåïëèöåâûìè ðàíãàìè ìàòðèöû A.
Ïîä Z -ðàíãîì (ñäâèãîâûì ðàíãîì, ðàíãîì ñìåùåíèÿ) ìàòðèöû A ïîíèìàåòñÿ ðàíã ìàòðèöû ZA − AZ . À âîò äàëåêî èäóùåå îáîáùåíèå: ïîä (P, Q)-ðàíãîì ìàòðèöû A ïîíèìàåòñÿ ðàíã ìàòðèöû P A − AQ. Äëÿ îáðàòèìîé ìàòðèöû åå Z -ðàíã ðàâåí Z -ðàíãó îáðàòíîé ìàòðèöû, à (P, Q)-ðàíã ðàâåí (Q, P )-ðàíãó îáðàòíîé ìàòðèöû (äîêàæèòå). 24.9
Àëãîðèòìû ìåòîäà îêàéìëåíèÿ
Ïóñòü An = [ai−j ] ñòðîãî ðåãóëÿðíàÿ òåïëèöåâà ìàòðèöà ïîðÿäêà n + 1 è íóæíî ðåøèòü ñèñòåìó Au = f . Ìåòîä îêàéìëåíèÿ ïîäðàçóìåâàåò ïîñëåäîâàòåëüíîå ðåøåíèå ñèñòåì u f 0 0k Ak ... = ... , 0 ≤ k ≤ n. fk
ukk
×òîáû ýòî ñäåëàòü, äîñòàòî÷íî íàó÷èòüñÿ âû÷èñëÿòü ðåøåíèÿ ñëåäóþùèõ ñïåöèàëüíûõ ñèñòåì: x0k Ak x...1k xkk
=
1 0 , ... 0
y0k ...
Ak yk−1 k = ykk
0 ... . 0 1
Ïîñëå ýòîãî âñå ñâîäèòñÿ ê ðåêóððåíòíûì âû÷èñëåíèÿì âèäà y0k u0k u0 k−1 k−1 X ... = ... + sk ... , sk = fk − ak−l ul k−1. yk−1 k uk−1 k uk−1 k−1 ukk
ykk
0
l=0
Äàííûå âû÷èñëåíèÿ èñïîëüçóþò ëèøü âåëè÷èíû ylk . Íî ÷òîáû èõ íàéòè, ïîëåçíî èìåòü òàêæå âåëè÷èíû xlk . Äîñòàòî÷íî çàìåòèòü,÷òî óðàâíåíèÿ
x0k x1k ...
xk−1 k xkk
=
x0 k−1 x1 k−1 αk ... xk−1 k−1 0
+ βk
0 y0 k−1 ...
yk−2 k−1 yk−1 k−1
,
y0k y1k ...
yk−1 k ykk
=
x0 k−1 x1 k−1 γk ... xk−1 k−1 0
+ δk
0 y0 k−1 ...
yk−2 k−1 yk−1 k−1
îäíîçíà÷íî ðàçðåøèìû îòíîñèòåëüíî êîý èöèåíòîâ αk , βk , γk , δk .  ñàìîì äåëå, ïîñëå èõ óìíîæåíèÿ ñëåâà íà Ak , ó÷èòûâàÿ òåïëèöåâ âèä ìàòðèöû, íàõîäèì 1 ...0 0 0
=
1 0 αk ... 0 φk
+
ψk 0 βk ... , 0 1
0 ...0 0 1
=
1 0 γk ... 0 φk
+
ψk 0 δk ... , 0 1
φk =
k−1 X
ak−l xl k−1,
ψk =
l=0
l=0
Òàêèì îáðàçîì,
k−1 X
a−l−1yl k−1.
1 0 1 ψk αk γk = . βk δk φk 1 0 1 Îáðàòèìîñòü ñàìîé ëåâîé ìàòðèöû î÷åâèäíà èç ñëåäóþùåãî ðàâåíñòâà:
x0 k−1 x1 k−1 Ak ... xk−1 k−1 0
0 y0 k−1 ...
yk−2 k−1 yk−1 k−1
=
1 0 ... 0 φk
ψk 0 ... . 0 1
Hóæíî ó÷åñòü, ÷òî x0 k−1 = yk−1 k−1 6= 0 è ðàíã íå ìåíÿåòñÿ ïðè óìíîæåíèè íà îáðàòèìóþ ìàòðèöó. ßñíî, ÷òî âû÷èñëåíèå êîý èöèåíòîâ αk , βk , γk , δk è ïåðåñ÷åò âåêòîðîâ íà k -ì øàãå òðåáóåò ëèøü O(k) îïåðàöèé. Îáùåå ÷èñëî îïåðàöèé äëÿ âñåõ k îò 1 äî n îêàçûâàåòñÿ ðàâíûì O(n2 ). Íà îñíîâå ýòèõ àëãîðèòìîâ ìîæíî ïîëó÷èòü è áîëåå ý åêòèâíûå, ñóïåðáûñòðûå àëãîðèòìû ñ ÷èñëîì îïåðàöèé O(n log2 n). Èòåðàöèîííûå ìåòîäû ñ öèðêóëÿíòíûìè ïðåäîáóñëîâëèâàòåëÿìè ïðè îïðåäåëåííûõ ïðåäïîëîæåíèÿõ ìîãóò äàòü ïðèáëèæåííîå ðåøåíèå ñ çàòðàòîé cn log n îïåðàöèé, ãäå c çàâèñèò îò ïðåäïèñàííîé òî÷íîñòè, íî íå çàâèñèò îò n. Çàäà÷è
1. Ïóñòü Fn ìàòðèöà Ôóðüå ïîðÿäêà n. Äîêàæèòå, ÷òî ìàòðèöà n−1/2 Fn óíèòàðíàÿ. 2. Äîêàæèòå ðàâåíñòâî (24.4.1). 3. Äîêàçàòü, ÷òî äâà ìíîãî÷ëåíà ñòåïåíè n ìîæíî ïåðåìíîæèòü ñ çàòðàòîé O(n log2 n) àðè ìåòè÷åñêèõ îïåðàöèé. 4. Äàíû ÷èñëà x1 , . . . , xn. Äîêàçàòü, ÷òî êîý èöèåíòû ìíîãî÷ëåíà n Q f (x) = (x − xi) ìîæíî íàéòè ñ çàòðàòîé O(n log22 n) àðè ìåòè÷åñi=1
êèõ îïåðàöèé.
5. Ïóñòü An = [ai−j ]n×n è Cn = [ci−j ]n×n òåïëèöåâà ìàòðèöà è åå îïòèìàëüíûé öèðêóëÿíò. Äîêàæèòå, ÷òî X (n − k) ak + k an−k , 0 ≤ k ≤ n − 1. ai−j = ck = n i,j: i−j=k (mod n)
6. Ïóñòü An = [ai−j ]n×n è Cn = [ci−j ]n×n ïîñëåäîâàòåëüíîñòü òåïëèöåâûõ ìàòðèö è ïîñòðîåííûõ äëÿ íèõ îïòèìàëüíûõ öèðêóëÿíòîâ, è ∞ P |ak |2 < +∞. Äîêàæèòå, ÷òî ||An − Cn ||2F = o(n). Äîêàæèòå ïóñòü k=−∞
òàêæå, ÷òî ïðè óñëîâèè
√ ||Cn−1||2 ||An − Cn||F = o( n)
ñèíãóëÿðíûå ÷èñëà ìàòðèö Cn−1 An èìåþò êëàñòåð â òî÷êå 1. 7. Ïóñòü An = [ai−j ]n×n è Cn = [ci−j ]n×n ïîñëåäîâàòåëüíîñòü òåïëèöåâûõ ìàòðèö è ïîñòðîåííûõ äëÿ íèõ îïòèìàëüíûõ öèðêóëÿíòîâ. Äîêàæèòå, ÷òî ñîáñòâåííûå çíà÷åíèÿ ìàòðèö Cn ñóòü çíà÷åíèÿ ÷àñòè÷íûõ ñóìì ×åçàðî: n X 2π k λk (Cn) = σn k , 0 ≤ k ≤ n; σn(t) = ak eikt. 1− n n k=0
8. Åñëè a−k = −an−k ïðè 1 ≤ k ≤ n − 1, òî òåïëèöåâà ìàòðèöà ïîðÿäêà n ñ ýëåìåíòàìè ai−j íàçûâàåòñÿ êîñîöèðêóëÿíòîì. Äîêàæèòå, ÷òî ìàòðèöà, îáðàòíàÿ ê êîñîöèðêóëÿíòó, áóäåò êîñîöèðêóëÿíòîì. 9. Ïóñòü A = [ai−j ] òåïëèöåâà ìàòðèöà ïîðÿäêà n + 1, äëÿ êîòîðîé îáå ñèñòåìû x0 x A ...1 xn
=
1 0 , ... 0
z0 z A ...1 zn
=
0 a −n ... a−1
èìåþò ðåøåíèå. Äîêàæèòå, ÷òî ìàòðèöà A îáðàòèìà. 10. Äîêàæèòå, ÷òî âñå ýëåìåíòû ìàòðèöû, îáðàòíîé ê ñòðîãî ðåãóëÿðíîé òåïëèöåâîé ìàòðèöå ïîðÿäêà n, ìîæíî âû÷èñëèòü çà O(n2 ) îïåðàöèé. 11. Ïóñòü x1 , ..., xn, y1 , ..., yn ïîïàðíî ðàçëè÷íûå ÷èñëà. Äîêàæèòå, ÷òî ìàòðèöà A = [1/(xi − yj )] (èçâåñòíàÿ êàê ìàòðèöà Êîøè) îáðàòèìà. Äîêàæèòå, ÷òî åñëè P = diag(x1 , ..., xn) è Q = diag(y1 , ..., yn), òî (Q, P )-ðàíã ìàòðèöû A−1 ðàâåí 1. 12. Ïóñòü ìàòðèöà A îáðàòèìà, à P è Q ïðîèçâîëüíûå ìàòðèöû òàêîãî æå ïîðÿäêà. Äîêàçàòü, ÷òî rank(A − P AQ) = rank(A−1 − QA−1 P ).
ëàâà 25
25.1
Íåëèíåéíûå àïïðîêñèìàöèè
 çàäà÷àõ ÷èñëåííîãî àíàëèçà âàæíåéøèìè ÿâëÿþòñÿ äâà òèïà íåëèíåéíîé àïïðîêñèìàöèè:
• àïïðîêñèìàöèè ñ ðàçäåëåíèåì ïåðåìåííûõ: r X
f (x2, x2) ≈
φ1k (x1)φ2k (x2),
k=1
èëè, â ñëó÷àå d ïåðåìåííûõ,
f (x1, ..., xd) ≈
d X
φ1k (x1)...φdk (xd);
k=1
• àïïðîêñèìàöèè ñ ðàçëîæåíèåì ïî èçáûòî÷íîé (ëèíåéíî çàâèñèìîé) ñèñòåìå ïðîñòûõ óíêöèé f (x) ≈ α1 Φ1 (x) + ... + αm Φm(x) ïðè óñëîâèè, ÷òî çàäàííàÿ òî÷íîñòü äîëæíà áûòü ïîëó÷åíà ïðè ìèíèìàëüíîì ÷èñëå íåíóëåâûõ êîý èöèåíòîâ α1 , ..., αm. Òàêèå ñèñòåìû ðåêóðñèâíî ñòðîÿòñÿ ñ ïîìîùüþ âåéâëåòîâ óíêöèé èç òåõ æå ïîäïðîñòðàíñòâ, â êîòîðûõ îáû÷íî íàõîäÿòñÿ îøèáêè àïïðîêñèìàöèè äîñòàòî÷íî ãëàäêèõ óíêöèé (â îðòîãîíàëüíûõ äîïîëíåíèÿõ ê ïîëèíîìàì ñòåïåíè íå âûøå íåêîòîðîé çàäàííîé ñòåïåíè). Çàäà÷à î ðàçäåëåíèè ïåðåìåííûõ â òåîðèè ìàòðèö ñâîäèòñÿ ê èçó÷åíèþ àïïðîêñèìàöèé âèäà A ≈ Ar = u1 v1⊤ + ... + ur vr⊤ . Îíà ðåøàåòñÿ íà îñíîâå ñèíãóëÿðíîãî ðàçëîæåíèÿ (ñì. ãëàâó 2). Åñëè ïîðÿäîê ìàòðèöû A ðàâåí n è r ≪ n, òî ìàòðèöà Ar îïðåäåëÿåòñÿ ñóùåñòâåííî ìåíüøèì ÷èñëîì ïàðàìåòðîâ, ÷åì èñõîäíàÿ ìàòðèöà: 2rn ≪ n2 . Åñëè ìàòðèöà A íåâûðîæäåííàÿ, òî åå ìèíèìàëüíîå ñèíãóëÿðíîå ÷èñëî σn ïîëîæèòåëüíî, è, êàê ñëåäóåò èç ðåçóëüòàòîâ ãëàâû 2, ïðè r ≤ n − 1 265
ïîëó÷àåì ||A − Ar ||2 ≥ σn . Ýòî îçíà÷àåò, ÷òî òî÷íîñòü ε < σn íåäîñòèæèìà! Îäíàêî, â íåâûðîæäåííûõ ìàòðèöàõ íåðåäêî âûäåëÿþòñÿ ñîâîêóïíîñòè ýëåìåíòîâ (ïîìèìî ïðÿìîóãîëüíûõ áëîêîâ, ýòî ìîãóò áûòü ýëåìåíòû íèæíåãî (âåðõíåãî) òðåóãîëüíèêà, ýëåìåíòû âíóòðè ëåíòû è ò. ä.), ñ âûñîêîé òî÷íîñòüþ ïðèáëèæàåìûõ ýëåìåíòàìè â òåõ æå ïîçèöèÿõ íåêîòîðîé ìàòðèöû ìàëîãî ðàíãà. 25.2
Ìàëûé ðàíã è ëåíòî÷íûå ìàòðèöû
ßðêèé ïðèìåð êóñî÷íî-ìàëîðàíãîâîé ñòðóêòóðû ìàòðèöû, îáðàòíûå ê ëåíòî÷íûì. Ïóñòü 1 ≤ p, q ≤ n. Ìàòðèöà A ïîðÿäêà n ñ ýëåìåíòàìè aij íàçûâàåòñÿ ëåíòî÷íîé òèïà (p, q), åñëè aij = 0 ïðè i − j < −p or i − j > q , è íåïðèâîäèìîé, åñëè âñå ýëåìåíòû íà ãðàíè÷íûõ ëèíèÿõ i − j = −p è i − j = q îòëè÷íû îò íóëÿ. Îáîçíà÷èì ÷åðåç Up è Lq ïðîñòðàíñòâà âåðõíèõ è íèæíèõ òðåóãîëüíûõ ìàòðèö ïîðÿäêà p è q ñîîòâåòñòâåííî. Ìàòðèöà A íàçûâàåòñÿ ñåìèñåïàðàáåëüíîé òèïà (p, q), åñëè 0 U A=S+ , rankS = q, U ∈ Un−q , (25.2.1) 0 0 0 0 A=R+ , rankR = p, L ∈ Ln−p. (25.2.2) L 0
Íåâûðîæäåííàÿ ìàòðèöà ÿâëÿåòñÿ íåïðèâîäèìîé ëåíòî÷íîé òèïà (p, q) â òîì è òîëüêî òîì ñëó÷àå, êîãäà åå îáðàòíàÿ ìàòðèöà ÿâëÿåòñÿ ñåìèñåïàðàáåëüíîé òèïà (p, q). Òåîðåìà 25.2.1
Ïðåäïîëîæèì, ÷òî A íåâûðîæäåííàÿ ñåìèñåïàðàáåëüíàÿ ìàòðèöà òèïà (p, q). Çàïèøåì (25.2.1) â áëî÷íîé îðìå h i h i u1 v1 u1 v2 + U u A = u2v1 u2 v2 , S = u12 [v1 v2 ] , Äîêàçàòåëüñòâî.
1
ïîëàãàÿ, ÷òî ÷èñëî ñòîëáöîâ â áëîêàõ u1 , u2 è ÷èñëî ñòðîê â áëîêàõ v1 , v2 ðàâíî q = rankS . Îòñþäà ÿñíî, ÷òî áëîêè u2 è v1 îáðàòèìû. Èñêëþ÷åíèå áëîêà â ïîçèöèè (1, 1) îïèñûâàåòñÿ ìàòðè÷íûì ðàâåíñòâîì h ih i h i I −(u1 v1 )(u2 v1 )−1 u1 v1 u1 v2 + U 0 u1 v2 + U − (u1 v1 )(u2 v1 )−1 (u2 v2 ) = u2 v1 = 0 I u2 v1 u2 v2 u2 v2 1 Äàííûé àêò íåîäíîêðàòíî ïåðåîòêðûâàëñÿ è ïåðåäîêàçûâàëñÿ; èäåÿ èçëàãàåìîãî çäåñü ðàññóæ-
äåíèÿ ïðèíàäëåæèò Ä. Ê. Ôàääååâó.
=
h
0 u2 v1
U u2 v2
i
. h
∗
∗ ∗
i
Ñëåäîâàòåëüíî, ìàòðèöà U íåâûðîæäåííàÿ è ïðè ýòîì A = U −1 . i h ∗ L−1 Àíàëîãè÷íî, èç (25.2.2) ïîëó÷àåì: A−1 = ∗ ∗ . Òàêèì îáðàçîì, ìàò−1
ðèöà A ÿâëÿåòñÿ ëåíòî÷íîé h i òèïà (p, q). a b Äàëåå, ïóñòü A = U c . Âñïîìíèì îðìóëû Ôðîáåíèóñà:
A
−1
h
=
U −1 ch h
U −1 − U −1 chaU −1 −haU −1
i
, h = (b − aU −1 c)−1.
Äëÿ ïîëó÷åíèÿ (25.2.1) îñòàåòñÿ çàìåòèòü, ÷òî h h −1 i U ch −1 −1 [ I aU ] + A = h
0 0
U −1 0
i
.
àâåíñòâî (25.2.2) ïîëó÷àåòñÿ òðàíñïîíèðîâàíèåì. 2 Ìàòðèöà A íàçûâàåòñÿ êâàçèñåïàðàáåëüíîé òèïà (p, q), åñëè ðàíã ëþáîé ïîäìàòðèöû â åå âåðõíåé òðåóãîëüíîé ÷àñòè íå âûøå p, à ðàíã ëþáîé ïîäìàòðèöû â åå íèæíåé òðåóãîëüíîé ÷àñòè íå âûøå q .
Íåâûðîæäåííàÿ ìàòðèöà ÿâëÿåòñÿ êâàçèñåïàðàáåëüíîé òèïà (p, q) â òîì è òîëüêî òîì ñëó÷àå, êîãäà òî æå âåðíî äëÿ åå îáðàòíîé ìàòðèöû.
Òåîðåìà 25.2.2
Äîêàçàòåëüñòâî.
Äîñòàòî÷íî óñòàíîâèòü, ÷òî äëÿ ëþáûõ ñîãëàñîâàííûõ
áëî÷íûõ ðàçáèåíèé
A=
A11 A12 A21 A22
,
A−1 =
B11 B12 B21 B22
ñ êâàäðàòíûìè áëîêàìè A11 , B11 èìååò ìåñòî ðàâåíñòâî rankB12 = rankA12 . Åñëè áëîê A11 îáðàòèì, òî ýòî ñëåäóåò èç îðìóë Ôîáåíèóñà. Åñëè íåò, ðàññìîòðèì ìàòðèöû A(t) = A + tI ñ âåùåñòâåííûì ïàðàìåòðîì t. Äëÿ âñåõ äîñòàòî÷íî ìàëûõ 0 < t < ε áëîê A11 (t) îáðàòèì (ïî÷åìó?), îòêóäà ñëåäóåò, ÷òî rankB12 (t) = rankA12 (t) ∀ 0 < t < ε. Î÷åâèäíî, A(t) → A ïðè t → 0 ⇒ rankB12 = rankA12. 2
Ìàòðèöà, îáðàòíàÿ ê íåâûðîæäåííîé ëåíòî÷íîé ìàòðèöå òèïà (p, q) ÿâëÿåòñÿ êâàçèñåïàðàáåëüíîé òèïà (p, q).
Ñëåäñòâèå 25.2.1
25.3
Ìíîãîóðîâíåâûå ìàòðèöû
Ïóñòü A ìàòðèöà ðàçìåðîâ m × n, I = {1, 2, ..., m} è J = {1, ..., n}. Òîãäà ˆ J), ˆ A(I, Iˆ ⊂ I, Jˆ ⊂ J, îáîçíà÷àåò ïîäìàòðèöó íà ïåðåñå÷åíèè ñòðîê ñ íîìåðàìè èç Iˆ è ñòîëáöîâ ñ íîìåðàìè èç Jˆ. Ëþáûå ðàçáèåíèÿ íà íåïåðåñåêàþùèåñÿ ïîäìíîæåñòâà
I1 ∪ ... ∪ Im1 = I,
J1 ∪ ... ∪ Jn1 = J
2
2
ïîçâîëÿþò åñòåñòâåííûì îáðàçîì ðàññìàòðèâàòü A êàê áëî÷íóþ ìàòðèöó ñ áëîêàìè A(Ik , Jl ), 1 ≤ k ≤ m1 , 1 ≤ l ≤ n1 . Ýòè áëîêè íàçîâåì áëîêàìè 1-ãî óðîâíÿ. Ïóñòü èìåþòñÿ òàêæå ðàçáèåíèÿ I˜1 ∪ ... ∪ I˜m = I, J˜1 ∪ ... ∪ J˜n = J, m2 > m1 , n2 > n1,
â êîòîðûõ ïîäìíîæåñòâà íå ïåðåñåêàþòñÿ è ÿâëÿþòñÿ ÷àñòÿìè ïîäìíîæåñòâ ïðåäûäóùèõ ðàçáèåíèé. Áëîêè A(I˜k , J˜l ) íàçîâåì áëîêàìè 2-ãî óðîâíÿ. Òàêèì îáðàçîì, êàæäûé áëîê 1-ãî óðîâíÿ ðàññìàòðèâàåòñÿ êàê áëî÷íàÿ ìàòðèöà, áëîêè êîòîðîé ñóòü áëîêè 2-ãî óðîâíÿ. Ïðè íàëè÷èè p âëîæåííûõ ðàçáèåíèé ãîâîðÿò, ÷òî ìàòðèöà èìååò p óðîâíåé. Äëÿ ìàòðèö, èìåþùèõ p óðîâíåé, ìîæíî ñ áîëüøîé ïîëüçîé ðàññìàòðèâàòü èõ ìíîãîóðîâíåâûå ðàñùåïëåíèÿ âèäà
A = A1 + ... + Ap , ãäå ìàòðèöà Ak ÿâëÿåòñÿ ðàçðåæåííîé áëî÷íîé ìàòðèöåé, ñîñòàâëåííîé èç áëîêîâ k -ãî óðîâíÿ. àçðåæåííîñòü îçíà÷àåò ïðèñóòñòâèå çàâåäîìî íóëåâûõ áëîêîâ, îñòàëüíûå áëîêè ìîæíî íàçûâàòü îðìàëüíî íåíóëåâûìè (èì ðàçðåøàåòñÿ áûòü íåíóëåâûìè). Áóäåì ïðåäïîëàãàòü, ÷òî åñëè áëîê ìàòðèöû Ak îðìàëüíî íåíóëåâîé, òî ïðèíàäëåæàùèå åìó áëîêè ìàòðèö Al ïðè l > k íóëåâûå. Íà èñ. 25.1 ïîêàçàíû áëîêè òðåõ óðîâíåé, ñâåòëûå áëîêè óðîâíåé 1 è 2 íóëåâûå è ñîñòàâëåíû èç áëîêîâ óðîâíåé 2 è 3 ñîîòâåòñòâåííî.  äàííîì ñëó÷àå èìååì òðåõóðîâíåâîå ðàñùåïëåíèå A = A1 + A2 + A3 .
èñóíîê 25.1.
Ìàòðèöû ñ ÷èñëîì óðîâíåé 1, 2, è 3.
Ïðè äèñêðåòèçàöèè õàðàêòåðíûõ äëÿ ïðèëîæåíèé èíòåãðàëüíûõ îïåðàòîðîâ ìîæíî ñòðîèòü ðà ùåïëåíèÿ, â êîòîðûõ ëþáîé íåíóëåâîé áëîê ëþáîãî óðîâíÿ èìååò ãàðàíòèðîâàííî ìàëûé ðàíã, à ñóììà ðàçìåðîâ âñåõ íåíóëåâûõ áëîêîâ ìíîãî ìåíüøå îáùåãî ÷èñëà ýëåìåíòîâ èñõîäíîé ìàòðèöû. Åñëè r îöåíêà ñâåðõó äëÿ ðàíãîâ è τ ñóììà ðàçìåðîâ íåíóëåâûõ áëîêîâ, òî ðàñùåïëåíèå ìîæíî çàäàâàòü ïîñðåäñòâîì rτ ïàðàìåòðîâ, à ïðè óìíîæåíèè òàêîé ìàòðèöû íà âåêòîð âûïîëíÿåòñÿ O(rτ ) îïåðàöèé. Ïîïðîáóåì ðàçîáðàòüñÿ, ïî÷åìó âîçìîæíû òàêèå ðàñùåïëåíèÿ. 25.4
Ìàòðèöû è óíêöèè
Ïðåäïîëîæèì, ÷òî ast = f (xs, yt ), ãäå x1 , ..., xn è y1 , ..., yn òî÷êè â ïðîñòðàíñòâå Rd . Ïðè n = 1, 2... áóäåì ðàññìàòðèâàòü ðàçëè÷íûå ñåòêè xs è yt , ïîëàãàÿ, ÷òî âñå òî÷êè ïðèíàäëåæàò îäíîìó è òîìó æå ïàðàëëåëåïèïåäó S = [a1 , b1] × ... × [ad , bd]. Äëÿ êàæäîãî k = 1, 2, ... ðàññìîòðèì ðàâíîìåðíûå ñåòêè, ðàçáèâàþùèå ðåáðà S íà 2k+1 ðàâíûõ îòðåçêîâ ìåíüøåé äëèíû. Âñåãî èìååòñÿ (2k+1)d äåêàðòîâûõ ïðîèçâåäåíèé ýòèõ îòðåçêîâ. Çàíóìåðîâàâ èõ ïðîèçâîëüíûì îáðàçîì, ïîëó÷àåì ïðåäñòàâëåíèå S â âèäå îáúåäèíåíèÿ ðàâíûõ ïàðàëëåëåïèïåäîâ Sik îáúåìà hk :
S=
2(k+1)d [
Sik ,
hk =
i=1
h0 2(k+1)d
,
ãäå h0 îáúåì èñõîäíîãî ïàðàëëåëåïèïåäà. Îñíîâíîå ïðåäïîëîæåíèå î ñåòêàõ:
ïóñòü â ìíîæåñòâî Sik ïîïàäàþò
µ(Sik ) òî÷åê xs è ν(Sik ) òî÷åê yt , òîãäà max{µ(Sik ), ν(Sik )} ≤ chk n ∀ i, k, n,
(25.4.3)
ãäå c > 0 íå çàâèñèò îò i, k è n.
äëÿ ëþáîãî ε > 0 óíêöèÿ f (x, y) ïðè x ∈ Sik è y ∈ Sjl â òîì ñëó÷àå, åñëè Sik ∩ Sjl = ∅, ðàâíîìåðíî ïðèáëèæàåòñÿ ñ òî÷íîñòüþ ε ñóììîé r = r(ε) óíêöèé ñ ðàçäåëåííûìè ïåðåìåííûìè: r X Φα (x)Ψα(y) ≤ ε ∀ x ∈ Sik , ∀ y ∈ Sjl . (25.4.4) f (x, y) − Îñíîâíîå ïðåäïîëîæåíèå î óíêöèè:
α=1
Ïóñòü ïðè êàæäîì k ìíîæåñòâî íîìåðîâ {1, ..., n} ðàçáèòî íà íåïåðåñåêàþùèåñÿ ïîäìíîæåñòâà Iik òàêèì îáðàçîì, ÷òî åñëè s ∈ Iik ,òî xs ∈ Sik .
Ïóñòü àíàëîãè÷íûì ñâîéñòâîì îáëàäàåò åùå îäíî ðàçáèåíèå, ñîñòîÿùåå èç ïîäìíîæåñòâ Jik : åñëè t ∈ Jik , òî yt ∈ Sik .
Åñëè èìååò ìåñòî (25.4.4), òî ïðè óñëîâèè Sik ∩ Sjl = ∅ ýëåìåíòû áëîêà Aˆ = A(Iik , Jjl ) ïðèáëèæàþòñÿ ñ òî÷íîñòüþ ε ýëåìåíòàìè íåêîòîðîé ìàòðèöû Aˆr ðàíãà íå âûøå r: Ëåììà 25.4.1
ˆ st − (Aˆr )st | ≤ ε s ∈ Iik , t ∈ Jjl , |(A) Äîêàçàòåëüñòâî.
rankAˆr ≤ r = r(ε).
(25.4.5)
Äîñòàòî÷íî âçÿòü
(Aˆr )st =
r X
Φα (xs)Ψα (yt ). 2
α=1
Ïóñòü âûïîëíåíû îñíîâíûå ïðåäïîëîæåíèÿ î ñåòêàõ è óíêöèè. Òîãäà ýëåìåíòû ìàòðèöû A = [f (xs, yt)] ïîðÿäêà n ïðèáëèæàþòñÿ ñ òî÷íîñòüþ ε ýëåìåíòàìè ìíîãîóðîâíåâîé ìàòðèöû ñ ðàñùåïëåíèåì, â êîòîðîì ðàíã êàæäîãî íåíóëåâîãî áëîêà íå âûøå r = r(ε), à ñóììà ðàçìåðîâ âñåõ íåíóëåâûõ áëîêîâ åñòü O(n log2 n). Òåîðåìà 25.4.1
Ïîñòðîèì ìíîãîóðîâíåâóþ ìàòðèöó B ≈ A, èìåþùóþ p óðîâíåé è ðàñùåïëåíèå B = B1 + ... + Bp , â êîòîðîì ìàòðèöà Bk ñîñòîèò èç áëîêîâ B(Iik , Jjk ). 2 Ïðè 1 ≤ k < p ïîëàãàåì, ÷òî åñëè Sik ∩ Sjk 6= ∅, òî B(Iik , Jjk ) = 0, à ñîîòâåòñòâóþùèå ýëåìåíòû ìàòðèöû B äîëæíû âõîäèòü â áëîêè óðîâíåé ñ íîìåðàìè l > k . Åñëè k = 1, òî âñå îñòàëüíûå áëîêè B1 îðìàëüíî íåíóëåâûå. Äàëåå, ïðè 1 < k ≤ p, ïóñòü Sik ⊂ Si′ k−1 . Òîãäà åñëè Si′ k−1 ∩ Sj ′ k−1 = è Sjk ⊂ Sj ′ k−1, òî B(Iik , Jjk ) = 0, òàê êàê ñîîòâåòñòâóþùèå ýëåìåíòû B óæå îòíåñåíû ê áëîêàì óðîâíåé ñ íîìåðàìè l < k . Òàêèì îáðàçîì, äëÿ êàæäîãî ïîäìíîæåñòâà Iik îðìàëüíî íåíóëåâûõ áëîêîâ B(Iik , Jjk ) íå áîëüøå 6d (ïî÷åìó?). Ñóììà ðàçìåðîâ êàæäîãî èç íèõ íå ïðåâûøàåò 2chk n, à âñåãî èìååòñÿ h0 /hk ïîäìíîæåñòâ Iik ⇒ ñóììà ðàçìåðîâ âñåõ îðìàëüíî íåíóëåâûõ áëîêîâ ìàòðèöû Bk íå áîëüøå 2 · 6d h0 n. Ñëåäîâàòåëüíî, ñóììà ðàçìåðîâ âñåõ íåíóëåâûõ áëîêîâ èìååò âèä O(np). Îñòàåòñÿ âûáðàòü ÷èñëî óðîâíåé p òàê, ÷òîáû ðàçìåðû áëîêîâ óðîâíÿ p áûëè íå áîëüøå r: cnhk ≤ r. Äîêàçàòåëüñòâî.
ßñíî, ÷òî ýòî ìîæíî ñäåëàòü ïðè p = O(log2 n). Òîãäà ðàíãè âñåõ íåíóëåâûõ áëîêîâ íå áîëüøå r ïðè îáùåé ñóììå èõ ðàçìåðîâ O(n log2 n). 2 2  ñëó÷àå
d=1
ïðè
k=1
è
k=2
èìååì 4 è 16 áëîêîâ ñîîòâåòñòâåííî (ñì. èñ. 25.1).
25.5
Àñèìïòîòè÷åñêè ñåïàðàáåëüíûå óíêöèè
Âî âñåõ ïðàêòè÷åñêè èíòåðåñíûõ ñèòóàöèÿõ âûïîëíÿåòñÿ íåðàâåíñòâî
r(ε) ≤ c logγ ε−1,
(25.5.6)
ãäå c, γ > 0 íåêîòîðûå êîíñòàíòû.  òàêèõ ñëó÷àÿõ óíêöèþ f (x, y) áóäåì íàçûâàòü àñèìïòîòè÷åñêè ñåïàðàáåëüíîé. Ïðèìåð àñèìïòîòè÷åñêè ñåïàðàáåëüíîé óíêöèè:
f (x, y) =
1 , |x − y|θ
θ > 0.
(25.5.7)
Ïóñòü ìàòðèöà ïîðîæäåíà àñèìïòîòè÷åñêè ñåïàðàáåëüíîé óíêöèåé ñ êîíñòàíòîé γ â íåðàâåíñòâå 25.5.6. Òîãäà ε-ïðèáëèæåíèå ê ìàòðèöå A çàäàåòñÿ ñ ïîìîùüþ O(n log2 n logγ ε−1 ) ïàðàìåòðîâ. Òàê æå âûãëÿäèò îöåíêà ñëîæíîñòè ïðè ïðèáëèæåííîì (ñ òî÷íîñòüþ ε) óìíîæåíèè ìàòðèöû A íà âåêòîð. 25.6
Ìåòîä êðåñòîâîé àïïðîêñèìàöèè
Ñîãëàñíî òåîðåìå 25.4.1, âñå ýëåìåíòû ìàòðèöû A ïðèíàäëåæàò ðàçëè÷íûì áëîêàì, äîïóñêàþùèì ε-ïðèáëèæåíèå ðàíãà íå âûøå r = r(ε). Ïîëó÷åíèå òàêîãî ïðèáëèæåíèÿ çàäà÷à, ðåøàåìàÿ íà îñíîâå ñèíãóëÿðíîãî ðàçëîæåíèÿ ìàòðèöû (ñì. ãëàâó 1). Ìîæíî ëè ïðåäëîæèòü áîëåå ý åêòèâíûé ìåòîä äëÿ åå ðåøåíèÿ? Ïóñòü A îáîçíà÷àåò ëþáîé èç óêàçàííûõ áëîêîâ èñõîäíîé ìàòðèöû. Ïîñòàâèì òàêîé âîïðîñ: åñëè èçâåñòíî, ÷òî ε-ïðèáëèæåíèå ðàíãà íå âûøå r ñóùåñòâóåò, òî ìîæíî ëè íàéòè O(ε)-ïðèáëèæåíèå, èñïîëüçóÿ ëèøü ýëåìåíòû êàêèõ-òî r ñòîëáöîâ è r ñòðîê (ò. å. êðåñò) ìàòðèöû A? Îòâåò ïîëîæèòåëüíûé. 3 Ïðèâîäèìàÿ íèæå òåîðåìà 4 ïðåäñòàâëÿåò ñîáîé ìàòðè÷íûé àíàëîã ïðèíöèïà ìàêñèìàëüíûõ îáúåìîâ ïðè âûáîðå óçëîâ èíòåðïîëÿöèè (ñì. ãëàâó 15).
Ïóñòü äëÿ ìàòðèöû A ñóùåñòâóåò ìàòðèöà B ðàíãà r òàêàÿ, ÷òî ||B − A||2 ≤ ε. Òîãäà, åñëè A èìååò áëî÷íîå ðàçáèåíèå âèäà A11 A12 A = , A21 A22
Òåîðåìà 25.6.1
3 Îí âïåðâûå ïîëó÷åí â ðàáîòå:
Ñ. À. îðåéíîâ, Í. Ë. Çàìàðàøêèí, Å.Å.Òûðòûøíèêîâ. Ïñåâäîñêå-
ëåòíûå àïïðîêñèìàöèè ìàòðèö. ÄÀÍ îññèè, 343 (2): 151152 (1995).
4 S.
A. Goreinov, E. E. Tyrtyshnikov. The maximal-volume on ept in approximation by low-rank matri-
es, Contemporary Mathemati s, Vol. 280, 4751 (2001).
ãäå A11 íåâûðîæäåííàÿ ïîäìàòðèöà ïîðÿäêà r ñ ìàêñèìàëüíûì ïî ìîäóëþ îïðåäåëèòåëåì ñðåäè âñåõ ïîäìàòðèö ïîðÿäêà r, òî A11 −1 A11 A11 A12 ≤ (r + 1)ε, 1 ≤ i, j ≤ n. A− A21 ij
Íå îãðàíè÷èâàÿ îáùíîñòè, ìîæíî ñ÷èòàòü, ÷òî A êâàäðàòíàÿ ìàòðèöà ïîðÿäêà n. Îáîçíà÷èì ÷åðåç
Äîêàçàòåëüñòâî.
σ1 (A) ≥ ... ≥ σr (A) > σr+1(A) ≥ .. ≥ σn(A) ≥ 0
åå ñèíãóëÿðíûå ÷èñëà. àññìîòðèì îêàéìëåíèå áëîêà A11 ñ ïîìîùüþ ñòðîêè i > r è ñòîëáöà j > r:
Aˆ =
A11
ai1
Èñêëþ÷àÿ i-ñòðîêó, ïîëó÷àåì
I
− ai1
... air A−1 11
... air
0 ... ˆ 0 A 1
εij = aij − [ai1
a1j ... arj . aij
=
A11 0 ... 0
... air ] A−1 11
a 1j
... arj
a1j ... arj , εij
.
Íàøà öåëü äîêàçàòü, ÷òî |εij | ≤ (r+1)ε. Êîíå÷íî, ýòî òàê, åñëè εij = 0. Ïîýòîìó ïóñòü εij 6= 0 ⇒ ìàòðèöà Aˆ îáðàòèìà, è íåòðóäíî ïîêàçàòü, ÷òî
ˆ (Aˆ−1)r+1 r+1 = ε−1 ij = det A11 / det A.
ˆ−1 Ñîãëàñíî óñëîâèþ òåîðåìû, ε−1 ij íàèáîëüøèé ïî ìîäóëþ ýëåìåíò A . Çíà÷èò, σ1 (Aˆ−1) ≤ (r + 1) |ε−1 ij |
⇒
ˆ |εij | ≤ (r + 1)σr+1(A).
Èç ñîîòíîøåíèé ðàçäåëåíèÿ äëÿ ñèíãóëÿðíûõ ÷èñåë ïðè èñêëþ÷åíèè ñòîëሠ≤ σr+1(A) ≤ ε. 2 öîâ èëè ñòðîê ñëåäóåò, ÷òî σr+1 (A)
Ïóñòü A ìàòðèöà ðàçìåðîâ m×n è m, n ≫ r. Òåïåðü ìû çíàåì, ÷òî äëÿ ïîëó÷åíèÿ àïïðîêñèìàöèè ðàíãà r äîñòàòî÷íî èìåòü êðåñò, ñîñòàâëåííûé èç r ñòðîê è ñòîëáöîâ ìàòðèöû A, ò. å. ëèøü r(m + n) ≪ mn åå ýëåìåíòîâ. Âûáîð ïðàâèëüíîãî êðåñòà â ïîëíîì ñîîòâåòñòâèè ñ òåîðåìîé 25.6.1 çàäà÷à íå î÷åíü ïðîñòàÿ. Íî ÷àñòî îíà ìîæåò ðåøàòüñÿ ñ ïîìîùüþ ïðîñòîãî ýâðèñòè÷åñêîãî àëãîðèòìà, ïðåäñòàâëÿþùåãî ñîáîé ìåòîä ïîñëåäîâàòåëüíîãî èñêëþ÷åíèÿ ýëåìåíòîâ ñ âûáîðîì âåäóùåãî ýëåìåíòà ïî ñòîëáöó.
Ýâðèñòèêà ñâÿçàíà ñ ðåøåíèåì î òîì, êàêîé ñòîëáåö áóäåò ñëåäóþùèì íàïðèìåð, ïóòåì ïðîñìîòðà íåêîòîðîé ÷àñòè ýëåìåíòîâ àêòèâíîé ïîäìàòðèöû è âûáîðà ñòîëáöà, ñîäåðæàùåãî ìàêñèìàëüíûé èç íèõ ïî ìîäóëþ. Åùå îäíî ìåñòî, ãäå ïðèñóòñòâóåò ýâðèñòèêà ýòî êðèòåðèé îñòàíîâêè: òî÷íîñòü àïïðîêñèìàöèè ïðîâåðÿåòñÿ ëèøü íà ÷àñòè ýëåìåíòîâ.  îáùåì ñëó÷àå òàêîé ïîäõîä íå ìîæåò äàòü ïîëíîé ãàðàíòèè êà÷åñòâà ïîëó÷àåìîé àïïðîêñèìàöèè. Òåì íå ìåíåå, îí óñïåøíî ïðèìåíÿåòñÿ âî ìíîãèõ ïðàêòè÷åñêèõ çàäà÷àõ, è, êðîìå òîãî, äëÿ äîñòàòî÷íîãî âàæíîãî êëàññà ìàòðèö, âîçíèêàþùèõ ïðè ðåøåíèè èíòåãðàëüíûõ óðàâíåíèé, ãàðàíòèþ âñå æå äàòü ìîæíî. 25.7
Ñóïåð óíêöèè
Î÷åâèäíûé ñïîñîá àïïðîêñèìàöèè âåêòîðà u = [u1 , ..., un]⊤ ≈ uε òàêîé: åñëè |ui | ≤ ε||u||, òî (uε)i = 0, èíà÷å (uε)i = ui .  ýòîì ïðåîáðàçîâàíèè åñòü ñìûñë, êîãäà ñðåäè êîìïîíåíò ui ìíîãî îòíîñèòåëüíî ìàëûõ. Åñëè ýòî íå òàê äëÿ âåêòîðà u, òî ìîæíî ïîïûòàòüñÿ ïåðåéòè ê âåêòîðó v = Qu. Îêàçûâàåòñÿ, ñóùåñòâóþò ñåìåéñòâà ìàòðèö Q, ïðè óìíîæåíèè íà êîòîðûå ìàëûå êîìïîíåíòû ïîÿâëÿþòñÿ, ïðè ýòîì îäíà è òà æå ìàòðèöà Q ðàáîòàåò ñðàçó äëÿ ìíîãèõ âåêòîðîâ u. Òàêîãî òèïà ìàòðèöû îïðåäåëÿþò òàê íàçûâàåìûå äèñêðåòíûå âåéâëåò-ïðåîáðàçîâàíèÿ. Ñ èõ ïîìîùüþ îò ïëîòíûõ ìàòðèö A ìîæíî ïåðåõîäèòü ê ïñåâäîðàçðåæåííûì ìàòðèöàì QAQ⊤. Êëàññè÷åñêèå âåéâëåò-ïðåîáðàçîâàíèÿ ñâÿçàíû ñ ðàçëîæåíèÿìè óíêöèé âèäà X uk φ(x − k), f (x) = k
ãäå φ(x) ñïåöèàëüíî ïîäáèðàåìàÿ ñóïåð óíêöèÿ ñ íîñèòåëåì íà îòðåçêå [0, m], è ïåðåõîäîì ê ðàçëîæåíèÿì ïî ñèñòåìå ïëîõèõ (îðòîãîíàëüíûõ âñåì ïîëèíîìàì, ñòåïåíü êîòîðûõ ìåíüøå çàäàííîãî ÷èñëà p) óíêöèé, íàçûâàåìûõ âåéâëåòàìè. Ïðè ïîñòðîåíèè ñóïåð óíêöèè êëþ÷åâûìè ÿâëÿþòñÿ óðàâíåíèå ïåðåõîäà 5
φ(x) =
m X k=0
è äâà ñâîéñòâà:
ck φ(2x − k),
c0 , cm 6= 0,
(25.7.8)
• àïïðîêñèìàöèÿ: ïîëèíîìû ñòåïåíè ìåíüøå p íà êîíå÷íûõ îòðåçêàõ ïðåäñòàâèìû â âèäå ëèíåéíûõ êîìáèíàöèé φ(x − k);
5 Â çàïàäíîé ëèòåðàòóðå dilation equation.
• îðòîãîíàëüíîñòü: óíêöèè φ(x−k) îáðàçóþò îðòîãîíàëüíóþ ñèñòåìó. R Äîáàâèì òàêæå óñëîâèå íîðìèðîâêè φ(x)dx = 1, îòêóäà ñðàçó æå ïîëó÷àåòñÿ, ÷òî m X ck = 2. (25.7.9) k=0
Ôóíêöèÿ φ(x) ïîëíîñòüþ îïðåäåëÿåòñÿ êîý èöèåíòàìè ck . Ïóñòü, íàïðèìåð, m = 3. Òîãäà, ñîãëàñíî (25.7.8), φ(1) c1 c0 φ(1) . = c3 c2 φ(2) φ(2) Ïîëàãàÿ, ÷òî φ(x) ÿâëÿåòñÿ íåïðåðûâíîé, íàõîäèì φ(0) = φ(3) = 0. Åñëè çíà÷åíèÿ φ(1) è φ(2) íàéäåíû, òî óðàâíåíèå (25.7.8) ïîçâîëÿåòñÿ âû÷èñëèòü φ(x) â ëþáîé òî÷êå x = k/2l ïðè öåëûõ k, l. Êàê âèäèì, âåêòîð [φ(1), φ(2)]⊤ ÿâëÿåòñÿ ñîáñòâåííûì âåêòîðîì ìàòðè öû cc1 cc0 äëÿ ñîáñòâåííîãî çíà÷åíèÿ λ = 1. 3
25.8
2
Êëàññè÷åñêèå âåéâëåòû
Îïóñêàÿ äåòàëè, ðàññêàæåì, êàê ïîëó÷àþòñÿ êëàññè÷åñêèå ñóïåð óíêöèè Äîáåøè. Ïóñòü ck = 0 ïðè k < 0 èëè k > m. Ñâîéñòâà àïïðîêñèìàöèè è îðòîãîíàëüíîñòè îïèñûâàþòñÿ ñëåäóþùèìè óñëîâèÿìè: m X
(−1)k k l ck = 0,
k=0
m X
0 ≤ l ≤ p − 1 (àïïðîêñèìàöèÿ),
ck ck−2l = δ0l (îðòîãîíàëüíîñòü).
(25.8.10)
(25.8.11)
k=0
Èç (25.8.11) âûòåêàåò, ÷òî ÷èñëî m äîëæíî áûòü íå÷åòíûì. Âîò ïîëíûé ñïèñîê óñëîâèé íà êîý èöèåíòû ck â ñëó÷àå m = 3 è p = 2:
c0 + c1 + c2 + c3 −c0 + c1 − c2 + c3 −c1 + 2c2 − 3c3 c0 c2 + c1 c3
= = = =
2, 0, 0, 0.
åøåíèå äàííîé ñèñòåìû íåëèíåéíûõ óðàâíåíèé òàêîå: √ √ √ √ 3+ 3 3− 3 1− 3 1+ 3 , c1 = , c2 = , c3 = . c0 = 4 4 4 4
(25.8.12)
(25.8.13)
Ôóíêöèè, îðòîãîíàëüíûå íà êîíå÷íûõ îòðåçêàõ ïîëèíîìàì ñòåïåíè ìåíüøå p, äîëæíû áûòü îðòîãîíàëüíû ëèíåéíûì êîìáèíàöèÿì óíêöèé φ(x − k). Íåòðóäíî ïðîâåðèòü, ÷òî òàêèì ñâîéñòâîì îáëàäàþò ëèíåéíûå êîìáèíàöèè óíêöèé ψ(x − k), åñëè ïëîõóþ ñóïåð óíêöèþ ψ(x) âûáðàòü â âèäå m X dk φ(2x − k), dk (−1)m−k cm−k . ψ(x) = (25.8.14) k=0
Òåïåðü èêñèðóåì h è ðàññìîòðèì ëèíåéíîå ïðîñòðàíñòâî Vn ïåðèîäè÷åñêèõ óíêöèé âèäà x X f (x) = ui φ −i , ui = ui+n ∀ i, h i
è âçàèìíî-îäíîçíà÷íîå ñîîòâåòñòâèå ìåæäó óíêöèÿìè èç Vn è âåêòîðàìè:
f ↔ u = [u0, ..., un−1]⊤. Ïîëàãàÿ, ÷òî n ÷åòíî, ðàññìîòðèì ïîäïðîñòðàíñòâà Vn/2 è Wn/2 õîðîøèõ è ïëîõèõ óíêöèé: ( ) ( ) x x X X Vn/2 = vi φ , Wn/2 = wi ψ , −i −i 2h 2h i
i
vi = vi+n/2,
wi = wi+n/2 ∀ i.
Ïî ïîñòðîåíèþ, Vn = Vn/2 ⊕ Wn/2 îðòîãîíàëüíàÿ ñóììà ïîäïðîñòðàíñòâ. Ôóíêöèè èç Vn/2 è Wn/2 îïðåäåëÿþòñÿ âåêòîðàìè v = [v0 , ..., vn/2−1]⊤ è w = [w0, ..., wn/2]⊤ . Â ñèëó óðàâíåíèé (25.7.8) è (25.8.14) ⊤ v ⊤ u = Cn Dn , w
1 Cn = [cj−2i+m], 2
1 Dn = [dj−2i+m], 1 ≤ i ≤ n/2, 1 ≤ j ≤ n, 2 ci±n = ci , 0 ≤ i ≤ n − 1.
 ÷àñòíîñòè, ïðè m = 3 è n = 8 èìååì c2 c3 0 0 0 0 c 0 c1 d2 1 d0 1 c0 c1 c2 c3 0 0 0 0 , D8 = C8 = 2 c0 c0 c00 c01 c2 c03 c0 c0 2 d0 0
1
2
3
0
d3 d1 0 d1
0 d2 d0 0
Âûáðàâ ÷èñëî óðîâíåé s, ðàññìîòðèì ðàñùåïëåíèå
Vn = Vn/2s ⊕ Wn/2s ⊕ ... ⊕ Wn/2.
0 d3 d1 0
0 0 d2
0 0 d3 0
d0 0 0 d2
d1 0 0 . d3
Ïóñòü óíêöèè èç ïîäïðîñòðàíñòâ Vn/2l è Wn/2l îïðåäåëÿþòñÿ âåêòîðàìè v (s) è w(s) ñîîòâåòñòâåííî. Òîãäà äèñêðåòíîå âåéâëåò-ïðåîáðàçîâàíèå Äîáåøè
u=
îïðåäåëÿåòñÿ ñëåäóþùèì îáðàçîì:
Q = Q0Q1 ...Qs−1,
v (s) (s) Q w... w1
Ql =
⊤ Cn/2 l
⊤ Dn/2 l
In−n/2l
.
Ñîãëàñíî îïðåäåëåíèþ êîý èöèåíòîâ ci è di , ìàòðèöà Q ÿâëÿåòñÿ îðòîãîíàëüíîé. Ïîýòîìó ⊤ ⊤ Q−1 = Q⊤ = Q⊤ s−1 ...Q1 Q0 .
åàëèçàöèÿ ïðÿìîãî è îáðàòíîãî âåéâëåò-ïðåîáðàçîâàíèé òðåáóåò, êàê ëåãêî ïîäñ÷èòàòü, âñåãî ëèøü O(n) àðè ìåòè÷åñêèõ îïåðàöèé ìåíüøå, ÷åì ñëîæíîñòü O(n log n) áûñòðîãî ïðåîáðàçîâíèÿ Ôóðüå! Ìíîãèå êîý èöèåíòû ðàçëîæåíèÿ óíêöèè èç Vn ïðè âåéâëåòàõ îêàçûâàþòñÿ ìàëûìè èìåííî ïîòîìó, ÷òî âåéâëåòû îïðåäåëÿþòñÿ êàê ïëîõèå óíêöèè: åñëè óíêöèÿ ÿâëÿåòñÿ ïîëèíîìîì ñòåïåíè ìåíüøå p ëîêàëüíî íà íîñèòåëå âåéâëåòà, òî îòâå÷àþùèé åìó êîý èöèåíò ïðîñòî ðàâåí íóëþ. 25.9
Îáîáùåííûå âåéâëåòû
Êëàññè÷åñêèå âåéâëåòû àññîöèèðóþòñÿ ñ ðàâíîìåðíûìè ñåòêàìè. Îäíàêî, ñõîæèå ñâîéñòâà ìîæíî ïîëó÷èòü ñ ïîìîùüþ áîëåå îáùåé è îäíîâðåìåííî áîëåå ïðîñòîé êîíñòðóêöèè, ïîçâîëÿþùåé ñ ëåãêîñòüþ ââîäèòü íóæíûå äëÿ ïðèëîæåíèé äîïîëíèòåëüíûå òðåáîâàíèÿ (íàïðèìåð, íà ãðàíèöå îáëàñòè îïðåäåëåíèÿ óíêöèé) è ñòðîèòü âåéâëåòû íà íåðàâíîìåðíûõ ñåòêàõ. àññìîòðèì ëèíåéíî íåçàâèñèìóþ ñèñòåìó óíêöèé Φ = [φ1 , ..., φn] è â èõ ëèíåéíîé îáîëî÷êå âûáåðåì ñèñòåìó k ëèíåéíî íåçàâèñìûõ õîðîøèõ ˆ = [φˆ1 , ..., φˆk ] è ñèñòåìó n − k ëèíåéíî íåçàâèñèìûõ ïëîõèõ óíêöèé Φ ˜ = [φ˜1, ..., φ˜n−k ], îðòîãîíàëüíûõ ïîëèíîìàì ñòåïåíè ìåíüøå p. óíêöèé Φ Ýòè ïëîõèå óíêöèè è áóäóò ðàññìàòðèâàòüñÿ êàê îáîáùåííûå âåéâëåòû. Ïðåäïîëîæèì, ÷òî Φ1 = [φ1 , ..., φk ] è Φ2 = [φk+1 , ..., φn], à íóìåðàöèÿ òàêîâà, ÷òî â êà÷åñòâå êàíäèäàòîâ íà ðîëü ïëîõèõ óíêöèé ìîæíî ðàññìîòðåòü Φ2 . Ïîòðåáóåì, ÷òîáû D 0 ˆ Φ2] = [Φ1, Φ2] [Φ, , R I
ãäå ìàòðèöà D äèàãîíàëüíàÿ, à R ðàçðåæåííàÿ ìàòðèöà ñ ÷èñëîì íåíóëåâûõ ýëåìåíòîâ O(n). ×òîáû îáåñïå÷èòü óñëîâèÿ îðòîãîíàëüíîñòè, ïëîõèå óíêöèè ïîäïðàâëÿþòñÿ òàêèì îáðàçîì: I −S ˆ Φ] ˜ = [Φ, ˆ Φ2 ] [Φ, , 0 I ãäå S ðàçðåæåííàÿ ìàòðèöà ñ ÷èñëîì íåíóëåâûõ ýëåìåíòîâ O(n).  èòîãå D 0 I −S ˆ Φ] ˜ = [Φ1, Φ2]M, M = [Φ, . R I 0 I Äàëåå, ïóñòü óíêöèè ψ1 , ..., ψn îáðàçóò äóàëüíóþ ñèñòåìó: (φi , ψj ) = δij . Ïóñòü Ψ1 [ψ1 , ..., ψk ] è Ψ2 = [ψk+1 , ..., ψn], è ïîëîæèì
ˆ Ψ] ˜ = [Ψ1, Ψ2]M −⊤ . [Ψ, ˆ Φ] ˜ è [Ψ, ˆ Ψ] ˜ òàêæå áóäóò äóàëüíûìè. Òîãäà ñèñòåìû óíêöèé [Φ, ˆ è u˜ ñîäåðæàò êîý èöèåíòû ðàçëîæåíèÿ ïî ñèñòåìàì Ïóñòü âåêòîðû u ˆ èΨ ˜ , à âåêòîðû u(1) è u(2) ïî ñèñòåìàì Ψ1 è Ψ2. Òîãäà Ψ u ˆ uˆ ˆ Ψ] ˜ [Ψ, = [Ψ1, Ψ2 ]M −⊤ . u˜ u˜ Ñëåäîâàòåëüíî,
(1) u ˆ −⊤ u , (2) = M u˜ u
(1) uˆ u = M ⊤ (2) . u˜ u
Ïðè óìíîæåíèè íà ìàòðèöó M ⊤ ñëåäóåò îæèäàòü, ÷òî íåêîòîðûå êîì˜ áóäóò íàñòîëüêî ìàëûìè, ÷òî èìè ìîæíî áóäåò ïðåíåïîíåíòû âåêòîðà u áðå÷ü. Ýòî çàâåäîìî âåðíî äëÿ êîý èöèåíòà ïðè óíêöèè ψ˜i , íà íîñèòåëå êîòîðîé èñõîäíàÿ óíêöèÿ äîñòàòî÷íî õîðîøî ïðèáëèæàåòñÿ ïîëèíîìîì ñòåïåíè íå âûøå p. Êàê è â ñëó÷àå êëàññè÷åñêîãî âåéâëåò-ïðåîáðàçîâàíèÿ, ìîæíî âûáðàòü íåêîòîðîå ÷èñëî óðîâíåé s è ïîâòîðèòü àíàëîãè÷íîå ïðåîáðàçîâàíèå s ðàç, ïðèìåíÿÿ åãî ê âåêòîðàì, èìåþùèì ìåíüøåå ÷èñëî ýëåìåíòîâ è îòâå÷àþùèõ õîðîøèì äóàëüíûì óíêöèÿì. Íà ïðàêòèêå âñÿ ñîâîêóïíîñòü îñíîâíûõ è äóàëüíûõ óíêöèé ñòðîèòñÿ òàêèì îáðàçîì, ÷òî â íåé ïðèñóòñòâóþò óíêöèè ñ íîñèòåëÿìè ðàçíîé ïðîòÿæåííîñòè ýòî ïðèâîäÿò ê ìàëûì êîý èöèåíòàì íà ðàçíûõ óðîâíÿõ. Îáû÷íî óíêöèè àññîöèèðóþòñÿ ñ ïîñëåäîâàòåëüíîñòüþ ñåòîê, êàê è â ìíîãîñåòî÷íîì ìåòîäå.  ñëó÷àå íåðàâíîìåðíûõ ñåòîê â êà÷åñòâå õîðîøèõ óíêöèé óäîáíî èñïîëüçîâàòü B-ñïëàéíû.
Îïèñàííàÿ çäåñü ñõåìà îäíîãî øàãà ðåêóðñèè, âêëþ÷àþùàÿ âûáîð êàíäèäàòîâ íà ðîëü âåéâëåòîâ è ïîñëåäóþùóþ èõ îðòîãîíàëèçàöèþ, ïðåäëîæåíà Ñâåëäåíñîì è íàçûâàåòñÿ ñõåìîé ëè òèíãà. Âîîáùå ãîâîðÿ, ñõåìà ïðèìåíèìà è â ñëó÷àå íåñòðóêòóðèðîâàííûõ ñåòîê íà ïëîñêîñòè èëè â òðåõìåðíîì ïðîñòðàíñòâå (íàïðèìåð, äëÿ òðåóãîëüíûõ ñåòîê). Çàäà÷è
1. Ïîêàæèòå, ÷òî òåîðåìà 25.2.1 òåðÿåò ñèëó áåç óñëîâèÿ íåïðèâîäèìîñòè ëåíòî÷íîé ìàòðèöû. 2. Äàíà òðåõìåðíàÿ ìàòðèöà ñ ýëåìåíòàìè aijk ∈ R, 1 ≤ i, j, k ≤ 2. Äîêàæèòå, ÷òî ñóùåñòâóåò òàêîå åå ïðåäñòàâëåíèå ñ ðàçäåëåíèåì èíäåêñíûõ ïåðåìåííûõ âèäà
aijk =
r X s=1
äëÿ êîòîðîãî r = 3.
uisvjs wks,
uis , vjs, wks ∈ R,
(∗)
3. Äàíà òðåõìåðíàÿ ìàòðèöà ñ ýëåìåíòàìè aijk , 1 ≤ i, j, k ≤ n. Äîêàæèòå, ÷òî ñóùåñòâóåò ðàçëîæåíèå âèäà (∗), â êîòîðîì r = n2 . 4. Äîêàæèòå, ÷òî óíêöèÿ (25.5.7) ÿâëÿåòñÿ àñèìïòîòè÷åñêè ñåïàðàáåëüíîé. 5. Äîêàæèòå, ÷òî ïðè íå÷åòíîì m óíêöèÿ ψ(x) âèäà (25.8.14) îðòîãîíàëüíà φ(x) âèäà (25.7.8). 6. Äîêàæèòå, ÷òî îðòîãîíàëüíîñòü óíêöèé φ(x − k), óäîâëåòâîðÿþùèõ óðàâíåíèþ ïåðåõîäà (25.7.8), ðàâíîñèëüíà óñëîâèþ (25.8.11). 7. Äîêàæèòå, ÷òî ñâîéñòâî àïïðîêñèìàöèè ïðè ïîñòðîåíèè ñóïåð óíêöèè ðàâíîñèëüíî óñëîâèþ (25.8.10).
Ëèòåðàòóðà
1. À.À.Àìîñîâ, Þ.À.Äóáèíñêèé, Í.Â.Êîï÷åíîâà, Âû÷èñëèòåëüíûå ìåòîäû äëÿ èíæåíåðîâ, Ì., Âûñøàÿ øêîëà, 1994. 2. Ê.È.Áàáåíêî, Îñíîâû ÷èñëåííîãî àíàëèçà, Íàóêà, 1986. 3. Í.Ñ.Áàõâàëîâ, ×èñëåííûå ìåòîäû, Íàóêà, 1975. 4. Í.Ñ.Áàõâàëîâ, Í.Ï.Æèäêîâ, .Ì.Êîáåëüêîâ, ×èñëåííûå ìåòîäû, Íàóêà, 1987. 5. Ñ.Ì.Áåëîöåðêîâñêèé, È.Ê.Ëè àíîâ, ×èñëåííûå ìåòîäû â ñèíãóëÿðíûõ èíòåãðàëüíûõ óðàâíåíèÿõ, Ì., Íàóêà, 1985. 6. È.Ñ.Áåðåçèí, Í.Ï.Æèäêîâ, Ìåòîäû âû÷èñëåíèé, Ôèçìàòãèç, 1962. 7. Â.Â.Âîåâîäèí, Âû÷èñëèòåëüíûå îñíîâû ëèíåéíîé àëãåáðû, Íàóêà, 1977. 8. Â.Â.Âîåâîäèí, Þ.À.Êóçíåöîâ, Ìàòðèöû è âû÷èñëåíèÿ, Ì., Íàóêà, 1984. 9. Â.Â.Âîåâîäèí, Å.Å.Òûðòûøíèêîâ, Âû÷èñëèòåëüíûå ïðîöåññû ñ òåïëèöåâûìè ìàòðèöàìè, Íàóêà, 1987. 10. À.Î. åëü àíä, Èñ÷èñëåíèå êîíå÷íûõ ðàçíîñòåé, 1952. 11. Ô. èëë, Ó.Ìþððåé, Ì. àéò, Ïðàêòè÷åñêàÿ îïòèìèçàóèÿ, Ì.,Ìèð, 1985. 12. Ñ.Ê. îäóíîâ, åøåíèå ñèñòåì ëèíåéíûõ óðàâíåíèé, Íîâîñèáèðñê, Íàóêà, 1980. 13. Ñ.Ê. îäóíîâ, Ñîâðåìåííûå àñïåêòû ëèíåéíîé àëãåáðû, Íîâîñèáèðñê, Íàó÷íàÿ êíèãà, 1997. 14. Äæ. îëóá, ×. Âàí Ëîóí, Ìàòðè÷íûå âû÷èñëåíèÿ, Ì., Ìèð, 1999. 279
15. È.Ö. îõáåðã, È.À.Ôåëüäìàí, Óðàâíåíèÿ â ñâåðòêàõ è ïðîåêöèîííûå ìåòîäû èõ ðåøåíèÿ, Ì., Íàóêà, 1971. 16. Äæ.Äåììåëü, Âû÷èñëèòåëüíàÿ ëèíåéíàÿ àëãåáðà, Ì., Ìèð, 2001. 17. È.Äîáåøè, Äåñÿòü ëåêöèé ïî âåéâëåòàì, Ìîñêâà-Èæåâñê, ÍÈÖ åãóëÿðíàÿ è õàîòè÷åñêàÿ äèíàìèêà, 2004. 18. Å. .Äüÿêîíîâ, Ìèíèìèçàöèÿ âû÷èñëèòåëüíîé ðàáîòû, Íàóêà, 1989. 19. À.Äæîðäæ, Äæ.Ëþ, ×èñëåííîå ðåøåíèå áîëüøèõ ðàçðåæåííûõ ñèñòåì óðàâíåíèé, Ì., Ìèð, 1984. 20. Þ.Ñ.Çàâüÿëîâ, Á.È.Êâàñîâ, Â.Ë.Ìèðîøíè÷åíêî, Ìåòîäû ñïëàéí óíêöèé, Íàóêà, 1980. 21. Õ.Ä.Èêðàìîâ, ×èñëåííîå ðåøåíèå ìàòðè÷íûõ óðàâíåíèé, M., Íàóêà, 1984. 22. Õ.Ä.Èêðàìîâ, Íåñèììåòðè÷íàÿ ïðîáëåìà ñîáñòâåííûõ çíà÷åíèé, Íàóêà, 1991. 23. Õ.Ä.Èêðàìîâ, ×èñëåííûå ìåòîäû äëÿ ñèììåòðè÷íûõ ëèíåéíûõ ñèñòåì, Íàóêà, 1988. 24. Â.Ï.Èëüèí, Þ.È.Êóçíåöîâ, Àëãåáðàè÷åñêèå îñíîâû ÷èñëåííîãî àíàëèçà, Íîâîñèáèðñê, Íàóêà, 1986. 25. Â. .Êàðìàíîâ, Ìàòåìàòè÷åñêîå ïðîãðàììèðîâàíèå, Íàóêà, 1975. 26. Ä.Êàõàíåð, Ê.Ìîóëåð, Ñ.Íýø, ×èñëåííûå ìåòîäû è ïðîãðàììíîå îáåñïå÷åíèå, Ì., Ìèð, 1998. 27. Â.È.Ëåáåäåâ, Ôóíêöèîíàëüíûé àíàëèç è âû÷èñëèòåëüíàÿ ìàòåìàòèêà, Ì., Ôèçìàòëèò, 2000. 28. Î.Â.Ëîêóöèåâñêèé, Ì.Á. àâðèêîâ, Íà÷àëà ÷èñëåííîãî àíàëèçà, Ì., ÒÎÎ ßíóñ, 1995. 29. ×.Ëîóñîí, .Õåíñîí, ×èñëåííîå ðåøåíèå çàäà÷ ìåòîäà íàèìåíüøèõ êâàäðàòîâ, Ì., Íàóêà, 1986. 30. .È.Ìàð÷óê, Ìåòîäû âû÷èñëèòåëüíîé ìàòåìàòèêè, Íàóêà, 1989. 31. .È.Ìàð÷óê, Â.È.Àãîøêîâ, Ââåäåíèå â ïðîåêöèîííî-ñåòî÷íûå ìåòîäû, Ì., Íàóêà, 1981.
32. È.Ï.Ìûñîâñêèõ, Èíòåðïîëÿöèîííûå êóáàòóðíûå îðìóëû, Ì., Íàóêà, 1981. 33. Ì.À.Îëüøàíñêèé, Ëåêöèè è óïðàæíåíèÿ ïî ìíîãîñåòî÷íûì ìåòîäàì, Ì., Ôèçìàòëèò, 2005. 34. Äæ.Îðòåãà, Â. åéíáîëäò, Èòåðàöèîííûå ìåòîäû ðåøåíèÿ íåëèíåéíûõ ñèñòåì óðàâíåíèé ñî ìíîãèìè íåèçâåñòíûìè, Ì., Ìèð, 1975. 35. À.Ì.Îñòðîâñêèé, åøåíèå óðàâíåíèé è ñèñòåì óðàâíåíèé, Èçäàòåëüñòâî èíîñòðàííîé ëèòåðàòóðû, 1963. 36. Â.Ñ. ÿáåíüêèé, Ââåäåíèå â âû÷èñëèòåëüíóþ ìàòåìàòèêó, Ì., Íàóêà, 1994. 37. À.À.Ñàìàðñêèé, À.Â. óëèí, ×èñëåííûå ìåòîäû, Íàóêà, 1989. 38. À. .Ñóõàðåâ, À.Â.Òèìîõîâ, Â.Â.Ôåäîðîâ, Êóðñ ìåòîäîâ îïòèìèçàöèè, Íàóêà, 1986. 39. . Ñòðýíã, Ëèíåéíàÿ àëãåáðà è åå ïðèìåíåíèÿ, Ì., Ìèð, 1980. 40. .Ñòðýíã, Äæ.Ôèêñ, Òåîðèÿ ìåòîäà êîíå÷íûõ ýëåìåíòîâ, Ì., Ìèð, 1977. 41. Å. Å. Òûðòûøíèêîâ, Òåïëèöåâû ìàòðèöû, íåêîòîðûå èõ àíàëîãè è ïðèëîæåíèÿ, Îòäåë âû÷èñëèòåëüíîé ìàòåìàòèêè ÀÍ ÑÑÑ , Ì., 1989. 42. Å. Å. Òûðòûøíèêîâ, Êðàòêèé êóðñ ÷èñëåííîãî àíàëèçà, Ì., ÂÈÍÈÒÈ, 1994. 43. Äæ.Óèëêèíñîí, Àëãåáðàè÷åñêàÿ ïðîáëåìà ñîáñòâåííûõ çíà÷åíèé, Íàóêà, 1970. 44. Ä.Ê.Ôàääååâ, Â.Í.Ôàääååâà, Âû÷èñëèòåëüíûå ìåòîäû ëèíåéíîé àëãåáðû, Ôèçìàòãèç, 1963. 45. .Ï.Ôåäîðåíêî, Ââåäåíèå â âû÷èñëèòåëüíóþ èçèêó, Ì., Èçäàòåëüñòâî ÌÔÒÈ, 1994. 46. Äæ.Ôîðñàéò, Ì.Ìàëüêîëüì, Ê.Ìîóëåð, Ìàøèííûå ìåòîäû ìàòåìàòè÷åñêèõ âû÷èñëåíèé, Ìèð, 1980. 47. Ë.Õåéãåìàí, Ä.ßíã, Ïðèêëàäíûå èòåðàöèîííûå ìåòîäû, Ì., Ìèð, 1986.
48. .Õîðí, ×.Äæîíñîí, Ìàòðè÷íûé àíàëèç, Ìèð, 1989. 49. Å.×èæîíêîâ, ×èñëåííûå ìåòîäû, Ì., Ì Ó, 2006. 50. Ê.×ó, Ââåäåíèå â âåéâëåòû, Ì., Ìèð, 2001. 51. Â.Â.Øàéäóðîâ, Ìíîãîñåòî÷íûå ìåòîäû êîíå÷íûõ ýëåìåíòîâ, Ì., Ìèð, 1989. 52. R.Bhatia, Matrix Analysis, SpringerVerlag, New York, 1996. 53. A.B ott her, B.Silbermann, Introdu tion to large trun ated Toeplitz matri es, Springer, New York, 1999. 54. A.Greenbaum, Iterative methods for solving linear systems, SIAM, Philadelphia, 1997. 55. G.Heinig, K.Rost, Algebrai methods for Toeplitz-like matri es and operators, Akademie-Verlag, Berlin, 1984. 56. N.J.Higham, A
ura y and stability of numeri al algorithms, SIAM, Philadelphia, 1996. 57. R.Kress, Linear integral equations, Springer-Verlag, 1989. 58. U.R ude, Mathemati al and omputational te hniques for multilevel adaptive methods, SIAM, Philadelphia, 1993. 59. Y.Saad, Iterative methods for sparse linear systems, PWS Publishing Co., Boston, 1996. 60. G.W.Stewart, J.Sun, Matrix Perturbation Thery, A ademi Press, 1990.
