This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Xp) >1 — p gilt, heifit p-Quantil der diskreten Zufallsvariable X mit Verteilungsfunktion F{x). Fiir p = 0.5 heiiJt XQ.S Median. Bei dieser Definition treten die gleichen Schwierigkeiten auf wie bei der Definition von empirischen Quantilen: Xp ist nicht immer eindeutig. Dies wird fiir den Median, d.h. fiir p = 0.5, in der folgenden Abbildung 5.11 veranschaulicht.
F{x) 1-
k
x) 1,
. 1 1 1
1 1
1 1
1 1
1 2
1 2 , 1 1 1
1 1 1
• ^0.5
X
^ -
ABBILDUNG 5.11: Eindeutiger Median (links) und nicht eindeutiger Median (rechts)
Falls F{x) den Wert 0.5 liberspringt (Abb. 5.11, links) so ist der Median eindeutig. Nimmt jedoch wie in Abbildung 5.11 (rechts) F{x) den Wert 0.5 an, so erfiillt jeder a:-Wert in dem zur Treppe gehorigen Intervall die Definition. Man kann z.B. wie in Abschnitt 2.2.2 den Mittelpunkt des Intervalls als eindeutigen Median wahlen oder auch den hnken Randpunkt. Bei der zweiten Festlegung erreicht man, dafi der Median zum Trager der Verteilung gehort. Die gleichen Uberlegungen gelten entsprechend fiir beliebige Quantile. Varianz und Standardabweichung
Varianz und Standardabweichung sind die wichtigsten Streuungsparameter einer diskreten Zufallsvariable. Sie sind in Analogic zu den entsprechenden empirischen Mai3zahlen definiert und setzen metrisch skaherte Zufallsvariablen voraus. Wir ersetzen dazu in Abschnitt 2.2 Auspragungen a i , . . . , a^,... durch o^i,..., x^,..., relative Haufigkeiten / i , . . . , A , . . • d u r c h p i , . . . ,PA:J • • • und das arithmetische Mittel x durch den Erwartungswert /x = E{X).
5.2 Verteilungen und Parameter von diskreten Zufallsvariablen
249
Varianz und Standardabweichung einer diskreten Zufallsvariable
Die Varianz einer diskreten Zufallsvariable ist a^ = Var{X) = {xi ~ fxfpi + . . . + (x^ - / / ) V + • • • i>l
Die Standardabweichung ist a =
+^/Var{X).
Fiihrt man die Zufallsvariable (X — /i)^ ein, so lafit sich die Varianz gemalS dieser Definition auch in der folgenden Form schreiben:
Varianz als erwartete quadratische Abweichung
Var{X) = E{X - fif
Damit kann sie als die zu erwartende quadratische Abweichung der Zufallsvariable X von ihrem Erwartungswert interpretiert werden. In der Hdufigkeitsinterpretation von Erwartungswerten bedeutet dies, dafi bei n unabhangigen Wiederholungen von X mit den Werten xi^... ^Xn die durchschnittliche quadrierte Abweichung
Hdufigkeitsinterpretation
'='-t(->--)' fill grofie n mit hoher Wahrscheinlichkeit nahe bei a^ liegen wird. Ahnlich wie beim Erwartungswert mu6 man bei unendlich-diskreten Zufallsvariablen voraussetzen, dafi die auftretenden Summen einen endlichen Wert ergeben. Aus der Definition ergibt sich, dafi Var{X) > 0 ist und dafi Var{X) = 0 genau dann gilt, wenn X nur den einen Wert x = fi annehmen kann. Eine solche '^Zufallsvariable" ist deterministich, also eine feste Zahl /i. Ihre Varianz ist gleich null und ihre Verteilung heifit "entartet", da P{X = x) = 0 fiir alle x ^ /j. gilt. Fiir Varianzen gelten in Analogic zu empirischen Varianzen die Verschiebungsregel und die Regel fiir lineare Transformationen. Diese Regeln sind zum Berechnen von Varianzen oft hilfreich.
entartete Zufallsvariable
5. Diskrete Zufallsvariablen
250
Verschiebungsregel Var(X) == E{X^) -- {E{X)f = E{X^) --M^ bzw. allgemeiner Var{X) = E{{X - c)^) -- ( / x - c ) 2 . Die einfachere Form der Verschiebungsregel ergibt sich aus der allgemeinen Regel fiir c = 0. Der Beweis erfolgt direkt in Analogie zum Beweis des Verschiebungssatzes in Abschnitt 2.2.3 oder so: Var{X) = E{X - iif = E{X^ - 2fiX + /x^). Wegen der Linearitat des Erwartungswertes folgt Var{X) = E{X^) - 2/i£;(X) + //^ = E{X^) - 2//^ + ^^2 ^
Die Verschiebungsregel vereinfacht das Berechnen der Varianz, wenn vorher bereits der Erwartungswert berechnet wurde. Man bildet dann die Tabelle p
Pi
•
X
Xl
.
x2
7-2
••
..
Pk
...
Xi
. .
Xk
...
J2 XiPi = M
. -? .
. .
Xj^
...
Zxh^=EiX')
Pi
•
und berechnet daraus die Varianz. Lineare Transformation Fiir y = a Z + 6 ist Var{Y) = Var{aX + b) = a^VariX)
und
ay = \a\ax.
Man kann dies wieder ahnlich wie fiir empirische Varianzen zeigen oder wie folgt: Var{aX + b) = E{aX + b-afi-bf = a^E{{X - /i)2) =
unabhdngig
= E{aX - a/i)^ = c?Var{X),
wobei die Linearitat des Erwartungswertes ausgenutzt wurde. Fiir die Summe von Zufallsvariablen erhalt man eine ahnlich einfache Regel, wie fiir Erwartungswerte, wenn die Variablen unabhdngig sind. Ohne diese Vorausset-
5.2
Verteilungen und Parameter von diskreten Zufallsvariablen
251
zung gelt en die folgenden Formeln i.a. nicht.
Varianz der Summe von unabhangigen Zufallsvariabler1 Fiir unabhangige Zufallsvariablen X und Y bzw. X i , . . . , Xn gilt Var{X + Y) --= Var{X) + Var{Y) und mit beliebigen Konstanten a i , .
' 5^n
Var{aiXi + . . . + anXn) == alVar{Xi)
+ ... +
alVariXn).
Der Beweis der ersten Formel ist aufwendig. Die zweite ergibt sich daraus in Kombination mit der Regel fiir lineare Transformationen. Binare Zufallsvariablen
Beispiel 5.13
Fur binare NuU-Eins-Variablen mit P{X = 1) = TT, P{X = 0) = 1 -TT gilt E{X) = n. Fiir E{X'^) erhalt man E{X^)=0\l-iT)-\-l^'7r = 7r, und mit der Verschiebungsregel ergibt sich Var{X)
= TT — TT'^ = 7r(l — TT) .
Man kann X als metrische Zufallsvariable interpretieren: X zahlt, mit den Werten 0 oder 1, das Eintreten von A bei einmaliger Durchfiihrung des Zufallsvorgangs. Die Varianz 7r(l — TT) ist klein, wenn TT = E{X) nahe bei 0 oder 1 liegt, d.h. wenn die Wahrscheinlichkeit fiir A gering oder grofi ist. Var{X) wird am grofiten (= 0.25) fiir n = 0.5, d.h. wenn die Unsicherheit, ob A oder A eintritt, am grofiten ist. D
Wiirfeln
Beispiel 5.14
Beim einmaligen Wiirfeln mit X = "Augenzahl" gilt nach Beispiel 5.10 (Seite 243) E{X) = 7/2. Mit der Verschiebungsregel erhalten wir Var{X) = {l'-\-2^ + ...^6')^^-(^]
91
49
= ^ - ^
70
24
2.92.
Betrachten wir zum Vergleich eine Zufallsvariable y , die nur die Werte 1 und 6 jeweils mit Wahrscheinlichkeit P{Y = 1) = P{Y = 6) = 1/2 annimmt. Dann gilt E{Y) = 7/2 wie bei X, jedoch ist Var{Y) =
-{l'^6')
37
49
= 6.25.
252
5. Diskrete Zufallsvariablen
d.h. Y hat eine grofiere Varianz als X, da die Werte von Y im Mittel weiter ((6 — 3.5)^ = (1 - 3.5)2 ^ g 25) von /x = 7/2 liegen. Beim zweimaligen Wiirfeln mit X = "Augensumme" kann man analog, aber muhsam
berechnen. Die gleiche Zahl ergibt sich jedoch wesentlich einfacher durch die Regel fiir die Varianz einer Summe von unabhangigen Zufallsvariablen: Wenn Xi die Augenzahl beim ersten Wurf und X2 die Augenzahl beim zweiten Wurf bezeichnet, so sind Xi und X2 unabhangig, und es ist X = Xi + X2 die Augensumme. Damit gilt Var{X) = Var{X,) + Var{X2) = ^ + ^ = f •
Beispiel 5.15
Geometrische Verteilung
Fiir eine geometrisch verteilte Zufallsvariable X gilt E{X) = I/TT. Die Berechnung der Varianz ist ebenfalls aufwendig. Es lafit sich zeigen, dafi Var{X) =
^
gilt.
5.3
parametrische Verteilungen
D
Spezielle diskrete Verteilungsmodelle
Dieser Abschnitt beschreibt einige weitere diskrete Verteilungen, die haufig zur Modellierung von Zufallsvorgangen und zur Datenanalyse mittels induktiver Statistik eingesetzt warden. Zwei ofter verwendete spezielle Verteilungen haben wir bereits im vorangehenden Abschnitt kennengelernt: die diskrete Gleichverteilung und die geometrische Verteilung. Dabei handelt es sich jeweils u m eine Familie von parametrischen Verteilungen: Die Wahrscheinlichkeitsfunktion hangt noch von einem oder auch mehreren Parametern ab, wie etwa von der Erfolgswahrscheinlichkeit TT bei der geometrischen Verteilung. Erst wenn fiir die Parameter numerische Werte eingesetzt werden, ist die Wahrscheinlichkeitsfunktion eindeutig festgelegt. In Anwendungen werden die Parameterwerte so festgelegt, dafi eine moghchst gute Ubereinstimmung mit einer aus Daten gewonnenen empirischen Verteilung erzielt wird, siehe dazu Kapitel 9.
5.3
Spezielle diskrete Verteilungsmodelle
253
Damit wird auch der Modellcharakter spezieller parametrischer Verteilungen deutlich: In der Kegel gelingt es nur in einfachen Situationen und unter gewissen Idealisierungen, etwa bei Gliicksspielen, durch logische Kausalschllisse zu zeigen, dafi eine bestimmte Verteilung dem Sachverhalt exakt angepafit ist. Meistens lafit sich nur feststellen, auch mit Mitteln der Statistik, ob eine gewahlte Verteilung dem Sachverhalt und den Daten gut oder schlecht angepafit ist. 5.3.1
Modellcharakter
Die Binomialverteilung
Mit der in den Beispielen 5.6 (Seite 232) und 5.11 (Seite 244) betrachteten Anzahl von Treffern wurde bereits exemplarisch eine spezielle, binomialverteilte Zufallsvariable betrachtet. Im folgenden werden die dabei erhaltenen Ergebnisse und Eigenschaften allgemein formuliert. Wir betrachten eine BernouUi-Kette von n-mal wiederholten Bernoulli-Experimenten mit n = P{A) fiir das interessierende Ereignis und der Folge Ai, ^ 2 , . . . , ^n von unabhangigen Ereignissen. Dabei steht Ai fiir das Eintreten von A im i-ten Versuch. Zur BernouUi-Kette definieren wir die Zufallsvariable X = "Anzahl der Versuche, bei denen A eintritt" . Einfache Beispiele hierfiir sind das wiederholte Werfen von Miinzen bzw. Wiirfeln, wobei X zahlt wie oft "Kopf" bzw. "Sechs" auftritt. Das Standardmodell fiir eine BernouUi-Kette ist da.s Ziehen mit Zurilcklegen aus einer Urne, die N Kugeln, darunter M schwarze, enthalt. Daraus werden zufallig und mit Zurilcklegen nacheinander n Kugeln gezogen. Die Ereignisse Ai "Bei der i-ten Ziehung wird eine schwarze Kugel gezogen" sind dann unabhangig und es ist P{Ai) = M/N = n. Ahnhche Zufallsvorgange treten bei vielen Gliicksspielen, aber auch beim zufaUigen Ziehen mit Zuriicklegen aus einer endlichen Grundgesamtheit auf. Auch bei der laufenden Gut/Schlecht-Priifung im Beispiel 5.8 (Seite 241) kann man oft von einer BernoulliKette ausgehen, bei der X die Anzahl defekter Stiicke bedeutet. Das Beispiel 5.9 (Seite 241) zeigt, dafi auch bei zufalligem Ziehen ohne Zurilcklegen angenahert eine Bernoulli-Kette vorliegt, wenn das Verhaltnis n/N klein ist. Die Zufallsvariable X ist somit bei vielen Zdhlvorgdngen von Bedeutung. Die Wahrscheinlichkeitsfunktion von X lafit sich (in Verallgemeinerung der Uberlegungen in Beispiel 5.6, Seite 232) folgendermafien ableiten: Der Trager von X ist T = { 0 , 1 , . . . , n}. Das Ereignis {X = x} resultiert z. B. fiir die Ereignisfolge
AiA2"'A:,A:,^l'"An, bei der in der Bernoulli-Kette zuerst x-mal das Ereignis A und anschliefiend (n — x)-
Urnenmodell Ziehen mit Zurilcklegen
Ziehen ohne Zurilcklegen
254
5. Diskrete Zufallsvariablen
mal A auftritt. Wegen der Unabhangigkeit der einzelnen Versuche gilt P{AiA2 • • -^x^x+i • "An) = 7r',.,'n{l V
- TT) • . . . • (1 - TT) =
's
^
rr-mal
/
(n-x)-mal
^—x = 7r^(l-7r)^-
Das Ereignis {X = x} tritt aber auch ein, wenn x-mal A und (n — x)-mal A in irgendeiner anderen Reihenfolge erscheinen. Die Wahrscheinlichkeit ist dabei jeweils ebenfalls 7r^(l — TT)"'"^. Insgesamt gibt es nach Abschnitt 4.3 genau (^) verschiedene derartige Reihenfolgen. Damit folgt P(X = x ) = Q 7 ^ - ( l - 7 r r - ^
x =
0,l,..., n.
Man nennt eine Zufallsvariable mit dieser Wahrscheinlichkeitsfunktion binomialverteilt. Binomialverteilung
Eine Zufallsvariable heifit binomialverteilt mit den Parametern n und TT, kurz X ^ B(n, TT), wenn sie die Wahrscheinlichkeitsfunktion
;(,) = / C M l - - r - ^
X = 0 , 1 , . . . ,n sonst
besitzt. Die Verteilung heifit Binomialverteilung oder kurz S(n,7r)-Verteilung. Sie ergibt sich, wenn aus n unabhangigen Wiederholungen eines BernoulliExperiments mit konstanter Wahrscheinlichkeit TT die Summe der Treffer gebildet wird. Die folgende Abbildung 5.12 zeigt fiir n = 10 zu verschiedenen Werten von TT die Wahrscheinlichkeitshistogramme der Binomialverteilung. Man erkennt, dafi die Verteilung fiir n < 0.5 linkssteil ist und zwar umso deutlicher, je kleiner n ist. Fiir TT = 0.5 ist die Verteilung symmetrisch zum Wert x = nn. Fiir TT > 0.5 erhalt man rechtssteile Verteilungen als "Spiegelbild" zu entsprechenden linkssteilen Verteilungen (etwa n = 0.25 und TT = 0.75). Fiir grofieres n lafit sich das Wahrscheinlichkeitshistogramm gut durch die Dichtekurve einer Normal verteilung mit fi = n7r und cr^ = n7r(l — TT) approximieren, siehe die Abbildungen 5.13. Diese Approximation ist umso besser, je naher n bei 0.5 liegt, und wird schlechter, je naher n bei 0 oder 1 hegt. Die theoretische Rechtfertigung liefert der zentrale Grenzwertsatz aus Abschnitt 7.1.2.
5.3
255
Spezielle diskrete Verteilungsmodelle
7r = 0.1
7r = 0.25
0.4 H
0.4 H
0.3
0.3 H
0.2
0.2 H
0.1
0.1 A
0
I
I
I
I
I
I
I
I
I
0 1 2 3 4 5 6 7 8
I
I
'
0-L
I ' I ' I ' I
9 10
7r = 0.5
I I
I—I—I—'
10
7r = 0.75
0.4
0.4 H
0.3
0.3
0.2
0.2 H
0.1 -\
0.1
0
I
0 1 2 3 4 5 6 7 8 9
0=^
-^Jd
0 1 2 3 4 5 6 7 8 9
0
- I — I — I — r ^
10
0 1 2 3 4 5 6 7 8 9
10
ABBILDUNG 5.12: Wahrscheinlichkeitshistogramme von Binomialverteilungen fiir n = 10
Erwartungswert und Varianz der B(n, 7r)-Verteilung lassen sich leicht berechnen, wenn man die unabhangigen Indikatorvariablen Xi =
1, falls beim i-ten Versuch A eintritt 0,
falls beim i-ten Versuch A nicht eintritt,
i == 1 , . . . , n, einfiihrt. Fiir diese gilt P(Xi
= 1) = TT,
P{Xi
= 0) = 1 - TT,
E{Xi)
= TT,
Var{Xi)
= 7r(l - TT) .
Jedes Xi ist also binomialverteilt mit n — 1 und TT. Offensichtlich lafit sich X in der Summendarstellung X = Xi + .,, + Xn schreiben. Daraus folgt nach den Rechenregeln fiir Erwartungswerte und fiir Varianzen unabhangiger Zufallsvariablen E{X) - E{Xi) + ... + EiXn) = nn, Var{X) = Var{Xi) + . . . + Var{Xn) = n7r(l - TT) .
Summendarstellung
5. Diskrete Zufallsvariablen
256
n = 30, 7r = 0.1
n = 10, 7r = 0.1
J
n—\—\—\—I—I—I—I—r - 3 - 2 - 1 0 1 2 3 4 5 6 7
I I ikw II—I—I—I—I—r-* - 5 - 2 1 4 7 10 13 16 19 22 25
n = 10, 7r = 0.5
n = 3 0 , 7r = 0.5
0.4 H
0.24 H
0.3
0.18 H
0.2
0.12 H
0.1
0.06 H -
p
^
I
•
0 1 2 3 4 5 6 7 8 9
/TN
J
k
f-n—I—r -1—I—n-T 0 3 6 9 1215 18 2124 27 30
10
ABBILDUNG 5.13: Approximation von Wahrscheinlichkeitshistogrammen
durch Dichtekurven der Normalverteilung
Erwartungswert und Varianz einer J5(n,7r)-verteilten Zufallsvariable X: E{X) = mx,
Var{X) = n7r(l - TT) .
Folgende beide Eigenschaften sind oft niitzlich:
Additionseigenschaft Sind X ~ S ( n , TT) und Y ~ jB(m, TT) unabhangig, so ist X + y ~ B{n + m, TT).
5.3 Spezielle diskrete Verteilungsmodelle
257
Symmetrieeigenschaft Sei X ~ B{n,
TT)
und Y =-n --X. Dann gilt Y ~5(n,l-
TT).
Die Summe von unabhangigen binomialverteilten Zufallsvariablen mit gleichem Parameter TV ist also wieder binomialverteilt. Die Eigenschaft ergibt sich aus der Darstellung von X und Y als Summe von Indikatorvariablen. Die Symmetrieeigenschaft folgt aus /^(.:) = P ( X = x ) = ( ^ ) 7 r ^ ( l - 7 r r - = f = Q
^ J a - T T ) n—x^n—(n—x)
(1 - 7 r ) % " - ^ = P{Y = y) = / y ( y ) .
Zum praktischen Arbeiten ist die Verteilungsfunktion X
B{x\n, TT) = P{X
< x\n, vr) = ^ f{t) t=o
iiir ausgewahlte Werte von n und in der Kegel fiir n < 30 tabelliert (Tabelle B). Dabei genligt es wegen der Symmetrieeigenschaft, die Tabelle nur fiir TT < 0.5 anzulegen. Fiir TT > 0.5 gilt B{x\n,TT)
= P{X < x\n,TT) = P{Y >n-
x\n,n)
= 1 - P{Y < n - x - l | n , 1 - TT) = 1 - B ( n - X - l | n , 1 - TT) . Die Wahrscheinlichkeitsfunktion ergibt sich aus den Tabellen durch f{x)
= P{X
= x) = B{x\n, TT) - B{x - l | n , TT) .
Fiir grofieres n verwendet man die Approximation vgl, Abschnitt 7.2.
durch eine
Normalverteilung^
Treffer und Nieten
Normalverteilungsapproximation Beispiel 5.16
(a) In Beispiel 5.6 (Seite 232) gilt fiir die Anzahl X von Treffern bei drei unabhangigen Ausspielungen der Lotterie X ~ 5(3,0.20). Die in Beispiel 5.6 direkt berechnete WahrscheinHchkeitsfunktion von X ergibt sich auch aus Tabelle B der Verteilungsfunktion 5(x|3,0.20) dieser Binomialverteilung. Beispielsweise liest man fiir x = 0 P{X = 0)= B(0|3,0.20) = 0.512
5. Diskrete Zufallsvariablen
258
ab. Mit P{X
5(1|3,0.20) = 0.896
erhalt man den Wert P{X = 1)= P{X < 1) - P{X = 0)= 0.896 - 0.512 = 0.384 wie in der Wahrscheinlichkeitstabelle von Beispiel 5.6 (Seite 232). Die Wahrscheinlichkeit P{X > 1), mindestens einen Treffer zu erzielen, ist P{X>1)
= 1-P{X
20 - 18) = 1 - P{Y < 2) = 1 - P{Y < 1) = 1-0.3917 = 0.6083, oder P{X = 18) = P{Y = 2) = P{Y < 2) - P{Y < 1) = 0.6769 - 0.3917 = 0.2852. Die Wahrscheinlichkeit, den Erwartungswert n7r = 20 • 0.90 = 18 zu erhalten, liegt also bei fast 30%. D
5.3.2 Urnenmodell ohne Zuriicklegen
Die hypergeometrische Verteilung
Aus einer endlichen Grundgesamtheit von N Einheiten, von denen M eine Eigenschaft A besitzen, wird n-mal rein zufdllig, aber ohne Zuriicklegen gezogen. Im Urnenmodell mit N Kugeln, davon M schwarzen, entspricht dies dem zufalligen
5.3
259
Spezielle diskrete Verteilungsmodelle
n-maligen Ziehen ohne Zuriicklegen. Wir interessieren uns wieder fiir die Zufalls variable X = "Anzahl der gezogenen Objekte mit der Eigenschaft A" . Falls der Auswahlsatz n/N klein genug ist {Faustregel: n/N < 5 %), ist X ndherungsweise binomialverteilt mit Parametern n und n = M/N. Falls n/N grofier ist, mufi die Verteilung von X exakt bestimmt werden. Dies fiihrt zur hypergeometrischen Verteilung. Zunachst geben wir den Wertebereich von X an. Der grofitmogliche Wert Xmax von X ist n, wenn n < M ist, und er ist M, wenn M < n ist. Also ist
Auswahlsatz Faustregel
Wertebereich
Xmax = min(n, M ) , die kleinere der beiden Zahlen n und M. Ahnlich iiberlegt man, dafi der kleinstmogliche Wert Xmin = max(0, n-{N - M)) ist. Damit besitzt X den Trager T = {xmin^ -- -, Xmax}- Falls n< M und n<M — N gilt, vereinfacht sich der Trager zu T = { 0 , 1 , . . . , n}, also dem gleichen Trager wie bei der Binomialverteilung. Die Wahrscheinlictikeitsverteilung von X lafit sich mit den anschliefiend angefiihrten kombinatorischen Argumenten herleiten. Hypergeometrische Verteilung
Eine Zufallsvariable X heifit hypergeometrisch verteilt mit Parametern n, M und N, kurz X ~ H{n^ M, AT), wenn sie die WahrscheinHchkeitsfunktion
m
M\ /N - M XJ \ n —X N n
xeT 0,
sonst
besitzt. Dabei ist T durch {max(0, n — {N — M)),..., inin(n, M)} gegeben. Es gilt M M ( M\N-n N N N N-1 Damit besitzt eine H{n, M, 7V)-verteilte Zufallsvariable den gleichen Erwartungswert wie eine B(n,M/Ar)-verteilte Zufallsvariable. Jedoch ist die Varianz kleiner, da der sogenannte Korrekturfaktor {N — n)/{N — 1) fiir n > 1 kleiner als 1 ist. Korrekturfaktor Diese Verkleinerung der Varianz ist plausibel, da man ohne Zuriicklegen zieht und
5. Diskrete Zufallsvariablen
260
somit keine schon gewonnene Information verschenkt. Fiir kleine Werte n/N des Auswahlsatzes ist der Korrekturfaktor praktisch gleich 1; die Varianzen sind dann also naherungsweise gleich. Eine hypergeometrisch verteilte Zufallsvariable lafit sich ebenfalls als Summe X = Xi +
.,.+Xn
von Indikatorvariablen Xi =
1, wenn beim z-ten Ziehen A eintritt 0, wenn beim z-ten Ziehen A nicht eintritt
darstellen. Vor Beginn der Ziehungen gilt weiterhin
jedoch sind die Indikatorvariablen voneinander abhangig. Wegen der Additivitat des Erwartungswertes folgt sofort
E{X)^E{X,)
+ ... + E{Xn) =
n^.
Die entsprechende Summenformel fiir Varianzen gilt jedoch wegen der Abhangigkeit nicht, so dafi der Beweis fiir Var{X) aufwendiger wird. Die Wahrscheinlichkeitsfunktion selbst lafit sich nach der Abzahlregel folgendermafien ableiten: Insgesamt gibt es (^) Moglichkeiten aus A^ Kugeln n ohne Zuriicklegen und ohne Beachtung der Reihenfolge zu Ziehen. Dies ergibt den Nenner. Um aus M schwarzen Kugeln genau x herauszugreifen, gibt es (^) Moglichkeiten. Genauso verbleiben ( ^"^ ) Moglichkeiten, um aus N — M weifien Kugeln genau n — X herauszugreifen. Dies ergibt fiir den Zahler insgesamt (^) ( ^Z^ ) "giinstige" Moghchkeiten. 5.3.3
PoissonVerteilung Zdhlvorgdnge
Die Poisson-Verteilung
Binomial- und hypergeometrisch verteilte Zufallsvariablen zahlen, wie oft bei nmaligem Ziehen aus Urnen oder Grundgesamtheiten ein bestimmtes Ereignis A eintritt. Der Wertebereich ist nach oben durch n begrenzt und somit endlich. Die geometrische Verteilung (Abschnitt 5.2) zahlt, wie lange man warten mufi, bis ein Ereignis A zum erstenmal eintritt. Der Wertebereich ist die Menge N der natiirhchen Zahlen und nicht nach oben begrenzt. Die Poisson-Verteilung eignet sich ebenfalls zur Modellierung von Zdhlvorgdngen. Dabei werden bestimmte Ereignisse gezahlt, die innerhalb eines festen, vorgegebenen Zeitintervalls eintreten konnen. Die mogliche
5.3
261
Spezielle diskrete Verteilungsmodelle
Anzahl der Ereignisse ist gleichfalls nicht nach oben begrenzt. Zugleich soil die Wahrscheinlichkeit, dafi ein Ereignis in einem sehr kleinen Zeitintervall eintritt, ebenfalls sehr klein sein. Beispiele fiir Zahlvorgange dieser Art sind die Anzahl von Schadensmeldungen bei einer Sachversicherung innerhalb eines Jahres, die Anzahl von Krankheitsfallen einer (seltenen) Krankheit in einem Monat, oder die Anzahl von Kunden, die in einem Monat bei einer Bank einen Kredit beantragen, usw. In Abbildung 5.14 sind die Ereignisse auf der Zeitachse durch Sterne markiert. Als Zeitintervall wahlen wir das Einheitsintervall [0,1], was sich durch geeignete Wahl der Zeitskala immer erreichen lafit. P(genau ein Ereignis in At) ^ XAt »|
20.
Fiir eine Wartezeit von hochstens x Minuten erhalt man somit P{X < x) = x/20, d.h. die Wahrscheinlichkeit ist proportional zur Dauer x. D Ahnliche Situationen treten auch bei anderen Transport- oder Bedienungssystemen auf. Bei der Produktion grofierer Systeme oder Cerate arbeiten Maschinen oft
6.1
277
Definition und Verteilung
in einer Fertigungslinie. Eine Maschine benotige zur Anfertigung eines bestimmten Teils eine feste Bearbeitungszeit von d Zeiteinheiten. Nach Beendigung des Auftrags werden die Teile in einem "Puffer" oder Lager abgelegt. Dort werden die Teile zu zufalligen Zeiten von der nachsten Maschine der Linie oder durch eine externe Nachfrage abgeholt. Um kostengiinstig zu arbeiten, sind stets nur wenig Teile im Puffer, manchmal ist das Puffer auch leer. Im letzteren Fall ist fiir die Wartezeit X, bis das Puffer wieder ein Teil enthalt und die Nachfrage befriedigt werden kann, die Annahme einer Gleichverteilung auf [0, d] eine plausible Modellvorstellung. Dies gilt in analoger Weise fiir Kunden, die zufallig vor einem Bedienungssystem oder "Schalter" eintreffen, an dem gerade ein Auftrag bearbeitet wird. Die allgemeine Definition fiir eine stetige Gleichverteilung ist:
Stetige Gleichverteilung Eine stetige Zufallsvariable heiiSt gleichverteilt auf dem Intervall [a, 6], wenn sie eine Dichte f{\-.j 6=^ f^^ a<xb ist F{x) = 1. Also ist 0 , X! 10
U\-x^)dx\
.
Damit erhalt man flir die gesuchte Wahrscheinlichkeit 0.8
10
= 0.5619. -0.8
In beiden Beispielen war der Wertebereich von X ein endhches Intervall. Im nachsten Beipiel betrachten wir eine stetige Zufallsvariable X mit nichtnegativen, nach oben nicht beschrankten Werten. D
Exponentialverteilung
In Abschnitt 5.2.1 hatten wir die geometrische Verteilung als mogliches Modell flir eine in diskreten Zeitabstanden gemessene Lebensdauer oder Wartezeit abgeleitet. Die Exponentialverteilung ist das stetige Analogon zur geometrischen Verteilung, wenn man die Lebensdauer oder Wartezeit bis zu einem bestimmten Ereignis als stetige Zufallsvariable auffafit. Dementsprechend wird die Exponentialverteilung angewandt
Exponentialverteilung geometrische Verteilung
6. Stetige Zufallsvariablen
280
Lebensdauerverteilung
Geddchtnislosigkeit
zur Modellierung von Dauern, bei denen die Zeit - zumindest approximativ - stetig gemessen wird, etwa die Lebensdauer von Produkten oder technischen Systemen, die Zeit bis zur nachsten Schadensmeldung bei einer Sachversicherung, die Bearbeitungszeit von Kundenauftragen oder die Uberlebenszeit nach einer Operation. Ahnlich wie die geometrische Verteilung ist die Exponentialverteilung nur dann als Lebensdauerverteilung geeignet, wenn folgende Voraussetzung erfiillt ist: Fiir jeden Zeitpunkt t hangt die noch verbleibende Lebensdauer nicht von der bereits bis t verstrichenen Lebensdauer ab. Dies entspricht der Voraussetzung der Unabhangigkeit der einzelnen Versuche bei der geometrischen Verteilung. Fiir ein technisches System heifit das etwa, dafi dieses nicht altert, also die Ausfallwahrscheinlichkeit unabhangig vom Alter immer gleich grofi ist. Man spricht deshalb auch von Geddchtnislosigkeit der Exponentialverteilung. Die Definition lautet folgendermafien: Exponentialverteilung
Eine stetige Zufallsvariable X mit nichtnegativen Werten heiiit exponentialverteilt mit dem Parameter A > 0, kurz X ^ Ex{\)^ wenn sie die Dichte Ae"-^^ fiir 0 fiir
m=
x>0 x 0} streng monoton wachsend ist wie in Abbildung 6.11. Der Median Xmed ist dann der Wert auf der T-Achse, fiir den F{Xmed)
Median
= P{X
< Xmed) = P{X
> Xmed) = 1 " F{Xmed)
= ^
gilt. Damit teilt der Median auch die Flache 1 unter der Dichte in zwei gleich grofie
6.2
287
Lageparameter, Quantile und Varianz von stetigen Zufallsvariablen
F{x) 1 .
± , P ' 1 2
y Xjy
1 led
11
^P
•-
X
^med
-^p
ABBILDUNG 6.11: Verteilungsfunktion, Dichte, Median und Quantile
Teilflachen. Fiir 0 < p < 1 sind p-Quantile Xp ganz analog durch F{xp) = P{X
p-Quantile
<xp)=p
definiert. Das p-Quantil teilt dann die Gesamtflache unter f{x) auf in eine Teilfiache der Grofie p links von Xp und eine Teilfiache der Grol3e 1 — p rechts von Xp.
Median und Quantile
Fiir 0
Zeichen gilt. Diese Definitionen entsprechen dem Verhalten empirischer Verteilungen, das auch in Box-Plots visualisiert wird. Charakteristisch ist auch die folgende Lageregel beziiglich Modus, Median und Erwartungswert: Lageregel Symmetrische unimodale Verteilung: Linkssteile Verteilung: Rechtssteile Verteilung:
^mod
^^ ^med
^^ ^ y-^ )
^mod
"^ Xrued ^ ^ \^
)
^mod
-^ ^med
)
^ -^ \^
Diese Lageregeln gelten auch fiir diskrete Verteilungen, vergleiche etwa die geometrische Verteilung. Eine sehr einfache linkssteile Verteilung ist die Exponentialverteilung, bei der wir die Lageregel im Beispiel 6.6 (Seite 288) nachvollziehen konnen. Linkssteile Verteilungen spielen insbesondere bei der Modellierung von Lebensdauern, Einkommensverteilungen u.a. eine wichtige RoUe. Wir geben noch ein einfaches Beispiel einer rechtssteilen Verteilung an. Beispiel 6.10
Eine rechtssteile Verteilung
Die Zufallsvariable X habe die Dichte
m
2x, 0 < X < 1 0 , sonst.
Die Verteilung ist rechtssteil mit Xmod = 1 und
/i = E{X) = f x2xdx = Jo0
3
6.3
Spezielle stetige Verteilungsmodelle
293
Der Median Xmed berechnet sich aus
F{Xmed) = 1/2 mit der Verteilungsfunktion 0 , F{x) = { x2, 1 ,
x 0, kurz X ~ A/'(/i, (7^), wenn sie die Dichte XGR
2a2
V^TTi TTCT besitzt. Es gilt E{X)^I2,
Var{X) = a^,
Die Normalverteilung wird auch als Gaufi-Verteilung und die Dichtekurve als Gaufi-Kurve bezeichnet. Speziell fiir // = 0, cr^ = 1 erhalt man die Standardnormalverteilung A/'(0,1) mit der Dichte 1 1 cj>ix) =
v^'^'n-r
Symmetrie
Die Dichte ist symmetrisch zu //, d.h. es gilt f{lJL-x) = f{ii + x), X G R .
Glockenform
Verteilungsfunktion
Die Gaufi-Kurve hat Glockenform mit dem Maximum an der Stelle /x und den Wendepunkten bei fi±a. Eine Veranderung von /i bei gleichbleibender Varianz bewirkt nur eine Lageverschiebung auf der x-Achse, jedoch keine Veranderung der Form. Diese wird durch den Wert von a bestimmt: Die Glockenkurve fallt umso schneller bzw. langsamer vom Maximum an der Stelle /i gegen null ab, je kleiner bzw. grofier der Wert der Standardabweichung a ist. Abbildung 6.13 zeigt einige Dichten fiir verschiedene Werte von fi und a. Aus der Symmetrie um /i folgt sofort, dafi E{X) = fi ist. Auf die schwierigeren Beweise, dafi f{x) eine Dichte ist, d.h. / f{x)dx = 1 gilt, und dafi a^ die Varianz von X ist, verzichten wir. Die Verteilungsfunktion ist definitionsgemafi durch Fix) = P{X < x)
Standardnormalverteilung
f
f{t)dt
gegeben. Dieses Integral lafit sich nicht analytisch berechnen und durch bekannte Funktionen in geschlossener Form schreiben. Dies gilt ebenso fiir die Verieilungsfunktion ^(x) der Standardnormalverteilung
6.3
Spezielle stetige Verteilungsmodelle
295 f(x) 0.8 A
0.6 H
0.4 H
0.2
0.0 H
f(x)
0.0 H "1
T"
0
2
-T
>,
4
ABBILDUNG 6.13: Dichten von Normalverteilungen fiir /z = 0 und cr^ = 0.25 (••••), 0-2 = 1 ( ) und a^ = 5 ( ) links bzw. a^ = 1 und // = - 1 (—), /^ = 0 ( ) sowie /i = 2 ( ) rechts F(X) 1.0
0.8
0.6
0.4
0.2 H
0.0 H
n
1
r
ABBILDUNG 6.14: Dichte und Verteilungsfunktion der Standardnormalverteilung
*(x) = /_%(.).. = £-i=exp(-f)*. Deshalb mu6 ^(x) durch spezielle numerische Verfahren am Computer berechnet werden und ist fiir bequemeres Rechnen tabelliert. Da 0 zu berechnen bzw. zu tabellieren. Um die Verteilungsfunktion F{x) = P{X < x) und Wahrscheinlichkeiten anderer Ereignisse fiir beliebige A/'(/i, cr^)-verteilte Zufallsvariablen zu berechnen, geniigt es, $(x) sowie /i = E{X) und a'^ = Var{X) zu kennen. Entscheidend ist die folgende Eigenschaft: Standardisierung
Ist X eine A^(/i, (j^)-verteilte Zufalls variable, so ist die standardisierte Zufallsvariable a standardnormalverteilt, d.h. Z ~ Ar(0,1). Damit lafit sich die Verteilungsfunktion F einer lS!(^ii^ (7^)-verteilten Zufallsvariable durch die Verteilungsfunktion $ der Standardnormalverteilung ausdriicken.
Zusammen mit der Symmetriebeziehung kann damit F(x) iiber die Tabelle A fiir die Standardnormalverteilung $(x) berechnet werden. Die $(—a:) = 1 — ^{x) entsprechende Symmetriebeziehung fiir F{x) ist F(/i — x) = 1 — F(/i + x ) . Ruckfuhrung auf Standardnormalverteilung
F(^) = $ ( f _ ^ )..$(;,)
mit
z^"^—^
Quantile
Die Quantile z^ der Standardnormalverteilung sind durch die Gleichung $(^p)=p,
0 a^aj .
Die Normalverteilungseigenschaft bleibt also bei der linearen Transformation und bei der Addition von unabhangigen Zufallsvariablen erhalten. Wir zeigen nur die lineare Transformationsregel. Es ist P(Y oo "konvergiert" fn{X = 1) gegen P{X = 1), d.h. fn{X = 1) —> P{A) fiir n —^ oo . In Abbildung 7.1 sieht man, wie die relative Haufigkeit fn mit wachsender Anzahl relative H. 1.0i
•
0.8 H
0.6
•• • ^•^•••^•••sn^^Xsx' 0.4
0.2
0.0
^. 0
20
40
60
80
100
ABBILDUNG 7.1: Relative Haufigkeit /n, durch Punkte markiert, nach n unabhangigen Wiederholungen eines Bernoulli-Versuchs mit TT = 0.4
der Versuchs wiederholungen tendenziell immer naher am wahren Wert TT = 0.4 liegt. In diesem Abschnitt werden Gesetze groiJer Zahlen in praziserer und in genereller Form, d.h. fiir allgemeinere diskrete und stetige Zufallsvariablen als grundlegende Satze dargestellt. Entsprechendes gilt fiir die Summe Hn = Xi + . . . + Xn , der ahsoluten Hdufigkeit des Auftretens von A. Fiir jedes endliche n ist Hn B{n, TT)verteilt. Fiir groiSes n ist die Summe approximativ normalverteilt bzw. die Verteilung
7.1
Gesetz der groBen Zahlen und Grenzwertsatze
313
von Hn "konvergiert" gegen eine Normalverteilung (vgl. Abschnitt 5.3.1). Eine formale und allgemeinere Beschreibung dieses Sachverhalts wird durch den zentralen Grenzwertsatz gegeben. Wir fassen zunachst das fiir das Beispiel der BernouUi-Kette dargestellte Konzept der n-maligen unabhangigen Versuchswiederholung in seiner allgemeinen Form zusammen.
zentraler Grenzwertsatz
Unabhangige und identische Wiederholung
Sei X eine diskrete oder stetige Zufallsvariable mit Erwartungswert /i, Varianz a^ und einer bestimmten Verteilungsfunktion F, Der zu X gehorende Zufallsvorgang werde n-mal unabhangig wiederholt. Die Zufallsvariablen X^, 2 = 1 , . . . , n, geben an, welchen Wert X beim i-ten Teilversuch annehmen wird. Die Zufallsvariablen X i , . . . , Xn sind unabhangig und besitzen alle die gleiche Verteilungsfunktion F und damit insbesondere den gleichen Erwartungswert // und die gleiche Varianz cr^ wie X. Man sagt kurz: X i , . . . , Xn
sind unabhangig identisch verteilt wie X, oder
X i , . . . , Xn
sind unabhangige Wiederholungen von X.
Die nach der Durchfiihrung erhaltenen Ergebnisse sind Realisierungen xi^ ,,,,Xn v o n X i , . . . , X n . Diese Annahme ist bei vielen Zufallsstichproben vom Umfang n fiir ein Merkmal X zumindest naherungsweise erfiillt. Wir setzen fiir diesen Abschnitt im weiteren diese Annahme voraus. 7.1.1
Das Gesetz der groBen Zahlen und der Hauptsatz der Statistik
Das arithmetische Mittel
arithmetische s Mittel
n gibt den durchschnitthchen Wert von X bei n Versuchen wieder. Nach Durchfiihrung wird _ _ 1 ^n —
(^1 ~r . . . + Xn)
n als Realisierung von Xn beobachtet. Zur Verdeuthchung sei hier noch einmal erwahnt, dafi groi3e Buchstaben die Zufallsvariablen bezeichnen und kleine Buchstaben fiir die Realisierungen verwendet werden. Nach den Rechenregeln fiir Summen von unabhangigen Zufallsvariablen gilt:
7. Mehr uber Zufallsvariablen und Verteilungen
314
Erwartungswert und Varianz des arithmetischen Mittels
EiXn) = fi^
Beweis
Var{Xn) = a—.
Dabei folgt E{Xn) = M aus E{Xn) = iE{Xi) + . . . + E{Xn))/n = nii/n = /i und Var{X) = Var{Xi + . . . + Xn)/n^ = na^/n'^ = a^/n, wobei flir Var{Xn) die Unabhangigkeit der X i , . . . , Xn ausgenutzt wird. Der Erwartungswert des arithmetischen Mittels ist also gleich dem von X selbst. Die Varianz cr^/n ist umgekehrt proportional zu n und geht fiir n —> oo gegen null. Damit ist fiir grofies n die Verteilung von Xn stark um /^ = E{X) konzentriert. Formal lafit sich dies so fassen: Gesetz der groBen Zahlen
Fiir beliebig kleines c > 0 gilt P{\Xn — fi] < c) —> 1 fiir
n —> oo .
Man sagt: Xn konvergiert nach Wahrscheinlichkeit gegen /i. Interpretation
Das Gesetz der grofien Zahlen sagt also aus, dai3 die Wahrscheinlichkeit mit der das arithmetische Mittel in ein beliebig vorgegebenes Intervall [/j. — c, /j. + c] fallt, gegen 1 konvergiert, wenn n —> oo geht. Fiir grofies n ist damit P(/i — c < X^ < // + c) nahe bei 1. Der an sich einfache Beweis benutzt die Ungleichung von Tschebyscheff, siehe Abschnitt 7.4.3. Fiir n —> oo geht a^ jnc? gegen null. Daraus folgt die Behauptung. Fiir den eingangs betrachteten Fall X -> 5 ( 1 , TT) ist TT = P{A) = P{X = 1) = E{X) und Xn = (^1 + . . . + Xn)/n gerade die relative Haufigkeit Hn/n des Eintretens von A. Also gilt: Theorem von Bernoulli
Die relative Haufigkeit, mit der ein Ereignis A bei n unabhangigen Wiederholungen eines Zufallsvorgangs eintritt, konvergiert nach Wahrscheinhchkeit gegen P{A). empirische Ver- Das Theorem von Bernoulli lafit sich direkt auf empirische Verteilungsfunktionen teilungsfunktion anwenden: Fiir jedes feste x ist die empirische Verteilungsfunktion Fn{x) die relative
7.1
Gesetz der groBen Zahlen und Grenzwertsatze
315
Haufigkeit des Ereignisses {X < x}. Fafit man die Daten x i , . . . , x^ als Realisierung der unabhangigen und identisch wie X verteilten Zufallsvariablen X i , . . . ,Xn auf, so folgt dafi Fn{x) fiir jedes feste x mit n —> oo nach Wahrscheinlichkeit gegen die Verteilungsfunktion F{x) von X konvergiert. Tatsachlich gilt eine entsprechende Aussage nicht nur fiir jedes feste x, sondern global (^^gleichmdfiig") fiir alle x G R. Hauptsatz der Statistik (Satz von Glivenko-Cantelli)
Sei X eine Zufallsvariable mit der Verteilungsfunktion F{x), Dann gilt fiir die zu unabhangigen und identisch wie X verteilten X i , . . . , X^ gebildete Verteilungsfunktion Fn{x) P{snp\Fn{x)-F{x)\ oo gut approximiert wird. Stimmen umgekehrt Fn{x) und eine theoretische Verteilung F{x)^ etwa die Normalverteilung, schlecht iiberein, so entstammen die Daten vermutlich einer anderen Verteilung. Sowohl das Gesetz der grofien Zahlen als auch der Satz von Glivenko-Cantelli gelten iibrigens auch unter schwacheren Annahmen, insbesondere lafit sich die Voraussetzung der Unabhangigkeit der X i , . . . , X^i abschwachen. Abbildung 7.2 zeigt anhand von 100 bzw. 1000 unabhangigen Wiederholungen einer standardnormalverteilten Zufallsvariable X, dafi die empirische Verteilungsfunktion umso naher an der theoretischen Verteilungsfunktion liegt, je grofier die Anzahl der Wiederholungen n ist. Die unabhangigen Ziehungen wurden dabei am Computer mit Hilfe von Zufallszahlen simuliert, vgl. Abschnitt *7.3. 7.1.2
Der zentrale Grenzwertsatz
Im Fall einer binomialverteilten Zufallsvariable X ~ 5 ( n , TT) hatte sich gezeigt, dafi sich die Verteilung, genauer das Wahrscheinlichkeitshistogramm, von X = Xi + ... + Xn
mit
Xir^B{l,7r)
fiir grofieres n gut durch eine Normalverteilung approximieren lafit. Die folgenden Abbildungen zeigen, dafi dies auch fiir andere Verteilungen gilt. Die durchgezogene Kurve in Abbildung 7.3(a) gibt die Dichte f{x) einer Zufallsvariable Xi mit E{Xi) = 0, Var{Xi) = 1 an. Dazu ist die Dichte 0(x) der Standardnormalverteilung
gleichmdfiige Konvergenz
7. Mehr uber Zufallsvariablen und Verteilungen
316
F(x)
F(x) 1.0 j
1.0
0.8-^
0.8
0.6
0.6
0.4
0.4
0.2
0.2 0.0
0.0 -
3
-
2
-
1
0
1
2
3
:>x
-4
-2
0
2
T>x
ABBILDUNG 7.2: Empirische Verteilungsfunktion (—) von 100 (links) und 1000 (rechts) standardnormalverteilten Zufallszahlen im Vergleich mit der Verteilungsfunktion der Standardnormalverteilung (••-•)
gezeichnet. In Abbildung 7.3(b), (c) und (d) sieht man die standardisierten Dichten der Summen Xi + X27 ^ i + ^ 2 + ^3? ^ i + • • • + ^ 6 von unabhangigen nach f{x) verteilten Zufallsvariablen Xi^... ^XQ. Man erkennt deutlich, dafi die entsprechenden Dichten mit wachsender Anzahl von Summanden immer besser durch eine Normalverteilung approximiert werden konnen. Tatsachlich gilt sehr allgemein, dafi die Verteilung einer Summe Xi + .., + Xn von Zufallsvariablen fiir n —> 00 gegen eine Normalverteilung konvergiert bzw. ftir grofies n approximativ normalverteilt ist. Fiir unabhangige und identisch verteilte Zufallsvariablen X i , . . . , Xn mit E{Xi) = /i, Var{Xi) = cr^ sind dabei Erwartungswert und Varianz der Summe gemafi den Rechenregeln fiir Erwartungswerte und Varianzen durch E{Xi + ... + Xn) = nfi, standardisierte Summe
Var{Xi + . . . + X^)
gegeben. Fiir die Formulierung des Grenzwertsatzes ist es zweckmafiig, zur standardisierten Summe liberzugehen. Dabei steht ^ fiir approximativ (bei grofierem n) oder asymptotisch (fiir n —> 00) verteilt. Fiir die unstandardisierte Summe Xi + ,. . + Xn gilt in dieser Schreibweise Xi + ... + Xn ^
Normalverteilungsapproximation
na
N(nfi,na^).
Fiir endliches n ist die Summe umso besser approximativ normalverteilt^ je weniger asymmetrisch die Verteilung der Xi ist. Umgekehrt ist fiir deutlich asymmetrische Verteilungen ein grofieres n notig, um eine ahnliche Approximationsgiite zu erreichen. Typischerweise formuliert man den sogenannten Zentralen Grenzwertsatz jedoch nicht fiir Xi + . . . + X^, selbst, sondern fiir die standardisierte Summe. Ein Grund ist, dafi fiir n —> 00 die Verteilung N{nii^ ncr^) unendlichen Erwartungswert und unendliche Varianz besitzt.
7.1
317
Gesetz der groBen Zahlen und Grenzwertsatze
ABBILDUNG 7.3: Dichten von (a) Xi ~ f{x),
(b) Xi + X2, (c) Xi + X2 + X3,
(d) Xi -{•'.' + Xe und approximierende Normalverteilungsdichte 0(x)
Zentraler Grenzwertsatz
, Xn seien unabhangig identisch verteilte Zufallsvariablen mit E{Xi) = /x und
Var{Xi) = a^ > 0,
Dann konvergiert die Verteilungsfunktion Fn{z) = P{Zn < z) der standardisierten Summe Xi + .,, + Xn — niJi ^J^ Y ^ Xj — /JL Zn —
i=l
fiir n —> 00 an jeder Stelle z eH gegen die Verteilungsfunktion $(z) der Standardnormalverteilung: Wir schreiben dafiir kurz Zn ~ iV(0, 1) .
318
7. Mehr uber Zufallsvariablen und Verteilungen
Der zentrale Grenzwertsatz gilt in noch wesentlich allgemeineren Varianten, wobei die X i , . . . ,Xn abhangig und verschieden verteilt sein diirfen. Entscheidend ist, dafi keine der Zufallsvariablen Xi die restlichen deutlich dominiert. Damit liefern die zentralen Grenzwertsatze die theoretische Begriindung dafiir, dafi eine Zufallsvariable X dann in guter Naherung normal verteilt ist, wenn sie durch das Zusammenwirken von vielen kleinen zufalligen Effekten entsteht. Fiir den eingangs betrachteten Spezialfall einer binomialverteilten Variable Hn = Xi + ,.. + Xn -
5(n,7r)
mit unabhangigen Bernoulli-Variablen Xi ~ 5 ( 1 , TT) , E{Xi) = n, Var{Xi) = 7r(l — n) erhalt man:
Grenzwertsatz von de Moivre
Fiir n —> oo konvergiert die Verteilung der standardisierten absoluten Hdufigkeit Hn — riTT
gegen eine Standardnormalverteilung. Fiir grofies n gilt Hn ~a N{n'K^ n7r(l — TT)) , d.h. die 5 ( n , 7r)-Verteilung lafit sich durch eine Normalverteilung mit // = WK, (7^ = n7r(l — TT) approximieren. Fiir die relative Hdufigkeit Hn/n gilt entsprechend Hn/n^N{7r,7T{l-7r)/n)
7.2
Approximation von Verteilungen
Dieser Abschnitt fafit einige Moglichkeiten zur Approximation von diskreten und stetigen Verteilungen durch in der Regel einfacher handhabbare Verteilungen zusammen. Besonders wichtig ist die Approximation der Binomialverteilungen durch eine Normalverteilung sowie die Approximation von Quantilen stetiger Verteilungen, insbesondere der Chi-Quadrat und Student-Verteilung, durch Quantile der Normalverteilung. Die theoretische Grundlage hefert in vielen Fallen der zentrale Grenzwertsatz.
7.2 Approximation von Verteilungen
319
Die Normalverteilungsapproximation der Binomialverteilung beruht direkt auf dem Grenzwertsatz von Moivre, einem Spezialfall des zentralen Grenzwertsatzes. Danach lafit sich die Verteilungsfunktion P(X < x) = jB(x|n, TT) von X ~ S ( n , TT) durch eine Normalverteilung mit fi = n7r und cr^ = n7r(l — TT) annahern. Es gilt also
P{X
<x)^^
NormalverteilungS' approximation
X — rtTT
^/n7^(l — n)
Die Approximation wird besser, wenn die Treppenfunktion des Wahrscheinlichkeitshistogramms von der Dichtekurve etwa in der Mitte getroffen wird. Dies ftihrt zur sogenannten Stetigkeitskorrektur^ bei der im Zahler 0.5 addiert wird.
Stetigkeitskorrektur
Approximation der Binomialverteilung mit Stetigkeitskorrektur Sei X ^ B{n, 7r)-verteilt. Falls
TITT
und n ( l —
TT)
grofi genug sind, gilt
X + 0.5 — nTT
P{X<x)=:B{x\n,7r)^^
\/n7r(l - TT) _,. __
.
_. / X + 0.5 - nTT \
P{X = x) ?^ $ I —.
^/^lJ^{1^^7^)
_ / X - 0.5 - nTT
1 - $
yrijr^T^-Tr)
Faustregel: nvr > 5 , n ( l — TT) > 5 Die in der Literatur angegebenen Faustregeln sind nicht immer einheitlich, sondern sctiwanken in Abhangigkeit von der angestrebten Approximationsgiite. Treffer und Nieten
Beispiel 7.1
In Beispiel 5.16(b) (Seite 257) wurden 20 Stiick eines Massenartikel gepriift. Wenn grofiere Stiickzahlen entnommen warden, arbeitet man mit der Normalverteilungsapproximation. Sei etwa n = 100, also X ~ J 5 ( 1 0 0 , 0.90). Dann wird wegen nn = 90, n(l - TT) = 10 die Faustregel gerade erfiillt. Dann ist etwa P{X < 90) « $
90.5 - 90 V VlOO . 0.90 . 0.10
$
0.5
: $(0,167) =0.576, und P{X = 90) « $ (^^
- $
0.5
2$ f ^ V 1=0.134.
Dabei ntitzt man $(-a:) = 1 — ^{x) aus, vgl. Abschnitt 6.3.1. Die Wahrscheinlichkeit, genau den Erwartungswert E{X) = n7r = 90 zu erhalten, sinkt damit auf ca. 13 %. D
7. Mehr uber Zufallsvariablen und Verteilungen
320
Das Diagramm der Abbildung 7.4 zeigt im Uberblick weitere Approximationsmoglichkeiten zusammen mit Faustregeln auf. Die Pfeile zwischen den Verteilungen bedeuten dabei "approximierbar durch". Die Approximationsbedingungen sind zusatzlich angegeben. Viele dieser Approximationen wurden in den Abschnitten 5.3 und 6.2 bereits angesprochen, weitere ergeben sich daraus durch Verkniipfung untereinander. So ergibt sich beispielsweise durch die Betrachtung der Poisson-Verteilung als Grenzfall fT(n
12 \it^
AT ^/^\
ly ^ ±v± 1
A = nM/N n/N < 0.05 n>30 M/N < 0.05
= M/N n /N < 0.05 TT
' B(n,7r)
X — wn
fi — mr G^ = n7r(l — TT) nTT > 5 n(l - TT) > 5
n>30,
[I = nMjN (r2 = nM/N{\ - M/N) n/N < 0.05 nM/N > 5 n(l - M/N) > 5
TT < 0.05
Po{X)
fi = X a^ = X A>10
1 Nif,,a^) X^(n)
t(n) n >30 Ttansformation: Z = V2X - V2n - 1
n>30 iV(0,l)
ABBILDUNG 7.4: Approximationsmoglichkeiten und Reproduktionseigenschaften der Verteilungen
*7.3
321
Zufallszahlen und Simulation
der Binomialverteilung fiir n ^ oo und TT —> 0 die Naherung J5(n, TT) ~ Po(A = nn) mit der angegebenen Faustregel. Die Approximation der Binomialverteilung durch eine Normalverteilung fiihrt dazu, dafi auch die Poisson-Verteilung fiir grofieres A approximativ normalverteilt ist. Bei Beriicksichtigung der Stetigkeitskorrektur erhalt man fiir X ^ Po{X) und A > 10 P{X
'7.3
<x)^^
x + 0.5-A
7r~
Zufallszahlen und Simulation
Zur Untersuchung komplexer Zufallsvorgange, z.B. bei der Planung von Produktionssystemen oder von Grofiprojekten, spielen Computersimulationen eine wichtige Rolle. Dabei werden am Computer Zufallszahlen x i , . . . ,Xn mit Hilfe spezieller Algorithmen berechnet. Solche Algorithmen nennt man Zufallsgeneratoren.
Computersimulationen Zufallszahlen
Grundlegend ist dabei die Erzeugung von Zufallszahlen xi, X2,..., x^^, deren Werte sich in sehr guter Naherung wie Realisierungen von unabhangigen auf [0,1] gleichverteilten Zufallsvariablen Xi, X 2 , . . . , Xn verhalten. Da die Werte xi, ^ 2 , . . . , x^ tatsachlich jedoch berechnet werden, sind sie nicht echt zufallig. Man spricht deshalb Pseudoauch genauer von Pseudo-Zufallszahlen^ die sich (fast) wie echte verhalten. Fiir die Zufallszahlen zugrundeliegenden numerischen Algorithmen verweisen wir auf die in Abschnitt 7.5 angegeben Spezialliteratur. Mit Hilfe von gleichverteilten Zufallszahlen lassen sich Gleichverteilung Zufallszahlen fiir andere Verteilungen durch geeignete Transformationen erzeugen. Mit Zufallszahlen konnen wir auch innerhalb der Statistik sogenannte MonteCarlo-Methoden einsetzen. Mit gleichverteilten Zufallszahlen konnen wir z.B. Spiele mit dem Gliicksrad am Rechner simulieren. Wenn wir etwa die relative Haufigkeit von Werten berechnen, die im Intervall [0.2,0.6] liegen, und rait der Wahrscheinlichkeit P(0.2 < X < 0.6) = 0.4 vergleichen, dann sollte fiir grofieres n die relative Haufigkeit nach dem Gesetz grofier Zahlen mit hoher Wahrscheinlichkeit bei 0.4 liegen. Auch sollte die empirische Verteilungsfunktion der gezogenen Zahlen xi, X2,..., Xn sich der [0,1]-Gleichverteilung annahern. Wir "spielen" nun Gliicksrad am Computer, indem wir wiederholt auf [0,1] gleichverteilte Zufallszahlen Ziehen. Das Intervall [0,1] wird wie in Abbildung 7.5 in 10 Teilintervalle der Lange 0.1 zerlegt und zu jedem "Spiel" wird festgestellt, in welches Teihntervall die gezogene Zufallszahl fallt. Abbildung 7.5 zeigt links das resultierende Histogramm mit den relativen Haufigkeiten fiir die 10 Teilklassen nach
Monte-CarloMethoden
7. Mehr uber Zufallsvariablen und Verteilungen
322
n = 100 Spielen. Man sieht, dafi die relativen Haufigkeiten zum Teil noch deutlich von dem zu erwartenden Wert 0.10 abweichen. Fiir n = 1000 haben sich diese Haufigkeiten bereits wesentlich besser um den Wert 0.10 stabilisiert. Anders ausgedriickt: Die empirische Verteilung der gezogenen Zahlen approximiert die "wahre" Gleichverteilung besser.
BernoulliVerteilung
Binomialverteilung Exponentialverteilung
Zufallszahlen fiir andere Verteilungen lassen sich aus gleichverteilten Zufallszahlen durch geeignete Transformationen gewinnen. Je nach Verteilung kann dies sehr einfach oder aber auch kompliziert sein. Will man beispielsweise Zufallszahlen x i , . . . , x^ zur Bernoulli-Verteilung 5 ( 1 , TT) erzeugen, kann man folgendermaiJen vorgehen: Zunachst "zieht" man gleichverteilte Zufallszahlen ui^... ^Un.lst Ui 0 folgende Ungleichungen: 2
P{\X-i2\>c) c) = 1 — P{\X — fi] < c). Sie besagt, dafi bei festem c die Wahrscheinlichkeit fiir {fx — c<X c). Da nach Definition von Y immer Y < \X — /j,]"^ gilt, folgt E{Y) < E{X - ^f
= Var{X) = u'^ ,
d.h. die erste Ungleichung. WiJrfeln
Beispiel 7.2
Fiir X — "Augenzahl beim einmaligen Wiirfeln" ist fj, = 3.5 und a'^ = 2.92. Fiir c = 2 gilt nach der Ungleichung von TschebyscheflF P(3.5 - 2 < X 1
2.92
^0.27.
Wegen {1.5 < X < 5.5} = {x G (2,3,4,5}} gilt jedoch P{1.5<X 1 - ^
= 1 - 1 .
Fiir /c = 1 ist die Abschatzung wertlos. Fiir k = 2 und k = 3 ergibt sich P(/i -2a<X
3 2a)>j,
- . Falls X normalverteilt ist, ergeben sich als WahrscheinHchkeiten fiir die entsprechenden Bereiche die Werte 0.9545 {k = 2) und 0.9973 {k = 3), vgl. Abschnitt 6.3. Auch hier, wenn auch nicht in dem Mafie wie im vorangehenden Beispiel, wird der Informationsverlust deutlich, den man erleidet, wenn keine Kenntnis liber die Verteilung benutzt wird. Mit der Ungleichung von Tschebyscheff laiit sich auch das Gesetz der groiSen Zahlen leicht beweisen. Dazu wendet man die Ungleichung auf das arithmetische Mittel Xn an. Wegen E{X = /x), Var{Xn) = cr'^/n erhalt man 2
P(|X„-/i)|l-^. Fiir n —> oo geht G^ITK? gegen null. Daraus folgt die Behauptung. 7.4.4
MaBzahlen fiir Schiefe und Wolbung
Mafizahlen fiir die Schiefe von Verteilungen lassen sich in Analogie zu Kennzahlen fiir empirische Verteilungen definieren. Der p-Quantilskoeffizient nutzt die Beziehung zwischen Median und Quantilen.
2>Quantilskoeffizient der Schiefe
\X\—p
7p
^med) X\—.p
yarned Xp
70.25 heifit Quartilskoeffizient der Schiefe.
^p)
0 < p < 1,
7.5
331
Zusammenfassung und Bemerkungen
Es gilt —1 < 7P < 1 und 7p = 0 fiir symmetrische Verteilungen, 7p > 0 fiir linkssteile Verteilungen, 7p < 0 fiir rechtssteile Verteilungen. Ein weiterer Schiefeparameter ist der Momentenkoeffizient der Schiefe ^m —
E{X - t^f
mit fi = E{X), a'^ = Var{X), Wegen der dritten Potenz wird 7 ^ positiv, wenn die x-Werte iiberwiegen, die grofier als fi sind. Dies ist bei linkssteilen Verteilungen der Fall. Bei symmetrischen Verteilungen heben sich positive und negative Abweichungen gerade auf. Also gilt 7m = 0 fiir symmetrische Verteilungen, 7rn > 0 fiir linkssteile Verteilungen, 7m < 0 fiir rechtssteile Verteilungen . Beispiel 7.3
Rechtssteile Verteilung
Im Beispiel 6.10 (Seite 292) ist XQ.TS = VO.75, xo.25 = VO.25. Daraus folgt 70.25
{VoJE - Vo^) - {Vol - \/o:25) = -0.13. VoTrE-y/o^
Der negative Quartilskoeffizient indiziert also eine rechtssteile Verteilung.
7.5
D
Zusammenfassung und Bemerkungen
Die in Abschnitt 7.1.1 formuHerten Gesetze grofier Zahlen sind von grundlegender Bedeutung fiir die induktive Statistik: Falls man Daten x i , . . . , x ^ so erhebt, dafi sie sich als Ergebnisse von n unabhdngigen Wiederholungen der interessierenden Zufallsvariable X interpretieren lassen, dann konvergieren fiir n —^ 00 empirische Verteilungen und Parameter gegen die Verteilung von X und entsprechende Verteilungsparameter. Fiir Zufallsstichproben, wie sie in den spateren Kapiteln
7. Mehr uber Zufallsvariablen und Verteilungen
332
zur induktiven Statistik zugrunde gelegt werden, ist diese Voraussetzung zumindest naherungsweise erfiillt. Dann lassen sich die Verteilungen bzw. Parameter von X durch die empirischen Analoga sinnvoU schatzen. Ebenso grundlegend ist der zentrale Grenzwertsatz: Er rechtfertigt die Annahme einer - zumindest approximativen - Normalverteilung fiir Zufallsvariablen, die sich additiv aus vielen zufalligen Einfliissen ahnlicher Grofienordnung erklaren lassen, und - noch wichtiger - Normalverteilungsapproximationen fiir eine Reihe von Schatz- und Teststatistiken der induktiven Statistik, Beweise dieser Grenzwertsatze und Verallgemeinerungen finden sich in Lehrbiichern zur Wahrscheinlichkeitstheorie und mathematischen Statistik, z.B. Fisz (1989). Zufallszahlen sind Basisbausteine fiir moderne, computerintensive Simulationstechniken. Sie konnen aber auch (wie in Abschnitt*7.3) zur empirischen Uberpriifung oder zur Gewinnung von theoretischen Resultaten der Statistik dienen. Umfasssende Darstellungen zur Erzeugung von Zufallszahlen finden sich bei Ripley (1987) und Devroye (1986).
7.6
Aufgaben
Aufgabe 7.1
Die Studie zum Gesundheitszustand von Friihgeburten aus Aufgabe 6.S wurde an mehreren Kliniken durchgeftihrt, so dafi insgesamt 500 Kinder teilgenommen haben. Welche Verteilung besitzt die Anzahl der Kinder, die weniger als 980 g wiegen? Wie grofi ist die Wahrscheinlichkeit, dafi genau 175 Kinder der Studie ein Geburtsgewicht kleiner als 980 g aufweisen?
Aufgabe 7.2
In der Situation von Aufgabe 5.10 befragt der Journalist zufallig fiinf der 200 Angestellten eines Kaufhauses. Wie lauten annahernd die gesuchten Wahrscheinlichkeiten, wenn der Anteil der Angestellten, die bereit sind, langer zu arbeiten, wieder gleich 0.2 ist? Welche approximative Verteilung hat die interessierende Zufallsvariable ferner, wenn 40 Personen der ganzen Warenhauskette mit 1000 angestellten Verkauferinnen befragt wiirden?
Aufgabe 7.3
Ihr kleiner Neffe bastelt eine 50-teilige Kette, deren einzelne Glieder im Mittel eine Lange von 2 cm mit einer Standardabweichung von 0.2 cm aufweisen. Welche Verteilung hat die Gesamtlange der Spielzeugkette?
Aufgabe 7.4
Die Nettomiete von Zwei-Zimmer-Wohnungen eines Stadtteils sei annahernd symmetrisch verteilt mit Erwartungswert 570 und Standardabweichung 70. Es wird eine Zufallsstichprobe von 60 solcher Wohnungen gezogen. Geben Sie mit Hilfe der Ungleichung von Tschebyscheff ein um den Erwartungswert symmetrisches Intervall an, in dem das Stichprobenmittel mit 95 % Wahrscheinlichkeit liegt.
7.6
Aufgaben
333
Eine Fertigungslinie stellt Fufiballe her, deren Durchmesser im Mittel normgerecht ist, aber eine Standardabweichung von 0.4 cm aufweisen. Balle die mehr als 0.5 cm von der Norm abweichen gelten als Ausschufi. Wie groB ist der Auschufianteil hochstens?
Aufgabe 7.5
Wie kann man mit Hilfe von normalverteilten Zufallszahlen t-verteilte Zufallszahlen simulieren?
Aufgabe 7.6
Bestimmen Sie den Quartilskoeffizienten der geometrischen Verteilung mit TT = 0.5 sowie der Exponentialverteilung mit dem Parameter A = 0.5.
Aufgabe 7.7
8 Mehrdimensionale Zufallsvariablen
Bei der Durchfiihrung von Zufallsexperimenten interessiert man sich haufig nicht nur fiir ein einziges Merkmal allein, sondern fiir zwei oder mehrere Variablen, die fiir dieselben Untersuchungseinheiten erfafit werden. Es ist dann notwendig, die gemeinsame Verteilung dieser Merkmale zu betrachten. Im folgenden wird zuerst das Konzept mehrdimensionaler Zufallsvariablen eingefiihrt und anschliefiend der zweidimensionale Fall fiir diskrete und stetige Zufallsvariablen eingehender betrachtet. Ein wesentlicher Abschnitt gilt der Kovarianz und der Korrelation als Verteilungsparametern, die den Zusammenhang zwischen je zwei Zufallsvariablen charakterisieren.
8.1
BegrifF mehrdimensionaler Zufallsvariablen
Eindimensionale Zufallsvariablen erhalt man, indem man die Auspragungen von Merkmalen als Ergebnisse eines Zufallsvorgangs auffafit. Mehrdimensionale Zufallsvariablen ergeben sich dadurch, dafi anstatt eines Merkmals, d.h. einer Zufallsvariable, mehrere betrachtet werden. Den Ergebnissen des Zufallsvorgangs werden demnach mindestens zwei reelle Zahlen zugeordnet. Einige typische Beispiele soUen dies veranschaulichen. Mietspiegel
Bei der Erstellung eines Mietspiegels ist man an mehreren Merkmalen wie beipielsweise Nettomiete, Wohnflache und Zimmerzahl interessiert. Jede Wohnung weist fiir diese Merkmale bestimmte Auspragungen auf. Die Merkmale lassen sich als Abbildungen verstehen, die jeder Wohnung die ihr entsprechende Nettomiete, Wohnflache und Zimmerzahl zuordnet. Wahlt man nun eine der Wohnungen rein zufallig aus, so ist die Wahrscheinlichkeit, mit der bestimmte Auspragungen des Tupels (Nettomiete, Wohnflache, Zimmerzahl) resultieren, bestimmt durch die in der jeweihgen Stadt vorhegenden Wohnverhaltnisse. D
Beispiel 8.1
8. Mehrdimensionale Zufallsvariablen
336
Beispiel 8.2
Roulette
Die Felder des Roulettes tragen die Zahlen 0,1 bis 36. Geht man von einem idealen Kessel aus, wird jedes Feld mit der Wahrscheinlichkeit 1/37 auftreten. Setzt man nicht auf Zahlen, sondern auf das Merkmal "Farbe" (also rot oder schwarz) bzw. auf den "Zahlentyp" (gerade oder ungerade) fokussiert sich das Interesse nur auf das Ergebnis dieser beiden Merkmale. Man betrachtet somit die Zufallsvariablen Farbe rote Zahl schwarze Zahl Zero
X
und Typ 1 gerade Zahl 2 ungerade Zahl 3 Zero.
Y=i
Das gesamte Zufallsexperiment reduziert sich damit auf die Betrachtung der Wahrscheinlichkeiten iiiv X = i,Y = j mit ij e {1,2,3}. Die Felder des Roulette sind bestimmt durch das folgende Schema, wobei die schwarzen Felder schattiert und die roten unschattiert sind.
Die Wahrscheinlichkeit fiir das gemeinsame Ereignis X = l , y = 1, also gerade und rot, entspricht demnach dem Auftreten der Zahlen 12, 14, 16, 18, 30, 32, 34, 36, d.h. P{X = 1,Y = 1) = P({12,14,16,18,30,32,34,36}) = 8/37. Die Wahrscheinlichkeiten fiir X = i,Y = j lassen sich fiir jede Auspragung von X und Y analog zu diesem Beispiel berechnen und in einer Tabelle darstellen
Y P{X = i,Y = j)
X
rot schwarz Zero
1 2 3
gerade 1 8/37 10/37 0
ungerade 2 10/37 8/37 0
Zero 3 0 0 1/37 D
8.1
Begriff mehrdimensionaler Zufallsvariablen
337
MeBwiederholungen
Beispiel 8.3
Ein einfaches Experiment wie der Miinzwurf wird dreimal wiederholt. Bezeichne Xk das Merkmal Y _ j I Kopf im fc-ten Wurf ^ ~ \ 0 Zahl im fc-ten Wurf. Eine Sequenz wie {K, K, Z) steht fiir das sukzessive Auftreten von Kopf, Kopf, Zahl beim 1., 2. und 3. Wurf. Fiir die gemeinsamen AuftretenswahrscheinUchkeiten erhalt man beispielsweise P(Xi = 1, X2 = 1, Xs = 1) = P{{{K, K,K))), P{Xi = 1,X2 = 1,^3 = 0) = P{{{K,K,Z)}). Die jeweils rechts stehenden Wahrscheinlichkeiten sind die Wahrscheinhchkeiten des Zufallsexperiments. Links steht die dadurch festgelegte WahrscheinUchkeit fiir das gemeinsame Auftreten bestimmter Auspragungen der einzelnen Zufallsvariablen. D
Jede Komponente von mehrdimensionalen Zufallsvariablen ist eine eindimensionale Zufallsvariable im Sinne der Kapitel 5 und 6. Wahrend bei eindimensionalen Zufallsvariablen jedem Ergebnis eines Zufallsvorgangs genau eine reelle Zahl zugeordnet wird, werden nun einem Ergebnis simultan mehrere reelle Zahlen zugeordnet. Jede Komponente, d.h. jede einzelne Zufallsvariable, entspricht dabei einer Zuordnung. Mehrdimensionale Zufallsvariablen lassen sich somit in Analogic zu Abschnitt*7.4 auch als mehrdimensionale Abbildungen verstehen. Den Zufallsvariablen X i , . . . , Xn liegt die Abbildung X i , X 2 , . . . ,Xri: r i — ^ R'^ U)\ >{Xi{uj),,.,,Xn{u))) zugrunde, die jedem Ergebnis uj genau n Mefiwerte zuordnet. Im Mietspiegelbeispiel entspricht Vt der Menge aller Wohnungen, im Roulette-Beispiel der Menge der Zahlen und im Miinzwurfbeispiel der Menge moglicher Kopf-Wappen-Kombinationen. Der Zufallscharakter der Auspragungen von X i , . . . , Xn ergibt sich aus dem Zufallsexperiment "Ziehen aus Jl". Von zentraler Bedeutung ist die sich daraus ergebende gemeinsame Verteilung der Zufallsvariablen. Fiir die Zufallsvariablen X i , . . . , X^ ist diese bestimmt durch P(XIG5I,...,X,
eBn),
womit die Wahrscheinlichkeit bezeichnet wird, dafi die Zufallsvariable Xi Werte in der Menge Bi annimmt, gleichzeitig X2 Werte in der Menge B2 annimmt, usw. Die Schreibweise Xi G S i , X 2 G B25 • • • , ^ n ^ 5 ^ , bei der Ereignisse durch
8. Mehrdimenslonale Zufallsvariablen
338
Kommata getrennt sind, entspricht wiederum dem logischen "und", d.h. alle Ereignisse treten gemeinsam (Schnittmenge) auf. Unter Betonung des Abbildungscharakters lafit sich das Ereignis {Xi G J5i,... ,Xn G 5^} auch darstellen durch {uj\Xi{uj) e B i , . . . , Xn{c^) G Bn}' Wie sich die gemeinsame Verteilung analog zum Fall einer Variable durch Instrumente wie Verteilungsfunktion und Dichte naher charakterisieren lafit, wird in den nachsten Abschnitten behandelt. Dabei werden wir uns weitgehend auf den Fall zweier Zufallsvariablen X und Y beschranken.
8.2
Zweidimensionale diskrete Zufallsvariablen
Seien X und Y zwei diskrete Zufallsvariablen, wobei X die Werte xi,a:2,... und Y die Werte yi,2/2, • • • annehmen kann. Die gemeinsame Wahrscheinlichkeitsverteilung ist bestimmt durch die Wahrscheinlichkeiten, mit der die Werte (xi^yj)^ i = 1,2,..., j = 1,2,..., angenommen werden.
Gemeinsame Wahrscheinlichkeitsfunktion
Die Wahrscheinlichkeitsfunktion ist bestimmt durch
der bivariaten diskreten Zufallsvariable (X, Y)
/•/^ y) = l ^ ( ^ = x,Y = y) fiir {x,y) G {(a;i,yi), {xi,2/2), • • • } [ 0 sonst. Wir bezeichnen die Wahrscheinlichkeitsfunktion auch als (gemeinsame) diskrete Dichte oder (gemeinsame) Verteilung,
endlich viele Ausprdgungen
In der Wahrscheinlichkeitsfunktion ist die gesamte Information des Zufallsexperiments in bezug auf die Merkmale X, Y enthalten. Besitzen X und Y jeweils nur endlich viele Ausprdgungen^ lafit sich die gemeinsame Wahrscheinlichkeitsfunktion iibersichtlich in Kontingenztafeln zusammenfassen. Besitze X die moglichen Auspragungen x i , . . . , Xj^ und Y die moghchen Auspragungen y i , . . . , ym- Bezeichne Pij = P{X = Xi,Y = yj) = f{xi, yj)
8.2
Zweidimensionale diskrete Zufallsvariablen
339
die Auftretenswahrscheinlichkeit an den Stellen (xi^yj)^ z = l,...,fc, j = 1 , . . . , m, mit positive! Wahrscheinlichkeitsfunktion, erhalt man die Kontingenztafel der Wahrscheinlichkeiten durch yi
•"
Vm
XI
pii
."
Plm
Xk
Pki
'
Kontingenztafel der Wahrscheinlichkeiten
Pkm
Ein einfaches Beispiel fiir eine Kontingenztafel ist die in Beispiel 8.2 wiedergegebene Tabelle fiir die Merkmale "Farbe" und "Zahlentyp". Eine graphische Veranschaulichung lai3t sich durch ein Stabdiagramm in der (rr:-y)-Ebene erreichen.
Stabdiagramm
ABBILDUNG 8.1: Stabdiagramm zu den Zufallsvariablen "Farbe" (1: rot, 2: schwarz, 3: Zero) und "Zahltyp" (1: gerade, 2: ungerade, 3: Zero) beim Roulette (Beispiel 8.2)
Aus der gemeinsamen Verteilung f{x,y) erhalt man problemlos die Verteilung der Zufallsvariable X ohne Beriicksichtigung der Zufallsvariable Y durch einfaches Aufsummieren. Die entsprechende Randverteilung von X ist bestimmt durch
fx{x) = P{X = X) = Y;^P{X = X,Y = yj) =
J2fi^,yj)-
Randverteilung von X
8. Mehrdimensionale Zufallsvariablen
340
Randverteilung von Y
Das Aufsummieren iiber samtliche mogliche Werte von Y bedeutet, dafi nicht beriicksichtigt wird, welchen Wert Y annimmt. Insbesondere gilt fx{^) = 0, wenn X nicht aus der Menge der moglichen Auspragungen xi,X2,... ist. Entsprechend ergibt sich die Randverteilung von Y durch die Wahrscheinlichkeitsfunktion
friy) = P{Y = y) = J2P{X = Xi,Y = y) = Y^f{xi,y)
mit /y(y) = 0, wenn y ^ {yi,y2,
•••}•
Randverteilungen Die Randverteilung von X ist gegeben[ durch fx{x) = P{X =-X)-
>yi). 3
die Randverteilung von Y durch fviv) = P{Y =-y)-
,y)i
Fiir den Fall endlich vieler Auspragungen von X und Y lassen sich die Randverteilungen wieder als Rander der Kontingenztafel darstellen, die die Wahrscheinlichkeiten enthalt. In Analogic zu den Kontingenztafeln fiir relative Haufigkeiten in Abschnitt 3.1 wahlt man dann wieder die "Punktnotation", in der
Pi- = YIP'^ ^ fx{xi)
und
p.j = ^Pij
j=i
die jeweiligen Zeilen- und Spaltensummen bezeichnen.
i=i
= friVj)
8.2
Zweidimensionale diskrete Zufallsvariablen
341
Kontingenztafel der Wahrscheinlichkeiten Die {k X m) Kontingenztafel der Wahrscheinlichkeiten hat die Form yi
•. •
Vm
Xi
Pn
• •.
Pim Pi-
Xk
Pkl
•••
Pfcm
Pfc.
p.l
...
p.m
1
Dabei bezeichnen fiir i = 1 , . . . , fc, j = 1 , . . . , m, p- = P(^X = Xi^Y = yj)
die Wahrscheinlichkeiten fiir (a:^,yj)^
Pi- = S Pij
die Wahrscheinlichkeiten fiir Xi^
k
p.j = ^ Pij
die Wahrscheinlichkeiten fiir yj,
2=1
Der wesentliche Unterschied zwischen dieser Kontingenztafel und den Kontingenztafeln in Abschnitt 3.1 liegt darin, dafi dort Haufigkeiten zusammengefafit sind, d.h. Daten beschrieben werden, wahrend die Eintrage in der hier betrachteten Kontingenztafel die wahren, allerdings in Anwendungen meist unbekannten Wahrscheinlichkeiten sind. Wenn man die gemeinsame Verteilung der Zufallsvariablen X und Y kennt, kann man einfach ableiten, wie eine der Zufallsvariablen verteilt ist, wenn man die Auspragung der anderen kennt. Unter der bedingten Wahrscheinlichkeitsfunktion von X gegeben Y = y (abgekiirzt X\Y = y) versteht man die Verteilung der Zufallsvariable X, wenn bekannt ist, dafi Y = y eingetreten ist. Es gilt also bei festgehaltenem y zu bestimmen, mit welcher Wahrscheinhchkeit die Werte xi,X2,... unter dieser Voraussetzung auftreten. Aus der Definition der bedingten Wahrscheinhchkeit erhalt man fiir P{Y = y)^0 PiX = Xi\Y = y) =
P{X = Xi,Y = y) _
PiY = y)
bedingte Wahrscheinlichkeitsfunktion
f{xi,y)
fy{y) '
wobei benutzt wird, dafi die Schreibweisen X = x oder Y = y Abkiirzungen fiir Ereignisse sind. Daraus ergibt sich unmittelbar die bedingte Wahrscheinlichkeitsfunktion bedingte Wahrscheinlichvon X gegeben Y = y bzw. die diskrete Dichte von X gegeben Y = y durch
fx{x\y) =
fix,y) fviy)
keitsfunktion von X
fiir festen Wert y.
8. Mehrdimensionale Zufallsvariablen
342
Fiir den (uninteressanten) Fall /y(y) = 0 definiert man fxi^lv) = 0 fiir alle x, Fiir festgehaltenes y ist fxi^lv) wieder eine Wahrscheinlichkeitsfunktion fiir die x-Werte, d.h. es gilt J2i fx{^i\y) = 1- Die Wahrscheinlichkeitsfunktion beschreibt das Verhalten der bedingten Zufallsvariable X\Y = y. Man beachte, dafi die bedingte Verteilung von X vollig analog zur bedingten Hdufigkeitsverteilung von X konstruiert ist. In Abschnitt 3.1.2 wird die bedingte Haufigkeitsverteilung fxio.ilbj) = hij/h.j betrachtet. Im Nenner findet sich dabei die Haufigkeit des Auftretens von Y = bj^ entsprechend bezieht man sich nur auf die Population mit Y = bj. In der Entsprechung dazu findet sich in der Definition der bedingten Wahrscheinhchkeitsfunktion im Nenner die Wahrscheinhchkeit P{Y = y), man bezieht sich also auf die Subpopulation, fiir die Y = y gilt. Vollig analog ergibt sich die bedingte Wahrscheinlichkeitsfunktion von Y gegeben bedingte Wahrscheinlich- X = X (kurz: Y\X = x) durch keitsfunktion von Y f{x,y) /y(yk) fx{x)' Dadurch wird das Verhalten der Zufallsvariable Y beschrieben, wenn bekannt ist, dafi X = x aufgetreten ist.
Bedingte Wahrscheinlichkeitsfunktionen
Die bedingte Wahrscheinlichkeitsfunktion Wert y und /y(y) ^ 0) bestimmt durch fx{x\y)
=
von X gegeben Y = y ist (fiir festen
fviy) '
die bedingte Wahrscheinlichkeitsfunktion von Y gegeben X = x ist (fiir festen Wert X und fx{x) ^ 0) bestimmt durch fY(y\x)
f{x,y) fxix) •
Fiir friv) = 0 legt man fx{x\y) = 0 und fiir fx(x) = 0 entsprechend fY{y\x) = 0 fest.
Beispiel 8.4
Roulette
Die Randverteilungen des Roulette-Beispiels mit den Variablen Farbe {X) und Zahlentyp (Y) ergeben sich unmittelbar als die Randsummen in der folgenden Tabelle.
8.2
Zweidimensionale diskrete Zufallsvariablen
343
Y P{X = i,Y = j)
X
rot 1 schwarz 2 Zero 3
gerade 1 8/37 10/37 0 18/37
ungerade 2 10/37 8/37 0 18/37
Zero 3 0 0 1/37 1/37
18/37 18/37 1/37
Tx
1
fy Die Randsummen spiegeln wider, dafi weder eine Farbauspragung noch ein bestimmter Zahlentyp beim Roulette bevorzugt werden. Es gilt jeweils die Wahrscheinlichkeit 18/37 fiir die einzelnen Auspragungen, wobei Zero natiirlich eine Sonderstellung einnimmt. Fiir die bedingte Wahrscheinlichkeitsfunktion der Zufallsvariable "Zahlentyp, gegeben rote Zahl", die vom Typ y | X = 1 ist, ergibt sich P(Y = i\X = 1) = 8/18,
P{Y = 2\X = 1) = 10/18,
P{Y = 3\X = 1) = 0.
Fiir "Zahlentyp, gegeben schwarze Zahl" erhalt man P{Y = 1|X = 2) = 10/18,
P(Y = 2\X = 2) = 8/18,
P{Y = 3\X = 2) = 0.
Daraus ergibt sich fiir logisch denkende Spieler, dafi wenn sie auf rot {X = 1) gesetzt haben, sie im gleichen Spieldurchgang besser auf ungerade (Y = 2) setzen als auf gerade (Y" = 1), wenn Sie die Chance auf eine Verdoppelung des Einsatzes im Auge haben. Zu bemerken ist allerdings, dafi die Gewinnerwartung insgesamt nicht von der Plazierung des zweiten Chips abhangt. Die Zufallsvariablen X und Y sind offensichthch nicht unabhangig im Sinne von Abschnitt 5.2.2. D
Die Verallgemeinerung des Konzeptes der Verteilungsfunktion auf zwei Variablen fiihrt zu einer zweidimensionalen Funktion. Die gemeinsame Verteilungsfunktion von X und Y ist gegeben durch
Fix,y)
= PiX<x,Y
E
^aiXi-J2^iE{Xi) .i=l
= E I J2^UXi
E
z=l
- E{Xi)f
Y,ai{Xi-E{Xi)) ,i=l
+ 5 ^ a i a , ( X , - E{Xi)){Xj
-
E{Xj))
J=l
yja^Var^Xi) + Y^aiajCov i=i
(X^,Xj)
i^^j
= Y^ afVar{Xi) + 2 J]]aiaj Cov {Xi, Xj). i=i
Kj
Dabei wird J2i^j^ ^.h. die Summe iiber alle Werte i und j mit i 7^ j , wegen Cov (Xi, Xj) = Cov (Xj, Xi) ersetzt durch 2 Y^i^j^ d.h. die Summe liber alle Werte i und j fiir die i < j gilt; entsprechend wird jedes Paar Cov (X^, Xj) doppelt gezahlt. Fiir die Varianz der gewichteten Summe sind also nicht nur die Varianzen der einzelnen Variablen von Relevanz, sondern auch der Zusammenhang der Variablen, soweit er in den Kovarianzen erfafit ist. Diese Aussage hat wesentliche Konsequenzen beispielsweise bei der Risikominimierung von Wertpapiermischungen (vgl. Beispiel 8.8). Sind alle Variablen unkorreliert, d.h. gilt p(Xi, Xj) = 0 und damit Cov {Xi, Xj) = 0, erhalt man die einfache Form Var{X) =
Ya^Var{Xi), i=l
die bereits in den Kapiteln 5 und 6 benutzt wurde. In der folgenden Ubersicht ist erganzend die aus diesem Kapitel bekannte Formel fiir den Erwartungswert einer
8. Mehrdimensionale Zufallsvariablen
356
Summe von Zufallsvariablen nochmals wiedergegeben. Im Gegensatz zur Varianz von X ist diese Formel fiir korrelierte und unkorrelierte Zufallsvariablen giiltig.
Erwartungswert und Varianz von Linearkombinationen Die gewichtete Summe X = aiXi
H
h dnXn
der Zufallsvariablen X i , . . . , Xn besitzt den E{X) und die
= aiE{Xi)
Erwartungswert
+ .. • +
anE{Xn)
Varianz Var{X) = a\Var{Xi)
+ •••+
alVar{Xn)
+ 2aia2Cov ( X i , X 2 ) + 2aia3Cov
(Xi,X3) + ...
n
= Y^ a^Var{Xi)
Beispiel 8.8
+ 2^
aiUj Cov {Xi,
Xj).
Portfolio-Optimierung Ein zur Verfiigung stehender Bet rag sei aufgeteilt in zwei Anlageformen. Der Anteil ai wird in eine erste Wertanlage (beispielsweise Aktie A), der Anteil a2 wird in eine zweite Wertanlage (beispielsweise Aktie B) investiert, d.h. ai + a2 = 1. Man betrachtet nun die Rendite dieser Wertpapiermischung, d.h. den prozentualen Gewinn des Portefeuilles wahrend eines festen Zeitraums. Die Gesamtrendite ergibt sich durch X = aiXi +a2X2, wobei Xi,X2 die Renditen der beiden Anlageformen darstellen. Renditen, insbesondere bei Risikoanlagen sind Zufallsvariablen. Die festverzinsliche risikofreie Anlage laBt sich als Spezialfall mit verschwindender Varianz {Var{Xi) = 0) betrachten. Nach den entwickelten Formeln erhalt man fiir die zu erwartende Gesamtrendite E{X) = aiE{Xi)
+ a2E{X2),
also eine gemafi den Anteilen gewichtete Summe der zu erwartenden Einzelrenditen. Ein wichtiger Indikator fiir eine Wertpapiermischung ist das Portefeuillerisiko, unter dem die Varianz der Gesamtrendite verstanden wird. Man erhalt unmittelbar Var{X) = alVar{Xi) + alVar{X2) + 2aia2Cov (Xi,X2).
8.6
Die zweidimensionale Normalverteilung
357
Das Risiko der Gesamtrendite wird demnach nicht nur vom Risiko der Einzelrenditen, sondern auch von der Kovarianz bestimmt. Wegen p= Gov {Xi, X2)/\/Var{Xi)Var{X2) lai3t sich diese Beziehung mit ai = ^/Var{Xi) auch darstellen durch Var{X) = a\a\ + a^a'^ + 2a ia2 per 1(72, wobei die Kovarianz jetzt durch den KorrelationskoefBzienten ersetzt ist. Der Vorteil ist, dafi der Wertebereich von p bekannt ist, da — 1 < /o < 1 gilt. Man sieht daraus, dafi fiir negativ korreUerte Renditen [p < 0) ein Gesamtrisiko resultiert, das kleiner ist als das Gesamtrisiko fiir unkorreUerte Renditen (/? = 0). Zur Veranschaulichung sei der Spezialfall GI= G2 = (J betrachtet. Man erhalt durch Einsetzen Var{X) = {a\ + a | + 2aia2p)(j'^. Es ist unmittelbar ersichthch, dafi fiir den Extremfall positiver Korrelation {p=l) ziehung
die Be-
Var{X) = (ai + as) V ^ = a^ gilt. Fiir den Extremfall negativer Korrelation {p= —1) erhalt man die Beziehung Far(X)=:(ai-a2)V. Eine gleichmafiige Mischung ai = a2 = 0.5 fiihrt dann zum risikolosen Portefeuille mit Var{X) = 0. Prinzipiell gilt, dafi negativ korreUerte Renditen das Risiko vermindern. D
8.6
Die zweidimensionale Normalverteilung
Die eindimensionale Normalverteilung wurde als eines der wichtigsten stetigen Verteilungsmodelle bereits behandelt. Ihre Dichte ist von der Form
wobei \i = E{X) der Erwartungswert und cr^ = Var[X) die Varianz der normalverteilten Zufallsvariable X bezeichnet. Erwartungswert /i und Varianz cr^ sind die beiden charakterisierenden Parameter. Betrachtet man zwei stetige Zufallsvariablen X und y , beispielsweise Haushaltseinkommen und Haushaltsausgaben, dann sind fiir die gemeinsame Verteilung mehr
8. Mehrdimensionale Zufallsvariablen
358 Parameter von Interesse. Insbesondere sind das Ml =E{X),
der Erwartungswert von X,
f^2=E{Y),
der Erwartungswert von y ,
a\
die Varianz von X,
=Var{X),
4 =Var{Y), p =Cov (X, Y)/(Jia2^
die Varianz von Y und die Korrelation zwischen X und Y.
In der Erweiterung der Normalverteilung auf zweidimensionale Zufallsvariablen, die im folgenden gegeben ist, tret en alle diese Parameter auf. Zweidimensionale Normalverteilung
Die Zufallsvariablen X und Y heifien gemeinsam normalverteilt^ wenn die Dichte bestimmt ist durch
f{x,y)
1 27rcricr2\/l - p^
In den Abbildungen 8.3 bis 8.6 sind Dichten zweidimensionaler Normalverteilungen dargestellt. 0.2-1
ABBILDUNG 8.3: Zweidimensionale Normalverteilungsdichte fiir unkorrelierte Merkmale, p = 0, mit /^i = /X2 = 0, ai = (J2 = 1.0
Die Erwartungswerte sind in alien Abbildungen durch /i^ = /i2 = 0 festgelegt. Da alle Normalverteilungsdichten eingipflig sind mit dem Gipfel an der Stelle (/ii,/i2), sind samtliche Abbildungen um den NuUpunkt (0,0) zentriert. Die Dichten in den Abbildungen 8.3 und 8.4 zeigen mit p = 0 unkorrelierte Variablen. Die beiden Abbildungen unterscheiden sich nur in der Standardabweichung von X. In Abbildung 8.3
8.6
Die zweidimensionale Normalverteilung
359
ABBILDUNG 8.4: Zweidimensionale Normalverteilungsdichte fur unkorrelierte Merkmale, p = 0, mit /^i = /i2 = 0, ai = 1.5, (72 = 1-0
ABBILDUNG 8.5: Zweidimensionale Normalverteilungsdichte, p = 0.8, /^i =/x2 •
0, ai=a2 = 1.0
wird ai = a2 = 1, in Abbildung 8.4 wird ai = 1.5,(72 = 1.0 zugrunde gelegt. Die Abbildungen 8.5 und 8.6 zeigen mit p = 0.8 einmal den Fall starker positiver Korrelation und mit p = —0.8 den Fall stark negativer Korrelation. In diesen beiden Abbildungen wurde ai=a2 = l gewahlt. Die Varianzen af^ a^ bestimmen, wie stark die Verteilung in die x-^ bzw. y-Richtung auseinandergezogen ist. Dies ist ersichtlich aus den Abbildungen 8.3 und 8.4. In Abbildung 8.4 ist wegen ai = 1.5 > (72 = 1 die Dichte in Richtung der x-Achse starker auseinandergezogen. Da das von den Dichten umschlossene Volumen eins betragt, ist der Gipfel entsprechend niedriger. Die Korrelation p legt fest, wie der "Bergriicken" in der (x-y)-Ebene ausgerichtet ist und bestimmt (fiir feste Werte cTi^cr^)^ wie stark der Bergriicken in die Breite gezogen ist. Fiir \p\ in der Nahe von 1 ist der Bergriicken schmaler, fiir \p\ nahe null ist der Bergriicken breiter. Fiir die positive Korrelation in Abbildung 8.5 ist der Bergriicken dem gleichsinnigen Zusammenhang der beiden Variablen entsprechend an der Winkelhalbierenden des ersten Quadrant en ausgerichtet. Die Abbildung 8.6 zeigt, wie bei negativer Korrelation, dem gegensinnigen Zusammenhang entsprechend, groi5e Auspragungen der ersten Variable tendenziell mit kleinen Auspragungen der zweiten
8. Mehrdimensionale Zufallsvariablen
360
ABBILDUNG 8.6: Zweidimensionale Normalverteilungsdichte, p = —0.8, fii = /i2 = 0 , CTi = (72 = 1.0
Variable einhergehen. Prinzipiell wird |p| < 1 vorausgesetzt, was man unmittelbar daran sieht, dafi 1 — p^ in der gemeinsamen Dichte im Nenner erscheint. Fiir p = l ist die Verteilung entartet, d.h. geht die Korrelation von X und Y gegen eins, so wird der Bergriicken beliebig schmal. Man sieht aus der gemeinsamen Dichtefunktion, dafi fiir p = 0 gilt
fi^^y) =
\/27r(7i
exp
d.h. die Dichte lafit sich als Produkt der Randdichten fx{^) und /y(y) von X bzw. Y darstellen. Die Produktdarstellung f{x^y) = fx{x)fY{y) ist aquivalent zur Aussage, dafi X und Y unabhangig sind. Fiir gemeinsam normalverteilte Zufallsgrofien X und Y gilt demnach, dafi unkorrelierte Zufallsgrofien {p = 0) auch unabhangig sind.
Unabhangigkeit und Korrelation bei normalverteilten Zufallsvariablen
Fiir gemeinsam normalverteilte Zufallsvariablen X und Y gilt: X und Y sind unabhangig genau dann, wenn sie unkorreliert sind.
Fiir den Spezialfall unkorrelierter Grofien lafit sich die gemeinsame Dichte demnach als Produkt der Randdichten darstellen. Auch fiir korrelierte gemeinsam normalverteilte Zufallsgrofien gilt, dafi die Randverteilungen normalverteilt sind, d.h. man erhalt
8.7
Zusammenfassung und Bemerkungen
8.7
361
Zusammenfassung und Bemerkungen
Die Untersuchung der gemeinsamen Verteilung von Zufallsvariablen ist ein Grundstein zum Verstandnis der Analyse des Zusammenhangs von Variablen. Zentrale Konzepte wie Kovarianz, Korrelation und Unabhangigkeit ermoglichen es, diesen Zusammenhang zu quantifizieren. Kovarianz und Korrelation sind theoretische Zusammenhangsmafie, erfafit wird dadurch der durch ein Zufallsexperiment bedingte zugrundeliegende Zusammenhang, der selbst nicht direkt beobachtbar ist. Sie bilden den theoretischen Hintergrund, auf dem erklarbar ist, dafi zweidimensionale Beobachtungen, also Realisationen von Zufallsexperimenten eine gemeinsame - gegensinnige oder gleichsinnige - Tendenz aufweisen. Der Begriff der Unabhangigkeit von Zufallsvariablen wird auch in den folgenden Kapiteln eine wichtige RoUe spielen. Wenn Zufallsexperimente wiederholt unter gleichen Bedingungen und unabhangig voneinander durchgefiihrt werden, erhalt man unabhangige Zufallsvariablen X i , . . . , Xn, die - als Stichprobenvariablen bezeichnet - die Grundlage fiir Riickschlusse auf die Grundgesamtheit darstellen. Dabei erweisen sich die in diesem Kapitel behandelten Regeln zur Bildung von Erwartungswert und Varianz von Summen von Zufallsvariablen als wichtig. Ausfiihrlichere Darstellungen mehrdimensionaler Zufallsvariablen und die sich ergebenden Probleme, die Zusammenhangsstruktur von mehr als zwei Zufallsvariablen zu erfassen, finden sich in der Literatur zur multivariaten Statistik, z.B. in Fahrmeir, Hamerle und Tutz (1996).
8.8
Aufgaben
Die gemeinsame Verteilung von X und Y sei durch die folgende Kontingenztafel der Auftretenswahrscheinlichkeiten bestimmt: u. Y X
(a) Man (b) Man (c) Man (d) Man
bestimme bestimme bestimme bestimme
1 2
1 0.25 0.10
2 0.15 0.15
Aufgabe 8.1
3 0.10 0.25
den Erwartungswert und die Varianz von X bzw. Y. die bedingten Verteilungen von X\Y = y und Y\X = x. die Kovarianz und die Korrelation von X und Y. die Varianz von X -\-Y.
Die gemeinsame Wahrscheinlichkeitsfunktion von X und Y sei bestimmt durch f{^^y) sonst.
Aufgabe 8.2
362
8. Mehrdimensionale Zufallsvariablen
(a) Man bestimme die Randverteilung von X bzw. Y. (b)Man bestimme die bedingten Verteilungen von X\Y = y und Y\X = x und vergleiche diese mit den Randverteilungen. (c) Man bestimme die Kovarianz von X und Y. Aufgabe 8.3
Der Tiirsteher einer Nobeldiskothek entscheidet sequentiell. Der erste Besucher wird mit der Wahrscheinlichkeit 0.5 eingelassen, der zweite mit 0.6 und der dritte mit 0.8. Man betrachte die Zufallsvariable X: "Anzahl der eingelassenen Besucher unter den ersten beiden Besuchern" und Y: "Anzahl der eingelassenen Besucher unter den letzten beiden Besuchern". (a) Man bestimme die gemeinsame Wahrscheinlichkeitsfunktion von X und Y. (b) Man untersuche, ob X und Y unabhangig sind.
Aufgabe 8.4
Ein Anleger verfiigt zu Jahresbeginn iiber 200000 € . 150000 € legt er bei einer Bank an, die ihm eine zufallige Jahresrendite i?i garantiert, welche gleichverteilt zwischen 6 % und 8 % ist. Mit den restlichen 50000 € spekuliert er an der Borse, wobei er von einer A^(8, 4)-verteilten Jahresrendite R2 (in %) ausgeht. Der Anleger geht davon aus, dafi die Renditen Ri und R2 unabhangig verteilt sind. (a) Man bestimme den Erwartungswert und die Varianz von Ri und i?2(b) Man berechne die Wahrscheinlichkeit en, dafi der Anleger an der Borse eine Rendite von 8%, von mindestens 9% bzw. zwischen 6% und 10% erzielt. (c) Wie grofi ist die Wahrscheinlichkeit, dafi der Anleger bei der Bank eine Rendite zwischen 6.5% und 7.5 % erzielt? (d) Man stelle das Jahresendvermogen V als Funktion der Renditen Ri und R2 dar und berechne Erwartungswert und Varianz von V. (e) Angenommen, die beiden Renditen sind nicht unabhangig sondern korrelieren mit p = —0.5. Wie wiirden Sie die 200000€ aufteilen, um eine minimale Varianz der Gesamtrendite zu erzielen. Wie andert sich die zu erwartende Rendite?
Parameterschatzung
Die Ziehung von Stichproben, die ein moglichst getreues Abbild der Grundgesamtheit wiedergeben sollen, erfolgt nicht zum Selbstzweck. Vielmehr besteht das Ziel einer Stichprobenziehung darin, Informationen iiber das Verhalten eines Merkmals in der Grundgesamtheit zu gewinnen. Genau dieser Aspekt ist entscheidend: Man ist nicht eigentlich daran interessiert zu erfahren, wie sich das Merkmal in der Stichprobe verhalt, sondern diese Information wird benutzt, um daraus auf das Verhalten in der Grundgesamtheit zu schhefien. Um diesen Schlufi ziehen zu konnen, benotigt man ein Modell, das die Verteilung des interessierenden Merkmals in der Grundgesamtheit beschreibt. Damit konnen Ergebnisse, die man fiir eine Stichprobe - sofern deren Ziehung bestimmten Kriterien geniigt - ermittelt hat, auf die entsprechende Grundgesamtheit iibertragen werden. Diese Verallgemeinerung ist natiirlich nicht mit hundertprozentiger Prazision moglich, da zum einen das Modell, in dem man sich bewegt eben nur ein Modell ist und zum anderen die Stichprobe nicht absolut den zuvor festgelegten Kriterien geniigt. AUerdings ist es moglich, wie wir in den folgenden Kapiteln sehen werden, unter Vorgabe einer gewissen Prazision solche Schliisse vorzunehmen. Dabei unterscheidet man grob Schatz- und Testverfahren. Interessiert man sich beispielsweise fiir den Anteil von Frauen an deutschen HochschuUehrern, so kann man eine Stichprobe aus alien deutschen Hochschullehrern Ziehen. In dieser Stichprobe zahlt man, wieviele HochschuUehrer weiblich und wieviele mannlich sind. Der Anteil der weiblichen HochschuUehrer in dieser Stichprobe sei 0.12. Dieser Wert gibt i.a. nicht den Anteil der weiblichen HochschuUehrer in der Grundgesamtheit aller HochschuUehrer wieder. Ziehen wir namlich eine zweite Stichprobe, so kdnnten wir z.B. einen Anteilswert von 0.09 erhalten. Der beobachtete Anteilswert hangt also ab von der gezogenen Stichprobe, die wiederum eine zufallige Auswahl ist. Damit ist auch der berechnete Anteilswert die Auspragung einer Zufallsvariable, die den Anteil der weiblichen HochschuUehrer beschreibt. Was hat man dann iiberhaupt von diesem berechneten Wert? Der in der Stichprobe beobachtete Anteilswert liefert einen Schdtzer fiir den wahren Anteil in der Grundgesamtheit. Wie gut er den wahren Anteil schatzt, also wie nahe er an den wah-
Schdtzer
364
9.
Parameterschatzung
ren Wert heranreicht und wie stabil er ist, d.h. wie stark er von Stichprobe zu Stichprobe schwankt, wird unter anderem vom Stichprobenumfang, aber auch von der Qualitat des Schatzverfahrens und von der Qualitat der Stichprobe beeinflufit. Schatzverfahren und deren Giite sind Thema dieses Kapitels.
9.1
Punktschatzung
Schatzverfahren zielen darauf ab, aus einer Zufallsstichprobe auf die Grundgesamtheit zuriickzuschHefien. Dabei konzentriert man sich auf bestimmte Aspekte des in einer Grundgesamtheit untersuchten Merkmals. Ob man die InteUigenz in einer Studentenpopulation untersucht oder die von einer Ma^chine produzierte Schraubenlange, meist sind bestimmte Aspekte (Parameter) der Verteilung von primarem Interesse, die beispielsweise Auskunft iiber Lage oder Streuung des Merkmals geben. Engeres Ziel der Punktschatzung ist es, einen moghchst genauen Naherungswert fiir einen derartigen unbekannten Grundgesamtheitsparameter anzugeben. Parameter treten dabei insbesondere in zwei Formen auf, namhch als Kennwerte einer heliehigen, unbekannten Verteilung oder als spezifische Parameter eines angenommenen Verteilungsmodells. Beispiele fiir den ersten unspezifischen Typ von Parametern sind • Erwartungswert und Varianz einer Zufallsvariable • Median oder p-Quantil einer Zufallsvariable • Korrelation zwischen zwei Zufallsvariablen. Haufig lafit sich der Typ einer Verteilung bei guter Anpassung an den realen Sachverhalt annehmen. Beispielsweise sind Intelligenzquotienten so konstruiert, dafi sie einer Normalverteilung folgen, Zahlvorgange wie die Anzahl bestimmter Schadensmeldungen innerhalb eines Jahres lassen sich haufig durch die Poisson-Verteilung approximieren. Modelliert man Merkmale durch die Annahme des Verteilungstyps, reduziert sich das Schatzproblem darauf, dafi nur noch die Parameter dieser Verteilung zu bestimmen sind. Beispiele dafiir sind • der Parameter A, wenn die Anzahl der Schadensmeldungen durch die PoissonVerteilung Po{X) modelliert wird, • die Parameter /i, cr^, wenn von einer Normalverteilung N{fi, cr^) der produzierten Schraubenlangen auszugehen ist, • der Parameter A, wenn fiir die Wartezeit eine Exponentialverteilung exp(A) angenommen wird.
9.1
365
Punktschatzung
Wie man aus diesen Beispielen sieht, sind gelegentlich "unspezifische" Parameter wie Erwartungswert und die Parameter eines Verteilungstyps identisch, z.B. gilt fiir die Normalverteilung E{X) = fi. Der Parameter A der Exponentialverteilung hingegen unterscheidet sich vom Erwartungswert der zugehorigen Zufalls variable. Ausgangspunkt der Punktschatzung sind n Stichprobenziehungen oder Zufallsexperimente, die durch die Zufallsvariablen Xi^...^Xn reprasentiert werden. Xi^...^Xn werden auch als Stichprobenvariablen bezeichnet. Haufig fordert man von Stichprobenvariablen, dafi sie unabhdngige Wiederholungen von X sind. Durch diese knappe Formulierung wird ausgedriickt, dafi
• die den Zufallsvariablen Xi, gig sind,
Stichprobenvariablen unabhdngige Wiederholungen
,, Xn zugrundeliegenden Experimente unabhan-
• jedesmal dasselbe Zufallsexperiment (enthalten in "Wiederholung") durchgefiihrt wird.
Aus den Realisierungen x i , . . . , a:^ dieser Zufallsvariablen soil auf einen Parameter 6 geschlossen werden. Der Parameter 6 steht hier stellvertretend fiir einen festgelegten Kennwert: Das kann der Erwartungswert sein aber ebenso die Varianz oder der Parameter der Poisson-Verteilung. Eine Punktschatzung fiir 9 ist eine Funktion der Realisierungen x i , . . . , x^i der Form t =
g{xi,...,Xn).
Beispielsweise liefert die Funktion g{xi^..., Xn) = Yli ^i/'^ einen Schatzwert fiir den zugrundeliegenden Erwartungswert 6 = E{X). Der Zufallscharakter des Verfahrens, der sich dadurch ausdriickt, dafi jedesmal, wenn diese n Stichprobenziehungen durchgefiihrt werden, ein anderer Schatzwert resultiert, wird deutlich in der Darstellung der Schatzfunktion durch T =
g{Xi,,.,,Xn)-
T ist als Funktion von Zufallsvariablen selbst eine Zufalls variable. So ist das arithmetische Mittel X = g{Xi^..., Xn) = Yli ^i/'^ ^i^^ Zufallsvariable, deren Variabilitat von den Zufallsvariablen X i , . . . , Xn bestimmt wird. Eine derartige Schatzfunktion bzw. Stichprobenfunktion heifit auch Schdtzstatistik oder einfach nur Statistik.
Punktschatzung
366
9. Parameterschatzung
Schatzfunktion, Schatzstatistik
Eine Schdtzfunktion oder Schatzstatistik fiir den Grundgesamtheitsparameter 0 ist eine Punktion T =
g{Xi,,.,,Xn)
der Stichprobenvariablen X i , . . . , Xn^ Der aus den Realisationen xi^.,, ^Xn resultierende numerische Wert g{xi,,,,,Xn)
ist der zugehorige Schdtzwert In der deskriptiven Statistik wurden Lage- und Streuungsparameter der Stichprobe bestimmt. Hinter diesen deskriptiven Parametern stehen Schatzfunktionen, deren Argumente Zufallsvariablen sind. Die resultierenden Realisationen dieser Schatzfunktionen entsprechen dann direkt den deskriptiven Lage- bzw. Streuungsparametern. So lafit sich X = g{Xi^..., Xn) = ^ Y17=i -^i ^^ Schatzfunktion fiir den Erwartungswert /i = E{X) verstehen, x ist die zugehorige Reahsation oder das arithmetische Mittel der Stichprobe. Weitere Schatzfunktionen sind: X = g{Xi^..., Xn) = ~ Z)r=i -^i^ ^i ^ {0? 1}? ^^^ ^i^ Auftretenswahrscheinhchkeit bzw. den Anteilswert TT = P{X = 1), 52 = g{Xi, ,,,^Xn)
= ^J2{Xi-
— 52 = g{Xu •".Xn)
^ = ^EiXi-
9.2
^)^ fur die Varianz a^ = Var{X), _ X)2 fiir die Varianz a^ = Var{X).
Eigenschaften von Schatzstatistiken
Eine Schatzstatistik wie X fiir den Erwartungswert ist zwar intuitiv einleuchtend, daraus folgt jedoch nicht, daii sie ein gutes oder das "beste" Schatzverfahren darstellt. Insbesondere in komplexeren Schatzproblemen ist es wichtig, klare Kriterien fiir die Giite eines Schatzverfahrens zur Verfiigung zu haben, d.h. die entsprechenden Eigenschaften der Schatzstatistik zu kennen.
9.2
367
Eigenschaften von Schatzstatistiken
9.2.1
Erwartungstreue
Man erwartet von einer Schatzstatistik, dafi sie tendenziell den richtigen Wert liefert, d.h. weder systematisch iiber- noch unterschatzt. Diese Eigenschaft wird als Erwartungstreue bezeichnet und wird an einem einfachen Beispiel illustriert.
Beispiel 9.1
Dichotome Grundgesamtheit
Man betrachte n unabhangige Wiederholungen der Zufallsvariable
X
1
CDU-Wahler
0
sonstige Partei.
Aus den resultierenden Zufallsvariablen X i , . . . , Xn bilde man die relative Haufigkeit X = YliXi/n. Nimmt man nun an, in der Population seien 40% CDU-Wahler (Wahrscheinlichkeit TT = P{X = 1) = 0.4), dann lafit sich der Erwartungswert von X berechnen. Da unter dieser Voraussetzung E{Xi) = 0.4 gilt, folgt unmittelbar _
^ '^
E{X) = -Y^iXi) n^
1
= -n 0.4 = 0.4. n
Nimmt man hingegen an, dafi in der Population 35% CDU-Wahler sind, dann folgt mit E{Xi) = 0.35 unmittelbar E{X) = 0.35. Allgemeiner heifit das, unabhangig davon, welches TT tatsachlich zugrunde liegt, wenn man den Erwartungswert von X bildet, ergibt sich E{X) =7r. Flir die Berechnung des Erwartungswertes wird dabei vorausgesetzt, dafi ein bestimmtes, wenn auch unbekanntes n in der Grundgesamtheit vorliegt. Essentiell ist dabei, dafi dieses TT nicht bekannt ist, der Erwartungswert ist berechenbar allein aus der Annahme, dafi TT der wahre Parameter ist. Um auszudriicken, dafi der Erwartungswert unter dieser Annahme gebildet wird, nimmt man gelegentlich und genauer den Wert n als Index des Erwartungswertes hinzu, so dafi ET^{X) = TT resultiert. D
Allgemein heifit eine Schatzstatistik T •• : g{Xi^..., tungstreu oder unverzerrt, wenn gilt
Xn)
fiir den Parameter
6 erwar-
Ee{T) = e. Bestimmt man also den Erwartungswert von T unter der Voraussetzung, dafi der unbekannte Parameter 9 zugrunde liegt, ergibt sich 6 als Erwartungswert. Man kann auf diese Art ohne Kenntnis der tatsachlichen Grofie des Parameters 6 untersuchen, ob der Erwartungswert die richtige Tendenz besitzt. Eine erwartungstreue Schatzstatistik adaptiert sich automatisch an den tatsachlich in der Grundgesamtheit vorliegenden Sachverhalt.
Erwartungstreue
9. Parameterschatzung
368
Eine erwartungstreue Schatzstatistik fiir den Erwartungswert fi = E{X) Stichprobenmittel X = J2i ^i/'^^
^
ist das
^ ^ gil^
n ^-^
n
Schatzt man damit beispielsweise den zu erwartenden Intelligenzquotienten einer Studentenpopulation, erhalt man E{X) = 110, wenn der tatsachliche Wert 110 betragt, aber 105, wenn der tatsachliche Wert 105 betragt. Ein Extrembeispiel einer nicht erwartungstreuen Schatzstatistik fiir /i ware r = 110, d.h. T nimmt unabhangig von X i , . . . , X n immer den Wert 110 an. Entsprechend gilt E{T) = 110 und die Schatzstatistik ist nur dann unverzerrt, wenn tatsachlich /x = 110 gilt, fiir alle anderen Werte ist sie verzerrt. Verzerrung, Bias
Systematische Uber- oder Unterschatzung einer Schatzstatistik wird erfafit in der Verzerrung, auch Bias genannt, die bestimmt ist durch BiaseiT)
Beispiel 9.2
=
Ee{T)-e.
Erwartungstreue Schatzstatistiken In den folgenden Beispielen wird von unabhangigen Wiederholungen ausgegangen. 1. Es laCt sich zeigen, dafi die Stichprobenvarianz
^' = ^it(^^'^)' eine erwartungstreue Schatzstatistik fiir die Varianz cr^ = Var{X) ist. Es gilt £'^2(5^) = a^. Hier findet auch die Normierung durch l / ( n — 1) ihren tieferen Grund. Eben diese Normierung liefert eine erwartungstreue Schatzstatistik fiir die Varianz. Die im ersten Schritt "natiirlicher" scheinende Normierung durch 1/n liefert hingegen eine verzerrte Schatzstatistik (siehe 2.). 2. Fiir die empirische Varianz bzw. mittlere quadratische Abweichung 52 = i ^{Xi ri .
-
Xf
gilt, sofern die Varianz endlich ist, £^2(5^) = ^^cr^. 5^ ist somit nicht erwartungstreu fiir cr^. Die Verzerrung Bias^2{S'^) = E^2{S'^) - a'^
-—(J
n
zeigt, dafi 5^ die Varianz tendenziell unterschatzt. Allerdings verschwindet die Verzerrung fiir wachsenden Stichprobenumfang n.
9.2
369
Eigenschaften von Schatzstatistiken
3. Zwar ist 5^ eine erwartungstreue Schatzstatistik fiir cr^, die Wurzel daraus, also S ist jedoch i.a. nicht erwartungstreu fiir a. S unterschatzt tendenziell die Standardabweichung. 4. Fiir den Anteilswert n = P{X = 1) einer dichotomen Grundgesamtheit mit X G {1,0}, ist die relative Haufigkeit n. ^-^
eine erwartungstreue Schatzstatistik.
D
Eine abgeschwachte Forderung an die Schatzstatistik ist die asymptotische Erwartungstreue. Eine Schatzstatistik heifit asymptotisch erwartungstreu, wenn gilt lim EeiT) = 6, d.h. mit wachsendem Stichprobenumfang verschwindet die Verzerrung von T. Fiir die mittlere quadratische Abweichung gilt 2^ _
EAS')
^-1^2
n
S'^ ist daher nicht erwartungstreu. Wegen lim ^ ^ = 1 ist aber AS^ asymptotisch n—>oo ""
erwartungstreu fiir a'^, Asymptotische Erwartungstreue bezieht sich auf grofie Stichprobenumfange. Fiir kleines n kann eine asymptotische erwartungstreue Schatzstatistik erheblich verzerrte Schatzungen liefern. Fiir n = 2 liefert beispielsweise die mittlere quadratische Abweichung mit E^2{S'^) = a^/2 eine erhebhche Unterschatzung von a'^.
Erwartungstreue und Verzerrung (Bias) Eine Schatzstatistik T = g{Xi,...,
Xn) heifit erwartungstreu fiir 9, wenn gilt Ee{T) = 6,
Sie heifit asymptotisch erwartungstreu fiir 6, wenn gilt Um EeiT) = 9. n—^oo
Der Bias ist bestimmt durch Biase{T) =
Ee{T)-6.
asymptotische Erwartungstreue
9. Parameterschatzung
370
Standardfehler Beispiel 9.3
Wir werden im folgenden beim Erwartungswert auf den Index 6 verzichten, wobei weiterhin Erwartungswerte, aber auch Varianzen und Wahrscheinlichkeiten unter der Annahme der unbekannten zugrundeliegenden Verteilung bestimmt werden. Eine Schatzstatistik liefert zu den Realisationen a^i,..., x^ einen Schatzwert, der aber i.a. nicht mit dem wahren Wert 6 identisch ist. Die Genauigkeit der Schatzung ergibt sich nicht aus dem Schatzwert selbst. Fiir erwartungstreue Schatzstatistiken, die also zumindest die richtige Tendenz aufweisen, laiit sich die Genauigkeit des Schdtzverfahrens an der Varianz der Schatzstatistik festmachen. Die Wurzel aus dieser Varianz, also die Standardabweichung der Schatzstatistik wird als Standardfehler bezeichnet. Da sie i.a. nicht bekannt ist, mu6 sie selbst geschatzt werden. Arithmetisches M i t t e l
Die Schatzfunktion X = ^ ^ Xi/n besitzt wegen Var{X) = a'^/n den Standardfehler ax = ajyjn = y/Var{X)/n. Eine Schatzung des Standardfehlers von X liefert ax = yfn
\fn
D
Standardfehler Der Standardfehler einer Sch^itzstatistik ist bestimmt durch die Standardabweichung der Schatzstatistik --^Varg{Xu..
9.2.2
mittlere quadratische Abweichung mean squared error
• ^Xn)'
Erwartete mittlere quadratische Abweichung und Konsistenz
Wie die asymptotische Erwartungstreue ist die Konsistenz eine Eigenschaft, die das Verhalten bei grofien Stichprobenumfangen refiektiert. Wahrend bei der Erwartungstreue nur das Verhalten des Erwartungswerts, also die zu erwartende mittlere Tendenz der Schatzstatistik eine Rolle spielt, wird bei der Konsistenz die Varianz der Schatzung mit einbezogen. Dazu betrachtet man als ein generelles Mafi der Schatzgiite die zu erwartende mittlere quadratische Abweichung^ kurz MSE fiir mean squared error^ die gegeben ist durch
E{[T-ef).
9.2
371
Eigenschaften von Schatzstatistiken
Die mittlere quadratische Abweichung gibt nach Definition wieder, welche Abweichung zwischen Schatzfunktion T und wahrem Wert 9 fiir die Schatzfunktion T zu erwarten ist. Sie lafit sich durch Erganzen und Ausmultiplizieren einfach umformen zu
E{[T-ef) = E{[T - E{T) + E{T) - 6]'^) = E{[T - E(T)]'^) + 2E([T - E(T)][E{T) - 9]) + E{[E{T) = E{[T - E{T)]^) + [E{T) - 9]^ = Var{T) + Bias
9f)
(Tf,
Die zu erwartende quadratische Abweichung lafit sich somit darstellen als Summe aus der Varianz von T und dem quadrierten Bias, d.h. die Minimierung der zu erwartenden quadratischen Abweichung stellt einen Kompromifi dar, zwischen Dispersion der Schatzstatistik und Verzerrtheit. Aus dieser Darstellung der zu erwartenden kleinsten quadratischen Abweichung wird deuthch, dafi die Varianz der Schatzstatistik bzw. deren Wurzel als Kriterium fiir die Giite der Schatzung nur Sinn macht, wenn die Verzerrung mitberiicksichtigt wird. Der Standardfehler als Vergleichsmafi fiir die Giite ist daher auf erwartungstreue Statistiken beschrankt, d.h. wenn Bias (T) = 0 gilt.
Erwartete mittlere quadratische Abweichung ( M S E )
Die erwartete mittlere quadratische Abweichung (mean squared error) ist bestimmt durch
MSE =
E{[T-9f)
und lafit sich ausdriicken in der Form MSE = Var{T) + Bias
{Tf,
Asymptotische Erwartungstreue beinhaltet, dafi die Verzerrung fiir wachsenden Stichprobenumfang verschwindet. Geht gleichzeitig auch die Varianz gegen null, spricht man von Konsistenz^ genauer von Konsistenz im quadratischen Mittel. Wegen der Zerlegung der mittleren quadratischen Abweichung in einen Varianz- und einen Verzerrungsanteil verschwinden mit wachsendem Stichprobenumfang sowohl Verzerrung als auch Varianz, wenn die mittlere quadratische Abweichung gegen null konvergiert.
Konsistenz
9. Parameterschatzung
372
Konsistenz (im quadratischen Mittel) oder MSE-Konsistenz
Eine Schatzstatistik heifit konsistent im quadratischen Mittel^ wenn gilt MSE
asymptotische Eigenschaft
schwache Konsistenz
""-^^^ 0.
Im Gegensatz zur Erwartungstreue, die fiir endlichen Stichprobenumfang definiert wild, ist Konsistenz eine asymptotische Eigenschaft^ die das Verhalten fiir gro&e Stichprobenumfange wiedergibt. Eine konsistente Schatzstatistik kann fiir endlichen Stichprobenumfang eine erhebhche Verzerrung und groi3e Varianz besitzen. Haufig findet man eine alternative Definition der Konsistenz, die auch als schwache Konsistenz bezeichnet wird. Eine Schatzstatistik heiiSt schwach konsistent, wenn die Wahrscheinlichkeit, dafi die Schatzfunktion Werte in einem beliebig kleinen Intervall um den wahren Parameterwert annimmt, mit wachsendem Stichprobenumfang gegen eins wachst. Formal fiihrt dies zur folgenden Definition. Schwache Konsistenz
Die Schatzstatistik T = g{Xi^..., Xn) heiQt schwach konsistent, wenn zu beliebigem s > 0 gilt lim P ( | r - ^ | < e ) = l bzw.
lim
P{\T-e\>e)^0.
Die Definition besagt somit, daii egal wie klein das Intervall um den wahren Wert gewahlt wird, die Wahrscheinlichkeit fiir das Ereignis T e {0 — s,6 + s) gegen eins wachst, also die Abweichung vom wahren Wert um mindestens e gegen 0 konvergiert. Fiir grol3en Stichprobenumfang soUte der Schatzwert also in unmittelbarer Nahe des wahren (unbekannten) Parameters 6 liegen. Prinzipiell ist festzuhalten, eine Schatzstatistik, die im quadratischen Mittel konsistent ist, ist auch schwach konsistent. Beispiel 9.4
Arithmetisches Mittel
Ein Merkmal X sei normalverteilt mit X ~ N{jui,a'^). Aus unabhangigen Wiederholungen X i , . . . , Xn wird der Erwartungswert durch die Schatzstatistik X = J2i Xi/n geschatzt. Fiir X erhalt man unmittelbar E{X) = jj, (d.h. Erwartungstreue) und Var{X) = ^ ^ cr^/n = cr^/n, d.h. es gilt
9.2
373
Eigenschaften von Schatzstatistiken
X ist somit eine fiir /i erwartungstreue Schatzstatistik, deren Varianz mit zunehmendem Stichprobenumfang abnimmt. Daraus ergibt sich, dafi X konsistent (im quadratischem Mittel) ist. Darliber hinaus erhalt man P{\X-f,\<e)
X-fi a/y/n
= P
e)
oo. Fiir unabhangige Wiederholungen erhalt man insbesondere die im quadratischen Mittel und damit auch schwach konsistenten Schatzstatistiken • X fiir den Erwartungswert /x = E{X) (siehe auch Gesetz der grofien Zahlen, Abschnitt 7.1), • X bei dichotomem Merkmal fiir den Anteilswert TT, • S'^ fiir die Varianz cr^ = Var{X). 9.2.3
MSEWirksamkeit
Wirksamste Schatzstatistiken
Die mittlere quadratische Abweichung ist ein Mafi fiir die Giite der Schatzung, das sowohl die Verzerrung als auch die Varianz der Schatzfunktion einbezieht. Darauf aufbauend lafit sich eine Schatzstatistik im Vergleich zu einer zweiten Schatzstatistik als MSE'Wirksamer bezeichnen, wenn ihre mittlere quadratische Abweichung (MSE) kleiner ist. Zu beriicksichtigen ist dabei, dafi der Vergleich zweier Statistiken Jewells fiir eine Klasse von zugelassenen Verteilungen erfolgt. Beispielsweise wird man Schatzungen fiir den Parameter A einer Poisson-Verteilung nur vergleichen unter Zulassung aller Poisson-Verteilungen (mit beliebigem A). Bei der Schatzung des Erwartungwertes lassen sich entweder alle Verteilungen mit endhcher Varianz zugrunde legen oder auch nur alle Normal verteilungen. Die Effizienz einer Statistik kann daher von der Wahl der zugelassenen Verteilungen abhangen. Mit der Bezeichnung MSE{T) fiir die mittlere quadratische Abweichung der Schatzstatistik T erhalt man die folgende Begriffsbildung. MSE ~ Wirksamkeit von Schatzstatistiken
Von zwei Schatzstatistiken Ti und T2 heifit Ti MSE-wirksamer^ MSE{Ti)
wenn
< MSE{T2)
fiir alle zugelassenen Verteilungen gilt. Eine Statistik heifit MSE-wirksamst^ wenn ihre mittlere quadratische Abweichung fiir alle zugelassenen Verteilungen den kleinsten moglichen Wert annimmt. Beschrankt man sich auf erwartungstreue Statistiken, d.h. Bias = 0, reduziert sich die M5£^-Wirksamkeit auf den Vergleich der Varianzen von Schatzstatistiken. Dieser Vergleich lafit sich allerdings auch ohne Bezug zur MS'E'-Wirksamkeit motivieren. Erwartungstreue Schatzstatistiken besitzen als Erwartungswert den tatsachlich
9.2 Eigenschaften von Schatzstatistiken
375
zugrundeliegenden Parameter, haben also prinzipiell die "richtige" Tendenz. Will man nun zwei erwartungstreue Schatzstatistiken hinsichtlich ihrer Giite miteinander vergleichen, ist es naheliegend, diejenige zu bevorzugen, die um den "richtigen" Erwartungswert am wenigsten schwankt. Mifit man die Variation durch die Varianz der Schatzfunktion erhalt man unmittelbar ein Kriterium ziim Vergleich der Giite von Schatzstatistiken.
Wirksamkeit von erwartungstreuen Schatzstatistiken
Von zwei erwartungstreuen Schatzstatistiken Ti und T2 heifit Ti wirksamer oder effizienter als T2, wenn Var{Ti) < Var{T2) fiir alle zugelassenen Verteilungen gilt. Eine erwartungstreue Schatzstatistik heifit wirksamst oder effizient^ wenn ihre Varianz fiir alle zugelassenen Verteilungen den kleinsten moglichen Wert annimmt.
Zu dieser Begriffsbildung ist zu bemerken: Ein Varianzvergleich macht natiirlich nur Sinn fiir erwartungstreue Schatzstatistiken. Die fast immer verzerrte Schatzstatistik To = 100, die immer den Wert 100 annimmt, besitzt die Varianz null. Wiirde man eine derartige Statistik zur Konkurrenz zulassen, ware ihre Varianz nicht unterbietbar, obwohl sie tendenziell fast immer verzerrte Werte liefert. Die Erwartungstreue von Schatzstatistiken hangt immer von den zugelassenen Verteilungen ab. Beispielsweise gilt fiir Poisson-Verteilungen E{X) = Var{X) = A und damit sind sowohl X als auch S^ erwartungstreu fiir E(X), 5^ ist jedoch nicht unverzerrt fiir -B(X), wenn auch Normalverteilungen zugelassen sind. Fiir die Varianz einer erwartungstreuen Schatzstatistik lafit sich eine untere Schranke angeben, die sogenannte Cramer-Rao Schranke. Wirksamste Statistiken erreichen diese Schranke, die wir hier nicht explizit angeben. Wirksamste Schatzstatistiken sind insbesondere: X fiir den Erwartungswert, wenn alle Verteilungen mit endlicher Varianz zugelassen sind, X fiir den Erwartungswert, wenn alle Normalverteilungen zugelassen sind.
376
9.
Parameterschatzung
X fiir den Anteilswert TT dichotomer Grundgesamtheiten, wenn alle BernouUiVerteilungen zugelassen sind, X fiir den Parameter A, wenn alle Poisson-Verteilungen Po{X) zugelassen sind.
9.3
Konstruktion von Schatzfunktionen
Bisher haben wir wiinschenswerte Eigenschaften von Schatzstatistiken diskutiert. Dabei wurden Schatzfunktionen betrachtet, die zum Teil schon aus den vorhergehenden Kapiteln bekannt sind. In diesem Abschnitt wird die Herkunft dieser Schatzfunktionen reflektiert. Es werden Methoden entwickelt, wie man eine geeignete Schatzfunktion fiir einen unbekannten Parameter findet. Der Schwerpunkt bei den klassischen Ansatzen liegt auf dem sehr generellen Maximum Likelihood-Prinzip, das auch in komplexen Schatzsituationen anwendbar ist. Abschnitt 9.3.3 fiihrt zusatzhch in Bayes-Schatzer ein. Konzepte der Bayes-Inferenz haben in letzter Zeit durch die Entwicklung neuer computerintensiver Methoden wachsende Bedeutung erlangt. 9.3.1
Maximum Likelihood-Schatzung
Aus Griinden der Einfachheit seien Xi^...^Xn unabhangige und identische Wie~ derholungen eines Experiments. Im bisherigen wurde oft betrachtet, mit welcher Wahrscheinlichkeit bestimmte Werte einer Zufallsvariable X auftreten, wenn eine feste Parameterkonstellation zugrunde liegt. Beispielsweise haben wir fiir BernoulliVariablen mit Parameter n abgeleitet, dafi fiir x G {0,1} f{x\7r) = P{X = X\7T) = 7r^(l - TT)^-^ gilt. Bei stetigen Variablen tritt an die Stelle der Wahrscheinlichkeit eine stetige Dichte, beispielsweise bei der Normalverteilung mit den Parametern fx und a die Dichte Geht man allgemeiner von dem Parameter 6 aus, der auch zwei- oder hoherdimensional sein kann und betrachtet den Fall unabhangiger identischer Wiederholungen, ergibt sich die (diskrete oder stetige) Dichte
f{xu,.,,xn\e)
=
f{xi\e)'''f(xn\e).
Anstatt fiir festen Parameter 6 die Dichte an beliebigen Werten a:i,... ,Xn zu betrachten, lafit sich umgekehrt fiir feste Reahsationen x i , . . . , x^ die Dichte als Funktion in 9 auffassen. Diese Funktion
L{e) =
f{xi,,,,,xn\e)
9.3
377
Konstruktion von Schatzfunktionen
heifit Likelihoodfunktion und besitzt als Argument den Parameter 9 bei festen Realisationen x i , . . . ,Xri. Das Maximum Likelihood-Prinzip zur Konstruktion einer Schatzfunktion beruht auf der Maximierung dieser Likelihood.
Likelihoodfunktion Maximum LikelihoodPrinzip
Maximum Likelihood-Prinzip Das Maximum Likelihood-Prinzip besagt: Wahle ZU Xi^ • • • 5 »^n als Parameterschatzung denjenigen Parameter 6y fiir den die Likelihood maximal ist, d.h. max e
m= m
bzw. f{xi,.,.,Xn\0)
= max /{xi,,.. e
,Xn\0).
Man wahlt somit zu den Realisationen xi^... ^Xn denjenigen Parameter 9^ fiir den die Wahrscheinlichkeit bzw. Dichte, daiJ gerade diese Werte xi^...^Xn auftreten, maximal wird. Man sucht somit zu den Realisierungen xi^... ^Xn denjenigen Parameter, der die plausibelste Erklarung fiir das Zustandekommen dieser Werte liefert. Nach Konstruktion erhalt man damit einen Schatzwert 9 zu jeder Realisierungsfolge x i , . . . , Xn^ also letztendlich eine Schatzung 9 = ^ ( x i , . . . , Xn)^ Das Einsetzen beliebiger Realisationen liefert die Schatzfunktion g{xi^..., Xn) = 9(xi^..., x^). Eine derart konstruierte Schatzfunktion heifit Maximum Likelihood-Schdtzer. Ublicherweise bestimmt man das Maximum einer Funktion durch Ableiten und NuUsetzen der Ableitung. Fiir die Likehhood fiihrt das wegen der Produkte in L{9) meist zu unfreundhchen Ausdriicken. Es empfiehlt sich daher, statt der Likelihood selbst die log^rithmierte Likelihood, die sogenannte Log-Likelihood^ zu maximieren. Da Logarithmieren eine streng monoton wachsende Transformation ist, liefert das Maximieren von L{9) und InL(^) denselben Wert 9. Fiir den bisher betrachteten Fall unabhangiger und identischer Wiederholungen ergibt sich die Log-Likehhood als Summe lnL{e) =
Y,lnf{xi\e). i=i
Maximum LikelihoodSchdtzer
Log-Likelihood
378
Beispiel 9.5
9. Parameterschatzung
Poisson-Verteilung Seien X i , . . . , ^ 4 unabhangige Wiederholungen einer Poisson-verteilten Grofie Po{X) mit zu schatzendem Wert A. Die Realisationen seien xi = 2 , X2 = 4, xs = 6, X4 = 3. Damit erhalt man die Likelihoodfunktion L(A) = f{x,\\)...
fix,\X)
-4A\15 =e-^^A
= e-^:^e-^^e-^^e-^^
1
2! 4! 6! 3!
bzw. die Log-Likelihood-Funktion InL(A) - -4A + 15 In A - ln(2! 4! 6! 3!). Ableiten und NuUsetzen ergibt
d\
^ A
und damit
Bemerkenswert ist daran, dafi A = X = (2 + 4 + 6 + 3)/4, d.h. es ergibt sich eine bekannte Schatzfunktion. Das Verfahren lafit sich natiirlich genereller fiir die Realisationen x i , . . . , Xn durchftihren. Man erhalt die Log-Likelihood-Funktion InL(A) = f ^ l n / ( x , | A ) = f ^ l n
fe"^^)
n
= ^ ( - A + Xi\ii\-
\ii{xi\)).
Ableiten und NuUsetzen liefert
9^
trV
""A
und damit _n + ^ ^ i ^ = 0 A
bzw.
A= S l ^ n
= X.
Der Maximum LikeUhood-Schatzer ist also in diesem Fall fiir jede Realisationsfolge identisch mit dem arithmetischen Mitt el. D
9.3
379
Konstruktion von Schatzfunktionen
Beispiel 9.6
Normalverteilung
Seien Xi,,,. ,Xn unabhangige Wiederholungen einer Normalverteilung N[^,a'^). Zu schatzen sind /i und cr, d.h. der Parameter 6 = {ii^cr). Die Likelihoodfunktion besitzt hier fiir generelle Realisationen a:i,..., Xn die Form 1
L{fi,a)
-e
e
2Schatzer
a posteriori Erwartungswert: Op = E{e\xi,,,,,
Xn) =
/ Of {6
\xi,,.,,Xn)
d6
a posteriori Modus oder maximum a posteriori (MAP) Schatzer: Wahle denjenigen Parameterwert ^MAP? fiir den die a posteriori Dichte maximal wird, d.h.
L{e)f{e) = maxL{e)f{e) bzw.
9
\nL{e) + lnf{e) = max{lnL(e) + l n / ( ^ ) }
Zur Berechnung der vollen a posteriori Verteilung mui3 das Integral J L(9)f{9)d0 berechnet werden. Dies kann bereits fiir vergleichsweise einfache Dichten f(x\9) und a priori Dichten f{9) analytisch nicht mehr durchfiihrbar sein. Dann miissen numerische Integrationsverfahren oder moderne Simulationstechniken wie MCMC (Markov Chain Monte Carlo) eingesetzt werden. Bei der Bestimmung des MAPSchatzers wird dieses Problem umgangen, da nur der Zahler L(0)f(9) maximiert werden mufi. Damit wird auch die Beziehung zur Maximum Likelihood-Schatzung deutlich: Statt der Likelihood L{9) ist die mit der a priori Dichte f{9) gewichtete Funktion L{9)f{9) zu maximieren. Ist f{9) sehr flach, so driickt dies wenig Vorwissen dariiber aus, wo 9 liegt. Im Extremfall kann f{9) z.B. eine Gleichverteilung iiber [—c, c] mit sehr grofiem c sein. Dann sind der Maximum Likelihood-Schatzer 9 und der MAP-Schatzer 9MAP praktisch identisch und stimmen fiir den voUig "diffusen" Grenzfall c -^ oo iiberein. Dies wird auch im folgenden Beispiel deutlich. Beispiel 9.8
Poisson-Verteilung
Seien X i , . . . ,^4 wie in Beipiel 9.5 unabhangige Wiederholungen von X ~ Po{X) mit zu schatzendem Wert A und den Realisationen xi = 2, X2 = 4, xs = 6, X4 = 3. Wir erhalten somit wieder die Likelihoodfunktion -4A\15 L(A) = / ( x i | A ) . . . / ( x 4 | A ) = e-^^A
1 2! 4! 6! 3! '
Als a priori Dichte fiir A wahlen wir eine Exponentialverteilung mit dem "HyperParameter" a, also f(X) - / ^^""^ ^ ^~ I 0
fiir A > 0 fiir A zi_ct/2 = ^0.995 = 2.5758}. Hierbei wurde ausgenutzt, dafi die Verteilung der Teststatistik fiir /x = 17, also unter iJo, bekannt ist. Im 6. Schritt wird fiir die konkrete Stichprobe der Wert der Priifgrofie berechnet. In Beispiel 10.6 berechnete sich Z als 1.64. Der 7. Schritt beinhaltet schliefilich die Entscheidung dariiber, ob die Nullhypothese zugunsten der Alternative verworfen werden kann oder beibehalten werden mufi. Dazu liberpruft man, ob der berechnete Priifgrofienwert im Ablehnungsbereich liegt oder nicht. Liegt dieser im Ablehnungsbereich, so wird die NuUhypothese verworfen. Diese formale Entscheidung hat haufig eine weitreichende inhaltliche Bedeutung. So hatte die Nicht-Verwerfung der Nullhypothese in Beispiel 10.6 die Konsequenz, dafi nicht in den laufenden Prozefi eingegriffen wird, der Prozefi also als unter statistischer KontroUe angesehen wird. Bei statistischen Testproblemen sind weitere Unterscheidungen iiblich. Fiir den Fall, dafi unter der Alternative sowohl Abweichungen nach oben als auch nach unten interessieren, wie etwa in Beispiel 10.6 mit i?o : /i = 17 gegen
Hi : fi ^ 17
spricht man von einem zweiseitigen Testproblem. Ansonsten, d.h. fiir HQ : fi 17 gegen
zweiseitiges Testproblem
iJi : // > 17 bzw. iJi : /x < 17,
liegt jeweils ein einseitiges Testproblem vor. Falls Ho oder Hi nur aus einem Punkt bestehen, wie z.B. iJo • /^ = 17, nennt man Ho oder Hi einfach. Fiir den Fall, dafi Ho oder Hi eine Menge von Punkten beschreiben, heifien diese auch zusammengesetzt, Abweichend von den Beispielen in Abschnitt 10.1 ist in den obigen Testproblemen nicht nur die Alternative zusammengesetzt, sondern auch die Nullhypothese, d.h. statt Ho : ^1 = fio betrachten wir nun Ho : fi < fio mit z.B. fio = 17cm. In Beispiel 10.6 (Seite 410) etwa wurde nun der kritische Wert des Tests bzw. der Ablehnungsbereich aus der Standardnormalverteilung ermittelt, da unter der Nullhypothese, d.h. fiir fi = /JLO, Z = ^ ~ ^ ° \ / ^ gerade N{0, l)-verteilt ist. Wie kann man nun vorgehen, wenn man eigentlich die Verteilung von Z unter der zusammengesetzten Nullhypothese bestimmen miifite? Da dies nicht moglich ist, bestimmt man den Ablehnungsbereich so, dafi fiir den Wert von /i aus i^o, der am dichtesten an der Alternative liegt, also fiir 11 = jio die Wahrscheinlichkeit fiir den Ablehnungsbereich a betragt. In Abbildung 10.3 auf der folgenden Seite wird deutlich, dafi durch
einseitiges Testproblem einfache Hypothese zusavfimengesetzte Hypothese
10. Testen von Hypothesen
414
dieses Vorgehen garantiert ist, dafi fiir andere Werte von //, d.h. fiir /x < /io, aus Ho die Wahrscheinlichkeit a sogar unterschritten und somit die Bedingung fiir die Konstruktion des Ablehnungsbereichs eingehalten wird.
'
:\
a
^ ^ v =——•
0
Zl-a
ABBILDUNG 10.3: Ablehnungsbereiche fiir das Testproblem Ho : n < fxo und Hi : fi > fio basierend auf Z = ^~^^ y/n
verteilungsfrei nonparametrischer
Test
parametrischer Test
Eine weitere Unterscheidung statistischer Tests ergibt sich durch die getroffenen Modellannahmen, die bei der Beschreibung einer allgemeinen Vorgehensweise beim statistischen Testen im 2. Schritt formuliert wurden. Diese sind wichtig, um eine geeignete PriifgroiJe bzw. Teststatistik zu konstruieren und deren Verteilung unter der NuUhypothese bestimmen zu konnen. Fiir den Fall, dai3 die Verteilung des Merkmals in der Grundgesamtheit vom Typ her, also zum Beispiel Normalverteilung, bekannt oder der Stichprobenumfang groii genug ist, lassen sich haufig direkt PriifgroiJen fiir bestimmte Verteilungsparameter angeben, deren Verteilung noch relativ leicht zu bestimmen ist. Komplizierter wird es, wenn man keine Vorstellung von der Verteilung des Merkmals in der Grundgesamtheit hat. Man versucht dann Tests zu konstruieren, deren Priifgrofie derart ist, dafi ihre Verteilung unter der NuUhypothese auch ohne genauere Angaben iiber die Verteilung der Zufallsvariablen X i , . . . , X^ bestimmbar ist. Solche Tests heifien verteilungsfreie oder nonparametrische Tests. Entsprechend nennt man Tests, deren Priifgrofie zur Bestimmung der Priifverteilung Annahmen iiber den Verteilungstyp in der Grundgesamtheit benotigen, parametrische Tests.
10.2
Prinzipien des Testens
415
Die wichtigsten Begriffe seien noch einmal kurz zusammengefafit.
Statistisches Testproblem, statistischer Test
Ein statistisches Testproblem besteht aus einer NuUhypothese HQ und einer Alternative iJi, die sich gegenseitig ausschliefien und Aussagen liber die gesamte Verteilung oder iiber bestimmte Parameter des interessierenden Merkmals in der Grundgesamtheit beinhalten. Falls das Testproblem lautet: Ho:" = ''
gegen
Fi : V " ,
nennt man dieses zweiseitig. Falls ifo:" "
i/o:">"
gegen
Hi
bzw.
:'' Zi-a/2 '.
\fn
< ^l-a/2 •
bzw. dafi Ho beizubehalten ist, falls \x - fio z =
Letztere Ungleichung lafit sich aquivalent umformen zu a d.h.
\X-
flo\ < ^ i _ a / 2 - —7=1
bzw. X-
bzw.
fiO> - ^ l _ a / 2 • -7=
-/io > - x - Zi_a/2 • —^
^^d
und
X-
ldo< ^ l - a / 2 ' -"7=
- /io < - ^ + ^ i - a / 2 • —r=
cr _ a Diese Grenzen sind bekannt als Grenzen des (1 — a)-Konfidenzintervalls fiir /i, das ^10<X + Z i _ a / 2 • - 7 = u n d /io > ^ - ^ l - a / 2 ' "F= • gegeben ist als r_ cr _ G X - ^l-a/2 • -7=
-> ^ + ^ l - a / 2 * - 7 - i
L v^ V^J Damit kann man aufgrund obiger Aquivalenzumformungen also entscheiden, dafi iJo beizubehalten ist, falls /XQ in dem (1 — Q;)>Konfidenzintervall fiir ix liegt, bzw. dafi i^o zu verwerfen ist, falls /io nicht Element des entsprechenden Konfidenzintervalls ist. Allgemein konnen wir also festhalten, dafi ein (1 — a)-Konfidenzintervall gerade dem Annahmebereich des zugehorigen zweiseitigen Signifikanztests entspricht.
10.2
419
Prinzipien des Testens
10.2.3
Uberschreitungswahrscheinlichkeit
Alternativ zu der oben beschriebenen Vorgehensweise lassen sich statistische Tests auch iiber die sogenannten p-Werte bzw. Uberschreitungswahrscheinlichkeiten durchfuhren. Diese werden standardgemafi von statistischen Software-Paketen ausgegeben. A n s t a t t die Priifgrofie mit einem bestimmten kritischen Wert zu vergleichen, u m iiber die Ablehnung der NuUhypothese zu entscheiden, vergleicht m a n den p-Weit direkt mit dem vorgegebenen Signifikanzniveau a. D a der p-Wert gerade die Wahrscheinlichkeit angibt, unter HQ den beobachteten Priifgrofienwert oder einen in Richtung der Alternative extremeren Wert zu erhalten, ist die NuUhypothese dann zu verwerfen, falls der p-Wert kleiner ist als a (vgl. dazu auch Abb. 10,4).
^l-a ABBILDUNG
p- Werte
Z
10.4: Zusammenhang zwischen p-Wert und Signifikanzniveau
Wenn der p-Wert namlich sehr klein ist, bedeutet das, dafi es unter HQ sehr unwahrscheinlich ist, diesen Priifgrofienwert zu beobachten. Dies spricht dafiir, dafi HQ eher falsch ist. Die einzelnen Schritte, die bei der Durchfiihrung eines statistischen Tests zu machen sind, bleiben unverandert, wenn man diesen anhand von p-Werten durchfiihrt. Lediglich die Entscheidung iiber die Verwerfung der NuUhypothese wird mittels einer formal anderen Regel getroffen, d.h. mittels "i^o wird abgelehnt, falls der p-Wert kleiner ist als a", statt mittels "HQ wird abgelehnt, falls der Priifgrofienwert in den kritischen Bereich fallt". Gut-Schlecht-Priifung
In Beispiel 10.5 (Seite 406) betrug der Priifgrofienwert z = 0.21. Da die Alternative liber den Schlechtanteil TT formuliert war als iJi : TT > 0.1, sind in Richtung der Alternative extremere
Beispiel 10.7
10. Testen von Hypothesen
420
PriifgroBenwerte solche, die grofier sind als z. Damit ist der p-Wert gegeben als p = PHO{Z > 0.21) = 1-PHO{Z
zi-oci lafit sich g{ii) auch schreiben als 9{^^) = p ( ^ ^ V ^ > z i _ . | / . ) . Diese Wahrscheinlichkeit ist fiir fj, — no exakt a. Fiir alle anderen Werte von /x miii3te die Priifgroi3e jedoch neu standardisiert werden, um wieder zu einer standardnormalverteilten GroiSe zu gelangen. Dazu wenden wir einen in der Mathematik iibhchen Trick an und addieren JJL — jJ,, also eigentlich eine Null. Wir erhalten
9{lA
da /i, der wahre Parameter und somit —^y/n N{0^ l)-verteilt ist. Die Giitefunktion kann man fiir ein vorgegebenes a und festen Stichprobenumfang n als Funktion von fi graphisch darstellen, wie in Abbildung 10.6 skizziert und in Beispiel 10.8 illustriert ist. Beispiel 10.8
Qualitatsprufung
Kommen wir noch einmal auf Beispiel 10.6 (Seite 410) zuriick. Von Interesse sei nun aber nicht die Konstruktion einer KontroUkarte, sondern folgendes Testproblem HQ : iJ,< 17cm gegen iJi :/i > 17cm.
10.2
423
Prinzipien des Testens
ABBILDUNG
10.6: Skizze einer Giitefunktion g{fj,) = 1 - $ {zi-c
p-^o
V^)
Hier wird also versucht, eine Abweichung der Bleistiftlange vom SoUwert nach oben zu verhindern. Sei a = 0.05 und n = 10. Die Standardabweichung sei wieder als a = 1.5 vorausgesetzt. Dann ist die Giitefunktion gegeben als ^(/i) = 1 - $ I ^0.95 -
/^
^
^
)
l_$(l.64-^^yi^.3.16
Die Werte der Funktion ^(/i) konnen aus der Tabelle der Verteilungsfunktion der Standardnormalverteilung fiir verschiedene Werte von /x abgelesen werden. Man erhalt folgende Wertetabelle:
M P(M)
16 16.5 0 0.003
17 0.05
17.5 0.279
18 0.68
18.5 0.936
19 0.995
Als Rechenbeispiel betrachte man /x = 17.5, wofiir sich ergibt: p(17.5) = 1 - $ f 1.64
—
3.16 J = 1 - $ (0.59) = 0.279.
Man sieht, dai3 die Wahrscheinlichkeit, HQ ZU verwerfen, fiir /x = 17.5 cm mit 0.279 sehr klein ist. Das heiBt: Obwohl wir sicher wissen, daj3 mit /J, = 17.5 cm die Alternative zutrifft, fallt die Entscheidung des Tests mit einer groBen Wahrscheinlichkeit von 1 — 0,279 = 0.721 fiir HQ. Dies ist gerade die Wahrscheinlichkeit fiir den Fehler 2. Art. Man erkennt deutlich, dai3 diese Wahrscheinlichkeit von den Wert en der Alternative abhangt: Je grofier die Abweichung von /io, also je grofier der zu entdeckende Effekt ist, desto kleiner wird die Wahrscheinlichkeit fiir den Fehler 2. Art. Ebenso wird ersichtlich, vgl. Abbildung 10.6, dafi die WahrscheinUchkeit fiir den Fehler 1. Art fiir alle Werte /i aus HQ kleiner oder gleich a = 0.05 ist. Fiir ^ = /XQ = 17 cm nimmt g{/d) den Wert des Signifikanzniveaus a an. Dies verdeutlicht noch einmal, dafi die Giitefunktion fiir fiG Hi gerade 1—WahrscheinUchkeit fiir den Fehler 2. Art und fiir fie Ho die Wahrscheinhchkeit fiir den Fehler 1. Art angibt, wobei letzterer durch a an der Stelle fi = fiQ nach oben beschrankt ist. D
10. Tester) von Hypothesen
424
Fiir das zweiseitige Testproblem HQ\ ii = JIQ gegen Hi: /J.^ fio (vgl. Abb. 10.7, Seite 425) und das andere einseitige Testproblem Ho : fi> fio gegen Hi'. JJLK JJLQ ermittelt man g{ii) analog.
Giitefunktion Fiir vorgegebenes Signifikanzniveau a und festen Stichprobenumfang n gibt die Giitefunktion g die Wahrscheinlichkeit fiir einen statistischen Test an, die Nullhypothese zu verwerfen. Speziell fiir den Gaufi-Test ergibt sich die Giitefunktion ^(/i) im Fall des Testproblems (a) i7o : /i = /io gegen Hi\ ji^ jio als g{li) = $ ( - ^ i - c / 2 +
— ~ ^ ^) + $ ( - W 2 - ^ ^ ^ )
(b) Ho : fi> fio gegen Hi : fi < fio als g{fi) =
^(za-
^V^)
(c) i7o : /i < /io gegen i7i : /i > /io als
g{fi) = 1 - $
(zi-c.-^V^),
wobei $ die Verteilungsfunktion der A^(0, L)-Verteilung bezeichnet.
Power
Die Giitefunktion erlaubt also Aussagen iiber die Qualitat eines statistischen Tests. Sie enthalt nicht nur Informationen dariiber, fiir welche Parameterwerte die NuUhypothese mit grofier Wahrscheinlichkeit verworfen wird, sondern auch das Signifikanzniveau. Diese Zweiteilung bei der Interpretation der Giitefunktion spiegelt sich auch in ihrer Namensgebung wider. Fiir Werte aus der Alternative spricht man von der Giitefunktion auch als Macht, Trennschdrfe oder Power eines Tests. Giitefunktionen werden daher zum Vergleich mehrerer konkurrierender Tests zu einem Testproblem herangezogen. Man wahlt, falls moghch, den Test unter alien Niveau-a-Tests aus, der die grofite Macht besitzt, oder wie bereits zu Beginn dieses Unterkapitels formuhert, die geringste Wahrscheinlichkeit fiir einen Fehler 2. Art. Bei der Herleitung der Giitefunktion des Gaufi-Tests hat man aber gesehen, dafi g{ii) als Funktion von JJL noch von dem Signifikanzniveau a und dem Stichprobenumfang
10.2
425
Prinzipien des Testens
, i
P(A^)
1-
--j^yy^— / / / ; / / ' ' / ;/ / ;/ / /// ///
\ ^ ^ ' \ ^ '* \ ^ '• \
^ •'
\ \ •
\ \\ \\\ a -
t
—
y
1
Mo ABBILDUNG
n = 10 (
—
•
-
M
10.7: Skizze einer Giitefunktion des zweiseitigen GauB-Tests mit ), n = 20 (---), n = 50 (-•)
n abhangt. Diese Abhangigkeit werden wir im folgenden am Beispiel des Gaufi-Tests genauer untersuchen. Qualitatsprufung
Beispiel 10.9
Betrachten wir zunachst die Abhangigkeit der Giite eines Tests vom Stichprobenumfang n anhand des obigen Beispiels. Wir haben gesehen, dafi eine Abweichung von 0.5 cm nach oben vom SoUwert nur mit einer Wahrscheinlichkeit von 0,279 von dem statistischen Test entdeckt worden ware. Lafit sich diese Abweichung besser entdecken, wenn n vergrofiert wird? Zur Beantwortung dieser Frage sei nun n = 50 und n — 100 gewahlt. Es ergibt sich: • n = 50:
^(17.5) = 1 - $ ( 1 . 6 4 - 1 1 : ^ . V ^ )
• n = 100:
^(17.5) = 1 - $(1.64
17.5-17 1.5
1 - $ ( - 0 . 7 1 ) = 0.761, 1 - $ ( - 1 . 6 9 ) = 0.954,
d.h. schon fiir n = 50 ware die Abweichung von 0.5 cm mit einer WahrscheinUchkeit von 0.761 und fiir n = 100 schUefiUch mit einer WahrscheinUchkeit von 0.954 ziemlich sicher entdeckt worden (vgl. auch Abb. 10.8). Man kann also durch eine Vergrofierung des Stichprobenumfangs erreichen, dafi auch kleine Effekte bzw. kleine Abweichungen durch den statistischen Test entdeckt werden. Nur sollte man sich dabei fragen, ob die Entdeckung sehr kleiner Effekte unter substanzwissenschaftUchem Gesichtpunkt iiberhaupt sinnvoU ist, d.h. es ist vielleicht fraghch, ob dermafien kleine Effekte eigentUch noch interpretierbar sind. Der zweite Aspekt der Giitefunktion, den wir untersuchen wollen, betrifft ihre Abhangigkeit vom Signifikanzniveau a. Zu Beginn der Diskussion der Prinzipien statistischer Tests wurde angemerkt, dafi es nicht moglich ist, beide Fehlerwahrscheinlichkeiten gleichzeitig zu minimieren. Das miifite also zur Folge haben, dafi eine Veranderung von a auch eine Veranderung der Wahrscheinlichkeit fiir den Fehler 2. Art nach sich zieht und zwar insofern,
10. Testen von Hypothesen
426
ABBILDUNG 10.8: Giitefunktion des einseitigen GauBtests fiir verschiedene Stichprobenumfange n = 10 ( ), n = 20 ( ), n = 50 (••••), cr = 1.5
dafi eine Vergrofierung von a eine Verkleinerung von /? und umgekehrt bewirkt. Betrachten wir daher im obigen Beispiel a = 0.01 und Q; = 0.1 fiir /i = 17.5. Fiir a = 0.01 ergibt sich zi-a = >2^o.99 als 2.3262, und fiir a = 0.1 erhalt man als kritischen Wert zo.g = 1.2816 und somit • a = 0.01: • a = 0.1:
^(17.5) = 1 - $ ( 2 . 3 2 6 3 -
17.5-17 1.5
^(17.5) = 1 - $(l.2816 -
17.5-17. ^%^-^'^x/IO)
V T 0 ) = 1 - $ ( 1 . 2 7 ) = 0.102, = 1 - $(0.23) = 0.41.
Man sieht deutlich, dafi die Wahrscheinlichkeit fiir den Fehler 2. Art kleiner wird, wenn
ABBILDUNG 10.9: Giitefunktion des einseitigen Gaufitests fiir verschiedene Signifikanzniveaus a = 0.01 ( ), a = 0.05 ( ), a = 0.1 (-•••), cr = 1.5
10.2
Prinzipien des Testens
427
man bei der Wahrscheinlichkeit fiir den Fehler 1. Art gewisse Abstriche macht (vgl. auch Abb. 10.9). D
Folgende Eigenschaften einer Giitefunktion lassen sich zusammenfassen (vgl. auch Abb. 10.8, 10.9):
Eigenschaften einer Gutefunktion eines statistischen Tests 1. Fiir Werte aus Hi heifit die Gutefunktion Trennscharfe oder Macht. 2. Fiir Werte aus HQ ist die Giitefunktion kleiner gleich a. 3. Fiir wachsendes n wird die Macht eines Tests grofier, d.h. die Giitefunktion wird steiler. 4. Fiir wachsendes a wird die Macht eines Tests grofier. 5. Fiir eine wachsende Abweichung zwischen Werten aus Hi und HQ wird die Macht eines Tests grofier.
*Multiple Testprobleme Haufig sind an empirische Studien mehrere wissenschaftHche Fragen gekniipft, die alle anhand von Signifikanztests iiberpriift werden soUen. Gut-Schlecht-Prufung
Beispiel 10.10
Nehmen wir an, iiber die Qualitat eines Werkstiicks wird anhand dreier verschiedener Merkmale entschieden. Das Werkstiick wird als schlecht eingestuft, wenn mindestens eines der drei Qualitatsmerkmale als nicht erfiillt angesehen wird. Ob die Qualitatsanforderung erfiillt ist oder nicht, wird jeweils anhand eines statistischen Tests entschieden. Das heifit, es werden drei Tests durchgefiihrt und zwar jeweils zum Niveau a = 0.05. Mit welcher Fehlerwahrscheinlichkeit ist dann die Entscheidung iiber die Qualitat des Werkstiicks insgesamt behaftet? Dazu iiberlegt man sich, dafi das Werkstiick genau dann als schlecht eingestuft wird, wenn mindestens einer der drei Tests die entsprechende Nullhypothese verwirft, dafi das jeweihge Qualitatsmerkmal in Ordnung ist. Das Komplementarereignis dazu ist, dafi keiner der Tests ablehnt. Es gilt, da jeder der Tests ein Niveau-a-Test ist: Pffi {Hi verwerfen ) = 0.05
z = l,2,3.
Sind die Tests stochastisch unabhangig voneinander, berechnet sich die Wahrscheinlichkeit dafiir, dafi keiner der Tests ablehnt im Fall, dafi die NuUhypothesen gelten, als 0.95 • 0.95 . 0.95 = 0.85735 .
10. Testen von Hypothesen
428
Damit ist die Wahrscheinlichkeit, dafi mindestens einer der Tests falschlicherweise ablehnt, gegeben als 1-0.85735 = 0.14265. Das heifit, eine falsche Entscheidung iiber die Qualitat des Werkstiicks insgesamt in Form einer Bewertung als schlecht ist mit einer Wahrscheinlichkeit von 0.143 behaftet, also mit einer viel groCeren Fehlerwahrscheinlichkeit als jede einzelne Entscheidung. D
multiples Testproblem
SoUen aufgrund eines Datensatzes mehrere Testprobleme anhand von Signifikanztests iiberpriift werden, spricht man von einem multiplen Testproblem. Die Wahrscheinlichkeit, mindestens einen Fehler 1. Art zu begehen, wachst mit der Anzahl der durchzufiihrenden Tests. Im Fall von k unabhangigen Tests gilt in Verallgemeinerung von Beispiel 10.10 auf der Seite zuvor fiir die Wahrscheinlichkeit von a*, mindestens ein falschlicherweise signifikantes Ergebnis zu erhalten: l-(l-a)^
a
Wahlt man a = 0.05, vgl. Beispiel 10.10, so erhalt man k
3 5 10 100
BonferroniKorrektur
a* 0.143 0.226 0.401 0.994(!)
Zum Schutz gegen eine solche Uberschreitung einer vorgegebenen Fehlerwahrscheinlichkeit lafit sich etwa die Bonferroni-Korrektur anwenden, bei der jeder Test zum Niveau a/k statt zum Niveau a durchgefiihrt wird. Es gibt allerdings wesenthch subtilere Verfahren zur Korrektur, die in einschlagigen Werken zu finden sind.
10.3
Zusammenfassung und Bemerkungen
Vielen empirischen Untersuchungen liegt eine bestimmte Fragestellung iiber ein Merkmal in der Grundgesamtheit zugrunde, die mit Hilfe statistischer Methoden auf Stichprobenbasis geklart werden soil. Um den Einsatz statistischer Verfahren zu ermoglichen, mu6 die Fragestellung zunachst quantifiziert werden. Fiir den Fall, dafi diese bereits eine Vermutung beispielsweise iiber einen Parameter der Verteilung des interessierenden Merkmals in der Grundgesamtheit beinhaltet, wird die zu klarende Fragestellung dann als statistisches Testproblem formuliert. Ein solches Testproblem
10.3
Zusammenfassung und Bemerkungen
429
besteht aus einer Nullhypothese und einer Alternative^ wobei letztere in der Kegel die interessierende Forschungshypothese wiedergibt. Das geeignete Instrumentarium zur Losung eines statistischen Testproblems liefert nun ein statistischer Test. Dieser stellt eine formale Entscheidungsregel dar, mit der es m5glich sein soil zu unterscheiden, ob das in der Stichprobe beobachtete Verhalten ein reines Zufallsprodukt ist oder den Schlufi auf die Grundgesamtheit zulafit. Ein solcher statistischer Test basiert auf einer Priifgrofie bzw. Teststatistik^ die so konstruiert ist, dafi sie fiir das interessierende Testproblem sensibel ist und dafi ihre Verteilung unter der Nullhypothese bekannt ist. Damit lafit sich dann ein Bereich, der sogenannte Ablehnungsoder kritische Bereich^ ermitteln, der aus Werten der Priifgrofie besteht, deren Zustandekommen unter der Nullhypothese sehr unwahrscheinhch ware und die somit fiir die Alternative sprechen. Die Nullhypothese wird demnach abgelehnt, wenn der beobachtete Priifgrofienwert in dem Ablehnungsbereich liegt. Ansonsten wird sie beibehalten. Die Wahrscheinlichkeit fiir den Ablehnungsbereich unter der Annahme, dafi die Nullhypothese doch fiir die Grundgesamtheit zutrifft, soil also klein sein. Diese Wahrscheinlichkeit wird als Signifikanzniveau bezeichnet. Statistische Tests liefern demnach nie hundertprozentige Aussagen. Die Unsicherheit, die durch die Ziehung einer Zufallsstichprobe an den Daten haftet, iibertragt sich auf die Testentscheidung, wobei zwei Fehlentscheidungen moglich sind. Die Wahrscheinlichkeit fiir den Fehler 1. Art^ der darin besteht, die Nullhypothese zu verwerfen, obwohl sie fiir die Grundgesamtheit zutrifft, wird gerade durch das Signifikanzniveau nach oben begrenzt. Die Wahrscheinlichkeit fiir den Fehler 2. Art^ die Nullhypothese beizubehalten, obwohl die Alternative zutrifft, versucht man, moglichst klein zu halten. Man wahlt unter alien Tests zum Signifikanzniveau a denjenigen mit der kleinsten Wahrscheinlichkeit fiir den Fehler 2. Art bzw. mit der grofiten Trennschdrfe aus. Ein solcher Vergleich zwischen statistischen Tests erfolgt iiber die Giitefunktion^ die gerade die Wahrscheinlichkeit angibt, die Nullhypothese zu verwerfen. Sie beinhaltet damit sowohl Information liber das Signifikanzniveau als auch iiber die Trennscharfe. In Analogic zu dem kritischen Bereich eines Tests lassen sich alle Priifgrofienwerte, die nicht zur Ablehnung der Nullhypothese fiihren, in dem Annahmebereich des Tests zusammenfassen. Dieser entspricht bei einem Test zum Signifikanzniveau a gerade dem zugehorigen (1 — a)-Konfidenzintervall. Als weiterfiihrende Literatur, insbesondere hinsichtlich der Konstruktion von Teststatistiken, sei auf Riiger (1996) und Schlittgen (1996) verwiesen. Als zusatzliches Ubungsbuch bietet sich beispielsweise Hartung und Heine (1996) an. Alternativ zu dem obigen Vorgehen lassen sich statistische Tests auch mittels sogenannter p- Werte durchfiihren. Diese geben die Wahrscheinlichkeit an, unter der Nullhypothese den beobachteten Priifgrofienwert oder einen in Richtung der Alternative extremeren Wert zu erhalten. Dementsprechend wird die Nullhypothese bei Verwendung des p-Werts dann abgelehnt, wenn dieser kleiner oder gleich dem vor-
10. Testen von Hypothesen
430
gegebenen Signifikanzniveau ist. Ein zusatzliches Problem tritt dann auf, wenn mehrere statistische Tests auf Grundlage eines Datensatzes durchgefiihrt werden sollen. M a n spricht dann von einem multiplen Testproblem, Hier ist besondere Vorsicht geboten, da ohne Beriicksichtigung der Multiplizitat der Fragestellung signifikante Ergebnisse rein zufallig auftreten konnen. Verfahren, die davor schiitzen, finden sich beispielsweise in Hochberg und Tamhane (1987) und in Hsu (1996). Grundlegend fiir die Durchfiihrung statistischer Tests ist neben der Formulierung eines der praktischen Fragestellung angemessenen statistischen Testproblems die Bereitstellung einer geeigneten Priifgrofie. Diese hangt von der Skalierung des Merkmals, den Annahmen iiber die Verteilung der Stichprobenvariablen in der Grundgesamtheit und dem Testproblem ab. Wir haben hier den exakten und den approximativen Binomialtest zur Uberpriifung von Anteilen kennengelernt. Im Zusammenhang mit der Qualitatskontrolle wurde der Gaufi-Test eingefiihrt. Zur Vertiefung der fiir die Qualitatskontrolle relevanten Methoden sei z.B. das Buch von Rinne und Mittag (1994) genannt. Weitere konkrete Tests werden speziell in Kapitel 11, aber auch in den nachfolgenden behandelt.
10.4
Aufgaben
Aufgabe 10.1
Eine Verbraucherzentrale mochte iiberpriifen, ob ein bestimmtes Milchprodukt tJbelkeit bei den Verbrauchern auslost. In einer Studie mit zehn Personen wird bei sieben Personen nach dem Genufi dieses Milchprodukts eine auftretende tJbelkeit registriert. tJberprufen Sie zum Signifikanzniveau a = 0.05 die statistische NuUhypothese, dafi der Anteil der Personen mit tJbelkeitssymptomen nach dem Genufi dieses Produkts in der Grundgesamtheit hochstens 60 % betragt. Geben Sie zunachst das zugehorige statistische Testproblem an.
Aufgabe 10.2
Bisher ist der Betreiber des offentlichen Verkehrsnetzes in einer Grofistadt davon ausgegangen, dafi 35% der Fahrgaste Zeitkarteninhaber sind. Bei einer Fahrgastbefragung geben 112 der insgesamt 350 Befragten an, dafi sie eine Zeitkarte benutzen. Testen Sie zum Niveau Q; = 0.05, ob sich der Anteil der Zeitkarteninhaber verandert hat. Formulieren Sie die Fragestellung zunachst als statistisches Testproblem.
Aufgabe 10.3
Aufgrund einer Theorie iiber die Vererbung von Intelligenz erwartet man bei einer bestimmten Gruppe von Personen einen mittleren Intelligenzquotienten (IQ) von 105. Dagegen erwartet man bei Nichtgliltigkeit der Theorie einen mittleren IQ von 100. Damit erhalt man das folgende statistische Testproblem: HQ\ yL = 100 gegen
iJi : // = 105 .
Die Standardabweichung des als normalverteilt angenommenen IQs sei a • 15. Das Signifikanzniveau sei mit a = 0.1 festgelegt.
10.4
Aufgaben
431
(a) Geben Sie zunachst allgemein fiir eine Stichprobe vom Umfang n = 25 • den Ablehnungsbereich eines geeigneten statistischen Tests, • den Annahmebereich dieses Tests und • die Wahrscheinlichkeit fiir den Fehler 2. Art an. (b) Welchen Bezug haben die Wahrscheinlichkeiten fiir den Fehler 1. Art und fiir den Fehler 2. Art zur Giitefunktion dieses Tests? (c) In der Stichprobe ergibt sich ein mittlerer IQ von 104. Zu welcher Entscheidung kommen Sie? Ein Marktforschungsinstitut fiihrt jahrliche Untersuchungen zu den Lebenshaltungskosten durch. Die Kosten fiir einen bestimmten Warenkorb beliefen sich in den letzten Jahren auf durchschnittlich 600 € . Im Beispieljahr wurde in einer Stichprobe von 40 zufallig ausgewahlten Kaufhausern jeweils der aktuelle Preis des Warenkorbs bestimmt. Als Schatzer fiir den aktuellen Preis des Warenkorbs ergab sich ein mittlerer Preis von 605 € . Die Varianz a^ = 225 sei aufgrund langjahriger Erfahrung bekannt. Gehen Sie von einer Normalverteilung des Preises fiir den Warenkorb aus. (a) Hat sich der Preis des Warenkorbs im Vergleich zu den Vorjahren signifikant zum Niveau a = 0.01 erhoht? Wie lautet das zugehorige statistische Testproblem? (b) Was sagt der Fehler 2. Art hier aus? Bestimmten Sie die Wahrscheinlichkeit fiir den Fehler 2. Art unter der Annahme, daB 610 € der tatsachliche aktuelle Preis des Warenkorbs ist. Geben Sie zunachst die allgemeine Formel fiir die Giitefunktion des obigen Tests in diesem konkreten Testproblem an. (c) Wie grofi miifite der Stichprobenumfang mindestens sein, um bei einem Niveau von Q; = 0.01 eine Erhohung des mittleren Preises um 5 € als signifikant nachweisen zu konnen. tJberlegen Sie sich dazu eine allgemeine Formel zur Bestimmung des erforderlichen Stichprobenumfangs.
Aufgabe 10.4
11 Spezielle Testprobleme
Nachdem im vorangehenden Kapitel die grundlegende Struktur von Signifikanztests dargestellt wurde, werden in diesem Kapitel exemplarisch Testverfahren zu einigen Standardproblemen behandelt. Die betrachteten Problemstellungen stehen in engem Zusammenhang mit dem Typ der erhobenen Daten. Zur Einfiihrung werden kurz unterschiedliche Problemstellungen und Datensituationen skizziert. Ein-Stichproben-Fall - Untersuchung einer Verteilung
Von Interesse ist die Verteilung eines Untersuchungsmerkmals, beispielsweise der Nettomiete in einem bestimmten Wohnviertel. Ausgehend von einer einfachen Stichprobe vom Umfang n soUen nun bestimmte Eigenschaften dieses Merkmals mit Hilfe statistischer Tests untersucht werden. Hypothesen liber die Eigenschaften des Untersuchungsmerkmals konnen die gesamte Verteilung betreffen oder aber nur bestimmte Kennwerte der Verteilung wie Erwartungswert, Median Oder Varianz zum Gegenstand haben. Eine Nullhypothese vom letzteren Typ der Kennwertuntersuchung ist beispielsweise Ho : "Die zu erwartende Nettomiete in einem bestimmten Wohnviertel betragt 8 € / q m " . Eine Hypothese vom erst en Typ, die die gesamte Verteilung spezifiziert, ist HQ : "Die Nettomiete ist normalverteilt". Unabhangige Stichproben ~ Vergleich von Verteilungen
Das Untersuchungsmerkmal wird unter zwei unterschiedlichen Bedingungen bzw. in unterschiedlichen Teilgesamtheiten separat erhoben. Man erhalt entsprechend zwei Stichproben, fiir jede Bedingung bzw. Teilgesamtheit eine, wobei die Stichproben voneinander unabhangig sind. Die Hypothesen beziehen sich nun auf den Vergleich der beiden zugrundeliegenden Verteilungen des Merkmals. Einfache Beispiele fiir NuUhypothesen zum Vergleich von Kennwerten sind
434
11. Spezielle Testprobleme
HQ : "Die zu erwartende Nettomiete in den Wohnvierteln A und B ist identisch". I Ho : "Das zu erwartende Einkommen mannlicher und weiblicher Arbeitnehmer (in vergleichbarer'Position einer Branche) ist gleich". Einem Vergleich der gesamten Verteilung entspricht die Nullhypothese HQ :
"Das Einkommen mannlicher Arbeitnehmer besitzt dieselbe Verteilung wie das Einkommen weiblicher Arbeitnehmer".
Verbundene Messungen - Vergleich von Verteilungen
verbundene Messungen
Will man untersuchen, wie sich ein Merkmal unter verschiedenen Bedingungen verhalt, ist es oft sinnvoU, das Merkmal unter diesen Bedingungen an denselben Stichprobenelementen zu messen. Interessiert man sich beispielsweise fiir den Umfang des Vokabulars einer Premdsprache vor und nach einem Erganzungskurs in dieser Sprache, ist es naheliegend, dieselben Teilnehmer vor und nach dem Kurs zu testen. Da die Merkmalvarianten derselben Untersuchungseinheiten gemessen werden, spricht man auch von verbundenen Messungen. Vergleichen lassen sich nun ^ j ^ j ^ ^ p^^^ unabhangiger Stichproben - die Verteilungen des Merkmals unter den beiden Bedingungen, beispielsweise durch die Nullhypothese HQ :
"Die zu erwartende Anzahl richtiger Wortiibersetzungen vor und nach dem Sprachkurs unterscheidet sich um 10".
Vollig analog lassen sich wochentliche Absatzzahlen einzelner Filialen vor und nach einer Werbekampangne untersuchen durch Ho :
"Der zu erwartende Zuwachs an wochentlichem Absatz betragt 100 Einheiten".
Zusammenhangsanalyse aus verbundenen Messungen
In Fragestellungen nach dem Zusammenhang zweier Variablen, beispielsweise dem Mietpreis und der Quadratmeterzahl, miissen beide Variablen an jeweils denselben Wohnungen erhoben werden. Man geht also wiederum von verbundenen Messungen aus. Interessante Hypothesen betreffen beispielsweise die Starke dieses Zusammenhangs, z.B. in den NuUhypothesen
11.1 Ein-Stichproben-Fall
Ho: HQ :
11.1
435
"Die Korrelation zwischen Mietpreis und Quadratmeterzahl tragtO.8", "Geschlecht und Parteipraferenz sind unabhangig".
be-
Ein-Stichproben-Fall
Ziel ist es, die Eigenschaften einer Zufallsvariable X zu untersuchen. Dazu wird im folgenden vorausgesetzt, dafi Xi^... ^Xn unabhangige Wiederholungen dieser Zufallsvariable sind. 11.1.1
Tests zu Lageaiternativen
t-Test fiir den Erwartungswert
Die als erste betrachtete Testsituation entspricht der aus Abschnitt 10.1: Ein hypothetischer Erwartungswert /io soil verglichen werden mit dem tatsachlichen, unbekannten Erwartungswert /i = E{X). Entsprechend sind die Hypothesen dieselben wie fiir den GauiJ-Test. Das Hypothesenpaar zum zweiseitigen Test besitzt die Form i7o : /^ = Mo
Hi: 11^ jiQ,
Beim einfachen Gaufi-Test wird vorausgesetzt, dafi die zugrundeliegende Zufallsvariable X normalverteilt ist mit bekannter Varianz cr^. Entsprechend lafit sich als Teststatistik die Zufallsvariable a anwenden. In vielen Testsituationen ist jedoch a^ nicht bekannt, so dafi Z als Testgrofie nicht in Frage kommt. Die Gaufi-Teststatistik Z enthalt im wesentlichen das Stichprobenmittel X als sensiblen Indikator fiir das unbekannte //, Z selbst stellt nur eine normierte Version von X dar, deren Verteilung unter HQ bekannt ist. Eine Testgrofie, die als wesentliches Element wiederum das Stichprobenmittel X enthalt, allerdings anders normiert ist, ist der sogenannte t-Test X — fio
^
wobei 5^ = J2i^i ~~ ^ ) ^ / ( ^ ~ 1) die Stichprobenvarianz bezeichnet und S = Vs^ die entsprechende Standardabweichung ist. Die Statistik T unterscheidet sich von Z nur im Nenner. Das nun unbekannte a in Z wird ersetzt durch die geschatzte Standardabweichung S. Von Teststatistiken wird erwartet, dafi
t-Test
436
11. Spezielle Testprobleme
• sie sensibel fiir das Testproblem sind, • die Verteilung unter HQ bekannt ist.
Die erste Bedingung ist erfiillt, da T eine "normierte" Version von X darstellt. Die zweite Bedingung ist ebenfalls erfiillt, da T fiir // = //o eine bekannte und tabellierte Verteilung, namlich eine t-Verteilung mit n — 1 Preiheitsgraden, besitzt. In voUiger Analogie zum Gaui5-Test wird HQ abgelehnt, wenn T zu grofie oder zu kleine Werte annimmt. Um das Signifikanzniveau a einzuhalten, wird HQ abgelehnt, wenn T < ^a/2(^ — 1) ^der T > ^i-a/2(^~ 1)? wobei tQ;/2(^"" 1) das (Q;/2)-Quantil der t-Verteilung mit n—1 Preiheitsgraden bezeichnet und ti_(^/2{ri—l) das entsprechende (1 — a/2)-Quantil. Der Unterschied zum Gaufi-Test liegt also darin, dafi die Quantile der Standafdnormalverteilung durch die entsprechenden Quantile der t-Verteilung mit n — 1 Preiheitsgraden ersetzt werden. Bei einseitigen Problemstellungen wird entsprechend HQ abgelehnt, wenn T zu grofie bzw. zu kleine Werte annimmt. Die Nullhypothese HQ
: /i < /xo
wird daher zugunsten von ffi : /x > /io abgelehnt, wenn T das (1 — a)-Quantil der t-Verteilung mit n — 1 Preiheitsgraden iiberschreitet, d.h. wenn T > ti_Q,(n — 1). Die Nullhypothese
wird abgelehnt, wenn T oo verschwinden allerdings die Unterschiede zwischen ^-Verteilung und Standardnormalverteilung und die kritischen Schranken beider Tests werden identisch. Dies ist ein Ausdruck dafiir, dafi die Schatzung von a^ durch 5^ mit wachsendem Stichprobenumfang zunehmend genauer wird. Deshalb kann man ab einem Stichprobenumfang von etwa 30 die Quantile der t-Verteilung durch die Quantile der Normalverteilung ersetzen. D
Nonparametrische Tests zur Lage der Verteilung
nonparametrisch verteilung sfrei
Gaufi- und t-Test setzen zumindest fiir kleinen Stichprobenumfang eine Normalverteilung des zugrundeliegenden Merkmals X voraus. Ist die Abweichung von dieser Annahme sehr stark, beispielsweise bei einem erheblich rechtsschiefen Merkmal, empfiehlt es sich nicht, diesen Tests zu vertrauen. Eine Alternative sind sogenannte nonparametrische bzw^. verteilungsfreie Tests. Der Begriff nonparametrisch bezieht sich darauf, dafi nicht die Parameter der Verteilung, beispielsweise A bei Po(A), im Vordergrund stehen, sondern generelle Charakteristika wie Median oder Quantile. Der Begriff verteilungfrei erfafit den wesentlichen Sachverhalt, dafi die Verteilung der Teststatistik "unter i?o" nicht von der Verteilung des zugrundeliegenden Merkmals abhangt. Im folgenden werden zwei einfache Testverfahren fiir den Median betrachtet, wobei vorausgesetzt wird, dafi X eine stetige Verteilungsfunktion besitzt. Das Testproblem ist bestimmt durch das Hypothesenpaar ^ 0 • ^med
= So
Hi'.
Xmed ¥" ^0,
wobei Xmed den unbekannten Median des Merkmals X bezeichnet und 5Q ein vorgegebener, hypothetischer Wert ist. Aus den unabhangigen Wiederholungen X i , . . . , X^ lafit sich eine Priifgrofie bestimmen, deren Verteilung unter HQ einfach anzugeben ist. Man betrachtet A = Anzahl der Xi mit einem Wert kleiner als SQ. Unter der Vorausetzung, dafi HQ wahr ist, kann m a n jedes Ziehen von Xi Bernoulli-Experiment betrachten mit den beiden Ausgangen
{XiSo}.
als
11.1
439
Ein-Stichproben-Fall
Da die Wahrscheinlichkeit fiir das Eintreten von {Xi < SQ} genau n = 0.5 betragt, erhalt man unmittelbar Der zugehorige Signifikanztest, der sogenannte Vorzeichentest oder sign-Test^ lehnt die NuUhypothese ab, wenn A nach oben oder unten stark abweicht. Die Grenzen der Abweichungen bestimmen sich so, dafi die Wahrscheinlichkeit flir ein derart extremes Ereignis kleiner oder gleich einem vorgegebenen a ist. Das fiihrt zur Ablehnung der NuUhypothese, wenn A < K/2 oder n- A< b^j2,
Vorzeichentest
wobei 6Q,/2 der groiJte Wert ist, fiir den die jB(n, 0.5)-Verteilungsfunktion den Wert a/2 nicht iiberschreitet. Es gilt also P{A < b^/2) < a/2
und
P{A < b^/2 + 1) > a/2.
Das Signifikanzniveau a wird dadurch haufig nicht ganz ausgeschopft, das tatsachhche Signifikanzniveau ist 2(a/2 — P{A < fea/2)) ^^^ damit eventuell kleiner als a. Tests, die das Signifikanzniveau nicht voU ausschopfen, heifien auch konservativ. Alternativ lafit sich der Test durchfiihren mit dem p-Wert (der Uberschreitungswahrscheinlichkeit). Der p-Wert gibt die Wahrscheinlichkeit wieder, dafi die Teststatistik bei Giiltigkeit von HQ den beobachteten Priifgrofienwert oder einen in Richtung der Alternative extremeren Wert annimmt. Man berechnet also zu dem realisierten Priifgrofienwert a, sofern a < n/2, die Wahrscheinlichkeiten PiA = 0), P{A = l),...,P{A
= a)
fiir die potentielle Abweichung nach unten. Wegen der Symmetric der Verteilung erhalt man p = 2 ( P ( ^ = 0) + . . . + P(A = a)). Gilt a > n/2 ergibt sich P{A = n ) , . . . , P(A = a) als Abweichung nach oben und damit p = 2{P{A = n) + "- + P{A = n- a)). Flir a = n/2, was nur fiir gerades n auftreten kann, ist der p-Wert im zweiseitigen Fall gleich Eins. Bei einseitigen Testproblemen ergibt sich der p-Wert vollig analog, allerdings [-P{A = a) bestimmt bei Hi: Xmed > So- Fiir Hi: Xmed < wird nur p = P{A = 0)-\ \- P{A = a) ermittelt werden. Wegen der So mufi logischerweise p = P(A = n) + \-P{A = a). Symmetric der Verteilung ist das jedoch identisch mit p = P{A = 0) H Aus der Konstruktion des Testverfahrens ergibt sich unmittelbar, dafi es geniigt, fiir X ordinales Skalenniveau anzunehmen, da nur betrachtet wird, ob eine Realisation kleiner oder grofier als der hypothetische Wert 60 ist. Die Voraussetzungen des
konservativer Test
11. Spezielle Testprobleme
440
Vorzeichentests sind genau genommen etwas starker. Man lafit nur Verteilungsfunktionen zu, die dieselbe Form besitzen, allerdings jeweils um einen Lageparameter verschoben sind. Wie sich aus der folgenden Ubersicht ergibt, lafit sich der Vorzeichentest auch auf einseitige Hypothesen anwenden.
Vorzeichen-Test
Annahmen: Hypothesen:
Teststatistik:
X i , . . . , Xn unabhangige Wiederholungen, X besitzt stetige Verteilungsfunktion (a)
Ho : Xmed = So
Hi:
Xmed 7^ ^0
(b)
Ho : Xmed > ^0
Hi:
Xmed < ^0
(c)
Ho : Xmed < ^0
Hi:
Xmed > ^0
A = Anzahl der Stichprobenvariablen mit einem Wert kleiner als So
Verteilung unter 5(n,0.5), fiir n > 25 approximativ Ar(0.5n,0.25n) Ablehnungsbereich:
(a) (6) (c)
A < 6Q,/2 oder nA30
approx. A^(0, l)-verteilt
Ein-Stichproben-Tests: Anteilswerte
Exakter Test:
(a)
i f o : TT = TTo
HI:TT^
(6)
HO\'K>'KQ
Hi'.TT
(c)
Ho'.TT
JH"I : TT > TTQ
<no
X = Anzahl der IVeffer
TTQ
< TTO
Binomialtest i5(n,7roj-verteilt
Approximativer Approximativer Test:
7 —
ZJ —
X-mro
i——
-^
Vn:ro(i-.o)
"Rinnminltr-it
XJlilUllllclltL/Ot
app.iV(0,l)-verteilt
11. Spezielle Testprobleme
454
Ein-Stichproben -Tests: hlypothesen uber den Median (filr symmetrische wert)
stetige Verteilung
stetige symmetrische Verteilung
Verteilung identisch mit Hypothesen iiher den Erwartungs(a)
Ho : Xmed = ^0
Hi : Xmed ¥" ^0
(b) (c)
^ 0 • Xmed >So
Hi:
Ho : Xmed ^ ^0
^ 1 • ^med > ^0
Xmed < ^0
. TTT . ^ c A:=Wevte SO fJ^x - I^Y <So
: //x - /^y 7^ ^o HI: fix - I^Y < So Hi: jix - f^Y > So
HI
^_X-Y^So V n
m
Verteilung unter fJ^x - I^Y = SQ:
Ablehnungsbereich:
Fur X - N{fix^ ^ x ) ' y ^ ^il^Y^ al): Z^ N{0,1) Fiir n, m > 30 gilt die Standardnormalverteilung von Z approximativ. (a) (6) (c)
\Z\ > zi_^/2 Z < ~^l_a Z>Zi_a
Sind die Varianzen unbekannt, werden a^ und ay durch die entsprechenden Schatzungen q2
^x
z=l
i=l
ersetzt. Entsprechend ergibt sich - da nur approximativ normiert wird - im folgenden Testverfahren keine Normalverteilung, sondern eine t-Verteilung.
458
11. Spezielle Testprobleme
Vergleich der Erwartungswerte, unbekannte Varianzen
Annahmen und Hypothesen wie im Fall bekannter Varianzen Teststatistik: n Verteilung unter l^x - I^Y — 30
m
t ( n + m — 2)
t(fc) fiir n, m > 30 appr. 7V(0,1)
2^0
02
02
n
?7i
appr. 7V(0,1)
Wilcoxon-Rangsummen-Test Im Ein-Stichproben-Fall wurde der Wilcoxon-Test als nonparametrische Alternative zu Gaufi- und t-Test dargestellt. Auch im Zwei-Stichprobenfall gibt es eine auf Rangen aufbauende Alternative zum im vorhergehenden Abschnitt eingefiihrten Verfahren. Prinzipielle Voraussetzung ist, dafi die Verteilungsfunktionen von X und Y dieselbe Form besitzen, allerdings moglicherweise um einen Betrag verschoben sind. Unter dieser Voraussetzung gilt, dafi die Gleichheit der Mediane, d.h. Xmed = Vmed^ aquivalent ist zur Gleichheit der Verteilungsfunktionen. Gilt Xmed > Vmed^ so ist die Verteilungsfunktion von X gegeniiber der Verteilungsfunktion von Y nach rechts verschoben, bei Giiltigkeit von Xmed < Vmed entsprechend nach links. Der Test geht von dem Grundgedanken aus, dafi bei Giiltigkeit der NuUhypothese HQ : x^ed = Vmed die Werte der X- und F-Stichprobe gut "durchmischt" sein sollten, d.h. keine der beiden Stichproben zeigt im Verhaltnis zur anderen Stichprobe eine Tendenz zu besonders grofien bzw. kleinen Werten. Entsprechend wird die Teststatistik aus den Rangen samtlicher Beobachtungen X i , . . . , Xn^ l i , . . . , y ^ , der sogenannten gepoolten Stichprobe^ gebildet. Man erhalt somit rg ( X i ) , . . . ^rg (Ym)- Die Teststatistik selbst besteht dann aus der Summe derjenigen Range, die zu Werten der X-Stichprobe gehoren. Wenn Bindungen zwischen X- und y - W e r t e n auftreten, d.h. Xi = Yj^ werden Durchschnittsrange gebildet. Bei
gepoolte Stichprobe
460
11. Spezielle Testprobleme
Bindungen innerhalb der X- oder y-Werte sind entsprechende Range zufallig zu vergeben. Die Verteilung dieser Statistik ist wiederum tabelliert. Die folgende Ubersicht gibt das Bestimmungsschema fiir die Teststatistik wieder.
Wilcoxon-Rangsummen-Test
Annahmen:
Hypothesen:
Teststatistik:
X i , . . . , Xn unabhangige Wiederholungen von X , Y i , . . . , Yjn unabhangige Wiederholungen von y , X i , . . . , Xn, Y\,...,Ym unabhangig, X und Y besitzen stetige Verteilungsfunktionen F bzw. G ( a ) ti^
Hi
: Xjxied — Vmed
( b ) HQ : Xjned >
Vmed
- ^ 1 • ^med
^
ymed
( c ) Ho : Xjned
^i-a/2{^^ ^) Tw wi-a{n,m), wobei Wa das ce-Quantil der tabellierten Verteilung bezeichnet. Fiir grofie Stichproben {m oder n > 25) Approximation durch N {n{n + m+ l ) / 2 , nm{n + m+ 1)/12).
11.2
461
Vergleiche a us unabhangigen Stichproben
Beispiel 11.7
Mietspiegel Es soil zu einem Signifikanzniveau von a = 0.01 untersucht werden, ob sich der Mietpreis/qm fiir Ein- und Zwei-Zimmerwohnungen signifikant unterscheidet. Als arithmethisches Mittel ergeben sich x = 8.340 fiir Ein-Zimmerwohnungen und y = 6.906 fiir ZweiZimmerwohnungen. Ohne Beriicksichtigung der Varianz lafit sich daraus natiirlich keine Aussage iiber einen moglichen Unterschied machen. Mit der Bezeichnung /ix und /iy fiir den erwarteten Quadratmeterpreis fiir Ein- bzw. Zwei-Zimmerwohnungen lafit sich das Testproblem formulieren mit den Hypothesen Ho : fix = fJ^Y
Hi:
fix y^ I^Y-
Fiir den t-Test basierend auf 137 Ein- und 374 Zwei-Zimmerwohnungen erhalt man t = 5.363 bei 509 Freiheitsgraden. Legt man a = 0.01 zugrunde, ergibt sich mit der Annahrerung durch die Normalverteilung die kritische Schranke 2;i_o.oo5 = 2:0.995 = 2.58 und der Unterschied erweist sich als signifikant. Der p-Weit fiir dieses Testproblem ist verschwindend klein, so dafi die Nullhypothese abgelehnt wird. D
Beispiel 11.8
Mietspiegel Wir betrachten dieselbe Fragestellung wie in Beispiel 11.7, allerdings fiir 5- und 6-Zimmerwohnungen, d.h. HQ:
fix = My
Hi:
fix y^ f^Y,
wobei fix und fiy den Erwartungswert fiir 5- bzw. 6-Zimmerwohnungen bezeichnen. Als Mietpreise/qm ergaben sich die folgenden Realisationen
X 5-Z-Whng Y 6-Z-Whng
4.448 5.767 6.770 4.280 6.217 5.645 5.353 5.706 2.188 9.991 1.718 9.382 2.654 4.269 6.698 8.002 2.193 5.808 4.648
Mit den Stichprobenumfangen n = 10, m = 9 berechnet man x = 5.637, y = 5.041, 5^ = 3.981, Sy = 7.068. Unter der Annahme ax = cry erhalt man t = 0.556 und 17 Freiheitsgrade. Mit ^0.95(17) = 1.74 erweist sich der Unterschied zu a = 0.10 als nicht signifikant. Geht man von ax ^ cry aus, ergibt sich t = 0.547. Fiir die Freiheitsgrade erhalt man nun k = 14.787 und mit to.95(14) = 1.761 ist der Unterschied zu a = 0.10 ebenfalls nicht signifikant. Als alternativer Test wird der Wilcoxon-Rangsummen-Test herangezogen. Dazu wird die Stichprobe gepoolt, wobei man festhalten mufi, ob der betreffende Mefiwert der X- oder der y-Stichprobe entstammt. Fiir die geordnete gepoolte Stichprobe ergibt sich
11. Spezielle Testprobleme
462
Mefiwert Stichprobenzugehorigkeit Rang
1.718 Y 1 4.648 Y 8 6.217 X 14
2.188 X 2 5.353 X 9 6.698 Y 15
2.193 Y 3 5.645 X 10 6.770 X 16
2.654 Y 4 5.706 X 11 8.002 Y 17
4.269 Y 5 5.767 X 12 9.382 Y 18
4.280 X 6 5.808 Y 13 9.991 X 19
4.448 X 7
Die Summe der Range aus der X-Stichprobe ergibt sich als Tw = 2 + 6 + 7 + 94-10 + 11 + 12 + 14 + 16 + 19 = 106. Legt man ein Signifikanzniveau von a = 0.10 zugrunde, erhalt man die kritischen Schranken tt;o.o5(10,9) = 80 und WQ^QS = 120. Da T^} G (80,120), wird die Nullhypothese der Gleichheit der Lage der Verteilungen beibehalten. Der p-Wert betragt 0.661 und signalisiert damit keine extreme Abweichung in Richtung einer Lageverschiebung. D
11.2.2
x^-Homogenitatstest
Allgemeiner als in den vorangehenden Abschnitten wird hier die Hypothese untersucht, ob k Verteilungen identisch sind. Sei Xi das Merkmal in der z-ten Population bzw. unter der i-ten Versuchsbedingung. Wir gehen davon aus, dafi das Merkmal entweder nur m Kategorien annehmen kann oder in m Klassen gruppiert ist, beispielsweise in die Intervalle [ c o , c i ) , . . . , [cm-i^Cm)' Das Merkmal wird in jeder der k Populationen separat erhoben, d.h. es liegen unabhangige Stichproben vor. Die Ergebnisse werden in einer Kontingenztabelle zusammengefafit. Man erhalt somit Merkmalsauspragungen 1 fl
1 o
m
1
hn
. ..
2
^21
.
k hki h.
him
ni
• • h2m
n2
.••
f^km
rik
h.r
Die Randsummen n i , . . . , n^^ iiber die Zeilen entsprechen hier den Stichprobenumfangen in den einzelnen Populationen. Die Randsummen iiber die Spalten werden wieder durch die "Punkt-Notation" / i . i , . . . , h.m bezeichnet.
11.2
463
Vergleiche aus unabhangigen Stichproben
Beispiel 11.9
Kreditwurdigkeit In Beispiel 1.4 (Seite 5) zur Kreditwurdigkeit wurden 300 problematische und 700 unproblematische Kreditnehmer ausgewahlt. Fiir diese wurde jeweils festgestellt, ob sie bisher ein laufendes Konto bei der Bank unterhielten und wenn ja, wie der Kontostand zu bewerten ist. Es ergab sich folgende Kontingenztabelle
Kreditwurdigkeit
unproblematische Kredite Problemkredite
nein
Konto gut mittel
139
348
213
700
135
46
119
274
394
332
300 1000
Zu untersuchen ist, ob die Verteilung auf die Kategorien des Merkmals "Konto" fiir unproblematische Kreditnehmer und fiir Problemkunden voneinander abweicht. SoUte dies der Fall sein, lafit sich die Variable "Konto" eventuell als Pradiktor verwenden. D
In Abschnitt 11.1.2 wurde mit dem x^-Koeffizienten ein auf Kontingenztafeln aufbauender Test fiir den Zusammenhang zweier Merkmale entwickelt. Obwohl in den hier betrachteten Kontingenztabellen die Zeilen keinem zufallig erhobenen Merkmal entsprechen, sondern den Populationen, aus denen gezogen wird, lafit sich der x^KoefRzient als Abweichungsmafi anwenden. Das ist einfach einzusehen, wenn m a n die NuUhypothese
Ho:
P{Xi=j)
P{Xk =j)
fur j = l , . . . , m
betrachtet. Die NuUhypothese postuliert die Homogenitat der Verteilungen, d.h. die Verteilung des Merkmals ist in jeder Population dieselbe. W a r e diese NuUhypothese wahr, liefien sich alle Populationen l , . . . , f c zusammenfassen und die relativen Haufigkeiten h.n
j = l,...,m, n ergaben eine verniinftige Schatzung fiir jede Population, da nach Voraussetzungen die Verteilungen identisch sind. Da die Anzahlen hij binomialverteilt sind mit B{ni,P{Xi = j ) ) , erhalt m a n unmittelbar als Schatzung fiir die zu erwartende Anzahl hij = niP{Xi = j ) , P{Xi^j)^
und wenn die aus der NuUhypothese abgeleitete Bedingung gilt, ergibt sich hij —
Uih.j
n
11. Spezielle Testprobleme
464
Als Mafi der Abweichung zwischen tatsachlichen Beobachtungen hij und den aus der Giiltigkeit von Ho abgeleiteten Erwartungswerten hij bestimmt man *= m
( h i j - ^ \ riih.j
Diese Grofie, die als Teststatistik verwendet wird, ist identisch mit dem in Abschnitt 3.2 abgeleiteten x^-KoefRzienten, wobei dort die Zeilenrandsummen durch hi. statt Ui bezeichnet wurden. Der kritische Bereich des folgenden Tests ergibt sich aus der Uberlegung, dafi grofie Werte von x^i ^Iso eine grofie Diskrepanz zwischen tatsachlichen und unter HQ ZU erwartenden Beobachtungen, gegen die Nullhypothese sprechen.
X^-Homogenitatstest/fc Stichproben
Annahmen:
Unabhangige Stichprobenziehung in den k Populationen
Hypothesen:
Ho: P{X,=j)^--= P{Xk=j), Hi: P{Xi,=j)j^P{Xi,=j) fiir mindestens ein Tupel (ii,i2, j )
k m
Teststatistik:
x'-EE
j =
l,...,m
[hjj-^j
Verteilung unter HQ: approximativ x^(('^ ~ l)(m — 1)) Ablehnungsbereich: x^ > Xi-a((fc ~ l)(m — 1))
Beispiel 11.10
Kreditwurdigkeit
Fiir die Kontingenztafel aus Beispiel 11.9 ergaben sich die Werte der zu erwartenden Haufigkeit durch
Kreditwurdigkeit
unproblematische Kredite Problemkredite
nem 191.80 82.20 274
Konto gut
mittel
275.80
232.40
700
118.20 394
99.60
300 1000
332
11.3
Vergleiche aus verbundenen Stichproben
465
Daraus errechnet sich ein x^-Wert von 116.851. Der Vergleich mit dem Quantil der x^(2)Verteilung ergibt 116.851 > Xo.gsC^) = ^-99. Die Hypothese einer identischen Verteilung in den Subpopulationen wird somit abgelehnt. Der Kontostand erweist sich als moglicher Pradiktor. D
11.3
Vergleiche aus verbundenen Stichproben
Bisher wurde beim Vergleich von Verteilungen das interessierende Merkmal in separaten unabhangigen Stichproben erhoben. Im folgenden wird von verbundenen Messungen ausgegangen, d.h. die Merkmalsvarianten werden an denselben Untersuchungseinheiten erhoben. Ein Beispiel soil nochmals den Unterschied verdeutlichen. Waldschaden
Beispiel 11.11
In Waldschadensuntersuchungen soil die Veranderung des Schadigungsgrades von Baumen bestimmt werden. Als Indikator wird ein metrisches Merkmal, z.B die Anzahl toter Aste, zugrunde gelegt und der Vergleich soil zwischen den Jahren 1994 und 1996 erfolgen. Die erste Moglichkeit der Datenerhebung besteht darin, in dem spezifizierten Waldstiick der Untersuchung in den Jahren 1994 und 1996 jeweils separate Stichproben zu ziehen, d.h. die im Jahre 1994 ausgewahlten n Baume sind i.a. andere als die im Jahre 1996 ausgewahlten Baume. Bei entsprechend grofiem Waldstiick kann man von unabhangigen Stichproben ausgehen. Eine alternative Erhebungsform besteht darin, das Merkmal in beiden Jahren an denselben Baumen zu messen. Man erhalt somit an jedem Baum zwei Messungen, eine im Jahre 1994 und eine im Jahr 1996. Dies sind verbundene Messungen an der Erhebungseinheit Baum. D
Bei verbundenen Messungen Uegen die Stichprobenvariablen in der Form (Xi,yi),...,(x„,yn) vor, wobei Xi und Yi das interessierende Merkmal unter variierenden Bedingungen bezeichnen. Fiir das Beispiel Waldschaden stellt Xi die Messung im J a h r 1994, Yi die Messung im Jahr 1996 dar. Weiterhin wird angenommen, dafi die Tupel (X^, Yi) unabhangig sind, d.h. die Erhebungseinheit en, an denen X und Y gemessen werden, sind zufallig und unabhangig gewahlt. Prinzipielles Ziel ist es, die Verteilung von X mit der Verteilung von Y zu vergleichen, beispielsweise, indem man mogliche Unterschiede hinsichtlich der Erwartungswerte fix = E{X) und jiy = Eiy) untersucht.
466
11. Spezielle Testprobleme
Ausgehend von den unabhangigen Messungen (Xi, Y i ) , . . . , (Xn^l^n) ist der Grundgedanke bei metrischen Merkmalen die sich ergebenden Differenzen Di = Xi-Yi,
z = l,...,n
zu betrachten. Die Differenzen A lassen sich als unabhangige Wiederholungen der zugrundeliegenden Merkmalsdifferenzen X — Y verstehen. Eine NuUhypothese iiber die Differenz der Erwartungswerte
J^o: E{X)-E{Y)
= 6o
lafit sich im vorhegenden Fall als NuUhypothese
Ho: E{X-Y)
= 6o
formulieren, Damit ist eine NuUhypothese liber Verteilungseigenschaften eines Merkmals, namlich X — Y, formuliert, und das Test problem ist aquivalent zu den im Ein-Stichproben-Fall betrachteten Testproblemen. Wie im Ein-Stichproben-Fall werden auch unabhangige univariate Stichprobenvariablen, namlich die Differenzen Di = Xi — Yi, vorausgesetzt. Konsequenterweise lassen sich damit die Testprozeduren des Ein-Stichproben-Falles (Abschnitt 11.1) anwenden.
11.4
Zusammenhangsanalyse
Die Problemstellungen dieses Abschnitts zielen auf den Zusammenhang zweier Merkmale X und Y ab. Ausgangspunkt sind wiederum unabhangige Wiederholungen {Xi, Yi), i = 1 , . . . , n, der Zufallsgrofie (X, Y). Beispiel 11.12
Sonntagsfrage
In Abschnitt 3.2 wurde bereits eine Erhebung zur Parteipraferenz am nachsten Sonntag behandelt. In der folgenden Tabelle sind die Daten nochmals wiedergegeben,
Manner Prauen insgesamt
CDU/CSU 144 200 344
SPD 153 145 298
PDP 17 30 47
Griine 26 50 76
Rest 95 71 166
435 496 931
Das Untersuchungsziel ist festzustellen, ob die voneinander abweichenden Haufigkeiten fiir Manner und Prauen rein zufallsmafiige Schwankungen darstellen oder ob zwischen Geschlecht und Parteipraferenz ein Zusammenhang besteht. D
11.4
467
Zusammenhangsanalyse
11.4.1
x^-Unabhangigkeitstest
Fiir kategoriale oder kategorisierte Merkmale X und Y mit X G { 1 , . . . , fc} und Y G { 1 , . . . ,m} lafit sich eine Zusammenfassung in Kontingenztafeln betrachten. In der Kontingenztafel Y 1 . m /ill • . . him hi. ^21 . . • h2m h2.
X hki
h.
'
hkn
f^km
K
bezeichnen die Zellhaufigkeiten hij die Anzahlen der Beobachtungen mit den Auspragungen {X = i,Y = j). Die Hypothese HQ : "X und Y sind unabhangig" nimmt fiir kategoriale Merkmale eine sehr einfache Form an. Die Nullhypothese, formuliert durch
Ho: P{X = i,Y = j) = P{X = i)-P{Y^j)
fur alle i, j ,
besagt, dafi sich die gemeinsame Auftretenswahrscheinlichkeit als Produkt der Randwahrscheinlichkeiten darstellen lafit. Mit den Abkiirzungen TTIJ = P{X = i^Y = j ) , TTi. = P{X = i) und TT.j = P{Y = j) erhalt man Ho : TTij = TTi.n.j fiir alle i, j . Man iiberlegt sich nun wieder, wieviele Beobachtungen in Zelle (z, j) zu erwarten sind, wenn HQ wahr ist. Man geht dariiber hinaus von fest vorgegebenen Randern hi..,h.j der Kontingenztafel aus. Die Randwahrscheinlichkeiten lassen sich einfach durch relative Haufigkeiten schatzen. Man erhalt hi. T^i- =
1
^ 5
n 7r.4
=
n
3 = 1,
,771.
Wenn H^ wahr ist, sollte daher T^ij = TTi.TT.^
ein verniinftiger Schatzer fiir die gemeinsame Auftretenswahrscheinlichkeit sein. TTIJ ist nur aus den als fest angenommenen Randsummen bestimmt. Ware dieses TTIJ
11. Spezielle Testprobleme
468
die tatsachliche Auftretenswahrscheinlichkeit, dann ware hij binomialverteilt mit hij ~ jB(n, TTij) und dem Erwartungswert hij = nnij. Man erhalt 11^. n.j
rt'i.iv.j
hij = riTTij = n -
n n n Die unter iJo zu erwartenden Zellbesetzungen hij ergeben sich also in sehr einfacher Form aus Produkten der entsprechenden Randsummen. Sie lassen sich in einer "Unabhangigkeitstafel" zusammenfassen: Y
X
h\.h.\
m h\.h.m
n
n
h2.h.\
h2.h.m
n
n
hk.h.i
hk.h.m
n
n
hi.
hkn
h.l
Man betrachtet nun wieder die Diskrepanz zwischen den tatsachlichen Beobachtungen hij und den zu erwartenden Beobachtungszahlen hij^ die aus der Giiltigkeit der NuUhypothese berechnet wurden. Dies fiihrt zum folgenden x^-Unabhangigkeitstest, der aquivalent ist zum x^-Homogenitatstest. Man vergleiche dazu auch die Ableitung von x^ als Zusammenhangsmafi im Abschnitt 3.2.2. X^-Unabhangigkeitstest Annahmen:
Unabhangige Stichprobenvariablen {Xi, Y^), z = 1,.. . , n , gruppiert in eine {k x m)-Kontingenztafel
Hypothese:
Ho: P(X = i,Y = j) ^ PiX = i). P(Y = j) fiir alle z, j i ? i : P{X = i,Y = j)y^P{X = i)-P{Y = j) fiir mindestens ein Paar (i, j )
Teststatistik: i=ij=i
^^0
Verteilung unter HQ : approximativ 'x^{{k — l)(m — 1)) Ablehnungsbereich: X ' > x f - . ( ( A ; - I ) ( m - 1 ) )
11.4
Zusammenhangsanalyse
469
Sonntagsfrage
Beispiel 11.13
Der zur Kontingenztabelle aus Beispiel 11.12 gehorende x^-Wert wurde bereits in Kapitel 3 (Beispiel 3.12, Seite 126) berechnet. Wahrend der x^-Wert dort nur als deskriptives Mafi verwendet wurde, wird hier der Zufallscharakter der x^-Gro6e mitberiicksichtigt. Legt man die NuUhypothese Ho: P{X = i,Y=j)=PiX
= i)P{Y = j),
i = 1,2, j = 1 , . . . , 5 ,
zugrunde, erhalt man fiir die x^-Statistik eine x^-Verteilung mit (fc — l)(m — 1 ) = 4 Freiheitsgraden. Fiir a = 0.05 erhalt man das Quantil Xo.95(4) = 9.488. Der aus den Daten resultierende x^-Wert von 20.065 fiihrt wegen 20.065 > Xo.95(4) zur Ablehnung der NuUhypothese. Zu einem Signifikanzniveau von a = 0.05 lafit sich somit auf einen Zusammenhang zwischen Geschlecht und Praferenzverhalten bzgl. der Parteien schliefien. D
11.4.2
Korrelation bei metrischen Merkmalen
Fiir gemeinsam normalverteilte Merkmale (X^Y) gilt nach Abschnitt 8.6, dafi X und Y genau dann unabhangig sind, wenn sie auch unkorreliert sind. Die Hypothese der Unabhangigkeit reduziert sich damit auf
Ho : pxY = 0,
wobei PXY den Korrelationskoeffizienten bezeichnet. Testverfahren dazu bauen naturgemafi auf dem empirischen KorrelationkoefSzienten
f:iXi-X){Yi-Y) rxY =
i=l
ij2{Xi-x)^j:iYi-Yr i=l
i=l
auf. Liegt die Zufallsgrofie rxY weit von dem postulierten Wert pxY = 0 entfernt spricht das gegen die Hypothese der Unabhangigkeit bzw. Unkorreliertheit. In den folgenden Testverfahren wird auch die generellere Hypothese HQ : pxY = Po fur einen hypothetischen Wert po beriicksichtigt.
11. Spezielle Testprobleme
470
Korrelations-Tests
Annahmen:
Hypothesen:
Teststatistik:
Unabhangige gemeinsam normalverteilte Stichprobenvariablen (X^, Y^), i = 1 , . . . , n (a)
Ho : p x y = Po Hi: pxY 7^ /^o
(6)
Ho : p x y > Po ^ 1 : pxv < po
(c)
iJo : PXY <po
Hi: pxY > po
Fiir Po = 0, d.h. "Unabhangigkeit" rp
rxY
/
7^
V1 - 4 y Fiir generelles po Z=lflni±^-lnl±^\v/;rr3
Verteilung unter pxY = 0: T ~ t{n — 2) Verteilung unter pxY = Po- Z fiii n> 25 approximativ iV(0, l)-verteilt Ablehnungsbereich:
(a)
|r|
>ti_a/2(n-2)
bzw.
|Z|
(6)
r
ti-a{n — 2)
bzw.
Z
> ;Ji_c/2 zi-a
Beispiel 11.14 Sachverstandigenrat In Beispiel 3.15 (Seite 128) wurde die Prognose des Sachverstandigenrates hinsichtlich des Wirtschaftswachstums den tatsachlichen Werten gegeniibergestellt. Eine sehr kritische Hypothese besagt, dafi Prognose und tatsachliches Wirtschaftswachstum unkorreliert sind, d.h. man betraclitet Ho: p = 0
Hi:
p^O.
Man erhalt mit dem empirischen Korrelationskoeffizienten r = 0.640 die Testgrofie t =
0.64 \/20 - 2 = 3.538. VI - 0.642
11.5 Zusammenfassung und Bemerkungen
471
Der Vergleich mit dem 0.95-Quantil ^0.95(18) = 1.734 zeigt, dafi die Hypothese zu a = 0.10 abgelehnt wird. Der p-Wert von 0.00235 signalisiert eine sehr deutliche Ablehnung. Es ergibt sich ein statistisch signifikanter Zusammenhang zwischen Prognose und tatsachlicher Entwicklung. D
Tests zur Zusammenhangsanalyse
Unabhangigkeitstests: ''pxY = 0" 2 _ Y^ V^ i^ij ~~ ^ijY Kategoriale bzw. gruppierte Merkmale
Normalverteilung
T"^ r ^ i = l j=l
h ""^'3
a p p r o x . x^-verteilt
rp _
i
'^xy
_ /
__ Q
l-r2 xy
t(n — 2)-verteilt
Test zur Starke der Korrelation: "pxy = Po" 1 A 1 + rxY 2 V 1-^xy
11.5
, 1 + Po 1-po,
Zusammenfassung und Bemerkungen
Bei der Uberpriifung von Kennwerten einer Verteilung haben wir uns im wesentlichen auf den Erwartungswert (Gaufi- und t-Test) und den Median (Vorzeichen- und Wilcoxon-Vorzeichen-Test) beschrankt. Wir haben keine Hypothesen betrachtet, die Kennwerte wie die Varianz, die Schiefe oder die Wolbung spezifizieren. Mit dem x^Test wurde ein Anpassungstest dargestellt, der zwar relativ generell einsetzbar ist, aber bei stetigem Merkmal durch die notwendige Gruppierung immer einen gewissen Informationsverlust akzeptiert. Ein Test, der explizit fiir stetige Merkmale geeignet ist, ist z.B. der nicht-behandelte Kolmogoroff-Smirnoff-Test Ahnlich ist die Situation im Zwei-Stichproben-Fall. Die betrachteten Hypothesen betrafen im wesenthchen Lageparameter. Testsituationen, in denen beispielsweise die Gleichheit bzw. UnterschiedHchkeit der Varianz zweier Merkmale untersucht wird,
11. Spezielle Testprobleme
472
wurden nicht betrachtet. Auch fiir den Vergleich der Gesamtverteilung zweier Merkmale wurde mit dem x^-Homogenitatstest die gruppierte Variante dargestellt. Die fiir stetige Merkmale geeignete Version des Kolmogoroff-Smirnoff-Tests findet sich in der vertiefenden Literatur. Eine Verallgemeinerung des Vergleichs von Erwartungswerten bei unabhangigen Stichproben auf den Fall von mehr als zwei Stichproben wird in Kapitel 13 unter der Bezeichnung Varianzanalyse dargestellt. Eine Vielzahl von Tests fiir verschiedene Hypothesen liber Kennwerte findet sich z.B. bei Sachs (2002). Eine ausfiihrliche Darstellung nonparametrischer Verfahren geben Biining und Trenkler (1994).
11.6
Aufgaben
Aufgabe 11.1
Von einem Intelligenztest X ist bekannt, dafi er normalverteilte Werte liefert und Var{X) = 225 gilt. Zu testen ist aus einer Stichprobe vom Umfang n = 10 die NuUhypothese E{X) < 110. (a) Welchen Verwerfungsbereich erhalt man bei einem geeigneten Testverfahren? (b) Wie lautet die Testentscheidung, wenn x = 112 resultiert? (c) Wie grofi ist der Fehler zweiter Art, wenn der tatsachliche Erwartungswert 120 betragt? (d) Welchen Verwerfungsbereich erhalt man, wenn die Varianz nicht bekannt ist, dafiir aber 5^ = 230 berechnet wurde. Wird HQ abgelehnt?
Aufgabe 11.2
Auf zwei Maschinen A und B wird Tee abgepackt. Auf Stichprobenbasis soil nachgewiesen werden, dafi die Maschine A mit einem grofieren durchschnittlichen Fiillgewicht arbeitet als die Maschine B {a = 0.01). (a) Man weiC dafi die Fiillgewichte der beiden Maschinen annahernd normalverteilt sind mit a\ = 49 g^ und cr^ = 25g^. Eine Zufallsstichprobe vom Umfang n^ = 12 aus der Produktion der Maschine A Uefert ein durchschnitthches Fiillgewicht von x = 140 g. Eine Zufallsstichprobe aus der Produktion der Maschine B vom Umfang n2 = 10 ergibt ein durchschnitthches Ftillgewicht von x = 132g. Man fiihre einen geeigneten Test durch. (b) Die Varianzen seien nun unbekannt, aber man kann davon ausgehen, dafi sie gleich sind. Man erhalt als Schatzungen der Standardabweichungen 5^ = 5 und SB = 4.5. Man fiihre mit den Resultaten aus (a) einen geeigneten Test durch.
Aufgabe 11.3
Bei 5 Personen wurde der Hautwiderstand jeweils zweimal gemessen, einmal bei Tag {X) und einmal bei Nacht (Y). Man erhielt fiir das metrische Merkmal Hautwiderstand folgende Daten 24 28 21 27 23 Xi Yi 20 25 15 22 18
11.6
473
Aufgaben
(a) Die Vermutung in Forscherkreisen geht dahin, dafi der Hautwiderstand nachts absinkt. Lafit sich diese Vermutung durch die vorliegende Untersuchung erharten? Man teste einseitig mit einem verteilungsfreien Verfahren (a = 0.05). (b) Man iiberpriife die NuUhypothese aus (a), wenn bekannt ist, dafi der Hautwiderstand normalverteilt ist. Bei einer Umfrage zur Kompetenzeinschatzung der Politiker A und B werden folgende Zufallsvariablen betrachtet X =
1
A ist kompetent
0
A ist nicht kompetent,
Y =
1
B ist kompetent
0
B ist nicht kompetent.
Aufgabe 11.4
Es wird eine Stichprobe von n = 100 befragt. 60 Personen halten A fiir kompetent, 40 Personen halten B fiir kompetent, 35 Personen halten beide fiir kompetent. (a) Man gebe die gemeinsame (absolute) Haufigkeitsverteilung der Zufallsvariablen X und Y in einer Kontingenztafel an. (b) Man teste die Hypothese der Unabhangigkeit von X und Y {a = 0.05). Bei n = 10 Probanden wurden InteUigenz (Variable X) und Gedachtnisleistung (Variable Y) ermittelt. Man erhielt die Wertepaare: X Y
124 79 118 102 86 89 109 100 94 101 112 76 98 91
128 73
114 90
95 84
Man teste die Hypothese der Unabhangigkeit von X und Y unter Verwendung des BravaisPearsonschen Korrelationskoeffizienten (a = 0.05). Hinweise: X) ^? = H I 548, ^ yf = 85 727, X) ^iVi = 95 929.
Aufgabe 11.5
12 Regressionsanalyse
In Abschnitt 3.6 wird behandelt, wie sich der Einflufi eines erklarenden Merkmals X auf ein Zielmerkmal Y darstellen und explorativ untersuchen lafit. Beide Merkmale werden dabei als metrisch skaliert vorausgesetzt, und es wird angenommen, dafi der Zusammenhang zwischen Y und X durch eine approximative Beziehung der Form
Y = fiX) + e beschrieben werden kann. Dabei ist / eine deterministische Regressionsfunktion und e ein Fehler, der durch X allein nicht erklarbar ist. Am bekanntesten ist die lineare Einfachregression, bei der eine lineare Regressionsfunktion
f{X) = a + ^X als "Ausgleichsgerade" verwendet wird. Als Beispiele betrachten wir auch in diesem Kapitel das CAP-Modell mit Y = "Aktienrendite minus Zins" und X = "Marktrendite" und die Mietspiegel-Regression mit Y = "Nettomiete" (oder "Nettomiete/qm") und X = "Wohnflache". Die Abbildungen 3.17 und 3.20 aus Abschnitt 3.6 zeigen die Streudiagramme und zugehorigen Ausgleichsgeraden. Dieser Regressionsansatz wird nun in mehrfacher Hinsicht erweitert. Zunachst wird angenommen, dafi der Fehler e eine Zufallsvariable mit bestimmten Eigenschaften ist. Bei gegebenem Wert x von X ist dann auch Y = f{x) + e eine Zufallsvariable. Das Merkmal X kann deterministisch sein, d.h. die Werte von X konnen systematisch oder "kontroUiert" variiert werden, oder X ist ebenfalls eine Zufallsvariable, d.h. die a:-Werte sind beobachtete Realisierungen von X. Da im Gegensatz zur empirischen Beziehung fiir die Daten nun Zufallsvariablen in den linearen Ansatz eingehen, gelangt man zu einem stochastischen Modell der linearen Einfachregression (Abschnitt 12.1). In Anwendungen liegt sehr oft der Fall vor, dafi die Zielvariable Y von mehreren Einflufigrofien X i , . . . , Xp abhangt. So hangt die Nettomiete von Wohnungen im
12. Regressionsanalyse
476
Beispiel 1.2 neben der Wohnflache von weiteren Merkmalen ab, die Alter, Ausstattung und Lage der Wohnung beschreiben. Dabei konnen die Einflufigrofien sowohl metrisch als auch kategorial sein. Abschnitt 12.2 behandelt das zugehorige Modell der linearen Mehrfachregression. Diese "klassische" lineare Regression basiert auf zwei Grundannahmen: Die Zielvariable Y mu6 metrisch skaliert sein; zusatzlich ist es zumindest giinstig, wenn Y approximativ normalverteilt ist. Zweitens wird die Regressionsfunktion als linear angenommen. Abschnitt *12.4 skizziert einige Erweiterungen der Regressionsanalyse auf nichtlineare Regressionsansatze.
12.1
Lineare Einfachregression
Es liege die Datensituation von Abschnitt 3.6 vor: Fiir n Objekte werden zu den beiden metrischen Merkmalen Y und X die Werte {yi^Xi)^i = l , . . . , n , gemessen oder beobachtet. Dabei ist zu beachten, dafi es in Anwendungen oft notig ist, ein urspriinglich erhobenes Merkmal, etwa Z, geeignet in X = f{Z), z.B. durch X = Z^ oder InZ zu transformieren, so dafi dann nicht Z, sondern die abgeleitete Variable X in den linearen Regressionsansatz eingeht. Dies gilt in analoger Weise fiir das Merkmal Y. 12.1.1
Das Modell der linearen Einfachregression
In der linearen empirischen Beziehung yi = a + pXi + Ei,
Fehlervariable
zufdllige Komponente
fassen wir nun die Fehler e^ als Realisierungen von Zufallsvariablen auf. Im folgenden unterscheiden wir in der Notation nicht zwischen Fehlern und zugehorigen Zufallsvariablen, sondern bezeichnen beide mit e^. Die Fehler- oder Storvariablen ei sind nicht beobachtbar, soUen aber den nicht kontroUierten oder nicht systematisch mefibaren Einjflufi von Mefifehlern oder anderen Variablen, die im Vergleich zu X deutlich weniger Erkarungswert fiir Y besitzen, umfassen. Da sie als unsystematische oder zufdllige Komponente eingehen, ist es verniinftig, dafi man zumindest E{ei) = 0,
deterministisch Realisierungen von Zufallsvariablen
i = 1,..., n
i=l,
,n
fordert. Die Werte Xi konnen deterministisch^ d.h. fest vorgegeben sein, wie etwa in einem geplanten Versuch, oder sie konnen sich als Realisierungen von Zufallsvariablen Xi ergeben. Die zweite Situation liegt in der Regel dann vor, wenn in einer Zufallsstichprobe an n Objekten simultan die Realisierungen (yi, x^), i = 1 , . . . , n, der
12.1
477
Lineare Einfachregression
Variablen (Y, X) beobachtet werden. Bei festen oder beobachteten Werten Xi stellt a + l3xi die systematische Komponente zur Erklarung von Y dar. Die Werte yi sind damit ebenfalls als Realisierungen von Zufallsvariablen Yi aufzufassen. Somit geht die empirische Beziehung iiber in das stochastische Grundmodell Yi = a + l3xi + Si,
E{€i) = 0,
systematische Komponente
i = l,...,n,
der linearen Einfachregression. Dieses Grundmodell wird durch zusatzliche Annahmen weiter spezifiziert. Dem "klassischen" linearen Regressionsmodell liegt die Vorstellung zugrunde, dafi die systematische Komponente a + l3xi additiv und rein zufallig durch Fehlervariablen e^ iiberlagert wird. Diese Modellannahme wird formal dadurch ausgedriickt, dafi die Zufallsvariablen 6^, i = l , . . . , n , unabhangig und identisch verteilt sind. Insbesondere besitzen damit alle e^ gleichgrofie Varianz Var{ei) = a'^. In der folgenden Modelldefinition wird dies zusammengefafit.
Standardmodell der linearen Einfachregression
Es gilt Yi = a + /3xi + ei,
z = 1,..., n.
Dabei sind F i , . . . , 1^ beobachtbare metrische Zufallsvariablen, x i , . . . , Xn gegebene deterministische Werte oder Realisierungen einer metrischen Zufallsvariable X, € 1 , . . . , €n unbeobachtbare Zufallsvariablen, die unabhangig und identisch verteilt sind mit E{ei) = 0 und Var{ei) = cr^ • Die RegressionskoefSzienten a, l3 und die Varianz a^ sind unbekannte Parameter, die aus den Daten (?/i, a;^), i = 1 , . . . , n, zu schatzen sind. Die folgenden Bemerkungen erlautern dieses Modell noch naher. 1. Die Annahme fest vorgegebener x-Werte trifft vor allem fiir "geplante Experimente" zu. Beispielsweise konnte xi die vorgegebene Dosis eines blutdrucksenkenden Praparats und Yi der gemessene Blutdruck sein oder xi die investierten Werbungskosten und Yi der Umsatz fiir ein bestimmtes Produkt. In vielen Problemstellungen liegt aber folgende Situation vor: Die Daten (^i,Xi),i = 1 , . . . ,n, entstammen einer zufaUigen Stichprobe vom Umfang n, bei der fiir jedes Objekt die Werte der Merkmale Y und X festgestellt werden. Man faiJt dann (yi^Xi) als Reahsierungen von unabhangigen und identisch wie (Y,X) verteilten Stichprobenvariablen (Yi.Xi)
Bemerkungen Deterministische und stochastische Regressoren
12. Regressionsanalyse
478
Eigenschaften der Zielvariablen
auf. Diese Situation trifft in ausreichender Naherung auch dann zu, wenn aus einer grofien Grundgesamtheit zufallig ohne Zuriicklegen gezogen wird, wie etwa im Beispiel eines Mietspiegels, wo zu einer gezogenen Wohnung i deren Nettomiete yi und Wohnflache Xi festgestellt wird. In dieser Situation sprechen wir auch kurz von einem Regressionsmodell mit stochastischem Regressor. In der obigen Modellfunktion sind dann streng genommen alle Annahmen unter der Bedingung X^ = x^, i = 1 , . . . , n, zu verstehen, also etwa E{ei\Xi = xi) = 0, Var{ei\Xi = Xi) = G^. Wir unterdriicken diese Bedingung zwar weiterhin notationell, aber Eigenschaften und Aussagen, die aus der Modelldefinition folgen, sind gegebenenfalls "bedingt" zu interpretieren. Dies gilt insbesondere auch fiir die folgende Bemerkung. 2. Aus den Eigenschaften der Fehlervariablen folgen entsprechende Eigenschaften fiir die Zielvariablen. Es gilt E{Yi) = E{a + (3xi + e^) = a + (3xi Var{Yi) = Var{a + f3xi + e^) = a^ , und die Verteilungen der Yi sind bis auf die Verschiebung a + ^Xi der Erwartungswerte gleich. Abbildung 12.1 veranschaulicht diese Eigenschaften.
a + l3x
ABBILDUNG
Homoskedastizitdt
12.1: Dichten der Zielvariablen
Ebenso iibertragt sich, bei gegebenen x^, die Unabhangigkeit der €{ auf die Yi. 3. Die Eigenschaft gleicher Varianz cr^ der Fehlervariablen e^ wird auch als Homoskedastizitdt bezeichnet. Sie wird oft dadurch verletzt, dafi die Varianzen der e^ und damit der Yi mit grdfier werdenden x-Werten ebenfalls zunehmen. Ob die Annahme der Homoskedastizitat kritisch ist, sieht man oft schon aus dem Streudiagramm fiir die {yi,Xi)-WeTte. In Abbildung 3.20 wachst offensichthch die (empirische) Varianz
12.1
479
Lineare Einfachregression
der Nettomieten mit der Wohnflache an. Damit sind die Fehlervarianzen nicht homoskedastisch. Lafit man zu, dafi die Varianzen ungleich sind, so spricht man auch von Heteroskedastizitdt, In diesem Fall sind die Methoden der linearen Regression nur in geeignet modifizierter Form anwendbar. Fiir Zeitreihendaten, bei denen z = 1 , . . . , n aufeinanderfolgende Zeitpunkte sind, kann die Annahme unabhangiger Fehler und damit, bei gegebenen Xi^ unabhangiger Yi verletzt sein, da eine zeitliche Korrelation in Betracht zu Ziehen ist. Diese Situation liegt beim CAP-Modell vor. Empirische und theoretische Ergebnisse deuten allerdings daraufhin, dafi Renditen keine oder nur eine geringe zeitliche Korrelation besitzen.
Heteroskedastizitdt
Korrelation
Sowohl fiir heteroskedastische als auch abhangige Fehlervariablen existieren Modifikationen des Standardmodells. Dabei wird das Grundmodell beibehalten, wahrend die weiteren Annahmen entsprechend abgeandert werden. Dies hat auch entsprechende Modifikationen der einzusetzenden Verfahren zur Folge.
Die eben diskutierten, aber auch alle anderen Annahmen, insbesondere die Linearitat a + (3x der systematischen Komponente des klassischen linearen Regressionsmodells, sind in Anwendungen kritisch zu reflektieren und, soweit moglich, mit statistischen Methoden der Modelldiagnose zu liberpriifen. Dies kann mit Hilfe von formalen Tests, aber auch mit explorativen graphischen Analysen geschehen (vgl. die Abschnitte 12.1.3 und*12.4). Exakte Aussagen zu Verteilungen von Schatzern und Teststatistiken, die auch fiir Stichproben kleineren Umfangs n giiltig bleiben, erhalt man, wenn man zusatzlich annimmt, dafi die Fehler bzw. die Zielvariablen normal vert eilt sind.
Normalverteilungsannahme
ei ^ A/'(0,cr^)
bzw.
Yir^ Nia + pXi.a'^),
i = l,...,n.
Die im folgenden dargestellten Inferenztechniken arbeiten iiblicherweise dann gut, wenn diese Normalverteilungsannahme wenigstens approximativ gilt. Deshalb ist es auch sinnvoU, diese Annahme zum Beispiel mit Normal-Quantil-Plots zu iiberpriifen.
Modelldiagnose
12. Regressionsanalyse
480
12.1.2
Schatzen, Testen und Prognose
Die wichtigsten Grundaufgaben der statistischen Inferenz sind: Punkt- bzw. Intervallschatzen der unbekannten Parameter a,/3 und cr^, Testen von Hypothesen iiber die RegressionskoefRzienten a und /?, und die Prognose der Zielvariablen Y fiir einen neuen Wert x des Regressors X.
Schatzen
KQ-Methode
Fiir das Standardmodell der linearen Regression wird wie in Abschnitt 3.6.2 die gewohnliche KQ- (Kleinste-Quadrate-) Methode eingesetzt. Ersetzt man im KQAnsatz die Realisierungen yi durch die Zufallsvariablen Yf, dann lautet das KQPrinzip: Bestimme die Schatzer a und $ fiir a und f3 so, dafi
E(^^
a
(ixif
mm,
i=i
also die Summe der quadratischen Abweichungen durch a,/3 minimiert wird. Die Losung fiir a und ^ ergibt sich wie in Abschnitt 3.6.2, nur sind statt der yi die Zufallsvariablen K- einzusetzen:
a = Y-$x,
/3 =
^ {xi - x) {Yi -Y)
Y^^iYi-
i=i
i=i
J2{xi-x)'^
Schdtzfunktion
Residuen
rixY
^ — nx^
mit Y = (Yi-] \-Yn)/n. Damit hangen bei gegebenen x^-Werten a und $ von den Zufallsvariablen Y i , . . . , 1 ^ ab und sind somit Schdtzfunktionen. Notationell unterscheiden wir dabei nicht zwischen den Realisierungen von a und /5, die man erhalt, wenn man fiir die Yi die Realisierungen yi einsetzt. Wie in Abschnitt 3.6 bezeichnet man die Abweichungen ei = Yi — Yi\i = l^...^n^ zwischen den Zielvariablen und ihren Schatzern % = a + 0Xi als Residuen. Als Schatzer fiir cr^ verwendet man die gemittelte Residuenquadratsumme a^ = ;r^Z)r=i^?- ^^ folgenden fassen wir die Schatzer und wichtige Eigenschaften zusammen.
12.1
Lineare Einfachregression
481
Kleinste-Quadrate-Schatzer
$=^^^
, & = Y-$x, J2{xi-x)'^ i=l
i=l
1=1
mit den Residuen ei = Yi — Yi und den gefitteten Werten Yi = a + ^Xi Es gilt: E{a) = a, E0)=/3, E{a^) = a\ Var{a) = al = a^
^""^
'^ Jli^i ~ ^)^
=- -a2
E^ " ( E ^f - "^^) '
Far(/?) = 4 = Somit sind d, /3 und a^ erwartungstreue Schatzer. Gilt fiir n —^ oo n
z=l
SO sind sie auch konsistent. Alle obigen Eigenschaften gelten fiir das Standardmodell der linearen Regression. Fiir einen stochastischen Regressor X sind die Resultate bedingt zu interpretieren. Bemerkungen: 1. Die Formel fiir den KQ-Schatzer $ lafit sich leicht zu A ^ =
SY
rxY-^
umformen, wobei rxY^ Sy^ Sx die Schatzer fiir den KorrelationskoefRzienten pxY und die Standardabweichungen cry, ax sind. Diese Beziehung ist fiir das Modell mit einem stochastischen Regressor sinnvoll intepretierbar, fiir deterministische xWerte bleibt sie rein rechnerisch ebenfalls giiltig. Dies gilt in analoger Weise fiir die Aquivalenz i?^ = r'j^y ^^^ Bestimmtheitsmafi und empirischem KorrelationskoefRzienten (vgl. Abschnitt 3.6).
Bemerkungen Beziehung zur Korrelation
12. Regressionsanalyse
482
Linearitdt der KQ-Schdtzer
2. Einfache Umformungen zeigen noch deutlicher, wie a und $ von Yi^... ^Yn abhangen. Ausmultiplizieren im Zahler liefert zunachst
i=l n
i=l n
o ^
2=1
Z=l
Der zweite Term ist null, da Y^{xi — x) = Q ist. Somit erhalt man
/^ = Ehr^
Yi = Y.^C^^ z=l
mit den Gewichten
z=l
Einsetzen in a = y — /3a: ergibt nach kurzer Umformung aiYi, 2=1
ai =
—
n
-X.
A / Y,{xi-xy 2=1
Konsistenz
Somit sind a und $ lineare Punktionen der Zielvariablen Y i , . . . , 1^ und man kann nach den Rechenregeln fiir Linearkombinationen von unabhangigen Zufallsvariablen (Abschnitt 6.1) Erwartungswert und Varianz von a und /3 berechnen und daraus die obigen Eigenschaften ableiten. 3. Die Konsistenzbedingung ^(a^^ —^)^ —> oo bedeutet, dafi die Werte x i , . . . , x ^ , . . . fiir alle n hinreichend stark um ihr arithmetisches Mittel variieren. Nur so kommt immer wieder zusatzliche Information zur Schatzung von d und /3 hinzu. Fiir einen stochastischen Regressor X, bei dem x i , . . . , x ^ , . . . Realisierungen der unabhangigen und identisch wie X verteilten Stichprobenvariablen X i , . . . , X ^ , . . . sind, gilt diese Bedingung, da mit Wahrscheinlichkeit 1 gilt:
^J2{Xi-Xf^Var{X)
= a\.
2=1
gewichtete KQ-bctidtzung
4. Fiir Modifikationen des Standardmodells ergeben sich Anderungen. Wenn zum Beispiel die Varianzen heteroskedastisch sind, ist es giinstiger, sofort zu einer gewichteten KQ-Schdtzung liberzugehen. Man bestimmt dann a und ^ so, dafi die mit
12.1
483
Lineare Einfachregression
den Varianzen af = Var{ei) gewichtete Summe der quadratischen Abweichungen
2=1
*
beziiglich a und /? minimiert wird. Dazu miissen allerdings die af bekannt sein oder geschatzt werden.
Fiir Intervallschatzungen und Tests benotigt man auch Verteilungsaussagen iiber die Schatzer. Unter der Normalverteilungsannahme eir^N{0,a'^)
bzw.
erhalt man wegen a = J^^i^ii sind mit
Yi r^ N{a + fSxi^a'^),
i = l,...,n,
^ = J2^i^i sofort, dafi auch a und /3 normalverteilt
a~iV(a,a|),
^^NiP^aj),
wobei a?, cr? die oben angegebenen Varianzen von a und /3 sind. Ersetzt man dort die unbekannte Varianz cr^ der Fehler durch den Schatzer a^, so sind die standardisierten Schatzer Student-verteilt mit n — 2 Preiheitsgraden. Die Anzahl der Freiheitsgrade verringert sich von n auf n — 2, da die 2 Parameter a, (3 geschatzt werden.
Verteilung der standardisierten Schatzfunktionen
Unter der Normalverteilungsannahme gilt , ^. & — ex —^ t{n - 2),
(3 — 0 , ^. ^ - ^ r^ t{n - 2) "0
'a
mit 2=1
a/y = a-
^
^R
=
lnY^(xi - xY 2=1
Verteilungsaussagen
12. Regressionsanalyse
484
Mit iiblichen Argumenten erhalt man daraus symmetrische Konfidenzintervalle:
Konfidenzintervalle fiir a und /3 a ± (j^^ l - a / 2 ( ^ - - 2 ) ,
p±a^h - a / 2 ( ^
-2)
Fiir n > 30 : t-Quantile der t(n - 2)-Verteilung durch Quantile der iV(0,l)Verteilung ersetzen.
approximativ normalverteilt t-verteilt
In vielen Fallen ist die Normalverteilungsannahme nur approximativ erftillt oder sogar deutlich verletzt. Die obigen Verteilungsaussagen bleiben aber asymptotisch fiir n —> oo richtig, falls die Konsistenzbedingung ^ ( x ^ — x)^ -^ oo erfiillt ist. Das bedeutet, dafi fiir groCen Stichprobenumfang n die Verteilungen der (standardisierten) Schatzfunktionen approximativ normal- bzw. t-verteilt sind und somit die obigen Konfindenzintervalle approximativ das Konfidenzniveau 1 — a besitzen. Falls die Fehler bzw. Zielvariablen selbst bereits approximativ normalverteilt sind, geniigt dazu bereits ein' relativ kleiner (n ~ 20) Stichprobenumfang. Fiir deutlich nicht normalverteilte Fehler bzw. Zielvariablen muiJ jedoch der Stichprobenumfang ebenfalls deutlich erhoht werden, u m zuverlassige Schliisse zu Ziehen.
Beispiel 12.1
CAP-Modell und Beta>Koeffizient In Kapitel 3, Beispiel 3.31 (Seite 163), wurden bereits die KQ-Schatzungen fiir das CAPM beziiglich der MRU-Aktie bestimmt. Man erhielt die Regressionsbeziehung yi = 0.0004+ 1.0216xi + ei,
1,...,31,
fiir den Zeitraum Juni 1991 bis Dezember 1993 mit dem Regressor X = "Marktrendite minus Zins" und der Zielvariable Y = "Rendite der MRU-Aktie minus Zins". Im Gegensatz zum Mietspiegel-Beispiel zeigt das Streudiagramm dieser beiden Variablen in Abbildung 3.20 keine Auffalligkeiten: Offensichtlich wird die Streuung der Zielvariable hier nicht von der Regressorvariable beeinflufit, so dafi von Homoskedastizitat ausgegangen werden kann. Da es sich um Zeitreihendaten handelt, verdient die Annahme unkorrelierter Fehler besonderes Augenmerk. Dazu betrachtet man eine eventuelle Korrelation zwischen den y- Werten mit sich selbst, jedoch um einen Monat verschoben. Der Korrelationskoeffizient von BravaisPearson zwischen {Yi, Fi+i), i = 1 , . . . , 30, betragt hier 0.1817 und der Korrelationstest aus Kapitel 11 kann keine signifikante Korrelation mit den zeitverzogerten Variablen aufzeigen (;>Wert 0.3365). Wir nehmen deshalb im folgenden an, dafi auch die Fehlervariablen nicht korrehert sind. Fiir ihre Varianz cr^ = Var{ei) erhalt man die Schatzung a'
0.000179/29 = 6.17-10-
wobei 0.000179 die Residuenquadratsumme J^iVi ~ ViY ist. Die Standardabweichung wird damit durch a = 0.00248 geschatzt. Mit XlILi ^1 = 0.0016 und x = -0.0068 ergeben sich die
12.1
Lineare Einfachregression
485
geschatzten Standardabweichungen der KQ-Schatzungen fiir die Koeffizienten: 6-^ =
,
0.00248
= 0.0014
/31-(Q.0016-31-0.0Q682) 0.0016
0.00248 (7A = , = 0.1922. ^ VO.0016 - 3 1 . 0.00682 In Kapitel 2 haben wir gesehen, dafi die monatlichen Durchschnittsrenditen der MRU-Aktie nur approximativ normalverteilt sind (vgl. Abbildung 2.30). Aber in dem hier betrachteten Teildatensatz sind keine AusreiBer vorhanden, so dafi wir in guter Naherung von normalverteilten Zielvariablen ausgehen konnen. Unter dieser Verteilungsannahme erhalt man zur Uberdeckungswahrscheinlichkeit 0.95 die Konfidenzintervalle a ± 0.0014 • 2.045 = [-0.0025; 0.0033], p ± 0.1922 . 2.045 = [0.6286; 1.4146]. Dabei liegt der Wert null im Konfidenzintervall fiir den y-Achsenabschnitt a, nicht aber in dem fiir den Steigungskoeffizienten /3. Da bekanntermafien 95 %-Konfidenzintervalle dem Annahmebereich eines zweiseitigen Tests zum Niveau 0.05 entsprechen, bedeutet dies, dafi die NuUhypothese a = 0 verworfen werden kann, wahrend der Steigungsparameter /3 signifikant von null verschieden ist. Die NuUhypothese /?= 1, d.h. der Beta-Faktor zeigt, dafi sich die MRU-Aktie wie der Gesamtmarkt verhalt, kann dagegen nicht verworfen werden. Natiirlich lassen sich auch in der Regressionsanalyse solche Tests anhand geeigneter Teststatistiken durchfiihren, wie im folgenden ausgefiihrt wird. D
Testen Folgende Hypothesen iiber a und /3 sind hauptsachlich von Interesse: (a) iJo : a = ao ,
Hi'.ay^ao
bzw. HQ: /3 = /3o,
Hi: /3^ j3o,
(b) Ho:a>ao,
Hi : a < ao
bzw. HQ: (3>I3Q,
HI'. [3 < /?o,
{c) Ho:a
bzw. HQ : /S < f3o ,
ao
Hi'. (3> ^Q.
Von besonderer Bedeutung ist das Hypothesenpaar Ho:f3 = 0,
Hi'.p^O.
Dabei bedeutet iJo * /? = 0, dafi tatsachlich Y^ = a + e^, i = 1 , . . . , n, gilt, und somit X keinen Erklarungswert fiir Y besitzt. Ablehnung von HQ zugunsten von Hi bedeutet, dafi es sinnvoU ist, X in Form der systematischen Komponente a + l3x zur Erklarung von Y einzusetzen. Als Teststatistiken verwendet man die standardisierten Schatzer.
12. Regressionsanalyse
486
Aufgrund ihrer Verteilungseigenschaften erhalt man Entscheidungsvorschriften, die vollig analog zu denen des t-Tests im Ein-Stichproben-Fall sind. Teststatistiken und Ablehnbereiche bzw.
Tf3o =
/?-/5o ^/3
Ablehnbereiche zu den Hypothesen (a), (b), (c) (a)
ir^ol
>
ti_a/2{n-2)
bzw.
\T^,\
>
h_^/2{n-2)
(b)
Tao
30: Quantile der t{n — 2)-Verteilung durch Quantile der A^(0,1)Verteilung ersetzen. Bei Giiltigkeit der Normalverteilungsannahme besitzen die Tests exakt das Niveau a, ansonsten approximativ fiir groiieren Stichprobenumfang. Wie immer konnen die Testentscheidungen auch iiber die Beziehung zu Konfidenzintervallen oder mittels der p-Werte getroffen werden. Letzteres wird vor allem in statistischen Programmpaketen beniitzt. Dort werden liblicherweise die T-Werte und p-Werte zu den Hypothesen a) mit ao = 0 bzw. (3o = 0 ausgegeben. Daraus laiJt sich dann erkennen, ob der Einbezug von a bzw. f3 in den Regressionsansatz sinnvoll ist. Zusatzlich zu den Schatzwerten a, /3 und T- bzw. p-Werten wird oft mit Hilfe einer sogenannten Varianzanalysetabelle, die auf der Streungszerlegung von Abschnitt 3.6.3 beruht, ein sogenannter F-Wert berechnet. Varianzanalysetabelle mittlerer quadratischer Fehler
Priifgrofie 77.
MQE
^ -
MQR
Streuung
Preiheitsgrade
Erklarte Streuung
SQE
1
MQE=^
Reststreuung
SQR
n-2
MQR=^
Gesamtstreuung
SQT
n~l
12.1
487
Lineare Einfachregression
Es lafit sich zeigen, dafi F = Tj^ gilt. Somit kann auch der F-Wert zur Priifung von HQ: l3 = 0 verwendet werden. Falls die Normal vert eilungsannahme zutrijfft, gilt unter dieser NuUhypothese F ~ F ( l , n — 2). Zudem gilt die Beziehung
F =
i?2 l-i?2
(n-2),
Beispiel 12.2
CAP-Modell und Beta-Koeffizient Im Rahman des CAP-Modells sind vor allem die Hypothesen Ho'.a = 0,
Hi'.a^O
und
HQ : p = 1,
Hi : p ^ 1
von Interesse. Die zugehorigen Realisierungen der TestgroCen lauten fiir unser Beispiel beziiglich der MRU-Aktie:
T
a - —
0.0004 0.0014
0.286,
t/3o
p-1 aa
0.0216 ~ 0.1922
0.112.
Wegen ^0.975 (29) = 2.045 liegen sowohl T^Q als auch T^^ nicht im Ablehnbereich zum Signifikanzniveau 5 %. Somit ist hier der Intercept-Term a nicht signifikant von null verschieden, weswegen er auch haufig im CAP-Modell von vornherein weggelassen wird. Der SteigungskoefEzient /?, der im Rahmen des CAP-Modells auch als Beta-Faktor bezeichnet wird, ist nicht signifikant von eins verschieden, d.h. die MRU-Aktie birgt weder ein grofieres noch ein kleineres Risiko als der Gesamtmarkt. Ferner erhalt man hier die folgende Varianztabelle:
5 g £ ; = 0.00018
1
MQE = 0.00018
SQR = 0.00018
29
MQR = 6 • 10-^
SQT = 0.00036
30
F = 29
Der p-Wert zu F = 29 bei 1 und 29 Freiheitsgraden ist gleich 7-10~^, so daB /? signifikant von null verschieden ist und die X-Variable (Marktrendite minus Zinssatz) also einen Einflufi auf die F-Variable austibt. Der Erklarungswert der unabhangigen Variable lafit sich mit Hilfe des Bestimmtheitsmafies noch genauer messen: Hier gilt i?^ = | S ^ = 0.5, d.h., dafi das hier beschriebene CAP-Modell 50 % der Variation der abhangigen Variable "MRU-Rendite minus Zins" erklart. D
13. Varianzanalyse
520 Zielgrofie
Faktor
Stufe 1 Stufe 2
2/11
2/12
•••
yini
J/21
2/22
•••
y2n2
: Stufe /
yii
yi2
'"
Vlni
Dabei bezeichnen n i , . . . , n / die Stichprobenumfange in jeder Faktorstufe und / die Anzahl der Faktorstufen. In Beispiel 13.2 ist / = 3, ni = 6, n2 = 10, n^ = 8 und n = J2i=i ^i = 24. AUgemein liegen also auf Faktorstufe i die Merkmalsauspragungen yiU'",yini, i = l , . . . , / , vor. Um nun zu einem varianzanalytischen Modell zu gelangen, mu6 die Zielvariable in Abhangigkeit der auf Stufen erfafiten Einfiufigrofie beschrieben werden. Man unterscheidet dazu zwei Ansatze: Modellformulierung (I)
Im ersten Modellansatz nimmt man an, dafi durch die jeweilige Faktorstufe eine gewisse durchschnittliche Auspragung der Zielgrofie, wie etwa ein mittlerer Einstellungsscore der Jugendlichen gegeniiber der Nutzung von Atomenergie, bedingt wird. AUerdings gibt es natiirlich individuelle Schwankungen um diesen mittleren Wert, denen im Modell Rechnung getragen werden mufi. Daher lafit sich die Zielgrofie Yij als Summe des Erwartungswerts jii von Faktorstufe i und eines Storterms eij fiir die i-te Faktorstufe und die j - t e Untersuchungseinheit darstellen, also Xij — /i-i + €.ij ,
Normalverteilung
1,...,/,
j = l,...,ni
Da wir zudem vorausgesetzt haben, dafi die Zielvariable in den Gruppen normalverteilt ist und sich, wenn iiberhaupt, nur durch ihre Erwartungwerte unterscheidet, konnen wir zudem annehmen, dafi die Storgrofie normalverteilt ist mit
Inhaltlich bedeutet diese Annahme, dafi sich die Storterme im Mittel wieder ausgleichen und dafi die VariabiUtat in alien Gruppen gleich ist. Da wir die Untersuchungseinheiten zufallig auswahlen, konnen wir zusatzlich davon ausgehen, dafi die Yij und damit die eij unabhangig sind, d.h. F n , Yi2^..., Yim bzw. €ii,...,€/n/ sind voneinander unabhangig. Uns interessiert nun die Frage, ob sich die Faktorstufen unterschiedlich auf die Zielgrofie auswirken. Diese Frage formulieren wir auch hier als statistische Alternative in dem entsprechenden statistischen Testproblem, das gegeben ist als i?(0
: / i i = /X2
M/
gegen
Hi : fii ^ fij
fiir mindestens ein Paar (i, j )
12.1
489
Lineare Einfachregression
Beispiel 12.3
C A P - M o d e l l und Beta-Koeffizient
Im Teildatensatz von Juni '91 bis Dezember '93 ist die unabhangige Variable stets negativ, so daC man sich fragen konnte, was mit der F-Variable geschehen wiirde, wenn sich der Gesamtmarkt positiver entwickeln wiirde. Wir woUen deshalb die Rendite der MRUAktie (minus deni risikolosen Zinssatz) fiir die drei moglichen X-Werte XQI = 0.0, a:o2 = 0.01 und xos = 0.05 prognostizieren. Punktschatzer fiir YQ erhalt man dann unmittelbar durch Einsetzen in die Regressionsgerade: yoi = 0.0004 + 1.0216 • 0.0 = 0.0004, yo2 = 0.0004 + 1.0216 . 0.01 = 0.0106, yo3 = 0.0004 + 1.0216 • 0.05 = 0.0515.
8 -
/ / / / / / / / /
• •
9
1. 9
* *
m tr
^ S9
/ / / / / /
/ /
/
/ / /
t
M
1 2
i. 9 o o 9 o 9
^
' DAFOX-Rendite minus Zins
ABBILDUNG
12.2: Konfidenzintervall fiir die Regressionsgerade zum CAP-
Modell Die zugehorigen Konfidenzintervalle (vgl. Abb. 12.2) zum Vertrauensgrad 0.95 lauten ^0 ± 2.045 . 0.00248,/1 -f ^ -f ^^^-^'^^^^^ ^, ^° ^/ 31 0.0016 - 31.0.00682 ' also [-0.0054,0.0062] fiir Foi, [0.0022,0.0190] fiir 702 und [0.0286,0.0744] fiir 703- Wahrend man fiir XQI = 0 . 0 noch nicht mit einer positiven Rendite (minus Zins) rechnen darf, sind fiir xo2 = 0.01 und a:o3 = 0.05 die prognostizierten Renditen somit signifikant im positiven Bereich. D
12. Regressionsanalyse
490 12.1.3
Residualanaiyse
Mit dem Schatzen und Testen in einem linearen Regressionsmodell sollte man auch Modelldiagnose eine Modelldiagnose verbinden. Darunter versteht man statistische Mittel, mit denen iiberpriift werden kann, ob die Annahmen des Standardmodells - zumindest approximativ - erfiillt sind oder deutliche Abweichungen vorliegen. Neben formalen Tests, die hier nicht dargestellt werden, sind vor allem graphische Modelldiagnosen, die auf den Residuen basieren, niitzlich. Oft sieht man bereits am Streudiagramm selbst, ob Annahmen verletzt sind. Das Streudiagramm Nettomieten-Wohnflache weist z.B. bereits darauf hin, dafi die Varianzen mit der Wohnflache anwachsen, also heteroskedastisch sind. Aus dem Streudiagramm Nettomieten pro qm-Wohnflache ersieht man, dafi die Beziehung eher nichthnear ist. Noch deuthcher werden derartige Verletzungen der Modellannahmen durch sogenannte Residualplots^ also graphische Darstellung mit Hilfe der Residuen, Residualplots vgl. Abschnitt 3.6.3. Letztendlich beruhen alle derartigen Residualanalysen darauf, dafi sich die Modellannahmen fiir die Fehlervariablen e^ in deren Schatzungen, den Residuen e^, widerspiegeln soUten.
stabilisiert
studentisierte Residuen
Das Streudiagramm der (ei,Xi)-Werte sollte kein systematisches Muster aufweisen. Andernfalls ist, wie im Beispiel der Nettomieten pro qm, das Standardmodell nicht ohne weiteres anwendbar. Oft hilft hier eine Transformation der Variablen, etwa in der Form Y -^ y ^ , m 7^ 0, oder y -^ In y . Damit konnen oft heteroskedastische Varianzen homogenisiert oder stabilisiert werden. Aus dem gleichen Streudiagramm lassen sich auch Ausreifier, also deuthch vom Rest der Daten entfernte (y^, Xi)-Werte erkennen. Solche Ausreifier wird man genauer auf moglicheUrsachen hin ansehen und eventuell aus dem Datensatz entfernen. Abweichungen von der Normalverteilung lassen sich anhand eines NormalQuantil-Plots fiir die Residuen iiberpriifen. Dabei werden statt der e^ oft sogenannte studentisierte Residuen 1 ri = ۥ
n
{xi — x^)^ ^ X? — nx^
verwendet. Man kann zeigen, dafi sie den Eigenschaften der Fehler e^ noch naherkommen als die Residuen e^. Beispiel 12.4
CAP-Modell und Beta-Koeffizient
Das Streudiagramm der Residuen und der gefitteten Werte in Abbildung 12.3 zeigt - wiinschenswerterweise - keinerlei Auffalligkeiten. Die Punktwolke deutet vielmehr darauf hin, dafi die gefitteten Werte und die Residuen unkorreliert sind. Dies rechtfertigt nachtraglich die Annahme der Homoskedastizitat.
12.1 Lineare Einfachregression
491
-0.010
-0.008
-0.006
-0.004
-0.002
gefittete Werte
ABBILDUNG
12.3: Residualplot
Quantile der Standardnormalverteilung
ABBILDUNG
12.4: Normal-Quantil-Plot
Die Normalverteilungsannahme wird zudem durch den Normal-Quantil-Plot der Residuen in Abbildung 12.4 gestiitzt. Offensichtlich treten keine bemerkenswerten Ausreifier auf, und die Verteilung der Residuen lafit sich durch eine Normalverteilung sehr gut beschreiben. D
Mietspiegel
Beispiel 12.5
Am Streudiagramm Nettomieten/Wohnflachen der Abbildung 3.17 aus Abschnitt 3.6 erkennt man bereits, dafi die Fehlervarianzen heteroskedastisch sind. Berechnet man trotzdem nach der gewohnlichen KQ-Methode die Ausgleichsgerade, so erhalt man die Beziehung f = 98.76-h 6.75 X.
492
12.
Regressionsanalyse
Das Streudiagramm der Residuen und der gefitteten Werte in Abbildung 12.5 spiegelt diese Inhomogenitat der Varianzen nochmals wider.
§ A
— I — 400
— I — 600
-r
-r
800
1000
1200
gefittete Werte
ABBILDUNG
12.5: Residualplot
(0 CO
1- 2 - 1 0
1
2
Quantile der Standardnormalverteilung
ABBILDUNG
12.6: Normal-Quantil-Plot
Der Normal-Quantil-Plot in Abbildung 12.6 induziert deutliche Abweichungen von der Normalverteilung. Somit konnen die ungewichtete Regressionsanalyse und die resultierende Ausgleichsgerade nur deskriptiv aufgefafit werden. Fiir eine inferentielle Regressionanalyse mlifite eine gewichtete KQ-Schatzung oder eine geeignete Datentransformation durchgefiihrt werden. •
12.2
12.2
493
Multiple lineare Regression
Multiple lineare Regression
In diesem Abschnitt wird die lineare Einfachregression dahingehend erweitert, dafi neben der Zielvariable Y mehrere erklarende Variablen oder Regressoren Xi^... jXp betrachtet werden. Zu diesen Variablen werden jeweils n Werte Vi^ ^ili
• • • ? ^ip 1
1,
gemessen oder beobachtet. Beispiel 12.6
Mietspiegel
Die Zielvariable "Nettomiete" soil nun durch weitere Merkmale der Wohnung erklart werden. Wir betrachten in diesem Abschnitt eine Teilstichprobe des Mlinchner Mietspiegels mit Wohnungen der Baualtersklasse 1978 — 1989. Als erklarende Variablen werden die Wohnflache in qm, Badausstattung (gehoben/einfach), Kiichenausstattung (gehoben/einfach) und die Wohnlage (normale, gute, beste) herangezogen. Da Wohnungen dieser Baualtersklasse nicht reprasentativ fiir ganz Miinchen sind, dient dieses Beispiel nur zur Illustration der Methoden der multiplen Regressionsanalyse und darf nicht als Vorschlag fiir einen "Mietspiegel" missverstanden werden. D Wie in diesem Beispiel wird fiir den gesamten Abschnitt vorausgesetzt, dafi die Zielvariable metrisch ist. Die Regressoren konnen dagegen metrisch (wie die Wohnflache), binar (wie Bad- bzw. Kiichenausstattung) oder mehrkategorial (wie die Wohnlage) sein. Bei metrischen Regressoren wird es in praktischen Anwendungen oft notig sein, eine urspriingliche erhobene Variable, etwa z, geeignet in x = f{z)^ z.B. X = z^, x = liiz^ usw., zu transformieren, so dafi dann nicht z^ sondern die transformierte Variable x linear in den Regressionsansatz eingeht. Kategoriale Regressoren mit k geordneten oder ungeordneten Kategorien l,...,fc werden durch einen Vektor von m = k — 1 "Dummy-Variablen" x^^\ . . . , x^'^^ kodiert. Benutzt man 0-1 Dummy-Variablen, so spricht man auch kurz von Dummy-Kodierung. Dabei ist x^'^\ i = 1 , . . . ,m, durch
DummyKodierung
(i) _ j 1, fells Kategorie i beobachtet wird 1 0, sonst definiert. Falls die fc-te Kategorie, die Referenzkategorie^ beobachtet wird, so haben alle m Dummy-Variablen den Wert 0. Ein gebrauchliches alternatives Kodierungsschema ist die Effekt-Kodierung^ die in der Varianzanalyse bevorzugt wird. Wir werden fiir das Beispiel des Mietspiegels die Dummy-Kodierung wahlen. Die binare Variable "Badausstattung" ist dann durch XB
gehobene Badausstattung einfache Badausstattung
Referenzkategorie EffektKodierung
12. Regressionsanalyse
494
kodiert. Die dreikategoriale, geordnete Variable "Wohnlage" ist durch die zwei Dummy-Variablen ( i ) _
XV'
=
1,
gute Lage
(2) XT
0,
sonst,
1, 0,
beste Lage sonst,
definiert. Die Referenzkategorie "normale Lage" ist dann durch x^^ = 0 , x^^ = 0 gegeben. Wie bereits im Fall der univariaten linearen Regression kann auch eine Transformation der Zielvariable zweckmafiig oder notwendig sein. Besonders Potenztransforstabilisierende mationen Y -^ V^^ m 7^ 0, oder die logarithmische Transformation Y -^\nY sind Transformatio- geeignete Moglichkeiten. So kann eine multiplikative Beziehung durch Logarithmienen ren in eine additive Beziehung iibergefuhrt werden. Zugleich lassen sich oft gleichzeitig die Varianzen homogenisieren oder stabilisieren. Transformationen dieser Art heifien deshalb auch varianzstabilisierend. Fiir die weitere DarstelUung gehen wir davon aus, dafi der Einfiufi von Xi^... ^Xp auf Y - gegebenenfalls nach Transformation - durch eine approximative lineare Funktion Y = f3o + PiXi + '" + (3pXp + e
additiv-lineare systematische Komponente
beschrieben werden kann. Dabei ist /3o + ^iXi H \- (3pXp die additiv-lineare systematische Komponente und e eine Fehlervariable. Die Regressionskoeffizienten sind folgendermafien zu interpretieren: Erhoht man fiir einen metrischen Regressor Xi den Wert xi um eine Einheit, so zieht das bei festgehaltenen Werten der iibrigen Regressoren. die Erhohung der systematischen Komponente um den Wert /?i nach sich. Da man annimmt, dafi die Fehlervariable den Durchschnittswert 0 besitzt, wird sich dann auch der Wert von Y im Durchschnitt um den Wert /3i erhohen. Ist zum Beispiel Xp eine binare Variable oder eine 0-1-Dummy-Variable, so erhoht sich bei Vorliegen des Werts Xp = l die systematische Komponente um den Wert /3p im Vergleich zur Referenzkategorie Xp = 0, 12.2.1
Das multiple lineare Regressionsmodell
Setzt man in die lineare Funktion fiir y, X i , . . . , Xp die beobachteten Daten ein, so ergibt sich die empirische lineare Beziehung yi= Po + PiXii H
deskriptiv
h jSpXip + ei,
i = 1,..., n.
Damit wird der Ansatz der univariaten linearen Regression auf p Regressoren verallgemeinert. Verbleibt man auf der rein empirischen Ebene der Daten, so kann man die multiple lineare Regression auch rein deskriptiv wie die lineare Einfachregression
12.2 Multiple lineare Regression
495
in Abschnitt 3.6 betrachten und die Regressionskoeffizienten nach dem in Abschnitt 12.2.2 dargestellten Kleinste-Quadrate-Prinzip berechnen. Fiir eine stochastische Modellierung fassen wir die Fehler e^ und die Werte yi wie in Abschnitt 12.1.1 als Realisierungen von Zufallsvariablen €i und Yi auf. Auch die Werte Xii^..,^Xip konnen deterministisch^ d.h. fest vorgegeben, oder Realisierungen von stochastische Regressoren^ d.h. von Zufallsvariablen X i , . . . , X p , sein. Das Grundmodell der hnearen Einfachregression wird so zu ° l,...,n, h PpXip + ei, E{ei) = 0, Yi = ^0 + fSiXii H
deterministisch stochastische Regressoren
erweitert. Nimmt man fiir die Fehlervariablen die gleichen Annahmen wie im univariaten Fall hinzu, so ergibt sich:
Standardmodell der multiplen linearen Regression
Es gilt ^i = /?0 + A^il H
1- l^p^ip + ^i 5 i = 1, . . . , n .
Dabei sind F i , . , . , y^ x i j , . . . , Xnj e i , . . . , en
beobachtbare metrische Zufallsvariablen, deterministische Werte der Variablen Xj oder Realisierungen von Zufallsvariablen Xj^ unbeobachtbare Zufallsvariablen, die unabhangig und identisch verteilt sind mit E{ei) = 0 und Var{ei) — a^.
Die Regressionskoeffizienten /?o,... ,/?p und die Fehlervarianz a^ sind aus den Daten y^, x ^ i , . . . , Xip^ i = 1 , . . . , n, zu schatzen.
Die Bemerkungen im Anschlufi an das Standardmodell der linearen Einfachregression bleiben in entsprechend modifizierter Weise giiltig. So iibertragen sich zum Beispiel die Eigenschaften der Fehlervariablen wieder auf die Zielvariablen: Bei gegebenen Regressorwerten sind die Y i , . . . ,1^^ unabhangig mit Erwartungswert und Varianz Eiji) = /?o + ^\Xii + • • • + ^pXip , Aus der Normalverteilungsannahme
Variji) = (7^
fiir die Fehlervariablen
€i-Ar(0,a2),
2 = l,...,n,
i = 1,..., n. Normalverteilungs' annahme
12. Regressionsanalyse
496
folgt die Normalverteilung fiir die Zielvariablen, also Yi ^ N{fXi, cr^),
i2i = /3o + /3iXii H
+ fSpXip ,
i = 1,..., n.
Die im folgenden dargestellten Schatz- und Testverfahren arbeiten wiederum dann besonders gut, wenn die Fehlervariablen und damit die Zielvariablen zumindest approximativ normalverteilt sind. 12.2.2
Schatzen, Testen und Prognose
Obwohl die Aufgabenstellung und die prinzipielle Vorgehensweise gegeniiber dem univariaten Fall im wesentlichen unverandert bleiben, lassen sich einige Ergebnisse im multiplen Fall nicht mehr in elementarer Form schreiben. Dies gilt insbesondere fiir die Schatzung der Regressionskoeffizienten: Die Schatzer ^Sj, j = 0 , . . . ,p, fiir die Parameter /3j konnen im allgemeinen nicht mehr durch einfache, im Prinzip mit der Hand auswertbare Formeln gegeben werden. Fiir eine voUstandige und kompakte Darstellung ist hierfiir und an einigen weiteren Stellen eine Notation mittels Vektoren und Matrizen zweckmafiig. Wir zeigen zunachst die prinzipielle Vorgehensweise in einfacher Form auf und geben eine Zusammenfassung in Matrizenschreibweise am Ende des Abschnitts. Schatzen
Fiir das Standardmodell wird wieder die gewohnliche KQ-Methode eingesetzt. Nach dem KQ-Prinzip sind die Schatzer /3o, A , . . . , /3p so zu bestimmen, dafi die Summe der quadratischen Abweichungen zwischen Zielvariable und systematischer Komponente minimal wird: KQ-Methode Bestimme ^o? A , . . . , /3p so, dafi die Summe der quadratischen Abweichungen beziiglich /?o,/3i,... ,/?p minimiert wird: n
/?o-- PiXii
VorauS' setzungen
n >p+ 1
Pp^ip) ^ —>
min
Damit dieses Minimierungsproblem eine eindeutige Losung /3o,/3i, • •. ,4^ besitzt, miissen folgende Voraussetzungen erfiillt sein: 1. Der Umfang n der Daten mufi mindestens so grofi sein wie die Zahl der unbekannten Parameter, d.h.
12.2 Multiple lineare Regression
497
n>p+1, Um den Schatzfehler klein zu halten, ist es sogar notwendig, dafi n deutlich grofier als p + 1 ist. 2. Keine Variable Xj, j = 0 , . . . ,p, mit XQ = 1, darf sich als Linearkombination der restlichen Variablen Xk^k^j^ darstellen lassen, d.h. es darf fiir kein jf = 0 , . . . ,p Xj = ^
akXk + b
gelten. Insbesondere darf also nicht eine erklarende Variable Xj aus einer anderen, etwa Xk^ durcti Lineartransformation hervorgehen. Sonst wiirde Xj = aXk + b gelten, und Xj und X^ wiirden in der linearen systematischen Komponente dasselbe erklaren. Fiir Xk = XQ bedeutet dies, dafi keine der Variablen Xj, jf = 1 , . . . ,p, eine Konstante, d.h. Xj = c, sein darf. Im folgenden gehen wir davon aus, dafi diese Voraussetzungen erfiillt sind. Die KQ-Schatzer /So^/^i,.. • ,/3g erhalt man dann prinzipiell wie im univariaten Fall, indem man die 1. Ableitung nach /3o,/3i,... ,/?p gleich null setzt. Dies ergibt ein p + 1-dimensionales lineares Gleichungssystem, das fiir gegebene Daten Vii ^ii5 • • • 5 ^ip^ i = 1 , . . . , n, im allgemeinen nicht mit der Hand, sondern numerisch durch geeignete Algorithmen mit Hilfe eines Computer gelost wird. Als Ergebnis, das auch rein deskriptiv aufgefafit werden kann, erhalt man die KQ-Schatzwerte fiir /3o, / ? ! , . . . , /3p. Als Schatzer a^ fiir a^ verwendet man wieder die geeignet gemittelte Summe der quadratischen Residuen.
KQ-Schatzer im multiplen linearen Modell
/So, A , . . . , /3p: numerische Bestimmung nach dem KQ-Prinzip
n — p—1 ^-^ i=l
n — p— 1 ^-^ 2=1
mit den Residuen ei = Yi — Yi und den gefitteten Werten
Die Schatzer sind erwartungstreu, besitzen minimale Varianz im Vergleich zu anderen linearen Schatzern und sind unter ahnlichen Bedingungen wie im univariaten Fall auch konsistent.
keine Multikollinearitdt
12. Regressionsanalyse
498
Varianz
Die Varianz
a] = Var0j), geschdtzte Standardabweichung
j =
der Schatzer lafit sich zusammen mit den KQ-Schatzern numerisch berechnen bzw. schatzen. Wir bezeichnen die geschdtzte Standardabweichung mit ^j = yVar0j),
Streuungszerlegung
0,.,,,p,
j =
0,...,p.
Wie fiir die lineare Einfachregression gilt die Streuungszerlegung
Y^iY. - Yf = Y^iY, - Y,f 2=1
i=l
+ YO- - Y? i=l
Gesamtstreuung SQT = Reststreuung SQR + erklarte Streuung SQE. Bestimmtheitsmafl
Das
Bestimmtheitsmafi 2 UYi - Y)' R' = E{Yi-Yy
SQE _ SQT
_ SQR SQT
als Quotient der durch die Regression erklarten Streuung und der Gesamtstreuung dient wieder als einfache Mafizahl zur Beurteilung der Giite eines Regressionsansatzes. Also ist 0 < it!^ < 1 ,
und es gilt die gleiche Interpretation wie fiir die Einfachregression (Abschnitt 3.6): Je naher R^ bei 1 liegt, desto besser wird die Zielvariable durch die Regression erklart. Im Extremfall J?^ = 1 gilt Yi = Yi fiir alle z = 1 , . . . , n. Je naher R^ bei 0 liegt, desto weniger erklaren die Regressoren. Im Extremfall i?^ = 0 liefern X i , . . . ,Xp keinerlei Anteil zur Erklarung der Variabihtat; diese wird nur durch die Fehler Ci hervorgerufen. Unter der Normalverteilungsannahme sind die standardisierten Schatzer exakt t-verteilt mit n — p ~ 1 Freiheitsgraden:
Verteilung der standardisierten Schatzer
f^J-f^J
12.2 Multiple lineare Regression
499
Daraus ergeben sich Konfidenzintervalle wie folgt: Konfidenzintervalle fur fij
4 ' ± f3oj,
Hi •Pj 00j .
(a)ifo
••^J
=
Von besonderer Bedeutung ist dabei Fall a) fiir /3oj = 0, d.h.
Wenn HQ zutrifft, hat der Regressor Xj keinen signifikanten Erklarungswert fiir Y und kann aus dem Regressionansatz entfernt werden. Trifft Hi zu, mufi Xj im Ansatz enthalten sein. Die Hypothesen werden folgendermafien getestet: Teststatistiken und Ablehnbereiche J-j —
T
-,
j = 0,...,p
Testvorschrift: HQ ablehnen, falls (a)
\Tj\
>
ti-a/2in-p-l),
(b)
Tj
ti-a{n-p-
1), 1).
approximativ
12. Regresslonsanalyse
500
Overall-F-Test
Unter der Normalverteilungsannahme besitzen diese Tests exakt das Signifikanzniveau a, ansonsten approximativ fiir grofie Stichproben. Mit dem Overall-F-Test soil iiberpriift werden, ob die Regressoren iiberhaupt zur Erklarung der Zielvariablen beitragen. Die zugehorige F-Statistik steht in enger Beziehung zum Bestimmtheitsmafi.
Overall-F-Test (Goodness of fit-Test) Hypothesen:
i?o : A == / ? 2 - - - = /?p = 0 ,
fiir mindestens ein j .
Hi: / 3 , - ^ 0
Teststatistik: B? 1 - i?2
n-p-1 SQEn p ~ SQR
—p — 1 P
Unter HQ gilt:
F ~ F{p, n --p-1) Testvorschrift: Ho ablehnen, falls F>
Fi-aiP,n -p-1)
Die NuUhypothese besagt also, dai3 keiner der Regressoren Xi^... ^Xp einen Beitrag zur Erklarung liefert. Der Name Goodnes of fit-Test ist insofern etwas irrefiihrend: Es wird nicht die Giiltigkeit des linearen Ansatzes iiberpriift, sondern nur, ob wenigsten einer der Regressoren in einem linearen Ansatz einen signifikanten Erklarungsbeitrag liefert. Die Teststatistik F und die benotigten Quadratsummen SQE und SQR werden oft in Form einer Varianzanalysetabelle zusammengestellt:
Varianzanalysetabelle
Streuung
Freiheitsgrade
Erklarte Streuung
SQE
P
Reststreuung
SQR
n — p— 1
Gesamtstreuung
SQT
n-1
mittlerer quadratischer Fehler
Priifgrofie
MQE=^
ri MQE ^ — MQR
MQR = ^ ^ ,
12.2
Multiple lineare Regression
501^
Die Testentscheidung zur Signifikanz einzelner Regressoren und der Overall-F-Test konnen mit Hilfe von statistischen Programmpaketen mittels der standardmafiig ausgegebenen p-Werte durchgefiihrt werden.
Mietspiegel
Beisplel 12.7
Wir woUen im folgenden eine Moglichkeit illustrieren, wie mit einem multiplen linearen Regressionsmodell die Zielvariable Nettomiete {NM) durch die Regressoren W ="Wohnflache" (in qm), Lg = "gute Wohnlage" {ja = 1, nein = 0), Lb = "beste Wohnlage" {ja = 1, nein = 0), B = "kein gekacheltes Bad" {ja = 1, nein = 0) und K "gehobene Ausstattung der Kiiche" {ja = 1, nein = 0) erklart werden kann. Die Stichprobe umfafit Daten zu 167 Wohnungen der Baualtersklasse 1978 - 1989, vgl. Beispiel 12.6 (Seite 493). Als Zielvariable fiir einen linearen Regressionsansatz verwenden wir nicht die Nettomiete NM selbst, sondern die logarithmierte Nettomiete y = In NM: liiNM = l3o-\-f3iW + (32Lg-^P3Lb + ^4B-{-/3BK + €. Folgende Griinde sind daflir mafigeblich: Durch die logarithmische Transformation werden heteroskedastische, mit der Wohnflache anwachsende Fehlervarianzen stabilisiert. Zugleich kann eine bessere Approximation an die Normalverteilung erzielt werden. Das Modell lafit sich auch gut interpretieren: Nach Exponentiation erhalt man die approximative multiplikative Beziehung NM ^ exp(/3o) exp{^iW) exp{(i2Lg) exp{/33Lb) exp{p^B) exp{(3sK) fiir die durchschnittliche, ortsiibliche Miete. Fiir eine Wohnung in normaler Wohnlage {Lg = 0, Lb = 0) und mit einfacher Bad- und Klichenausstattung (B = 0, K = 0) ergibt sich die "Basismiete" NMB « exp(/3o) exp{0iW) = a^ exp(/?iW^). Fiir Wohnungen in guter Lage {Lg = 1, Lb = 0) mit gehobener Bad- und Klichenausstattung ( 5 = 1, K = 1) ergibt sich ein multiplikativer Zuschlag: NM = exp(/3o) exp(^iW^) exp(/32) exp(/34) exp(/?5), d.h. NM = NMBOL2a^ar, mit den Faktoren ^2 = exp(/32),
^4 = exp(/34),
as = exp(/35) •
Die KQ-Schatzung fiir die Daten aus der Stichprobe Hefert folgende Schatzwerte Pj, geschatzte Standardabweichungen (JJ, t-Werte Tj und zugehorige p-Werte:
12. Regressionsanalyse
502
1
w Lg Lb B K
Pj 5.5640 0.0115 0.0841 0.1472 -0.0264 0.0879
Gj
0.0561 0.0008 0.0340 0.0870 0.0710 0.0453
t-Wert 99.23 14.76 2.47 1.69 -0.37 1.94
p-Wert 0.00 0.00 0.01 0.09 0.71 0.05
Der t- und p-Wert zum Regressor B zeigt, dass in der betrachteten Teilgesamtheit der Einfluss der Badausstattung auf die Nettomiete nicht signifikant ist. Bei einem vorgegebenem Signifikanzniveau von a = 10 % besitzen alle anderen Regressor en einen signifikanten Einfluss, wahrend fiir a = 5 % auch die beste Wohnlage und die gehobene Kiichenausstattung nicht mehr signifikant sind. Aus inhaltlichen Griinden belassen wir diese Regressoren trotzdem im Ansatz. Das Bestimmungsmafi R^ = 0.62 zeigt einen guten Erklarungswert an. Als F-Wert zum Overall-F-Test erhalt man F = 51.84, hei p = 5 und n — p — l = 161 Freiheitsgraden. Der zugehorige p-Wert von 2.2-10"-^^ zeigt ebenfalls, daB die Regression einen guten Erklarungswert besitzt. Setzt man die geschatzten Regressionskoeffizienten in den Regressionsansatz ein, so erhalt man fiir die durchschnittliche Basismiete NMB « exp(5.564) • exp(0.0115VF) = 260.9 • exp(0.0115W), also zum Beispiel NMB ^ 584 fiir Wohnungen mit einer Wohnflache von 70 qm. Als multiplikative Zuschlage bzw. Abschlage ergeben sich a2 = exp(0.0841) = 1.088 fiir gute Wohnlage, as = exp(0.1472) = 1.159 fiir beste Wohnlage, 0:4 = exp(—0.0264) = 0.974 fiir kein gekacheltes Bad, as = exp(0.0879) = 1.919 fiir gehobene Kiichenausstattung. D
Prognose
Fiir neue Werte XQI, . . . , x o p von Xi,,.. onsansatz zur Prognose von
^Xp kann der geschatzte lineare Regressi-
Yo = (3o + /3ixoi H Prognosewert
h /3pXop + eo
eingesetzt warden. Als Schdtz- oder Prognosewert ^0 = /3o + A ^ o i H
fiir YQ verwendet m a n h ^pX^p .
12.2 Multiple lineare Regression
503
Fiir den Schatzfehler YQ-YQ gilt E{Yo-Yo) = 0. Die Varianz Var{Yo-YQ) des Fehlers lafit sich mit den Ergebnissen der KQ-Methode numerisch schatzen. Wir bezeichnen sie mit aY, =
^Jvm^{Yo-Yo).
Eine explizite Formel findet sich im nachsten Abschnitt. Unter der Normalverteilungsannahme ist der standardisierte Schatzfehler tverteilt: Yo-Yo t{n-p-l). ^Yo Somit erhalt man (1 — a)-Prognoseintervall fiir I Q gegeben XQ yO±^yo^l-a/2(^-p-l) Graphische Verfahren zur Modelldiagnose basieren wiederum auf den Residuen. Ubliche Residualdiagramme sind etwa: Haufigkeitsverteilungen der Residuen, Normal-Quantil-Plots und Streudiagramme der Residuen gegen die gefitteten Werte oder gegen einzelne Regressoren. Mietspiegel
Beispiel 12.8
Das Streudiagramm der Residuen gegen die gefitteten Werte in Abbildung 12.7 zeigt, von wenigen Ausreifiern abgesehen, keine besonderen Auffalligkeiten. Der Normal-Quantil-Plot fiir die Residuen zeigt gewisse Abweichungen von der Normalverteilung am unteren Rand (Abbildung 12.8). Ansonsten lassen sich keine eklatanten Verletzungen von Modellannahmen erkennen. In Abschnitt *12.4 wird noch zusatzlich untersucht, inwieweit die Annahme des linearen Einflusses der Wohnflache auf die logarithmierte Nettomiete berechtigt ist. D
^12.2.3
Multiple lineare Regression in Matrixnotation
Wir fassen die Zielvariablen Yi und die Werte x ^ i , . . . ,Xip, i = 1,. (n X l)-Vektor Y und in einer {n x {p+ 1))-Matrix X zusammen:
( 1 ^11 Y =
Y2
Xip X2p
x= V 1 ^n\
X>
up
\
, n, m emem
12. Regressionsanalyse
504
—I—
6.5
6.0
7.0
gefittete Werte
ABBILDUNG 12.7: Streudiagramm: Residuen gegen gefittete Werte
r - 2 - 1
0
1
2
Quantile der Standardnormalverteilung
ABBILDUNG
12.8: Normal-Quantil-Plot
Die Matrix X enthalt zusatzlich in der ersten Spalte die Werte der kiinstlichen Variable Xo = 1, die restlichen Spalten enthalten die Werte zu den Variablen Xi^... ,Xp. Bis auf die erste Spalte der X-Matrix entspricht dies auch der Art, wie Datenmatrizen am Rechner gespeichert werden. Zusatzlich definieren wir den {p x l)-Vektor /3
12.2
505
Multiple lineare Regression
der RegressionskoefRzienten und den (n x l)-Vektor e der Fehlervariablen:
Pi
I
/3 =
€2
€ =
V en /
\ ^ p /
Das Grundmodell der multiplen linearen Regression lafit sich dann in Matrixnotation kompakt durch Y - X/3 + e, E{e) = 0 formulieren. Das KQ-Prinzip wird zu (Y-X/3y(Y-X/3)-^imn, wobei A die Transponierte einer Matrix oder eines Vektors A bezeichnet. NuUsetzen der ersten Ableitung nach fi liefert das (p + l)-dimensionale System der "Normalgleichungen" X ' ( Y - X ^ ) = 0 4:^ X ' X ^ = X ' Y . Unter den im vorigen Abschnitt getroffenen Annahmen ist die (p+l)x{p+l) X X invertierbar, so dafi sich
Matrix
^ = (X'X)-^X'Y als KQ-Schatzer ergibt. Bezeichnen wir die Diagonalelemente von (X X)~^ mit Vj^ j = 0 , . . . ,p, so lafit sich zeigen, dafi
Var0j) = a \ gilt. Ersetzt man cr^ durch die Schatzung a^, so erhalt man die im vorigen Abschnitt eingefiihrte geschatzte Standardabweichung aj als aj = a ^ . Zur Berechnung von /3, Vj und damit von aj benotigt man also die Inverse (X X)~^ von X X. Diese Inversion ist im allgemeinen nur mit numerischen Algorithmen in efSzienter Weise mitt els eines Computers durchfiihrbar. Auch zur Berechnung der Varianz des Prognosefehlers YQ — YQ benotigt man (X X)~-^. Es lafit sich namhch Var{Yo - %) = a\l
+ Xo(X'X)-ixo)
506
12. Regressionsanalyse
zeigen. Dabei enthalt XQ = (1, x o i , . . . , xop) die Werte der Regressoren. Setzt man fiir a'^ die Schatzung a^ ein, erhalt man die fiir das (1 — a)-Prognoseintervall benotigte geschatzte Standardabweichung als ayo = a ( l + x;(X'X)-ixo)i/2 Auch hierzu mu6 die Inverse (X X)~^ von X X bekannt bzw. durch einen Computer berechnet sein.
12.3
Binare Regression
In den bisher behandelten Regressionsmodellen wurde die Zielvariable Y immer als metrisch skaliert vorausgesetzt. Ein in der Praxis ebenso haufig auftretender Fall ist der einer kategorialen Zielvariable. Bei der Analyse von Haushalten ist beispielsweise von Interesse, welche Variablen einen Einflui5 darauf ausiiben, ob im Haushalt ein Auto vorhanden ist bzw. ein Rechner, ein ISDN-Anschlui3 oder ein anderer Konsumartikel. In Marketingstudien interessiert man sich fiir Produktpraferenzen, in soziologischen Studien fiir Parteipraferenzen. Im Kreditscoring ist die binare abhangige Variable die Kreditwiirdigkeit (ja/nein) des potentiellen Kunden. Im folgenden wird nur der einfachste Fall einer binaren Zielvariable betrachtet. Zu gegebenen Regressoren Xii,..., Xip wird die binare Zielvariable Yi € {0,1} betrachtet, wobei 1 beispielsweise fiir das Vorhandensein eines Automobils im Haushalt, 0 fiir das Nichtvorhandensein steht. Die Zielvariable Yi ist eine Bernoulli variable, wobei m = P{Yi = 1),
l-7ri = P{Yi = 0).
(12.1)
Die Auftretenswahrscheinlichkeit TT^ hangt natiirUch von den beobachteten Regressorwerten a^a,..., xip ab. Das lineare Regressionsmodell Yi = f3o + (5iXii + • • • + l3pXip + Si
(12.2)
mit einer Storgrofie Si mit E{ei) = Q wiirde fordern, dafi gilt E{Yi) = 7ri = Po + f3ixii + • • • + PpXip .
Logistische Regression
(12.3)
Problematisch ist hier insbesondere, dafi TT^ als Wahrscheinlichkeit immer die Restriktion TT^ G [0,1] erfiillen mufi, so dafi der Giiltigkeitsbereich, d.h. die Werte, die die Regressoren annehmen diirfen, erheblich eingeschrankt ist. Ein einfaches Modell, das derartigen Restriktionen nicht unterliegt, ist das logistische Regressionmodell, ^as fordert TT- = exp(/3o + XjiPi + '" + XjpPp) 1 + exp(/?o + Xiipi H h Xip/3p) '
12.3
507
Bin a re Regression
Mit der logistischen Funktion h{z) = exp{z)/[l + exp{z)) erhalt man die einfache Form TTi = h{f3o + Xiif3i + '" + Xipf3p). (12.5) Der Erwartungswert von Yi^ d.h. die Wahrscheinlichkeit TT^, hangt nun nicht direkt linear von den Regressoren ab, sondern erst nach Transformation durch die Responsefunktion h. Die Form der logistischen Funktion ist aus der Anwendung in Abb. 12.9 ersichtlich. Eine einfache Umformung zeigt, dafi das Modell auch darstellbar ist in der Form TTi (12.6) log = /3o + Xii/3i H h XipPp, l - T T i
wobei TTi/{I — TTi) die Chancen ("odds") und log(7ri/(l — TT^)) die logarithmischen Chancen ("Logits") darstellen. Zu Chancen und relativen Chancen in der Datendeskription siehe Abschnitt 3.2.1 (S. 119). Aus der letzten Form lassen sich die Parameter einfach interpretieren, jSj ist diejenige Veranderung in Logits, die bei Zunahme von Xj um eine Einheit (von Xij nach x^j.+ 1) bei festgehaltenen restlichen Kovariablen auftritt. Wie im linearen Regressionsmodell lafit sich untersuchen, ob die Kovariablen einen Einfiufi auf die Zielvariable ausiiben. Als globale Hypothese untersucht man HQ: PI = "' = l3p = 0 bzw., bezogen auf den Regressor Xj^ die NuUhypothese Ho: Pj=0,
00
c
"o^
o d 1000
2000
3000
4000
Nettoeinkommen
ABBILDUNG 12.9: Pkw-Besitz in Abhangigkeit vom Einkommen.
12. Regressionsanalyse
508
Beispiel 12.9
Pkw im Haushalt
Eine Teilstichprobe des soziookonomischen Panels vom Umfang n = 6071 gibt Auskunft iiber das Haushaltseinkommen {x) und ob ein Pkw vorhanden ist {y = l) oder nicht {y = 0). Als Schatzwert im Modell exp(/?o + x^/3) ^2 TTi = 1 + exp(/3o + Xif3) ergeben sich /3o = —1.851, /? = —0.0021. Abbildung 12.9 zeigt die geschatzte Wahrscheinlichkeit TT^ ftir den Pkw-Besitz in Abhangigkeit vom Nettoeinkommen (in € ) . Zusatzlich sind die relativen Haufigkeiten fiir den Pkw-Besitz, bezogen auf Einkommensintervalle der Lange 25 € , angegeben. Man sieht bereits aus diesen relativen Haufigkeiten die Tendenz zu einer mit dem Einkommen wachsenden Wahrscheinlichkeit, daB ein Pkw im Haushalt vorhanden ist. Die durchgezogene Linie entspricht den Schatzungen des logistischen Regressionsmodells. D Das logistische Modell ist nur eines der moglichen Modelle fiir binare Zielvariable. Fiir eine ausfiihrliche Darstellung, insbesondere auch des Falles mehrkategorialer Zielvariable, siehe Tutz (2000). Die Modelle lassen sich in eine allgemeinere Modellklasse einbetten, die sog. generalisierten linearen Modelle^ die zwar einen linearen Term enthalten, aber noch eine Transformation zwischen linearem Term und zu erwartender Zielgrofie zulassen. In dieser Modellklasse lassen sich u.a. auch poissonverteilte Zielgrofien fiir Zahldaten betrachten. Fiir eine ausfiihrliche Darstellung siehe Fahrmeir und Tutz (2001).
'''12.4
Nichtlineare und nichtparametrische Regression
Nichtlineare parametrische Regression
linear in den Parametem
Charakteristisch fiir lineare Regressionsmodelle ist die Additivitat und Linearitat der systematischen Komponente /3o + /5i^i + • • • + l3pXp. Dabei konnen zwar die Regressoren auch durch geeignete nichtlineare Transformationen aus urspriinglich erhobenen Variablen gebildet worden sein, entscheidend ist jedoch, dafi der Ansatz linear in den Parametem ^Q^. . .^(3^ ist. Bereits in Abschnitt *3.6.4 wurde auf einfache Regressionsansatze hingewiesen, die auch in den P a r a m e t e m nichthnear sind. Ein Beispiel ist etwa die nichtlineare Beziehung Yi=^6Q + 6i exp{-62Xi)
+ e^,
i = 1,..., n .
Sie entspricht der Regel vom abnehmenden Grenznutzen: Hier konnten Xi die Kosten fiir Produktion und Werbung eines Produkts und Yi der jeweils erzielte Ertrag sein. Mit steigenden x^-Werten nahert sich fiir ^2 > 0 die Kurve exponentiell flacher werdend der Sattigungsgrenze ^o-
^12.4
Nichtlineare und nichtparametrische Regression
509
Allgemein spricht man von nichtlinearer parametrischer Regression, wenn ein Modell folgender Form vorliegt: Yi = g{xii,...,
Xip] o,..., Oq)f -^ min .
f—•
do,...,6q
2=1
Zur numerischen Berechnung sind meist iterative Minimierungsalgorithmen notwendig. Zusatzlich konnen mit 6Q^, .. ^6q auch Schatzungen (JQ, . . . , o-^ der Varianzen Varipo)^..., Var{9q) bestimmt werden. Fiir grofie Stichproben sind die Schatzer approximativ erwartungstreu und normalverteilt, d.h.
Damit konnen dann (approximative) Konfidenzintervalle und Tests in Analogie zur multiplen linearen Regression konstruiert werden. Nichtparametrische Regression In vielen Anwendungen ist man nicht von vornherein in der Lage, eine parametrische Spezifikation der Regressionskurve g anzugeben. Dann empfehlen sich nichtparametrische Regressionsmethoden, die ohne die oft strengen Strukturannahmen parametrischer Modelle auskommen. Sie konnen, ahnlich wie nichtparametrische Dichteschatzer, auch zur explorativen Analyse benutzt werden, um die Adaquatheit einer parametrischen linearen oder nichtlinearen Regressionsfunktion zu iiberpriifen oder iiberhaupt erst einen geeigneten Funktionstyp zu finden. Wir betrachten zunachst den Fall bivariater Daten (yi,Xi),i = 1 , . . . ,n, wobei sowohl die Zielvariable Y als auch der Regressor X stetige Variablen sind. In Erweiterung des Grundmodells der linearen Einfachregression soil nun Yi = g{xi) + ei,
E{€i) = 0,
i = l,...,n,
gelten. Dabei wird von der Regressionsfunktion g{x) nur verlangt, dafi sie hinreichend glatt, d.h. zum Beispiel stetig und differenzierbar ist. Fiir die Fehlervariablen
510
12. Regressionsanalyse
Ei werden die gleichen Annahmen wie im linearen Standardmodell oder geeignete Modifikationen unterstellt. Das Ziel der nichtparametrischen Regression besteht in der Schatzung der Funktion g. Dazu existieren verschiedene Ansatze. A m bekanntesten sind Kernschatzer, Spline-Regression und lokale Regressionsschatzer. Alle zugehorigen Schatzverfahren sind numerisch aufwendig und werden hier nicht im Detail beschrieben. Sie sind jedoch in einer Reihe von statistischen Programmpaketen implementiert. Kernschdtzer
Kernschdtzer gehen von der Vorstellung der Regressionsfunktion als bedingtem Erwartungswert von Y gegeben X = x aus, d.h.
g{x) = E{Y\x) = J yf{y\x) dy = ^^^f^^^'^'' , wobei f{y\x) = / ( x , y)/f{x) die bedingte Dichte von Y gegeben X = x ist (vgl. Kapitel 6). Schatzt m a n f{x^y) und f{x) mittels der Daten durch Kerndichteschatzer, so erhalt man einen Kernschatzer g{x) fiir g{x). SplineRegression
RegressionsSplines GldttungsSplines lokale Regression
Beispiel 12.10
Bei der sogenannten Spline-Regression wird der Bereich der x-Werte durch ein feines Gitter unterteilt. In jedem der so entstehenden aneinandergrenzenden Intervalle wird g{x) durch ein Polynom niedrigen Grades, oft ein kubisches Polynom, approximiert. Diese stiickweisen Polynome werden an den Gitterpunkten oder "Knoten" stetig und differenzierbar aneinandergesetzt. Genauer unterscheidet man noch zwischen Regressions-Splines bei denen Gitterpunkte vorgegeben werden, und Gldttungs-Splines^ bei denen die Knoten gleich den gegebenen, geordneten a;-Werten ^(1) ^ ^(2) ^ • • • ^ ^(n) gewahlt werden. Bei Verfahren der lokalen Regression wird zu jedem (festen) x-Wert ein "Fenster" ahnlich wie bei der Kerndichteschatzung u m x gelegt und an die Daten (j/i, Xi) mit x^-Werten aus diesem Fenster eine parametrische Regressionsfunktion einfacher Struktur, insbesondere zum Beispiel eine lokale lineare Regression a(x) + $(x)x^ angepafit. Durchlauft x den Wertebereich von X , so erhalt m a n eine Schatzung g(x) fiir g{x). Mietspiegel
Bislang wurde fiir die Mietspiegel-Regression mit Y = "Nettomiete" und X = "Wohnflache" eine lineare Regressionsfunktion in Form einer Ausgleichsgeraden geschatzt (vgl. Abbildung 3,17). Fiir die gleichen Daten ist in Abbildung 12.10 eine nichtparametrische Schatzung mittels einer Spline-Regression durchgefiihrt. Man erkennt, dafi in einem weiten Bereich von Wohnflachen die Approximation durch eine lineare Regressionsfunktion durchaus adaquat ist. Erst fiir grofiere Wohnflachen wird eine leichte Kriimmung erkennbar. Dabei ist allerdings zu beachten, daC die Schatzung in diesem Bereich von vergleichsweise wenigen Daten abhangt. D
^12.4
Nichtlineare und nichtparametrische Regression
S *
511
o 2-1
I 50
I 100
I 150
Wohnflache ABBILDUNG 12.10: Nichtparametrische Regression von Nettomiete gegen Wohnflache
Fiir eine multiple nichtparametrische Regression mit Regressoren X i , . . . ^Xp und Beobachtungen yi, a^^,..., xip^ i = 1 , . . . , n, ist die zu Yi = g{xi) + e^ analoge Form
multiple nichtparametrische Regression
wobei nun ^ ( x i , . . . ,Xp) eine "glatte" Regressionsoberflache ist. Fiir eine geringe Anzahl von Regressoren (p = 2,3) sind multivariate Versionen der eben skizzierten nichtparametrischen Schatzer gelegentlich noch einsetzbar. Fiir groiSere Werte von p treten ernsthafte Dimensionsprobleme auf. Es ist dann sinnvoU, speziell strukturierte Regressionsfunktionen zu unterstellen. Einen in vielen Fallen brauchbaren KompromiiS stellen additive Modelle dar. Im additive Modelle Vergleich zum linearen Modell Y = (3^ + f3ixi H (- f3pXp + e werden die linearen Funktionen (3jXj ganz oder zum Teil durch glatte, nichtparametrisch modellierte und geschatzte Funktionen gj(xj) ersetzt: y = 5^1(^1) + • • • + 9p{xp) + e
oder zum Beispiel Y = 9i{xi)
+ /32X2 H
h ^pXp + 6.
Der letzte Ansatz heifit auch semiparametrisch und ist vor allem dann sinnvoll, wenn die Regressoren X 2 , . . . , Xp geeignet kodierte binare oder mehrkategoriale Variablen sind.
semiparametrisch
12. Regressionsanalyse
512
Beispiel 12.11
Mietspiegel
In Beispiel 12.7 (Seite 501) wurde ein multipler linearer Regressionsansatz ftir die logarithmierte Nettomiete In NM gewahlt, so dafi der Einflufi der Wohnflache W als linear angenommen wurde. Ersetzt man die lineare Funktion l3o-\- piW durch eine glatte Funktion gi{W), so erhalt man einen semiparametrischen Ansatz fiir y = In NM.
B
ABBILDUNG
lo
Wohnflache 12.11: Nichtparametrische Schatzung des Einflusses der Wohn-
flache
Abbildung 12.11 zeigt die mit einer Spline-Regression nichtparametrisch geschatzte Funktion gi{W). Man erkennt, dai3 ein linearer Ansatz PQ + ^iW fiir den Einflufi von W zumindest fiir Wohnflachen bis zu 100 qm eine gute Approximation ist. D
12.5
12.5
Zusammenfassung und Bemerkungen
513
Zusammenfassung und Bemerkungen
Die einfache und besonders die multiple Regressionsanalyse zahlen zu den bekanntesten und am meisten eingesetzten Verfahren der statistischen Praxis. In diesem Kapitel wurden vor allem die zugehorigen Schdtzprobleme und Testprobleme sowie die Prognose behandelt. Die Adaquatheit der dabei eingesetzten Methoden beruht ganz wesentlich darauf, inwieweit die Annahmen fiir das lineare Regressionsmodell auch tatsachlich zutreffen. Eine Grundannahme ist, dafi die Zielvariable Y metrisch ist. Zudem arbeiten die Inferenztechniken dann gut, wenn Y zumindest approximativ normalverteilt ist. Dies lafit sich unter Umstanden durch eine geeignete Datentransformation erreichen. Die anderen entscheidenden Annahmen sind: Y lafit sich durch eine systematische Komponente und einem additiven Fehler erklaren. Fiir die systematische Komponente wird angenommen, dafi sie sich als Linearkombination der Regressoren X i , . . . ,Xp schreiben lafit. Von den Fehlervariablen wird im Standardmodell gefordert, dafi sie unabhdngig und homoskedastisch sind. Zudem ist es giinstig, wenn sie approximativ normalverteilt sind. Methoden der Modelldiagnose dienen dazu, Verletzungen dieser Annahmen zu iiberpriifen. Wir sind hier nur kurz auf graphisch-explorative Moglichkeiten der Residualanalyse eingegangen. Ein fiir die Praxis eminent wichtiges Problem der Modellwahl ist die Variablenselektion^ d.h. die Auswahl wichtiger und aussagekraftiger Variablen aus einem oft umfangreichen Katalog von potentiellen Einflufigrofien. Statistische Programmpakete bieten dazu auch automatische datengesteuerte Methoden an. Fiir ausfiihrliche Darstellungen zu diesen Fragestellungen, aber auch fiir das lineare Regressionsmodell im allgemeinen, sei auf Kramer und Sonnberger (1986), Toutenburg (1992) und Fahrmeir, Hamerle und Tutz (1996, Kap. 4) verwiesen, sowie auf Lehrbiicher der Okonometrie, z.B. Schneeweifi (1990) und Judge, Griffiths, Hill, Liitkepohl und Lee (1985). Falls die Annahme der Linearitat der systematischen Komponente nicht gegeben sind, wird man auf die nichtlineare und nichtparavfietrische Regression^ welche in Abschnitt *12.4 kurz erwahnt sind, zuriickgreifen. Als weiterfiihrende Literatur hierzu seien Seber und Wild (1989), nichthneare Regression, Hardle (1992), Hardle (1991), Hastie und Tibshirani (1990) und Green und Silverman (1994) sowie die zusammenfassende Darstellung in Fahrmeir, Hamerle und Tutz (1996, Kap. 4), genannt. In manchen Anwendungen ist die Grundannahme einer metrischen Zielvariable Y eklatant verletzt. Ein Paradebeispiel hierfiir ist der Fall einer bindren oder kategorialen Zielvariable Y. So lafit sich beispielsweise die Fragestellung des KreditScoring, Beispiel 1.4 (Seite 5), als Regressionsproblem mit der binaren Zielvariablen Y = "Kreditwiirdigkeit", wobei y = 1 fiir nicht kreditwiirdig, y = 0 fiir kreditwiirdig steht, und den in Beispiel 1.4 genannten Merkmalen als Einflufigrofien auffassen. Statt der herkommlichen Regressionsanalysen bietet sich dafiir die sogenannte kate-
12. Regressionsanalyse
514
goriale Regression gression.
an. Bekannte Vertreter sind die sogenannte Probit- und Logitre-
Eine weitere Problemstellung, die mit der herkommlichen linearen Regression meist nur unzureichend behandelt werden kann, ist die Analyse von Lehens-^ Verweiloder anderen Zeitdauern in Abhangigkeit von EinfluiSfaktoren. Beispiele hierfiir sind die Lebens- oder Uberlebenszeiten in medizinischen Studien, die Dauer der Arbeitslosigkeit, der Zeitraum zwischen der Markteinfiihrung eines P r o d u k t s und dem Kauf durch die Konsumenten, die Perioden, in denen ein technisches Gerat storungsfrei arbeitet, die Verweildauer in einem bestimmten Berufsstatus, etc. Darstellungen der kategorialen Regression und der umfassenderen Klasse generalisierter linearer Modelle sowie von Regressionsmodellen fiir Lebens- und Verweildauern finden sich bei Fahrmeir, Hamerle und Tutz (1996, K a p . 5,6) und der dort angegebenen Literatur.
12.6
Aufgaben
Aufgabe 12.1
In Beispiel 3.27 (Seite 155) wurde ein lineares Regressionsmodell besprochen, das den Einflufi der taglichen Fernsehzeit auf das Schlafverhalten von Kindern untersucht. (a) Testen Sie unter Normalverteilungsannahme, ob die vor dem Fernseher verbrachte Zeit einen signifikanten EinfluB auf die Dauer des Tiefschlafs ausiibt (a = 0.05). Warum ist die Normalverteilungsannahme hier problematisch? (b)Ein weiteres Kind sah tagsiiber 1.5 h fern. Wie lange wird gemaB der angepaBten Regression sein Tiefschlaf erwartungsgemafi dauern? Geben Sie zu Ihrer Prognose auch ein 95 %-Konfidenzintervall an.
Aufgabe 12.2
Fiir 64 nach 1984 gebaute Wohnungen aus der Miinchner Stichprobe wurde analog zu Beispiel 12.7 (Seite 501) die logarithmierte Nettomiete in Abhangigkeit von der Wohnflache (W), der Lage {Lg und Le), sowie der Bad ( 5 ) - und Kiichenausstattung {K) durch eine multiple lineare Regression modeUiert. Die KQ-Schatzung ergibt die folgenden Werte fiir die Regressoren und die geschatzten Standardabweichungen:
1
w Lg Le B K
k
5.8418 0.0126 0.1807 -0.3380 0.2629 0.1079
^i
0.2045 0.0022 0.0959 0.1794 0.1240 0.0900
12.6 Aufgaben
515
(a) Welche Nettomiete wiirden Sie gemafi diesem Modell fiir eine 80 qm groBe Wohnung in einer normalen Wohnlage mit einer gehobenen Bad- und Kiichenausstattung prognostizieren? (b) Bestimmen Sie die zu den Schatzungen gehorigen t- und p-Werte und interpretieren Sie Ihr Ergebnis. (c) Das Bestimmheitsmafi betragt hier i?^ = 0.4229. Tragen die Regressoren iiberhaupt zur Erklarung der Nettomiete bei? Fiihren Sie einen Overall-F-Test zum Niveau a = 0.01 durch. An einer Mefistation in Miinchen wurden an 14 Tagen neben anderen Luftschadstoffen auch die Schwefeldioxidkonzentrationen gemessen und Tagesmittelwerte gebildet. Untersuchen Sie den Einflui3 der Tagesdurchschnittstemperatur in Grad Celsius (= Xi) auf die aus Symmetriegriinden logarithmierten S02-Konzentrationen (=Y). Liegt ein Wochenendeffekt vor? Die Variable X2 gibt an, ob an einem Samstag oder Sonntag gemessen wurde {X2 = 1) oder nicht (X2 = 0). Esgilt: y -3.147 -2.830 -3.016 -3.079 - 3 . 5 4 1 -2.976 -2.781 -3.352 -2.765 - 1 . 8 9 7 -2.120 - 2 . 4 5 3 - 1 . 9 7 3 - 2 . 2 3 5 16.47 16.02 16.81 22.87 21.68 21.23 20.55 18.32 15.96 15.36 12.47 12.46 11.77 11.72 0 0 0 1 1 0 0 0 0 0 1 1 0 0 X2 XI
/
(X'X)-i =
1.5488742 -0.0882330 \ -0.0162669
XV =
V
-0.0882330 -0.0162669 \ 0.0053732 -0.0050992 -0.0050992 0.3548391 /
-38.16486 \ -656.46618 -11.19324 /
(a) Schatzen Sie die Regressionskoeffizienten im zugehorigen multiplen linearen Modell und kommentieren Sie Ihr Ergebnis. (b) Als Bestimmheitsmafi erhalt man i?^ = 0.5781. Tragen die Regressoren Iiberhaupt zur Erklarung der S02-Konzentration bei? Fiihren Sie einen Overall-F-Test zum Niveau a = 0.01 durch. (c) Die geschatzten Standardabweichungen betragen ai = 0.0267 und &2 = 0.2169. Testen Sie die Hypothesen /3i = 0 fiir 2 = 1,2 zum Niveau a = 0.05. Entfernen Sie die Kovariable, die offenbar keinen Einflufi hat, aus dem Modell und fiihren Sie eine lineare Einfachregression durch.
Aufgabe 12.3
13 Varianzanalyse
Einige der statistischen Testverfahren, die wir bislang kennengelernt haben, behandeln den Vergleich von Gruppen. Als ein Beispiel sei hier der t-Test genannt, mit dem unter der Annahme normalverteilter Merkmale zwei unabhangige Stichproben miteinander verglichen werden. Dabei iiberpruft man, ob sich die beiden Zufallsvariablen hinsichtlich ihrer Erwartungswerte unterscheiden. Eine Verallgemeinerung dieser Situation auf den Vergleich mehrerer Gruppen fiir ein kategoriales Merkmal liefert der Homogenitatstest, der iiberpruft, ob dieses Merkmal in alien Gruppen dieselbe Verteilung besitzt. Betrachten wir nun das folgende fiktive Beispiel: Bildung gleich Manipulation? In einer Studie im Bereich der Erziehungswissenschaften mit dem provozierenden Titel "Bildung gleich Manipulation" soil u.a. untersucht werden, wie stark Jugendliche durch einseitiges Informationsmaterial in ihren Einstellungen beeinflufit werden. Konkret wurde ein Fragebogen entwickelt, mit dem die Einstellung von Jugendlichen zur Nutzung von Atomkraft zur Energiegewinnung gemessen werden kann. Um nun in Erfahrung zu bringen, inwieweit eine Beeinflussung durch einseitiges Informationsmaterial moglich ist, wurde eine zufallig ausgewahlte Gruppe von Jugendlichen zufallig in drei Untergruppen aufgeteilt. Die Jugendlichen in den drei Untergruppen wurden anschliefiend mit unterschiedlicher Zielrichtung iiber Atomkraft informiert: Der "Pro-Gruppe" wurde ein Film gezeigt, in dem die Nutzung von Atomkraft klar befiirwortet wird und in dem die Vorteile der Nutzung dieser Energie ausfiihrlich dargestellt werden. Die "Kontra-Gruppe"sah einen Film, der im Gegensatz dazu die Risiken der Atomkraft in den Vordergrund stellt. Die dritte Gruppe diente als "KontroUgruppe". Der entsprechende Film informierte sachlich sowohl iiber Vor- als auch iiber Nachteile der Nutzung von Atomkraft. Nachdem die Jugendlichen den jeweiligen Film gesehen haben, wurde ihre Einstellung zur Atomkraft iiber den Fragebogen erfafit. Die verschiedenen Items des Fragebogens wurden dann in einem sogenannten Score zusammengefafit. Aufgrund dieses so gebildeten einzelnen Werts wurde die Einstellung jedes einzelnen JugendUchen schUefilich beurteilt. Die Frage ist nun, ob sich die mittleren Scores in den drei Gruppen unterscheiden und ob man daraus
Beispiel 13.1
518
13. Varianzanalyse
schlieBen kann, dafi der Inhalt des Informationsmaterials Einflufi auf die Einstellung von Jugendlichen hat. D
Faktor Faktorstufen
Zur Beantwortung der in dem Beispiel beschriebenen Pragestellung ist der Vergleich von drei Gruppen erforderlich, da der potentielle Einflu6/aA;tor "Informationsmaterial" auf drei Faktorstufen untersucht wurde. Die interessierende Zielgrofie ist die Einstellung der Jugendlichen. Diese kann je nach Konstruktion als metrische Variable angesehen werden. In vielen Fallen werden solche Scores auch derart konstruiert, dafi fiir diese die Normalverteilungsannahme gerechtfertigt ist. Gehen wir nun davon aus, dafi die gemessene Zielgrofie metrisch ist, so bedeutet diese Pragestellung eine Verallgemeinerung der eingangs beschriebenen Situationen in zwei Richtungen. Zum einen mufi der zur Uberpriifung des damit verbundenen Testproblems eingesetzte Test den Zweistichproben-t-Test auf mehr als zwei unabhangige Stichproben verallgemeinern. Zum anderen mufi die Situation des Mehrgruppenvergleiches einer kategorialen Variable auf den Fall einer metrischen erweitert werden.
Die statistische Methode, die diese Verallgemeinerung leistet, ist die sogenannte Varianzanalyse, Anhand dieser Methode ist es moglich, Unterschiede in den ErwarVarianzanalyse tungswerten einer normalverteilten Zufallsvariable in mehreren Gruppen zu beurteilen. Dabei wird ein statistischer Test bereitgestellt, mit dem eine Entscheidung dariiber gefallt werden kann, ob die beobachteten Unterschiede in den Mittelwerten der einzelnen Gruppen ausreichend grofi sind, um davon auf Unterschiede in den zugehorigen Grundgesamtheiten schliefien zu konnen. Der Name dieses statistischen Verfahrens riihrt daher, dafi letztendlich anhand der Priifgrofie getestet wird, ob die Variabilitat zwischen den Gruppen grofier ist als innerhalb der Gruppen. Ware diese Bedingung erfiillt, so lage ein Indiz dafiir vor, dafi Unterschiede zwischen den Gruppen bestehen. Neben dem oben beschriebenen beispielhaften varianzanalytischen Problem gibt es viele andere Fragestellungen, die sich anhand einer geeigneten Varianzanalyse losen lassen.
varianzanalytisches Modell
In der Medizin ist es etwa von Interesse zu erfahren, ob es Unterschiede zwischen verschiedenen Dosierungen eines neuen Medikaments und einem Placebo hinsichthch der Gesundung der Patienten gibt. In der Landwirtschaft, aus der heraus viele statistische Methoden und insbesondere die Varianzanalyse entwickelt wurden, konnte die Frage nach dem Einflufi der Menge eines Diingemittels und der Beschaffenheit des Bodens auf den Ernteertrag interessieren. Der Einflufi der Schichtzugehorigkeit auf das Einkommen kann ebenfalls iiber ein varianzanalytisches Modell erfafit werden. Dabei erfordern die verschiedenen praktischen Probleme natiirlich auch verschiedene Varianzanalysemodelle mit dazugehorigen Prlifgrofien, die sich gerade nach Pragestellung und Versuchsanordnung unterscheiden.
13.1 Einfaktorielle Varianzanalyse
13.1
519
Einfaktorielle Varianzanalyse
Die einfaktorielle Varianzanalyse oder auch Einfachklassifikation ist fiir die in Beispiel 13.1 beschriebene Situation adaquat, in der lediglich ein Faktor und zwar die Methode zur Vermittlung von Wissen auf mehreren Stufen, hier ein Film mit positive! Information zu Kernenergie, ein Film mit negative! und einer mit neutraler Information, betrachtet wird. Von Interesse ist nun der Einflufi dieses Faktors auf die eigentliche metrische Zielgrofie, die in unserem Beispiel gerade durch die Einstellung der Jugendlichen zur Nutzung von Kernenergie gegeben ist. A n h a n d der Varianzanalyse wird untersucht, ob die verschiedenen Stufen hier zunachst eines Faktors statistisch signifikant unterschiedliche Wirkungen auf das interessierende Merkmal tiaben. Aufierdem konnen die Effekte der Faktorstufen quantifiziert werden.
einfaktorielle Varianzanalyse
Bildung gleich Manipulation?
Beispiel 13.2
Konkretisieren wir im folgenden obiges Beispiel. Dazu gehen wir nun davon aus, dafi 24 zufallig ausgewahlte Jugendliche zuerst zufallig in drei Gruppen aufgeteilt wurden. Zehn Jugendliche bildeten die "Pro-Gruppe", acht die "Kontra-Gruppe" und sechs die "KontroUgruppe". Der Score, der anhand eines Fragebogens ermittelt wurde und die Einstellung der Jugendlichen zur Nutzung von Kernenergie wiedergeben soil, nimmt umso hohere Werte an, je positiver der Jugendliche die Nutzung von Atomkraft einschatzt. Per Konstruktion kann dieser Score als normalverteilte GroBe angesehen werden. Die Befragung ergab folgende Scores fiir die Einstellung der Jugendlichen zur Nutzung von Atomkraft.
KontroUgruppe Pro-Gruppe Kontra-Gruppe
8 7 4
Scores 12 7 10 11 12 9 15 13 11 16 5 6 3 8 10
12 8 3 9
13
16
Wie lafit sich nun der EflFekt des filmischen Informationsmaterials auf die Einstellung der Jugendlichen schatzen, und wie kann man beurteilen, ob das jeweilige Informationsmaterial Einflufi auf die Einstellung der Jugendlichen hat? D Dazu benotigen wir zunachst eine allgemeine Notation. Bezeichnen wir die Zielgrofie mit y , so liegen uns also Beobachtungen yij vor, wobei der erste Index angibt, zu welcher Faktorstufe die Beobachtung gehort, und der zweite Index die Nummer der Untersuchungeinheit in dieser Faktorstufe. Die Umfange der einzelnen Gruppen, die sich durch die Faktorstufen ergeben, miissen, wie in Beispiel 13.2, nicht gleich grol3 sein. Die in Beispiel 13.2 angegebene Tabelle lafit sich damit in allgemeiner Notation schreiben als
13. Varianzanalyse
520 Zielgrofie
Faktor
Stufe 1 Stufe 2
2/11
2/12
•••
yini
J/21
2/22
•••
y2n2
: Stufe /
yii
yi2
'"
Vlni
Dabei bezeichnen n i , . . . , n / die Stichprobenumfange in jeder Faktorstufe und / die Anzahl der Faktorstufen. In Beispiel 13.2 ist / = 3, ni = 6, n2 = 10, n^ = 8 und n = J2i=i ^i = 24. AUgemein liegen also auf Faktorstufe i die Merkmalsauspragungen yiU'",yini, i = l , . . . , / , vor. Um nun zu einem varianzanalytischen Modell zu gelangen, mu6 die Zielvariable in Abhangigkeit der auf Stufen erfafiten Einfiufigrofie beschrieben werden. Man unterscheidet dazu zwei Ansatze: Modellformulierung (I)
Im ersten Modellansatz nimmt man an, dafi durch die jeweilige Faktorstufe eine gewisse durchschnittliche Auspragung der Zielgrofie, wie etwa ein mittlerer Einstellungsscore der Jugendlichen gegeniiber der Nutzung von Atomenergie, bedingt wird. AUerdings gibt es natiirlich individuelle Schwankungen um diesen mittleren Wert, denen im Modell Rechnung getragen werden mufi. Daher lafit sich die Zielgrofie Yij als Summe des Erwartungswerts jii von Faktorstufe i und eines Storterms eij fiir die i-te Faktorstufe und die j - t e Untersuchungseinheit darstellen, also Xij — /i-i + €.ij ,
Normalverteilung
1,...,/,
j = l,...,ni
Da wir zudem vorausgesetzt haben, dafi die Zielvariable in den Gruppen normalverteilt ist und sich, wenn iiberhaupt, nur durch ihre Erwartungwerte unterscheidet, konnen wir zudem annehmen, dafi die Storgrofie normalverteilt ist mit
Inhaltlich bedeutet diese Annahme, dafi sich die Storterme im Mittel wieder ausgleichen und dafi die VariabiUtat in alien Gruppen gleich ist. Da wir die Untersuchungseinheiten zufallig auswahlen, konnen wir zusatzlich davon ausgehen, dafi die Yij und damit die eij unabhangig sind, d.h. F n , Yi2^..., Yim bzw. €ii,...,€/n/ sind voneinander unabhangig. Uns interessiert nun die Frage, ob sich die Faktorstufen unterschiedlich auf die Zielgrofie auswirken. Diese Frage formulieren wir auch hier als statistische Alternative in dem entsprechenden statistischen Testproblem, das gegeben ist als i?(0
: / i i = /X2
M/
gegen
Hi : fii ^ fij
fiir mindestens ein Paar (i, j )
13.1
Einfaktorielle Varianzanalyse
521
Die NuUhypothese besagt gerade, dafi zwischen den Gruppen keine Mittelwertsunterschiede vorliegen, wahrend die Alternative formuliert, dafi sich mindestens zwei Gruppen unterscheiden. Modellformulierung ( I I )
Der andere Ansatz zur Modellierung ist voUig aquivalent zu Modell (I). Es wird mit diesem Modell allerdings der Idee Rechnung getragen, dafi, formuliert fiir unser Beispiel, die verschiedenen Filme einen unterschiedlichen Effekt auf die Einstellung haben. Damit versucht Modell (II) die Effekte der Faktorstufen auf den allgemeinen mittleren Wert der Zielgrofie zu beschreiben. Man spricht daher auch bei der Darstellung ^ij =^ /^ + Qfi + €ij ,
Z = 1, . . . , i ,
J ^ 1, . . . , 71^ ,
von dem Modell in Effektdarstellung. Den Parameter fx bezeichnet man als grand mean oder globalen Erwartungswert, d.h. /i = nX^i=i^^/^^' ^^^ ^^ ^^^ Effekt der i-ten Faktorstufe mit ai = fii — fi. Betrachtet man das Modell (I)
Modell in Effektdarstellung grand mean Effekt
und fiigt die Differenz /i — /i hinzu, d.h. Yij = fx + ddi- fi) + eij , so erhalt man direkt das Modell (II) mit ai = /uLi — fi. Zudem sieht man leicht, dafi sich die Effekte im Mittel ausgleichen, d.h. ^ n ^ a i = 0. 2=1
Aufierdem setzen wir wieder voraus, dafi die Storterme e n , . . . , ejm unabhangig und normalverteilt sind mit eij ^ iV(0, cr^). Das in Modell (I) angegebene statistische Testproblem lafit sich nun analog iiber die Effekte formulieren. Haben namlich die Faktorstufen keinen Einflufi, so sind die Effekte alle null. Damit erhalten wir folgendes statistisches Testproblem: HQ : ai = ' " = aj = 0 gegen
Hi : mindestens zwei a^ ^ 0,
d.h. unter HQ gibt es keine unterschiedhchen Effekte auf die Zielgrofie bedingt durch den Faktor. Unter Hi gibt es einen solchen Effekt, wobei bei der Forderung nach mindestens zwei von null verschiedenen ai die Annahme eingeht, dafi sich die Effekte ausgleichen sollen.
522
13. Varianzanalyse
Die oben gegebene Formulierung der Modelle geht von einem varianzanalytischen experimentellen Design aus, bei dem die Beobachtungseinheiten verschiedenen Stufen des Einflufifaktors ausgesetzt werden. Der eher typische Fall bei praktischen Untersuchungen ist jedoch der einer Beobachtungsstudie und nicht eines Experiments, bei der sowohl das interessierende Merkmal als auch der Einflufifaktor gleichzeitig an den statistischen Einheiten beobachtet werden, vgl. Beispiel 13.5 (Seite 529). Die varianzanalytische Modellierung und die Methoden der Varianzanalyse bleiben auch in solchen Situationen anwendbar. Arbeiten wir im folgenden mit Modell (II), so stellt sich nun die Prage, die wir in Beispiel 13.2 schon inhaltlich formuliert haben, namlich, wie fi und die Effekte a^ zu schatzen sind, und wie HQ ZU test en ist. Wenden wir uns zunachst dem Schatzproblem zu. Da der globale Erwartungswert das allgemeine Mittel der Zielgrofie, also zum Beispiel den mittleren Einstellungsscore der Jugendlichen, wiedergibt, liegt es nahe, diesen auch als Mittelwert aus alien Beobachtungen zu schatzen, d.h.
Die Effekte ai beschreiben gerade die durch die Faktorstufe bewirkte Abweichung vom globalen Erwartungswert. Der Erwartungswert der Zielgrofie in jeder Faktorstufe lafit sich nun schatzen durch -J
rii
i = — 2 ^ Yij = Yi., n, . . und wir erhalten somit als Schatzung fiir ai &i = Yi. - Y.., woraus sich die Residuen des Modells berechnen lassen als Abweichung der tatsachlich beobachteten Zielgrofie von dem aufgrund des Modells vorhergesagten Wert, also ^ij = Vij - (A + OLi) = Vij- {y.. + Vi. - y..) = Vij - yi.. Damit sind wir nun in der Lage, die erste Frage in unserem Beispiel zu beantworten. Beispiel 13.3
Bildung gleich Manipulation?
Es wird im folgenden davon ausgegangen, dafi sich die Einstellung der Jugendlichen zur Nutzung von Atomkraft modellieren lafit als J^ij =^ /i' + O^i "T ^ij ,
mitni = 6,
2 = 1,z,o,
712 = 10,
na = 8,
J =
i,...,72^,
n = 24.
13.1
Einfaktorielle Varianzanalyse
523
Dabei beschreibt /x die allgemeine mittlere Einstellung der Jugendlichen zur Nutzung von Atomkraft in der Grundgesamtheit, a^ den durch den jeweiligen Film bedingten Effekt und €ij unter anderem die individuellen Schwankungen. In dem Storterm e^j werden aber auch andere Abweichungen vom Modell, zum Beispiel bedingt durch fehlerhafte Messungen, subsummiert. Fiir die Schatzung von /i und ai benotigen wir die Mittelwerte aus alien Beobachtungen und in den jeweiligen Faktorstufen. Letztere berechnen sich als i m- = 10,
y2- = 12,
^3=6.
Aus diesen kann y.. ermittelt werden als 1 ^ 1 y.. = - y rnyi. = —(6 • 10 + 10 • 12 + 8 • 6) = 9.5 . i—l
Daraus erhalt man als Schatzungen fiir die Effekte di = 10 - 9.5 = 0.5 ,
d2 = 12 - 9.5 = 2.5,
as = 6 - 9.5 = - 3 . 5 .
Aus diesen lafit sich ablesen, dafi ein deutlicher positiver EflFekt von 2.5 auf die Einstellung der Jugendlichen gegenliber der Nutzung von Atomkraft durch den Film hervorgerufen wird, in dem die Nutzung von Atomkraft eindeutig bejaht wird, wahrend in der Kontra-Gruppe ein deutlich negativer Effekt von —3.5 vorliegt. D Die Teststatistik zur Uberpriifung, ob die in der Stichprobe beobachteten Effekte einen Schlufi dariiber zulassen, dafi auch in der Grundgesamtheit ein solcher Effekt des Faktors vorliegt, kann als Verallgemeinerung der Priifgrofie des t-Tests angesehen werden. Diese lautet unter der Annahme, dafi die Varianz in beiden Stichproben gleich ist, X-Y T =
^/sHf^)^
wobei X , Y die Mittelwerte in den beiden unabhangigen Stichproben, n und m die Stichprobenumfange und 5^ = ((n — l)S'^ + (m — l ) 5 y ) / ( n + m — 2) die Stichprobenvarianz bezeichnen (vgl. Abschnitt 11.2, Seite 459 Kasten). Die Grofie 5^ mifit gerade die Variabilitat innerhalb der Gruppen, also wie stark die einzelnen Beobachtungen innerhalb der Gruppen vom jeweiligen Gruppenmittel abweichen. Die Differenz X — Y liefert eine Grofie zur Messung der Unterschiede und damit der Variabilitat zwischen den Gruppen. Damit setzt die Priifgrofie des t-Tests die Variabilitat zwischen den Gruppen in Beziehung zur Variabilitat innerhalb der Gruppen, wobei diese geeignet gemessen werden. Diese Idee lafit sich nun auf den Mehrgruppenvergleich der Varianzanalyse iibertragen. Es sind lediglich geeignete Grofien zur Messung der jeweiligen Variabihtaten zu iiberlegen. Zur Messung der Variabihtat zwischen den Gruppen macht
524
13. Varianzanalyse
es keinen Sinn, alle Gruppenmittel voneinander abzuziehen. AUerdings lafit sich diese Variabilitat gut iiber einen Vergleich der Mittelwerte innerhalb der Faktorstufen mit dem Gesamtmittel erfassen. Sei diese Grofie bezeichnet mit SQE^ die damit berechnet wird als 1=1 j=i
Da die Terme (Yi. —Y..)'^ nicht mehr von j abhangen und jeder dieser Terme genau ni-mal vorkommt, lafit sich SQE auch schreiben als I
SQE =
^ni(Yi.-Y.)\ i=i
Diese Streuung mufi analog zur liblichen Stichprobenvarianz noch durch ihre Freiheitsgrade dividiert werden, die hier / — 1 betragen. Die Streuung innerhalb der Gruppen lafit sich wieder erfassen liber die quadrierten Abweichungen der Beobachtungen in den Gruppen vom jeweiligen Gruppenmittelwert, so dafi man insgesamt die analog zur Regressionsanalyse als SQR bezeichnete Streuung berechnet als
i=i
j=i
Kennt man die Stichprobenvarianzen Sf in den Gruppen bereits, also
SO lafit sich die Berechnung von SQR vereinfachen: /
rii
SQR^'^J^iYij-Yi.)' z=l
j=l
= J](n, - l)Sf . 2=1
Streuungszerlegung
Zur Konstruktion der Priifgrofie mufi auch SQR durch die entsprechenden Freiheitsgrade n — I dividiert werden. Die hier vorgenommene Aufteilung der gesamten Variabilitat in SQR und SQE ist bereits als Streuungszerlegung aus der Regressi-
13.1
525
Einfaktorielle Varianzanalyse
onsanalyse bekannt. Damit erhalten wir insgesamt als Priifgrofie rii
/
^
SQE/{I - 1) SQR/{n-I)
ZEin-Y.f/ii-i) _Si^i ^ ^ Ei:{Yij-Y,)'/{n-I) Li
1=1 7= 1
/
Diese besitzt, wie schon die entsprechende Priifgrofie in der Regressionsanalyse (siehe Kapitel 12), unter der NuUhypothese, dafi keine Effekte bedingt durch den Einflufifaktor vorliegen, eine F-Verteilung mit J — 1 und n — I Preiheitsgraden. Dabei wird die NuUhypothese verworfen, falls die Variabilitat zwischen den Gruppen wesentlich grofier ist als innerhalb der Gruppen, also falls der berechnete Priifgrofienwert das (1 — a)-Quantil der F{I — l , n — /)-Verteilung iiberschreitet. Fiir zwei Gruppen, d.h. / = 2, reduziert sich die F-Statistik auf das Quadrat der t-Statistik. Ebenfalls analog zur Regressionsanalyse ordnet man die zur Berechnung der Priifgrofie notwendigen Ausdriicke in einer Varianzanalysetabelle bzw. kurz ANOVA-Tabelle an:
^^ Streuung
Preiheits, grade
Gruppen (Variabilitat zwischen den Gruppen)
SQE
/ - I
^
Residuen (Variabilitat innerhalb der Gruppen)
SQR
n-I
m . = MQR
Streuungs, ursache
i ^. i quadratischer ^^ , , Fehler
Varianzanalysetabelle
T^ -r ..r> PrurgroCe
= MQE F
=
^
Die Priifgrofie wird nun verwendet, um die zweite in dem Beispiel formulierte Frage zu beantworten und zwar, ob das filmische Informationsmaterial die Einstellung der Jugendhchen beeinflufit. Bildung gleich Manipulation?
Die Frage danach, ob das filmische Informationsmaterial die Einstellung der Jugendlichen beeinflufit, lafit sich als statistisches Testproblem wie folgt formuHeren: iJo ^ Oil = Q;2 = as = 0 gegen Hi : mindestens zwei a^ 7^ 0 .
Beispiel 13.4
526
13. Varianzanalyse
Der entsprechende Test soil zum Niveau a = 0.05 durchgefiihrt werden. Zur Berechnung der Prufgrofie
p^MQE MQR I
mit MQE =
Y,ni'{Yi--Y.f/{I-l) I
und MQR =
Y^{ni-l)S'f/{n-I) n=l
kann man neben diesen Vereinfachungen noch ausnutzen, dafi die Summanden des MQE gerade die quadrierten geschatzten Effekte sind.
Mit s{ = 4.4, 52 = 10.4, 53 = 7.4 und a i = 0.5, a2 = 2.5, 0:3 = —3.5 erhalt man
SQE = ^
UiAf = 6 . 0.5^ + 10 • 2.5^ + 8 • (-3.5)^ = 1.5 + 62.5 + 98 = 162
i=l
3
und
SQR = ^ ( n ^ - 1)5? = 5 • 4.4 + 9 • 10.4 + 7 • 7.4 = 22 + 93.6 + 51.8 = 167.4. i=l
Somit ergeben sich
MQE = ^ = 8 1 ,
MQR=
^^=7.97
und
F ^ ^
= 10.16.
Dieser Priifgrofienwert wird verglichen mit dem 95 %-Quantil einer F-Verteilung mit 2 und 21 Freiheitsgraden, das aus der Tabelle E abgelesen werden kann als 3.4668. Da 10.16 > 3.4668, wird die Nullhypothese verworfen. Es kann zum Niveau a = 0.05 auf einen signifikanten Effekt des filmischen Informationsmaterials auf die Einstellung zur Nutzung der Atomkraft geschlossen werden. D
13.1 Einfaktorielle Varianzanalyse
527
Wir konnen damit zusammenfassen:
Einfaktorielle Varianzanalyse
Modell (I):
Yij=iii + eij, Sij ^ A/'(0,o-^), unabhangig,
Modell (II):
Yij = fi + ai + eij, ^ niai = 0, 2=1
Eij ~ A/'(0, a^), unabhangig,
Die Schatzer fiir // und a^ im Modell (II) sind gegeben als: H
n
I
rii rii
i=l
j=l rii
^
ai = Yi,-Y..
mit
Yi^^ —
Y^Yij,
rii ^
-^
Die Priifgrofie fiir das Testproblem iJo ^ Q^i = • •' = o^/ = 0 gegen
i?i : mindestens zwei
oti^^
ist gegeben als
F =
MQE
En.-(n-y:.)V(/-i) i=lj=l
/
wobei iJo zu verwerfen ist, falls F>Fi_Fi_,((7-l)(J-l),/J(K-l)). Die NuUhypothese beziighch der Haupteffekte von Faktor A wird verworfen, falls FA =
SQA/{I-1) SQR/IJ{K - 1)
13.2
Zweifaktorielle Varianzanalyse mit fasten Efkkten
539
das (1 — a)-Quantil der JP-Verteilung mit ( / — 1) und IJ{K iiberschreitet, d.h. falls
— 1) Preiheitsgraden
Entsprechend wird die NuUhypothese beziiglich der Haupteffekte von Faktor B verworfen, falls
SQBI{J-\) SQR/IJ{K - 1)
^
das (1 — a)-Quantil der F-Verteilung mit ( J — 1) und IJ{K iiberschreitet, d.h. falls
— 1) Preiheitsgraden
FB>Fi-a{J-\JJ{K-l)). Zusammengefafit werden die Priifgrofien auch hier in der Varianzanalysetabelle:
Streuungsursache
Streuung
Freiheitsgrade
mittlerer quadratischer Fehler
PriifgroBe
Faktor A
SQA
I- 1
MQA = 4 ^
^^ ~ MQR
Faktor B
SQB
J -1
SQB =
^
^^
=^ ^ ^ ^
FA.B =
Wechselwirkung AxB
SQiAxB)
Residuen
SQR
Gesamt
SQT
(/-1)(J-1) IJ{K - 1)
MQ{AxB)
MQR
^^^^^
MQR = T : ^ ^
n-\
Mit Hilfe der hergeleiteten statistischen Tests konnen wir fiir unser Beispiel nun iiberpriifen, ob signifikante Wechselwirkungen und Haupteffekte vorliegen. Zufriedenheit im Studium
Beispiel 13.7
Da wir in Beispiel 13.6 (Seite 534) die Haupteffekte und die Wechselwirkungen bereits geschatzt haben, konnen wir diese Werte zur Berechnung der Streuungen ausnutzen. Wir erhalten SQA = 5 . 2 • ^
a^ = 10 . [23.25^ + (-23.25)2] ^ io811.25 ,
i=l 2
SQB = 5 . 2 . ^ / 3 2 = 10 . [7.752 _^ (_7.75)2] ^ 1201.25 2
SQ^A X B) = 5 . ^
und
2
5 3 M ) i 7 - = 5 . [5.252 ^ (_5 252) _|. (_5.25)2 + 5.25^] = 551.25.
540
13. Varianzanalyse
Fill die Reststreuung ergibt sich 2
SQR = ^Y1
2
5
J2^y^Jf^ - y^rf = 1^2 + 434 + 164 + ITS = 908.
i = l j = l /c=l
Mit diesen Werten erhalt man die folgende Varianzanalysetabelle:
Streuungsursache FaktorA FaktorB Wechselwirkung ^ X B Residuen Gesamt
Streuung
Freiheitsgrade
10811.25 1201.25 551.25 908 13471.75
1 1 1 16 19
mittlerer quadratischer Fehler 10811.25 1201.25 551.25 56.75
Priifgrofie 190.51 21.17 9.71
Dabei berechnet sich beispielweise der Wert 190.51 als 10811.25 56.75
190.51.
Wir priifen nun zunachst zum Niveau a = 0.05, ob signifikante Wechselwirkungen vorliegen. Dazu vergleichen wir den Priifgrofienwert FAXB = 9.71 mit dem 95%-Quantil der F Verteilung mit 1 und 16 Freiheitsgraden. Dieser Quantilswert betragt 4.494, wie man Tabelle E entnehmen kann. Da 9.71 grofier ist als 4.494, mufi von signifikanten Wechselwirkungen ausgegangen werden. Darauf deutete bereits Abbildung 13.2 in Beispiel 13.6 (Seite 534) hin. Beide Haupteffekte sind ebenfalls signifikant, da die entsprechenden Priifgrofienwerte von 190.51 = FA bzw. von 21.17 = FB jeweils grofier sind als Fo.95(l, 16) = 4.494. AUerdings ist der Effekt bedingt durch Faktor A wesentlich deutUcher, was ebenfalls in Abbildung 13.2 (Seite 535) bereits abzulesen war: Die Motivation spielt eine grofiere RoUe hinsichtlich der Zufriedenheit im Studium als die familiare Situation. D
13.2 Zweifaktorielle Varianzanalyse mit festen Effekten
541
Zweifaktorielle Varianzanalyse: PriifgroBen und Tests
Die Priifgrofie auf Vorliegen von Wechselwirkungen ist gegeben als
MQ{AxB) FAXB
K
/
J
1=1 j=i
MOR
'
I
^
J
K
_
i=lj=lk=l
wobei HQ^
,
Z E E (Yijk - Yi^.f
IJ{K - 1) '
ZU verwerfen ist, falls
F>Fi.^{{I-l){J-l),IJ{K-l)). Die Priifgrofie auf Vorliegen von Haupteffekten bedingt durch Faktor A ist gegeben als
KjJ:{Yi..-Y..,f/{I-l) 2=1
^
MQR
I
EZ
J
K
i=ij=ik=i
/
ziyijk-Yij.)^/iJ{K^i) '
wobei H.^ zu verwerfen ist, falls
Die Priifgrofie auf Vorliegen von Haupteffekten bedingt durch Faktor B ist gegeben als KI E {Y.^. - Y...f/{J ^
MQR
I
J
- 1)
K
EEEiYijk-Yij.)^/lJ{K-l)
wobei HQ ZU verwerfen ist, falls
Die zweifaktorielle Varianzanalyse liefert somit Information dariiber, ob sich die Effekte zweier Faktoren lediglich kumulieren oder ob sie sich gegenseitig noch insofern beeinflussen, als sie gemeinsam einen verstarkenden bzw. abschwachenden Effekt haben.
542
13.3
13. Varianzanalyse
Zusammenfassung und Bemerkungen
Zur Beurteilung des Einflusses eines oder mehrerer Faktoren auf ein metrisches Merkmal, wobei die Faktoren jeweils auf verschiedenen Stufen vorliegen, bietet die Varianzanalyse ein geeignetes Instrumentarium. Diese stellt zum einen verschiedene varianzanalytische Modelle zur Verfiigung, mit denen in Abhangigkeit von der Versuchsanordnung und Pragestellung der Zusammenhang zwischen den Einflufifaktoren und dem interessierenden Merkmal modelliert werden kann. So geht es etwa bei der Einfachklassifikation um die Erfassung der statistischen Beziehung zwischen einem Einflufifaktor auf mehreren Stufen und einer metrischen Zielgrofie. Analog zu einem Regressionsmodell wird also bei einem Modell der Varianzanalyse der Zusammenhang zwischen einer Zielvariable und einer oder mehrerer Einflufigrofien beschrieben. Die Varianzanalyse kann als Spezialfall der Regression betrachtet werden. Die Einflufigrofien fliefien dabei kategorial in das Modell ein. Genauer modelliert man den Effekt als vorhanden oder nicht, d.h. der Einflufi dieser Variablen geht iiber eine 0 — 1-Kodierung in das Modell ein. Sind als mogliche Einflufigrofien nicht nur kategoriale Variablen, sondern auch metrische Variablen von Bedeutung, so spricht man von Kovarianzanalyse^ sofern hauptsachlich der Einflufi der kategorialen Variablen interessiert. Fiir eine Vertiefung dieses Aspekts sei etwa auf Scheffe (1959) oder Schach und Schafer (1978) verwiesen. Neben der Bereitstellung von Modellen beinhaltet die Varianzanalyse zum anderen Verfahren zur Schatzung des Effekts, den der Faktor auf das interessierende Merkmal hat, und statistische Tests zur Beurteilung, ob der Faktor einen Einflufi auf das Merkmal ausiibt. Dabei wird dieser mogliche Zusammenhang iiber einen Vergleich der mittleren Faktoreffekte auf den einzelnen Stufen erfafit. Sind die Unterschiede grofi genug, so kann auf einen statistisch signifikanten Einflufi des Faktors geschlossen werden. Wie bei der Regressionsanalyse beruht die hier zu verwendende Priifgrofie auf der Streuungszerlegung. Mit Hilfe dieser Priifgrofie ist es jedoch nur moghch zu priifen, ob generell Unterschiede zwischen den Faktorstufen besteht. Damit kann man fiir den Fall, dafi Unterschiede bestehen, diese noch nicht lokalisieren. Will man nun genauer in Erfahrung bringen, welche Faktorstufen sich unterscheiden, so ist man mit einer Reihe von Testproblemen konfrontiert, deren Losung ein adaquates multiples Test verfahren erfordert. Zu den Standardmethoden in diesem Bereich gehoren die sogenannten simultanen Konfidenzintervalle nach Scheffe und Tukey. Hier sei erneut auf Scheffe (1959), aber auch beispielsweise auf Hsu (1996) verwiesen. Mit Hilfe des sogenannten F-Tests ist es also moglich auf Vorhegen von Faktoreffekten zu testen. Wie wir in der zweifaktoriellen Varianzanalyse gesehen haben, werden Priifgrofien dieses Typs auch zur Priifung auf Interaktionen eingesetzt. Solche Wechselwirkungen tragen der Moglichkeit Rechnung, dafi sich mehrere Faktoren in ihrer Wirkung auf das interessierende Merkmal gegenseitig beeinflussen.
13.4
543
Aufgaben
Eine zentrale Voraussetzung bei alien Tests dieses Typs ist die Normalverteilung der metrischen Zielvariable zur Herleitung der Verteilung der Priifgrofie unter der Nullhypothese nicht vorhandener Haupteffekte oder fehlender Wechselwirkungen. Ist diese Annahme nicht gerechtfertigt, so kann erneut auf nonparametrische Tests zuriickgegriffen werden, wie sie z.B. in dem Buch von Blining und Trenkler (1994) zu finden sind. Neben den in diesem Kapitel behandelten Fall zweier Einflufifaktoren sind in praktischen Untersuchungen ebenfalls Situationen denkbar, in denen mehrere Zielvariablen gleichzeitig betrachtet werden. Zur Diskussion derartiger multivariater Pragestellungen sei auf das weiterfiihrende Buch von Fahrmeir, Hamerle und Tutz (1996) hingewiesen, in dem aber auch unfangreiches zusatzliches Material zu univariaten Varianz- und Kovarianzanalysen zu finden ist.
13.4
Aufgaben
In einem Beratungszentrum einer bayerischen Kleinstadt soil eine weitere Stelle fiir telefonische Seelsorge eingerichtet werden. Aus Erfahrung weiC man, dafi hauptsachlich Anrufe von Personen eingehen, die einen bayerischen Dialekt sprechen. Es wird vorgeschlagen, die Stelle mit einem Berater zu besetzen, der ebenfalls bayerisch spricht, da vermutet wird, dafi der Dialekt eine wesentliche RoUe beim Beratungsgesprach spielt und zwar insofern, als die Anrufer mehr Vertrauen zu einem Dialekt sprechenden Berater aufbauen, was sich in langeren Beratungsgesprachen aufiert. Nehmen wir nun an, zur Klarung dieser Frage wurde eine Studie mit drei Beratern durchgefiihrt: Berater Nr. 1 sprach reines hochdeutsch, Berater Nr. 2 hochdeutsch mit mundartlicher Farbung und der letzte bayerisch. Die ankommenden Anrufe von bayerisch sprechenden Personen wurden zufallig auf die drei Berater aufgeteilt. Fiir jedes gefiihrte Beratungsgesprach wurde dessen Dauer in Minuten notiert. Es ergaben sich folgende Daten: Berater 1 Hochdeutsch Dauer der Gesprache in Minuten
8 6 15 4 7 6 10
Berater 2 Hochdeutsch mit mundartlicher Farbung 10 12 16 14 18
Berater 3 Bayerisch 15 11 18 14 20 12
(a) Schatzen Sie den Effekt, den der Dialekt des jeweiligen Beraters auf die Dauer des Beratungsgesprachs hat. Interpretieren Sie die Unterschiede.
Aufgabe 13.1
13. Varianzanalyse
544
(b) Stellen Sie eine ANOVA-Tabelle auf. (c) Die Gesprachsdauer kann als approximativ normalverteilte Zufallsvariable angesehen werden. Priifen Sie zum Niveau a = 0.05, ob der Dialekt des jeweiligen Beraters Einflufi auf die Dauer des Beratungsgesprachs hat. Interpretieren Sie Ihr Ergebnis. (d) Inwiefern geht in (c) die Annahme der Normalverteilung ein? (e) Sie haben in (c) festgestellt, dafi die Dauer des Gesprachs statistisch signifikant mit dem Dialekt des Beraters zusammenhangt. Wie konnten Sie die Unterschiede zwischen den Beratern beziiglich der Dauer des Gesprachs genauer lokahsieren? Wie liefie sich die Frage als statistisches Testproblem formulieren, und welche Tests konnte man zur Uberpriifung einsetzen? Welche Schwierigkeit tritt dabei auf? Was schlagen Sie vor, um dieser Schwierigkeit adaquat zu begegnen? (f) Welcher Zusammenhang besteht zwischen einer t-Verteilung mit n — 1 Freiheitsgraden und einer F-Verteilung mit 1 und n — 1 Freiheitsgraden? Aufgabe 13.2
Bei einem haufig benutzten Werkstoff, der auf drei verschiedene Weisen hergestellt werden kann, vermutet man einen unterschiedlichen Gehalt an einer krebserregenden Substanz. Von dem Werkstoff wurden fiir jede der drei Herstellungsmethoden vier Proben je 100 g entnommen und folgende fiktive Durchschnittswerte fiir den Gehalt an dieser speziellen krebserregenden Substanz in mg pro Methode gemessen:
durchschnitthcher Gehalt
Herstellungsmethoden 1 2 3 59.75 60.75 63
(a) VervoUstandigen Sie die folgende ANOVA-Tabelle Streuungs, ursache Gruppen Residuen Gesamt
^ij. btreuung
Freiheits, .grade
i ^. i quadratischer ^^^^^^
-n -r -j? FrurgroDe
15.5 37.67
(b) Schatzen Sie den Effekt der Herstellungsmethode auf den Gehalt an der krebserregenden Substanz. (c) Gehen Sie davon aus, daB der Gehalt an der krebserregenden Substanz approximativ normalverteilt ist. Priifen Sie zum Signifikanzniveau a = 0.05, ob sich die drei Herstellungsmethoden hinsichtlich des Gehalts an der krebserregenden Substanz unterscheiden. Aufgabe 13.3
Eine Firma betreibt ihre Produkte in verschiedenen Landern. Von Interesse fiir die Firmenleitung insbesondere hinsichtlich gewisser Marketing-Strategien ist es nun zu erfahren, ob sich u.a. bestimmte Produkte vergleichbaren Typs in manchen Landern besser umsetzen lassen als in anderen. Dazu wurden fiir einen zufallig herausgegriffenen Monat die Umsatze sowohl produkt- als auch landerbezogen notiert. Die folgende Tabelle zeigt Ihnen die Umsatze in 1000 € fiir drei Lander und zwei Produkte:
13.4
Aufgaben
545
Land
A B C
42 36 33
ProduktI 45 42 41 36 36 35 32 32 33
42 38 35 39 32 36
Produkt II 39 37 41 40 36 36 34 36 33
39 36 34
(a) Berechnen Sie die mittleren Umsatze und die zugehorigen Standardabweichungen fiir jede Land-Produkt-Kombination. Stellen Sie die Mittelwerte graphisch dar, und beschreiben Sie die beobachteten Zusammenhange der Tendenz nach. Bestimmen Sie zudem die Mittelwerte fiir jedes Land und fiir jedes Produkt, also unabhangig von der jeweils anderen Variable, und insgesamt. (b) Schatzen Sie unter Verwendung der Ergebnisse aus (a) die Haupteffekte und die Wechselwirkungsterme. Inwieweit stiitzen diese Werte die von Ihnen geauBerte Vermutung hinsichtlich der beobachteten Zusammenhange? (c) Stellen Sie eine Varianzanalysetabelle auf, und priifen Sie unter Annahme von approximativ normalverteilten Umsatzen die Hypothesen auf Vorliegen von Wechselwirkungen und Haupteffekten jeweils zum Signifikanzniveau a = 0.05. Interpretieren Sie Ihr Ergebnis.
14 Zeitreihen
Wenn ein Merkmal Y zu aufeinanderfolgenden Zeitpunkten oder Zeitperioden t = 1 , . . . , n erfafit wird, so bilden die Beobachtungen yt eine Zeitreihe. Abbildung 14.1 zeigt die taglichen Kurse der BMW-Aktie von Januar 1981 bis Dezember 1993, vgl. Beispiel 1.5. o o
—1
85
ABBILDUNG
1
1
87
r—
89
91
93
14.1: Tageskurse der BMW-Aktie
Hier werden also die Werte yt des Merkmals Y "Kurs der BMW-Aktie" an aufeinanderfolgenden Borsentagen t = 1 , . . . ,n beobachtet. Obwohl die Notation den Eindruck vermittelt, sind die Zeitpunkte genaugenommen nicht aquidistant, da zwischen den B5rsentagen Wochenenden und Feiertage liegen. Aus optischen Griinden werden die einzelnen Werte der Zeitreihe {yt^ t = 1 , . . . , n} in der Regel verbunden, etwa durch eine Treppenfunktion oder einen Polygonzug. Um die Entwicklung des Aktienmarktes zu beschreiben, werden Kurse ausgewahlter Aktien zu einem Aktienindex zusammengefafit. Abbildung 14.2 zeigt die taglichen Werte des DAFOX von Januar 1981 bis Dezember 1993. Die Art und Weise, wie die ausgewahlten Aktienkurse zu einem Aktienindex verarbeitet werden, ist in der Regel unterschiedlich und reicht von einfacher Mittelung hin bis zur Verwendung komplexer Gewichtungsschemata, wie etwa beim DAX. Der DAFOX ist eine Erweiterung des Deutschen Aktienindex DAX ftir Forschungszwecke. Er wird in analoger Weise wie der DAX berechnet (Goppl, Liidecke und Sauer 1993).
Zeitreihe
14. Zeitreihen
548
81
83
85
87
89
91
93
ABBILDUNG 14.2: Tageskurse des DAFOX
1991
1992
1993
1994
1995
1996
ABBILDUNG 14.3: Monatlicher Preisindex fiir "Pflanzen, Giiter fiir die Gartenpflege"
Dies gilt in ganz ahnlicher Weise fiir andere Merkmale, zum Beispiel Preise oder Umsatze. So kann man etwa monatliche Durchschnittspreise fiir eine bestimmte Ware betrachten oder aber einen Preisindex fiir die Lebenshaltung, der rhit Hilfe eines Warenkorbs einzelner Preise gebildet wird. Abbildung 14.3 zeigt fiir die Jahre 1991-1995 die monatlichen Werte des Preisindex fiir die Warengruppe "Pflanzen, Giiter fiir die Gartenpflege". Die Werte selbst sind in der folgenden Tabelle angegeben.
1991 1992 1993 1994 1995
Jan,
Febr.
Marz
April
Mai
Juni
Juli
Aug.
Sept.
Okt.
Nov.
Dez.
104.7 107.4
103.5 106.8
102.8 106.3
101.6 104.0
98.2 105.3
101.3 100.9
99.2 100.3
95.3 99.3
94.2 100.7
100.5 105.1
107.6 109.5 110.8
107.8 110.2
107.8 109.4
106.4 108.0
106.5 107.9
104.8 106.6
104.2 105.1
104.1 104.2
104.8 105.6
97.1 101.8 106.0 106.9
107.8 108.5
102.1 106.0 108.7
111.3
110.3
109.1
108.0
107.2
106.2
105.6
106.2
108.3
109.8
109.6 110.9
Dies ist ein Teilindex zum Preisindex fiir die Lebenshaltung aller privaten Haushalte, der vom Statistischen Bundesamt ermittelt wird. Wie zu erwarten, lai3t die Zeitreihe eine Saisonabhangigkeit erkennen. Fiir die adaquate Durchfiihrung und Interpretation von statistischen Analysen kann die Art und Weise, in der sogenannte Indizes gebildet werden, offensichtlich
549
14. Zeitreihen
von Bedeutung sein. Abschnitt 14.1 gibt eine kurze Einfiihrung zur Konstruktion von Indexzahlen. Das IFO-Institut veroffentlicht zu Pragen des Konjunkturtests monatliche "Salden" ftir ausgewahlte Branchen. Diese Salden werden durch geeignete Aggregation oder "Mittelung" aus den Mikrodaten des Konjunkturtests, also aus den individuellen Antworten des beteiligten Unternehmens, gebildet. Fiir das Merkmal "Geschaftslage" liegen die Antworten in den drei Kategorien "gut", "befriedigend", "schlecht" vor, vergleiche Beispiel 1.5. Durch "Mittelung" iiber die Unternehmen einer Branche entsteht daraus eine Zeitreihe fiir die metrisch skalierten, quasi-stetigen Salden. Abbildung 14.4 zeigt deren Verlauf fiir die Branche "Vorprodukte Steine und Erden" aus dem Baugewerbe fiir die Jahre 1980 bis 1994.
o d
80
82
84
86
88
90
92
94
ABBILDUNG 14.4: Salden fiir die Branche "Vorprodukte Steine und Erden"
80
82
84
86
88
90
92
94
ABBILDUNG 14.5: Salden fiir die Branche "Genufimittel"
Damit wird die zeitliche Entwicklung des Geschaftsklimas beschrieben. Auffallig ist der ausgepragte Riickgang um 1982. Die entsprechenden Salden fiir die Branche "Genufimittel" sind in Abbildung 14.5 enthalten. Wahrend das "Tief" um 1982 nicht mehr sichtbar ist, zeigt sich ein deutUches "Hoch" um 1990. Mogliche Saisoneinfliisse sind mit dem Auge zumindest bei dieser Auflosung nicht zu bemerken. Infolge der zeitUchen Anordnung der Beobachtungen {yt^t = l^.,. ^n} treten bei der Beschreibung und Analyse von Zeitreihen einige besondere Gesichtspunkte auf. Wir woUen diese anhand der Beispiele skizzieren. In alien Fallen wird man sich dafiir
14. Zeitreihen
550
Trend
Saison
Prognose Korrelation
interessieren, ob der jeweiligen Zeitreihe ein Trend in Form einer glatten Funktion der Zeit zugrunde liegt. Eine solche Trendfunktion konnte zum Beispiel wirtschaftliche, technische und konjunkturelle Entwicklungen widerspiegeln oder auch strukturelle Anderungen als Folge politischer Ereignisse, wie Olkrise, Regierungswechsel usw. anzeigen. Fiir Monatsdaten, wie bei monatlichen Werten des Lebenshaltungsindex, den Salden des IFO-Konjunkturtests oder Arbeitslosenzahlen entsteht zusatzlich die Frage nach jahreszeitlichen Einfliissen bzw. nach einem Saisoneffekt, Fiir Entscheidungen liber die Zusammensetzung eines Aktienportefeuilles, liber zu tatigende Investitionen oder arbeitsmarktpolitische Mafinahmen ist die Prognose des zuklinftigen Verlaufs einer Zeitreihe von Bedeutung. Eine weitere, gegenliber Querschnittsanalysen zusatzhche Fragestellung betrifft die Korrelation: Wie hangen zeithch unterschiedhche Beobachtungen voneinander ab? Das Gebiet der Zeitreihenanalyse umfaiSt ein breites Spektrum von Methoden und Modellen zur Beantwortung solcher Fragen. Wir beschranken uns hier auf eine Einflihrung in einige deskriptive und explorative Verfahren, insbesondere zur Ermittlung von Trend und Saison. Dabei gehen wir davon aus, dafi das Merkmal F , zu dem die Zeitreihenwerte {yt^ t = 1 , . . . , n} vorliegen, metrisch und (quasi-) stetig ist.
14.1
Mittelung Aggregation Index Indexzahlen ungewichtetes Mittel Salden
Indizes
Wie bei Aktienkursen ist man in vielen okonomischen Anwendungen nicht nur an Zeitreihen einzelner Objekte interessiert, sondern mochte die zeitliche Entwicklung einer Gesamtheit von Objekten durch eine geeignete Mafizahl, wie etwa einen Aktienindex, beschreiben. In der Kegel wird eine solche Mafizahl durch geeignete Mittelung oder Aggregation von Einzelwerten gebildet. Wir sprechen dann allgemein von einem Index. In der amtlichen Statistik sind Preis- und Mengenindizes von besonderer Bedeutung. Diese werden in spezieller Weise definiert und oft als Indexzahlen im engeren Sinn bezeichnet. Die rechnerisch einfachste Aggregation von Einzelwerten zu einem Index ist die Bildung des ungewichteten Mittels. Nach diesem einfachen Prinzip wird der Dow Jones Industrial Average Index als reiner Kursdurchschnitt von 30 ausgewahlten, an der New York Stock Exchange gehandelten Aktien berechnet. In ahnlicher Weise werden die Salden fiir ausgewahlte Branchen des IFO-Konjunkturtests ermittelt: Aus den Antworten "gut" und "schlecht" der einzelnen Unternehmen werden die relativen Haufigkeiten fiir "gut" und "schlecht" berechnet. Ihre Differenz ergibt die monatlichen Salden. Ein klarer Nachteil dieser einfachen Mittelung ist, dafi Objekte mit unterschiedlicher Bedeutung wie etwa Aktien grofier und kleiner Unternehmen mit gleichem Gewicht in einen derartigen Index eingehen. Die folgenden Indizes vermeiden diesen Nachteil.
551
14.1 Indizes
Preis- und Mengenindizes
Ein Preisindex soil die Preisentwicklung, genauer die Preisveranderung einer grofien Menge von einzelnen Glitern, die in einem sogenannten Warenkorb zusammengefafit sind, wiedergeben. Die Preisveranderung eines einzelnen Gutes i wird durch den Wert Pt(i) i = 1,...,/, yt{i) Po{i) '
Preisveranderung
gemessen. Dabei ist pt{i) der Preis in der Berichtsperiode t, po{i) der Preis in der Berichtsperiode Basisperiode 0 und / der Umfang des Warenkorbs. Ein ungewichteter Index der Basisperiode Preisveranderung Warenkorb yt
ir^o(^)
wtirde die vom jeweiligen Gut verbrauchten Mengen und damit seinen Ausgabenanteil im Warenkorb ignorieren. Im folgenden seien qo{i),i = I,... ^I^ die Mengen in der Basisperiode. Der Preisindex von Laspeyres orientiert sich bei der Gewichtung am Warenkorb der Basisperiode:
Preisindex von Laspeyres
Pt = 2 ^ r-7JT ^o(^)
f^po(i)
mit
go{i) =
J2Po{j)qo(j) j=i
Das Gewicht go{i) ist somit der Anteil an Ausgaben fiir das Gut i im Verhaltnis zu den Gesamtausgaben in der Basisperiode. Beim Preisindex von Paasche werden hingegen die aktuellen Mengen einbezogen:
Preisindex von Paasche
pr=i:?^.9t{i) S'^o(^)
mit ,,(i)= ^°(^)^*(^) T,poiJ)qt{j)
14. Zeitreihen
552
Kiirzen von po{i) ergibt folgende gebrauchliche Form:
Aggregatformel fiir Preisindizes
YlPt{i)Qo{i)
J2Pt{i)Qt{i) pP _ ^=1
Pt =
IlPo{i)qt{i) Paasche
Laspeyres Interpretation
Daraus liest man folgende Interpretation ab: Der Preisindex von Laspeyres gibt jene Preisveranderungen an, die sich bei konstant gehaltenen Verbrauchsmengen aus der Basisperiode ergeben hatten. Der Preisindex von Paasche bezieht sich hingegen auf die laufend aktuahsierten Mengen der Berichtsperiode. Wegen des konstanten Gewichtsschemas gibt der Preisindex von Laspeyres die reine Preisveranderung wieder und Uegt den vom Statistischen Bundesamt veroffentlichten Preisindizes zugrunde. Durch Vertauschen der RoUen von Preisen und Mengen in der Aggregatformel erhalt man Mengenindizes.
Mengenindizes
E Po(0 qtii)
J2pt{i)qt{i)
Qr='^
Qi E Po{i) qoii) i=l
Laspeyres
tlPt{i)qo{i) Paasche
Dabei sind die Mengen qo{i) bzw. qt{i) nicht als Verbrauchsmengen eines Warenkorbs, sondern als produzierte Mengen einer Branche oder eines gesamten Gewerbes aufzufassen. Der Mengenindex von Laspeyres bzw. Paasche gibt somit das Verhaltnis an, indem sich das Volumen oder der Wert der Produktion, bewertet mit den Preisen der Basisperiode bzw. der Berichtsperiode, verandert hat. Umbasierung Verkettung Verkniipfung
Preis- und Mengenindizes sind von Zeit zu Zeit zu aktuahsieren. Griinde dafiir sind etwa die Einfiihrung eines neuen Warenkorbs, Veranderungen in ihrer Definition, etwas eines "Normalhaushalts", oder die Anderung der Basisperiode. Dazu sind spezielle Rechentechniken (Umbasierung^ Verkettung, Verkniipfung) notwendig, die aber hier nicht beschrieben werden.
14.2
553
Komponentenmodelle
Der Deutsche Aktienindex DAX Auch einige Aktienindizes basieren auf der Konzeption von Preisindizes. Dies gilt auch fiir den 1988 eingefiihrten DAX. Er soil sowohl ein reprasentatives Bild des Aktienmarktes der Bundesrepublik Deutschland geben, als auch als Basisobjekt fiir neue Terminmarktinstrumente dienen. Der DAX entsteht durch eine am LaspeyresIndex orientierte Gewichtung von 30 deutschen Aktientiteln, die an der Frankfurter Wertpapierborse notiert werden. Dazu gehoren die Titel bekannter Automobilhersteller, Versicherungen, Banken, Kaufhauser und Unternehmen der Chemie-, Elektro-, Maschinenbau- und Stahlindustrie. Die Indexformel fiir den DAX modifiziert den Laspeyres-Index durch Einfiihrung von Verkettungs- und Korrekturfaktoren, die dem Problem der Veralterung Rechnung tragen sollen.
Indexformel des D A X 30
Y^ Ptii) qrii) ct{i) DAXt =
2=1
30
k(T)•1000
J2po{^qo{i)
Dabei ist t der Berechnungszeitpunkt, etwa wahrend des Tages oder zum Kassenschlufi, po{i) bzw. pt{i) der Aktienkurs der Gesellschaft i zum Basiszeitpunkt (30.12.87) bzw. zum Zeitpunkt t, qo{i) das Grundkapital zum Basiszeitpunkt und qrii) das Grundkapital zum letzten Verkettungstermin T. Die Korrekturfaktoren ct{i) dienen zur Bereinigung um marktfremde Einfliisse, die durch Dividenden oder Kapitalmafinahmen der Gesellschaft i entstehen. Diese Korrekturfaktoren werden am jahrhchen Verkettungstermin T auf 1 zuriickgesetzt und in den Verkettungsfaktor k{T) liberfiihrt. Die Multiplikation mit dem Basiswert 1000 dient nur zur Adjustierung auf ein iibliches Niveau.
Korrekturfaktor Verkettungsfaktor Adjustierung
14.2
Komponentenmodelle
Ein wichtiges Ziel der Zeitreihenanalyse, insbesondere in okonomischen Anwendungen, ist die Zerlegung der beobachteten Zeitreihe {y^, t = 1 , . . . , n} in systematische Komponenten und eine irregulare Restkomponente. Zu den systematischen Komponenten zahlen Trend, Konjunktur und Saison, aber auch weitere erklarbare Effekte. Nicht erklarte oder erfafite Einfliisse oder Stromungen werden ahnlich wie in
14. Zeitreihen
554
Zeitreihenzerlegung
einem Regressionsmodell in einer Restkomponente zusammengefafit. Da die systematischen Komponenten wie Trend oder Saison nicht direkt beobachtbar sind, sind fiir die Zeitreihenzerlegung geeignete Modellannahmen zu treffen. Additive Komponentenmodelle
Die haufigste Modellannahme ist, dafi sich die Komponenten additiv liberlagern. Das klassische additive Komponentenmodell fiir monatliche Daten nimmt an, dafi yt = mt + kt + Sf + et,
t = 1,..., n
Saison
gilt. Die Trendkomponente rrit soil langfristige systematische Veranderungen im Niveau der Zeitreihe, etwa ein lineares oder exponentielles Anwachsen, beinhalten. Die Konjunkturkomponente kt soil den Verlauf von Konjunkturzyklen wiedergeben. Die Saisonkomponente st umfafit jahreszeitlich bedingte Schwankungen und wiederholt sich jahrlich in einem ungefahr gleichbleibenden wellenformigen Muster. Die irregulare Restkomponente et fafit alle anderen, nicht durch Trend, Konjunktur und Saison erklarten Einfliisse zusammen. Dabei wird angenommen, dafi die Werte et vergleichsweise klein sind und mehr oder weniger regellos um null schwanken.
glatte Komponente
Die Trennung von Trend- und Konjunkturkomponente ist oft problematisch. Deshalb fafit man Trend und Konjunktur oft zu einer glatten Komponente gt^ die man meist wieder als "Trend" bezeichnet, zusammen.
Trend Konjunktur
Additives Trend-Saison-Modell
yt = gt + st + et,
Trendmodell
t=l,...,n.
Fiir Zeitreihen ohne erkennbare Saison, etwa Tagesdaten von Aktienkursen oder jahrliche Preisindizes, geniigt oft ein reines Trendmodell yt = 9t + ^t,
t = l,...,n.
Das additive Modell lafit sich prinzipiell auch erweitern, um den Effekt zusatzlicher, beobachtbarer Regressoren xt zu erklaren: Dies fiihrt zu yt = 9t + St + xtP + et,
t=l,...,n.
Kalendereffekte Auf diese Weise konnen zum Beispiel Kalendereffekte oder politische Mafinahmen beriicksichtigt werden.
14.3
555
Globale Regressionsansatze
Multiplikative Modelle Rein additive Modelle sind nicht immer zur Analyse geeignet. Oft nimmt mit wachsendem Trend auch der Ausschlag der Saison und die Streuung der Werte um den Trend mit zu. Dieser Datenlage wird ein additives Modell nicht gerecht. Passender ist dann ein multiplikatives Modell der Form yt = 9t' st-et,
multiplikatives Modell
t = 1,., ,n.
Dies lafit sich durch Logarithmieren auf ein additives Modell yt = log yt = log gt + log St + log e^ fiir die logarithmierten Werte und Komponenten zuriickfiihren. Dies gilt jedoch nicht mehr fiir gemischt additiv-multiplikative Modelle^ etwa von der Form yt = gt{l + gtst) + et, bei denen gt den "Trend" in der Veranderung des Saisonmusters modellieren soil. Wir werden uns im weiteren auf additive Modelle beschranken. Trotz der formalen Ahnlichkeiten mit Regressionsmodellen besteht ein fiir die statistische Analyse wesenthcher Unterschied: Trend und Saison sind unbeobachtbare Funktionen bzw. Folgen {gt^ t = 1 , . . . , n} und {st, t = 1 , . . . , n}, die mit Hilfe der beobachteten Zeitreihe {yt^t = l , . . . , n } zu schatzen sind. Die Schatzung der Komponenten, also die Zerlegung der Zeitreihe, wird erst moglich, wenn man zusatzliche Annahmen trifft. Wir unterscheiden dabei zwischen globalen und lokalen Komponentenansatzen. Bei globalen Komponentenansatzen wird eine iiber den gesamten Zeitbereich giiltige parametrische Funktionsform, etwa ein linearer oder polynomialer Trend, fiir die Komponenten unterstellt. Damit wird die Zeitreihenzerlegung im wesentlichen mit Methoden der Regressionsanalyse moghch, (Abschnitt 14.3). Lokale Komponentenansatze sind flexibler und unterstellen keinen global giiltigen parametrischen Funktionstyp. Man spricht deshalb auch von nichtparametrischer Modellierung. Einige dieser Methoden werden in Abschnitt 14.4 skizziert.
14.3
Globale Regressionsansatze
Wir behandeln zunachst den einfacheren Fall eines reinen Trendmodells yt = gt + ^tDie Zerlegung der Zeitreihe reduziert sich dann auf die Bestimmung einer Schatzung gt fiir den Trend. Dies geschieht mit einem globalen Regressionsansatz.
gemischt additivmultiplikative Modelle
14. Zeitreihen
556 14.3.1
Trendfunktionen
Trendbestimmung
Globale Trendmodelle soUen fiir den gesamten betrachteten Zeitbereich giiltig sein. Sie eignen sich vor allem zur Schatzung einfacher, etwa monotoner Trendfunktionen, deren grober Verlauf schon aus den Daten ersichtlich ist. Die Modellierung erfolgt in Form eines Regressionsansatzes. Folgende Liste enthalt einige iibliche Trendfunktionen. Globale Trendmodelle
linearer Trend quadratischer Trend polynomialer Trend exponentielles Wachstum
9t = f3o + Pit
gt==f3oexp{Pit) 9t
logistische Sdttigungskurve
A+exp(-/?2t)
Die Schatzung der unbekannten Parameter Po^Pi,... erfolgt nach der KleinsteQuadrate-Methode, d.h. /Jo? A , sind so zu bestimmen, dafi die Summe der quadratischen Abweichungen
J2(y^-9t)' t=i
minimal wird. Am einfachsten ist dies fiir das Trendmodell yt = f3o + f3it + €t,
das die Form einer linearen Einfachregression mit dem Regressor t = xt besitzt. Aus den Formeln fiir die KQ-Schatzungen von Abschnitt 3.6 bzw. 12.1 erhalt man sofort
Y^ytt-nty /3i =
t=i
,
f3o =
y-/3l
t=i
(Dabei konnen t = J2 t/n und Yl, ^^ noch vereinfacht werden; z.B. gilt t = ( n + l)/2.) Polynomiale Trendmodelle sind in der Form eines multiplen linearen Regressionsansatzes mit den Regressoren t = xti,... ^t^ = xtq (Kapitel 12.2). Die Schatzer /3o, A , . . . , /3g erhalt man damit wieder mit Hilfe der dort behandelten KQSchatzung. Obwohl polynomiale Trendmodelle geniigend hoher Ordnung oft eine gute Anpassung ermoglichen, haben sie einen gravierenden Nachteil: Polynome hoherer
14.3
557
Globale Regressionsansatze
Ordnung sind aufierhalb des Datenbereichs sehr instabil, gehen schnell nach ±00 und sind deshalb fiir Prognosezwecke ungeeignet. AUgemeiner konnen Trendmodelle der Form t=l,...,n, yt = (3o + (3ixi{t) + • • • + f3qXq{t) + et, mit gegebenen Punktionen x i ( t ) , . . . ,Xg(t), mit Hilfe der Methoden der multiplen linearen Regression geschatzt werden. Echt nichtlineare parametrische Punktionsformen, etwa fiir Sattigungskurven, fiihren dagegen auf Methoden der nichtlinearen Regression. BMW-Aktie und DAX
Beispiel 14,1
Die Abbildung 14.6 zeigt fiir den Kurs der BMW-Aktie jeweils den mit der KQ-Methode geschatzten linearen (—) bzw. kubischen (—•) Trend. Obwohl der kubische Trend als Polynom 3. Grades eine etwas bessere Anpassung liefert als der lineare Trend, geben beide den Verlauf fiir den langen Zeitraum nur sehr grob wieder. Piir den DAPOX erhalt man ein ganz analoges Bild. Die charakteristischen Auf- und Abwartsbewegungen konnten nur mit Polynomen hoheren Grades oder mit stiickweisen Polynomen besser erfaCt werden. Abbildung 14.7 zeigt eine hneare Trendanpassung fiir einen Teil des DAPOX. Deutlich flexiblere Trendanpassungen sind mit den lokalen Ansatzen von Abschnitt 14.4 moglich. D
14.3.2
Bestimmung der Saisonkomponente
Zwei gangige Moglichkeiten zur Modellierung der Saisonkomponente sind Ansatze mit Saison-Dummyvariablen und mit trigonometrischen Punktionen. Wir behandeln dabei den Pall von Monatsdaten. Bei der Modellierung mit Dummyvariablen wird jedem Monat j = 1 , . . . , 12 eine Dummyvariable Dummyvariable sj{t)
1, 0,
wenn t zum Monat j gehort sonst
zugeordnet. Die Saisonkomponente wird als Linearkombination angesetzt:
Saisonmodell mit Dummyvariablen St = PlSlit)
+ '"
+/3i2Si2it)
14. Zeitreiben
558
8 CO 0)
S
oo strebt gt gegen das arithmetische Mittel y = Y^ yt/n bzw. die KQ-Regressionsgerade der Zeitreihenwerte. Die Minimierung der penaHsierten KQ-Kriterien wird prinzipiell wie iibUch durchgefiihrt: Man bildet die ersten Ableitungen nach {gt}^ setzt diese gleich 0 und lost nach {gt} auf. Dies fuhrt auf ein lineares Gleichungssystem der Dimension n, das sich am Computer effizient und schnell losen lafit. Wir verzichten hier auf eine explizite Darstellung. Die Schatzung {gt} wird auch als diskreter Glattungsspline bezeichnet, da eine enge Beziehung zur nonparametrischen Schatzung von Regressionsfunktionen durch Sphne-Funktionen besteht (vgl. Abschnitt *12.4). Bei SpUne-Funktionen geht man von der Vorstellung aus, dafi die Zeit stetig lauft und somit eine unbekannte Funktion g{t) der Zeit zu schatzen ist. Deshalb werden die Straffunktionen entsprechend modifiziert. So verwendet man etwa statt der Summe der quadrierten zweiten Differenzen das Integral /
[g"{t)]'dt
der quadrierten zweiten Ableitung als Straffunktion fiir die Kriimmung.
Straffunktion Gldttungsparameter
14. Zeitreihen
566 14.4.2
Bestimmung der Saisonkomponente
Gleitende Durchschnitte und lokale Regression
Die Idee der gleitenden lokalen Schatzung lafit sich auch auf Trend-Saison-Modelle y^ = g^ + St + et libertragen. Dazu wahlt man zu festem t ein Fenster mit Bandweite q indem gt lokal durch ein Polynom und st lokal durch einen DummyVariablen-Ansatz oder ein trigonometrisches Polynom approximiert wird. Die Parameter ao, a i , . . . , /?i, /325 • • • werden durch lokale KQ-Schatzungen aus t+q ^
Ws {Vs - Qs-
Ssf
mm
s=t—q
simultan Berliner Verfahren
ermittelt. Auf diesem simultanen Ansatz beruht die urspriingliche Version des Berliner Verfahrens^ das in modifizierter Version vom Statistischen Bundesamt eingesetzt wird.
sukzessive
Alternativ werden Trend und Saison sukzessive ermittelt. Dazu wird zunachst nur der Trend wie in 14.4.1 bestimmt. Mit der Schatzung {gt} wird die Zeitreihe yt zu yt = yt — gt trendbereinigt. In einem zweiten Schritt werden Verfahren der gleitenden Durchschnitte oder der lokalen Regression auf yt angewendet, um die Saison zu schatzen. An dieser Grundkonzeption der sukzessiven Schatzung sind einige bekannte Verfahren orientiert. Sie beinhalten aber deutliche Unterschiede in den algorithmischen Details, auf die wir nicht eingehen. In der Praxis werden zudem globale und lokale Ansatze gemischt und das Prinzip der sukzessiven Schatzung in iterierter Form angewendet. Zu diesen komplexen Verfahren gehoren zum Beispiel das Census XI1-Verfahren (im Programmpaket SAS implementiert), das STL-Verfahren (in S-Plus implementiert) und das Berliner Verfahren in der derzeitigen Version des Statistischen Bundesamtes. Obwohl die verschiedenen Verfahren fiir praktische Zwecke oft zu ahnlichen Ergebnissen fiihren, ist es in jedem Fall wichtig zu wissen mit welcher Methode die Ermittlung von Trend und Saison durchgefiihrt wurde.
Beispiel 14.4
IFO-Salden
Abbildung 14.12 zeigt monatliche Salden der Geschaftslage fiir die Branche "Vorprodukte Steine und Erden" sowie den mit STL geschatzten Trend, die Saison und die Restkomponente. Beim Trend ist das deutliche Tal um 1982, dem Ende der sozialliberalen Koalition unter Helmut Schmidt, auffallig. Mit dem tJbergang zur Koalition unter Helmut Kohl steigt der Wert, von einer flachen Phase vor der Bundestagwahl 1986 abgesehen, kontinuierlich bis zur Wiedervereinigung an. Warum macht sich das bei dieser Branche so deutlich, bei der Branche "GenuBmittel" jedoch kaum bemerkbar? Eine mogliche Erklarung sind die damals
14.4
567
Lokale Ansatze
s
il..l.illL.,l
I',„„„'lllllll"l"llllll' l||||||ll"'|'l' -.'nJ.'I'lll'L I '""i|i''i V,-'I"''„,J.'I'-,.,..""' i| IT 'I'm."'"•„,-.'lll'„.'T, HI" '" T'lii'ii
ABBILDUNG 14.12: Salden, Trend, Saison und Restkomponente fiir die Blanche "Vorprodukte Steine und Erden"
extrem hohen SoUzinsen (bis zu 14% ), die sogar viele Bautrager in die Pleite trieben. AnschlieCend sind Anzeichen fiir einen leichten Abfall erkennbar. Obwohl die Antworten auf die Prage nach der Geschaftslage saisonbereinigt erfolgen soUten, zeigt sich eine deutlich ausgepragte Saisonfigur. Das jahreszeitliche Muster paCt zu dieser Branche, die Vorprodukte fiir die Baubranche fertigt: Die Geschaftslage wird zum Priihjahrsbeginn am besten eingeschatzt. Danach folgt ein standiger Abfall bis hin zum Jahreswechsel, dem wiederum der Anstieg zum Gipfel folgt. Abbildung 14.13 zeigt monatUche Salden, Trend, Saison und Restkomponente zur Geschaftslage der Branche "Genufimittel". Hier sticht vor allem der ausgepragte Gipfel
vp.lJylll^.,vl^^.|||,^'l'l.|l^^^
......1
.iliLL
ABBILDUNG 14.13: Salden, Trend und Restkomponente fiir die Branche "GenuBmittel"
14. Zeitreihen
568
nach der Wiedervereinigung ins Auge. Wir verzichten auf eine spekulative Interpretation dieses Effekts. Auch den Versuch, die ausgepragte Saison zu interpretieren, iiberlassen wir dem Leser. D
Beispiel 14.5
Prelsindex fur Pflanzen Abbildung 14.14 zeigt die Ergebnisse der Trend- und Saisonbestimmung fiir den Preisindex der Warengruppe "Pflanzen, Giiter flir die Gartenpflege". Neben einem monoton und fast linear ansteigenden Trend zeigt sich die erwartete Saisonabhangigkeit. D
I S 8
' -I.II. ..IIIII III,, •I•.II..I. ' N I .
,.., .II ..I ,I, I,,I I I
ABBILDUNG 14.14: Monatlicher Preisindex, Saison, Trend und Restkomponente flir den Sektor "Pflanzen, Giiter fiir die Gartenpflege"
''Spline-Glattung Das Prinzip der penalisierten KQ-Schatzung lafit sich auch auf Trend-Saison-Modelle yt = 9t+st+^t erweitern. Da die Saison nur die Abweichungen vom Trend beschreiben soil, mu6 bei Monatsdaten fiir alle t 11 ^ St-u « 0 gelten. Bringt man diese Forderung in den penalisierten KQ-Ansatz mit ein, so erhalt man: Bestimme {gt}^ {st} so, dafi n
J2'^yt -9tt=i
n
stf + Ai Y^{gt - 2gt-i + gt-2? t=2
n f 11 + ^ 2 ^ \ Y 1 t=12 Ku=0
^"^
st-u \
14.5 Zusammenfassung und Bemerkungen
569
minimiert wird. Die algorithmische Minimierung lafit sich wieder auf das Losen eines hochdimensionalen Gleichungssystems zuriickfuhren.
14.5
Zusammenfassung und Bemerkungen
Dieses Kapitel gibt eine Einfiihrung in deskriptive und explorative Methoden der Zeitreihenanalyse, mit denen sich die wichtigsten Komponenten Trend und Saison bestimmen lassen. Weitere Gebiete wie Prognoseverfahren, stochastische Modelle der Zeitreihenanalyse sowie die statistische Analyse im Prequenzbereich werden z.B. von Schlittgen und Streitberg (2001) behandelt. Eine umfassende Darstellung findet sich z.B. in Hamilton (1994). Insbesondere fiir multivariate Modelle der Zeitreihenanalyse verweisen wir auf Liitkepohl (1993).
14.6
Aufgaben
Betrachten Sie den folgenden Ausschnitt aus der Zeitreihe der Zinsen (Beispiel 2.5) 7.51 6.95
7.42 6.77
6.76 6.86
5.89 6.95
5.95 6.66
5.35 6.26
5.51 6.18
6.13 6.07
6.45 6.52
6.51 6.52
Aufgabe 14.1
6.92 6.71
und bestimmen Sie den gleitenden 3er- und ller-Durchschnitt. Anstelle gleitender Durchschnitte konnen zur Glattung einer Zeitreihe auch gleitende Mediane verwendet werden, die analog definiert sind. Berechnen Sie die entsprechenden gleitenden Mediane. Zeichnen Sie die Zeitreihe zusammen mit Ihren Resultaten.
Abbildung 14.15 zeigt zu der Zeitreihe der Zinsen (Beispiel 2.5) gleitende Durchschnitte und Mediane. Vergleichen Sie die geglatteten Zeitreihen und kommentieren Sie Unterschiede und Ahnlichkeiten.
Aufgabe 14.2
Einer Zeitreihe {yt,t = l^...,n}
Aufgabe 14.3
wird oft ein hnearer Trend
yt=a-\-P't-\-e, unterstellt.
t = l,...,n
14. Zeitreiben
570 (b)
(a)
T
1
1
1
1
1
1—
0
50
100
150
200
250
300
350
0
50
100
(c)
150
200
250
300
350
200
250
300
350
(d)
lOH
0
50
100
150
200
250
300
350
0
50
100
150
14.15: Lokale Glattung der monatlichen Zinssaatze: gleitende 5erDurchschnitte (a), gleitende 5er-Mediane (b), gleitende 21er-Durchschnitte (c) und gleitende 21er-Mediane (d) ABBILDUNG
(a) Vereinfachen Sie die gewohnlichen KQ-Schatzer. (b) Von 1982 bis 1987 wird im folgenden die Anzahl der gemeldeten AIDS-Infektionen in den USA vierteljahrlich angegeben: 185 2142
200 2525
293 2951
374 3160
554 3819
713 4321
763 4863
857 5192
1147 6155
1369 6816
1563 7491
1726 7726
Bestimmen Sie die Regressionskoeffizienten. (c) Die Annahme eines linearen Trends ist hier unter Umstanden fragwiirdig. Exponentielles Wachstum y^ = a - exp(/? - t) - et kann durch Logarithmieren wieder in ein klassisches Regressionsmodell transformiert werden. Berechnen Sie fiir dieses transformierte Modell die Regressionskoeffizienten.
Aufgabe 14.4
Abbildung 14.16 zeigt die monatlichen Geburten in der BRD von 1950 bis 1980. Kommentieren Sie den Verlauf der Zeitreihe, sowie Trend und Saison, die mittels STL geschatzt wurden.
14.6
Aufgaben
571
1 ^
I
1
i I —
1 1
^
^
^
^
^
^
WMWMIMV#^^^^
^
•|*"|''H(1M|||||l'*|
ABBILDUNG 14.16: Monatliche Geburten und Zerlegung in Saison, Trend und Restkomponente
Tabellen A
Standardnormalverteilung
Tabelliert sind die Werte der Verteilungsfunktion $(z) = P{Z < z) ftir 2; > 0. Ablesebeispiel: $(1.75) = 0.9599 Funktionswerte fiir negative Argumente: ^{—z) = 1 — $(2:) Die z-Quantile ergeben sich genau umgekehrt. Beispielsweise ist z(0.9599) = 1.75 und z(0.9750) = 1.96.
te^ 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9
0.00 0.5000 0.5398 0.5793 0.6179 0.6554 0.6915 0.7257 0.7580 0.7881 0.8159 0.8413 0.8643 0.8849 0.9032 0.9192 0.9332 0.9452 0.9554 0.9641 0.9713 0.9772 0.9821 0.9861 0.9893 0.9918 0.9938 0.9953 0.9965 0.9974 0.9981 0.9987 0.9990 0.9993 0.9995 0.9997 0.9998 0.9998 0.9999 0.9999 1.0000
0.01 0.5040 0.5438 0.5832 0.6217 0.6591 0.6950 0.7291 0.7611 0.7910 0.8186 0.8438 0.8665 0.8869 0.9049 0.9207 0.9345 0.9463 0.9564 0.9649 0.9719 0.9778 0.9826 0.9864 0.9896 0.9920 0.9940 0.9955 0.9966 0.9975 0.9982 0.9987 0.9991 0.9993 0.9995 0.9997 0.9998 0.9998 0.9999 0.9999 1.0000
0.02 0.5080 0.5478 0.5871 0.6255 0.6628 0.6985 0.7324 0.7642 0.7939 0.8212 0.8461 0.8686 0.8888 0.9066 0.9222 0.9357 0.9474 0.9573 0.9656 0.9726 0.9783 0.9830 0.9868 0.9898 0.9922 0.9941 0.9956 0.9967 0.9976 0.9982 0.9987 0.9991 0.9994 0.9995 0.9997 0.9998 0.9999 0.9999 0.9999 1.0000
0.03 0.5120 0.5517 0.5910 0.6293 0.6664 0.7019 0.7357 0.7673 0.7967 0.8238 0.8485 0.8708 0.8907 0.9082 0.9236 0.9370 0.9484 0.9582 0.9664 0.9732 0.9788 0.9834 0.9871 0.9901 0.9925 0.9943 0.9957 0.9968 0.9977 0.9983 0.9988 0.9991 0.9994 0.9996 0.9997 0.9998 0.9999 0.9999 0.9999 1.0000
0.04 0.5160 0.5557 0.5948 0.6331 0.6700 0.7054 0.7389 0.7704 0.7995 0.8264 0.8508 0.8729 0.8925 0.9099 0.9251 0.9382 0.9495 0.9591 0.9671 0.9738 0.9793 0.9838 0.9875 0.9904 0.9927 0.9945 0.9959 0.9969 0.9977 0.9984 0.9988 0.9992 0.9994 0.9996 0.9997 0.9998 0.9999 0.9999 0.9999 1.0000
0.05 0.5199 0.5596 0.5987 0.6368 0.6736 0.7088 0.7422 0.7734 0.8023 0.8289 0.8531 0.8749 0.8944 0.9115 0.9265 0.9394 0.9505 0.9599 0.9678 0.9744 0.9798 0.9842 0.9878 0.9906 0.9929 0.9946 0.9960 0.9970 0.9978 0.9984 0.9989 0.9992 0.9994 0.9996 0.9997 0.9998 0.9999 0.9999 0.9999 1.0000
0.06 0.5239 0.5636 0.6026 0.6406 0.6772 0.7123 0.7454 0.7764 0.8051 0.8315 0.8554 0.8770 0.8962 0.9131 0.9279 0.9406 0.9515 0.9608 0.9686 0.9750 0.9803 0.9846 0.9881 0.9909 0.9931 0.9948 0.9961 0.9971 0.9979 0.9985 0.9989 0.9992 0.9994 0.9996 0.9997 0.9998 0.9999 0.9999 0.9999 1.0000
0.07 0.5279 0.5675 0.6064 0.6443 0.6808 0.7157 0.7486 0.7794 0.8078 0.8340 0.8577 0.8790 0.8980 0.9147 0.9292 0.9418 0.9525 0.9616 0.9693 0.9756 0.9808 0.9850 0.9884 0.9911 0.9932 0.9949 0.9962 0.9972 0.9979 0.9985 0.9989 0.9992 0.9995 0.9996 0.9997 0.9998 0.9999 0.9999 0.9999 1.0000
0.08 0.5319 0.5714 0.6103 0.6480 0.6844 0.7190 0.7517 0.7823 0.8106 0.8365 0.8599 0.8810 0.8997 0.9162 0.9306 0.9429 0.9535 0.9625 0.9699 0.9761 0.9812 0.9854 0.9887 0.9913 0.9934 0.9951 0.9963 0.9973 0.9980 0.9986 0.9990 0.9993 0.9995 0.9996 0.9997 0.9998 0.9999 0.9999 0.9999 1.0000
0.09 0.5359 0.5753 0.6141 0.6517 0.6879 0.7224 0.7549 0.7852 0.8133 0.8389 0.8621 0.8830 0.9015 0.9177 0.9319 0.9441 0.9545 0.9633 0.9706 0.9767 0.9817 0.9857 0.9890 0.9916 0.9936 0.9952 0.9964 0.9974 0.9981 0.9986 0.9990 0.9993 0.9995 0.9997 0.9998 0.9998 0.9999 0.9999 0.9999 LOOOO
Tabellen
574
B
Binomialverteilung
Tabelliert sind die Werte der Verteilungsfunktion X
F{x) = P{X < x) = Y^P{X = k). /c=0
Ablesebeispiel: X - B ( 8 ; 0.1)
F ( 2 ) = 0.9619
Funktionswerte fiir TT > 0.5: X - 5 ( n ; 7r)=^Y
= n-X
r. B{n, 1 - TT)
Approximation der Binomialverteilung durch die Normalverteilung mit Stetigkeitskorrektur: Falls nTT und n ( l — TT) grofi genug sind (Faustregel: n7r > 5 und n ( l — TT) > 5), gilt
P{X
<x)
=
B{x\n,TT)^^
a; + 0.5 — nTT \ / n 7 r ( l - TT)
Approximation der Binomialverteilung durch die Poisson-Verteilung: Falls n grofi und TT nahe bei null ist (Faustregel: n > 30 und TT < 0.05), gilt B(n,
n =l 0.9500 1 1.0000
TT = 0.05
a;
