Biometrie

Lutz Dümbgen Biometrie Studienbücher Medizinische Informatik Herausgegeben von Prof. Dr. rer. nat. habil. Heinz Han...

Author: Lutz Dumbgen

61 downloads 524 Views 3MB Size Report

This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form

DOWNLOAD PDF

Lutz Dümbgen Biometrie

Studienbücher

Medizinische Informatik

Herausgegeben von Prof. Dr. rer. nat. habil. Heinz Handels, Hamburg Prof. Dr.-Ing. Dr. med. habil. Siegfried Pöppl, Lübeck

Die Studienbücher Medizinische Informatik behandeln anschaulich, systematisch und fachlich fundiert Themen aus der Medizinischen Informatik entsprechend dem aktuellen Stand der Wissenschaft. Die Bände der Reihe wenden sich sowohl an Studierende der Informatik und Medizinischen Informatik im Haupt- und Nebenfach an Universitäten und Fachhochschulen als auch an Lehrende und Praktiker.

www.viewegteubner.de

Lutz Dümbgen

Biometrie STUDIUM

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

Prof. Dr. Lutz Dümbgen Universität Bern Institut für mathematische Statistik und Versicherungslehre Sidlerstr. 5 CH-3012 Bern Email: [email protected]

1. Auflage 2010 Alle Rechte vorbehalten © Vieweg +Teubner | GWV Fachverlage GmbH, Wiesbaden 2010 Lektorat: Ulrich Sandten | Kerstin Hoffmann Vieweg+Teubner ist Teil der Fachverlagsgruppe Springer Science+Business Media. www.viewegteubner.de Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Umschlaggestaltung: KünkelLopka Medienentwicklung, Heidelberg Druck und buchbinderische Verarbeitung: STRAUSS GMBH, Mörlenbach Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier. Printed in Germany ISBN 978-3-8348-0662-8

Vorwort Dieses Buch entstand aus Skripten zu den Vorlesungen “Medizinische Biometrie I-II” im Rahmen des Diplomstudiengangs Informatik mit Nebenfach Medizinische Informatik an der (Medizinischen) Universität zu Lübeck. Erweiterte Versionen dieser Skripten kamen auch als Studienmaterial der Fernuniversität Hagen zum Einsatz. Ziel dieses Buches ist, eine Einführung in wichtige statistische Methoden und Denkweisen zu vermitteln. Es richtet sich an Studierende der Informatik oder Mathematik mit Grundlagenwissen über Wahrscheinlichkeitsrechnung. Daher werden an einigen Stellen auch algorithmische Aspekte vertieft und rechenintensive Verfahren behandelt. Wer an detaillierteren Darstellungen und Herleitungen oder weiterführendem Material interessiert ist, kann sich gerne an mich wenden, um Internet-Zugang zu meinen neueren Skripten für Studierende der Mathematik oder Statistik (www.math-stat.unibe.ch) zu bekommen. Die Auswertungen und Graphiken wurden teilweise mit Matlab und teilweise in der Programmiersprache und -umgebung R erstellt. Letztere steht für beliebige Betriebssysteme kostenlos zur Verfügung (www.cran.r-project.org). Auf meiner Internetseite zum vorliegenden Buch (www.stat.unibe.ch) stelle ich zusätzliche R-Programme zur Verfügung. Dort finden Sie auch die in Text und Übungen verwendeten Datensätze. Birgit Schneider und Gaby Claasen unterstützten mich beim Erstellen der ersten Version dieses Manuskripts. Die Lübecker Studierenden Stefanie Börner, Lars Bornemann, Annika Hansen, Tobias Klotz, Marianne Mainus, Joachim Rückleben und Birgit Schweda halfen mir durch ihr Interesse sowie zahlreiche Fehlermeldungen und Anmerkungen. Weitere Anregungen und Hinweise lieferten die Hagener Fernstudierenden Sabine Müller, Georg Wilhelm und Björnstjerne Zindler, mein Kollege Andreas Ziegler aus Lübeck und mein Doktorand Dirk Klingbiel. Schließlich fanden meine Frau Renate und meine Tochter Lena noch einige Tippfehler. Allen Beteiligten möchte ich herzlich danken! Bern, im September 2009 Lutz Dümbgen

Inhaltsverzeichnis 1

Einleitung

2

Deskriptive Statistik 2.1 Stichproben, Variablen und Datenmatrizen 2.2 Die empirische Verteilung . . . . . . . . 2.3 Methoden für eine numerische Variable . 2.4 Übungsaufgaben . . . . . . . . . . . . .

3

4

5

6

7

1

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

3 . 3 . 4 . 5 . 12

Statistische Modelle 3.1 Fehlerquellen . . . . . . . . . . . . . . . . . . . 3.2 Unabhängige, identisch verteilte Zufallsvariablen 3.3 Verteilungs- und Dichtefunktionen . . . . . . . . 3.4 Normalverteilungen . . . . . . . . . . . . . . . . 3.5 Übungsaufgaben . . . . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

15 15 16 17 20 25

Konfidenzintervalle für Häufigkeiten und Quantile 4.1 Die Präzision der empirischen Verteilung . . . 4.2 Konfidenzintervalle für Wahrscheinlichkeiten . 4.3 Konfidenzintervalle für Median und Quantile . 4.4 Übungsaufgaben . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

31 31 32 38 41

Vierfeldertafeln und Chancenquotienten 5.1 Chancenquotienten (Odds Ratios) . . . . . . . . . . . 5.2 Konfidenzschranken für Chancenquotienten . . . . . . 5.3 Multiple Vierfeldertafeln und das Simpson-Paradoxon 5.4 Übungsaufgaben . . . . . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

43 44 47 54 56

Konfidenzbereiche für Normalverteilungen 6.1 Z-Konfidenzintervalle für μ . . . . . . . . . . . . . 6.2 Student- und χ 2 –Konfidenzintervalle für μ bzw. σ 2 6.3 Abweichungen von der Normalitätsannahme . . . . 6.4 Übungsaufgaben . . . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

59 59 60 65 68

. . . .

73 73 76 78 83

Dichteschätzung 7.1 Die Präzision von Histogrammdichten 7.2 Von Histogrammen zu Kernschätzern 7.3 Die Präzision von Kernschätzern . . . 7.4 Übungsaufgaben . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

VIII

8

Inhaltsverzeichnis

Statistische Tests 8.1 Statistische Überlegungen zu Beispiel 1.2 8.2 Hypothesen und (Fehl-) Schlüsse . . . . . 8.3 Parametrische Tests . . . . . . . . . . . . 8.4 Nichtparametrische Tests . . . . . . . . . 8.5 Monte-Carlo-Tests . . . . . . . . . . . . 8.6 Übungsaufgaben . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

85 85 87 88 95 104 105

Vergleich zweier Stichproben 9.1 Nichtparametrische Tests . . . . . . 9.2 Vergleich zweier Mittelwerte . . . . 9.3 Vergleich zweier Poisson-Parameter 9.4 Übungsaufgaben . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

107 110 116 118 120

10 Multiple Vergleiche und Tests auf Assoziation 10.1 Bonferroni- und Holm-Adjustierungen . . . . . . . . . . . . . . . . . . . . . . . 10.2 Tests auf Assoziation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.3 Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

121 121 126 133

11 Multivariate Beobachtungen 11.1 Erwartungswerte und Kovarianzen 11.2 Korrelationsmaße . . . . . . . . . 11.3 Schätzung von Kovarianzen . . . . 11.4 Hauptkomponenten . . . . . . . . 11.5 Multivariate Dichtefunktionen . . 11.6 Multivariate Normalverteilungen . 11.7 Übungsaufgaben . . . . . . . . .

9

. . . .

. . . .

. . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

137 137 139 148 151 155 159 162

12 Diskriminanzanalyse und Klassifikation 12.1 Klassifikatoren und Gütekriterien . . . . . . 12.2 Trainingsdaten . . . . . . . . . . . . . . . 12.3 Optimale Klassifikation im idealisierten Fall 12.4 Klassifikation anhand von Trainingsdaten . 12.5 Übungsaufgaben . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

165 165 166 168 173 184

13 Lineare Modelle 13.1 Definition linearer Modelle und Beispiele 13.2 Schätzung der Parameter . . . . . . . . . 13.3 Tests und Konfidenzbereiche . . . . . . . 13.4 Leverage und Residuenanalyse . . . . . . 13.5 Logistische Regression . . . . . . . . . . 13.6 Übungsaufgaben . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

187 187 190 196 207 215 222

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . .

14 Bootstrap-Verfahren 225 14.1 Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

Inhaltsverzeichnis

IX

Literaturverzeichnis

231

Sachverzeichnis

233

1 Einleitung “Statistics means never having to say you are certain!” Eine Aufgabe der Statistik ist, Rohdaten in geeigneter Weise zu beschreiben, zusammenzufassen und unter verschiedenen Aspekten graphisch darzustellen. Auf diese Weise möchte man interessante Informationen gewinnen und für Andere sichtbar machen. Mit diesem Aufgabenbereich setzt man sich in der beschreibenden oder deskriptiven Statistik auseinander. In der Regel verwendet man Daten, um Aussagen über zugrundeliegende Strukturen zu machen. Doch zwischen vielen Phänomenen bestehen nur vage Zusammenhänge. Eine weitere Aufgabe der Statistik ist es, durch geeignete Modelle auch solche vagen Zusammenhänge zu beschreiben und zu quantifizieren. Hinzu kommt, dass die zur Verfügung stehenden Daten aus vielerlei Gründen fehlerbehaftet sind, und man muss die dadurch bedingte Unsicherheit in die Auswertung miteinbeziehen. Zum Beispiel geht es oftmals um die Frage, ob beobachtete Effekte tatsächlich vorhanden oder “rein zufällig” sind. Mit diesen Aufgaben beschäftigt sich die schließende oder induktive Statistik. Beispiel 1.1 Inzwischen gilt es als erwiesen, dass Rauchen bestimmte Krebsarten verursacht. Dennoch gibt es starke Raucher, die keinen Krebs entwickeln. Ein anderer Einwand, der unter anderem von dem berühmten Statistiker Sir Ronald Aylmer Fisher (selbst ein starker Raucher) vorgetragen wurde, ist die “Konstitutionshypothese”. Verfechter dieser Hypothese behaupten, dass Krebs nicht durch Rauchen verursacht wird, sondern dass Krebs vor allem genetisch bedingt ist und diese Gene außerdem eine Neigung zum Tabakkonsum verursachen. Wenn dem so ist, wäre es doch gemein, einem Menschen, der ohnehin schon “schlechte Karten” hat, auch noch sein Rauchvergnügen zu verbieten. Dieses Argument, auch wenn es hier etwas konstruiert wirkt, sollte man stets im Auge behalten. Aus einem Zusammenhang zwischen zwei Phänomenen kann man noch nicht auf Verursachung des einen durch das andere schließen. Wie könnte man die “Konstitutionshypothese” überprüfen? (Erst nachdenken, dann weiterlesen!) Abgesehen von zahlreichen Tierversuchen wurde folgende Zwillingsstudie in Finnland durchgeführt: Man besorgte sich Daten über Paare von eineiigen Zwillingen, von denen genau einer rauchte bzw. zu Lebzeiten geraucht hatte. Die nachfolgende Tabelle enthält Anzahlen von Todesfällen. Todesurs. Herzinfarkt Lungenkrebs Andere

Raucher

Nichtraucher

9 2 17

0 0 5

Inwiefern belegen diese Daten die Schädlichkeit des Rauchens? Beispiel 1.2 Im Rahmen einer Fortbildungsveranstaltung nahmen 48 angehende Managerinnen und Manager an einem Experiment teil, ohne dies zu wissen. Jeder von ihnen erhielt eine (fiktive) Personalakte und sollte entscheiden, ob die betreffende Person befördert wird oder nicht. Die 48 Personalakten waren identisch bis auf den

2

1 Einleitung

Namen der Person und wurden rein zufällig verteilt. In vierundzwanzig Fällen handelte es sich um die Akte eines Herrn, in 24 Fällen um die einer Dame. Die Vermutung war, dass Männer gegenüber Frauen bevorzugt würden. Durch die Zuteilung der Personalakten wurden die Manager rein zufällig in zwei Gruppen eingeteilt, wobei diejenigen in Gruppe 1 einen Kandidaten und diejenigen in Gruppe 2 eine Kandidatin beurteilten. Hier sind die Ergebnisse der Beurteilung, dargestellt als Vierfeldertafel: Beförderung

keine Beförd.

21 14

3 10

24 24

35

13

48

Gruppe 1 (Kandidat) Gruppe 2 (Kandidatin)

Belegen diese Daten die Behauptung, dass die 48 Manager voreingenommen sind? Zwei mögliche Standpunkte sind: Argument 1. “Bei gerechter Beurteilung sollten in den Gruppen 1 und 2 etwa gleichviele Kandidaten befördert beziehungsweise nicht befördert werden. Tatsächlich ist der Prozentsatz von Beförderungen in Gruppe 1 (87, 5%) deutlich höher als in Gruppe 2 (58, 3%). Dies zeigt, dass Männer gegenüber Frauen bevorzugt wurden!” Argument 2. “Bei den 48 Managern handelt es sich um Personen mit unterschiedlichen Ansprüchen. Hiervon sind 35 Manager der Ansicht, die Kandidatin oder der Kandidat sollte befördert werden, und 13 sind gegenteiliger Meinung. Dabei spielt das Geschlecht der zu beurteilenden Person keine Rolle. Von den 35 Managern mit positivem Urteil landeten zufällig 21 Manager in Gruppe 1 und 14 in Gruppe 2. Anhand der vorgelegten Daten kann man nichts beweisen.” Das zweite Argument ist zwar “politisch unkorrekt” aber durchaus richtig. Beweisen kann man anhand der Daten nichts. Dieser Hinweis ist jedoch wenig hilfreich, denn in den wenigsten Situationen kann man sich auf absolut beweisbare Tatsachen verlassen. Oft müssen Entscheidungen trotz Unwägbarkeiten gefällt werden. Wenn man bereit ist, ein gewisses Risiko einer falschen Unterstellung einzugehen, kann man möglicherweise die Voreingenommenheit der 48 Manager statistisch nachweisen. Dies werden wir in Kapitel 8 genauer untersuchen. Beispiel 1.3 Neugeborene haben einen “Schreit-Reflex”. Hält man sie am Oberkörper, so dass ihre Füße eine Unterlage berühren, dann beginnen sie wohlkoordinierte Laufbewegungen. Dieser Reflex verschwindet nach circa acht Wochen. Die Frage ist, ob sich tägliches Trainieren dieses Reflexes auf den Beginn des Laufalters auswirkt. Um dies zu untersuchen, wurden 12 männliche Neugeborene rein zufällig in zwei gleich große Gruppen aufgeteilt. Bei den Säuglingen der “Trainingsgruppe” wurde acht Wochen lang der Laufreflex täglich ausgelöst, in der “Kontrollgruppe” hingegen nicht. Später wurde von den Eltern der Beginn des Laufalters mitgeteilt. Hier sind Laufalter in Monaten für die beiden Gruppen, jeweils der Größe nach sortiert: Trainingsgruppe Kontrollgruppe

9.00 11.50

9.50 11.50

9.50 12.00

9.75 13.25

10.00 13.50

13.00 –

Über ein Kind der Kontrollgruppe wurde keine Angabe gemacht. Kann man aufgrund dieser Daten schließen, dass Kinder mit trainiertem Laufreflex tendenziell früher laufen lernen?

2 Deskriptive Statistik 2.1 Stichproben, Variablen und Datenmatrizen Eine Stichprobe (Datensatz, sample) ist ein Tupel (Xi )ni=1 von n Beobachtungen (Fällen, Stichprobenelementen, observations, cases) Xi . Dabei ist n der Stichprobenumfang (sample size). Im einfachsten Fall ist Xi der Wert einer Variable und man spricht von einer univariaten (einfachen) Stichprobe. Im Allgemeinen enthält Xi = (Xi j )dj=1 Werte Xi j von mehreren Variablen, und man spricht von einer multivariaten (d-variaten) Stichprobe. Eine andere Bezeichnung für Variable ist Merkmal. Die möglichen Werte einer Variable bzw. eines Merkmals nennt man auch Merkmalsausprägungen. Beispiel 2.1 In einer Biometrievorlesung wurde ein Fragebogen verteilt, auf dem jede/r von n = 34 Studierenden ihre/seine Werte für folgende Variablen eintrug: Name, Alter (in Jahren), Geschlecht (m/w), Körpergröße (in cm) und -gewicht (in kg), Schuhgröße, Handybesitzer (j/n), zwei Pulsmessungen (Schläge/15 Sekunden), zwei weitere Pulsmessungen nach kurzem Aufstehen und Strecken, sowie eine “Zufallszahl” aus {0, 1, 2, . . . , 9}. Jede Beobachtung Xi enthält die Informationen einer bestimmten Person. Wir haben hier einen Datensatz mit 12 Variablen (‘MStatH2000.txt’).

Eine gängige Darstellung von Stichproben ist in Form einer Datenmatrix, wobei jede Beobachtung Xi einer Zeile und jede Variable einer Spalte entspricht. Oftmals wird eine Anfangszeile eingefügt, welche die Namen der Variablen enthält. Diese Darstellungsweise ist Standard aller gängigen Statistik-Software-Pakete. Bei personenbezogenen Datensätzen sollten Personennamen stets verschlüsselt und der Schlüssel separat gespeichert werden. In Beispiel 1.2 ist n = 48, und ein Stichprobenelement Xi entspricht einem Manager. Die erste Variable sei “Beförderung” mit den möglichen Werten ‘+’ oder ‘−’, die zweite Variable sei “Gruppe” mit den möglichen Werten ‘1’ (Kandidat wurde beurteilt) und ‘2’ (Kandidatin wurde beurteilt). Da für Xi nur vier verschiedene Werte in Frage kommen, ist eine Darstellung als Vierfeldertafel (Kontingenztafel ) wie in Kapitel 1 ökonomischer. In Beispiel 1.3 ist n = 12, und jede Beobachtung entspricht einem Kind. Eine Variable sei ‘Gruppe’ mit Werten ‘Training’ und ‘Kontrolle’, eine weitere Variable sei ‘Laufalter’ mit Werten in [0, ∞[. Man kann auch den Datensatz in zwei Teilstichproben (Yi )6i=1 und (Zi )6i=1 aufteilen, von denen die erste die Laufalter der Behandlungspruppe, die zweite die Laufalter der Kontrollgruppe enthält. Man unterscheidet drei Typen von Variablen: Numerische oder quantitative Variablen enthalten reelle Zahlen. Dabei haben die Zahlenwerte eine objektive, beispielsweise physikalische, Bedeutung. Beispiele sind Alter, Körpergröße und -gewicht oder Jahreseinkommen von Personen.

4

2 Deskriptive Statistik

Kategorielle oder nominale Variablen enthalten einen Eintrag aus einer beliebigen endlichen Menge. Beispiele sind die Berufsgruppe, die Antwort auf eine bestimmte Ja-Nein-Frage oder das Geschlecht von Personen. Ordinale Variablen enthalten wie kategorielle Variablen einen Eintrag aus einer endlichen Menge. Die möglichen Werte stehen nun in einer bestimmten Reihenfolge. Typische Beispiele sind Antworten auf Fragen wie “Treiben Sie regelmäßig Sport? (nie, selten, wöchentlich, täglich)” oder “Waren Sie mit dem Kurs zufrieden? (nein, teilweise, ja)”. Auch in vielen medizinischen Anwendungen werden ordinale Variablen erhoben, beispielsweise bei der Klassifikation einer Gewebeprobe als ‘normal’, ‘leicht verändert’ oder ‘stark verändert’. Ein anderes Beispiel: Bei einem Wettrennen wird nur festgehalten, in welcher Reihenfolge die Teilnehmer im Ziel eintreffen, aber nicht die genauen Zeiten.

2.2 Die empirische Verteilung Sei X = (Xi )ni=1 eine Stichprobe mit Beobachtungen Xi in einer Menge X . Bei statistischen Auswertungen wird oftmals gezählt, wieviele Beobachtungen eine bestimmte Eigenschaft, beispielsweise eine bestimmte Ausprägung eines Merkmals haben. Anstelle der absoluten Anzahl verwendet man relative Anzahlen, also Wahrscheinlichkeiten. Die empirische Verteilung der Stichprobe X ist ein (diskretes) Wahrscheinlichkeitsmaß P auf der Menge X und ordnet einer beliebigen Menge B ⊂ X die Zahl #{i : Xi ∈ B} 1 n P(B) := = ∑ 1{Xi ∈ B} n n i=1 zu. Allgemein wird 1{‘Aussage’} definiert als 1, wenn ‘Aussage’ zutrifft, und 0 sonst. Beispiel (2.1, Forts.) Für X könnte man hier das kartesische Produkt von zwölf Mengen wählen, beispielsweise N × [0, 99] × {m, w} × R3 × {j, n} × R4 × {0, 1, . . . , 9}. Dabei wurde zunächst der Name durch eine Identifikationsnummer ersetzt. Der relative Anteil von Hörern, die älter als 25 Jahre sind, ist beispielsweise 7 P {x ∈ X : x2 > 25} = ≈ 0.206. 34 Die Pulsraten (Schläge pro Minute) vor und nach der “Gymnastik” definieren wir als f (x) := 2x8 + 2x9

bzw. g(x) := 2x10 + 2x11 .

Der relative Anteil von Hörern mit einer Pulssteigerung ist dann gleich 19 P {x ∈ X : f (x) < g(x)} = ≈ 0.576. 33 Dabei betrachteten wir nur die n = 33 Hörer, bei denen alle Pulsmesswerte verfügbar waren.

2.3 Methoden für eine numerische Variable

5

Stab- und Kuchendiagramme. Empirische Wahrscheinlichkeiten von disjunkten Mengen B1 , B2 , . . . , Bm kann man beispielsweise durch ein Stabdiagramm (bar chart) graphisch darstellen. i ). Eine andere DarstelDabei zeichnet man für jede dieser m Mengen einen Balken der Höhe P(B lungsmethode ist ein Kuchendiagramm (pie chart). Dabei wird eine Kreisfläche mit Flächeninhalt i ) unterteilt. Eins in m Sektoren (Kuchenstücke) mit Flächeninhalten P(B

0.5

Beispiel (2.1, Forts.) Abbildung 2.1 zeigt für die Variable ‘Zufallszahl’ das Stab- und Kuchendiagramm. Auffallend ist das starke Gewicht der Zahl Sieben. Inwiefern dies auch aussagekräftig ist, werden wir später untersuchen.

5 0.4

6

4 3 2

0.3

1

0.2

0

0.1

9

8

0.0

7

0

1

2

3

4

5

6

7

8

9

Abbildung 2.1: Stab- und Kuchendiagramm der Variable ‘Zufallszahl’ in Beispiel 2.1.

2.3 Methoden für eine numerische Variable In diesem Abschnitt konzentrieren wir uns auf eine numerische Variable eines Datensatzes und betrachten nur die entsprechende Spalte X = (Xi )ni=1 ∈ Rn der Datenmatrix. Ordnungsstatistiken. Für viele Methoden ist die Reihenfolge der Beobachtungen irrelevant. Wenn man die Beobachtungen Xi der Größe nach ordnet, erhält man die Ordnungsstatistiken X(1) ≤ X(2) ≤ · · · ≤ X(n) . Man nennt X() die -te Ordnungsstatistik von X. Beispiel (2.1, Forts.) Wir betrachten nur die Variable ‘Alter’ (in Jahren). Dann ist X

=

(22, 21, 35, 27, 25, 23, 22, 21, 23, 25, 27, 22, 22, 23, 23, 22, 23 21, 22, 34, 34, 24, 39, 22, 24, 22, 21, 34, 24, 22, 24, 23, 22, 22) .

6


Der Vektor der Ordnungsstatistiken hiervon ist (X(i) )34 i=1

=

(21, 21, 21, 21, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 22, 23, 23 23, 23, 23, 23, 24, 24, 24, 24, 25, 25, 27, 27, 34, 34, 34, 35, 39) .

Die empirische Verteilungsfunktion. Die empirische Verteilungsfunktion der Stichprobe (Variable) X ist definiert als #{i : Xi ≤ r} = P(]−∞, r]). r → F(r) := n an, welcher relative Anteil der Beobachtungen kleiner oder gleich r ist. Mithilfe Also gibt F(r) der Ordnungsstatistiken X(i) kann man schreiben: ⎧ ⎪ ⎨ 0 für r < X(1) , F(r) = i/n für X(i) ≤ r < X(i+1) und 1 ≤ i < n, ⎪ ⎩ 1 für r ≥ X . (n) Desweiteren gilt für beliebige Intervalle ]a, b] die Gleichung b]) = F(b) − F(a). P(]a,

1.00

Beispiel (2.1, Forts.) Abbildung 2.2 zeigt den Graphen der empirischen Verteilungsfunktion der Variable ‘Alter’.

*

*

*

* 0.75

* *

0.50

*

0.25

*

0.00

*

20

25

30

35

40

Abbildung 2.2: Empirische Verteilungsfunktion der Variable ‘Alter’ in Beispiel 2.1.


7

Histogramme. Seien J1 , J2 , . . . , Jm vorgegebene beschränkte, paarweise disjunkte Intervalle, wobei {Xi : 1 ≤ i ≤ n} ⊂ m =1 J . Angenommen, man symbolisiert jeden Wert P(J ) durch ein Rechteck mit Grundseite J und Höhe P(J )/Länge(J ), also mit Fläche P(J ). Dann erhält man das Histogramm der Stichprobe X bezüglich der Zerlegung (J )m =1 . Der obere Rand der Rechtecke definiert eine Treppenfunktion f, die Histogramm(dichte)funktion, mit f(x) :=

)/Länge(J ) für x ∈ J und 1 ≤ ≤ m, P(J 0 für x ∈ m =1 J .

Bei dieser Funktion f handelt es sich um eine Wahrscheinlichkeitsdichte; das heißt, f ≥ 0 und R f (r) dr = 1. Ferner ist J

) für 1 ≤ ≤ m. f(x) dx = P(J

Manche Software-Pakete zeichnen als Histogramm die Funktion x → H(x) :=

) für x ∈ J und 1 ≤ ≤ m, #{i : Xi ∈ J } = nP(J 0 für x ∈ m =1 J .

= λ n f. Der Nachteil dieser Haben alle Intervalle J die gleiche Länge λ , dann ist einfach H Methode ist, dass es schwierig wird, Histogramme bezüglich unterschiedlicher Zerlegungen zu vergleichen. Dies ist durchaus ratsam, denn f reagiert sehr empfindlich auf kleine Änderungen der Intervalle J ! Trotz der großen Popularität von Histogrammen als graphische Darstellung von Stichproben wird vor möglichen Fehlschlüssen gewarnt; ein weiteres Argument für diesen Einwand wird in Abschnitt 7 gegeben. Beispiel (2.1, Forts.) Abbildung 2.3 zeigt das Histogramm der Variable ‘Alter’ bezüglich der Intervalle ]19.5, 20.5] , ]20.5, 21.5] , . . . , ]39.5, 40.5] . Da das Alter nur ganzzahlig angegeben wurde, ist dieses Histogramm eigentlich identisch mit einem Stabdiagramm für die Variable ‘Alter’. Abbildung 2.4 zeigt wir die Histogramme bezüglich der Zerlegung ]19.5, 21.5] , ]21.5, 23.5] , . . . , ]37.5, 39.5] bzw. ]20.5, 22.5] , ]22.5, 24.5] , . . . , ]38.5, 40.5] . Man sieht, dass die Form des Histogramms selbst bei konstanter Intervalllänge deutlich variieren kann.

Kenngrößen. Anstelle einer kompletten Auflistung oder von graphischen Darstellungen einer numerischen Variable kann man sie mithilfe von Kenngrößen charakterisieren. Wir unterscheiden drei Arten solcher Kenngrößen, nämlich Lage-, Skalen- und Formparameter.


0.00

0.05

0.10

0.15

0.20

0.25

0.30

8

20

25

30

35

40

0.25 0.20 0.15 0.10 0.05 0.00

0.00

0.05

0.10

0.15

0.20

0.25

Abbildung 2.3: Erstes Histogramm der Variable ‘Alter’ in Beispiel 2.1.

20

25

30

35

40

20

25

30

35

40

Abbildung 2.4: Zwei weitere Histogramme der Variable ‘Alter’ in Beispiel 2.1.

Lageparameter. Ein Lageparameter einer numerischen Variable gibt für diese einen “typi (X) mit folgender Eigenschaft: schen Wert” an. Formal handelt es sich um eine Zahl μ

(a + bXi )ni=1 = a + bμ (X) für beliebige a ∈ R, b ≥ 0. μ


9

Hier sind die gängigsten Lageparameter: Mittelwert. Der Mittelwert der Stichprobe X (sample mean) ist das arithmetische Mittel 1 n X¯ := ∑ Xi n i=1 der Zahlen X1 , X2 , . . . , Xn . Median(e). Ein Median der Stichprobe X ist eine reelle Zahl r, so dass P(]−∞, r]) ≥ 1/2

und

∞[) ≥ 1/2. P([r,

Also ist mindestens die Hälfte der Beobachtungen kleiner oder gleich r, und mindestens die Hälfte der Beobachtungen ist größer oder gleich r. Wir definieren den Median der Stichprobe X als (X(n/2) + X(n/2+1) )/2 für gerades n, Med(X) := X((n+1)/2) für ungerades n. Quantile und Quartile.

Für 0 < γ < 1 ist r ∈ R ein γ–Quantil der Stichprobe X, falls P(]−∞, r]) ≥ γ

∞[) ≥ 1 − γ. und P([r,

Mit anderen Worten, F ≤ γ auf ]−∞, r[, und F ≥ γ auf [r, ∞[. Das kleinstmögliche γ–Quantil der Stichprobe X ist die Zahl ≥ γ = X( nγ ) F−1 (γ) := min r ∈ R : F(r) Diese Funktion F−1 (·) auf ]0, 1[ ist die Quantilfunktion der Stichprobe X. Das größtmögliche γ–Quantil von X ist ≤ γ = X(nγ+1) sup r ∈ R : F(r) Wichtige Spezialfälle sind die drei Quartile: Q1 (X) := X( n/4 )

(erstes/unteres Quartil von X),

Q2 (X) := Med(X) (zweites/mittleres Quartil von X), Q3 (X) := X(3n/4+1)

(drittes/oberes Quartil von X).

Diese unterteilen den Wertebereich der betrachteten Variable in vier Intervalle, von denen jedes in etwa ein Viertel der Beobachtungen enthält. Skalenparameter. Ein Skalenparameter einer numerischen Variable quantifiziert, wie stark ih (X), so dass re Werte streuen. Formal handelt es sich um eine Zahl σ

(a + bXi )ni=1 = bσ (X) für beliebige a ∈ R, b ≥ 0. σ

10


Hier sind die gängigsten Skalenparameter: Standardabweichung (standard deviation) Die Standardabweichung der Stichprobe X (sample standard deviation) ist definiert als 1 n ¯ 2. S(X) := ∑ (Xi − X) n − 1 i=1 Mitunter verwendet man auch den Normierungsfaktor 1/n anstelle von 1/(n−1). Die Zahl S(X)2 ist die Varianz der Stichprobe X (sample variance). Interquartilabstand (inter quartile range) IQR(X) := Q3 (X) − Q1 (X), also die Länge des Intervalls [Q1 (X), Q3 (X)]. Dieses enthält mindestens fünfzig Prozent aller Beobachtungen. Median der absoluten Abweichungen (median absolute deviation)

n MAD(X) := Med |Xi − Med(X)| . i=1

Spannweite (range) X(n) − X(1) . Formparameter. Ausgehend von Stichprobenmittelwert X¯ und -standardabweichung S(X) betrachtet man die standardisierten Größen Zi = Zi (X) :=

Xi − X¯ , S(X)

auch Z–Scores genannt. Dieser transformierte Datenvektor Z = Z(X) hat Stichprobenmittelwert Null und -standardabweichung Eins. Er bleibt unverändert, wenn man X durch (a + bXi )ni=1 mit a ∈ R und b > 0 ersetzt. Anhand dieser Z–Scores quantifiziert man nun die “Form” der Stichprobe X. Schiefe (skewness) Manchmal sind die Werte einer numerischen Variable sehr unsymmetrisch um den Stichprobenmittelwert verteilt. Beispielsweise kann es sein, dass viele Werte knapp unterhalb und eine kleine Zahl von Werten sehr weit oberhalb des Mittelwertes X¯ liegen. In diesem Fall hat die folgende Kenngröße einen positiven Wert: Schiefe(X) :=

n 1 n 3 1 ¯ 3. Z = ∑ i nS(X)3 ∑ (Xi − X) n i=1 i=1

Sind die Daten symmetrisch um den Mittelwert X¯ positioniert, dann ist der Wert von Schiefe(X) nahe bei Null.


11

¯ anbelangt, so kann es sein, dass sich diese Kurtose (curtosis) Was die Differenzen |Xi − X| Werte stark unterscheiden oder recht ähnlich sind. Die folgende Kenngröße ist dann tendenziell positiv bzw. negativ: Kurtose(X) :=

n 1 n 4 1 ¯ 4 − 3. Zi − 3 = (Xi − X) ∑ ∑ 4 n i=1 nS(X) i=1

Die Normierungsgröße 3 werden wir später im Zusammenhang mit Normalverteilungen noch begründen. Robustheit. Von den obigen Kenngrößen haben einige die Eigenschaft, dass man sie durch Abänderung eines einzigen oder weniger Werte Xi beliebig verfälschen kann. Sie reagieren also empfindlich auf “Ausreißer” in den Daten. Dies gilt insbesondere für den Stichprobenmittelwert, ¯ und die Stichprobenstandardabweichung, S(X). Wenn man bedenkt, dass sich in Datensätze X, mitunter grobe Fehler einschleichen oder sie einzelne extrem große Werte enthalten, dann ist dieser Mangel an Robustheit durchaus kritisch. Dahingegen sind der Median Med(X) und der Interquartilabstand IQR(X) robuste Kenngrößen für Lokation bzw. Skala. Auch MAD(X) ist ein robuster Skalenparameter. Box-Whisker-Plots. Eine weitere graphische Darstellung einer Stichprobe X ∈ Rn sind BoxPlots und Box-Whisker-Plots, die von John W. Tukey erfunden wurden. Diese Darstellungsarten sind oft gut geeignet, um verschiedene einfache Stichproben simultan darzustellen und zu vergleichen. Wir denken uns die X(i) in vertikaler Richtung aufgetragen. Konstruktion des Box-Plots: (i) Man zeichnet ein Rechteck (Box), dessen unterer Rand in Höhe des unteren Quartils Q1 (X) und oberer Rand in Höhe des oberen Quartils Q3 (X) liegt. (ii) Dieses Rechteck wird durch eine horizontale Linie in Höhe des Medians Med(X) geteilt. (iii) Man zeichnet vertikale Linien vom oberen Rand der Box bis zur Höhe von X(n) und vom unteren Rand der Box bis zur Höhe von X(1) . Konstruktion des Box-Whisker-Plots: Hier ersetzt man Schritt (iii) durch zwei Schritte: (iii.a) Man zeichnet vertikale Linien vom oberen Rand der Box bis zur Höhe von bmax := max X(i) : X(i) ≤ Q3 (X) + 1.5 IQR(X) und vom unteren Rand der Box bis zur Höhe von bmin := min X(i) : X(i) ≥ Q1 (X) − 1.5 IQR(X) . (iii.b) Für jeden Datenpunkt Xi außerhalb von [bmin , bmax ] zeichnet man oberhalb bzw. unterhalb der vertikalen Linien einen Punkt oder Stern. Von diesen Plots kann man also stets den Median, das obere und untere Quartil sowie die Extremwerte X(1) und X(n) ablesen. Die Box markiert ein Intervall, welches mindestens die Hälfte aller Datenpunkte enthält. Die Form des Plots deutet auch an, ob die Daten symmetrisch um

35 30 25 20

20

25

30

35

40


40

12

Abbildung 2.5: Box-Plot (links) und Box-Wisker-Plot (rechts) der Variable ‘Alter’ in Beispiel 2.1.

den Median liegen oder nicht. Der Vorteil des etwas aufwändigeren Box-Whisker-Plots ist, dass Datenpunkte Xi , die “deutlich” weiter vom Median entfernt sind als die meisten anderen, hervorgehoben werden. Beispiel (2.1, Forts.) Die Quartile sind hier Q1 (X) = 22, Med(X) = 23 und Q3 (X) = 25, also IQR(X) = 3. Ferner ist X(1) = 21 > Q1 (X)−1.5 IQR(X), wohingegen X(29) = 27 < Q3 (X)+1.5·IQR(X) und (X(i) )34 i=30 = (34, 34, 34, 35, 39) . Die entsprechenden Box- und Box-Whisker-Plots sieht man in Abbildung 2.5. Beispiel 2.2 Der Datensatz ‘Baseball.txt’ enthält für n = 322 Baseballspieler der US-amerikanischen Profiliga die Werte der ordinalen Variable ‘yrs’ und der numerischen Variable ‘salary’. Erstere gibt an, in welchem Jahr seiner Profilaufbahn der entsprechende Spieler ist, letztere ist das Jahreseinkommen in 103 US-Dollar. Da für sehr hohe Werte von ‘yrs’ nur vereinzelte Beobachtungen vorhanden sind, wurden die Ausprägungen in {15, 16, 17, . . .} zu einer Ausprägung ‘> 14’ zusammengefasst. Dann wurde der Datensatz anhand dieser Variable in 15 Teildatensätze unterteilt. Abbildung 2.6 zeigt die Box-Whisker-Plots der Variable ‘salary’ in den 15 Teildatensätzen. Man sieht deutlich, dass die Werte in den ersten Jahren deutlich ansteigen. Desweiteren sind die Werte sehr unsymmetrisch um den Median plaziert mit extrem großen Werten. Diese Unsymmetrie wird im Wesentlichen aufgehoben, wenn man die Daten auf einer logarithmischen Skala betrachtet (Basis 10); siehe Abbildung 2.7.

2.4 Übungsaufgaben Aufgabe 2.1 (L-Statistiken) Seien X(1) ≤ X(2) ≤ · · · ≤ X(n) die Ordnungsstatistiken von X ∈ Rn . Dann nennt man n

L(X) :=

∑ wi X(i)

i=1

13

0

500

1000

1500

2000

2500

2.4 Übungsaufgaben

1

2

3

4

5

6

7

8

9

10

11

12

13

14

> 14

Abbildung 2.6: Box-Whisker-Plots der Jahresgehälter von Baseballspielern in Abhängigkeit von ihrer Erfahrung.

mit festen Gewichten wi ∈ R eine L-Statistik. (a) Zeigen Sie, dass (Stichproben-) Median, Mittelwert und Interquartilabstand L-Statistiken sind. (b) Formulieren Sie Bedingungen, unter denen L(X) ein Lokations- bzw. ein Skalenparameter ist. Aufgabe 2.2 (Ginis Skalenparameter) Ein weiterer Skalenparameter ist Ginis Skalenparameter (nicht zu verwechseln mit dem Gini-Index aus der Ökonometrie): −1 n G(X) := ∑ |Xi − X j |, 2 1≤i< j≤n also das arithmetische Mittel aller Beträge von paarweisen Differenzen. Diese Definition liefert einen Algorithmus mit Laufzeit O(n2 ). Zeigen Sie, dass man auch mit O(n log n) Schritten auskommen kann. (Hinweis: Zeigen Sie, dass G(X) eine L-Statistik im Sinne von Aufgabe 2.1 ist.) Aufgabe 2.3 Bestimmen Sie Mittelwert, Quartile, Standardabweichung, Interquartilabstand und Spannweite für den Datensatz ‘Wax.txt’. Zeichnen Sie hierfür die empirische Verteilungsfunktion, ein Histogramm mit zwei Zerlegungen Ihrer Wahl sowie den Box-Whisker-Plot. Aufgabe 2.4 In dieser Aufgabe geht es darum, wie man Stichprobenmittelwert und -varianz sequentiell berechnen kann. Für eine Stichprobe (Xi )ni=1 ∈ Rn und 2 ≤ k ≤ n seien X¯k := k−1 ∑ki=1 Xi und Sk2 := (k − 1)−1 ∑ki=1 (Xi − X¯k )2 Stichprobenmittelwert bzw. -varianz der Teilstichprobe (Xi )ki=1 .


2.0

2.5

3.0

14

1

2

3

4

5

6

7

8

9

10

11

12

13

14

> 14

Abbildung 2.7: Box-Whisker-Plots der logarithmierten Jahresgehälter von Baseballspielern.

2 , X ) dar, wobei X¯ := X und S2 := 0. Ihrer Formel Stellen Sie X¯k und Sk2 als Funktion von (X¯k−1 , Sk−1 1 1 k 1 sollte man direkt ansehen, welchen Einfluss der Wert Xk auf X¯k und Sk2 hat.

Aufgabe 2.5 Der Mittelwert X¯ einer Stichprobe X = (Xi )ni=1 kann beliebig verändert werden, wenn man nur ein Element Xi durch einen beliebigen Wert Xi ersetzt. Der empirische Mittelwert reagiert also sehr empfindlich auf “Ausreißer” in den Daten. Nun betrachten wir zum Vergleich den Stichprobenmedian Med(X). Welchen maximalen bzw. minimalen Wert kann letzterer annehmen, wenn man bis zu k Elemente Xi durch beliebige Zahlen Xi ersetzt? Formulieren Sie eine Aussage mithilfe der Ordnungsstatistiken X(i) . Aufgabe 2.6 Der Datensatz ‘Hamburg2000.txt’ enthält die Ergebnisse aller erfolgreichen Teilnehmenden des HamburgMarathons 2000. Erzeugen Sie mithilfe der Rohdaten eine Variable X, welche die Nettolaufzeit in irgendeiner Zeiteinheit als Dezimalzahl enthält. Eine weitere kategorielle Variable ist “Altersklasse”. Dies sind die vom deutschen Leichtathletikverband verwendeten Altersklassen: Der erste Buchstabe (‘M’ oder ‘W’) gibt das Geschlecht an, und danach steht ‘J’(ugend) für die 18–19–jährigen, ‘H’(aupt) für die 20–29–jährigen, ‘30’ für die 30–34–jährigen, ‘35’ für die 35–39–jährigen Teilnehmenden und so weiter. Unterteilen Sie den Datensatz nach Geschlecht in zwei Teile. Erzeugen Sie für jede Teilgruppe einen multiplen Boxplot der Nettolaufzeiten in Abhängigkeit von der Altersklasse; siehe auch Beispiel 2.2.

3 Statistische Modelle In der Regel möchte man aufgrund der vorhandenen Daten bestimmte Aussagen oder Vorhersagen treffen, wobei man immer ein gewisses Risiko von Fehlschlüssen einkalkuliert und die Daten als zufällig betrachtet.

3.1 Fehlerquellen Es gibt verschiedene Gründe, die Daten als zufällig zu betrachten. Die drei wichtigsten Gründe sind: Stichprobenfehler. Bei vielen Umfragen oder Studien betrachtet man eine Gruppe von Versuchseinheiten (Personen, Versuchstiere, technische Geräte, etc.) und möchte Rückschlüsse auf eine andere, oft größere Gruppe von Einheiten ziehen. Man spricht auch von einer Stichprobe aus einer Population oder Grundgesamtheit. Im Idealfall handelt es sich bei der Versuchsgruppe um eine “rein zufällige” Teilmenge der Grundgesamtheit, und unter dieser Voraussetzung gibt es diverse statistische Verfahren mit kalkulierbarem Risiko. Ein klassisches Beispiel sind Wahlumfragen. Hier wird in der Tat versucht, zufällige Teilmengen von Wahlberechtigten für die Befragung auszuwählen. In medizinischen oder psychometrischen Studien ist man oftmals froh, wenn man überhaupt hinreichend viele Personen untersuchen oder befragen kann. Bei der Auswertung rechnet man so, als handelte es sich um eine rein zufällige Teilmenge aus einer Population. Dabei wird nicht immer genau spezifiziert, welche Population man im Auge hat; siehe auch Beispiel 3.1. Messfehler. Bei physikalischen und chemischen Messungen treten in der Regel zufällige Messfehler auf. Im Idealfall sind die Messverfahren so kalibriert, dass die Messfehler “im Mittel gleich Null” sind. Das bedeutet, wenn man eine Messung hinreichend oft durchführt, dann ist der Mittelwert oder Median der Einzelwerte beliebig nahe an der Zielgröße. Anderenfalls spricht man von systematischen Fehlern. Experimentelle Randomisierung. Eine andere Art von Zufall kommt ins Spiel durch experimentelle Randomisierung. Dabei werden die Versuchseinheiten zufällig in verschiedene Behandlungsgruppen eingeteilt. Auf diese Weise vermeidet man systematische Unterschiede in der Zusammensetzung der Behandlungsgruppen, die bei willkürlichen Gruppeneinteilungen entstehen und vermeintliche Unterschiede zwischen den Behandlungen vortäuschen können. Experimente mit Randomisierung sahen wir bereits in Beispiel 1.2 mit den 48 angehenden Bankmanagern und Beispiel 1.3 mit den zwölf Neugeborenen.

16

3 Statistische Modelle

Beispiel 3.1 (SIDS) Der Datensatz ‘SIDS weight.txt’ enthält die Geburtsgewichte (in Gramm) von 48 Neugeborenen, die im Zeitraum 1974-1975 in King County (Washington, U.S.A.) zur Welt kamen, und bei denen der plötzliche Kindstod (Sudden Infant Death Syndrome) eintrat. Frühere Studien ließen schon vermuten, dass Kinder mit SIDS tendenziell ein geringeres Geburtsgewicht haben. Man kann hier keine eindeutige Population angeben. Zum einen ist nicht klar, inwieweit die betrachtete Gruppe repräsentativ für Neugeborene in anderen Regionen ist. Zum anderen denkt man bei solchen Studien vor allem an zukünftige Neugeborene. Wie auch immer, man rechnet mit den vorhandenen Daten so, als hätte man eine Zufallsstichprobe aus einer großen Population von Neugeborenen, bei denen irgendwann SIDS auftritt. Beispiel 3.2 Der Datensatz ‘Michelson.txt’ enthält 100 Messungen der Lichtgeschwindigkeit von Michelson & Morley. Die Einheit ist km/s, wobei von allen Messwerten noch 299000 abgezogen wurde. Was kann man nun über die Lichtgeschwindigkeit aussagen, wenn man voraussetzt, dass keine systematischen Fehler vorliegen?

In vielen Anwendungen wirken sich mehrere der drei genannten Zufallsmechanismen aus. Man denke beispielsweise an die Bestimmung der Konzentration weißer Blutkörperchen bei n Personen aus einer bestimmten Bevölkerungs- und Krankheitsgruppe. Zum einen haben wir es mit Stichprobenfehlern zu tun. Andererseits ist die Konzentrationsbestimmung bei einer einzelnen Person ebenfalls fehlerbehaftet, da man von einer Blutprobe auf ihr gesamtes Blut schliesst und auch die Auswertung der Blutprobe nicht fehlerfrei ist. Hinzu kommen noch zeitabhängige Schwankungen der Konzentration.

3.2 Unabhängige, identisch verteilte Zufallsvariablen Ob wir nun an Stichprobenfehler, Messfehler oder Kombinationen beider Fehlerquellen denken, die statistischen Methoden sind weitgehend identisch. Im einfachsten Fall betrachten wir die Beobachtungen X1 , X2 , . . . , Xn als (stochastisch) unabhängige, identisch verteilte Zufallsvariablen mit unbekannter Verteilung P auf dem Wertebereich X . Das heißt, für eine Menge B ⊂ X ist P(B) die Wahrscheinlichkeit, dass eine bestimmte Beobachtung in B liegt, P(B) := IP{Xi ∈ B}. Desweiteren gilt für beliebige Mengen B1 , B2 , . . . , Bn ⊂ X die Formel IP X1 ∈ B1 , X2 ∈ B2 , . . . , Xn ∈ Bn = P(B1 )P(B2 ) · · · P(Bn ). Die Begriffe “Verteilung” und “Unabhängigkeit” werden in Kursen über Stochastik ausführlich behandelt. Man kann sich auch mit folgendem Gedankenmodell behelfen: Angenommen, wir ziehen n–mal ein Los aus einer Lostrommel, notieren den darauf stehenden Wert, legen das Los wieder zurück und mischen gründlich. Genauer gesagt, sei Λ die Menge aller Lose, und jedes Los λ ∈ Λ habe einen Eintrag x(λ ) ∈ X . Sind λ1 , λ2 , . . . , λn die rein zufällig gewählten Lose, dann ist Xi = x(λi ). In diesem Gedankenmodell ist P(B) der relative Anteil aller Lose, deren Eintrag in der Menge B liegt, also P(B) = #{λ ∈ Λ : x(λ ) ∈ B}/#Λ.

3.3 Verteilungs- und Dichtefunktionen

17

Unter der obigen Annahme an X ist P ein Schätzer für die Verteilung P der einzelnen Variablen Xi . Das heißt, für eine beliebige Menge B ⊂ X ist P(B) ein Schätzwert für P(B). Für jede Zahl k ∈ {0, 1, . . . , n} ist k n = IP P(B) = P(B)k (1 − P(B))n−k . n k Denn P(B) = k/n, wenn genau k von den n Beobachtungen Xi in der Menge B liegen, und je de einzelne Beobachtung tut dies mit Wahrscheinlichkeit P(B). Mit anderen Worten, nP(B) ist binomialverteilt mit Parametern n und P(B). Ganz allgemein kann man jede in Kapitel 2 definierte Kenngröße als Schätzer für eine entsprechende Kenngröße der zugrundeliegenden Verteilung P deuten. Noch eine Kurzschreibweise: Anstelle von “X hat Verteilung P” schreiben wir manchmal kurz “X ∼ P”.

3.3 Verteilungs- und Dichtefunktionen Wir bleiben beim Modell unabhängiger, identisch verteilter Zufallsvariablen Xi mit unbekannter Verteilung P, nun mit Wertebereich X = R. In diesem Falle ist F ein Schätzer für die Verteilungsfunktion F von P, r → F(r) := P(]−∞, r]) Auch Median, Quantile und Quartile kann man sowohl für die Stichprobe X als auch für die Verteilung P definieren. Die Verteilung P wird durch ihre Verteilungsfunktion F eindeutig charakterisiert. Beispielsweise ist P(]a, b]) = F(b) − F(a) für − ∞ ≤ a < b < ∞. Die wesentlichen Eigenschaften von F sind: • Isotonie. F ist monoton wachsend. • Rechtsseitige Stetigkeit. Für jeden Punkt x ist F(x) = limy→x,y>x F(y). • Grenzwerte Null und Eins. Die Grenzwerte von F im Unendlichen sind F(−∞) = 0 und F(∞) = 1. Was rechtsseitig offene Intervalle anbelangt, so ist P(]−∞, r[) = F(r −) :=

lim F(s).

s→r, s 0} exp(−x). Verteilungen dieser Art werden zum Beispiel in der Qualitätskontrolle verwendet, um die Lebensdauer von Geräten zu modellieren. Die Faltung f ∗ f ist gegeben durch f ∗ f (z)

= =

∞

−∞

∞

−∞

1{x > 0} exp(−x) 1{z − x > 0} exp(−(z − x)) dx 1{0 < x < z} exp(−z) dx z

=

1{z > 0}

=

1{z > 0}z exp(−z).

exp(−z) dx 0

Dies kann man induktiv fortsetzen und erhält folgende Aussage: Die Summe von n unabhängigen Zufallsvariablen mit Wahrscheinlichkeitsdichte f ist verteilt nach der Wahrscheinlichkeitsdichte fn mit fn (z) := 1{z > 0}

zn−1 exp(−z). (n − 1)!

Angenommen, man nimmt ein bestimmtes Gerät, dessen Lebensdauer durch f beschrieben wird, zum Zeitpunkt Null in Betrieb und ersetzt es n − 1 mal durch ein neues Exemplar, sobald es ausfällt. Der Zeitpunkt des n-ten Ausfalls wird dann durch diese Dichtefunktion fn beschrieben.

3.4 Normalverteilungen Die Standardnormalverteilung auf R ist das Wahrscheinlichkeitsmaß mit Dichtefunktion x2 1 x → φ (x) := √ exp − . 2 2π Diese um Null symmetrische Funktion φ nennt man die Gaußsche Glockenkurve. Eine Zufallsvariable Z mit dieser Verteilung heißt standardnormalverteilt. Es ist IE(Z) = 0

und

Var(Z) = 1.

Daher bezeichnet man die Standardnormalverteilung mit N (0, 1).

(3.2)

3.4 Normalverteilungen

21

Die Verteilungsfunktion von N (0, 1) bezeichnen wir mit Φ, also 1 Φ(r) := √ 2π

r

x2 exp − dx. 2 −∞

Sie ist streng monoton wachsend mit Grenzwerten Φ(−∞) = 0 und Φ(∞) = 1. Aus der Symmetrie der Dichtefunktion φ um Null folgt, dass Φ(−r) = 1 − Φ(r). Das γ–Quantil dieser Verteilung bezeichnen wir mit zγ , also Φ(zγ ) = γ, und aus Symmetriegründen ist z1−γ = −zγ

für 0 < γ < 1.

Hier einige spezielle Werte (nach oben gerundet), die man im Zusammenhang mit Tests und Konfidenzbereichen immer wieder verwendet: γ 0.900 0.950 0.975 0.990 0.995

zγ 1.282 1.645 1.960 2.327 2.576

Beweis (Gleichung (3.2))

∞ k x φ (x) dx. Da die Dichte φ eine gerade Funktion, also um Null symFür beliebiges k ∈ N ist IE(Z k ) = −∞ metrisch ist, ist IE(Z k ) = 0 für ungerades k. Die Varianz von Z berechnet man mithilfe partieller Integration wie folgt: Var(Z) = IE(Z 2 )

= = = =

=

∞ −∞

x2 φ (x) dx

∞ 2 1 √ u(x)v (x) dx [mit u(x) := x, v(x) := −e−x /2 ] 2π −∞ ∞ ∞ 1 √ u (x)v(x) dx u(x)v(x) − −∞ −∞ 2π ∞ 2 2 1 ∞ √ e−x /2 dx −xe−x /2 + −∞ 2π −∞

∞ −∞

=0

φ (x) dx = 1.

Die Familie aller Normalverteilungen (Gaußverteilungen) erhält man durch affine Transformationen einer standardnormalverteilten Zufallsvariablen Z. Für μ ∈ R und σ > 0 ist X := μ + σ Z

22


eine Zufallsvariable mit IE(X) = μ

Var(X) = σ 2 .

und

Ihre Verteilungsfunktion ist

r − μ

r → Φ

,

σ

und ihre Wahrscheinlichkeitsdichte ist (x − μ)2 1 x− μ 1 . exp − x → φ = √ σ σ 2σ 2 2πσ 2 Das entsprechende Wahrscheinlichkeitsmaß nennt man die Normalverteilung (Gaußverteilung) mit Mittelwert μ und Varianz σ 2 (Standardabweichung σ ) und bezeichnet sie mit N (μ, σ 2 ). Abbildung 3.2 zeigt die Dichtefunktionen von N (0, 1) und N (4, 1/4). Dabei werden die Werte μ und μ ± σ durch vertikale Linien hervorgehoben. 0.8

0.7

0.6

0.5

0.4

0.3

0.2

0.1

0 -4

-3

-2

-1

0

1

2

3

4

5

Abbildung 3.2: Dichtefunktionen von N (0, 1) und N (4, 1/4)

Zusammenfassung. Für eine Zufallsvariable X ∼ N (μ, σ 2 ) gilt: X −μ σ IP{X ≤ r} a + bX

∼ N (0, 1), r − μ = Φ für r ∈ R, σ ∼ N (a + bμ, b2 σ 2 ) für a, b ∈ R, b = 0.

6

3.4 Normalverteilungen

23

Beispiel 3.4 Der Intelligenzquotient aufgrund eines bestimmten Tests (kein statistischer Test) wird wie folgt definiert: Man unterstellt, dass die Punktzahl, die eine Einzelperson bei dem Test erzielt, in der Gesamtpopulation normalverteilt ist mit Mittelwert μ und Standardabweichung σ . Diese Annahme überprüft man mithilfe einer umfangreichen Versuchsserie, in welcher auch die Parameter μ und σ geschätzt werden. Den Schätzfehler vernachlässigen wir im Folgenden. Für eine Einzelperson mit Testergebnis x definiert man nun ihren Intelligenzquotienten als x−μ IQ(x) := 100 + 15 . σ Dies hat folgende Bedeutung: Das Testergebnis X einer rein zufällig gewählten Person aus der Gesamtpopulation ist eine Zufallsvariable mit Verteilung N (μ, σ 2 ). Also ist (X − μ)/σ standardnormalverteilt, und IQ(X) ∼ N (100, 152 ). Für eine Einzelperson mit einem IQ von q ist also der relative Anteil von Personen in der Grundgesamtheit mit gleichem oder kleinerem IQ gleich q − 100

IP{IQ(X) ≤ q} = Φ

15

.

Einige Zahlenbeispiele: q (q − 100)/15 Φ((q − 100)/15)

85 −1 0.159

100 0 0.500

120 1.33 0.909

130 2 0.977

135 2.33 0.990

Die Faltungseigenschaft von Normalverteilungen. Eine wesentliche Eigenschaft von Normalverteilungen ist, dass die Summe unabhängiger, normalverteilter Zufallsvariablen wieder normalverteilt ist. Aus der allgemeinen Formel (3.1) kann man nämlich folgendes Resultat ableiten: Sind X ∼ N (μ, σ 2 ) und Y ∼ N (ν, τ 2 ) stochastisch unabhängige Zufallsvariablen, dann ist X +Y ∼ N (μ + ν, σ 2 + τ 2 ).

(3.3)

Letztere Tatsache kann man induktiv anwenden und gelangt zu folgendem Ergebnis: Für den Mittelwert X¯ von unabhängigen Zufallsvariablen X1 , X2 , . . . , Xn mit Verteilung N (μ, σ 2 ) gilt: X¯ ∼ N (μ, σ 2 /n).

(3.4)

Beweis (Gleichung (3.3)) Um die Schreibarbeit etwas zu erleichtern, transformieren wir zunächst die Variablen X und Y . Es ist X +Y = μ + ν + X + Y mit X := X − μ ∼ N (0, σ 2 ) und Y := Y − ν ∼ N (0, τ 2 ). Daher genügt es zu zeigen, dass X + Y nach N (0, σ 2 + τ 2 ) verteilt ist. Dazu berechnen wir die Faltung der Dichtefunktionen f von N (0, σ 2 ) und g von N (0, τ 2 ), also x2 1 f (x) = √ exp − 2 2σ 2πσ 2

und

y2 1 g(y) = √ exp − 2 . 2τ 2πτ 2

24


Das Produkt f (x)g(z − x) ist gleich τ 2 x2 + σ 2 (z − x)2 x2 − 2Bxz + Bz2 1 1 √ √ √ √ = exp − exp − 2A 2σ 2 τ 2 2πσ 2 2πτ 2 2πσ 2 2πτ 2 mit

σ 2τ 2 σ2 und B := 2 . 2 2 σ +τ σ + τ2 Nun formen wir den Exponenten weiter um und erhalten A :=

f (x)g(z − x)

= =

(x − Bz)2 + B(1 − B)z2 1 √ √ exp − 2 2 2A 2πσ 2πτ (x − Bz)2 1 1 z2 √ · . exp − exp − 2A 2(σ 2 + τ 2 ) 2πA 2π(σ 2 + τ 2 )

Doch dies ist das Produkt der Dichte von N (Bz, A) an der Stelle x und der Dichte von N (0, σ 2 + τ 2 ) an der Stelle z. Wenn man diesen Ausdruck bezüglich x integriert, erhält man f ∗ g (z)

=

=

(x − Bz)2 1 1 z2 √ dx · exp − exp − 2 2 2A 2(σ + τ ) 2πA 2π(σ 2 + τ 2 ) =1 z2 1 , exp − 2(σ 2 + τ 2 ) 2π(σ 2 + τ 2 )

also die Dichtefunktion von N (0, σ 2 + τ 2 ) an der Stelle z.

Warum gerade die Gaußsche Glockenkurve? Die Familie der Normalverteilungen wird für zwei unterschiedliche Zwecke verwendet. Einerseits dient sie als Modell für die Verteilung einzelner Beobachtungen. Andererseits kann man viele Verteilungen, beispielsweise Binomialverteilungen und hypergeometrische Verteilungen, durch Normalverteilungen approximieren. Beides lässt sich mithilfe des Zentralen Grenzwertsatzes begründen. Dieser besagt, dass eine Summe mehrerer unabhängiger Zufallsvariablen, von denen jede einzelne nur einen geringen Einfluss auf die Gesamtsumme hat, approximativ normalverteilt ist. Hier ist eine präzise Formulierung dieses Sachverhalts aus der Wahrscheinlichkeitstheorie: Satz 3.1 (Lindeberg) Seien Z1 , Z2 , . . . , Zn stochastisch unabhängige Zufallsvariablen mit Erwartungswert Null, und sei n Var ∑ Zi = i=1

n

∑ IE(Zi2 )

= 1.

i=1

Mit der Kenngröße n

L :=

∑ IE min{|Zi |3 , Zi2 }

i=1

gilt:

n sup IP ∑ Zi ≤ r − Φ(r) → 0 r∈R i=1

falls L → 0.

3.5 Übungsaufgaben

25

Die Kenngröße L in Satz 3.1 ist ein Maß dafür, wie stark der Einfluss einzelner Variablen Zi auf die Gesamtsumme ist. Beispielsweise sei |Zi | ≤ δ für alle i. Dann ist L ≤

n

∑ IE(δ Zi2 )

i=1

n

= δ ∑ IE(Zi2 ) = δ . i=1

Als Beispiel betrachten wir eine Zufallsvariable Y ∼ Bin(n, p). Diese Variable ist genauso verteilt wie ∑ni=1 Yi mit unabhängigen Variablen Yi ∈ {0, 1}, wobei IE(Yi ) = IP{Yi = 1} = p. Also ist Y − np Y − IE(Y ) = Var(Y ) np(1 − p) verteilt wie ∑ni=1 Zi mit Zi :=

Yi − p . np(1 − p)

−1 Die Voraussetzungen von Satz 3.1 sind erfüllt, und L ≤ np(1 − p) . Also ist Y für große Werte von np(1 − p) = Var(Y ) approximativ normalverteilt. Abbildung 3.3 zeigt für p = 0.1 und n = 1, 10, 100 die Verteilungsfunktion von Bin(n, p). Zum Vergleich wird jeweils die Verteilungsfunktion von N np, np(1 − p) gezeichnet. Man sieht deutlich, wie die Normalapproximation mit wachsendem n besser wird. Als weiteres Beispiel zeigen wir in Abbildung 3.4 Verteilungsfunktionen von ∑ni=1 Yi mit unabhängigen Zufallsvariablen Yi , wobei IP{Yi = 0} = 0.5,

IP{Yi = 1} = 0.1

und

IP{Yi = 4} = 0.4.

(3.5)

3.5 Übungsaufgaben Aufgabe 3.1 (Gumbel-Verteilung) Zeigen Sie, dass die Funktion x → F(x) := exp(− exp(−x)) eine Verteilungsfunktion ist, und bestimmen Sie ihre Dichtefunktion f . Zeichnen Sie F und f . Bestimmen Sie die Quartile von F. Aufgabe 3.2 (Transformationen einer Zufallsvariable) Sei X eine reellwertige Zufallsvariable mit Verteilungsfunktion F und Dichtefunktion f . Das heißt, IP{X ≤

r f (x) dx. Ferner sei f = 0 auf ]−∞, 0], also IP{X > 0} = 1. Bestimmen Sie die Verteilungsr} = F(r) = −∞ und Dichtefunktion der Zufallsvariablen Y := X a für a = 0 und Y := log X. Aufgabe 3.3 Für m = 53680 Familien mit jeweils 8 Kindern wurde die Zahl der Söhne bestimmt. Die nachfolgende Tabelle enthält für k = 0, 1, . . . , 8 die Zahl Mk aller Familien mit genau k Söhnen: k Mk

0 215

1 1485

2 5331

3 10649

4 14959

5 11929

6 6678

7 2092

8 342

26


n=1

1 0.9

0 -1

-0.5

0

0.5

1

1 n = 10

0.75 0.5 0.25 0 -3

-2

-1

0

1

2

3

4

5

n = 100

1 0.75 0.5 0.25 0 0

5

10

15

20

Abbildung 3.3: Verteilungsfunktionen von Bin(n, 0.1)

(a) Man kann diesen Datensatz als Stichprobe aus der Grundgesamtheit aller Familien mit genau 8 Kindern betrachten. Man beobachtet also Y1 ,Y2 , . . . ,Ym ∈ Y , wobei Yi die Anzahl der Söhne in der i-ten Familie ist und Y := {0, 1, . . . , 8}. Sei Q die Verteilung dieser Zahlen, also Q({k}) = IP{Yi = k}. Berechnen Sie die entsprechenden empirischen Wahrscheinlichkeiten Q({k}) für k ∈ Y und zeichnen Sie ein Stabdiagramm hiervon. (b) Gehen Sie nun davon aus, dass ein neugeborenes Kind mit Wahrscheinlichkeit p ∈ ]0, 1[ ein Junge ist, und dass die Geschlechter verschiedener Neugeborener stochastisch unabhängig sind. Das heißt, bei jedem Negeborenen wirft Mutter Natur eine Münze, um das Geschlecht festzulegen. Was kann man dann über die Verteilung Q sagen? Zeichnen Sie ein entsprechendes Stabdiagramm für den Fall p = 1/2. (c) Unter der Modellannahme in Teil (b) kann man die vorhandenen Daten auch als Stichprobe vom Umfang n = 8m aus der Grundgesamtheit “aller” Neugeborenen deuten. Für jedes Neugeborene ermittelt man sein Geschlecht X ∈ {m, w}, wobei p = IP{X = m} unbekannt ist. Welchen Wert hat der relative Anteil p von Jungen unter den n Neugeborenen. Aufgabe 3.4 Bestimmen Sie die Wendepunkte der Dichtefunktion von N (μ, σ 2 ). Aufgabe 3.5 In der gesunden Bevölkerung eines Landes ist der Albumin-Gehalt des Blutes (Einheit: mg/100 ml) normalverteilt mit Mittelwert μo = 3.75 und Standardabweichung σ = 0.50. Normale Werte werden Personen attestiert, deren Albuminwert in dem Intervall [μo ±1] liegt. Werte außerhalb dieses Intervalls gelten als “anomal”. In der Gesamtheit aller Patienten mit chronischen Leberschäden hingegen ist der Albumin-Gehalt normalverteilt mit Mittelwert μ1 = 2.5 und derselben Standardabweichung σ = 0.50.

3.5 Übungsaufgaben

27

n=1

1 0.6 0.5

0 -6

-4

-2

0

2

4

6

8

10

1 n = 10

0.75 0.5 0.25 0 -10

-5

0

5

10

15

20

25

30

35

40

n = 100

1 0.75 0.5 0.25 0 100

150

200

250

Abbildung 3.4: Verteilungsfunktionen von ∑ni=1 Yi im Falle von (3.5) (a) Wie groß ist der relative Anteil von Personen mit anomalem Albuminwert in der gesunden Bevölkerung? Wie groß ist dieser Anteil innerhalb der Population aller Patienten mit chronischen Leberschäden? (b) Um gezielt gesunde Personen von Personen mit chronischen Leberschäden zu unterscheiden, wählt man eine Zahl r und klassifiziert eine Person als gesund, falls ihr Albuminwert größer ist als r. Mit welcher Wahrscheinlichkeit wird dann eine gesunde Person als krank eingestuft bzw. eine Person mit chronischem Leberschaden als gesund eingestuft? Bestimmen Sie eine Zahl r, so dass beide Wahrscheinlichkeiten gleich groß sind. Welchen Wert hat diese Wahrscheinlichkeit? Aufgabe 3.6 Teil (b) von Aufgabe 3.5 berührt ein allgemeineres Problem: Gegeben seien zwei Populationen, und für jedes Individuum sei der Wert einer numerischen Variable X gegeben. Angenommen, die Verteilung dieser Variable X wird in Population 1 durch eine Dichte f und in Population 2 durch eine Dichte g beschrieben. Nun möchte man ein Individuum aufgrund seines Wertes von X klassifizieren, also angeben, zu welcher Population es gehört. Dazu wählt man eine Menge A ⊂ R und macht folgende Aussage: “Individuum gehört zu Population 1”

falls X ∈ A,

“Individuum gehört zu Population 2”

falls X ∈ A.

Dies ergibt folgende Wahrscheinlichkeiten für eine Fehlklassifikation:

R1 (A)

:=

R2 (A)

:=

1{x ∈ A} f (x) dx

für Population 1,

1{x ∈ A}g(x) dx

für Population 2.

28


(a) Für welche Menge(n) A ist die Summe dieser Fehlerwahrscheinlichkeiten, R1 (A) + R2 (A), minimal? Hinweis: Die Wahl einer Menge A ist gleichbedeutend damit, für jeden Punkt x festzulegen ob x zu A gehört oder nicht. Schreiben Sie R1 (A) + R2 (A) als

h(x, 1{x ∈ A}) dx

mit einer geeigneten Funktion h auf R × {0, 1}. Minimieren Sie nun dieses Integral, indem Sie für jeden einzelnen Punkt x den Wert von 1{x ∈ A} festlegen. (b) Angenommen die beiden Populationen sind Teile einer Gesamtpopulation, wobei der relative Anteil von Population 1 und 2 gleich w bzw. 1 − w ist (0 < w < 1). Wenn Sie rein zufällig ein Individuum der Gesamtpopulation auswählen und mithilfe einer Menge A wie oben beschrieben klassifizieren, so ist die Wahrscheinlichkeit einer Fehlklassifikation gleich wR1 (A) + (1 − w)R2 (A). Wie sollte man A wählen, damit diese Wahrscheinlichkeit minimal wird? Geben Sie die optimale Menge A für folgende Situation an: f sei die Dichte von N (0, 1), g sei die Dichte von N (1, 0.25), und w = 0.8. Aufgabe 3.7 (Momente der Standardnormalverteilung) Sei Z eine standardnormalverteilte Zufallsvariable. Zeigen Sie mithilfe partieller Integration, wie man für

∞ 2k k ∈ N0 den Erwartungswert IE(Z 2k+2 ) aus dem Erwartungswert IE(Z 2k ) = −∞ x φ (x) dx ableiten kann. Stellen Sie dann eine geschlossene Formel für IE(Z 2k ) auf. Aufgabe 3.8 Der Datensatz ‘Fruitflies.txt’ besteht aus drei Teildatensätzen, wobei jede Teilstichprobe die Fruchtbarkeit von n = 25 Fruchtfliegenweibchen eines bestimmten Stammes enthält. Die Frage ist, ob und inwiefern sich die drei Stämme hinsichtlich der Fruchtbarkeit unterscheiden. (a) Zeichnen Sie in einer Graphik die empirischen Verteilungfunktionen der drei Teilstichproben. (b) Erzeugen Sie einen multiplen Boxplot der drei Teilstichproben. (c) Wie würden Sie die anfangs gestellte Frage nach Unterschieden vorläufig beantworten. (Präzise Verfahren hierfür werden wir später noch kennenlernen.) (d) Wählen Sie eine oder mehrere der Stichproben und zeichnen Sie hierfür ein Histogramm mit Parametern Ihrer Wahl. Unterstellen Sie nun, dass die Fruchtbarkeit in der zugrundeliegenden Population normalverteilt ist mit unbekanntem Mittelwert μ und unbekannter Standardabweichung σ . Schätzen Sie diese Parameter mithilfe der Daten (X¯ und S(X)). Überlagern Sie Ihr Histogramm mit der entsprechenden Dichtefunktion ¯ S(X)2 ). (Halten Sie das Normalverteilungsmodell für adäquat?) von N (X, Aufgabe 3.9 Seien μ = 65 und ν = 69 die mittleren Körpergrößen von Frauen bzw. Männern in einer Gesamtbevölkerung (Einheit: inch). Die Varianz sei in beiden Fällen gleich σ 2 = 16. Nehmen Sie an, dass die Größen X der Frau und Y des Mannes eines zufällig herausgegriffenen Ehepaares unabhängig und normalverteilt sind mit diesen Parametern. (a) Was ist die Verteilung der mittleren Körpergröße des Paares? (b) Mit welcher Wahrscheinlichkeit ist diese mittlere Körpergröße größer als 70? (c) Mit welcher Wahrscheinlichkeit ist X ≥ Y ?

3.5 Übungsaufgaben

29

Aufgabe 3.10 (Gamma-Verteilungen) Die Gamma-Verteilung mit Parameter a > 0, bezeichnet mit Gamma(a), ist definiert als das Wahrscheinlichkeitsmaß auf R mit Dichtefunktion fa (x) := 1{x > 0} Γ(a)−1 xa−1 e−x , wobei Γ(a) :=

∞ a−1 −x e dx. (Für a = 1 erhält man die Standardexponentialverteilung). Zeigen Sie, dass 0 x

fa ∗ fb = fa+b

für beliebige a, b > 0.

Hinweis: Sie müssen nur zeigen, dass fa ∗ fb (x) = Cxa+b−1 e−x für irgendeine Konstante C > 0. Da sowohl fa ∗ fb als auch fa+b Wahrscheinlichkeitsdichten sind, ist notwendig C = Γ(a + b)−1 . Aufgabe 3.11 (Normierung des Gini-Skalenparameters) Sei X ein Zufallsvektor mit unabhängigen Komponenten Xi ∼ N (μ, σ 2 ). Bestimmen Sie eine Konstante c ∈ R derart, dass IE(cG(X)) = σ , n−1 wobei G(X) := 2 ∑1≤i< j≤n |Xi − X j |. Aufgabe 3.12 (IQR und MAD) Sei F eine Verteilungsfunktion auf R mit Dichtefunktion f > 0, und für ein μ ∈ R sei f (μ − x) = f (μ + x) für alle x > 0. (a) Welchen Wert hat Med(F)? (b) Sei X eine Zufallsvariable mit Verteilungsfunktion F. Geben Sie eine Formel für G(r) := IP{|X − Med(F)| ≤ r} mithilfe von F und μ an. (c) Welcher Zusammenhang besteht zwischen IQR(F) := F −1 (3/4) − F −1 (1/4) und MAD(F), wobei MAD(F) := Med(G) mit der Verteilungsfunktion G aus Teil (b).

4 Konfidenzintervalle für Häufigkeiten und Quantile In diesem Kapitel betrachten wir das einfache Modell unabhängiger, identisch verteilter Zufallsvariablen X1 , X2 , . . . , Xn mit Wertebereich X und unbekannter Verteilung P; siehe Abschnitt 3.2.

4.1 Die Präzision der empirischen Verteilung Eine naheliegende Frage ist, wie präzise unser Schätzer P(B) für P(B) ist. Wie wir gleich be gründen werden, ist die Differenz P(B) − P(B) “mit großer Wahrscheinlichkeit” von der Größenordnung O(n−1/2 ). Grob gesagt bedeutet dies, dass man den Stichprobenumfang n vervierfachen muss, um den Fehler zu halbieren. Eine Verringerung des Fehlers um den Faktor Zehn verlangt einen Stichprobenumfang von 100 · n. Wie schon in Abschnitt 3.2 gesagt wurde, ist nP(B) = ∑ni=1 1{Xi ∈ B} nach Bin(P(B), n) verteilt, also n k IP P(B) = = P(B)k (1 − P(B))n−k für k ∈ {0, 1, . . . , n}. n k Insbesondere ist IE P(B) = P(B) und

Var(P(B)) =

1 P(B)(1 − P(B)) ≤ . n 4n

Mithilfe der Tshebyshev-Ungleichung folgt hieraus, dass − P(B)| ≥ n−1/2 η ≤ Var(P(B)) ≤ 1 IP |P(B) 2 η /n 4η 2 für beliebige η > 0. Diese Ungleichung präzisiert die obige vage Aussage über die Größenord − P(B) = Op (n−1/2 ). nung des Schätzfehlers. Man schreibt auch P(B) Speziell sei X = R und B = ]−∞, r]. Dann ist P(B) gleich F(r). Die Abbildungen 4.1 und 4.2 zeigen für vier verschiedene Stichprobenumfänge n folgende Funktionen: • Im oberen Teilplot sieht man eine Verteilungsfunktion F (glatte Kurve) sowie die empirische Verteilungsfunktion F (Treppenfunktion) für eine simulierte Stichprobe X. √ • Im unteren Teilplot sieht man die Funktion n(F −F), also die Differenz zwischen empirischer und theoretischer Verteilungsfunktion, multipliziert mit n1/2 . Man sieht deutlich wie die Präzision von F mit wachsendem Stichprobenumfang n zunimmt. Das Verhalten von n1/2 (F − F) stabilisiert sich augenscheinlich für n → ∞, was man auch theoretisch beweisen kann.

32

4 Konfidenzintervalle für Häufigkeiten und Quantile

1

1

0.5

0.5

0

0

1.5

1.5

1

1

0.5

0.5

0

0

-0.5

-0.5

-1

-1

-1.5

-1.5

Abbildung 4.1: F, F und n1/2 (F − F) für n = 20 (links) und n = 100 (rechts) 1

1

0.5

0.5

0

0

1.5

1.5

1

1

0.5

0.5

0

0

-0.5

-0.5

-1

-1

-1.5

-1.5

Abbildung 4.2: F, F und n1/2 (F − F) für n = 1000 (links) und n = 10000 (rechts)

4.2 Konfidenzintervalle für Wahrscheinlichkeiten Angenommen, wir interessieren uns für eine unbekannte Wahrscheinlichkeit p ∈ [0, 1], zum Beispiel p = P(B) für ein B ⊂ X , und unsere Daten liefern eine Zufallsvariable N ∼ Bin(n, p), zum Beispiel N = nP(B). Dies ergibt den Punktschätzer p := N/n für p, doch nun möchten wir hierfür ein Konfidenzintervall (Vertrauensintervall) bestimmen. Das bedeutet, mithilfe der Daten berechnen wir zwei Schranken a(N) und b(N), wobei a(·) und b(·) so zu konstruieren sind, dass IP p ∈ [a(N), b(N)] ≥ 1 − α (4.1) für eine vorgegebene Zahl α ∈ ]0, 1[. Diese Ungleichung soll stets gültig sein, egal welchen Wert die unbekannte Wahrscheinlichkeit p hat. Die Zahl α ist eine obere Schranke für das Risiko, ein

4.2 Konfidenzintervalle für Wahrscheinlichkeiten

33

Intervall anzugeben, welches p nicht enthält. Die Zahl 1 − α nennt man das Konfidenzniveau für das Konfidenzintervall [a(·), b(·)]. Man spricht bisweilen von einem (1 − α)–Konfidenzintervall. Exakte Konfidenzschranken. Wir wenden ein “Kochrezept” an, das z.B. in Dümbgen (2003) ausführlicher beschrieben wird: Die Zufallsvariable N hat Verteilungsfunktion Bin cdfn,p , das heißt, für beliebige Zahlen r ∈ R ist ⎧ 0 falls r < 0, ⎪ ⎪ ⎪ ⎨ r n k IP{N ≤ r} = Bin cdfn,p (r) := ∑ k p (1 − p)n−k falls 0 ≤ r ≤ n, ⎪ ⎪ ⎪ ⎩ k=0 1 falls r ≥ n. Übrigens steht “cdf” für “cumulative distribution function”. Nun fixieren wir einen hypothetischen Wert q von p und überlegen, ob der beobachtete Wert von N “verdächtig groß” oder “verdächtig klein” hierfür ist. Wir betrachten N als • verdächtig klein, falls • verdächtig groß, falls

Bin cdfn,q (N) ≤ α. Bin cdfn,q (N − 1) ≥ 1 − α.

Denn diese Ungleichungen gelten im Falle von q = p nur mit Wahrscheinlichkeit höchstens α:

IP Bin cdfn,p (N) ≤ α ≤ α. IP Bin cdfn,p (N − 1) ≥ 1 − α Dies ergibt sich entweder aus Aufgabe 4.1 oder aus Lemma 8.1 in Kapitel 8. Wir können also mit einer Sicherheit von 1 − α davon ausgehen, dass der unbekannte Parameter p die Ungleichung Bin cdfn,p (N) > α

Bin cdfn,p (N − 1) < 1 − α

bzw.

erfüllt. Jetzt möchten wir diese Ungleichungen nach p auflösen. Dabei hilft uns folgende Tatsache, deren Beweis wir der Leserin oder dem Leser als Übungsaufgabe überlassen: Lemma 4.1 Für beliebige c ∈ {0, 1, . . . , n − 1} ist die Funktion [0, 1] q → Bin cdfn,q (c) stetig und streng monoton fallend mit Randwerten Bin cdfn,0 (c) = 1 und Bin cdfn,1 (c) = 0.

Nach Lemma 4.1 ist die Menge aller Parameterwerte q ∈ [0, 1], welche die Ungleichung Bin cdfn,q (N) > α erfüllen, ein Intervall, nämlich

q ∈ [0, 1] : Bin cdfn,q (N) > α

=

[0, bα (N)[ , falls N < n, [0, 1],

falls N = n.

34

4 Konfidenzintervalle für Häufigkeiten und Quantile

Dabei ist bα (N) die eindeutige Lösung q ∈ ]0, 1[ der Gleichung Bin cdfn,q (N) = α, falls N < n. Zusätzlich definieren wir bα (n) := 1. Analog ist q ∈ [0, 1] : Bin cdfn,q (N − 1) < 1 − α =

[0, 1],

falls N = 0,

]aα (N), 1] , falls N > 0.

Dabei ist aα (N) die eindeutige Lösung q ∈ ]0, 1[ der Gleichung Bin cdfn,q (N − 1) = 1 − α, falls N > 0. Zusätzlich definieren wir aα (0) := 0. Zusammenfassung. Mit den obigen Schranken aα = aα (N) und bα = bα (N) ist aα (N), 1 ,

0, bα (N) ,

aα/2 (N), bα/2 (N)

jeweils ein (1 − α)–Konfidenzintervall für p. Welches dieser Intervalle von Nutzen ist, muss man sich vor der Datenauswertung klarmachen! Wenn man ausschließlich nachweisen möchte, dass p vergleichsweise groß ist, bietet sich die untere (1 − α)-Konfidenzschranke aα (N) für p an. Möchte man nur nachweisen, dass p relativ klein ist, sollte man die obere (1 − α)Konfidenzschranke bα (N) für p berechnen. Wenn a priori keine einseitige Fragestellung feststeht und man p einfach nur eingrenzen möchte, sollte man das Konfidenzintervall aα/2 (N), bα/2 (N) bestimmen. Dieses erfüllt Forderung (4.1), da IP p ∈ aα/2 (N), bα/2 (N) = IP p < aα/2 (N) + IP p > bα/2 (N) ≤ α/2 + α/2 = α nach Konstruktion der beiden Schranken aα/2 (N) und bα/2 (N). Numerische Berechnung der Konfidenzschranken. Für die obigen Schranken aα und bα gibt es nur in Spezialfällen geschlossene Formeln (siehe Aufgabe 4.2). Ansonsten ist man auf numerische Approximationen angewiesen. Der in Tabelle 4.1 beschriebene Algorithmus, ein binäres Suchverfahren, liefert für k ∈ {0, 1, . . . , n − 1} und 0 < α < 1 eine Zahl b = BinoUCB(k, n, α) ∈ [0, 1] derart, dass Bin cdfn,b−δ (k) > α ≥ Bin cdfn,b (k) ≥ α − δ . Dabei ist δ > 0 eine vorgegebene Genauigkeitsschranke. Insbesondere ist BinUCB(N, n, β ) eine Approximation und obere Schranke für die obere Konfidenzschranke bα (N). Mithilfe einer einfachen Symmetrieüberlegung kann man ferner zeigen, dass aα (N) = 1 − bα (n − N). Daher liefert 1 − BinUCB(n − N, n, α) eine Approximation und untere Schranke für die untere Konfidenzschranke aα (N). Approximative Konfidenzintervalle. Anstelle des exakten, aber numerisch aufwändigen Verfahrens beschreiben wir noch einen anderen Ansatz, der zu einem einfachen Verfahren führt. Dabei nehmen wir allerdings in Kauf, dass die Ungleichung (4.1) nur approximativ für hinreichend großes n gültig ist.

4.2 Konfidenzintervalle für Wahrscheinlichkeiten

35

if k = n then b←1 else a←0 pa ← 1 b←1 pb ← 0 while b − a > δ or pa − pb > δ do t ← (a + b)/2 pt ← Bin cdfn,t (k) if pt > α then a←t pa ← pt else b←t pb ← pt end end end. Tabelle 4.1: Der Algorithmus b ← BinUCB(k, n, α)

Wir betrachten die standardisierte Größe p − IE( p) p − p = . Var( p) p(1 − p)/n Der Zentrale Grenzwertsatz (Satz 3.1) besagt, dass für beliebige r ∈ R gilt: p − p r IP ≤( 0 gilt: ⎫ y ≤ x + c x(1 − x) ⎬ ⎭ y ≥ x − c x(1 − x)

genau dann, wenn

⎧ ⎪ y + c2 /2 − c y(1 − y) + c2 /4 ⎪ ⎪ , x ≥ ⎨ 1 + c2 ⎪ ⎪ y + c2 /2 + c y(1 − y) + c2 /4 ⎪ ⎩ x ≤ . 1 + c2

Aufgabe 4.5 Bei der Erhebung des Datensatzes ‘MStatH2000.txt’ wurden die Befragten unter anderem aufgefordert, eine “Zufallsziffer” aus {0, 1, . . . , 9} anzugeben. Aus früheren Experimenten ist bereits bekannt, dass die Ziffer ‘7’ besonders häufig gewählt wird. Betrachten Sie nun die Befragten als rein zufällige Stichprobe aus einer großen Grundgesamtheit, und berechnen Sie eine untere Konfidenzschranke mit Konfidenzniveau 1 − α = 95% für die unbekannte Wahrscheinlichkeit p, dass eine rein zufällig gewählte Person aus dieser Grundgesamtheit die ‘7’ wählen würde. Ist Ihre Schranke größer als 1/10? Aufgabe 4.6 In einer Stichprobe von 429440 Neugeborenen befanden sich 221023 Jungen. Berechnen Sie nun einen Schätzwert und ein 99%-Konfidenzintervall für die Wahrscheinlichkeit p, dass ein neugeborenes Kind ein Junge ist. Aufgabe 4.7 Bestimmen Sie für das Datenbeispiel aus Aufgabe 2.3 ein zweiseitiges Konfidenzintervall für den Median Med(P) mit Konfidenzniveau 95%. Dabei beschreibt P die Verteilung von PHC in Bienenwachs. Bestimmen Sie ferner eine obere Konfidenzschranke für das 0.90–Quantil von P mit Konfidenzniveau 0.95.

5 Vierfeldertafeln und Chancenquotienten In vielen klinischen oder epidemiologischen Studien untersucht man den Zusammenhang zwischen zwei binären Vaiablen X und Y . Hier sind drei Beispiele für Situationen, in welchen solche Variablenpaare eine Rolle spielen: Situation 1. Angenommen, man vergleicht ein neues Medikament zur Heilung einer bestimmten Krankheit mit einem Standardpräparat oder einem Placebo. Für eine einzelne Person setzen wir X = 1 bzw. X = 2, falls sie das neue Medikament bzw. das Standardmedikament oder Placebo erhält. Ferner sei Y = 1 bzw. Y = 2, falls sie geheilt wird bzw. nicht geheilt wird. Abstrakt geht es in dieser Situation um den Vergleich einer bestimmten “Behandlung” (X = 1) mit einer anderen Behandlung (X = 2). Unter “Behandlung” kann man sich anstelle eines Medikaments auch eine Diät oder ein Fitness-Programm vorstellen. Der Erfolg oder Misserfolg der Behandlung wird durch die Variable Y angegeben. Situation 2. Angenommen, man möchte herausfinden, ob Personen mit einem bestimmten Genotyp ein erhöhtes Risiko haben, an einer bestimmten Krankheit zu leiden. Für eine einzelne Person setzen wir X = 1 bzw. X = 2, falls sie vom besagten Genotyp ist bzw. nicht ist. Ferner sei Y = 1 bzw. Y = 2, falls sie an der besagten Krankheit leidet bzw. nicht leidet. Abstrakt geht es in dieser Situation um den Vergleich zweier Teilpopulationen der Grundgesamtheit. Die Teilpopulationen können wie oben durch genetische Eigenschaften definiert sein. Andere denkbare Einteilungen ergeben sich beispielsweise durch soziale oder regionale Faktoren. Die Zugehörigkeit von Personen zu den Teilpopulationen wird durch die Variable X angegeben. Die Variable Y beschreibt ein weiteres Merkmal, anhand dessen man die beiden Teilpopulationen jeweils unterteilen kann. Situation 3. Man möchte herausfinden, ob der Kontakt mit bestimmten Giftstoffen eine bestimmte Krankheit auslöst oder nicht. Für eine einzelne Person setzen wir X = 1, falls sie Kontakt mit diesen Giftstoffen hatte oder hat; sonst sei X = 2. Die Variable Y definieren wir wie in Situation 2. Definition der Vierfeldertafel. In der Regel betrachtet man nun n Versuchseinheiten (Personen) und ermittelt hierfür die Wertepaare (X1 ,Y1 ), (X2 ,Y2 ), . . . , (Xn ,Yn ). In einfachen Situationen genügt es, die entsprechende Vierfeldertafel (Kontingenztafel) zu betrachten: X =1 X =2

Y =1

Y =2

N11 N21

N12 N22

N1+ N2+

N+1

N+2

n

44

5 Vierfeldertafeln und Chancenquotienten

Dabei ist Nxy Nx+ N+y

:= # i ≤ n : Xi = x,Yi = y , := # i ≤ n : Xi = x = Nx1 + Nx2 , := # i ≤ n : Yi = y = N1y + N2y

für x, y = 1, 2. Die Frage ist nun, wie man diese Vierfeldertafel interpretieren und statistisch auswerten kann.

5.1 Chancenquotienten (Odds Ratios) Die hier beschriebenen Daten kann man auf unterschiedliche Arten modellieren. In jedem Fall betrachten wir die n Versuchseinheiten als Zufallsstichprobe aus einer Grundgesamtheit. Über diese Grundgesamtheit wollen wir Aussagen treffen. Situation 1 (Forts.) Hier ist die Variable X (Behandlung) ein willkürlich wählbarer Parameter. Wir gehen davon aus, dass für eine rein zufällig aus der Grundgesamtheit gewählte Person gilt: IP{Y = 1} = IP Person wird geheilt =

θ1 θ2

falls X = 1, falls X = 2.

Dabei sind θ1 , θ2 zwei unbekannte Parameter aus ]0, 1[. Die Chancen (odds) für einen Heilungserfolg sind θx falls X = x. 1 − θx Das Chancenverhältnis (odds ratio) für das neue Medikament im Vergleich zum Standardpräparat bzw. Placebo ist definiert als θ1 (1 − θ2 ) θ 1 θ2 . = ρ := 1 − θ1 1 − θ2 θ2 (1 − θ1 ) Angenommen, man führt eine randomisierte Studie durch, bei der für n Personen die Behandlung, also der Wert von Xi , zufällig festgelegt wird. Diese Werte Xi behandeln wir nun als feste Zahlen. Insbesondere sind dann die Größen nx := Nx+ der beiden Behandlungsgruppen fest vorgegeben. Betrachtet man die n Personen als rein zufällige Stichprobe aus der Grundgesamtheit, dann sind die Zufallsvariablen Yi stochastisch unabhängig mit IP{Yi = 1} = θXi = 1 − IP{Yi = 2}. Hieraus folgt, dass für beliebige Zahlen kx aus {0, 1, . . . , nx } gilt: n1 k1 n1 −k1 n2 IP{N11 = k1 , N21 = k2 } = (5.1) θ (1 − θ1 ) θ k2 (1 − θ2 )n2 −k2 . k1 1 k2 2

5.1 Chancenquotienten (Odds Ratios)

45

Die Zahlen N11 und N21 der Heilungserfolge für das neue Medikament beziehungsweise das Vergleichspräparat sind also stochastisch unabhängig und binomialverteilt mit Parametern (n1 , θ1 ) beziehungsweise (n2 , θ2 ). Ein Schätzer für den Chancenquotienten ist ρ :=

θ1 (1 − θ2 ) N11 N22 = N21 N12 θ2 (1 − θ1 )

Nx1 mit θx := . nx

Mitunter verwendet man auch den Schätzer θx = (Nx1 + 0.5)/(nx + 1) für θx , um die Werte Null und Unendlich zu vermeiden. Situation 2 (Forts.) Wir gehen davon aus, dass in der Grundgesamtheit der relative Anteil aller Personen mit (X,Y ) = (x, y) gleich θxy ist. Dabei sind θ11 , θ12 , θ21 , θ22 unbekannte Parameter in ]0, 1[. Die Chancen, dass eine rein zufällig gewählte Person mit besagtem Genotyp die spezielle Krankheit hat, sind θ11 /θ12 . Für eine zufällig gewählte Person aus der anderen Teilpopulation sind diese Chancen gleich θ21 /θ22 . Der entsprechende Chancenquotient ist dann θ11 θ22 . θ12 θ21

ρ :=

Den gleichen Chancenquotient erhält man bei einer anderen Betrachtungsweise: Für eine zufällig ausgewählte Person aus der Teilpopulation aller Kranken sind die Chancen, dass diese Person den besagten Genotyp hat, gleich θ11 /θ21 . In der Teilpopulation aller “Gesunden” sind diese Chancen gleich θ12 /θ22 . Die Verteilung der Stichprobenwerte Nxy hängt davon ab, welche Art von Studie man durchführt: Querschnittstudien (cross-sectional studies). Man wählt rein zufällig n Personen aus der Grundgesamtheit. Dann ist IP Nxy = kxy für x, y = 1, 2 =

n θ k11 θ k12 θ k21 θ k22 . k11 , k12 , k21 , k22 11 12 21 22

(5.2)

Dabei verwenden wir den Multinomialkoeffizienten ⎧ n! ⎨ n falls ai ∈ N0 und a1 + · · · + a = n, := a1 ! a2 ! · · · a ! ⎩ a1 , a2 , . . . , a 0 sonst. Dieser gibt an, auf wieviele verschiedene Arten man eine n–elementige Menge in Teilmengen mit a1 , a2 , . . . , a Elementen aufspalten kann. Insbesondere ist n n = . a a, n − a

46


Kohortenstudien (cohort studies, prospective studies). Wenn der Risikofaktor (X = 1) in der Grundgesamtheit nur sehr selten auftritt, kann es bei einer einfachen empirischen Studie passieren, dass die Stichprobe nur wenige oder sogar keine Personen aus dieser Teilpopulation enthält. Um dieses Problem zu vermeiden, wählt man bei einer Kohortenstudie eine feste Zahl n1 von Personen mit X = 1 und eine feste Zahl n2 von Personen mit X = 2. Nach einer gewissen Zeit ermittelt man für diese zwei Kohorten mit insgesamt n = n1 + n2 Personen die Zahlen N11 und N21 von Krankheitsfällen. Hier ist n1 k1 n2 k2 (5.3) IP N11 = k1 , N21 = k2 = θ1 (1 − θ1 )n1 −k1 θ (1 − θ2 )n2 −k2 k1 k2 2 mit θx := θx1 /(θx1 + θx2 ). Fall-Kontroll-Studien (case-control studies). Zu geringe Fallzahlen können sich bei einer einfachen Querschnittsstudie auch dann ergeben, wenn die betrachtete Krankheit (Y = 1) in der Grundgesamtheit nur sehr selten auftritt. Bei einer Fall-Kontroll-Studie wählt man deshalb eine feste Zahl m1 von Personen mit Y = 1 (Fälle) und eine feste Zahl m2 von Personen mit Y = 2 (Kontrollen), wobei diese Gruppen in Bezug auf andere Kovariablen wie beispielsweise Alter und Geschlecht ähnlich zusammengesetzt sein sollten. Nun ermittelt man für diese zwei Gruppen mit insgesamt n = m1 + m2 Personen die Zahlen N11 und N12 von Personen mit X = 1. Hier ist m1 k1 m1 −k1 m2 (5.4) IP N11 = k1 , N12 = k2 = θ (1 − θ1 ) θ k2 (1 − θ2 )m2 −k2 k1 1 k2 2 mit θy := θ1y /(θ1y + θ2y ). Situation 3 (Forts.) Eigentlich ist die Fragestellung analog zu der Fragestellung von Situation 1. Seien θ 1 und θ 2 die Wahrscheinlichkeiten, dass eine aus der Grundgesamtheit rein zufällig ausgewählte Person die besagte Krankheit entwickelte (Y = 1), wenn sie Kontakt mit dem Giftstoff hätte (X = 1) beziehungsweise nicht hätte (X = 2). Wir behandeln also die Variable X wie einen willkürlich wählbaren Parameter. In der Realität ist aber X eine Kovariable, die man nicht festlegen kann, sondern die Population besteht aus vier Teilpopulationen je nach Wert von (X,Y ) mit unbekannten relativen Anteilen θxy := IP{X = x,Y = y}. Die uns interessierenden Parameter θ x sind im Allgemeinen nicht identisch mit θx := θx1 /(θx1 + θx2 ). Vielmehr kann es passieren, dass Personen mit X = 1 sich auch in anderer Hinsicht von Personen mit X = 2 unterscheiden, beispielsweise durch ein anderes soziales Umfeld oder einen anderen Lebensstil. Vermeintliche Unterschiede zwischen Personen mit X = 1 und X = 2 könnten andere Ursachen als den Kontakt mit den Giftstoffen haben. Diesen Effekt nennt man “Confounding”. Mit einer Querschnitts-, Kohorten- oder Fall-Kontroll-Studie kann man nur Aussagen über den Chancenquotienten ρ := anstelle von ρ :=

θ11 θ22 θ12 θ21

θ 1 (1 − θ 2 ) θ 2 (1 − θ 1 )

5.2 Konfidenzschranken für Chancenquotienten

47

machen. Ein möglicher Ausweg aus diesem Dilemma sind Tierversuche oder Versuche mit Gewebekulturen. Dann stellt sich natürlich die Frage, inwieweit die dort erzielten Ergebnisse übertragbar sind.

5.2 Konfidenzschranken für Chancenquotienten Um exakte statistische Aussagen über den soeben eingeführten Chancenquotienten ρ zu machen, betrachten wir die bedingte Verteilung von N = (Nxy )x,y=1,2 , gegeben N1+ = n1 und N+1 = m1 , mit beliebigen ganzen Zahlen n1 , m1 ∈ {0, 1, . . . , n}. Die Vierfeldertafel kann man dann schreiben als X =1 X =0

Y =1

Y =0

N11 m1 − N11

n1 − N11 n − n1 − m1 + N11

n1 n − n1

m1

n − m1

n

Daher konzentrieren wir uns auf den Tabelleneintrag N11 mit Werten zwischen max(0, n1 + m1 − n) und min(n1 , m1 ). In den oben beschriebenen drei Situationen hängt dessen bedingte Verteilung ausschließlich vom Chancenquotienten ρ ab! Lemma 5.1 In den Situationen 1–3 gilt für die jeweils betrachteten Studientypen und Chancenquotienten ρ stets folgende Gleichung: Für max(0, n1 + m1 − n) ≤ k ≤ min(n1 , m1 ) ist

IP N11 = k N1+ = n1 , N+1 = m1 = fρ (k | n, n1 , m1 ), wobei fρ (k | n, n1 , m1 )

:=

Cρ (n, n1 , m1 )

:=

n1 n − n1 ρk, k m1 − k min(n1 ,m1 ) n1 n − n1 ρ . ∑ m − 1 =max(0,n +m −n)

Cρ (n, n1 , m1 )−1

1

1

Die Beweise dieser Gleichungen werden am Ende dieses Abschnitts geführt. Im Falle von ρ = 1 handelt es sich bei den Wahrscheinlichkeitsgewichten fρ (· | n, n1 , m1 ) um die Gewichte der hypergeometrischen Verteilung mit Parametern n, n1 und m1 . Das heißt, n1 n − n1 n f1 (k | n, n1 , m1 ) = . k m1 − k m1 Abbildung 5.1 zeigt Stabdiagramme der Gewichtsfunktion fρ (· | n, n1 , m1 ) für n = 100, n1 = 30, m1 = 80 sowie verschiedene Werte von ρ. Man sieht deutlich, wie sich die Gewichte zu größeren und kleineren Werten hin verschieben, wenn man ρ vergrößert beziehungsweise verkleinert. Im Hintergrund wird jeweils auch die Gewichtsfunktion f1 (· | n, n1 , m1 ) von Hyp(n, n1 , m1 ) gezeigt.

48


Abbildung 5.2 zeigt die gleichen Plots für n = 400, n1 = 120, m1 = 320, also eine Vervierfachung der Zeilen- und Spaltensummen. Hier wird deutlich, dass die Fluktuation der bedingten Verteilung von N11 , gegeben N1+ = n1 und N+1 = m1 , abnimmt, wenn man die Randsummen n1 , n − n1 , m1 und n − m1 erhöht. = 0.5

=2 0.25

0.2 0.18 0.2

0.16 0.14

0.15

0.12 0.1

0.1

0.08 0.06

0.05

0.04 0.02 0

10

12

14

16

18

20

22

24

26

28

0

30

10

12

14

16

18

= 0.1

20

22

24

26

28

30

24

26

28

30

= 10 0.4

0.2

0.35 0.3

0.15 0.25 0.2 0.1 0.15 0.1

0.05

0.05 0

10

12

14

16

18

20

22

24

26

28

0

30

10

12

14

16

18

20

22

Abbildung 5.1: Gewichtsfunktion fρ (· | 100, 30, 80) für verschiedene ρ.

Ausgehend von der Gewichtsfunktion fρ (· | n, n1 , m1 ) kann man Konfidenzbereiche für ρ nach dem gleichen “Kochrezept” wie in Abschnitt 4.2 berechnen: Wir fixieren einen hypothetischen Wert λ von ρ und überlegen, ob der beobachtete Wert von N11 “verdächtig groß” oder “verdächtig klein” hierfür ist. Mit der Verteilungsfunktion Fλ (k | n, n1 , m1 ) :=

∑ fλ ( j | n, n1 , m1 )

j≤k

betrachten wir N11 als • verdächtig klein, falls

∑

k≤N11

fλ (k | n, N1+ , N+1 ) = Fλ (N11 | n, N1+ , N+1 ) ≤ α.


49

= 0.5

=2 0.12

0.1

0.1 0.08 0.08 0.06 0.06 0.04 0.04 0.02

0

0.02

40

50

60

70

80

90

100

110

120

0

40

50

60

70

= 0.1

80

90

100

110

120

90

100

110

120

= 10

0.12 0.2 0.1

0.15

0.08

0.06 0.1 0.04 0.05 0.02

0

40

50

60

70

80

90

100

110

120

0

40

50

60

70

80

Abbildung 5.2: Gewichtsfunktion fρ (· | 400, 120, 320) für verschiedene ρ.

• verdächtig groß, falls

∑

k≥N11

fλ (k | n, N1+ , N+1 ) = 1 − Fλ (N11 − 1 | n, N1+ , N+1 ) ≤ α,

Denn wie wir später noch zeigen werden, gelten diese Ungleichungen im Falle von λ = ρ nur mit Wahrscheinlichkeit höchstens α: IP Fρ (N11 | n, N1+ , N+1 ) ≤ α ≤ α. (5.5) IP Fρ (N11 − 1 | n, N1+ , N+1 ) ≥ 1 − α Wir können also mit einer Sicherheit von 1 − α davon ausgehen, dass der unbekannte Parameter ρ die Ungleichung Fρ (N11 | n, N1+ , N+1 ) > α beziehungsweise Fρ (N11 − 1 | n, N1+ , N+1 ) < 1 − α erfüllt. Die Menge aller Parameterwerte λ , welche eine solche Ungleichung erfüllen, liefert dann einen Konfidenzbereich für ρ. Genauer: Definiert man für 0 < α < 1 die Schranken aα (N) := inf λ ∈ ]0, ∞[ : Fλ (N11 − 1 | n, N1+ , N+1 ) < 1 − α , bα (N) := sup λ ∈ ]0, ∞[ : Fλ (N11 | n, N1+ , N+1 ) > α ,

50

dann ist


aα (N), ∞ ,

0, bα (N) ,

aα/2 (N), bα/2 (N)

jeweils ein (1 − α)–Konfidenzintervall für ρ. Numerische Berechnung der Konfidenzschranken. Aus Aufgabe 5.2 ergibt sich folgende Tatsache: Für max(0, n1 + m1 − n) ≤ k < min(n1 , m1 ) ist Fλ (k | n, n1 , m1 ) stetig und streng monoton fallend in λ ∈ ]0, ∞[ mit Grenzwerten F0 (k | n, n1 , m1 ) = 1 und F∞ (k | n, n1 , m1 ) = 0. Wir können also die Konfidenzschranken ähnlich wie in Abschnitt 4.2 (Tabelle 4.1) mit einem binären Suchverfahren numerisch bestimmen. Der einzige Unterschied ist, dass der Parameterbereich jetzt unbeschränkt ist. Der in Tabelle 5.1 beschriebene Algorithmus liefert für ganze Zahlen k, n, n1 , m1 mit max(0, n1 + m1 − n) ≤ k < min(n1 , m1 ) und 0 < α < 1 eine Zahl b = OddsRatioUCB(k, n, n1 , m1 , α) ∈ ]0, ∞[ derart, dass Fexp(−δ )b (k | n, n1 , m1 ) > α ≥ Fb (k | n, n1 , m1 ) ≥ α − δ . Dabei ist δ > 0 eine vorgegebene Genauigkeitsschranke. Insbesondere ist OddsRatioUCB(N11 , n, N1+ , N+1 , α) eine Approximation und obere Schranke für die Konfidenzschranke bα (N). Mithilfe von Symmetrieüberlegungen kann man ferner zeigen, dass der Kehrwert 1 OddsRatioUCB(N12 , n, N1+ , N+2 , α) eine Approximation und untere Schranke für die Konfidenzschranke aα (N) darstellt. Für die numerische Berechnung der Wahrscheinlichkeiten fλ (· | n, n1 , m1 ) und Fλ (· | n, n1 , m1 ) ist es übrigens hilfreich, mit Logarithmen von fλ (· | n, n1 , m1 ) zu arbeiten. Außerdem kann man

1 durch k!(n − k)!(m − k)!(n − m − n − 1 + k)! −1 ersetzen. die Faktoren nk1 mn−n 1 1 1 1 −k Beispiel (1.2, Forts.) Wir betrachten nun die n = 48 angehenden Bankmanager, die an dem besagten Experiment teilnahmen, als repräsentativ für die Gesamtheit aller Personen in einer ähnlichen Position. Dabei setzen wir für jeden Manager X = 1 bzw. X = 2, falls er einen Mann bzw. eine Frau beurteilte. Ferner sei Y = 1 bzw. Y = 2, falls er sich für bzw. gegen eine Beförderung entschied. Dann erhalten wir die Vierfeldertafel

X =1 X =2

Y =1

Y =2

21 14

3 10

24 24

35

13

48

Der geschätzte Chancenquotient für die Beförderung eines Herren gegenüber der Beförderung einer Dame ist hier ρ = 5. Eine untere 95 %–Konfidenzschranke für ρ ist a0.05 (N) = 1.23. Da diese Schranke größer als Eins ist, können wir mit einer Sicherheit von 95 % behaupten, dass Herren gegenüber Damen bevorzugt befördert werden. Beispiel 5.1 In einer randomisierten Studie wurde dreißig Probanden mit einem bestimmten Hautausschlag ein Medikament beziehungsweise ein Placebo oral verabreicht. Die Behandlungsergebnisse waren wie folgt:


51

if k = min(n1 , m1 ) then b←∞ else a←0 pa ← 1 b←1 pb ← Fb (k | n, n1 , m1 ) while pb > α do a←b pa ← pb b ← 2b pb ← Fb (k | n, n1 , m1 ) end while log(b/a) > δ or pa − pb > δ do t ← (a + b)/2 pt ← Ft (k | n, n1 , m1 ) if pt > α then a←t pa ← pt else b←t pb ← pt end end end. Tabelle 5.1: Der Algorithmus b ← OddsRatioUCB(k, n, n1 , m1 , α)

Behandlung

Heilung

keine Heilung

Medikament Placebo

12 5

3 10

15 15

17

13

30

Der geschätzte Chancenquotient für eine Heilung mithilfe des Medikaments gegenüber einer spontanen Heilung ist ρ = 8. Ein 95 %–Konfidenzintervall für ρ ist [a0.025 (N), b0.025 (N)] = [1.220, 60.953]. Wir können also mit einer Sicherheit von 95 % behaupten, dass das Medikament die Heilungschancen erhöht. Beispiel 5.2 An n = 580 Probanden wurden verschiedene Screening-Verfahren für Diabetes getestet. Hier ist die Vierfeldertafel für einen bestimmten Bluttest (nach Folin-Wu): Testergebnis

Diabetiker

Nichtdiabetiker

positiv negativ

56 14

49 461

105 475

70

510

580

52


Sei ρ der unbekannte Chancenquotient für das Vorliegen von Diabetes bei positivem Testbefund gegenüber negativem Testbefund. Als Schätzwert für ρ ergibt sich hier ρ = 37.633. Ein 99 %–Konfidenzintervall für ρ ist [a0.005 (N), b0.005 (N)] = [15.636, 98.352]. Anmerkung: Die geschätzte Sensitivität dieses Bluttests beträgt N11 /N+1 = 56/70 = 80 %, und seine geschätzte Spezifität ist N22 /N+2 = 461/510 ≈ 90.4 %. Der Zusammenhang zwischen Spezifität/Sensitivität eines medizinischen Tests und Chancenquotienten wird in Aufgabe 5.4 behandelt. Beweis (Lemma 5.1) Betrachten wir zunächst Situation 1. Man kann Formel (5.1) wie folgt umschreiben: n1 k n − n1 = IP N11 = k, N21 = m1 − k θ1 (1 − θ1 )n1 −k θ m1 −k (1 − θ2 )n−n1 −m1 +k k m1 − k 2 n1 n − n1 = H(θ1 , θ2 , n1 , m1 ) ρk k m1 − k mit ρ = θ1 (1 − θ2 )/(θ2 (1 − θ1 )) und H(θ1 , θ2 , n1 , m1 ) := (1 − θ1 )n1 θ2m1 (1 − θ2 )n−n1 −m1 . Folglich ist

IP N11 = k N1+ = n1 , N+1 = m1 = IP N11 = k, N21 = m1 − k IP N+1 = m1 min(n1 ,m1 )

=

IP N11 = k, N21 = m1 − k

=

min(n1 ,m1 ) n1 n1 n − n1 n − n1 ρk ρ ∑ k m1 − k m1 − =max(0,n +m −n)

=

fρ (k | n, n1 , m1 ).

∑

IP N11 = , N21 = m1 −

=max(0,n1 +m1 −n)

1

1

Nun kommen wir zu Situation 2. Formel (5.2) kann man wie folgt umschreiben: IP N11 = k, N12 = n1 − k, N21 = m1 − k n! m1 −k n−n1 −m1 +k θ22 θ k θ n1 −k θ21 = k!(n1 − k)!(m1 − k)!(n − n1 − m1 + k)! 11 12 n1 n − n1 = H(θ12 , θ21 , θ22 , n1 , m1 ) ρk, k m1 − k wobei ρ = θ11 θ22 /(θ12 θ21 ) und H(θ12 , θ21 , θ22 , n1 , m1 ) :=

n θ n1 θ m1 θ n−n1 −m1 . n1 12 21 22

Bei den Formeln (5.3) und (5.4) kommt man zum gleichen Ergebnis, diesmal mit anderen Hilfsgrößen H(θ12 , θ21 , θ22 , n1 , m1 ). In allen drei Fällen ist also

IP N11 = k, N21 = m1 − k, N12 = n1 − k = IP N11 = k N1+ = n1 , N+1 = m1 IP N1+ = n1 , N+1 = m1 IP N11 = k, N21 = m1 − k, N12 = n1 − k = min(n1 ,m1 ) IP N11 = , N21 = m1 − , N12 = n1 − ∑ =max(0,n1 +m1 −n)

=

fρ (k | n, n1 , m1 ).


53

Beweis (Ungleichung (5.5)) Für beliebige Ereignisse A gilt bekanntlich die Formel IP(A) =

n

∑

n1 ,m1 =0

IP{N1+ = n1 , N+1 = m1 } IP(A | N1+ = n1 , N+1 = m1 ),

und diese Summe ist kleiner oder gleich α, falls alle bedingten Wahrscheinlichkeiten IP(A | N1+ = n1 , N+1 = m1 ) kleiner oder gleich α sind. Speziell für die beiden Ereignisse und Fρ (N11 − 1 | n, N1+ , N+1 ) ≥ 1 − α Fρ (N11 | n, N1+ , N+1 ) ≤ α

folgt dies aus Aufgabe 4.1 oder aus Lemma 8.1 in Kapitel 8.

Approximative Konfidenzschranken für Chancenquotienten. Mithilfe der Normalapproximation für Binomialverteilungen und der Taylorentwicklung kann man approximative Konfidenzintervalle für den Chancenquotienten ρ = θ1 (1 − θ2 )/(θ2 (1 − θ1 )) berechnen. Dabei gehen wir davon aus, dass N11 und N21 stochastisch unabhängig sind mit Nx1 ∼ Bin(nx , θx ); siehe Situation 1 am Anfang dieses Kapitels. Nun kann man zeigen, dass log ρ − log ρ ≤ r → Φ(r) IP σ

(5.6)

für beliebige r ∈ R, falls n1 θ1 (1 − θ1 ) und n2 θ2 (1 − θ2 ) gegen Unendlich konvergieren. Dabei ist Φ die Verteilungsfunktion der Standardnormalverteilung und 1 1 1 1 + + + . σ := N11 N12 N21 N22 Dies führt zu folgendem Konfidenzintervall für ρ (Woolfs Methode): z1−α/2 ) = ρ exp(−σ z1−α/2 ), ρ exp(σ z1−α/2 ) . (5.7) exp(log ρ − σ z1−α/2 ), exp(log ρ + σ Auf dieses Intervall sollte man sich nur verlassen, wenn alle Einträge Nxy recht groß sind. Ansonsten ist es erfahrungsgemäß zu optimistisch, das heißt, leider zu kurz. Beweis (Resultat (5.6)) Unter den besagten Voraussetzungen ist Nx1 = nx θx +

nx θx (1 − θx ) Zx ,

wobei Zx eine Zufallsvariable mit Erwartungswert Null und Varianz Eins ist. Für große Werte von Δx := nx θx (1 − θx ) ist sie näherungsweise standardnormalverteilt. Dies impliziert, dass Nx1 nx θx nx − Nx1 nx − nx θx

−1/2

=

1 + (1 − θx )Δx

=

1 − θx Δx

−1/2

−1/2

Zx = 1 + Op (Δx −1/2

Zx = 1 + Op (Δx

).

),

54


im Falle von Δ := min(Δ1 , Δ2 ) → ∞. Wegen (1 + x)γ = 1 + O(x) für festes Nun untersuchen wir log ρ und σ γ = 2 und x → 2 gilt: 1 + Op (Δ−1/2 ) 1 + Op (Δ−1/2 ) 1 + Op (Δ−1/2 ) 1 1 = + = + . Nx1 Nx2 nx θx n1 (1 − θx ) Δx Folglich ist σ = σ (1 + Op (Δ−1/2 )) mit

σ :=

−1 Δ−1 1 + Δ2 .

Wegen log(1 + x) = x + O(x2 ) für x → 0 ist N x1 nx θx n −N x x1 log nx − nx θx log

−1/2

=

(1 − θx )Δx

=

−θx Δx

−1/2

Zx + Op (Δ−1 ),

Zx + Op (Δ−1 ).

Daher kann man log ρ − log ρ schreiben als N n −N n −N N 11 21 1 11 2 21 log − log − log + log n1 θ1 n2 θ2 n1 − n1 θ1 n2 − n2 θ2 = −1/2

−1/2

Δ1

−1/2

Z1 − Δ2

Z2 + Op (Δ−1 ) = σ Z + Op (Δ−1 ).

−1/2

Dabei ist Z := σ −1 Δ1 Z1 + σ −1 Δ2 Z2 eine Zufallsgröße mit Erwartungswert Null und Varianz Eins, welche asymptotisch standardnormalverteilt ist. Folglich ist auch σ Z + Op (Δ−1 ) log ρ − log ρ = Z + Op (Δ−1/2 ) = σ σ (1 + Op (Δ−1/2 )) asymptotisch standardnormalverteilt.

5.3 Multiple Vierfeldertafeln und das Simpson-Paradoxon Die Konfidenzschranken für den Chancenquotienten ρ sind umso präziser, je höher die Besetzungszahlen der Vierfeldertafel sind. Nun stellen wir uns eine multizentrische Studie vor, bei der beispielsweise in L unterschiedlichen Kliniken der Effekt einer neuen Behandlung getestet wird (1) (Situation 1). Man könnte nun auf die Idee kommen, die einzelnen Vierfeldertafeln (Nxy )x,y , (2) (L) (Nxy )x,y , . . . , (Nxy )x,y zu einer einzigen Tafel (Nxy )x,y zusammenzufassen. Doch im Extremfall kann es beispielweise passieren, dass für jede einzelne Tafel der geschätzte Chancenquotient ρ(i) größer als Eins aber der Schätzer ρ für die Gesamttafel kleiner als Eins ist. Dieser mögliche Effekt ist das sogenannte Simpson-Paradoxon. Beispiel 5.3 Hier ein Datenbeispiel aus einem nichtmedizinischen Kontext. In den sechziger Jahren wurden Daten über Bewerbungen um einen Studienplatz an der University of California in Berkeley erhoben. Insbesondere interessierte man sich für die Zahlen und Zulassungsquoten der weiblichen und männlichen Bewerber. Von den insgesamt 8442 männlichen Bewerbern wurden ca. 44 % zugelassen, von den 4321 weiblichen Bewerbern dagegen nur ca. 35 %. Dies entspricht einem empirischen Chancenquotienten von ρ ≈ 1.46. Aus reiner

5.3 Multiple Vierfeldertafeln und das Simpson-Paradoxon

55

Neugierde berechnen wir ein 95 %–Konfidenzintervall für den Chancenquotienten ρ ohne jedoch ein Modell und die Bedeutung von ρ zu spezifizieren: [a0.025 (N), b0.025 (N)] = [1.352, 1.576]. Da dieses Intervall den Wert Eins nicht enthält, könnte man auf eine Benachteiligung von Frauen schließen. Als man jedoch diese Daten einzelnen Fachbereichen vorlegte, wiesen sie fast ausnahmslos den Vorwurf der Benachteiligung von sich. Tabelle 5.2 zeigt die entsprechenden Zahlen für die sechs größten Fachbereiche, die durch Buchstaben kodiert wurden. Nun sieht man, dass die Zulassungsquoten in den einzelnen Fachbereichen unterschiedlich hoch sind. Die Frauen tendierten eher zu den Fächern C–F mit relativ niedrigen Zulassungsquoten. In den Fächern A–B mit hohen Zulassungsquoten wurden sogar die Männer etwas benachteiligt, doch bewarben sich dort relativ wenige Frauen. Wie schon gesagt, ist die Interpretation der hier berechneten Konfidenzintervalle fraglich. Für uns ist vor allem interessant, ob sie den Punkt Eins enthalten oder nicht, was direkt mit Fishers exaktem Test zusammenhängt; siehe auch die Abschnitte 8.1 und 9.1.

Fachbereich A B C D E F

Männer Anzahl Zul.quote 825 0.621 560 0.630 325 0.369 417 0.331 191 0.277 373 0.059

Frauen Anzahl Zul.quote 108 0.824 25 0.680 593 0.341 375 0.349 393 0.239 341 0.070

ρ 0.752 0.927 1.084 0.947 1.161 0.838

[a0.025 (N), b0.025 (N)] [0.197, 0.592] [0.294, 2.004] [0.845, 1.516] [0.679, 1.250] [0.806, 1.839] [0.433, 1.576]

Tabelle 5.2: Datenbeispiel zum Simpson-Paradoxon.

Nun kommen wir zurück zu der Situation einer multizentrischen Studie. Wir nehmen an, dass (i) die L Vierfeldertafeln (Nxy )x,y stochastisch unabhängig sind, wobei (i)

(i) (i) IP N11 = k N1+ = n1 , N+1 = m1 = fρ (i) (k | n(i) , n1 , m1 ). Mitunter macht man die Modellannahme, dass alle L Chancenquotienten ρ (i) identisch sind, also ρ (1) = ρ (2) = · · · = ρ (L) = ρ.

(5.8)

Unter dieser Modellannahme kann man Schätzer und Konfidenzintervalle für den gemeinsamen Wert ρ berechnen. Hier ein Verfahren aus “Asymptopia”: Aufgrund der Betrachtungen am Ende von Abschnitt 5.2 behandeln wir die Logarithmen log ρ(i) der einzelnen Schätzer für ρ wie normalverteilte Zufallsvariablen mit Erwartungswert log ρ und unbekannter Standardabweichung σi . Die Standardabweichung σi schätzen wir durch 1 1 1 1 + (i) + (i) + (i) . σi := (i) N11 N12 N21 N22 (i) Diese einzelnen Schätzer log ρ könnte man mit Gewichten wi > 0 zu einem Schätzer R := L L (i) ∑i=1 wi für log ρ zusammenfassen. Man kann zeigen, dass die Gewichte wi := ∑i=1 wi log ρ

56


σi−2 einen Schätzer mit minimaler Varianz liefern; siehe Aufgabe 5.9. Also definieren wir R :=

L

∑ σi−2 log ρ(i)

i=1

L

∑ σi−2 .

i=1

Mit ähnlichen Überlegungen wie in Abschnitt 5.2 kann man zeigen, dass die Zufallsgröße R − log ρ S

mit S :=

L

∑ σi−2

−1/2

i=1

unter geeigneten Annahmen approximativ standardnormalverteilt ist. Diese Betrachtungen suggerieren das folgende Konfidenzintervall für ρ:

exp R − Sz1−α/2 , exp R + Sz1−α/2 .

5.4 Übungsaufgaben Aufgabe 5.1 Sei ρ = θ1 (1 − θ2 )/(θ2 (1 − θ1 )) mit θ1 , θ2 ∈ ]0, 1[. Stellen Sie θ1 als Funktion von θ2 und ρ dar. Skizzieren Sie die Funktion θ2 → θ1 (θ2 , ρ) für ρ = 2 und ρ = 1/2. Aufgabe 5.2 Für ganze Zahlen a < b und a ≤ j ≤ b sei w j eine strikt positive Zahl. Für λ ∈ ]0, ∞[ sei fλ (k) := wk λ k

b

∑ w jλ j

j=a

und Fλ (k) :=

k

∑ fλ ( j).

j=a

Zeigen Sie, dass Fλ (k) für a ≤ k < b eine stetige und streng monoton fallende Funktion von λ mit Grenzwerten F0 (k) = 1 und F∞ (k) = 0 ist. Aufgabe 5.3 In den Jahren 1960–61 kamen in diversen Hospitälern von Ontario n = 48378 Kinder zur Welt, von denen 1253 während oder kurz nach der Geburt starben. Die Mutter jedes Säuglings wurde gefragt, ob sie während der Schwangerschaft rauchte oder nicht. Hier die entsprechende Vierfeldertafel:

M. Raucher M. Nichtr.

S. starb

S. lebt

619 634

20443 26682

21062 27316

1253

47125

48378

Welches Modell legen Sie den Daten zugrunde, und welche Bedeutung hat hier der Chancenquotient ρ? An welche Grundgesamtheit(en) könnte man denken? Berechnen Sie einen Schätzwert sowie ein 99%– Konfidenzintervall für ρ. Aufgabe 5.4 Für jede Person in einer Grundgesamtheit sei X = 1 bzw. X = 2, wenn ein bestimmter medizinischer Test positiv bzw. negativ ausfällt. Ferner sei Y = 1 bzw. Y = 2, wenn die Person an einer bestimmten Krankheit

5.4 Übungsaufgaben

57

leidet bzw. nicht leidet. Die Sensitivität und Spezifität des Tests als Indikator für die besagte Krankeit definiert man als Sens.

:=

IP(X = 1 |Y = 1),

Spez.

:=

IP(X = 2 |Y = 2).

Für x, y aus {1, 2} sei θxy := IP{X = x,Y = y}. Stellen Sie nun Sensitivität und Spezifität mithilfe dieser Zahlen θxy dar. Schreiben Sie den Chancenquotienten ρ := θ11 θ22 /(θ12 θ21 ) als Funktion der Sensitivität und Spezifität. Unter welcher Bedingung an diese beiden Kenngrößen ist ρ > 1? Aufgabe 5.5 In einer Querschnittsstudie zum Zusammenhang zwischen akuter Bronchitis im Kleinkindalter und Atemwegserkrankungen bei Jugendlichen wurden n = 1319 Vierzehnjährige untersucht. Zum einen wurde erfragt, ob innerhalb der ersten fünf Lebensjahre eine akute Bronchitis auftrat (X = 1 oder X = 2). Desweiteren wurde erfragt, ob sie derzeit häufig tagsüber oder nachts husten (Y = 1 oder Y = 2). Y =1

Y =2

X =1

26

44

X =2

247

1002

Definieren Sie einen Chancenquotienten ρ, und berechnen Sie ein 99%–Konfidenzintervall hierfür. Aufgabe 5.6 In Rahmen einer Querschnittsstudie wurden bei n = 2209 US-Amerikanern im Alter von 25-34 Jahren unter anderem die Variablen ‘Gender’ (male/female) und ‘Handedness’ (right-handed/left-handed) erhoben.

right-handed left-handed

male

female

934 113

1070 92

Definieren Sie einen Chancenquotienten ρ, und berechnen Sie ein 95%–Konfidenzintervall hierfür. Aufgabe 5.7 Dass man bei der Auswertung von Vierfeldertafeln und anderem Datenmaterial unbedingt klären sollte, welche Population(en) man im Auge hat, zeigt sich bei ‘Berksons Trugschluss’ (Berkson’s fallacy): In einer Population sei der relative Anteil von Personen mit Kranheit A gleich pA , mit Krankheit B gleich pB . Beide Krankheiten machen einen Krankenhausbesuch nötig. Der relative Anteil von Personen mit beiden Krankheiten sei pA pB . Der relative Anteil von Personen, die kein Hospital aufsuchen müssen sei po . Angenommen man stellt anhand des Vorliegens/Nichtvorliegens beider Krankheiten eine Vierfeldertafel auf, wobei man ausschließlich Krankenhauspatienten betrachtet. Welchen Wert hat der zugrundeliegende Chancenquotient für die Population beziehungsweise für die Teilpopulation aller Krankenhauspatienten? Aufgabe 5.8 In dieser Aufgabe sollen Sie ein eigenes Beispiel für das Simpson-Paradoxon konstruieren. Angenommen, man vergleicht eine neue medizinische Methode (Methode 1) mit einer herkömmlichen (Methode 2) hinsichtlich ihres Behandlungserfolgs (Erfolg / Misserfolg). Diesen Vergleich führt man in einer Universitätsklinik (Klinik 1) und in einem Kreiskrankenhaus (Klinik 2) durch. Es ist denkbar, dass Methode 1 auf Grund von Unterschieden in der Infrastruktur in Klinik 1 relativ häufiger angewandt wird als in Klinik 2.

58


Andererseits ist denkbar, dass in Klinik 1 mehr schwerkranke Patienten als in Klinik 2 eingeliefert werden, so dass die Heilungschancen mit beiden Methoden dort geringer sind als in Klinik 2. Stellen Sie nun für beide Kliniken eine hypothetische Vierfeldertafel auf, so dass jeweils der empirische Chancenquotient ρ grösser ist als Eins. Versuchen Sie aber die Zahlen so zu wählen, dass der empirische Chancenquotient für die Summe der beiden Vierfeldertafeln kleiner ist als Eins. Aufgabe 5.9 Bei der Kombination mehrerer Vierfeldertafeln tauchte folgende Frage auf: Seien X1 , X2 , . . . , Xm stochastisch unabhängige Zufallsvariablen mit ein und demselben (unbekannten) Erwartungswert μ aber individuellen (bekannten) Standardabweichungen σi := Std(Xi ). Bestimmen Sie einen Vektor w ∈ Rm , so dass := ∑m der Schätzer μ i=1 wi Xi Erwartungswert μ und möglichst kleine Varianz hat. Welchen Wert hat die Varianz? Hinweis: Sie können hier Lagranges Optimierungsmethode (Analysis, Optimierung) anwenden.

6 Konfidenzbereiche für Normalverteilungen Erfahrungsgemäß kann man viele (empirische) Verteilungsfunktionen durch Normalverteilungsfunktionen approximieren. Dies legt nahe, sich statistische Verfahren für diese Verteilungsfamilie zu überlegen. Historisch gesehen waren dies sogar die ersten statistischen Verfahren. In diesem Kapitel betrachten wir eine Stichprobe X = (Xi )ni=1 von stochastisch unabhängigen, nach N (μ, σ 2 ) verteilten Zufallsvariablen. Dabei sind μ ∈ R und σ > 0 Parameter, von denen mindestens einer unbekannt ist und durch ein Konfidenzintervall eingegrenzt werden soll.

6.1 Z-Konfidenzintervalle für μ Angenommen, die Standardabweichung σ > 0 ist bekannt. Eine solche Situation tritt beispielsweise auf, wenn man mit einem bestimmten Gerät eine Messung n–mal wiederholt, wobei der Hersteller oder man selbst in früheren, umfangreichen Versuchsserien bereits überprüft hat, dass dieses Gerät normalverteilte Messfehler hat, deren Standardabweichung σ vom zu messenden Wert μ unabhängig ist und bis auf einen vernachlässigbaren Fehler bestimmt wurde. (Auf die Frage, wie man Konfidenzbereiche für σ angeben kann, werden wir noch zurückkommen.) ¯ dessen StandardabweiEin naheliegender Schätzer für μ ist der Stichprobenmittelwert X, √ chung σ / n beträgt. Ein naheliegender Ansatz für eine obere beziehungsweise untere Konfidenzschranke für μ ist daher σ X¯ ± c √ n mit einer noch zu bestimmenden Konstante c. Nun verwenden wir die Tatsache, dass X¯ nach N (μ, σ 2 /n) verteilt ist; siehe (3.4). Demnach ist die Wahrscheinlichkeit, dass die untere Schranke zu groß gerät, gleich X¯ − μ σ √ > c = 1 − Φ(c). IP X¯ − c √ > μ = IP n σ/ n Die Wahrscheinlichkeit einer zu kleinen oberen Schranke ist X¯ − μ σ √ < −c = Φ(−c) = 1 − Φ(c). IP X¯ + c √ < μ = IP n σ/ n Dabei verwenden wir die Tatsache, dass die standardisierte Größe ¯ X¯ − μ X¯ − IE(X) √ , = ¯ σ/ n Var(X) ¯ standardnormalverteilt ist. die sogenannte Z-Transformierte von X,

60

6 Konfidenzbereiche für Normalverteilungen

Beide Wahrscheinlichkeiten sind gleich α ∈ ]0, 1[ genau dann, wenn c = z1−α . Dabei ist zγ = Φ−1 (γ) das γ–Quantil der Standardnormalverteilung. Die Wahrscheinlichkeit, dass μ außerhalb √ des Intervalls [X¯ ± cσ / n] liegt, ist 2(1 − Φ(c)) und gleich α genau dann, wenn c = z1−α/2 . Folglich ist σ ⎫ ⎪ IP μ ≥ X¯ − z1−α √ ⎪ ⎪ n ⎪ ⎪ ⎬ σ ¯ IP μ ≤ X + z1−α √ = 1 − α. n ⎪ ⎪ ⎪ ⎪ σ ⎪ ⎭ IP μ ∈ X¯ ± z1−α/2 √ n Dies ergibt die sogenannten Z-Konfidenzschranken für μ. Vor der Berechnung muss man sich überlegen, ob man μ nur nach unten, nur nach oben oder beidseitig abschätzen will. Im ersten Fall √ berechnet man die untere Konfidenzschranke X¯ − z1−α σ / n, im zweiten Konfi Fall die obere √ √ denzschranke X¯ +z1−α σ / n und im dritten Fall das Konfidenzintervall X¯ ± z1−α/2 σ / n . Das Konfidenzniveau ist jeweils 1 − α.

6.2 Student- und χ 2 –Konfidenzintervalle für μ bzw. σ 2 Nun betrachten wir den in der Praxis häufigeren Fall, dass sowohl μ als auch σ unbekannt sind. Ausgehend von den Z-Konfidenzschranken ersetzen wir nun die unbekannte Standardabweichung σ durch die Stichproben-Standardabweichung

1 n ¯ 2. S(X) = ∑ (Xi − X) n − 1 i=1 Wir betrachten also Konfidenzschranken für μ von der Form S(X) X¯ ± c √ , n und die Frage ist, wie man jetzt c wählen soll. Es ist S(X) = IP T (X, μ) > c , IP X¯ − c √ > μ n c = IP T (X, μ) < −c , IP X¯ + √ S(X) < μ n wobei T (X, μ) :=

X¯ − μ √ = Z(X, μ, S(X)). S(X)/ n

Wie wir gleich zeigen werden, hängt die Verteilung dieser Größe T (X, μ), die neben dem Datenvektor X noch den unbekannten Mittelwert μ enthält, nicht von (μ, σ ) ab und ist symmetrisch um Null.

6.2 Student- und χ 2 –Konfidenzintervalle für μ bzw. σ 2

61

Für Konfidenzschranken für σ machen wir einen multiplikativen Ansatz und betrachten obere bzw. untere Schranken der Form c · S(X). Es ist IP{cS(X) > σ }

= IP{S(X)/σ > 1/c},

IP{cS(X) < σ }

= IP{S(X)/σ < 1/c},

und auch diese Größe S(X)/σ hat eine von (μ, σ ) unabhängige Verteilung: Satz 6.1 (Gosset) Die Verteilungen der Zufallsvariablen T (X, μ) und S(X)/σ hängen nicht von (μ, σ ) ab. Genauer gesagt ist das Paar T (X, μ), S(X)/σ genauso verteilt wie Z1

1 n 2 ∑ Zi , n − 1 i=2

1 n 2 ∑ Zi n − 1 i=2

mit stochastisch unabhängigen, standardnormalverteilten Zufallsvariablen Z1 , Z2 , . . . , Zn .

Dieses Resultat wurde von dem englischen Statistiker W.S. Gosset, einem Angestellten der Guiness-Brauerei, Anfang des 20. Jahrhunderts entdeckt. Seine Arbeit erschien unter dem Pseudonym “Student”, da seine Arbeitgeber die Neugierde von Konkurrenzunternehmen fürchteten. Definition (Student- und Chiquadrat-Verteilungen) Seien Z1 , Z2 , Z3 , . . . unabhängige, standardnormalverteilte Zufallsvariablen, und sei k eine beliebige natürliche Zahl. (a) Die Verteilung von k

∑ Zi2

i=1

(χ 2 –Verteilung)

ist die Chiquadrat–Verteilung wird durch eine Dichtefunktion

mit k Freiheitsgraden und wird mit χk2 bezeichnet. Sie

]0, ∞[ x → Ck xk/2−1 e−x/2

2 das γ–Quantil dieser Verteilung. Das ist die eindeutige positive beschrieben. Für 0 < γ < 1 bezeichnet χk;γ

Zahl r mit χk2 ([0, r]) = γ. (b) Die Verteilung von

1 k+1 Z1 ∑ Zi2 k i=2

ist die Student-Verteilung (t-Verteilung) mit k Freiheitsgraden und wird mit tk bezeichnet. Sie wird durch eine Dichtefunktion R x → Dk (1 + x2 /k)−(k+1)/2 beschrieben und ist um Null symmetrisch. Für 0 < γ < 1 bezeichnet tk;γ das γ-Quantil dieser Verteilung. Das heißt, tk −∞,tk;γ = γ.

62


0.4

0.35

0.3

0.25

0.2

0.15

0.1

0.05

0 -6

-4

-2

0

2

4

6

Abbildung 6.1: Dichtefunktionen der Student-Verteilungen t1 , t2 , t5 und t∞ .

Die oben genannten Wahrscheinlichkeitsdichten und exakte Ausdrücke für die Normierungskonstanten werden in den Übungen hergeleitet. Abbildung 6.1 zeigt die Graphen der Dichtefunktionen von t1 , t2 , t5 und N (0, 1) (“t∞ ”). Der Wert der Dichtefunktion von tk an der Stelle Null ist monoton wachsend in k. Die Dichtefunktion von χ12 hat einen Pol an der Stelle Null. Die Graphen der Dichtefunktionen von χ22 , χ32 , χ42 , χ52 sind in Abbildung 6.2 dargestellt. Satz 6.1 impliziert einseitige Konfidenzschranken sowie Konfidenzintervalle für μ und σ . Denn

S(X) IP μ ≤ X¯ + tn−1;1−α √ n S(X) IP μ ≥ X¯ − tn−1;1−α √ n S(X) ¯ √ IP μ ∈ X ± tn−1;1−α/2 n

⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎭

= 1 − α,

6.2 Student- und χ 2 –Konfidenzintervalle für μ bzw. σ 2

63

0.5

0.45

0.4 2 2

0.35

0.3

0.25 2 3

0.2

2 4

0.15

2 5

0.1

0.05

0

0

1

2

3

4

5

6

7

8

9

10

Abbildung 6.2: Dichtefunktionen der Chiquadrat-Verteilungen χ22 , χ32 , χ42 und χ52 .

und

IP σ ≤ S(X)

IP σ ≥ S(X)

IP σ ∈ S(X)

n−1

n−1 2 χn−1;α n−1

2 χn−1;1−α

2 χn−1;1−α/2

, S(X)

⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ n−1 ⎪ ⎪ ⎪ ⎭ 2

= 1 − α.

χn−1;α/2

Beispiel (3.2, Forts.) Für die Michelson-Daten ist n = 100, X¯ = 852.4 und S(X) = 79.01. Für α = 0.05 ergeben sich die Hilfsgrößen

t99;0.975 99 99 √ = 0.198, = 0.878 und = 1.162. 2 2 χ99;0.975 χ99;0.975 100 Dies ergibt das 95 %–Konfidenzintervall 299852.4 ± 0.198 · 79.01 = [299836.72, 299868.08] für die Lichtgeschwindigkeit μ, nachdem man wieder den Wert 299000 addierte. Für σ ergibt sich das 95 %–Konfidenzintervall 79.01 · 0.878, 79.01 · 1.162 = [69.37, 91.78].

64


Wie auch in Abschnitt 4.3 erhalten wir ein Konfidenzintervall, welches den heute bekannten Wert c der Lichtgeschwindigkeit nicht enthält. Beispiel (3.1, Forts.) In Kapitel 4 berechneten wir für die SIDS-Daten die obere Konfidenzschranke X(31) = 3062 für μ mit Konfidenzniveau 0.95. Unter der Normalitätsannahme ist X¯ + (48)−1/2 S(X)t47;0.95 = 3042.1 eine obere 0.95-Konfidenzschranke für μ. Das Geburtsgewicht in der Population aller Neugeborenen ist erfahrungsgemäß normalverteilt mit Mittelwert μo ≈ 3300 und Standardabweichung σo ≈ 800 (jeweils in Gramm). Interessanterweise ist in der Population der SIDS-Kinder die Standardabweichung σ des Geburtsgewichts signifikant kleiner als σo , denn eine obere 95 %–Konfidenzschranke für σ ist

47 S(X) = 752.36. 2 χ47;0.05 Beweis (Satz 6.1) Mit Zi := (Xi − μ)/σ ist Xi = μ + σ Zi , und die Komponenten von Z = (Zi )ni=1 sind unabhängig und standardnormalverteilt. Mit dem Mittelwert Z¯ der Stichprobe Z ist X¯ = μ + σ Z¯ und S(X) = σ S(Z), denn Stichprobenmittelwert und –standardabweichung sind Lage– beziehungsweise Skalenparameter. Folglich ist S(X)/σ = S(Z) und √ √ ¯ −μ n (μ + σ Z) n Z¯ = = T (Z, 0). T (X, μ) = σ S(Z) S(Z) Dies zeigt bereits, dass die Verteilung sowohl von T (X, μ) als auch von S(X)/σ nicht von (μ, σ ) abhängt. Nun verwenden wir die Rotationsinvarianz von standardnormalverteilten Vektoren: Sei B ∈ Rn×n eine orthonormale Matrix, das heißt B B = BB = In . Beispiele sind Matrizen für Drehungen und Spiegelungen. Dann hat der Zufallsvektor Z = (Zi )ni=1 die gleiche Verteilung wie Y = (Yi )ni=1 := B Z. Auf diese Eigenschaft werden wir in Kapitel 11 noch zurückkommen. Wir wählen speziell eine orthonormale Matrix der Form ⎞ ⎛ n−1/2 b12 · · · b1n ⎜n−1/2 b · · · b2n ⎟ ⎟ ⎜ 22 B = ⎜ .. ⎟ . . .. ⎟ = (b1 , b2 , . . . , bn ). ⎜ . . . ⎝ . . ⎠ . n−1/2 bn2 . . . bnn Mit anderen Worten, wir wählen eine Orthonormalbasis b1 , b2 , . . . , bn des Rn derart, dass b1 der konstante Vektor (n−1/2 , n−1/2 , . . . , n−1/2 ) ist. Dann ist Y1 = (B Z)1 =

n

∑ n−1/2 Zi

=

√

¯ n Z,

i=1

und

n

¯ 2 ∑ (Zi − Z)

i=1

=

n

∑ Zi2 − nZ¯ 2

i=1

= Z Z −Y12 = Y Y −Y12 =

n

∑ Yi2 ,

i=2

denn Z Z = (BY) (BY) = Y (B B)Y = Y Y. Folglich ist

1 n 2 1 n 2 S(X) Yi und T (X, μ) = Y1 = ∑ ∑ Yi . σ n − 1 i=2 n − 1 i=2

6.3 Abweichungen von der Normalitätsannahme

65

6.3 Abweichungen von der Normalitätsannahme Eine wichtige Frage ist, inwiefern die Student- und Chiquadrat-Methoden aus dem vorigen Abschnitt zuverlässig sind, wenn P keine Normalverteilung ist. In diesem Abschnitt nehmen wir an, dass P eine beliebige Verteilung mit Mittelwert μ und Varianz σ 2 ∈ ]0, ∞[ ist. Zuverlässigkeit der t–Verfahren. Aus dem Gesetz der Großen Zahlen und dem Zentralen Grenzwertsatz 3.1 kann man ableiten, dass lim IP {T (X, μ) ≤ r} = Φ(r)

n→∞

für beliebige r ∈ R. Insbesondere folgt hieraus, dass lim tn−1;γ = zγ

n→∞

für 0 < γ < 1,

und die tatsächliche Wahrscheinlichkeit, dass μ in einem Student-Konfidenzintervall mit nominellem Konfidenzniveau 1 − α liegt, konvergiert gegen 1 − α für n → ∞. Dies bleibt auch richtig, wenn man die t-Quantile tn−1;γ einfach durch die Quantile zγ der Standardnormalverteilung ersetzt. In diesem approximativen Sinne kann man den t-Konfidenzintervallen also trauen, selbst wenn P keine Normalverteilung ist! Unzuverlässigkeit der χ 2 –Verfahren. Im Falle der Chiquadrat-Konfidenzschranken für σ 2 gibt es leider kein analoges Resultat, sondern die Überdeckungswahrscheinlichkeit kann bei Verletzung der Normalitätsannahme beliebig weit vom nominellen Konfidenzniveau 1 − α abweichen. Genauer gesagt sei & & (X − μ)2 IE((X1 − μ)4 ) 1 = τ := Var − 1. σ2 σ4 √ Im Falle von 0 < τ < ∞ ist die Zufallsgröße n log(S(X)/σ ) approximativ für n → ∞ nach N (0, τ 2 /4) verteilt. Auch dies folgt aus dem Gesetz der Großen Zahlen, dem Zentralen Grenzwertsatz und einer einfachen Taylorentwicklung. Im Falle von P = N (μ, σ 2 ) ist τ 2 = 2. Doch allgemein kann τ 2 beliebige Werte in [0, ∞] annehmen. Ein möglicher Ausweg besteht darin, die χ 2 –Konfidenzschranken

n−1 S(X) 2 χn−1;γ für σ durch

τ'z γ S(X) exp √ 2 n

zu ersetzen, wobei

τ' :=

¯ 4 ∑ni=1 (Xi − X) − 1. (n − 1)S(X)4

66


Normalverteilungsplots (normal probability plots). Eine naheliegende Frage ist, ob und wie man die Normalverteilungsannahme überprüfen kann. Einen exakten statistischen Test hierfür werden wir in Kapitel 8 behandeln. Hier beschreiben wir eine graphische Methode, mit deren Hilfe man oftmals Abweichungen von der Normalverteilung erkennt. Unter der Annahme, dass P = N (μ, σ 2 ), kann man schreiben Xi = μ + σ Zi mit unabhängigen, nach N (0, 1) verteilten Zufallsvariablen Zi := (Xi − μ)/σ . Desweiteren kann man schreiben Zi = Φ−1 (Ui ) mit Ui := Φ(Zi ). Diese Variablen Ui sind uniform verteilt auf [0, 1], das heißt, IP{Ui ≤ r} = r

für 0 ≤ r ≤ 1.

Die Transformation u → μ + σ Φ−1 (u) ist streng monoton wachsend. Aus den Ordnungsstatistiken U(i) der Variablen Ui werden also die Ordnungsstatistiken X(i) der Variablen Xi . Doch aus der Stochastik ist bekannt, dass IE(U(i) ) =

i n+1

und

Var(U(i) ) =

IE(U(i) )(1 − IE(U(i) )) 1 ≤ . n+2 4(n + 2)

Für großes n ist also U(i) ≈ i/(n + 1) und X(i) ≈ μ + σ Φ−1 (i/(n + 1)). Daher sollten die Punkte

Φ−1

i , X(i) n+1

in etwa auf einer Geraden mit y-Achsenabschnitt μ und Steigung σ liegen. Die Menge dieser Punkte, i Φ−1 , X(i) : i = 1, 2, . . . , n , n+1 ist der Normalverteilungsplot der Stichprobe X. Manche Autoren empfehlen Φ−1

i − 1/3 n + 1/3

¯ anstelle von Φ−1 (i/(n+1)). Man kann auch Xi durch den sogenannten Z-score (Xi − X)/S(X) ersetzen. Auf diese Weise erhält man einen Normalverteilungsplot, der gegenüber affinen Transformationen der Daten invariant ist. Um in spezifischen Fällen ein Gefühl für das typische Aussehen eines Normalverteilungsplots zu bekommen, kann man zu dem gegebenen Stichprobenumfang n mehrere Stichproben aus einer Standardnormalverteilung simulieren und die entsprechenden Normalverteilungsplots mit demjenigen für X vergleichen. Beispiel (3.2, Forts.) Abbildung 6.3 zeigt den Normalverteilungsplot für die Michelson-Daten. Man erkennt gewisse Rundungsfehler, aber dennoch liegen die Punkte in etwa auf einer Geraden. Beispiel (3.1, Forts.) Wie schon gesagt, sollte man im Zweifelsfalle den Normalverteilungsplot eines Datenvektors X ∈ Rn mit Normalverteilungsplots von simulierten Datenvektoren mit n unabhängigen und standardnormalverteilten Komponenten vergleichen. Abbildung 6.4 zeigt den Normalverteilungsplot der SIDS-Daten (n = 48) sowie

67

700

800

900

1000

6.3 Abweichungen von der Normalitätsannahme

-2

-1

0

1

2

Abbildung 6.3: Normalverteilungsplot für Beispiel 3.2.

die Normalverteilungsplots von 3 simulierten Datenvektoren aus R48 . Der Leser sollte vor dem Weiterlesen versuchen, den Plot für die Orginaldaten zu finden. Die vertikale Achse wurde bewusst nicht beschriftet, so dass man sich nur auf die Form der Normalverteilungsplots konzentriert. Das Original befindet sich rechts oben. Wenn man genau hinschaut, erkennt man auch hier das Original anhand von Rundungsfehlern. Dennoch erscheint hier die Normalitätsannahme recht plausibel.

Q-Q-Plots. Was passiert mit dem Normalverteilungsplot, wenn man den Stichprobenumfang n beliebig groß werden lässt? Seien F und F −1 die Verteilungs- und Quantilfunktion der Verteilung P. Für n → ∞ nähert sich der Normalverteilungsplot der Menge

Φ−1 (u), F −1 (u) : u ∈ ]0, 1[

an. Dies ist der sogenannte Q-Q-Plot von N (0, 1) versus P. Diese Tatsache kann man damit begründen, dass X genauso verteilt ist wie (F −1 (Ui ))ni=1 , wobei U1 ,U2 , . . . ,Un unabhängige, auf [0, 1] uniform verteilte Zufallsvariablen sind. Um diesen Grenzübergang zu illustrieren zeigen wir in Abbildung 6.5 den Normalverteilungsplot für simulierte Daten mit Verteilung P = χ72 und Stichprobenumfänge n = 20, 40, 100, 500. Ein Ausschnitt des entsprechenden Q-Q-Plots von N (0, 1) versus χ72 wird in Abbildung 6.6 gezeigt.

68


Abbildung 6.4: Normalverteilungsplot der SIDS-Daten, versteckt unter drei simulierten Datensätzen.

6.4 Übungsaufgaben Aufgabe 6.1 Berechnen Sie für den Datensatz ‘SIDS weight.txt’ (Geburtsgewichte von SIDS-Kindern in Gramm) ein zweiseitiges 95%–Konfidenzintervall für den Mittelwert μ unter der Voraussetzung, dass die Werte Xi unabhängig und nach N (μ, 8002 ) verteilt sind. (Der Wert 800 ist die Standardabweichung der Geburtsgewichte aller Neugeborenen.) Aufgabe 6.2 (Chiquadrat- und Gamma-Verteilungen) (a) Sei Z eine standardnormalverteilte Zufallsvariable. Zeigen Sie, dass 1 IP{Z 2 /2 ≤ r} = √ π

( r 0

y−1/2 e−y dy

69

2

4

5

6

10

8

10

15

12

20

14

16

25

6.4 Übungsaufgaben

-1.0

-0.5

0.0

0.5

1.0

1.5

-2

-1

0

1

2

0

5

5

10

10

15

15

20

20

-1.5

-2

-1

0

1

2

-3

-2

-1

0

1

2

3

Abbildung 6.5: Normalverteilungsplots von Stichproben aus χ72 für n = 20 (links oben), n = 40 (rechts oben), n = 100 (links unten) und n = 500 (rechts unten). √ für r > 0. Folglich ist Z 2 /2 Gamma-verteilt mit Parameter 1/2, und Γ(1/2) = π; siehe Aufgabe 3.10. (b) Seien Z1 , Z2 , . . . , Zk stochastisch unabhängige, standardnormalverteilte Zufallsvariablen. Zeigen Sie mithilfe von Teil (a) und Aufgabe 3.10, dass k IP ∑ Zi2 ≤ r = i=1

1 Γ(k/2)

( r/2 0

yk/2−1 e−y dy.

Bestimmen Sie nun einen präzisen Ausdruck für die Dichtefunktion der Chiquadrat-Verteilung mit k Freiheitsgraden, indem Sie die rechte Seite nach r ableiten. Aufgabe 6.3 (Dichten der Student–Verteilungen) Die Student-Verteilung tk beschreibt die Verteilung von (2Y /k)−1/2 Z mit unabhängigen Zufallsvariablen Z ∼ N (0, 1) und Y ∼ Gamma(k/2). Dabei bezeichnet Gamma(k/2) die Verteilung mit Dichtefunktion


0

5

10

15

20

25

70

-3

-2

-1

0

1

2

3

Abbildung 6.6: Q-Q-Plot von N (0, 1) versus χ72 . y → Γ(k/2)−1 yk/2−1 e−y auf ]0, ∞[; siehe Aufgabe 3.10. Für die Verteilungsfunktion Fk von tk ergibt sich daraus die Formel Fk (r)

=

IP{(2Y /k)−1/2 Z ≤ r} = IP{Z ≤ (2Y /k)1/2 r}

=

Γ(k/2)−1

=

Γ(k/2)−1

( ∞ 0

( ∞ 0

IP{Z ≤ (2y/k)1/2 r}yk/2−1 e−y dy Φ((2y/k)1/2 r)yk/2−1 e−y dy.

Differenzieren Sie nun die linke und rechte Seite der vorangehenden Gleichung nach r (wobei man hier Integration und Differentiation vertauschen darf), um die Dichtefunktion fk von tk zu ermitteln. Aufgabe 6.4 Berechnen Sie für den Datensatz ‘Wax.txt’ (Aufgabe 2.3) ein zweiseitiges 95%–Konfidenzintervall für den Mittelwert μ, unter der Annahme normalverteilter Daten. Berechnen Sie ferner ein zweiseitiges 95%– Konfidenzintervall für die Standardabweichung σ . Halten Sie hier die Normalitätsannahme für plausibel? Aufgabe 6.5 Zeigen Sie, dass die Chiquadratverteilung mit k Freiheitsgraden Mittelwert k und Varianz 2k hat. (Hinweis: Aufgabe 3.7.) Stellen Sie die Dichten von χk2 und N (k, 2k) graphisch dar für k = 5, 20, 50.

6.4 Übungsaufgaben

71

Aufgabe 6.6 Das Intervall [X¯ ± 1.96 σ n−1/2 ] ist ein Konfidenzbereich mit Konfidenzniveau 0.95 für den Mittelwert μ im Falle von unabhängigen, nach N (μ, σ 2 ) verteilten Daten. Bei unbekannter Standardabweichung σ verwenden viele Praktiker das Intervall X¯ ± 2S(X)n−1/2 . Für welche Werte von n enthält dieses Intervall den Wert μ mit Wahrscheinlichkeit mindestens 0.95? Hinweis: Verwenden Sie die Tatsache, dass tk;γ als Funktion von k monoton fallend ist, wenn 1/2 < γ < 1. Aufgabe 6.7 Zeigen Sie, dass für die Gaußsche Fehlerfunktion Φ folgende Ungleichung gilt: 1 − Φ(r) ≤

exp(−r2 /2) 2+r

für alle r ≥ 0.

Bestimmen Sie die maximale Abweichung beider Seiten. Aufgabe 6.8 Wie könnte man die Annahme, dass die Komponenten von X exponentialverteilt sind, graphisch überprüfen? Die Annahme bedeutet, dass IP{Xi ≥ r} = exp(−r/λ ) für r ≥ 0 mit einem unbekanntem Parameter λ > 0. Hinweis: Ist U uniform verteilt auf [0, 1], dann ist −λ log(1 − U) exponentialverteilt mit Parameter λ . Gehen Sie nun genauso wie im Falle der Normalverteilungsplots vor. Probieren Sie Ihre Methode an simulierten Daten oder dem Datensatz ‘CoalMine.txt’ aus. Letzterer enthält in der Variable ‘interval’ die Zeitspannen (in Tagen) zwischen aufeinanderfolgenden Grubenunglücken in England. Ein sehr einfaches Modell führt zu unabhängigen, exponentialverteilten Zeitspannen (gerundet).

7 Dichteschätzung In diesem Kapitel betrachten wir unabhängige, identisch verteilte Zufallsvariablen X1 , X2 , . . . , Xn mit Wertebereich R und Verteilung P, die durch eine unbekannte Dichtefunktion f beschrieben wird. Diese Dichtefunktion möchten wir mit Hilfe der Daten schätzen, also zu jedem x ∈ R einen Schätzwert f(x) = f(x, X) für f (x) berechnen. Die Qualität eines Dichteschätzers an der Stelle x quantifizieren wir durch die Wurzel aus dem mittleren quadratischen Fehler (root mean squared error) 2 RMSE(x) := IE f(x) − f (x) . Aus der bekannten Formel IE(Y 2 ) = IE(Y )2 + Var(Y ) folgt, dass RMSE(x) =

Bias(x)2 + SD(x)2

mit Bias(x) := IE( f(x)) − f (x) (Bias/Verzerrung von f(x)), Var( f(x)) (Standardabweichung von f(x)). SD(x) := Die empirische Verteilung P ist ein unverzerrter Schätzer von P in dem Sinne, dass IE(P(B)) = P(B) für beliebige Mengen B. Für die Dichtefunktion f gibt es definitiv keinen unverzerrten Schätzer, sondern man muss versuchen, die beiden Fehlerquellen Bias2 und SD2 zu balancieren. Typischerweise verursacht eine Verringerung des Bias eine Zunahme der Standardabweichung, und umgekehrt.

7.1 Die Präzision von Histogrammdichten Für einen festen Offset a ∈ R und eine Intervalllänge h > 0 betrachten wir die Intervalle Ia,h,z := ]a + zh − h, a + zh]

(z ∈ Z)

und definieren a,h,z ) P(I f(x) = fa,h (x) := h

für x ∈ Ia,h,z .

74

7 Dichteschätzung

Für diesen Dichteschätzer ist Bias(x) = = SD(x)2

= =

P(Ia,h,z ) 1 a+hz f (y) dy − f (x) − f (x) = h h a+hz−h 1 a+hz ( f (y) − f (x)) dy, h a+hz−h a,h,z )) Var(P(I P(Ia,h,z )(1 − P(Ia,h,z )) = h2 nh2 IE( f(x)) 1 − h IE( f(x)) . nh

In der Regel ist Bias(x)2 umso kleiner und SD(x)2 umso größer, je kleiner die Bandweite h ist. Beispiel 7.1 Die Abbildungen 7.1 und 7.2 illustrieren den zuletzt beschriebenen Sachverhalt. Dabei betrachten wir jeweils zwei simulierte Datensätze mit n = 500 Beobachtungen. Jede Abbildung zeigt für Offset a = 0 und eine bestimmte Intervalllänge h > 0 auf der linken Seite die entsprechenden Histogramme der beiden Stichproben. Die zugrundeliegende Dichtefunktion f wird durch eine graue Linie angedeutet. Auf der rechten Seite sieht man oben den entsprechenden Erwartungswert, x → IE( f(x)). Rechts unten werden x → SD(x) (hellere Teilfläche, Treppenfunktion) sowie x → RMSE(x) (Gesamtfläche) dargestellt. Man sieht deutlich, dass für große Intervalllängen h der Fehler RMSE(x) in erster Linie durch den systematischen Fehler Bias(x) verursacht wird. Hingegen kommt er bei kleinen Werten von h vor allem durch die Standardabweichung SD(x) zustande.

Theoretische Analyse. Der folgende Satz liefert explizite Ungleichungen für Bias(x), SD(x) und RMSE(x) unter gewissen Regularitätsannahmen an f . Satz 7.1 Sei f die Histogrammdichtefunktion fa,h . Angenommen, f ist differenzierbar mit f ≤ M0 und | f | ≤ M1 . Dann ist M 2 h2 M0 und SD(x)2 ≤ . Bias(x)2 ≤ 1 4 nh Im Falle von h = Cn−1/3 für eine Konstante C > 0 ist insbesondere

−1/3 RMSE(x) ≤ Cn mit C :=

M12C2 /4 + M0 /C.

Für den Schätzfehler f(x) − f (x) ergibt sich also bei geeigneter Intervalllänge h die Größenordnung Op (n−1/3 ), und unter den genannten Bedingungen kann man tatsächlich nicht mehr erwarten. Grob gesagt bedeutet dies, dass man den Stichprobenumfang n verachtfachen muss, um den Schätzfehler zu halbieren. Für eine Verringerung des Fehlers um den Faktor 10 benötigt man gar 1000 n anstelle von n Beobachtungen.

7.1 Die Präzision von Histogrammdichten

75

Abbildung 7.1: Zwei Histogramme f, IE( f), SD und RMSE für h = 0.4. Beweis (Satz 7.1) Nach dem Mittelwertsatz der Differentialrechnung ist | f (y) − f (x)| ≤ M1 |x − y| für beliebige x, y ∈ R. Folglich ist |Bias(x)|

≤ ≤ ≤ =

Ferner ist IE( f(x)) = h−1

a+hz

a+hz−h

1 a+hz | f (y) − f (x)| dy h a+hz−h M1 a+hz |y − x| dy h a+hz−h h M1 s ds h 0 M1 h . 2

f (y) dy ≤ M0 , also SD(x)2 ≤

IE( f(x)) M0 ≤ . nh nh

76

7 Dichteschätzung

Abbildung 7.2: Zwei Histogramme f, IE( f), SD und RMSE für h = 1.0. Die Ungleichung für RMSE(x) im Falle von h = Cn−1/3 ergibt sich einfach durch Einsetzen dieser Schranken.

7.2 Von Histogrammen zu Kernschätzern Nun leiten wir eine andere Klasse von Dichteschätzern her. Überlegung 1. Betrachtet man Beispiele für die Funktion x → RMSE(x) im Falle des Histogrammschätzers f = fa,h , so fällt auf, dass sie oft an den Rändern der Intervalle Ia,h,z besonders große Werte annimmt. Möchte man also an einer bestimmten Stelle x den Wert f (x) mithilfe eines Histogramms schätzen, so sollte man dafür sorgen, dass x der Mittelpunkt eines entsprechenden Intervalls ist. Diese Überlegung führt zu dem Schätzer fh (x) := fx−h/2,h (x).

7.2 Von Histogrammen zu Kernschätzern

77

Dies kann man auch wie folgt schreiben: fh (x) = = =

h 1 n 1 h 1 x − < Xi ≤ x + ∑ n i=1 h 2 2 1 x − Xi 1 1 n 1 1 − ≤ < ∑h n i=1 2 h 2 n x − Xi 1 1 ∑hR h , n i=1

wobei R(y) := 1{−1/2 ≤ y < 1/2}. Daher handelt es sich bei fh um einen Kerndichteschätzer im Sinne der folgenden Definition. Definition (Kerndichteschätzer) Sei K : R → [0, ∞[ eine Wahrscheinlichkeitsdichtefunktion. Der Kerndichteschätzer (kernel density estimator) mit Kernfunktion K und Bandweite h > 0 ist definiert als die Funktion fh = fh (·, X) mit 1 n fh (x) = fh (x, X) := ∑ Kh (x − Xi ). n i=1 Dabei ist Kh eine reskalierte Version der Kernfunktion K, nämlich 1 y . Kh (y) := K h h

Überlegung 2. Bei der Verwendung von Histogrammfunktionen fa,h stellt sich das Problem, geeignete Parameter a ∈ R und h > 0 zu wählen. Wie sollte man bei fester Bandweite h den Offset-Parameter a wählen? In der Tat können unterschiedliche Werte von a zu sehr unterschiedlichen Histogrammfunktionen führen. Ein naheliegender Vorschlag ist, über alle möglichen Werte von a zu mitteln. Also betrachten wir 1 fh (x) := h

b b−h

fa,h (x) da

für eine beliebige reelle Zahl b. Wegen fa±h,h = fa,h hat die Auswahl von b keinen Einfluss auf diese Definition. Nun kann man zeigen, dass diese Funktion fh identisch ist mit dem Kerndichteschätzer basierend auf dem Dreieckskern Δ mit Bandweite h. Diese Tatsache ist Gegenstand von Aufgabe 7.1. Eigenschaften und Beispiele. Mit K sind auch Kh und fh für beliebige Bandweiten h > 0 Wahrscheinlichkeitsdichten. Im Falle einer stetigen Kernfunktion K ist auch fh eine stetige Funktion. Hier drei Beispiele für die Kernfunktion K ≥ 0: Rechteckskern R mit R(y) := 1{−1/2 ≤ y < 1/2}.

78

7 Dichteschätzung

Dreieckskern Δ mit

Δ(y) := max(1 − |y|, 0).

Gaußkern φ mit

y2 1 φ (y) := √ exp − . 2 2π

Die Kernschätzer fh mit dem Gaußkern φ haben auch eine physikalische Interpretation: Man stelle sich die reelle Achse als eine unendlich lange und dünne Stange aus wärmeleitfähigem Material vor. Zum Zeitpunkt Null wird jeder Punkt Xi auf eine bestimmte Temperatur aufgeheizt, während die Umgebung vollkommen kalt ist. Nun überlässt man das System sich selbst. Misst man die absolute Temperatur und die Zeit in geeigneten Einheiten, dann gibt fh (x) die Temperatur an der Stelle x zum Zeitpunkt h an.

7.3 Die Präzision von Kernschätzern Wie schon im Falle der Histogrammschätzer sind auch hier Bias(x)2 tendenziell umso kleiner und SD(x)2 umso größer je kleiner die Bandweite h ist. Da die Zufallsvariablen X1 , X2 , . . . , Xn identisch verteilt sind, ist fh (x) das arithmetische Mittel der unabhängigen, identisch verteilten Zufallsvariablen Kh (x − Xi ), 1 ≤ i ≤ n. Dies impliziert, dass IE fh (x) = IE Kh (x − X1 ) ∞ 1 x−z = K f (z) dz h −∞ h =

∞

−∞

K(s) f (x − hs) ds.

(7.1)

Dabei verwendeten wir die Transformation s = s(z) = (x − z)/h mit ds = −dz/h und z = x − hs. Für den Bias von f = fh ergibt sich daraus die Formel Bias(x) =

∞ −∞

K(s) f (x − hs) − f (x) ds.

(7.2)

Ferner ist SD(x)2

= = = = =

1 Var Kh (x − X1 ) n 2 1 IE Kh (x − X1 )2 − IE fh (x) n ∞ 2 1 2 Kh (x − z) f (z) dz − IE fh (x) n −∞ ∞ 2 1 1 x − z 2 K f (z) dz − IE fh (x) n −∞ h2 h ∞ 2 1 2 K(s) f (x − hs) ds − h IE fh (x) . nh −∞

(7.3)

7.3 Die Präzision von Kernschätzern

79

Ausgehend von diesen Formeln kann man nun diverse Ungleichungen und Approximationen für Bias und Standardabweichung von Kernschätzern angeben. Zunächst betrachten wir die Standardabweichung von fh (x), dann den entsprechenden Bias: Satz 7.2 Sei f der Kerndichteschätzer fh mit Kernfunktion K und Bandweite h > 0, wobei CSD :=

∞ −∞

K(y)2 dy < ∞.

Die Dichtefunktion f sei stetig und nach oben beschränkt durch eine Konstante M0 . Dann ist SD(x)2 ≤

CSD M0 nh

und

SD(x)2 =

CSD f (x) + r(x, h) , nh

wobei limh↓0 r(x, h) = 0. Satz 7.3 Unter den Voraussetzungen von Satz 7.2 sei ∞ −∞

yK(y) dy = 0

und CB := 2−1

∞ −∞

y2 K(y) dy < ∞.

Ferner sei die Dichtefunktion f zweimal stetig differenzierbar mit | f | ≤ M2 . Dann ist |Bias(x)| ≤ CB M2 h2

und

Bias(x) = (CB f (x) + r(x, h))h2 ,

wobei limh↓0 r(x, h) = 0.

Man kann nun Satz 7.2 und 7.3 kombinieren, um den mittleren quadratischen Fehler von fh abzuschätzen: Korollar 7.4 Unter den Voraussetzungen von Satz 7.2 und 7.3 sei die Bandweite h gleich Cn−1/5 mit einer Konstante C > 0. Dann ist

−2/5 , RMSE(x) ≤ Cn wobei C := CB2 M22C4 +CSD M0 /C.

Wir erhalten also im Falle einer hinreichend glatten Dichtefunktion f einen Schätzer mit Konvergenzrate Op (n−2/5 ), was deutlich besser ist als Op (n−1/3 ). Beispiel 7.2 Zur Illustration der vorangehenden Überlegungen und zum Vergleich mit den Histogrammschätzern betrachten wir erneut zwei simulierte Datensätze mit jeweils n = 500 Beobachtungen. Die Abbildungen 7.3 und 7.4 zeigen jeweils für eine bestimmte Bandweite h > 0 folgende Funktionen: Auf der linken Seite sieht man die Kernschätzer der beiden Stichproben mit Dreieckskern Δ. Auf der rechten Seite sieht man oben den entsprechenden Erwartungswert, x → IE( f(x)). Rechts unten werden x → SD(x) (hellere Teilfläche) sowie x → RMSE(x) (Gesamtfläche) gezeichnet. Auch hier zeigt sich, dass der Fehler RMSE(x) für große Bandweiten h in erster Linie durch den systematischen Fehler Bias(x) verursacht wird, bei kleinen Werten von h vor allem durch die Standardabweichung

80

7 Dichteschätzung

SD(x) zustandekommt. Bemerkenswert ist, dass auch im Falle von h = 1 die Schätzer noch korrekt andeuten, dass die zugrundeliegende Dichtefunktion f zwei lokale Maxima hat. Bei Histogrammen mit dieser Intervalllänge wird diese Struktur nicht mehr entdeckt.

Abbildung 7.3: Zwei Kernschätzer f, IE( f), SD und RMSE für h = 0.4.

Beweis (Satz 7.2) Offensichtlich ist die rechte Seite der Gleichung (7.3) nicht größer als 1 nh

∞ −∞

K(s)2 f (x − hs) ds ≤

M0CSD nh

und nach (7.1) nicht kleiner als 1 nh Ferner ist lim

∞ −∞

∞

h↓0 −∞

K(s)2 f (x − hs) ds − hM02 .

K(s)2 f (x − hs) ds = CSD f (x)

7.3 Die Präzision von Kernschätzern

81

Abbildung 7.4: Zwei Kernschätzer f, IE( f), SD und RMSE für h = 1.0. nach dem Satz von der majorisierten Konvergenz. Denn der Integrand ist beschränkt durch K(s)2 M0 , und limh↓0 f (x − hs) = f (x) für beliebige s ∈ R. Beweis (Satz 7.3) Den Integranden in der Formel (7.2) für Bias(x) kann man nach der Taylorformel schreiben als f (x − hs) − f (x) = − f (x)hs +

f (ξ ) 2 2 h s 2

mit einer geeigneten Zwischenstelle ξ = ξ (x, hy) im Intervall [x ± hs]. Folglich ist Bias(x)

=

− f (x)h

=

h2 2

∞ −∞

∞ −∞

K(s)s ds +

h2 2

∞ −∞

K(s)s2 f (ξ (x, hs)) ds

K(s)s2 f (ξ (x, hs)) ds.

Insbesondere ist |Bias(x)| ≤

h2 2

∞ −∞

K(s)s2 M2 ds = CB M2 h2 ,

82

7 Dichteschätzung

und aus dem Satz von der majorisierten Konvergenz folgt, dass lim

∞

h↓0 −∞

K(s)s2 f (ξ (x, hs)) ds = 2CB f (x).

Anmerkung. Ein Haken an all den vorangegangenen Resultaten ist, dass man in konkreten Anwendungen bei festem n nicht genau weiß, wie man die Bandweite h wählen sollte. Es gibt eine Vielzahl von Vorschlägen für eine datenabhängige Wahl von h = h(X). Desweiteren kann man h sogar ortsabhängig wählen, also f(x) = fh(x,X) (x, X) berechnen. Eine andere Möglichkeit besteht darin, die Bandweite gleich IQR(X)hn zu setzen, wobei hn mit Hilfe numerischer Rechnungen oder Monte-Carlo-Simulationen so gewählt wird, dass man beispielsweise im Falle einer Normalverteilungsdichte f besonders gute Resultate erhält. Da jedoch alle diese Vorschläge auf nicht verifizierbaren Annahmen an f beruhen, sollte man die Kernschätzer eher als Werkzeug zur Visualisierung von Daten betrachten und verschiedene Bandweiten einsetzen, um einen Eindruck von der Verteilung der Datenpunkte zu bekommen. Berechnung/Darstellung von Kernschätzern. Die explizite Berechnung von fh an einer einzelnen Stelle x ist recht einfach. Schwieriger wird es, wenn man die ganze Funktion fh berechnen beziehungsweise graphisch darstellen möchte. Hierfür gibt es je nach Kernfunktion K unterschiedliche Optionen. Zum Beispiel ist fh im Falle des Gaußkernes K = φ eine glatte Funktion. Man kann sie also an einigen Stützstellen ausrechnen und interpolieren. Nun beschreiben wir eine spezielle Methode, um fh im Falle des Dreieckskerns Δ exakt zu berechnen und darzustellen. Jeder Summand Δ((x − Xi )/h)/(nh) von fh (x) ist eine stetige und stückweise lineare Funktion von x mit Ecken an den Stellen Xi − h, Xi , Xi + h. Also ist fh eine stetige und stückweise lineare Funktion, deren Eckenmenge in {Xi − h, Xi , Xi + h : 1 ≤ i ≤ n} enthalten ist. Bezeichnen wir mit y1 < y2 < . . . < ym die m ≤ 3n verschiedenen Punkte der letzteren Menge, dann ist fh = 0 auf ]−∞, y1 ] ∪ [ym , ∞[, und es genügt, fh (y j ) für 1 < j < m zu berechnen. Andere Werte erhält man durch lineare Interpolation. Für die Berechnung von ( fh (y j ))mj=1 beschreiben wir nun ein Verfahren, welches auf der Ableitung von fh beruht und bei gegebenem (y j )m und (X(i) )n nur O(n) Schritte benötigt. Die j=1

linksseitige Ableitung von fh an der Stelle x ist lim x↑y

fh (y) − fh (x) y−x

= = = =

i=1

1 n Δh ((y − Xi )/h) − Δh ((x − Xi )/h) lim ∑ n i=1 x↑y (y − x)h n 1 1 1{Xi − h < y ≤ Xi } − 1{Xi < y ≤ Xi + h} ∑ 2 n i=1 h 1 n − h < y} − 2{X < y} + 1{X + h < y} 1{X i i i ∑ nh2 i=1 1 D(y) nh2

7.4 Übungsaufgaben

83

mit D(y) := #{i : X(i) − h < y} − 2#{i : X(i) < y} + #{i : X(i) + h < y}. Also ist fh (y1 ) = 0, fh (y j ) =

D(y j ) fh (y j−1 ) + (y j − y j−1 ) nh2

für j = 2, 3, . . . , m.

Bei gegebenem (D(y j ))mj=2 kann man also ( fh (y j ))mj=1 in O(n) Schritten berechnen.

:= (X(i) )n der Ordnungsstatistiken und y := (y j )m kann man in O(n log n) Die Vektoren X i=1 j=2 Schritten anlegen. Ausgehend hiervon kann man D := (D(y j ))mj=2 in O(n) Schritten berechnen. Denn mit X(0) := −∞ und X(n+1) := ∞ ist D(y j ) = j,1 − 2 j,2 + j,3 mit j,1 j,2 j,3

:= max i ∈ {0, 1, . . . , n + 1} : Xi + h < y j ,

:= max i ∈ {0, 1, . . . , n + 1} : Xi < y j ,

:= max i ∈ {0, 1, . . . , n + 1} : Xi − h < y j .

Tabelle 7.1 enthält entsprechenden Pseudocode. In den WHILE–Anweisungen darf man auf keinen Fall die Bedingung “X(+1) ± h < y j ” durch “X+1 < y j ∓ h” ersetzen! Denn y j selbst kann gleich X(+1) ± h sein, doch Rundungsfehler können dazu führen, dass die Computerapproximation für (X(+1) ± h) ∓ h von X(+1) verschieden ist. Die hier beschriebene Methode zur Berechnung/Darstellung von fh in O(n) Schritten kann man auf beliebige Kernfunktionen K ausweiten, welche stetig und stückweise linear sind.

7.4 Übungsaufgaben Aufgabe 7.1 Sei fa,h der Histogramm-Dichteschätzer mit Offset a und Intervalllänge h > 0. Um von den willkürlich wählbaren Parametern a und h wenigstens den erstgenannten loszuwerden, kann man über seine Werte mitteln: Wir definieren also 1 b+h fa,h (x) da fh (x) := h b für eine beliebige Zahl b ∈ R. Wegen fa±h,h = fa,h spielt der genaue Wert von b keine Rolle. Zeigen Sie, dass dieser Schätzer fh ein Kerndichteschätzer mit dem Dreieckskern Δ(y) := max(1 − |y|, 0) ist. Aufgabe 7.2 Implementieren Sie in einer Programmiersprache Ihrer Wahl den Kerndichteschätzer mit Gaußkern φ . Eingabeparameter sollten die Stichprobe X und die Bandbreite h > 0 sein. Verfeinern Sie dann Ihr Programm dahingehend, dass man für einen ganzen Vektor h von Bandweiten die entsprechenden Kerndichteschätzer gleichzeitig sieht.

84

7 Dichteschätzung

h, y) Algorithmus D ← AbleitungKDS(X, 1 ← 0 for j ← 2 TO m do while X(1 +1) + h < y j do 1 ← 1 + 1 end 2 ← 1 while X(2 +1) < y j do 2 ← 2 + 1 end 3 ← 2 while X(3 +1) − h < y j do 3 ← 3 + 1 end Dh (y j ) ← 1 + 3 − 22 end. Tabelle 7.1: Berechnung des Kerndichteschätzers mit Dreieckskern.

Aufgabe 7.3 Der Datensatz ‘SIDS age.txt’ enthält das Alter von 78 Kindern mit SIDS. Zeichnen Sie für diesen Datensatz den Box-Whisker-Plot und die empirische Verteilungsfunktion. Bestimmen Sie ein 95%–Konfidenzintervall für den Median der zugrundeliegenden Altersverteilung. Berechnen und zeichnen Sie Kernschätzer für die Dichte dieser Verteilung mit unterschiedlichen Bandweiten und einer Kernfunktion Ihrer Wahl.

8 Statistische Tests 8.1 Statistische Überlegungen zu Beispiel 1.2 Anhand von Beispiel 1.2 illustrieren wir nun ein wichtiges statistisches Verfahren, nämlich Fishers exakten Test, und erläutern relevante Grundbegriffe des Testens. Die zugrundeliegenden allgemeinen Konzepte und Beweise werden dann in späteren Abschnitten präsentiert. Zur Erinnerung: 48 angehende Manager sollten anhand einer fiktiven Personalakte entscheiden, ob die betreffende Person befördert wird oder nicht. Von den 48 Managern beurteilten 24 einen Herrn und 24 eine Dame; diese Gruppeneinteilung war rein zufällig. Von den Herren wurden 21 und von den Damen 14 befördert. Anders als in Kapitel 5 betrachten wir die 48 Manager nicht als Stichprobe aus einer großen Grundgesamtheit. Vielmehr möchten wir entscheiden, ob Mitglieder dieser speziellen Personengruppe voreingenommen sind. Die Nullhypothese. Wir gehen von dem in Kapitel 1 beschriebenen Argument 2 aus. In der Sprache der Statistik beschreibt dieses Argument eine sogenannte Nullhypothese: Die 48 Manager urteilten objektiv; 35 von ihnen würden die Kandidatin oder den Kandidaten befördern, und 13 würden sie oder ihn nicht befördern. Die Unterschiede zwischen den Gruppen entstanden rein zufällig. Die Anzahlen 35 bzw. 13 kennt man erst nach Durchführung und Auswertung des Experiments. Doch unter der Nullhypothese standen sie schon vorher fest. Angenommen, diese Nullhypothese trifft zu. Dann würde das Experiment eine Vierfeldertafel der folgenden Form liefern:

Gruppe 1 Gruppe 2

+

−

T 35 − T

24 − T T − 11

24 24

35

13

48

mit der zufälligen Anzahl T von Beförderungen in Gruppe 1. Die Frage ist, ob der beobachtete Wert von T “verdächtig groß” ist. Genauso gut könnte man beispielsweise darauf achten, ob die Zahl der Beförderungen in Gruppe 2 “verdächtig klein” ist. Unter obiger Nullhypothese legt ein Eintrag der Vierfeldertafel die drei übrigen Einträge bereits fest. Entscheidend ist, dass die Zufallsvariable T unter der Nullhypothese der hypergeometrischen Verteilung Hyp(48, 35, 24) folgt, das heißt, 35 13 48 24 24 48 IP{T = k} = = k 24 − k 24 k 35 − k 35

8 Statistische Tests

0.00

0.05

0.10

P[T = k]

0.15

0.20

86

11

12

13

14

15

16

17

18

19

20

21

22

23

24

k

Abbildung 8.1: Die Verteilung von T unter der Nullhypothese für Beispiel 1.2.

für k = 11, 12, . . . , 24. Abbildung 8.1 zeigt ein Stabdiagramm dieser Wahrscheinlichkeiten. Bevor wir irgendeinen Schluss ziehen, einigen wir uns auf eine bestimmte Schranke für das Risiko, den 48 Managern Unrecht zu tun. Das würde heißen, wir lehnen die Nullhypothese ab, obwohl sie zutrifft. Angenommen, die Wahrscheinlichkeit eines solchen Irrtums soll nicht größer sein als α = 5 %. Diese von uns gewählte Schranke α nennt man auch das Signifikanzniveau. Nun werten wir die Daten aus: Beobachtet wurde Tobs. = 21. Unter der Nullhypothese wäre die Wahrscheinlichkeit, diesen oder einen noch größeren Wert von T zu erhalten, gleich IP{T ≥ 21} = 1 − IP{T ≤ 20} = 1 − Hyp cdf48,35,24 (20) ≈ 0.025. Dabei bezeichnen wir allgemein mit Hyp cdfn,z,s die Verteilungsfunktion von Hyp(n, z, s). Diese Wahrscheinlichkeit IP{T ≥ 21} ≈ 0.025, ein sogenannter P-Wert, ist kleiner oder gleich α. Deshalb behaupten wir mit einer Sicherheit von 1 − α = 95 %, dass die Nullhypothese falsch ist. Alternativhypothesen. Bisher betrachteten wir nur die Nullhypothese, die wir im obigen Beispiel mit einer Sicherheit von 95 % ablehnten. Eine naheliegende Frage ist, wie groß die Chancen sind, mit dem gerade beschriebenen Verfahren die Nullhypothese abzulehnen, wenn sie tatsächlich verletzt ist.

8.2 Hypothesen und (Fehl-) Schlüsse

87

Man kann sich viele Arten von Abweichungen von der Nullhypothese vorstellen. Denkbar wäre zum Beispiel, dass es drei Typen von Managern gibt: Solche, die objektiv befördern würden (Typ +), solche die objektiv nicht befördern würden (Typ −), und solche die einen Kandidaten befördern würden, eine Kandidatin hingegen nicht (Typ +/−). Wenn alle drei Typen unter den 48 Managern vertreten sind, ist T nicht mehr hypergeometrisch verteilt. Vielmehr hätte die Vierfeldertafel die Form

Gruppe 1 Gruppe 2

+

−

T1 T2

24 − T1 24 − T2

24 24

T1 + T2

48 − T1 − T2

48

mit Zufallsvariablen T1 und T2 , deren Summe ebenfalls zufällig ist. Die Güte des Tests, d.h. die Wahrscheinlichkeit, die Nullhypothese abzulehnen, hängt von den Anzahlen n+ , n− und n+/− der besagten Typen ab und kann nur numerisch berechnet werden.

8.2 Hypothesen und (Fehl-) Schlüsse In vielen Anwendungen möchte man aufgrund von Daten D ∈ D einen bestimmten “Effekt” nachweisen, beispielsweise den Erfolg oder Misserfolg einer neuen medizinischen Behandlung. Man spricht auch von einer Arbeitshypothese. Oftmals kann man diese Arbeitshypothese nur indirekt nachweisen. Zu diesem Zweck formuliert man eine Nullhypothese Ho : Man betrachtet die Daten D als Zufallsvariable mit Werten in D und beschreibt mögliche Wahrscheinlichkeitsverteilungen hierfür unter der Annahme, dass es den besagten Effekt nicht gibt. Nun muss man anhand der Daten entscheiden, ob man die Nullhypothese ablehnt (und damit an der Arbeitshypothese festhält) oder nicht. Eine solche Entscheidungsregel nennt man einen statistischen Test. Mitunter hat man auch für den Fall, dass der besagte Effekt vorhanden ist, explizite statistische Modelle für die Daten D. Man spricht dann auch von Alternativhypothesen. In solchen Situationen bietet es sich oft an, nicht nur einen statistischen Test durchzuführen, sondern den Effekt mithilfe von Konfidenzschranken genauer zu quantifizieren. Bei der Durchführung eines statistischen Tests riskiert man immer einen der folgenden zwei Fehler: Fehler der ersten Art: Man lehnt die Nullhypothese ab, obwohl sie zutrifft. Fehler der zweiten Art: Man lehnt die Nullhypothese nicht ab, obwohl sie falsch ist. Üblicherweise legt man eine obere Schranke α ∈ ]0, 1[ für die Wahrscheinlichkeit eines Fehlers der ersten Art fest. Diese Schranke ist das sogenannte Signifikanzniveau. Gängige Werte für α sind 0.05 und 0.01. Gesucht ist ein statistischer Test derart, dass IP Ho wird verworfen ≤ α unter Ho . (8.1) In einer einzelnen Anwendung kann man nicht sagen, ob und welchen Fehler man begangen hat. Wenn man aber in sehr vielen (unabhängigen) Situationen einen Test mit Signifikanzniveau α anwendet, so begeht man in höchstens 100α Prozent aller Fälle einen Fehler der ersten Art.

88


Wie konstruiert man nun einen solchen Test? In der Regel wählt man zunächst eine Teststatistik T : D → R. Bei Vorhandensein des besagten Effektes sollte der Wert T (D) tendenziell höher oder tendenziell niedriger sein als unter der Nullhypothese. Die Teststatistik quantifiziert also den augenscheinlichen Effekt. Nun muss man entscheiden, ob der Wert T (D) “verdächtig groß” bzw. “verdächtig klein” ist oder nicht.

8.3 Parametrische Tests Der Begriff “parametrischer Test” wird zu Beginn des nächsten Abschnitts erklärt. Zunächst erklären wir abstrakt, was P-Werte sind, und betrachten dann eine Reihe von Beispielen. P-Werte. Die Frage, ob der Wert T (D) verdächtig groß oder verdächtig klein ist, lässt sich einfach beantworten, wenn die Testgröße unter der Nullhypothese eine bestimmte Verteilungsfunktion Go hat. Das heißt, für beliebige r ∈ R gilt unter Ho : IP{T (D) ≤ r} = Go (r) und

IP{T (D) < r} = Go (r −) := lim Go (s). s↑r, s α . Dieser Wert cα hat die Eigenschaften, dass Go (r) ≤ α falls r < cα ,

Go (cα ) ≥ α,

Go (r) > α falls r > cα .

Im Falle von Go (cα ) > α ist also IP Go (To ) ≤ α = IP To < cα = Go (cα −) ≤ α. Im Falle von Go (cα ) = α, was zum Beispiel bei Stetigkeit von Go immer gilt, ist IP Go (To ) ≤ α = IP To ≤ cα = Go (cα ) = α. Analoge Argumente oder eine Symmetrieüberlegung ergeben die Behauptungen über Go (To −).

Beweis (Korollar 8.2) Die Behauptungen über π (D) und πr (D) ergeben sich direkt aus Lemma 8.1. Für den zweiseitigen P-Wert πz (D) folgt nun, dass = IP π (D) ≤ α/2 oder πr (D) ≤ α/2 IP πz (D) ≤ α ≤ IP π (D) ≤ α/2 + IP πr (D) ≤ α/2 ≤

α

unter Ho .

Im Falle einer stetigen Verteilungsfunktion Go ist stets π (D) = 1 − πr (D), und die zwei vorangehenden Ungleichungen sind Gleichungen.

8.3 Parametrische Tests

91

Ein- oder zweiseitige Tests? Die Entscheidung, welchen dieser drei Tests man durchführt, darf nicht datenabhängig erfolgen! Vielmehr muss man vor der Berechnung eines P-Wertes überlegen, welche Variante sinnvoll ist. Mitunter hat man einen “begründeten Verdacht” über den vermuteten Effekt, welcher sich nicht auf die Daten D sondern andere Informationen stützt. Im Zweifelsfalle ist man mit dem zweiseitigen P-Wert πz (D) auf der sicheren Seite. Manche Softwarepakete liefern deshalb grundsätzlich den zweiseitigen P-Wert, und nur “Eingeweihte” wissen, wie man bei Bedarf zu einem einseitigen P-Wert kommt. Eine Fehlinterpretation von P-Werten. Viele Anwender interpretieren einen P-Wert als “Wahrscheinlichkeit, dass die Nullhypothese zutrifft”. Dies ist in unserem Kontext Unsinn, denn die Nullhypothese ist schlichtweg richtig oder falsch. Der P-Wert ist eine spezielle Kenngröße der Daten, mit deren Hilfe man die Nullhypothese auf einem beliebigen Niveau testen kann. Insbesondere impliziert ein P-Wert nahe an Eins nicht, dass die Nullhypothese besonders plausibel ist. Z- und t-Tests. Sei X = (Xi )ni=1 ein Beobachtungsvektor mit unabhängigen, identisch verteilten Komponenten Xi ∈ R, wobei IE(Xi ) = μ und Var(Xi ) = σ 2 > 0. Nun betrachten wir die Nullhypothese, dass μ einen bestimmten Wert μo hat. Z-Tests. Unter der Nullhypothese Ho seien die Komponenten Xi normalverteilt mit Mittelwert μo und einer bestimmten Standardabweichung σo > 0. Eine mögliche Alternativhypothese ist, dass μ < μo . In diesem Fall könnte man als Teststatistik X¯ oder die standardisierte Form T (X) :=

X¯ − μo √ σo / n

verwenden und darauf achten, ob T (X) verdächtig klein ist. Unter der Nullhypothese ist T (X) standardnormalverteilt. Wir verwerfen also die Nullhypothese auf dem Niveau α, falls π (X) = Φ(T (X)) kleiner oder gleich α ist. Beispiel 8.1 Ein Pharmaunternehmen behauptet, dass ein neues Schmerzmittel leichte Schmerzen unter Standardbedingungen für 3 Stunden mildert, mit einer Standardabweichung von einer Stunde. Um diese Aussage zu überprüfen, wurde das Medikament an 16 Personen unter identischen Bedingungen getestet. Die Arbeitshypothese war, dass die Firma übertreibt und die mittlere Milderungszeit weniger als drei Stunden beträgt. Aus den einzelnen Milderungszeiten Xi ergab sich ein Stichprobenmittelwert von X¯ = 2.5 (in Stunden). Nun testen wir die Nullhypothese, dass die Milderungszeiten Xi unabhängig und nach N (3, 1) verteilt sind, auf dem Niveau α = 0.05. Die Nullhypothese spiegelt also die Behauptung der Firma wider. Aufgrund unserer Arbeitshypothese achten wir auf verdächtig kleine Werte von X¯ und verwenden den linksseitigen P-Wert π (X). Mit n = 16 ergibt sich T (X) = −2

und

π (X) = Φ(−2) ≈ 0.023.

92


Also verwerfen wir die Nullhypothese auf dem Niveau von fünf Prozent. Mit anderen Worten, mit einer Sicherheit von 95 % behaupten wir, dass die tatsächliche mittlere Milderungszeit des Medikaments geringer als drei Stunden ist.

Wenn man den Verdacht, dass μ > μo , nachweisen will, sollte man den rechtsseitigen P-Wert πr (X) = 1 − Φ(T (X)) verwenden. Hat man keine Vermutung über das Vorzeichen von μ − μo und ist an beliebigen Abweichungen interessiert, so sollte man den zweiseitigen P-Wert πz (X) = 2Φ(−|T (X)|) verwenden. Student-Tests (t-Tests). Unter der Nullhypothese Ho seien die Komponenten Xi normalverteilt mit einem bestimmten Mittelwert μo und unbekannter Standardabweichung σ > 0. Letztere schätzen wir durch die Stichprobenstandardabweichung S(X) und verwenden die StudentTeststatistik X¯ − μo √ . T (X) := S(X)/ n Hier ist Go = t cdfn−1 , die Verteilungsfunktion von tn−1 ; siehe Satz 6.1. Dies führt zu den PWerten π (X) = t cdfn−1 (T (X)), πr (X) = 1 − t cdfn−1 (T (X)) = t cdfn−1 (−T (X)), πz (X) = 2 t cdfn−1 −|T (X)| mit der Verteilungsfunktion t cdfn−1 der Student-Verteilung tn−1 . t-Tests für verbundene Stichproben. Seien X, Y ∈ Rn zwei Spalten einer Datenmatrix. Nun gehen wir der Frage nach, ob die X–Werte tendenziell größer sind als die Y–Werte. Beispielsweise könnte Xi ein physiologischer Messwert vor und Yi der analoge Wert nach einer bestimmten Behandlung bei der i–ten Versuchsperson sein. Ein zweites Beispiel für solche verbundenen Stichproben sind Studien, bei denen n Zwillingspaare untersucht werden, von denen jeweils eine Person raucht und die andere nicht. Schließlich gibt es Experimente, bei denen 2n Versuchspersonen in n Paare aufgeteilt werden, so dass zwei Personen eines Paares “möglichst ähnlich” sind in Bezug auf Kovariablen wie das Alter. Dann wird rein zufällig je eine Person des i-ten Paares Behandlung A und die andere Person Behandlung B unterzogen. Nullhypothese Ho . Wir nehmen an, dass die n Differenzen Xi −Yi stochastisch unabhängig und nach N (0, σ 2 ) verteilt sind, wobei σ > 0 unbekannt ist. Teststatistik und P-Wert. Den Unterschied zwischen den X– und den Y–Werten quantifizieren wir durch die t-Statistik √ n(X¯ − Y¯ ) . T (X, Y) := S(X − Y) Unter Ho ist diese Testgröße student-verteilt mit n − 1 Freiheitsgraden; siehe Satz 6.1. Dies führt beispielsweise zu dem rechtsseitigen P-Wert π(X, Y) := 1 − t cdfn−1 (T (X, Y)) = t cdfn−1 (−T (X, Y)).

8.3 Parametrische Tests

93

Wir wenden also einfach einen t-Test des vorigen Abschnitts auf den Differenzenvektor X − Y an. Beispiel 8.2 (Vorlesungen als Sedativum) Der Datensatz ‘MStatH1998.txt’ enthält Daten von n = 18 Vorlesungsteilnehmenden, die zu Beginn und am Ende einer Vorlesung aufgefordert wurden, ihre Pulsfrequenz (in Schlägen/Minute) zu bestimmen. Für die i-te Person seien Xi und Yi ihre Pulsfrequenzen zu Beginn bzw. am Ende der Vorlesung. Unsere Arbeitshypothese lautet, dass Vorlesungen “beruhigend” wirken, das heißt, dass die X–Werte tendenziell größer als die Y –Werte sind. Im konkreten Datenbeispiel ist X¯ − Y¯ = 3.444,

S(X − Y) = 6.428

und T (X, Y) = 2.273,

also π (X, Y) = t cdf17 (−2.273) = 0.018. Daher verwerfen wir die Nullhypothese auf dem Niveau von fünf Prozent.

Tests auf Normalität. Am Ende von Kapitel 6 wurden die Normalverteilungsplots eingeführt, um die Normalitätsannnahme graphisch zu überprüfen. Man kann für diese Annahme auch statistische Tests angeben. Nullhypothese Ho . Die Variablen X1 , X2 , . . . , Xn seien stochastisch unabhängig mit Verteilung N (μ, σ 2 ) bei unbekannten Parametern μ und σ > 0. Eine Alternativhypothese HA . Die Variablen X1 , X2 , . . . , Xn seien stochastisch unabhängig und identisch verteilt, aber nicht normalverteilt. Teststatistiken. Bei der Konstruktion von geeigneten Teststatistiken T muss man im Auge behalten, dass die Verteilung von T (X) unter Ho nicht von μ oder σ abhängen sollte. Dies kann man erreichen, indem man ausschließlich mit den Z-Scores Xi − X¯ Z i := S(X) arbeitet. Denn die Verteilung von (Z i )ni=1 unter Ho hängt nicht von den Parametern μ und σ ab. Ansonsten sind der Phantasie keine Grenzen gesetzt. Hier sind drei Teststatistiken, die in der Literatur vorgeschlagen wurden: ¯ 3 1 n 3 ∑ni=1 (Xi − X) = ∑ Zi , nS(X)3 n i=1

i

, max

Φ(Z (i) ) − T2 (X) := i=1,2,...,n n+1

i 2 n T3 (X) := ∑ Z (i) − Φ . n+1 i=1 T1 (X) :=

Die Statistik T1 reagiert im Wesentlichen auf Unsymmetrie in der Verteilung der Variablen Xi .

94


Über die exakte Verteilung von Ti (X) unter Ho kann man nicht allzuviel sagen. Ein möglicher Ausweg aus diesem Dilemma ist die Durchführung von Monte-Carlo-Tests, wie am Ende dieses Kapitels beschrieben. Alternativ kann man mit Approximationen, die für große Werte von n zuverlässig sind, arbeiten. J. von Neumanns Test auf Zeitabhängigkeit. Angenommen, man führt in regelmäßigen Zeitabständen eine Messung durch und erhält Messwerte X1 , X2 , . . . , Xn . Bisweilen fragt man sich, ob die erhobenen Daten zeitabhängig sind. Dabei könnte man entweder an einen Trend oder an periodisches Verhalten denken. Möglicherweise sind die Beträge von Differenzen zweier benachbarter Werte Xi , Xi+1 tendenziell kleiner als die Beträge beliebiger Differenzen X j − Xi . Nullhypothese Ho . Die Variablen X1 , X2 , . . . , Xn seien stochastisch unabhängig mit Verteilung N (μ, σ 2 ) bei unbekannten Parametern μ und σ > 0. Eine Alternativhypothese HA . stochastisch unabhängig.

Die Variablen X1 , X2 , . . . , Xn seien identisch verteilt aber nicht

Teststatistik. Die hier betrachtete Alternativhypothese umfasst eine Vielzahl von möglichen Verteilungen von X. Wir achten aber primär auf Paare zweier aufeinanderfolgender Beobachtun2 gen. Die Summe ∑n−1 i=1 (Xi+1 − Xi ) quantifiziert deren Unterschiede. Ihr Erwartungswert unter 2 Ho ist gleich 2(n − 1)σ . Um eine geeignete Teststatistik zu erhalten, standardisieren wir noch mit der Stichprobenvarianz S(X)2 und definieren: T (X) :=

2 n−1 1 ∑n−1 i=1 (Xi+1 − Xi ) = ∑ (Z i+1 − Z i )2 2(n − 1)S(X)2 2(n − 1) i=1

¯ mit den Z-Scores Z i = (Xi − X)/S(X). Wie schon gesagt wurde, hängt die Verteilung von T (X) unter H nicht von den Parametern μ und σ ab. Desweiteren kann man zeigen, dass die Testgröße o √ n − 1(T (X) − 1) unter Ho und für große Stichprobenumfänge n approximativ standardnormalverteilt ist; siehe auch Aufgabe 8.5. Dies ergibt approximative P-Werte √ √ π (X) := Φ n − 1(T (X) − 1) und π r (X) := 1 − Φ n − 1(T (X) − 1) √ sowie π z (X) = 2Φ − n − 1|T (X) − 1| . Beispiel 8.3 Abbildung 8.4 zeigt für drei simulierte Datenvektoren X ∈ R50 jeweils die Paare (i, Xi ). √ Für den ersten Datenvektor (oben) ist T (X) = 1.157 und n − 1(T (X) − 1) = 1.099. Als zweiseitiger Monte-Carlo-P-Wert ergab sich π z (X) = 0.256 (in 4999 Simulationen), während der approximative zweiseitige P-Wert gleich π z (X) = 2Φ(−1.099) = 0.272 ist. Tatsächlich war in dieser Simulation die Nullhypothese erfüllt. √ Der zweite Datenvektor (links unten) ergibt T (X) = 1.366 und n − 1(T (X) − 1) = 2.563. Entsprechende P-Werte sind π z (X) = 0.004 und π z (X) = 0.010. Dies zeigt, dass die Unterschiede zweier aufeinanderfolgender Werte signifikant größer sind als die Gesamtstreuung der n Einzelwerte.

8.4 Nichtparametrische Tests

95

√ Für den dritten Datenvektor (rechts unten) ergibt sich T (X) = 0.626 und n − 1(T (X) − 1) = −2.621, was zu den P-Werten π z (X) = 0.006 und π z (X) = 0.009 führt. Salopp gesprochen verläuft die Kurve i → (i, Xi ) “zu glatt”.

2.5

2

1.5

1

0.5

0

-0.5

-1

-1.5

-2

5

10

15

20

25

30

35

40

45

50

3

2.5

2

2 1.5

1

1

0.5

0 0

-1

-0.5

-1

-2 -1.5

-2

5

10

15

20

25

30

35

40

45

50

-3

5

10

15

20

25

30

35

40

45

50

Abbildung 8.4: Beispiele zu von Neumanns Test.

8.4 Nichtparametrische Tests Zunächst eine Erläuterung von Begriffen: Im vorangegangenen Abschnitt betrachteten wir Nullhypothesen, die man durch einen Parameter θ ∈ Rd beschreiben kann. Man spricht deshalb von “parametrischen” Nullhypothesen und Tests. In unseren Beispielen war θ = (μ, σ ) oder θ = σ , also die Parameterdimension d gleich Zwei oder Eins. Ein berechtigter Einwand gegen die bisher betrachteten Tests ist, dass die jeweilige Nullhypothese sehr speziell ist. Im vorliegenden Abschnitt beschäftigen wir uns mit einer Klasse von Tests, die unter weitaus schwächeren Modellannahmen zuverlässig sind. Da sich die jeweilige Nullhy-

96


pothese nicht mehr durch einen endlichdimensionalen Parameter beschreiben lässt, spricht man von “nichtparametrischen” Nullhypothesen. Allgemeine Vorzeichentests für verbundene Stichproben. Wir betrachten wieder zwei Datenvektoren X, Y ∈ Rn , wobei eine natürliche Zuordnung zwischen den X– und Y–Werten besteht. Die Frage ist, ob es signifikante Unterschiede zwischen X und Y gibt. Die in Abschnitt 8.3 getroffene Annahme, dass die Pulsdifferenzen in Beispiel 8.2 normalverteilt sind mit identischer Standardabweichung, ist ziemlich gewagt. Zum einen sind die Pulsmessungen ganzzahlig, zum anderen ist durchaus denkbar, dass die Standardabweichung der Pulsschwankungen von Person zu Person sehr unterschiedlich ist. Dies ist vor allem dann von Bedeutung, wenn man die n Personen nicht als Stichprobe aus einer großen Population betrachtet. Nullhypothese Ho . Der Differenzenvektor Z = (Zi )ni=1 := X − Y ist (in Verteilung) vorzeichensymmetrisch. Das heißt, für beliebige feste ξ ∈ {−1, 1}n ist der Zufallsvektor ξ Z := (ξ1 Z1 , ξ2 Z2 , . . . , ξn Zn )

genauso verteilt wie Z. Grob gesagt, bedeutet dies: Anstelle des tatsächlich beobachteten Vektors Z hätte man mit der gleichen Wahrscheinlichkeit ξ Z beobachten können. Hier ist noch eine äquivalente Formulierung dieser Nullhypothese: Sei V = (Vi )ni=1 ein rein zufällig und unabhängig von Z gewählter Vorzeichenvektor aus {−1, 1}n . Unter Ho ist Z genauso verteilt wie VZ bzw. (Vi |Zi |)ni=1 . Ein Spezialfall von Ho ist die Situation, dass die Zufallsvariablen Zi unabhängig und identisch nach N (0, σ 2 ) verteilt sind. Andererseits ist Ho auch geeignet für die Analyse von Beispiel 8.2, wenn man die n Personen als fest vorgegeben betrachtet. Beispiel (8.2, Forts.) Bevor wir formale Tests einführen, illustrieren wir die Bedeutung von Ho anhand unseres Datenbeispiels. Abbildung 8.5 zeigt den Vektor Z = X − Y der Pulsdifferenzen, wobei die Komponenten von Z so angeordnet wurden, dass |Z1 | ≤| Z2 | ≤ · · · ≤ |Zn |. Zusätzlich zum Originalvektor Z wurde 19 mal rein zufällig ein Vorzeichenvektor V ∈ {−1, 1}n erzeugt und VZ dargestellt. Die Leserin oder der Leser sollte nun versuchen, den Originalvektor zu erkennen. Das Original befindet sich in Zeile 3 und Spalte 3. Wer dies erkannt hat, kann jetzt mit einer Sicherheit von 19/20 = 95% behaupten, die Nullhypothese sei falsch. Denn unter der Nullhypothese erkennt man das Original nur mit einer Wahrscheinlichkeit von 1/20 = 5%.

Um nun Ho zu testen, berechnen wir für eine gegebene Teststatistik T auf Rn einen der drei folgenden P-Werte:

π (Z) := # ξ ∈ {−1, 1}n : T (ξ Z) ≤ T (Z) 2n = IP T (VZ) ≤ T (Z) Z ,

πr (Z) := # ξ ∈ {−1, 1}n : T (ξ Z) ≥ T (Z) 2n = IP T (VZ) ≥ T (Z) Z oder πz (Z) = 2 min π (Z), πr (Z) . Dabei bezeichnet IP(· | Z) Wahrscheinlichkeiten, die nur bezüglich V berechnet werden; man betrachtet also Z vorübergehend als festen Vektor. Nun wird


97

Abbildung 8.5: Illustration von Ho (Vorzeichensymmetrie) in Beispiel 8.2.

die Nullhypothese Ho auf dem Niveau α verworfen, wenn der vorab gewählte P-Wert kleiner oder gleich α ist. Dieser (allgemeine) Vorzeichentest hält das vorgegebene Niveau α ein: Lemma 8.3 Sei π(Z) einer der oben beschriebenen P-Werte. Unter der Nullhypothese der Vorzeichensymmetrie von Z gilt für beliebige α ∈ ]0, 1[: IP π(Z) ≤ α ≤ α.

Diese Tatsache ergibt sich aus einem allgemeinen Resultat am Ende dieses Abschnitts. Nun betrachten wir spezifische Beispiele für T und die resultierenden Tests. Einfacher Vorzeichentest. Im einfachsten Fall betrachtet man nur die Vorzeichen der Zi und definiert T (Z) :=

n

∑ sign(Zi ).

i=1

98


Sei N = N(Z) := #{i : Zi = 0}, die Zahl der von Null verschiedenen Komponenten von Z. Dann lässt sich die Vorzeichenstatistik T (Z) auch schreiben als 2To (Z) − N, wobei To (Z) := #{i ≤ n : Zi > 0}. Da N(ξ Z) = N(Z) für alle ξ ∈ {−1, 1}n , ergeben sich die P-Werte

π (Z) = IP To (VZ) ≤ To (Z) Z = Bin cdfN,1/2 (To (Z)),

πr (Z) = IP To (VZ) ≤ To (Z) Z = 1 − Bin cdfN,1/2 (To (Z) − 1). Denn bei gegebenem Vektor Z ist To (VZ) = ∑ni=1 1{Vi Zi > 0} genauso verteilt wie die Zufallsvariable ∑Ni=1 1{Vi > 0} ∼ Bin(N, 1/2). Vorzeichen-t-Test. Mit T (Z) := ∑ni=1 Zi erhält man einen Test, der schwieriger zu berechnen ist als der einfache Vorzeichentest. Andererseits erkennt er Abweichungen von Ho im Wesentlichen genauso gut wie der entsprechende parametrische t-Test. Und das, obwohl die hier aufgestellte Nullhypothese wesentlich allgemeiner ist als die dem t-Test zugrundeliegende. Wilcoxons Signed-Rank-Test. Im Gegensatz zum einfachen Vorzeichentest berücksichtigt der Vorzeichen-t-Test vor allem Differenzen Zi mit relativ großem Absolutbetrag. Ein Nachteil ist die aufwändigere Berechnung der P-Werte. Man kann die Sache etwas vereinfachen, indem man die Absolutbeträge |Zi | durch ihre Ränge ersetzt. Für einen Vektor x = (xi )ni=1 ∈ Rn mit paarweise verschiedenen Komponenten definiert man den Rang der Komponente x j als die Zahl #{i : xi ≤ x j }. Die größte Komponente erhält dann den Rang n, die zweitgrößte den Rang n − 1, und so weiter; die kleinste Komponente hat Rang Eins. Für einen beliebigen Vektor x ∈ Rn wird der Rang der Komponente x j definiert als #{i : xi < x j } + (1 + #{i : xi = x j })/2. Für Wilcoxons Signed-Rank-Test betrachtet man nur die N = N(Z) von Null verschiedenen Komponenten von Z und definiert Ri = Ri (Z) := # j : 0 < |Z j | < |Zi | + 1 + # j : 0 < |Z j | = |Zi | 2. Wilcoxons Signed-Rank-Statistik ist dann definiert als T (Z) :=

n

∑ sign(Zi )Ri .

i=1


99

Sind die Werte |Zi | paarweise und von Null verschieden, so ist der Rangvektor (R1 , R2 , . . . , Rn ) eine Permutation von (1, 2, . . . , n). Die einseitigen P-Werte lassen sich dann schreiben als

n

π (Z) = IP ∑ Vi i ≤ T (Z) Z und i=1

n

πr (Z) = IP ∑ Vi i ≥ T (Z) Z . i=1

Man hat also für jeden Stichprobenumfang n nur eine Referenzverteilung. Weitere Vorteile von Rangtransformationen werden in Kapitel 9 erläutert. Nun zeigen wir, wie man für den allgemeinen Fall exakte P-Werte mithilfe eines Algorithmus mit Laufzeit O(n3 ) und Speicherbedarf O(n2 ) berechnen kann. Zu diesem Zweck betrachten wir To (Z) := ∑ni=1 1{Zi > 0}2Ri anstelle von T (Z). Zwischen diesen Testgrößen besteht folgender Zusammenhang: n

T (Z) = To (Z) − ∑ Ri = To (Z) − N(N + 1)/2. i=1

Der Wert To (Z) liegt in der Menge {0, 1, 2, . . . , N(N + 1)}. Die Zufallsvariablen Si := 1{Vi > 0} sind stochastisch unabhängig mit IP{Si = 1} = IP{Si = 0} = 1/2. Mit den von Null verschiedenen und der Größe nach geordneten Komponenten M1 ≤ M2 ≤ · · · ≤ MN von (2Ri )ni=1 kann man schreiben π (Z) = FN (To (Z)) und πr (Z) = 1 − FN (To (Z) − 1), wobei

j

Fj (x) := IP ∑ Si Mi ≤ x Z i=1

für 1 ≤ j ≤ N. Nun ist aber Fj (x) = IP S j = 0 und =

S M ≤ x Z + IP S j = 1 und

∑ i i

S M + M ≤ x ∑ i i j Z

j−1

j−1

i=1

i=1

Fj−1 (x) + Fj−1 (x − M j ) /2,

wobei F0 (x) := 1{x ≥ 0}. Diese Induktionsformel kann man verwenden, um den Vektor F = N(N+1) als Funktion von N und M = (Mi )Ni=1 zu berechnen; siehe Tabelle 8.1. (FN (x))x=0 Approximative P-Werte. Alle drei Beispiele für T (Z) sind von der Form T (Z) =

n

∑ sign(Zi )Bi

i=1

mit einem Vektor B = (Bi )ni=1 ∈ Rn , der nur von (|Zi |)ni=1 abhängt. Konkret ist Bi = 1 Bi = |Zi | Bi = R i

für den einfachen Vorzeichen-Test, für den Vorzeichen-t-Test, für den Wilcoxon-Signed-Rank-Test.

100

8 Statistische Tests Algorithmus F ← WilcoxonSRCDF(N, M): N(N+1) F ← (1)x=0 m←0 for j ← 1 to N do m ← m + Mj for x ← M j to m do F(x) ← (F(x) + F(x − M j ))/2 end for x ← 0 to M j − 1 do F(x) ← F(x)/2 end end. Tabelle 8.1: Berechnung der Verteilungsfunktion F für Wilcoxons Signed-Rank-Test.

Also kann man schreiben

n

π (Z) = IP ∑ Vi Bi ≤ T (Z) Z und i=1

n

πr (Z) = IP ∑ Vi Bi ≥ T (Z) Z i=1

mit dem von Z unabhängigen, rein zufälligen Vorzeichenvektor V ∈ {−1, 1}n . Nun ist zu beachten, dass

n n n

IE ∑ Vi Bi Z = 0 und Var ∑ Vi Bi Z = ∑ B2i = B2 i=1

i=1

i=1

mit der Euklidischen Norm B von B. Also gibt die Z-Statistik T (Z) T (Z) := B einen ersten Anhaltspunkt dafür, ob T (Z) verdächtig groß oder klein ist. Man erhält approximative P-Werte, indem man die Z-Statistik T (Z) so behandelt, als wäre sie unter der Nullhypothese standardnormalverteilt: π (Z) := Φ(T (Z)), π r (Z) := Φ(−T (Z)) und π z (Z) := 2Φ −|T (Z)| . Mithilfe des Zentralen Grenzwertsatzes kann man zeigen, dass in der Tat

|Bi |

π(Z) − π (Z) → 0 falls max → 0. i=1,2,...,n B Beispiel (8.2, Forts.) Wir berechnen für diesen Datensatz Wilcoxons Signed-Rank-Test. Tabelle 8.2 zeigt die Komponenten von X, Y und Z = X − Y, nachdem sie so angeordnet wurden, dass |Z1 | ≤ |Z2 | ≤ · · · ≤ |Zn |. Dies erleichtert die Bestimmung der Ränge Ri . Hier ist T (Z) = 81 und R = 38.51. Dies führt zu den P-Werten πz (Z) ≈ 0.0343

und π z (Z) = 2Φ(−2.103) ≈ 0.035.


101 Xi 66 78 54 76 80 94 68 64 76 80 64 66 70 80 82 102 74 90

Yi 66 78 56 78 78 90 74 70 70 74 72 58 62 72 72 92 62 78

Zi 0 0 –2 –2 2 4 –6 –6 6 6 –8 8 8 8 10 10 12 12

Ri 0 0 2 2 2 4 6.5 6.5 6.5 6.5 10.5 10.5 10.5 10.5 13.5 13.5 15.5 15.5

sign(Zi ) 0 0 –1 –1 +1 +1 –1 –1 +1 +1 –1 +1 +1 +1 +1 +1 +1 +1

Tabelle 8.2: Datenaufbereitung für Beispiel 8.2.

Permutationstests. Sei X ein Datenvektor mit Werten in X n . Wie bei von Neumanns Test auf Zeitabhängigkeit betrachten wir den Index i einer Beobachtung Xi als Zeitparameter. Nun beschreiben wir eine nichtparametrische Nullhypothese für dieses Testproblem, die uns auch in späteren Kapiteln begegnen wird: Nullhypothese Ho . Der Vektor X ist (in Verteilung) austauschbar. Das heißt, für beliebige feste Permutationen σ von {1, 2, . . . , n} ist der Zufallsvektor σ X := Xσ (1) , Xσ (2) , . . . , Xσ (n) genauso verteilt wie X. Mit anderen Worten, wählt man rein zufällig und unabhängig von X eine Permutation Π von {1, 2, . . . , n}, dann ist X unter Ho genauso verteilt wie ΠX. Jeder Zufallsvektor X mit stochastisch unabhängigen und identisch verteilten Komponenten ist austauschbar. Von daher ist Ho eine Erweiterung der parametrischen Nullhypothese für von Neumanns Test. Die Nullhypothese der Austauschbarkeit von X kann man mithilfe von Permutationstests überprüfen. Für eine Teststatistik T : X n → R wählen wir einen der folgenden P-Werte:

π (X) := # σ ∈ Sn : T (σ X) ≤ T (X) n! = IP T (ΠX) ≤ T (X) X ,

πr (X) := # σ ∈ Sn : T (σ X) ≥ T (X) n! = IP T (ΠX) ≥ T (X) X

102


bzw. πz (X) = 2 min π (X), πr (X) . Dabei bezeichnet Sn die Menge aller Permutationen von {1, 2, . . . , n}. Dann verwirft man die Nullhypothese auf dem Niveau α, wenn der P-Wert kleiner oder gleich α ist. Auch dieser Permutationstest hält das vorgegebene Niveau α ein: Lemma 8.4 Sei π(X) einer der eben beschriebenen P-Werte. Unter der Nullhypothese der Austauschbarkeit von X gilt für beliebige α ∈ ]0, 1[: IP π(X) ≤ α ≤ α.

Berechnet man für die drei Zeitreihen in Beispiel 8.3 die hier beschriebenen nichtparametrischen P-Werte, dann sind diese sehr ähnlich zu den dort angegebenen. Das abstrakte Prinzip: Invarianz. Sowohl die Vorzeichen- als auch die Permutationstests sind Spezialfälle eines allgemeinen Verfahrens. Wir betrachten wieder eine beliebige Zufallsvariable D mit Werten in einer Menge D. Nun betrachten wir eine endliche Menge G von Abbildungen g : D → D und möchten folgende Nullhypothese testen: Nullhypothese Ho . Die Zufallsvariable D ist (in Verteilung) G –invariant. Das heißt, für jedes g ∈ G ist die Zufallsvariable g(D) genauso verteilt wie D. Beispiel: Vorzeichentests. Wir betrachteten einen Zufallsvektor Z = X − Y mit X, Y ∈ Rn und die Abbildungen z → ξ (z) := (ξ1 v1 , ξ2 v2 , . . . , ξn vn ) von Rn nach Rn für beliebige Vorzeichenvektoren ξ ∈ {−1, 1}n . Wir identifizieren also ξ ∈ {−1, 1}n mit einer Transformation ξ (·) des Rn , und die Nullhypothese, dass Z in Verteilung vorzeichensymmetrisch ist, ist ein Spezialfall von Ho mit G = {−1, 1}n . Beispiel: Permutationstests. Wir betrachteten einen Zufallsvektor X ∈ X n und die Abbildungen x → σ (x) := (xσ (1) , xσ (2) , . . . , xσ (n) ) von X n nach X n für beliebige Permutationen σ von {1, 2, . . . , n}. Wir identifizieren also σ ∈ Sn mit einer Transformation σ (·) von X n , und die Nullhypothese, dass X in Verteilung austauschbar ist, ist ein Spezialfall von Ho mit G = Sn . Voraussetzung an G . Eine wesentliche Vorraussetzung an G ist, dass es sich um eine endliche Gruppe bezüglich der Verkettung von Abbildungen handelt. Das heißt, für zwei beliebige Abbildungen g, h ∈ G ist auch d → g ◦ h (d) := g(h(d)) ein Element von G . Desweiteren ist jede Abbildung g ∈ G bijektiv, und ihre Umkehrabbildung g−1 gehört ebenfalls zu G .


103

Man kann sich leicht davon überzeugen, dass diese Voraussetzung im Falle der Vorzeichentests und der Permutationstests erfüllt ist. Mit ihr lässt sich die Nullhypothese Ho auch wie folgt beschreiben: Sei G uniform verteilt auf G und stochastisch unabhängig von D. Dann ist D unter Ho genauso verteilt wie G(D). Testen kann man sie mit einem der folgenden P-Werte: Für eine beliebige Teststatistik T : D → R seien

π (D) := # g ∈ G : T (g(D)) ≤ T (D) #G = IP T (G(D)) ≤ T (D) D ,

πr (D) := # g ∈ G : T (g(D)) ≥ T (D) #G = IP T (G(D)) ≥ T (D) D sowie πz (D) := 2 min π (D), πr (D) . Sowohl Lemma 8.3 als auch Lemma 8.4 sind Spezialfälle des folgenden Sachverhalts: Satz 8.5 Sei π(D) einer der drei soeben definierten P-Werte. Unter der Nullhypothese der G –Invarianz von D gilt für beliebige α ∈ ]0, 1[: IP π(D) ≤ α ≤ α.

Der Beweis von Satz 8.5 beruht im Wesentlichen auf zwei Tatsachen, deren Beweis wir den Lesern als Übungsaufgabe überlassen: Lemma 8.6 Sei (G , ∗) eine Gruppe. Für beliebige h ∈ G stellen g → h ∗ g und g → g ∗ h bijektive Abbildungen von G nach G dar. Lemma 8.7 Seien t1 ,t2 , . . . ,td endlich viele reelle Zahlen. Mit π j := #{i : ti ≤ t j }/d ist #{ j : π j ≤ α} ≤ αd

für alle α ∈ [0, 1].

Beweis (Satz 8.5) Wir betrachten ausschließlich den linksseitigen P-Wert π (D). Wegen der G –Invarianz der Verteilung von D ist IP{π (D) ≤ α} gleich 1 #G

∑ IP

g∈G

π (g(D)) ≤ α

= IE # g ∈ G : πr (g(D)) ≤ α} #G .

Doch für beliebige Punkte d ∈ D ist # g ∈ G : πr (g(d)) ≤ α

=

# g ∈ G : # h ∈ G : T (h ◦ g (d)) ≤ T (g(d)) #G ≤ α # g ∈ G : # h ∈ G : T (h(d)) ≤ T (g(d)) #G ≤ α

≤

α #G

=

nach Lemma 8.6 bzw. Lemma 8.7. Also ist IP{π (D) ≤ α} ≤ IE(α) = α.

104


8.5 Monte-Carlo-Tests Mitunter ist die exakte Berechnung der P-Werte zu aufwändig. Ein möglicher Ausweg ist die Berechnung von Monte-Carlo-P-Werten. Parametrische Monte-Carlo-Tests. Angenommen, wir können stochastisch unabhängige Zufallsvariablen T1 , T2 , T3 ,. . . mit Verteilungsfunktion Go simulieren. Mit T0 := T (D) betrachten wir für eine natürliche Zahl m die Werte T0 , T1 , . . . , Tm . Unter der Nullhypothese sind dies m + 1 stochastisch unabhängige Zufallsvariablen mit Verteilungsfunktion Go . (Die Tatsache, dass die m simulierten Werte auf Pseudo-Zufallszahlen beruhen, vernachlässigen wir hier.) Nun definiert man Monte-Carlo-P-Werte π (D) = π (D, T1 , T2 , . . . , Tm ) wie folgt: π (D) := π r (D) :=

# i ∈ {0, 1, . . . , m} : Ti ≤ T0 # i ∈ {1, 2, . . . , m} : Ti ≤ T (D) + 1 = , m+1 m+1 # i ∈ {1, 2, . . . , m} : Ti ≥ T (D) + 1 # i ∈ {0, 1, . . . , m} : Ti ≥ T0 = m+1 m+1

sowie π z (D) := 2 min π (D), π r (D) . Allgemein gilt für beliebige α ∈ ]0, 1[ die Ungleichung IP{π (D) ≤ α} ≤

(m + 1)α m+1

unter Ho .

(8.2)

Sei zum Beispiel m = 19. Dann ist π r (D) = 0.05 genau dann, wenn der beobachtete Wert T (D) strikt größer ist als alle simulierten Werte Ti . Bei m = 39 Simulationen ergibt sich ein zweiseitiger P-Wert von 0.05 genau dann, wenn T (D) strikt größer oder strikt kleiner als alle Ti ist. Allerdings sollte man unbedingt größere Werte m wählen. Dafür spricht die Tatsache, dass der Monte-CarloP-Wert sowohl von den zufälligen Daten als auch von den zufälligen Simulationen abhängt, der Test also eigentlich nicht reproduzierbar ist. Doch für große Werte von m unterscheidet sich der Monte-Carlo-P-Wert π (D) nur unwesentlich von dem entsprechenden exakten P-Wert π(D). Denn für einen festen Datensatz d ∈ D ist IE(π (d)) =

mπ(d) + 1 1 − π(d) = π(d) + m+1 m+1

und Var(π (d)) =

π(d)(1 − π(d)) . (m + 1)2

Nichtparametrische MC-Tests. Angenommen, wir können stochastisch unabhängige Zufallsvariablen G1 , G2 , G3 , . . . mit uniformer Verteilung auf der Gruppe G simulieren. Nun betrachten wir für eine vorgegebene Zahl m ∈ N die Werte T0 := T (D) sowie Ti := T (Gi (D)) für 1 ≤ i ≤ m und definieren Monte-Carlo-P-Werte wie oben. Auch hier gilt die Ungleichung (8.2).

8.6 Übungsaufgaben

105

8.6 Übungsaufgaben Aufgabe 8.1 (Ein biologisches Experiment) In einem Experiment sollte geklärt werden, ob eine zentralamerikanische Ameisenart, welche sich in Akazienbäumen einnistet, bei der Standortsuche wählerisch ist. In einem bestimmten Gebiet wurden alle bis auf 28 Akazienbäume entfernt. Von diesen 28 Bäumen gehörten 15 einer Art A und 13 einer Art B an, und etwaige Ameisenbewohner wurden entfernt. Dann wurden insgesamt 16 Ameisenstämme, die andernorts Bäume der Art A besiedelt hatten, an einer Stelle ausgesetzt, die von allen 28 Bäumen in etwa gleich weit entfernt war. Nach einer gewissen Zeit hatte jeder Ameisenstamm ein neues Zuhause gefunden: befallen

nicht bef.

13 3

2 10

15 13

16

12

28

Art A Art B

Formulieren Sie eine geeignete Arbeits– und Nullhypothese, und testen Sie Ihre Nullhypothese auf dem Niveau α = 0.01, analog wie in Abschnitt 8.1. Aufgabe 8.2 Schreiben Sie ein Programm, welches die Güte von Fishers exaktem Test unter den am Ende von Abschnitt 8.1 beschriebenen Alternativhypothesen numerisch bestimmt. Eingabeparameter sollten sein: Die Anzahlen n+ , n− und n+/− , das Signifikanzniveau α sowie die Gruppengrößen m1 und m2 . (Im konkreten Beispiel ist n+ + n− + n+/− = 48 und m1 = m2 = 24.) Aufgabe 8.3 (Charles Darwins Pflanzenexperiment) Der Datensatz ‘Fertil.txt’ enthält die Wuchshöhe mehrerer Paare von Pflanzen. Charles Darwin ließ jeweils zwei Sämlinge gleicher Größe, von denen einer durch Kreuzbefruchtung und der andere durch Selbstbefruchtung entstand, unter identischen Bedingungen wachsen. Die Frage war, ob man anhand dieser Daten nachweisen kann, dass Kreuzbefruchtung zu kräftigeren Pflanzen führt. Aufgabe 8.4 Der Datensatz ‘SIDS twins.txt’ enthält die Geburtsgewichte von 22 zweieiigen und 19 eineiigen Zwillingspaaren, wobei jeweils bei einem Zwilling SIDS auftrat. Mit diesem Datensatz wollte man untersuchen, ob SIDS durch geringes Geburtsgewicht verursacht oder zumindest begünstigt wird. Man könnte beispielsweise auch annehmen, dass SIDS genetisch bedingt ist und die entsprechenden Gene auch zu geringerem Geburtsgewicht führen (confounding). Wie könnte man die Daten unter diesem Aspekt auswerten? Aufgabe 8.5 (a) Beweisen Sie folgende Gleichung für von Neumanns Teststatistik: T (X) :=

2 ∑n−1 Xi Xi+1 ∑n−1 i=1 (Xi+1 − Xi ) = 1 − i=1 + R(X), 2 2(n − 1)S(X) (n − 1)S(X)2

wobei R(X) :=

nX¯ 2 − X12 /2 − Xn2 /2 . (n − 1)S(X)2

106


(b) Im Falle unabhängiger, nach N (μ, σ 2 ) verteilter Komponenten Xi hängt die Verteilung von T (X) nicht von (μ, σ ) ab. Daher nehmen wir nun ohne Einschränkung an, dass die Komponenten von X standardnormalverteilt sind. Zeigen Sie, dass dann n−1 IE ∑ Xi Xi+1 = 0 i=1

und

n−1 Var ∑ Xi Xi+1 = n − 1. i=1

(Vorsicht, die Summanden Xi Xi+1 sind nicht unabhängig!) Anmerkung: Man kann hier zeigen, dass √ 1 n−1 n − 1(T (X) − 1) = − √ ∑ Xi Xi+1 + Op (n−1/2 ). n − 1 i=1 Mit einer geeigneten Variante des Zentralen Grenzwertsatzes kann man nun nachweisen, dass diese Zufallsgröße approximativ standardnormalverteilt ist, wenn n → ∞. Aufgabe 8.6 Beweisen Sie Lemma 8.6. Aufgabe 8.7 Beweisen Sie Lemma 8.7. Aufgabe 8.8 Beweisen Sie Ungleichung (8.2): Überzeugen Sie sich zunächst davon, dass sowohl im parametrischen als auch im nichtparametrischen Fall das Tupel (T0 , T1 , . . . , Tm ) unter der Nullhypothese austauschbar ist. Insbesondere bleibt die Verteilung von π (D) unverändert, wenn man T0 mit einer der Zufallsvariablen T1 , T2 , . . . , Tm vertauscht. Gehen Sie nun ähnlich wie im Beweis von Satz 8.5 vor. Aufgabe 8.9 Schreiben Sie ein Programm zur Berechnung von Monte-Carlo-P-Werten für einen von Ihnen gewählten Test auf Normalität; siehe Abschnitt 8.3. Erzeugen Sie nun entsprechende Monte-Carlo-P-Werte sowie Normalverteilungsplots für die Datenvektoren in ‘SIDS weight.txt’ und ‘SIDS age.txt’.

9 Vergleich zweier Stichproben n In diesem Kapitel geht es um den Vergleich zweier Datenvektoren X = (Xi )m i=1 und Y = (Y j ) j=1 mit Komponenten Xi ,Y j ∈ X . Die Frage ist, ob zwischen diesen Vektoren signifikante Unterschiede bestehen. Wir beschreiben zunächst drei Situationen, in denen diese Fragestellung auftaucht.

Situation 1 (randomisierte Studien) Man unterteilt eine Gruppe von m + n Versuchseinheiten (z.B. Versuchstiere, Personen) rein zufällig in zwei Teilgruppen der Größe m bzw. n. Die erste Teilgruppe wird einer Behandlung A und die zweite Teilgruppe einer Behandlung B unterzogen (beispielsweise zwei verschiedene Medikamente, oder Medikament und Placebo). Danach ermittelt man für jede Versuchseinheit einen Messwert. Dies liefert die Werte X1 , . . . , Xm in der ersten und die Werte Y1 , . . . ,Yn in der zweiten Teilgruppe. Bei der Modellierung dieser Daten gibt es zwei mögliche Standpunkte: Situation 1a. Man betrachtet die m + n Versuchseinheiten als zufällige Stichprobe aus einer Grundgesamtheit. In diesem Falle betrachten wir die m + n Messwerte als stochastisch unabhängige Zufallsvariablen, wobei IP{Xi ∈ B} = P(B) und IP{Y j ∈ B} = Q(B) für B ⊂ X mit zwei unbekannten Verteilungen P, Q auf X . Diese Verteilungen P und Q beschreiben, wie eine aus der Grundgesamtheit zufällig herausgegriffene Versuchseinheit auf Behandlung A bzw. B reagiert. Situation 1b. In manchen Studien ist es fraglich, ob und für welche Population die m + n Versuchspersonen repräsentativ sind. Wenn beispielsweise Probanden für eine Studie per Aushang und Anzeige gesucht werden, woraufhin sich überwiegend junge Leute melden, dann sollte man mit Verallgemeinerungen auf die Gesamtbevölkerung vorsichtig sein. In dieser Situation kann man die in diesem Kapitel behandelten statistischen Tests verwenden, um Aussagen nur über die m + n Studienteilnehmer zu machen. Verallgemeinerungen auf bestimmte Grundgesamtheiten bleiben den Betrachtern anheimgestellt. Zur Modellierung der Daten: Nach Nummerierung der Studienteilnehmer gibt es unter der Nullhypothese, dass zwischen den Behandlungen A und B keinerlei Unterschiede bestehen, für Person k einen bestimmten Messwert Wk ∈ X , unabhängig davon, in welcher Behandlungsgruppe sie landete. Seien I(1) < I(2) < · · · < I(m) und J(1) < J(2) < . . . < J(n) die zufällig gewählten Nummern der Personen für Gruppe 1 bzw. 2. Dann erhält man die Daten Xi := WI(i) und Y j := WJ( j) . Anmerkung (Blindstudien) Bei randomisierten Studien sollten die Versuchspersonen nach Möglichkeit erst nachträglich erfahren, welche Behandlung angewandt wurde. In diesem Falle spricht man von Blindstudien. Anderenfalls besteht immer die Möglichkeit von Placebo-Effekten, wie

108

9 Vergleich zweier Stichproben

das nachfolgende Beispiel verdeutlicht. Wenn möglich, sollte sogar der betreuende Arzt zur Laufzeit noch nicht wissen, welche Person welcher Behandlung unterzogen wurde. Man spricht dann von Doppelblindstudien. Beispiel 9.1 Viele Menschen sind überzeugt davon, dass Vitamin C Erkältungen vorbeugt und sie heilt. Um dies zu überprüfen, führten Thomas Chalmers (Harvard) und Mitarbeiter eine randomisierte Studie durch, bei der 311 Personen zufällig in vier Gruppen eingeteilt wurden. Es sollte sowohl die vorbeugende als auch die heilende Wirkung von Vitamin C untersucht werden. Dazu erhielten alle Personen täglich sechs Kapseln mit Vitamin C bzw. einem Placebo. Wenn eine Person sich eine Erkältung zuzog, erhielt sie sechs zusätzliche Kapseln mit Vitamin C bzw. Placebo. Gruppe 1 2 3 4

Prävention Placebo Vitamin C Placebo Vitamin C

Therapie Placebo Placebo Vitamin C Vitamin C

Ein auffallend hoher Prozentsatz der Versuchspersonen beendete vorzeitig die Teilnahme am Experiment, besonders in den Gruppen 1-3. Nachforschungen ergaben, dass viele Personen die Kapseln versehentlich oder absichtlich aufbrachen und am Geschmack der Substanz merkten, wenn es sich um das Placebo handelte (Vitamin C ist sauer, das Placebo war geschmacksneutral). Daraufhin wurden die Personen, die bis zum Ende durchhielten, nochmals aufgeteilt in die “Unwissenden”, die ihre Gruppenzugehörigkeit nicht herausfanden, und die “Wissenden”. Unter den “Unwissenden” hatte Vitamin C keinen merkbaren Effekt, weder zur Prävention noch zur Therapie. Bei den “Wissenden” gab es in den Gruppen 2 und 4 die wenigsten Erkältungen, und in den Gruppen 3 und 4 die kürzesten Erkältungen!

Situation 2 (Studien mit ‘historischer Kontrolle’) Man vergleicht die Ergebnisse zweier Studien, in denen m bzw. n Versuchseinheiten einer Behandlung A bzw. B unterzogen wurden. Die Daten kann man wie in Situation 1a modellieren.

Anmerkung. Vor Studien mit historischer Kontrolle muss man eindringlich warnen! Signifikante Unterschiede in den Datenvektoren können sowohl durch die Behandlungen als auch durch die Zusammensetzung der Versuchsgruppe erklärt werden, und letztere Ursache kann man mit statistischen Methoden nicht ausschließen. Beispiel 9.2 Um die Problematik von Studien mit historischer Kontrolle zu demonstrieren, sammelten Thomas Chalmers und Mitarbeiter Studien über bestimmte medizinische Behandlungen und klassifizierten diese nach der Art der Durchführung. Speziell verglichen sie randomisierte Studien und Studien mit historischer Kontrolle. Die folgende Tabelle enthält Resultate von Studien über fünf verschiedene medizinische Behandlungen. In den Spalten mit “+” und “−” wird angegeben, wieviele Studien die Behandlung empfehlen bzw. ablehnen.

109

Therapie Bypass-Operation Anticoagulantia 5-CU BCG DES

randomisiert + − 1 7 1 9 0 5 2 2 0 3

hist. Kontrolle + − 16 5 5 1 2 0 4 0 5 0

(Anticoagulantia wurden zur Prävention von Herzanfällen verabreicht; 5-CU bezeichnet eine Substanz zur Chemotherapie von Darmkrebs, BCG eine Substanz zur Chemotherapie von Hautkrebs; DiEthylStibestrol, ein künstliches Hormon, wurde zur Vermeidung spontaner Fehlgeburten verabreicht, versursacht aber bei manchen Töchtern nach circa 20 Jahren eine seltene Art von Vaginalkrebs.) Offensichtlich favorisieren die meisten Studien mit historischer Kontrolle die Behandlung, wohingegen die randomisierten Studien die Behandlung eher ablehnen. Man muss hier auch an den “Publikations-Bias” denken. Studien mit negativem Ergebnis werden oftmals nur publiziert, wenn sie früheren Studien oder landläufigen Meinungen widersprechen.

Situation 3 (Vergleich zweier (Teil-) Populationen) Situation 3a. Man vergleicht zwei Gruppen von Versuchseinheiten, die aus unterschiedlichen Grundgesamtheiten stammen (z.B. Personen gleichen Alters und Geschlechts aus zwei verschiedenen Regionen), hinsichtlich eines Merkmals mit Werten in X . Dabei sind die Gruppengrößen m und n fest vorgegeben. In diesem Fall kann man die Beobachtungen X1 , X2 , . . . , Xm in Gruppe 1 und Y1 ,Y2 , . . . ,Yn in Gruppe 2 wie in Situation 1a modellieren. Hier beschreiben P und Q die Verteilung des Merkmals in der jeweiligen Grundgesamtheit. Situation 3b. Man betrachtet eine Gruppe von N Versuchseinheiten. Nun erhebt man die Werte G1 , G2 , . . . , GN einer kategoriellen Variable mit zwei möglichen Ausprägungen sowie die Werte W1 ,W2 , . . . ,WN einer X –wertigen Variable. Anhand der Werte Gk werden die Versuchseinheiten in zwei Gruppen der Größen m und n unterteilt. Dann enthält X die Werte Wk für Gruppe 1 und Y diejenigen für Gruppe 2. In dieser Situation sind auch die Gruppengrößen m und n zufällig. Doch man bedingt auf ihre konkreten Werte und macht bei der statistischen Auswertung keinen Unterschied zwischen Situation 3a und 3b.

Anmerkung (Confounding) Ein konkretes Beispiel für Situation 3a oder 3b sind Studien, bei denen Raucher mit Nichtrauchern verglichen werden. Auch hier besteht die Gefahr einer Fehlinterpretation der Ergebnisse! Wenn die Beobachtungen in beiden Gruppen signifikant unterschiedlich sind, beweist dies nicht, dass das Rauchen diesen Effekt verursacht. Es könnte sein, dass die Gesamtheiten der Raucher und Nichtraucher auch im Hinblick auf andere Merkmale (z.B. Alter, Familienstand, sportliche Aktivitäten) unterschiedlich sind, und dass diese anderen Merkmale (confounder) die eigentliche Ursache für den besagten Effekt sind; siehe auch Kapitel 5.

110


9.1 Nichtparametrische Tests Die Annahme, dass zwischen den Stichproben X und Y kein wesentlicher Unterschied besteht, kann man wie folgt beschreiben: Nullhypothese Ho . sample)

Fasst man die Datenvektoren X und Y zu einer Gesamtstichprobe (pooled Z := (X1 , X2 , . . . , Xm ,Y1 ,Y2 , . . . ,Yn ) ∈ X m+n

zusammen, dann ist letztere in Verteilung austauschbar; siehe Abschnitt 8.4. Diese Nullhypothese ist für alle drei anfangs beschriebenen Situationen adäquat. Insbesondere kann man sie in Situation 1b anwenden. Testen kann man sie mit einem Permutationstest wie in Abschnitt 8.4 beschrieben. Wir wählen also eine Teststatistik T : X m × X n → R bzw. T : X m+n → R, die augenscheinliche Unterschiede zwischen X und Y quantifiziert, und berechnen π (X, Y) := # σ ∈ Sm+n : T (σ Z) ≤ T (X, Y) (m + n)!, πr (X, Y) := # σ ∈ Sm+n : T (σ Z) ≥ T (X, Y) (m + n)! oder πz (X, Y) := 2 min π (X, Y), πr (X, Y) . Fishers exakter Test. Im einfachsten Fall ist X = {0, 1}. Beispielsweise steht “1” für den Erfolg und “0” für den Misserfolg einer medizinischen Behandlung. Man spricht dann von binären oder dichotomen Daten. Eine naheliegende Testgröße, die Unterschiede in den beiden Stichproben X und Y quantifiziert, ist X+ Y+ T (X, Y) := X¯ − Y¯ = − , m n wobei v+ := ∑ki=1 vi für einen beliebigen Vektor (vi )ki=1 . Der Permutationstest mit dieser Teststatistik ist Fishers exakter Test. Anstelle von X¯ − Y¯ kann man auch die einfachere Testgröße T (X, Y) := X+ verwenden. Denn m+n 1 X¯ − Y¯ = X+ − Z+ , mn n und Z+ = ∑m+n k=1 Zk bleibt unverändert, wenn man die Komponenten von Z permutiert. Die resultierenden P-Werte kann man mithilfe der hypergeometrischen Verteilung explizit berechnen: Da Z ein Vektor mit Z+ = X+ +Y+ Einsen und m + n − Z+ Nullen ist, ist m π (X, Y) = # σ ∈ Sm+n : ∑ Zσ (i) ≤ X+ (m + n)! i=1

m + n = # M ⊂ {1, 2, . . . , m + n} : #M = m, #(M ∩ {k : Zk = 1}) ≤ X+ m

Z+ m + n − Z+ m+n = ∑ , s m − s m s≤X+


111

wobei M der Menge {σ (1), σ (2), . . . , σ (m)} entspricht. Für πr (X, Y) muss man nur “≤ X+ ” durch “≥ X+ ” ersetzen. Alles in allem ergibt sich π (X, Y) = Hyp cdfm+n,Z+ ,m (X+ ) und πr (X, Y) = 1 − Hyp cdfm+n,Z+ ,m (X+ − 1). Beispiel (5.1, Forts.) In diesem Beispiel ging es um die Wirksamkeit eines oral verabreichten Medikaments zur Heilung eines bestimmten Hautausschlags. In einer randomisierten Studie mit 30 Probanden bekamen m = 15 Personen das Medikament und n = 15 Personen ein Placebo. In Gruppe 1 gab es X+ = 12 Heilungserfolge, in Gruppe 2 nur Y+ = 5. Der rechtsseitige P-Wert ist πr (X, Y) = 1 − Hyp cdf30,17,15 (11) = 0.0127, und der zweiseitige P-Wert beträgt πz (X, Y) = 0.0254. Man kann also mit einer Sicherheit von 95 % behaupten, dass das Medikament die Heilungschancen erhöht(e).

Anmerkung. Bei genauer Betrachtung sieht man, dass Fishers Test in engem Zusammenhang mit den Konfidenzschranken in Kapitel 5 steht. Wertet man nämlich die Vierfeldertafel

Gruppe 1 Gruppe 2

Wert 1

Wert 0

X+ Y+

m − X+ n −Y+

m n

Z+

m + n − Z+

m+n

wie dort beschrieben aus, dann ist der zweiseitige P-Wert nach Fishers exaktem Test strikt kleiner als α genau dann, wenn das zweiseitige Konfidenzintervall für den (?) Chancenquotienten den Wert Eins nicht enthält. Dass wir dennoch Fishers exakten Test hier behandeln, liegt an der Tatsache, dass die in Kapitel 5 beschriebenen Verfahren in Situation 1b nicht greifen. Wilcoxons Rangsummentest und der Mann-Whitney-U-Test. Nun betrachten wir Stichproben mit beliebigen reellen Werten Xi und Y j . Dies beinhaltet natürlich den Fall binärer Daten. Wir denken aber auch an physiologische Messwerte wie beispielsweise Cholesterinspiegel oder Blutdruck. Auch hier kann man einen Permutationstest von Ho mit Teststatistik T (X, Y) := X¯ − Y¯ oder T (X, Y) = X+ durchführen. Eine zweite Möglichkeit besteht darin, die Rohdaten in binäre Daten umzuwandeln, beispielsweise Z k := 1{Zk > Med(Z)}

für 1 ≤ k ≤ m + n,

und dann Fishers exakten Test anzuwenden. Ränge. Sowohl bei Wilcoxons Signed-Rank-Test in Kapitel 8 als auch bei Wilcoxons Rangsummentest, den wir gleich beschreiben, ersetzt man die Stichprobenwerte einer numerischen Variable durch Ränge. Das heißt, für Z = (Zi )Ni=1 ∈ RN ersetzt man die Zahl Zi durch ihren Rang Ri innerhalb von Z: Ri = Ri (Z) := #{ j : Z j < Zi } + #{ j : Z j = Zi }/2 + 1/2.

112


Für diese Vorgehensweise gibt es mehrere gute Gründe: • Die statistischen Ergebnisse werden invariant unter monoton wachsenden Transformationen der Rohdaten. Wenn beispielsweise alle Werte nichtnegativ sind und man sie logarithmiert oder durch ihre Quadratwurzel ersetzt, dann ändert dies nichts an ihren Rängen. • Die Ergebnisse werden robuster gegenüber Ausreißern. Wenn beispielsweise ein einzelner Wert stark abgefälscht wird, vielleicht durch versehentliches Weglassen eines Dezimalkommas, dann wirkt sich dies auf Summen von Rängen in der Regel schwächer aus als auf Summen von Rohwerten. • Man kann auch für ordinale Variablen Ränge berechnen. • Durch die Verwendung von Rängen anstelle von Rohwerten vereinfacht sich in vielen Fällen die Berechnung von exakten P-Werten. Dies wurde bereits im Zusammenhang mit dem Wilcoxon-Signed-Rank-Test demonstriert. Wilcoxons Rangsummentest. Nun betrachten wir den Rang Rk von Zk in Bezug auf die Gesamtstichprobe Z. Die Wilcoxon-Rangsummenstatistik ist definiert als TW (X, Y) :=

m

∑ Rk .

k=1

Man summiert also alle Ränge des Vektors X bezüglich der Gesamtstichprobe. Falls alle Komponenten von Z verschieden sind, ist der Rangvektor (R1 , R2 , . . . , Rm+n ) eine Permutation von (1, 2, . . . , m + n), und π (bzw. r) (X, Y) lässt sich schreiben als m + n . # M ⊂ {1, 2, . . . , m + n} : #M = m, ∑ z ≤ (bzw. ≥) TW (X, Y) m z∈M Die P-Werte hängen dann nur noch von den drei Größen m, n und TW (X, Y) ab. Approximative P-Werte. Sei Π eine rein zufällige Permutation von {1, 2, . . . , m + n} und stochastisch unabhängig von (X, Y). Dann ist

π (bzw. r) (X, Y) = IP TW (ΠZ) ≤ (bzw. ≥) TW (X, Y) Z . Aus einem allgemeineren Resultat am Ende dieses Abschnitts folgt, dass

IE TW (ΠZ) Z =

Var TW (ΠZ) Z =

m(m + n + 1) μW (m, n) := , 2 2 2 mn ∑m+n k=1 Rk − (m + n)(m + n + 1) /4

(m + n)(m + n − 1) mn(m + n + 1) ≤ σW (m, n)2 := 12 mit Gleichheit, falls alle Komponenten von Z verschieden sind. Dies liefert die standardisierte Testgröße (Z-Statistik) T (X, Y) − μW (m, n) T W (X, Y) := W σW (m, n)

9.1 Nichtparametrische Tests Laufalter 9.00 9.50 9.50 9.75 10.00 11.50 11.50 12.00 13.00 13.25 13.50

113 Rang 1 2.5 2.5 4 5 6.5 6.5 8 9 10 11

Beh.gruppe Train. Train. Train. Train. Train. Kontr. Kontr. Kontr. Train. Kontr. Kontr.

6.5 + 6.5 + 8.0 + 10.0 + 11.0 TW (X, Y) = 42

Tabelle 9.1: Berechnung von TW (X, Y) für Beispiel 1.3.

sowie die approximativen P-Werte π (X, Y) := Φ T W (X, Y) und

π r (X, Y) := Φ −T W (X, Y) .

Diese geben einen ersten Anhaltspunkt für die Plausibilität von Ho . Für große Werte von m und n arbeiten Softwarepakete mit solchen approximativen P-Werten. Beispiel (1.3, Forts.) Wir vergleichen die Laufalter der Kontrollgruppe (X) mit den Laufaltern in der Trainingsgruppe (Y). Unsere Arbeitshypothese ist, dass die Werte Xi tendenziell größer sind als die Werte Y j . Zur Berechnung der Ränge Rk ordnen wir die 11 Laufalter der gepoolten Stichprobe Z der Größe nach. Für die anschließende Berechnung von TW (X, Y) merken wir uns in der zusätzlichen Variable “Behandlungsgruppe”, aus welcher Teilstichprobe die einzelnen Werte Z(i) stammen; siehe Tabelle 9.1. Es ist μW (5, 6) = 5 × 12/2 = 30 und σW (5, 6)2 = 5 × 6 × 12/12 = 30, also σW (6, 5) ≈ 5.5. Dies ergibt die Z-Statistik T W (X, Y) = 2.191 und π r (X, Y) = 0.0142. Auch der exakte rechtsseitige P-Wert ist kleiner als fünf Prozent: πr (X, Y) = 0.0139. Man kann also mit einer Sicherheit von 95 Prozent behaupten, dass das Trainieren des Schreitreflexes das Laufalter reduziert(e). Beispiel 9.3 Bei 18 Personen mit Verdacht auf starke Verengung von Herzarterien wurde ein Belastbarkeitstest durchgeführt. Gemessen wurde die Zeit (in s), die sie auf einem Laufband, dessen Neigung und Geschwindigkeit nach einem bestimmten Zeitplan zunahmen, problemlos mithalten konnten. Desweiteren wurden die Herzarterien untersucht. Tabelle 9.2 enthält die Zeitwerte für Personen mit normalem Befund (“normal”) und für Personen, bei denen die drei Hauptherzarterien um mehr als 70 Prozent verengt waren (3VD, three vessel disease). Die Frage war, ob ein hoher Zeitwert auf einen normalen Befund schließen lässt. Dabei symbolisieren X ∈ R8 und Y ∈ R10 die Durchhaltezeiten von Personen mit normalem Befund ¯ also bzw. Befund 3VD. Hier ist μW (8, 10) = 8 × 19/2 = 76 und σW (8, 10)2 = 8 × 10 × 19/12 = 126.66, σW (8, 10) ≈ 11.255. Dies ergibt T W (X, Y) = 2.221

und π r (X, Y) = 0.0132.

114

9 Vergleich zweier Stichproben Zeit 594 600 636 638 684 708 750 750 786 810 840 864 978 990 1002 1014 1111 1320

Rang 1 2 3 4 5 6 7.5 7.5 9 10 11 12 13 14 15 16 17 18

Befund 3VD 3VD 3VD 3VD normal 3VD 3VD 3VD 3VD normal normal 3VD normal normal normal normal normal 3VD

5

+ 10 + 11 + 13 + 14 + 15 + 16 + 17 TW (X, Y) = 101

Tabelle 9.2: Berechnung von TW (X, Y) für Beispiel 9.3.

Auch der exakte rechtsseitige P-Wert ist kleiner als fünf Prozent. Mit einer Sicherheit von 95 Prozent kann man also behaupten, dass die Zeitwerte von Personen mit normalem Befund höher sind als die von Personen mit Befund 3VD.

Mann-Whitney-U-Test. Nun beschreiben wir einen anderen Zugang zum Vergleich von X und Y, der überraschenderweise zum gleichen Test führt. Angenommen, die m + n Zufallsvariablen X1 , . . . , Xm , Y1 , . . . , Yn sind stochastisch unabhängig, wobei die Xi eine unbekannte Verteilung P und die Y j eine unbekannte Verteilung Q haben. Dieses Modell passt zu den anfangs beschriebenen Situationen 1a und 3. Unsere Nullhypothese, dass die gepoolte Stichprobe Z austauschbar ist, entspricht hier der Annahme, dass P = Q. Eine theoretische Kenngröße, die den Unterschied zwischen P und Q quantifiziert, ist u(P, Q) := IP{X1 > Y1 } + IP{X1 = Y1 }/2. Im Falle von P = Q ist aus Symmetriegründen u(P, Q) = 1/2. Wenn dagegen P tendenziell auf größeren Werten als Q konzentriert ist, dann ist u(P, Q) größer als 1/2 und im Extremfall gleich Eins. Ein Schätzer für die unbekannte Kenngröße u(P, Q) ist U(X, Y)/(mn) mit der MannWhitney-U-Statistik m n U(X, Y) := ∑ ∑ 1{Xi > Y j } + 1{Xi = Y j }/2 . i=1 j=1


115

Man vergleicht also jede Komponente von X mit jeder Komponente von Y. Der Erwartungswert von U(X, Y)/(mn) ist gleich u(P, Q). Von daher bietet sich ein Permutationstest basierend auf der Testgröße U(X, Y) an. Dies liefert aber erneut den Wilcoxon-Rangsummentest, denn gemäß Aufgabe 9.3 ist m(m + 1) U(X, Y) = TW (X, Y) − . 2 Momente und Verteilungen von Permutationsstatistiken. Sei Π Laplace-verteilt auf der Menge SN aller Permutationen von {1, 2, . . . , N}. Nun betrachten wir die Zufallsvariable T :=

N

∑ ai bΠ(i)

i=1

mit festen Vektoren a = (ai )Ni=1 , b = (bi )Ni=1 aus RN . Solche Permutationsstatistiken tauchen beispielsweise beim Wilcoxon-Rangsummentest auf. Dort ist N = m + n,

ai = 1{i ≤ m},

bi = i,

(9.1)

wenn die Werte der Gesamtstichprobe Z paarweise verschieden sind. Lemma 9.1

a 2 − N a¯2 b 2 − N b¯ 2 , N −1

IE(T ) = N a¯ b¯ und

Var(T ) =

2 1/2 und v¯ := v /N für beliebige Vektoren v = (v )N aus RN . wobei v := ∑N + i i=1 i=1 vi

Für den Spezialfall (9.1) ergeben sich folgende Formeln: a¯ = m/N und b¯ = (N + 1)/2, also μW (m, n) := IE(T ) =

m(N + 1) . 2

Ferner ist a 2 = m und a 2 − N a¯2 = mn/N, sowie b 2 = N(N + 1)(2N + 1)/6 und b 2 − N b¯ 2 = N(N + 1)(N − 1)/12. Folglich ist σW (m, n)2 := Var(T ) =

mn(N + 1)(N − 1)/12 mn(N + 1) = . N −1 12

Beweis (Lemma 9.1) Für beliebige i, j, k, ∈ {1, 2, . . . , N} mit i = j ist IP{Π(i) = k} =

1 N

und

IP{Π(i) = k, Π( j) = } =

Folglich ist IE(bΠ(i) ) = b¯ und IE(T ) =

N

∑ ai IE(bΠ(i) )

i=1

=

N

∑ ai b¯

i=1

¯ = N a¯b.

1{k = } . N(N − 1)

116


Für die Berechnung der Varianz von T können wir ohne Einschränkung annehmen, dass a+ = b+ = 0. Denn man kann schreiben T − IE(T ) = und für jeden Vektor

v = (vi )N i=1

Var(T )

N

¯ ∑ ai (bΠ(i) − b)

i=1

¯2 ∑N i=1 (vi − v)

ist

N

∑ ai bΠ(i)

N

¯ ¯ Π(i) − b), ∑ (ai − a)(b

i=1

= v 2 − N v¯2 .

Im Falle von a+ = b+ = 0 ist

2

=

IE

=

∑ a2i IE

b2Π(i) +

N

N

N

k=1

i, j=1

=

=

i=1 N

i=1

1

N

∑

i, j=1

∑ a2i N ∑ b2k + ∑

i=1

1{i = j}ai a j IE bΠ(i) bΠ( j)

1{i = j}ai a j

=

a 2 b 2 a 2 b 2 + N N(N − 1)

=

a 2 b 2 . N −1

N 1 1{k = }bk b ∑ N(N − 1) k,=1

2 2 2 Denn für einen Vektor v mit v+ = 0 ist ∑N i, j=1 1{i = j}vi v j = v+ − v = − v .

9.2 Vergleich zweier Mittelwerte Nun beschreiben wir zwei klassische, auf Normalitätsannahmen beruhende Student-Verfahren. Die Komponenten von X und Y seien unabhängige Zufallsvariablen mit Xi ∼ N (μ, σ 2 ) bzw. Y j ∼ N (ν, τ 2 ). Dabei seien sowohl die Erwartungswerte μ, ν ∈ R als auch die Standardabweichungen σ , τ > 0 unbekannt. Angenommen, man möchte über die Differenz μ − ν etwas herausfinden. Nahelie¯ ν = Y¯ = X, gende Schätzer für die unbekannten Parameter sind die Stichprobenmittelwerte μ = S(X), τ = S(Y). sowie die Stichprobenstandardabweichungen σ Der Fall gleicher Standardabweichungen. Angenommen, wir wissen bzw. unterstellen, dass σ = τ. Dann kann man die Schätzer S(X) und S(Y) zu einem Schätzer S(X, Y) für σ zusammenfassen: S(X, Y)2 :=

n ¯ 2 ¯ 2 ∑m (m − 1)S(X)2 + (n − 1)S(Y)2 i=1 (Xi − X) + ∑ j=1 (Y j − Y ) = . m+n−2 m+n−2

¯ Y¯ und S(X, Y) stochastisch unabhängig, wobei Nach Satz 6.1 sind die drei Schätzer X, X¯ ∼ N (μ, σ 2 /m),

Y¯ ∼ N (ν, σ 2 /n)

und 2 (m + n − 2)S(X, Y)2 σ 2 ∼ χm+n−2 .

9.2 Vergleich zweier Mittelwerte

117

Insbesondere ist X¯ − Y¯ normalverteilt mit Mittelwert μ − ν und Varianz σ 2 /m + σ 2 /n = σ 2 (m + n)/(mn). Daraus ergibt sich, dass die Zufallsgröße mn X¯ − Y¯ − (μ − ν) m+n S(X, Y) student-verteilt ist mit m + n − 2 Freiheitsgraden. Dies liefert die untere (1 − α)-Vertrauensschranke m+n ¯ ¯ X − Y − tm+n−2;1−α S(X, Y), mn die obere (1 − α)-Vertrauensschranke m+n X¯ − Y¯ + tm+n−2;1−α S(X, Y) mn bzw. das (1 − α)-Vertrauensintervall m+n ¯ ¯ S(X, Y) X − Y ± tm+n−2;1−α/2 mn für μ − ν. Der allgemeine Fall: Welchs Methode. Der Fall, dass die Standardabweichungen σ und τ verschieden sein können ist überraschend schwierig und unter dem Begriff Behrens-Fisher-Problem bekannt. Hier gibt es keine exakten Vertrauensbereiche für μ − ν, aber ein von Welch vorgeschlagenes approximatives Verfahren ist schon bei moderaten Stichprobenumfängen m und n erstaunlich zuverlässig: Zunächst halten wir fest, dass 1/2 X¯ − Y¯ ∼ N (μ − ν, γ 2 ) mit γ := σ 2 /m + τ 2 /n . 2 1/2 Mit γ := σ /m + τ2 /n kann man zeigen, dass die Zufallsvariable X¯ − Y¯ − (μ − ν) γ approximativ student-verteilt ist mit γ4 k := σ 4 /(m2 (m − 1)) + τ 4 /(n2 (n − 1)) Freiheitsgraden, wenn m, n → ∞. Ersetzt man nun die unbekannten Größen γ, σ und τ durch und τ, dann erhält man eine geschätzte Anzahl die entsprechenden Schätzer γ, σ k von Freiheitsgraden und die folgenden approximativen (1 − α)-Vertrauensbereiche für μ − ν: Die untere Vertrauensschranke X¯ − Y¯ − t k;1−α γ, die obere Vertrauensschranke X¯ − Y¯ + t k;1−α γ bzw. das Vertrauensintervall

X¯ − Y¯ ± t k;1−α/2 γ .

118


Approximative Validität. Falls die Beobachtungen Xi und Y j zwar die angegebenen Erwartungswerte und Standardabweichungen haben, aber nicht normalverteilt sind, halten die obigen Vertrauensbereiche zumindest approximativ das vorgegebene Niveau, wenn m, n → ∞.

9.3 Vergleich zweier Poisson-Parameter In diesem Abschnitt beschreiben wir noch ein exaktes Verfahren, um den Quotienten zweier Poisson-Parameter abzuschätzen. Dieses Verfahren kommt in verschiedenen Experimenten mit Zellkulturen, die beispielsweise in der Biologie oder Onkologie durchgeführt werden, zum Einsatz. Mathematisch gesprochen, beobachtet man zwei stochastisch unabhängige Zufallsvariablen X und Y mit Verteilung Poiss(λ ) bzw. Poiss(μ). Dabei sind die Parameter λ , μ > 0 unbekannt, und man möchte Aussagen über den Quotienten λ /μ machen. Im Grunde genommen vergleichen wir also zwei Stichproben vom Umfang m = n = 1! Die Verteilungsannahme bedeutet, dass λ k −μ μ e für k, ∈ N0 . k! ! Nun betrachten wir die bedingte Verteilung von X, gegeben die Summe X + Y habe einen bestimmten Wert s. Bekanntlich ist X +Y nach Poiss(λ + μ) verteilt. Daher ist IP{X = k,Y = } = e−λ

IP(X = k | X +Y = s) = =

IP{X = k,Y = s − k} IP{X +Y = s} IP{X = k} IP{Y = s − k} IP{X +Y = s}

e−λ (λ k /k!) e−μ (μ s−k /(s − k)!) e−(λ +μ) (λ + μ)s /s!

s λ k μ s−k = k λ +μ λ +μ

s k = ρ (1 − ρ)s−k , k =

wobei

λ /μ . 1 + λ /μ Die bedingte Verteilung von X, gegeben X + Y = s, ist also eine Binomialverteilung mit Parametern s und ρ. Nun betrachten wir Konfidenzschranken für ρ wie in Kapitel 4: Für s ∈ N, k ∈ {0, 1, . . . , s} und α ∈ ]0, 1[ seien aα (k, s), bα (k, s) ∈ [0, 1] derart, dass für beliebige Parameter ρ ∈ [0, 1] und H ∼ Bin(s, ρ) gilt: IP ρ ≥ aα (H, s) ≥ 1 − α. IP ρ ≤ bα (H, s) ρ = ρ(λ /μ) :=

Dann ist auch

IP ρ ≥ aα (X, X +Y ) ≥ 1 − α. IP ρ ≤ bα (X, X +Y )

9.3 Vergleich zweier Poisson-Parameter

119

Denn IP ρ ≥ aα (X, X +Y ) ist gleich ∞

ρ ≥ aα (X, s) X +Y = s ≥

∑ IP{X +Y = s} IP

s=0

∞

∑ IP{X +Y = s} (1 − α)

s=0

= 1 − α,

und analog behandelt man die obere Schranke bα (X, X + Y ) für ρ. Diese Schranken kann man nun in Schranken für λ /μ umrechnen. Denn für x ∈ [0, ∞] und y ∈ [0, 1] ist x/(1 + x) = y genau dann, wenn x = y/(1 − y). Auf diese Weise erhalten wir also die untere und obere Konfidenzschranke aα (X, X +Y ) bα (X, X +Y ) bzw. 1 − aα (X, X +Y ) 1 − bα (X, X +Y ) oder das zweiseitige Konfidenzintervall a (X, X +Y ) α/2

bα/2 (X, X +Y )

, 1 − aα/2 (X, X +Y ) 1 − bα/2 (X, X +Y )

für λ /μ. Das Konfidenzniveau ist jeweils 1 − α. Beispiel 9.4 Zwei Kulturen mit Tumorzellen und identischer Anfangskonzentration c werden mit Chemotherapeutika A bzw. B versetzt. Nach einer gewissen Zeit misst man in einer Zählkammer für die erste Zellkultur X = 24 Zellen und die zweite Kultur Y = 7 Zellen. Die ermittelten Zellzahlen kann man als Poisson-verteilt mit unbekannten Parametern λ und μ betrachten. Diese Parameter sind proportional zu den Zellkonzentrationen der beiden Zellkulturen nach der Behandlung, und der Quotient λ /μ quantifiziert, wieviel wirksamer Substanz B im Vergleich zu Substanz A ist. Für α = 0.01 ergibt sich a0.005 (24, 31) = 0.533

und b0.005 (24, 31) = 0.930.

Wir können also mit einer Sicherheit von 99 Prozent davon ausgehen, dass 0.533 0.930 λ ∈ , = [1.141, 13.210]. μ 1 − 0.533 1 − 0.930 Insbesondere ist Substanz B signifikant wirksamer als Substanz A, wenngleich die untere Schranke recht nahe an Eins ist. Hätte man doppelt so große Zellzahlen ermittelt, also X = 48 und Y = 14, dann wäre das zweiseitige 0.99–Konfidenzintervall für λ /μ gleich [1.573, 8.384].

120


9.4 Übungsaufgaben Aufgabe 9.1 Wenden Sie Fishers exakten Test auf die zwei folgenden Datenbeispiele an. Beschreiben Sie jeweils Nullhypothese und Alternative.

(a) In einer Studie über Herzinfarkt wurde bei 45 Patienten nach einem akuten Herzinfarkt die relative Blutmenge, die von der linken Herzkammer in einer Phase ausgestoßen wird, bestimmt (EF = ejection fraction). Ein niedriger EF-Wert deutet auf einen beschädigten Herzmuskel hin. In der Folgezeit verstarben vier Patienten. Die folgende Tabelle stellt die Überlebensdaten dar, wobei die Patienten nach dem EF-Wert in zwei Gruppen unterteilt wurden. EF

verstorben

lebend

< 35% ≥ 35%

4 0

9 32

(b) In einer Studie über Chemotherapie von Ovarialkarzinomen wurden die Überlebenszeiten von 33 Frauen verglichen. Manche Personen wurden ein- bis viermal behandelt, andere mindestens zehnmal. Die folgende Tabelle gibt an, wieviele Personen nach fünf Jahren noch am Leben waren. Anz. Chemoth.

verstorben

lebend

1−4 ≥ 10

21 2

2 8

Aufgabe 9.2 Um die Beziehung zwischen Kochsalz-Konsum und hohem Blutdruck zu untersuchen, wurden zwei Gruppen von Versuchspersonen ausgewählt, von denen die eine Gruppe aus zehn Personen mit hohem Blutdruck, die andere aus zwölf Personen mit normalem Blutdruck bestand. Sie wurden für eine Woche isoliert, und es wurde ihre tägliche Na+ -Aufnahme gemessen. Dabei ergaben sich folgende Messwerte:

10.2 2.2 0.0 2.6

normal 45.8 63.6 1.8 0.0

43.1 0.0 0.0 3.7

92.8 54.8 51.6 61.7

hoch 34.7 84.5 62.2 250.8 11.0 39.1

Formulieren und testen Sie eine Nullhypothese mithilfe des Wilcoxon-Tests. Welchen Wert hat hier die Mann-Whitney-Statistik U(X, Y)? Aufgabe 9.3 (Wilcoxon- und Mann-Whitney-U-Statistik) Zeigen Sie, dass zwischen der Wilcoxon-Statistik TW (X, Y) und der Mann-Whitney-U-Statistik U(X, Y) folgender Zusammenhang besteht: TW (X, Y) =

m(m + 1) +U(X, Y). 2

Aufgabe 9.4 Betrachten Sie nochmals Beispiel 9.4. Angenommen man hätte X = 30 und Y = 4 Zellen gefunden. Wie sähe dann ein zweiseitiges 0.99–Konfidenzintervall für λ /μ aus?

10 Multiple Vergleiche und Tests auf Assoziation In Kapitel 9 behandelten wir den Vergleich zweier Datenvektoren. Eine naheliegende Verallgen(i) meinerung ist der Vergleich von K ≥ 2 Datenvektoren Yi = (Yi, j ) j=1 , 1 ≤ i ≤ K, mit Komponenten Yi, j in einer Menge Y . Die Frage ist, ob zwischen diesen Vektoren signifikante Unterschiede bestehen. Eine einfache, aber oftmals erfolgreiche Methode basiert auf sogenannten multiplen Vergleichen und Adjustierungen, die wir in Abschnitt 10.1 behandeln. Dabei wendet man Vertrauensbereiche oder Tests für den Vergleich zweier Stichproben mehrfach an, berücksichtigt aber, dass mehrere solche Verfahren kombiniert werden. Oftmals handelt es sich bei solchen Vektoren Yi um Teile eines großen Datenvektors Y, die sich aus dem Wert einer weiteren, kategoriellen Variable X ergeben. Wenn nicht, kann man eine solche Datenmatrix mit Spalten X und Y wie folgt definieren: Y := Y1,1 , . . . , Y1,n(1) , Y2,1 , . . . , Y2,n(2) , . . . , YK,1 , . . . , YK,n(K) ∈ Y n, X := 1, . . . , 1, 2, . . . , 2, . . . , K, . . . , K ∈ X n, wobei n = n(1) + · · · + n(K) und X := {1, 2, . . . , K}. Die ursprüngliche Frage, ob zwischen den K Vektoren Yi signifikante Unterschiede bestehen, entspricht nun der zunächst vage formulierten Frage, ob zwischen X– und Y –Werten ein Zusammenhang besteht. Diese Frage werden wir im allgemeinen Fall einer Stichprobe von n Fällen behandeln, wobei für Fall Nummer i die Werte Xi ∈ X und Yi ∈ Y zweier Variablen vorliegen.

10.1 Bonferroni- und Holm-Adjustierungen Dieser Unterabschnitt widmet sich einem allgemeinen Problem, das nicht nur beim Vergleich mehrerer Stichproben auftritt: In vielen Studien berechnet man nicht einen, sondern mehrere Tests oder Konfidenzbereiche. Verwendet man jeweils eine obere Schranke α für das Risiko, eine falsche Aussage zu treffen, dann ist in der Regel das Risiko, irgendeinen Fehler zu begehen, höher als α. Mitunter möchte man aber sicherstellen, dass alle Teilaussagen simultan mit einer gewissen Sicherheit von 1 − α korrekt sind! Bonferroni-Adjustierung. Eine simultane Sicherheit von 1 − α für alle Teilaussagen kann man erreichen, indem man bei jeder Teilauswertung die Risikoschranke α durch α/m ersetzt, wenn m die Gesamtzahl aller Teilauswertungen ist. Etwas formaler: Sei Ai das Ereignis, dass man bei der i–ten Teilauswertung einen Fehler begeht. Wenn es sich um einen Konfidenzbereich für einen unbekannten Parameter θi handelt, dann ist Ai das Ereignis, dass θi außerhalb des besagten Konfidenzbereiches liegt. Geht es um den Test einer Nullhypothese Hi , dann ist Ai das Ereignis, dass diese zu Unrecht abgelehnt wird. Wenn

122

10 Multiple Vergleiche und Tests auf Assoziation

IP(Ai ) ≤ α/m für alle i, dann ist die Wahrscheinlichkeit, irgendeinen Fehler zu begehen, gleich m Ai ≤ IP

m

∑ IP(Ai )

≤ α.

i=1

i=1

Diese Adjustierungsmethode ist zwar recht grob, aber zuverlässig und führt in vielen Fällen zu brauchbaren Ergebnissen. Holm-Adjustierung. Falls es sich bei allen Teilauswertungen um Tests handelt, gibt es eine auf S. Holm (1970) zurückgehende Verfeinerung der Bonferroni-Adjustierung. Seien H1 , H2 , . . . , Hm die fraglichen Nullhypothesen und π1 , π2 , . . . , πm entsprechende P-Werte, πi = πi (Daten). Das heißt, für beliebige α ∈ ]0, 1[ und i = 1, . . . , m ist IP{πi ≤ α} ≤ α

sofern Hi zutrifft.

Die Bonferroni-Adjustierung lässt sich auch mit den adjustierten P-Werten (B)

πi

:= mπi

(B)

oder πi

:= min(mπi , 1)

beschreiben. (Das Abschneiden bei Eins hat nur ästhetische Gründe.) Mit einer Sicherheit von (B) 1 − α kann man behaupten, dass alle Nullhypothesen Hi mit πi ≤ α nicht zutreffen. Für die Holm-Adjustierung ordnet man die Nullhypothesen vorübergehend um: Seien π(1) H(1)

≤ π(2) , H(2)

≤ · · · ≤ π(m) , . . . , H(m)

die der Größe nach sortierten P-Werte und die entsprechenden Nullhypothesen. Dann definieren wir die adjustierten P-Werte (H) (H) π( j) := max (m + 1 − i)π(i) oder π( j) := min max (m + 1 − i)π(i) , 1 . i=1,2,..., j

i=1,2,..., j

(H)

(B)

Man kann sich leicht davon überzeugen, dass π(i) ≤ π(i) für alle i = 1, 2, . . . , m. Auch jetzt kann (H)

man mit einer Sicherheit von 1 − α behaupten, dass alle Nullhypothesen H(i) mit π(i) ≤ α nicht zutreffen. Beweis (Validität von Holms Methode) Angenommen, ≥ 1 der m Nullhypothesen sind korrekt. Durch entsprechende Nummerierung können wir annehmen, dass es sich um H1 , . . . H handelt. Deren Holm-adjustierte P-Werte sind nicht kleiner als min {π1 , . . . , π } . Denn in der sortierten Liste π(1) , π(2) , . . . , π(m) seien π(J1 ) , . . . , π(J ) die P-Werte der zutreffenden Nullhypothesen, wobei J1 < · · · < J . Für beliebige k ∈ {1, 2, . . . , } ist dann (H)

(H) 1)

π(J ) ≥ π(J k

≥ (m + 1 − J1 )π(J1 ) ≥ π(J1 ) = min {π1 , . . . , π }

10.1 Bonferroni- und Holm-Adjustierungen

123

nach Definition der Holm-adjustierten P-Werte und wegen J1 ≤ m + 1 − . Folglich ist IP eine der Hypothesen H1 , . . . , H wird abgelehnt ≤

IP min (π1 , . . . , π ) ≤ α/ ≤

∑ IP

πk ≤ α/ ≤

k=1

m

∑ α/m

= α.

k=1

Beispiel 10.1 Wir betrachten den Datensatz ‘StatWiSo2003.txt’ und die Variable ‘ZufZiffer’ mit Werten in {0, 1, . . . , 9}. Nun betrachten wir diesen Datensatz als zufällige Stichprobe aus der Grundgesamtheit aller Studierenden 2003 im Kanton Bern und definieren für j = 1, 2, . . . , 10 den Parameter p j := IP eine zufällig asugewählte Person wählt Ziffer j − 1 . Die in der Stichprobe beobachtete Häufigkeit N j der Ziffer j − 1 modellieren wir also als Zufallsvariable mit Verteilung Bin(n, p j ), n = 262. Nun berechnen wir simultane 95%-Konfidenzbereiche für diese m = 10 Parameter p j . Das heißt, für jedes p j berechnen wir ein Konfidenzintervall [a j , b j ] = a j (N j ), b j (N j ) mit Vertrauensniveau 1 − 0.05/10 = 0.995. Dann können wir mit einer Sicherheit von 95% davon ausgehen, dass alle 10 Intervalle [a j , b j ] den entsprechenden Parameter p j enthalten. Tabelle 10.1 enthält die Daten N j , die Punktschätzer p j = N j /n und die Vertrauensschranken a j , b j . Insbesondere kann man mit einer Sicherheit von 95% behaupten, dass die Ziffern 0, 1 und 2 seltener und die Ziffer 7 deutlich häufiger als bei rein zufälliger Auswahl (p j = 0.1) auftreten. j−1

Nj

p j

aj

bj

0 1 2 3 4 5 6 7 8 9

8 6 12 32 25 23 28 70 41 17

0.0305 0.0229 0.0458 0.1221 0.0954 0.0878 0.1069 0.2672 0.1565 0.0649

0.0088 0.0051 0.0175 0.0720 0.0516 0.0460 0.0602 0.1942 0.0995 0.0298

0.0736 0.0625 0.0945 0.1890 0.1572 0.1479 0.1709 0.3503 0.2286 0.1194

Tabelle 10.1: Simultane 95%-Vertrauensintervalle für p j in Beispiel 10.1.

Angenommen, uns interessiert ausschließlich, welche Parameter p j in welche Richtung von 0.1 abweichen. Zu diesem Zweck testen wir simultan die 20 Nullhypothesen H j : p j ≥ 0.1

(1 ≤ j ≤ 10)

und H10+ j : p j ≤ 0.1

(1 ≤ j ≤ 10)

auf dem Niveau von 5%. Entsprechende P-Werte sind gegeben durch π j := Bin cdfn,0.1 (N j ) (1 ≤ j ≤ 10)

124


und π10+ j := 1 − Bin cdfn,0.1 (N j − 1) (1 ≤ j ≤ 10). (H)

Tabelle 10.2 enthält diese P-Werte und die entsprechenden Holm-adjustierten P-Werte πi . Wir können jetzt also mit einer Sicherheit von 95% behaupten, dass die Ziffern 0, 1 und 2 zu selten, die Ziffern 7 und 8 zu häufig gewählt werden. Im Vergleich mit den simultanen Konfidenzintervallen [a j , b j ] verlieren wir zwar Informationen darüber, wie stark die allfälligen Abweichungen der p j von 0.1 sind. Dafür zeigt sich aber, dass auch die beobachtete Häufigkeit der Ziffer 8 signifikant zu hoch ist, obwohl 0.1 im entsprechenden Vertrauensintervall liegt. (H)

j−1

Nj

πj

π10+ j

0 1 2 3 4 5 6 7 8 9

8 6 12 32 25 23 28 70 41 17

1.6149 · 10−5 1.0263 · 10−6 1.0367 · 10−3 0.9000 0.4534 0.2957 0.6896 1.0000 0.9984 0.0311

1.0000 1.0000 0.9996 0.1383 0.6276 0.7735 0.3847 1.4433 · 10−14 2.7580 · 10−3 0.9821

(H)

πj

π10+ j

2.9068 · 10−4 1.9499 · 10−5 0.0176 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.4659

1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 2.8866 · 10−13 0.0441 1.0000

Tabelle 10.2: Einzelne und Holm-adjustierte P-Werte für Beispiel 10.1.

(H)

Um die P-Werte πi “zu Fuß” zu bestimmen, muss man die 20 P-Werte der Größe nach sortieren, dann π(i) mit 21 − i multiplizieren (und bei Eins abschneiden) und schließlich das kumulative Maximum bestimmen. Speziell mit R ist dies unnötig, denn mit der Prozedur p.adjust kann man einen Vektor oder eine Matrix von P-Werten nach Bonferronis oder Holms Methode adjustieren. Beispiel 10.2 (Schnarchen und Herzkrankheiten) In einer Studie wurden 2484 Männer untersucht. Zum einen wurde festgestellt, ob eine Erkrankung des Herzens vorliegt (Y = 1) oder nicht (Y = 2). Desweiteren wurden sie anhand von Aussagen der Lebenspartner in vier Kategorien bezüglich ihres Schnarchens unterteilt, nämlich ‘nie’ (X = 1), ‘manchmal’ (X = 2), ‘oft, mindestens jede zweite Nacht’ (X = 3) oder ‘jede Nacht’ (X = 4). Die Frage war, ob und in welcher Richtung ein Zusammenhang zwischen dem Schnarchen (X) und dem Vorliegen einer Herzkrankheit (Y ) besteht. Die folgende Kontingenztafel enthält die Anzahl der Fälle für alle acht Kombinationen von X und Y: Schnarchen? Herzkrank? nie manchm. oft jede N. ja nein

24 1355

35 603

21 192

30 224

Nun möchten wir für jedes Paar (x1 , x2 ) von ganzen Zahlen 1 ≤ x1 < x2 ≤ 4 ein Konfidenzintervall für den Chancenquotienten IP{X = x1 ,Y = 1} IP{X = x2 ,Y = 2} ρx1 ,x2 := IP{X = x1 ,Y = 2} IP{X = x2 ,Y = 1}

10.1 Bonferroni- und Holm-Adjustierungen

125

angeben; siehe auch Kapitel 5. Dabei ist ρx1 ,x2 kleiner als Eins genau dann, wenn die relative Häufigkeit von Herzerkrankungen innerhalb der Teilpopulation [X = x1 ] kleiner ist als diejenige innerhalb von [X = x2 ]. Tabelle 10.3 zeigt in der dritten Spalte Schätzwerte für diese sechs Chancenquotienten. Dass alle Schätzer kleiner als Eins sind, ist ein Indiz dafür, dass es die Häufigkeit von Herzerkrankungen mit dem Wert von X zunimmt. In der vierten und fünften Spalte von Tabelle 10.3 sieht man die Grenzen von 95%– Konfidenzintervallen [ax1 ,x2 , bx1 ,x2 ] für ρx1 ,x2 . Dass in fünf von sechs Fällen die obere Schranke kleiner als Eins ist, bietet ein noch stärkeres Indiz für den besagten Zusammenhang. Möchte man aber eine Aussage simultan über alle sechs Chancenquotienten treffen, dann sollten die Konfidenzintervalle jeweils Konfi(B) (B) denzniveau 1 − 0.05/6 haben. Die entsprechenden Schranken ax1 ,x2 und bx1 ,x2 sieht man in der sechsten und siebten Spalte. Nun kann man mit einer Sicherheit von 95% behaupten, dass ρ1,2 , ρ1,3 , ρ1,4 und ρ2,4 strikt kleiner als Eins sind. (B)

(B)

x1

x2

ρ x1 ,x2

ax1 ,x2

bx1 ,x2

ax1 ,x2

bx1 ,x2

nie nie nie manchm. manchm. oft

manchm. oft jede N. oft jede N. jede N.

0.3053 0.1622 0.1325 0.5311 0.4338 0.8170

0.1721 0.0847 0.0726 0.2925 0.2520 0.4293

0.5334 0.3129 0.2393 0.9849 0.7504 1.5303

0.1417 0.0685 0.0594 0.2420 0.2111 0.3460

0.6382 0.3890 0.2897 1.2142 0.9001 1.8707

Tabelle 10.3: Einfache und simultane 95% Konfidenzschranken in Beispiel 10.2.

Angenommen uns interessiert primär, ob und gegebenenfalls welche Chancenquotienten ρx1 ,x2 von Eins abweichen, inklusive der Richtung. Das heißt, wir testen für jedes Paar (x1 , x2 ) von ganzen Zahlen 1 ≤ x1 < x2 ≤ 4 die Nullhypothesen H,x1 ,x2 : ρx1 ,x2 ≥ 1 und Hr,x1 ,x2 : ρx1 ,x2 ≤ 1. Dazu berechnen wir die entsprechenden P-Werte π,x1 ,x2 und πr,x1 ,x2 mit Fishers exaktem Test; siehe dritte und vierte Spalte von Tabelle 10.4. Diese adjustieren wir dann nach Holms Methode. Dabei ergeben sich die P-Werte in der fünften und sechsten Spalte von Tabelle 10.4. Wir können also auch nach dieser Auswertung mit einer Sicherheit von 95% behaupten, dass alle Chancenquotienten ρ1,2 , ρ1,3 , ρ1,4 und ρ2,4 kleiner als Eins sind. Nur über ρ2,3 und ρ3,4 können wir nach wie vor nicht viel sagen. Dies ist durchaus plausibel, denn man kann sich gut vorstellen, dass für einige Befragte die Unterscheidung zwischen ‘manchmal’ und ‘oft’ bzw. zwischen ‘oft’ und ‘jede Nacht’ schwierig war. (H)

(H)

x1

x2

π,x1 ,x2

πr,x1 ,x2

π,x1 ,x2

πr,x1 ,x2

nie nie nie manchm. manchm. oft

manchm. oft jede N. oft jede N. jede N.

7.8634 · 10−6 3.5406 · 10−8 5.2724 · 10−12 0.0222 1.2388 · 10−3 0.3010

1.0 1.0 1.0 0.9894 0.9995 0.7942

7.8634 · 10−5 3.8946 · 10−7 6.3268 · 10−11 0.1777 0.0111 1.0

1.0 1.0 1.0 1.0 1.0 1.0

Tabelle 10.4: Einfache und Holm-adjustierte P-Werte in Beispiel 10.2.

126


Anmerkung zu ein-bzw. zweiseitigen Tests. Die in Kapitel 8 eingeführten zweiseitigen P Werte πz (D) = 2 min π (D), πr (D) kann man als Spezialfall der Bonferroni-Adjustierung auffassen. Man kombiniert eigentlich zwei einseitige Tests mit P-Werten π (D) bzw. πr (D), jeweils mit einer einseitigen Arbeitshypothese, zu einem multiplen Test. Dies ist übrigens auch der Grund, warum wir uns im Falle von πz (D) ≤ α oft aus dem Fenster lehnen und eine Aussage über die Richtung des “Effekts” wagen. Bei Verwendung der Holm-Adjustierung sollte man stets mit einseitigen P-Werten wie in den vorangehenden Beispielen arbeiten. Anderenfalls würde man zwei Adjustierungsmethoden vermischen, und Aussagen über die Richtung von “Effekten” wären streng genommen unzulässig.

10.2 Tests auf Assoziation Je nach Anwendung betrachtet man den Vektor X als zufällig oder als fest. Wenn man beispielsweise eine Stichprobe von n Personen aus einer bestimmten Population betrachtet und für die i–te Person ihre Körpergröße Xi und ihren Intelligenzquotienten Yi ermittelt, dann kann man die Paare (Xi ,Yi ) als stochastisch unabhängige, identisch verteilte Zufallsvariablen betrachten. Andererseits denke man beispielsweise an ein Experiment, in welchem die Auswirkung einer bestimmten Substanz auf das Wachstum einer Zellkultur untersucht wird. Von n Zellkulturen mit identischer Anfangskonzentration wird die i–te Kultur mit der besagten Substanz in der Konzentration Xi versetzt, und nach einer bestimmten Zeit ermittelt man die Zellkonzentration Yi . Bei den X–Werten handelt es sich hier um willkürlich gewählte Einstellgrößen, während die Y –Werte zufällig sind. In beiden Fällen kann man die Annahme, dass zwischen X- und Y -Werten kein Zusammenhang besteht, wie folgt nichtparametrisch beschreiben: Nullhypothese Ho . Der Vektor Y ist gegenüber X austauschbar. Das heißt, das Paar (X, Y) ist eine X n × Y n –wertige Zufallsvariable, und für beliebige Permutationen σ ∈ Sn ist (X, σ Y) genauso verteilt wie (X, Y). Dabei bezeichnet σ Y den Vektor (Yσ (i) )ni=1 . Hier ist eine andere Formulierung dieser Nullhypothese: Sei Π eine rein zufällige Permutation von {1, 2, . . . , n}, die von den Datenvektoren X, Y stochastisch unabhängig ist. Dann ist (X, Y) genauso verteilt wie (X, ΠY). Die Nullhypothese Ho lässt sich ähnlich wie in Kapitel 8 mithilfe von Permutationstests überprüfen: Für eine gegebene Teststatistik T : X n × Y n → R verwendet man den links-, rechtsoder zweiseitigen P-Wert

# σ ∈ Sn : T (X, σ Y) ≤ T (X, Y) = IP T (X, ΠY) ≤ T (X, Y) X, Y , π (X, Y) := n!

# σ ∈ Sn : T (X, σ Y) ≥ T (X, Y) = IP T (X, ΠY) ≥ T (X, Y) X, Y πr (X, Y) := n! bzw. πz (X, Y) := 2 min π (X, Y), πr (X, Y) , je nach Fragestellung.

10.2 Tests auf Assoziation

127

Kontingenztafeln. Angenommen beide Variablen sind kategoriell, sagen wir, mit Werten Xi ∈ X = {1, 2, . . . , K} und Yi ∈ Y = {1, 2, . . . , L}. In diesem Falle kann man die Daten auf die KL Kenngrößen

(x ∈ X , y ∈ Y ) Nx,y = Nx,y (X, Y) := # i : Xi = x,Yi = y reduzieren und in Form einer Kontingenztafel darstellen: y x

1

2

···

L

1 2 .. .

N1,1 N2,1 .. .

N1,2 N2,2 .. .

··· ···

N1,L N2,L .. .

N1,+ N2,+ .. .

K

NK,1

NK,2

···

NK,L

NK,+

N+,1

N+,2

· · · N+,L

n

Dabei wurden noch Zeilen- und Spaltensummen hinzugefügt: L

Nx,+ :=

∑ Nx,y

= #{i : Xi = x}

K

bzw. N+,y :=

y=1

∑ Nx,y

= #{i : Yi = y}.

x=1

Beispiel (10.2, Forts.) Die vollständige Kontingenztafel für dieses Datenbeispiel sieht wie folgt aus:

Schnarchen? nie manchm. oft jede N.

herzkrank? ja nein 24 35 21 30

1355 603 192 224

1379 638 213 254

110

2374

2484

Statistische Analyse. Die Frage ist nun, wie man eine solche Kontingenztafel bewertet im Hinblick auf mögliche Assoziation zwischen den beiden Variablen. Aus Lemma 9.1, angewandt auf ai := 1{Xi = x} und bi := 1{Yi = y}, folgt, dass Nx,+ N+,y , (10.1) N x,y := IE Nx,y (X, ΠY) X, Y = n Nx,+ (n − Nx,+ )N+,y (n − N+,y ) Sx,y := . (10.2) Var Nx,y (X, ΠY) X, Y = n2 (n − 1) In der Tat ist die Zufallsvariable Nx,y (X, ΠY) bei gegebenen Datenvektoren X und Y hypergeometrisch verteilt mit Parametern n, Nx,+ und N+,y . Daher geben die standardisierten Werte (Z-Statistiken) Nx,y − N x,y Zx,y := Sx,y

128


einen ersten Anhaltspunkt dafür, ob ein Tabellenwert Nx,y verdächtig groß oder klein ist. Einzel-P-Werte und Bonferroni-Adjustierung. Eine Möglichkeit besteht darin, für jedes Paar (x, y) in der Menge X × Y einen Permutationstest basierend auf der Teststatistik Nx,y (X, Y) durchzuführen. Dies ist jeweils Fishers exakter Test und liefert den zweiseitigen P-Wert

πx,y (X, Y) := 2 min Hyp cdfn,Nx,+ ,N+,y (Nx,y ), 1 − Hyp cdfn,Nx,+ ,N+,y (Nx,y − 1) . Für große Werte von Nx,+ , n − Nx,+ , N+,y , n − N+,y ist dies in etwa identisch mit dem approximativen P-Wert πx,y := 2Φ(−|Zx,y |). Man muss allerdings berücksichtigen, dass wir insgesamt KL verschiedene P-Werte betrachten. Bei der Bonferroni-Adjustierung betrachtet man daher (B) (B) πxy (X, Y) := m πxy (X, Y) bzw. πxy (X, Y) := min m πxy (X, Y), 1 anstelle von πxy (X, Y), wobei

⎧ ⎪ KL ⎪ ⎪ ⎪ ⎨K m := ⎪ L ⎪ ⎪ ⎪ ⎩ 1

falls K, L > 2, falls K > L = 2, falls L > K = 2, falls K = L = 2.

Der Korrekturfaktor m anstelle von KL kommt dadurch zustande, dass π1,y (X, Y) = π2,y (X, Y) falls K = 2, πx,1 (X, Y) = πx,2 (X, Y) falls L = 2. Die hier beschriebene Methode ist nur eine von vielen Möglichkeiten. Ganz allgemein kann man aus der Kontingenztafel durch Zusammenfassen oder Weglassen mancher Ausprägungen eine oder mehrere Vierfeldertafeln erzeugen und diese mit Fishers exaktem Test auswerten. Im Falle mehrerer Vierfeldertafeln bzw. P-Werte sollte man noch eine Bonferroni- oder HolmAdjustierung anwenden. Chiquadrat-Test. Anstelle von einzelnen P-Werten kann man eine Testgröße verwenden, welche quantifiziert, wie unbalanciert die KL Werte Nx,y insgesamt sind. Eine Möglichkeit ist die Chiquadrat-Statistik (Nx,y − N x,y )2 . T (X, Y) := ∑ N x,y x∈X ,y∈Y Die Nullhypothese Ho wird abgelehnt, wenn der entsprechende rechtsseitige P-Wert πr (X, Y) kleiner oder gleich α ist. In diesem Fall kann man aber nur auf irgendeine Assoziation zwischen X- und Y -Werten schließen. Aus Gleichung (10.2) kann man ableiten, dass IE T (X, ΠY) X, Y =

∑

x∈X ,y∈Y

2 Sx,y

N x,y

=

n (K − 1)(L − 1). n−1


129

Also sollte T (X, Y) nicht viel größer als (K − 1)(L − 1) sein. Man kann zeigen, dass πr (X, Y) approximativ gleich πr (X, Y) := 1 − chi2 cdf(K−1)(L−1) (T (X, Y)) ist, falls alle Zeilensummen Nx,+ und Spaltensummen N+,y gegen ∞ konvergieren. Dabei bezeichnet chi2 cdfk die Verteilungsfunktion der Chiquadrat-Verteilung mit k Freiheitsgraden. Viele Softwareprogramme berechnen πr (X, Y) anstelle von πr (X, Y). Beispiel (10.2, Forts.) Eine erste Auswertung mit Fishers exaktem Test und Holms Adjustierung wurde bereits in Abschnitt 10.1 gezeigt. Mit der oben beschriebenen Methode kommt man zu ähnlichen Schlussfolgerungen: Tabelle 10.5 enthält die standardisierten Werte Zxy und die Bonferroni-adjustierten P-Werte 4π1y (X, Y) = 4π2y (X, Y). Mit Ausnahme von Schnarchkategorie ‘manchmal’ sind alle Werte |Zxy | verdächtig groß. Standardisierte Einträge Zxy : nie manchm. Y =1 Y =2

-7.273 7.273

1.506 -1.506

Bonferroni-adjustierte P-Werte: < 0.001 0.528

oft

jede N.

4.029 -4.029

6.035 -6.035

< 0.001

< 0.001

Tabelle 10.5: Komponentenweise Auswertung für Beispiel 10.2.

Betrachtet man die untersuchten Männer als repräsentative Stichprobe aus einer Population, dann kann man mit einer Sicherheit von 95 Prozent behaupten, dass der relative Anteil von herzkranken Personen unter den Nichtschnarchenden kleiner ist als in der Gesamtpopulation, und dass er unter den oft bzw. jede Nacht schnarchenden Personen höher ist. Auch der Wert der Chiquadrat-Teststatistik ist verdächtig groß: T (X, Y) = 72.782 bei drei Freiheitsgraden, was einen P-Wert kleiner als 0.0001 liefert. Wie schon gesagt, haben wir mit diesem Test nur irgendeine Assoziation zwischen Schnarchen und Herzkrankheit nachgewiesen. Eine weitere Möglichkeit, diese speziellen Daten auszuwerten, wird in Aufgabe 10.2 behandelt. Dort betrachtet man die Variable Y als ordinale Variable mit vier möglichen Werten. Dann bewertet man die Daten mithilfe des Wilcoxon-Rangsummentests.

Korrelation. Angenommen, wir betrachten numerische Variablen, also X = Y = R, und möchten gegebenenfalls nachweisen, dass die X- und Y -Werte “korreliert” sind. Dabei bedeutet positive Korrelation, dass größere X-Werte tendenziell zu größeren Y -Werten führen. Bei negativer Korrelation führen größere X–Werte tendenziell zu kleineren Y –Werten. Nachfolgend beschreiben wir einige Teststatistiken, die einen solchen Sachverhalt quantifizieren. Pearsons Korrelationskoeffizient. Der klassische Korrelationskoeffizient nach Pearson ist definiert als ¯ i − Y¯ ) ¯ i − Y¯ ) ∑ni=1 (Xi − X)(Y ∑n (Xi − X)(Y ρ (X, Y) := = i=1 . (n − 1)S(X)S(Y) ¯ 2 ∑nk=1 (Yk − Y¯ )2 ∑nj=1 (X j − X)

130


Dabei setzen wir stillschweigend voraus, dass S(X), S(Y) > 0. Aus der Cauchy-Schwarz-Ungleichung lässt sich ableiten, dass stets −1 ≤ ρ (X, Y) ≤ 1; siehe Aufgabe 10.3. Desweiteren ist ρ (X, Y) gleich Eins oder minus Eins genau dann, wenn alle Datenpaare (Xi ,Yi ) auf einer Geraden mit positiver bzw. negativer Steigung liegen. Pearsons Korrelationskoeffizient ist invariant unter affin linearen Abbildungen. Das heißt, für reelle Zahlen a, b, c, d mit b, d = 0 ist ρ (a + bXi )ni=1 , (c + dYi )ni=1 = sign(b) sign(d) ρ (X, Y). Bisher deuteten wir ρ (X, Y) mithilfe der n Punktepaare (Xi ,Yi ) ∈ R × R. Nun beschreiben wir noch eine geometrische Deutung im Rn : Die Vektoren := (Xi − X) ¯ ni=1 X stehen senkrecht zum Vektor

und

:= (Yi − Y¯ )ni=1 Y

1 := (1, 1, . . . , 1) ∈ Rn ,

sind also die orthogonale Projektion von X bzw. Y auf den (n − 1)–dimensionalen Vektorraum

1⊥ := v ∈ Rn : v 1 = 0 . Nun kann man schreiben: ρ (X, Y) =

Y X und Y . = cos Winkel zwischen X Y X

Für diese Teststatistik ρ (·, ·) möchten wir nun approximative P-Werte berechnen. Aus Lemma 9.1 folgt, dass IE ρ (X, ΠY) X, Y = 0 und Var ρ (X, ΠY) X, Y = (n − 1)−1 . √ Dies führt zu der standardisierten Größe n − 1 ρ (X, Y) und den approximativen P-Werten √ π (X, Y) = 1 − πr (X, Y) := Φ n − 1 ρ (X, Y) √ sowie πz (X, Y) := 2Φ − n − 1 |ρ (X, Y)| . Zusammenhang zwischen ρ und Regressionsgeraden. Eine bekannte graphische Methode, um den (linearen) Zusammenhang zwischen X– und Y –Werten zu visualisieren, ist die Berechnung einer Ausgleichsgerade (Regressionsgerade). Man ermittelt das eindeutige Paar ( a, b) ∈ R × R, welches die Quadratsumme n

∑ (Yi − a − bXi )2

i=1

minimiert. Konkrete Formeln für a und b, die in Kapitel 13 hergeleitet werden, sind: a = Y¯ + bX¯

¯ S(Y) ∑n Yi (Xi − X) und b = i=1 n ¯ 2 = ρ (X, Y) S(X) . ∑ j=1 (X j − X)

Der Korrelationskoeffizient ρ (X, Y) ist also proportional zum Steigungsparameter b.


131

Rangkorrelation. Man kann auch hier die Rohdaten durch Ränge ersetzen. Das heißt, man ersetzt Pearsons Korrelationskoeffizient ρ (X, Y) durch Spearmans Rangkorrelationskoeffizient ∑n Ri (X)Ri (Y) − n(n + 1)2 /4 . ρ Sp (X, Y) := ρ R(X), R(Y) = i=1 (n − 1)S(R(X))S(R(Y)) Dabei bezeichnen R(X) = (Ri (X))ni=1 und R(Y) = (Ri (Y))ni=1 die Rangvektoren von X bzw. Y. Sind alle Komponenten von X und alle Komponenten von Y paarweise verschieden, dann ist ρ Sp (X, Y) =

∑ni=1 Ri (X)Ri (Y) − n(n + 1)2 /4 . n(n2 − 1)/12

Ein Vorteil dieser Kenngröße liegt darin, dass sie im Vergleich zu Pearsons Koeffizient unempfindlich gegenüber Ausreißern ist. Ferner ist sie nicht nur affin sondern sogar monoton invariant. Das heißt, für streng monoton wachsende Funktionen f und g ist n n ρ Sp f (Xi ) i=1 , g(Yi ) i=1 = ρ Sp (X, Y). Auch hier erhält man approximative P-Werte, indem man standardnormalverteilte Zufallsvariable behandelt.

√ n − 1 ρ Sp (X, Y) wie eine unter Ho

Quadrantenkorrelation. Ein weiterer, ebenfalls monoton invarianter Korrelationskoeffizient ist ρ Q (X, Y) :=

1 n ∑ sign(Xi − Med(X)) sign(Yi − Med(Y)). n i=1

Man unterteilt also die Ebene R × R am Punkt (Med(X), Med(Y)) in vier Quadranten und vergleicht die Anzahl aller Datenpunkte (Xi ,Yi ) “rechts oben oder links unten” mit der Anzahl derer “links oben oder rechts unten”. Einen exakten P-Wert, der mit diesem Korrelationskoeffizienten eng zusammenhängt, erhält man mit Fishers exaktem Test, wenn man ihn auf die abgeleiteten binären Daten Xˇi := 1{Xi > Med(X)} und Yˇi := 1{Yi > Med(Y)} anwendet. Fishers Test für Korrelationskoeffizienten. Nun untersuchen wir noch ρ (X, Y) als Testgröße für ein parametrisches Modell. (par)

Nullhypothese Ho . Die Vektoren X und Y sind stochastisch unabhängig, und die Komponenten von Y sind unabhängig mit Verteilung N (μ, σ 2 ). Dabei sind μ ∈ R und σ > 0 unbekannte Parameter. Im vorigen Abschnitt sind uns bereits die approximativen P-Werte √ Φ ± n − 1 ρ (X, Y) begegnet. Für die hiesige parametrische Nullhypothese kann man sie in exakte P-Werte umwandeln:

132


Satz 10.1 (Fisher) (par) ist Unter Ho

√ n − 2 ρ (X, Y) T (X, Y) := 1 − ρ (X, Y)2

student-verteilt mit n − 2 Freiheitsgraden.

Mit der Verteilungsfunktion tcdfk (·) der Student-Verteilung tk ergeben sich hieraus die P-Werte π (X, Y) = 1 − πr (X, Y) := t cdfn−2 (T (X, Y)) sowie der entsprechende zweiseitige P-Wert πz (X, Y) = 2 t cdfn−2 −|T (X, Y)| .

Beweis (Satz 10.1) Da X und Y stochastisch unabhängig sind, betrachten wir X als festen Vektor, operieren also mit bedingten Wahrscheinlichkeiten, gegeben X. Wegen der Invarianz von ρ (·, ·) bezüglich affin linearer Transformationen können wir ohne Einschränkung annehmen, dass die Variablen Yi standardnormalverteilt sind. Nun wählen wir eine Orthonormalbasis b1 , b2 , . . . , bn des Rn derart, dass b1

=

n−1/2 (1, 1, . . . , 1) ,

b2

=

¯ X2 − X, ¯ . . . , Xn − X) ¯ . (n − 1)−1/2 S(X)−1 (X1 − X,

n Mit Zi := b i Y ist Y = ∑i=1 Zi bi und

ρ (X, Y) = Folglich ist

Z2 Z2 . = Y − Z1 b1 ∑ni=2 Zi2

√ √ Z2 n − 2 ρ (X, Y) n − 2 Z2 = = . n Z2 − Z2 1 − ρ (X, Y)2 (n − 2)−1 ∑ni=3 Zi2 ∑i=2 i 2

(10.3)

Nun verwenden wir die Tatsache, dass auch die Variablen Z1 , Z2 , . . . , Zn unabhängig und standardnormalverteilt sind. Dies ist die sogenannte Rotationsinvarianz der Standardnormalverteilung im Rn , die wir in Kapitel 11 noch begründen werden. Dann folgt direkt aus der Darstellung (10.3) und der Definition der Student-Verteilung die Behauptung des Satzes. Beispiel 10.3 Um den Effekt von Koffein auf einfache motorische Vorgänge zu untersuchen, wurde eine Doppelblindstudie durchgeführt. Dabei wurden 30 Probanden trainiert, eine Taste möglichst schnell wiederholt zu betätigen. Dann wurden sie rein zufällig in drei Gruppen von 10 Personen aufgeteilt, und die Gruppen erhielten unterschiedliche Dosen von Koffein (0, 100 and 200 mg). Zwei Stunden nach der Behandlung sollte jede Person die Taste eine Minute lang möglichst oft drücken. Tabelle 10.6 zeigt die Zahlen der Anschläge. Nun betrachten wir den Vektor Y aller 30 Anschlagszahlen und den Vektor X der entsprechenden Koffeindosierungen. Abbildung 10.1 zeigt ein Streudiagramm der Paare (Xi ,Yi ), wobei mehrfach auftretende Paare durch leichtes Variieren der X-Werte unterscheidbar gemacht wurden. Man sieht schon mit bloßem

10.3 Übungsaufgaben

133

Auge eine positive Korrelation zwischen X- und Y -Werten, wenn auch die Streuung innerhalb der Gruppen vergleichbar mit Unterschieden zwischen den Gruppen ist. Zusätzlich wurde die Regressionsgerade eingezeichnet, die erwartungsgemäß positive Steigung hat. par Nun testen wir die Nullhypothese Ho auf dem Niveau von α = 0.01. Pearsons Teststatistik ist gleich ρ (X, Y) = 0.5597. Daraus ergibt sich die Student-Teststatistik T (X, Y) = 3.5742, und der entsprechende par zweiseitige P-Wert ist πz (X, Y) = 2 tcdf28 (−3.5742) = 0.0013. Wir verwerfen also Ho auf dem Niveau von einem Prozent und behaupten stattdessen, dass eine positive Korrelation zwischen Koffeindosis und Anschlagszahlen vorliegt. Da viele Y –Werte identisch sind, sollte man sich nicht auf Fishers Test verlassen, sondern eher die nichtparametrische Nullhypothese, dass Y gegenüber √ X austauschbar ist, testen: Pearsons Teststatistik liefert den Z-Wert n − 1 ρ (X, Y) = 3.0142, und dies ergibt den approximativen P-Wert 2Φ(−3.0142) = 0.0026. Mit Hilfe von 9999 Simulationen einer Zufallspermutation von Y ergab sich ein Monte-Carlo-P-Wert von 0.0011. Wir verwerfen also auch die nichtparametrische Nullhypothese auf dem Niveau von einem Prozent. Die gleichen Schlussfolgerungen ergeben sich bei Verwendung von Rängen: Hier ist ρ Sp (X, Y) = 0.5367, √ was den Z-Wert n − 1 ρ Sp (X, Y) = 2.8905 und den approximativen P-Wert 2Φ(−2.8905) = 0.0038 liefert. Mit Hilfe von 9999 Simulationen ergab sich ein Monte-Carlo-P-Wert von 0.0028.

Gruppe 1 Gruppe 2 Gruppe 3

(0 mg) (100 mg) (200 mg)

242 248 246

245 246 248

244 245 250

248 247 252

247 248 248

248 250 250

242 247 246

244 246 248

246 243 245

242 244 250

Tabelle 10.6: Daten für Beispiel 10.3.

10.3 Übungsaufgaben Aufgabe 10.1 Eine Auswertung aller in den Jahren 1942-1952 in Australien gemeldeten Geburten ergab folgende Informationen über das Alter der Mütter und das Auftreten einer Trisomie 21 (Down-Syndrom, Mongolismus) bei den Neugeborenen: Alter der Mutter

Neugeborene mit Trisomie 21

Neugeborene total

< 20 20 − 24 25 − 29 30 − 34 35 − 39 40 − 44 > 44

15 128 208 194 297 240 37

35555 207931 253450 170970 86046 24498 1707

Nun betrachten wir die absoluten Häufigkeiten N1 , N2 , . . . , N7 von Neugeborenen mit Trisomie 21 in den sieben Altersgruppen der Mütter als stochastisch unabhängige Zufallsvariablen mit Ni ∼ Bin(ni , pi ), wobei wir auf die Gesamtzahlen n1 , n2 , . . . , n7 von Geburten in den sieben Altersgruppen bedingen. Die Parameter p1 , p2 , . . . , p7 ∈ ]0, 1[ sind unbekannt.


242

244

246

248

250

252

134

0

100

200

Abbildung 10.1: Regressionsanalyse für Beispiel 10.3.

Berechnen Sie simultane 95%-Vertrauensintervalle für diese Parameter p1 , p2 , . . . , p7 . Was können Sie über die Differenzen p j − pi , 1 ≤ i < j ≤ 7, aussagen? Betrachten Sie nun die Daten alternativ als (modifizierte) Kontingenztafel, basierend auf dem ordinalen Merkmal X = ‘Altersgruppe der Mutter’ und dem dichotomen Merkmal Y = ‘Vorliegen von Trisomie 21’. Werten Sie die Daten mit multiplen Tests (z.B. nach Fisher) und Bonferroni- oder Holm-Adjustierung aus. Führen Sie zwecks Illustration auch den Chiquadrat-Test auf Assoziation durch. Aufgabe 10.2 Betrachten Sie nochmals das Datenbeispiel 10.2. Man hat eine ordinale Variable ‘Schnarchen’ mit Werten 1 für ‘nie’, 2 für ‘manchmal’, 3 für ‘oft’ und 4 für ‘jede Nacht’. Eine zweite Variable ist ‘Herzkrankheit’ mit Werten 1 für ‘ja’ und 2 für ‘nein’. Testen Sie die Nullhypothese, dass zwischen diesen zwei Variablen kein Zusammenhang besteht, auf dem Niveau α = 0.05 mithilfe des Wilcoxon-Rangsummentests, indem Sie den Datensatz anhand von ‘Herzkrankheit’ in zwei Teile aufspalten und die Werte von ‘Schnarchen’ innerhalb der beiden Teilgruppen vergleichen. Genau genommen, müssen Sie die Kontingenztafel erst in eine geeignete Datenmatrix bzw. geeignete Datenvektoren umwandeln.


135

Aufgabe 10.3 Seien X, Y ∈ Rn mit S(X), S(Y) > 0. Zeigen Sie mit Hilfe der Cauchy-Schwarz-Ungleichung, dass für Pearsons Korrelationskoeffizient ρ (X, Y) gilt: (a) −1 ≤ ρ (X, Y) ≤ 1, (b) ρ (X, Y) = 1 bzw. ρ (X, Y) = −1 genau dann, wenn die Punktepaare (Xi ,Yi ) auf einer Geraden mit positiver bzw. negativer Steigung liegen. Aufgabe 10.4 Der Datensatz ‘Cholesterol.txt’ enthält den Cholesterinspiegel und das Alter für zwei Gruppen von 11 bzw. 19 Frauen. Testen Sie gruppenweise parametrisch und nichtparametrisch zum Niveau α = 0.05, ob diese beiden Variablen korreliert sind. Kombinieren Sie Ihre Aussagen über die beiden Gruppen mithilfe der Bonferroni- oder Holm-Adjustierung. Aufgabe 10.5 Um festzulegen, in welcher Reihenfolge die Wehrpflichtigen eingezogen werden, verwendete das Militär der Vereinigten Staaten 1970 folgendes Losverfahren: In eine Lostrommel wurden 366 Lose gelegt, wobei jedes Los einen möglichen Geburtstag repräsentierte. Nun wurde im Laufe der Zeit aus dieser Lostrommel ohne Zurücklegen gezogen. Wehrpflichtige, deren Geburtstag dem neu gezogenen Los entsprach, wurden als nächste eingezogen. Später gab es Klagen, dass die Ziehungen nicht rein zufällig waren. Vielmehr seien Wehrpflichtige, die später im Jahr geboren waren, tendenziell früher eingezogen worden. Überprüfen Sie diesen Vorwurf mit einem geeigneten Test zu einem Niveau Ihrer Wahl. Die Daten befinden sich in ‘DraftLottery.txt’. Testen Sie ein- oder zweiseitig? Begründen Sie Ihr Vorgehen. Halten Sie hier die Anwendung eines statistischen Tests überhaupt für sinnvoll? Aufgabe 10.6 Betrachten Sie nochmals den Datensatz ‘Hamburg2000.txt’ und konzentrieren Sie sich auf die Damen. Vergleichen Sie die verschiedenen Altersklassen mit Hilfe des Wilcoxon-Rangsummentests und der HolmAdjustierung. Genauer: Betrachten Sie für jedes Paar (x1 , x2 ) zweier verschiedener Altersgruppen die einseitige Nullhypothese Hx1 ,x2 , dass die Laufzeiten in Altersklasse x1 genauso verteilt oder sogar tendenziell kürzer sind als diejenigen in Altersklasse x2 . Welche Unterschiede entdecken Sie auf dem Testniveau von α = 5% bzw. α = 1%?

11 Multivariate Beobachtungen In diesem Kapitel beschäftigen wir uns mit vektorwertigen Beobachtungen. Im Gegensatz zu früher ist es hier wichtig, zwischen Zeilen- und Spaltenvektoren zu unterscheiden. Vektoren in Rk betrachten wir stets als Spaltenvektoren bzw. als (k × 1)–Matrizen. Für eine beliebige Matrix ⎞ ⎛ B1,1 B1,2 . . . B1, ⎜B2,1 B2,2 . . . B2, ⎟ ⎟ ⎜ k× B = ⎜ . .. .. ⎟ = (Bi, j )i≤k, j≤ ∈ R . ⎝ . . . ⎠ Bk,1

...

Bk,2

bezeichnet B ihre Transponierte, ⎛ B1,1 B2,1 ⎜B1,2 B2,2 ⎜ B = ⎜ . .. ⎝ .. . B1,

Bk,

⎞ . . . Bk,1 . . . Bk,2 ⎟ ⎟ ×k .. ⎟ = (B j,i ) j≤, i≤k ∈ R . . ⎠ ...

B2,

Bk,

Für Vektoren v, w ∈ Rk ist v w = ∑ki=1 vi wi ihr Standardskalarprodukt, und die übliche Eukli 1/2 . Allgemeiner definieren wir die (Frobenius-) Norm dische Norm von v ist gleich v := v v 1/2 2 einer Matrix B als die Zahl B := ∑i, j Bi j .

11.1 Erwartungswerte und Kovarianzen Für eine reellwertige Zufallsvariable X sind ihr Erwartungswert IE(X) und ihre Varianz Var(X) zwei Kenngrößen, die ihr Verhalten grob charakterisieren. Wir erinnern an die Definition der Kovarianz zweier reellwertiger Zufallsvariablen X,Y mit IE(X 2 ), IE(Y 2 ) < ∞: Cov(X,Y ) := IE (X − IE(X))(Y − IE(Y )) =

IE(XY ) − IE(X) IE(Y )

=

Cov(Y, X),

und Var(X) = Cov(X, X). Für eine weitere Zufallsvariable Z mit IE(Z 2 ) < ∞ und feste Zahlen α, β ∈ R gelten folgende Rechenregeln: IE(α + β X) = α + β IE(X), Cov(α + β X,Y ) = β Cov(X,Y ), Cov(X +Y, Z) = Cov(X, Z) + Cov(Y, Z).

138

11 Multivariate Beobachtungen

Ferner ist Cov(X,Y ) = 0

falls X und Y stochastisch unabhängig sind.

Nun verallgemeinern wir diese Kenngrößen auf Zufallsmatrizen und -vektoren. Definition (Erwartungswert- und Kovarianzmatrizen) (a) Sei M = (Mi j )i≤k, j≤ ∈ Rk× eine Zufallsmatrix mit definiert als die Matrix ⎛ IE(M11 ) IE(M12 )

⎜IE(M ) IE(M ) ⎜ 21 22 IE(M) := ⎜ .. .. ⎜ μM ⎝ . . IE(Mk1 ) IE(M12 )

IE M < ∞. Der Erwartungswert von M ist ... ... ...

⎞ IE(M1 IE(M2 ⎟ ⎟ k× .. ⎟ ⎟ ∈ R . ⎠ . IE(Mk

Er wird also komponentenweise definiert. (b) Seien V = (V1 ,V2 , . . . ,Vk ) ∈ Rk und W = (W1 ,W2 , . . . ,W ) ∈ R zwei Zufallsvektoren mit IE(V 2 ), IE(W 2 ) < ∞. Die Kovarianz(matrix) von V und W ist definiert als die Matrix

Cov(V,W ) := IE (V − IE(V ))(W − IE(W )) ΣVW = =

IE(VW ) − IE(V ) IE(W ) Cov(Vi ,W j ) i≤k, j≤ ∈ Rk× ,

und die Kovarianz(matrix) von V ist die symmetrische Matrix

Var(V ) := Cov(V,V ) ∈ Rm×m . ΣVV Deren Diagonale enthält die Varianzen Var(V1 ), . . . , Var(Vk ).

Inwiefern sind nun diese Verallgemeinerungen IE(V ), Var(V ) und Cov(V,W ) nützlich? Zum einen kann man für beliebige feste Zahlen a ∈ R und Vektoren b ∈ Rk den Erwartungswert und die Varianz von a + bV direkt angeben. Und zwar folgt aus den anfangs genannten Rechenregeln, dass IE(a + bV ) = a + b IE(V ), Var(a + bV ) = b Var(V )b. Da Var(a + bV ) stets größer oder gleich Null ist, beweist diese Darstellung folgende Aussage: Var(V ) ist symmetrisch und positiv semidefinit. Im Falle eines Einheitsvektors b ist (bV ) · b die orthogonale Projektion von V auf die von b aufgespannte Gerade Rb. Dann ist Var(bV ) ein Maß dafür, wie stark die Zufallsfluktuation von V in Richtung von b ist. Die Matrix Var(V ) ist singulär genau dann, wenn b Var(V )b =

11.2 Korrelationsmaße

139

Var(bV ) = 0 für einen Einheitsvektor b. Letzteres ist gleichbedeutend damit, dass V mit Wahrscheinlichkeit Eins auf der Hyperebene H := v ∈ Rm : b v = b IE(V ) liegt. Diese Hyperebene enthält den Vektor IE(V ) und steht senkrecht zum Richtungsvektor b. Die obigen Formeln für Erwartungswert und Varianz von Linearformen von V kann man noch auf beliebige affin lineare Abbildungen verallgemeinern. Den Beweis der folgenden Formeln überlassen wir dem Leser als Übungsaufgabe. Lemma 11.1

Dann ist

∈ Rk× zufällige Matrizen mit endlichen Erwartungswerten IE(M), IE(M). (a) Seien M, M IE(M ) = IE(M)

und

= IE(M) + IE(M)

IE(M + M)

Ferner gilt für feste Matrizen A ∈ R p×q , B ∈ R p×k und C ∈ R×q : IE(A + BMC) = A + B IE(M)C. (b) Seien V, V ∈ Rk und W ∈ R Zufallsvektoren mit endlichen Erwartungswerten IE(V 2 ), IE(V 2 ) und IE(W 2 ). Dann ist Cov(W,V ) = Cov(V,W )

und

Cov(V + V ,W ) = Cov(V,W ) + Cov(V ,W ).

Ferner gilt für feste Vektoren a ∈ R p und Matrizen B ∈ R p×k : IE(a + BV )

=

a + B IE(V ),

Cov(a + BV,W )

=

B Cov(V,W ),

Var(a + BV )

=

B Var(V )B .

11.2 Korrelationsmaße In Kapitel 10 lernten wir bereits Korrelationskoeffizienten kennen. Diese dienten als Teststatistiken für die Nullhypothese, dass zwei numerische Variablen nicht assoziiert sind. In vielen Anwendungen ist man wenig überrascht, dass zwei Variablen assoziiert sind. Man möchte dann eher Kenngrößen definieren, die diesen Zusammenhang genau quantifizieren. Zu diesem Zweck führen wir in diesem Abschnitt diverse theoretische Korrelationskoeffizienten ein; “theoretisch” in dem Sinne, dass sie auf Kenngrößen von Verteilungen beruhen, die in der Regel unbekannt und aus Daten zu schätzen sind. Zunächst erinnern wir an die Definition der Korrelation: Für zwei reellwertige Zufallsvariablen X,Y mit IE(X 2 ), IE(Y 2 ) < ∞ definiert man ihre Korrelation als die Zahl Cov(X,Y ) Corr(X,Y ) . := ρXY Var(X) Var(Y ) Dabei setzen wir voraus, dass Var(X), Var(Y ) > 0. Der nächste Abschnitt gibt eine Interpretation dieser Kenngröße.

140


Lineare Prädiktion und multiple Korrelation. Wir betrachten nun ein Paar (X,Y ) von Zufallsvariablen X ∈ Rq , Y ∈ R und möchten quantifizieren, wie stark der Zusammenhang zwischen dem Vektor X und der Variable Y ist. Hierfür überlegen wir uns, inwiefern man den Wert von Y mithilfe des Vektors X vorhersagen kann. Genauer gesagt betrachten wir (affin) lineare Prädiktoren Yˇ = Yˇ (X) := a + b X von Y aus X. Dabei sind a ∈ R und b ∈ Rq feste Parameter. Mit X = (Xi )qi=1 lässt sich Yˇ auch schreiben als a + ∑qi=1 bi Xi . Das Ziel ist nun, diese Parameter so zu wählen, daß der mittlere (quadratische) Prädiktionsfehler IE (Y − Yˇ )2 möglichst klein wird. Dabei setzen wir voraus, daß IE(X2 ) und IE(Y 2 ) endlich sind. Ferner setzen wir voraus, daß die Kovarianzmatrix ΣXX von X nichtsingulär ist, also b ΣXX b > 0

für alle b ∈ Rq \ {0}.

Ansonsten könnte man eine oder mehrere Komponenten von X streichen, ohne Informationen zu verlieren. Das folgende Lemma gibt konkrete Formeln für den optimalen linearen Prädiktor. Satz 11.2 Für beliebige feste Zahlen a ∈ R und Vektoren b ∈ Rq gilt: (a) Es ist IE (Y − a)2 ≥ ΣYY mit Gleichheit genau dann, wenn a = μY . (b) Es ist IE (Y − Yˇ )2 ≥ ΣYY − ΣY X Σ−1 XX ΣXY mit Gleichheit genau dann, wenn a = μY − b μX

und

b = Σ−1 XX ΣXY .

Der optimale lineare Prädiktor hat also die Form Yˇ∗ = Yˇ∗ (X) = μY + ΣY X Σ−1 XX (X − μX ). Das folgende Lemma liefert eine bisweilen nützliche Charakterisierung von Yˇ∗ . Lemma 11.3 Ein linearer Prädiktor Yˇ = a + b X von Y aus X ist optimal genau dann, wenn IE(Y − Yˇ ) = 0

und

Cov(Y − Yˇ , X) = 0.

Teil (a) von Satz 11.2 besagt, dass μY ein optimaler konstanter Prädiktor von Y ist. Dies ist eine bekannte Tatsache und folgt aus der Formel IE((Y − a)2 ) = Var(Y ) + (IE(Y ) − a)2 . Nun kann man die Varianz von Y wie folgt schreiben: IE (Y − μY )2 = IE (Y − Yˇ∗ )2 + IE (Yˇ∗ − μY )2 .


141

2 Denn (Y − μY )2 = (Y − Yˇ∗ ) + (Yˇ∗ − μY ) ist gleich der Summe von (Y − Yˇ∗ )2 , (Yˇ∗ − μY )2 und 2(Y − Yˇ∗ )(Yˇ∗ − μY ), und nach nach Lemma 11.1 und Lemma 11.3 ist IE((Y − Yˇ∗ )(Yˇ∗ − μY )) = IE (Y − Yˇ∗ )(X − μX ) Σ−1 XX ΣXY = Cov(Y − Yˇ∗ , X)Σ−1 XX ΣXY = 0. Die Gesamtvariabilität von Y , IE (Y − μY )2 , ist also die Summe aus dem mittleren quadratischen Prädiktionsfehler IE (Y − Yˇ∗ )2 = ΣYY − ΣY X Σ−1 XX ΣXY und der Varianz des Prädiktors Yˇ∗ , IE (Yˇ∗ − μY )2 = ΣY X Σ−1 XX ΣXY . Der Quotient

ΣY X Σ−1 XX ΣXY ΣYY

gibt insofern an, welchen relativen Anteil der Variabilität von Y man “durch X erklären” kann. Definition (Multiple Korrelation) Die multiple (lineare) Korrelation zwischen X und Y ist definiert als die Zahl

Corr(Y ; X) ρY ;X

:=

ΣY X Σ−1 XX ΣXY ΣYY

⎧ IE (Y − Yˇ∗ )2 ⎪ ⎪ ⎪ , 1− ⎪ ⎪ IE (Y − μY )2 ⎨ = ⎪ ⎪ ⎪ IE (Yˇ∗ − μY )2 ⎪ ⎪ . ⎩ IE (Y − μY )2

Im Falle von q = 1 ist ρY ;X = |ρXY | mit der üblichen Korrelation ρXY zwischen X und Y . In diesem Fall kann man auch schreiben: 1/2 X − μX Yˇ∗ = μY + ρXY ΣYY . 1/2 ΣXX

Der Prädiktor Yˇ∗ und die Korrelation ρY ;X können natürlich nur berechnet werden, wenn die Kenngrößen ΣXX ΣXY μX und μY Σ ΣYY XY bekannt sind. In praktischen Anwendungen ist man in der Regel auf Schätzer hierfür angewiesen; siehe auch Abschnitt 11.3.

142


Beispiel 11.1 Der Datensatz ‘Exam.txt’ enthält Klausurergebnisse von 88 amerikanischen Studenten in fünf verschiedenen Fächern, nämlich Mechanik, Lineare Algebra, Algebra, Analysis und Statistik. Für einen “typischen” Studenten sei V = (X1 , X2 , X3 , X4 ,Y ) der Vektor seiner Klausurergebnisse. Mithilfe der Stichprobe ergeben sich folgende Schätzer für die relevanten Kenngrößen: ⎛ ⎞ 38.95 ⎜50.59⎟ ⎜ ⎟ X μ ⎜ ⎟ = ⎜50.60⎟ , ⎜ ⎟ Y μ ⎝46.68⎠ ⎛ Σ

XX Σ XY

Σ XY

=

Σ YY

42.31

305.77 ⎜ 127.22 ⎜ ⎜ ⎜ 101.58 ⎜ ⎝ 106.27 117.40

127.22 172.84 85.16 94.67 99.01

101.58 85.16 112.89 112.11 121.87

106.27 94.67 112.11 220.38 155.54

⎞ 117.40 99.01 ⎟ ⎟ ⎟ 121.87 ⎟ . ⎟ 155.54 ⎠ 297.76

Hieraus ergibt sich der empirische Prädiktor Y

=

b2 X2 + b3 X3 + b4 X4 a + b1 X1 +

=

−11.38 + 0.02 X1 + 0.03 X2 + 0.73 X3 + 0.32 X4 .

Der empirische multiple Korrelationskoeffizient ist ρ(Y ; X) = 0.6923. Wir werden später noch nachweisen, daß dieser Wert signifikant von Null verschieden ist. Doch andererseits ist ρ(Y ; X)2 = 0.4793. Eine genaue lineare Prädiktion von Y aus X scheint demnach nicht möglich, denn der Vektor X erklärt weniger als die Hälfte der Varianz von Y . Zu ähnlichen Ergebnissen gelangt man, wenn man die Prädiktion einer anderen Variable aus den vier übrigen untersucht. Hätte man festgestellt, dass sich ein Ergebnis sehr gut aus den anderen vier vorhersagen lässt, dann könnte man ja in Zukunft auf die entsprechende Klausur verzichten! Beweis (Satz 11.2) Wir konzentrieren uns auf Teil (b). Zum einen ist 2 IE (Y − Yˇ )2 = μY − IE(Yˇ ) + Var(Y − Yˇ ) 2 = μY − a − b μX + Var Y − a − b X 2 = μY − a − b μX + Var Y − b X ≥ Var Y − b X mit Gleichheit genau dann, wenn a gleich μY − b μX ist. Desweiteren ist = b ΣXX b − 2b ΣXY + ΣYY Var Y − b X =

b ΣXX b − 2b ΣXX Σ−1 XX ΣXY + ΣYY −1 b − Σ−1 ΣXX b − Σ−1 XX ΣXY XX ΣXY + ΣYY − ΣY X ΣXX ΣXY

≥

ΣYY − ΣY X Σ−1 XX ΣXY

=


143

mit Gleichheit genau dann, wenn b = Σ−1 XX ΣXY .

Beweis (Lemma 11.3) Für einen linearen Prädiktor Yˇ = a + b X ist IE(Y − Yˇ ) = 0 genau dann, wenn IE(Yˇ ) = a + b μX gleich μY ist, also Yˇ = μY + b (X − μX ). Ferner ist Cov(Y − Yˇ , X) = Cov(Y, X) − Cov(a + b X, X) = ΣY X − b Cov(X, X) = ΣY X − b ΣXX . Dies ist gleich Null genau dann, wenn b = Σ−1 XX ΣXY .

Partielle Korrelation. In Kapitel 5 (Ende Abschnitt 5.1) wurde bereits das Problem des ‘Confounding’ angesprochen. Im hiesigen Kontext bedeutet Confounding, dass zwei Variablen korreliert sind, dass diese Korrelation aber nur durch die Assoziation mit weiteren Variablen (Confoundern) bedingt ist. Um solche Effekte abzumildern betrachtet man mitunter partielle Korrelationen. Definition (Partielle Korrelation) Seien X ∈ Rq und Y, Z ∈ R Zufallsvariablen mit IE(X2 ), IE(Y 2 ), IE(Z 2 ) < ∞. Die partielle Korrelation von Y und Z gegeben X ist definiert als die Zahl

Corr(Y, Z | X) := Corr(Y − Yˇ∗ , Z − Zˇ ∗ ). ρY,Z | X Dabei sind Yˇ∗ = Yˇ∗ (X) und Zˇ ∗ = Zˇ ∗ (X) die optimalen linearen Prädiktoren von Y bzw. Z aus X.

Die Idee ist also, dass man von Y und Z jeweils den “von X erklärten Anteil” subtrahiert. Konkrete Formeln. Zum einen kann man leicht nachrechnen, dass Σ ΣY Z − ΣY X Σ−1 XX XZ . ρY,Z | X = ΣYY − ΣY X Σ−1 ΣZZ − ΣZX Σ−1 XX ΣXY XX ΣXZ

(11.1)

Speziell für q = 1, also X ∈ R, kann man dies noch wie folgt umformen: ρ − ρXY ρXZ ρY,Z | X = Y Z . 2 )(1 − ρ 2 ) (1 − ρXY XZ

(11.2)

Schließlich erwähnen wir noch folgende Tatsache, ohne sie zu beweisen: Sei V ∈ Rd ein Zufallsvektor mit endlichem Erwartungswert IE(V 2 ) und nichtsingulärer Kovarianzmatrix ΣVV , wobei d > 2. Dann gilt für 1 ≤ i < j ≤ d: −1 −(ΣVV )i j . Corr Vi ,V j (Vk )k∈{i, j} = −1 −1 (ΣVV )ii (ΣVV )jj

(11.3)

Man kann also aus der inversen Kovarianzmatrix von V sämtliche partiellen Korrelationen zweier Komponenten gegeben die übrigen d − 2 Komponenten ablesen.

144


Beispiel (11.1, Forts.) Mit V = (X1 , X2 , X3 , X4 ,Y ) ist die geschätzte Korrelationsmatrix gleich ⎛

i ,V j ) 5 Corr(V i, j=1

1.000 ⎜0.553 ⎜ ⎜ = ⎜0.547 ⎜ ⎝0.409 0.389

0.553 1.000 0.610 0.485 0.436

0.547 0.610 1.000 0.711 0.665

0.409 0.485 0.711 1.000 0.607

⎞ 0.389 0.436⎟ ⎟ ⎟ 0.665⎟ . ⎟ 0.607⎠ 1.000

(11.4)

Die Varianz eines Einzelergebnisses wird also zu 20-50 % durch ein beliebiges anderes Ergebnis erklärt. Dies könnte man sich so erklären, dass alle fünf Fächer zumindest teilweise ein und dieselben Grundfertigkeiten verlangen, beispielsweise logisches Denken, elementare Kenntnisse in Mathematik oder Resistenz gegen Klausurstress. Möchte man aber beurteilen, ob die Eigenheiten eines bestimmten Faches sich auf ein anderes auswirken, sollte man die partielle Korrelation dieser beiden Fächer gegeben die drei übigen schätzen. Die Inverse der geschätzten Kovarianzmatrix von V ist gleich ⎛ ⎞ 5.245 −2.435 −2.740 0.012 −0.143 ⎜−2.435 10.427 −4.708 −0.793 −0.166⎟ ⎜ ⎟ ⎜ ⎟ −1 Σ −2.740 −4.708 26.955 −7.049 −4.705⎟ . VV = 1000 · ⎜ ⎜ ⎟ ⎝ 0.012 −0.793 −7.049 9.883 −2.018⎠ −0.143 −0.166 −4.705 −2.018 6.450 Wendet man nun Formel (11.3) an, dann ergeben sich folgende partielle Korrelationen: ⎛ ⎞ 1.000 0.329 0.230 −0.002 0.025 ⎜ 0.329 1.000 0.281 0.078 0.020⎟ ⎜ ⎟ 5 ⎜ ⎟ Vi ,V j (Vk )k∈{i, j} = ⎜ 0.230 0.281 1.000 Corr 0.432 0.357⎟ . ⎜ ⎟ i, j=1 ⎝−0.002 0.078 0.432 1.000 0.253⎠ 0.025 0.020 0.357 0.253 1.000 Man sieht also, dass auch die geschätzten partiellen Korrelationen alle positiv oder nahe bei Null sind. Sie sind aber deutlich kleiner als die entsprechenden einfachen Korrelationen. Dies unterstreicht erneut, dass die betrachteten fünf Fächer recht unterschiedlich sind.

Kanonische Korrelation. Ein dritter Typ von Korrelationsmaß ist für Situationen, in welchen man den Zusammenhang zwischen zwei vektorwertigen Zufallsvariablen quantifizieren will. Seien X ∈ Rq , Y ∈ Rr Zufallsvektoren mit endlichen Erwartungswerten IE(X2 ), IE(Y 2 ) sowie nichtsingulären Kovarianzmatrizen ΣXX , ΣYY . Im Falle von r = 1 betrachteten wir den optimalen linearen Prädiktor Yˇ∗ = μY + b ∗ (X − μX ) von Y aus X, wobei b∗ = Σ−1 Σ . Die multiple Korrelation XX XY ΣY X Σ−1 XX ΣXY ρY ;X = ΣYY kann man auch schreiben als ρY ;X = Corr(b ∗ X,Y ) =

max Corr(b X,Y );

b∈Rq \{0}

(11.5)


145

siehe unten. Also sucht man eine Linearkombination b X von X, welche maximale Korrelation mit der Zufallsvariable Y hat. Diese neue Interpretation der multiplen Korrelation suggeriert folgende Verallgemeinerung für den Fall r ≥ 1: Definition (Kanonische Korrelation) Die (erste) kanonische Korrelation zwischen X und Y ist definiert als die Zahl

Corr(1) (X,Y ) := max Corr(b X, cY ). (1) b∈Rq \{0}, c∈Rr \{0} ρXY

Man sucht also nach Linearkombinationen b X und cY von X bzw. Y mit möglichst großer (1) Korrelation. Neben der Bestimmung von ρXY ist auch die Bestimmung entsprechender Vektoren b, c von Interesse; siehe unten. Beweis (von (11.5)) Für beliebige b ∈ Rq \ {0} ist −1/2

b ΣXX ΣXY b ΣXY Corr(b X,Y ) = = √ b ΣYY b ΣXX b ΣYY ±1/2

mit b := ΣXX b. Dabei ist ΣXX die eindeutige symmetrische, positiv definite Matrix, deren Quadrat gleich Σ±1 XX ist. Doch aus der Cauchy-Schwarz-Ungleichung folgt, dass −1/2 −1/2

b ΣXX ΣXY ΣXX ΣXY ΣY X Σ−1 XX ΣXY √ ≤ = √

Σ Σ b ΣYY YY YY 1/2

−1/2 mit Gleichheit genau dann, wenn b = ΣXX ΣXY , also b = b∗ .

−1/2

−1/2

(1)

Konkrete Formeln. Mit A := ΣXX ΣXY ΣYY ist ρXY der größte Singulärwert von A. Mit anderen Worten, (1) ρXY = λmax (A A) = λmax (AA ), wobei λmax (M) den größten Eigenwert einer symmetrischen Matrix M bezeichnet. Für beliebige b ∈ Rq \ {0} und c ∈ Rr \ {0} ist (1)

Corr(b X, cY ) = ρXY genau dann, wenn und

−1/2 b mit b = ΣXX

(1)

AA b = ρXY b

−1/2

(1)

c = ΣYY c mit A A c = ρXY c .

Diese Formeln kann man wie folgt herleiten: Zunächst ist Corr(b X, cY ) =

b ΣXY c b ΣXX b c ΣYY c

=

c b A b c

146


mit b := ΣXX b und c := ΣYY c. Aus der Cauchy-Schwarz-Ungleichung folgt, dass 1/2

1/2

A c c b A ≤ c b c mit Gleichheit genau dann, wenn b ein positives Vielfaches von A c ist. Ferner ist c A A c A c ≤ = λmax (A A) c c c c = λmax (A A) c. Man kann auch die Rollen von b und c mit Gleichheit genau dann, wenn A A vertauschen: Nach Cauchy-Schwarz ist

c A A b b c b A = ≤

b c b c b b, und mit Gleichheit falls c = A b A = b

b AA b ≤ λmax (AA )

b b

mit Gleichheit genau dann, wenn AA b. b = λmax (AA )

Beispiel (11.1, Forts.) Wir betrachten einerseits die Ergebnisse in den mathematischen Grundlagen, X = (X1 , X2 , X3 ) := (Lineare Algebra, Algebra, Analysis), und andererseits die Ergebnisse in den angewandten Fächern, Y = (Y1 ,Y2 ) := (Mechanik, Statistik). Für diese neue Aufteilung der fünf Variablen ist ⎛ 305.768 117.405 ⎜ 117.405 297.755 ⎜ Σ Σ ⎜ XX XY 127.223 99.012 YY = ⎜ ⎜ Σ Σ XY ⎝ 101.579 121.871 106.273 155.536

127.223 99.012 172.842 85.157 94.673

=Σ Σ −1/2 ist gleich −1/2 Σ Die entsprechende Matrix A XY YY XX ⎛ ⎞ 0.339 0.153 ⎟ = ⎜ A ⎝ 0.400 0.418 ⎠ . 0.342 0.213 Deren größter Singulärwert ist gleich

(1) ρXY = 0.787.

101.579 121.871 85.157 112.886 112.113

⎞ 106.273 155.536 ⎟ ⎟ ⎟ 94.673 ⎟ . ⎟ 112.113 ⎠ 220.380


147

Von Null verschiedene Vektoren b ∈ R3 und c ∈ R2 mit (1) b X, cY ) ρXY = Corr(

sind gegeben durch b

=

(0.176, 0.459, 0.365),

c

=

(0.798, 0.202).

Beispiel 11.2 Die Kondition gesunder Individuen kann man auf verschiedene Weisen quantifizieren. Zum einen geht es um die Fähigkeit, Energie zu verbrauchen. Da Energie- und Sauerstoffverbrauch gekoppelt sind, ist der maximale Sauerstoffverbrauch ein mögliches Maß für die Kondition. Andererseits könnte man die Zeit ermitteln, welche ein Individuum auf einem Laufband aushält, dessen Geschwindigkeit und Steigung nach einem fest vorgegebenen Zeitplan erhöht werden. Der Datensatz ‘Exercise.txt’ beinhaltet von 44 gesunden Männern, die regelmäßig (mindestens dreimal wöchentlich) Sport treiben, die Werte folgender Variablen: X1

:

Alter in Jahren,

X2

:

Körpergröße in Zentimetern,

X3

:

Körpergewicht in Kilogramm,

X4

:

maximaler Puls in Schlägen pro Minute,

Y1

:

Durchhaltezeit auf dem Laufband in Sekunden,

Y2

:

maximaler Sauerstoffverbrauch in Millilitern pro Sekunde und pro Kilogramm Körpergewicht.

Nun bestimmen (schätzen) wir die kanonische Korrelation zwischen dem Vektor X ∈ R4 der vier physiologischen Parameter und dem Vektor Y ∈ R2 der beiden Konditionsparameter. Auf eine Auflistung der diversen Hilfsmatrizen verzichten wir und geben direkt die Ergebnisse an: Die geschätzte (erste) kanonische Korrelation zwischen X und Y ist gleich (1) ρXY = 0.692. Entsprechende Linearkombinationen b X und cY mit dieser (geschätzten) Korrelation sind gegeben durch b

=

c =

(−0.537, 0.231, −0.169, 0.063) , (0.053, 0.947) .

Da die sechs Messwerte auf unterschiedlichen Skalen liegen, kann man die Komponenten von b und c nur schwer interpretieren, von ihren Vorzeichen mal abgesehen. Um etwas informativere Größen zu er XX )ii bzw. halten, betrachten wir stattdessen Vektoren b und c deren Komponenten proportional zu bi (Σ YY ) j j sind. Mit anderen Worten, wir reskalieren die Werte Xi und Y j derart, dass ihre Stichprobencj (Σ Standardabweichung jeweils gleich Eins ist. Es ist b = c =

(−0.606, 0.171, −0.150, 0.073) , (0.438, 0.562) .

(Die Vektoren wurden so skaliert, dass die Summe der Absolutbeträge ihrer Komponenten jeweils gleich Eins ist.) Man sieht nun, dass bei der ersten kanonischen Korrelation das Alter eine wesentliche und die

148


Pulsfrequenz nur eine untergeordnete Rolle spielt. Daraus kann man noch nicht ableiten, dass die multiple Korrelation zwischen Pulsfrequenz und der Kondition gering ist. Um dies abzuklären, geben wir noch die vier multiplen Korrelationen ρ(Xi ;Y ) sowie die Vektoren c des entsprechenden Prädiktors Xi = a+ cY an: Xi

ρ(Xi ;Y )

c

Alter Größe Gewicht Puls

0.680 0.272 0.088 0.437

(−0.033, −0.402) (0.003, 0.183) (0.012, −0.188) (0.018, 0.315)

11.3 Schätzung von Kovarianzen Wie in den vorangegangenen Beispielen schon angedeutet wurde, sind Erwartungswerte und Kovarianzen in der Regel unbekannt und müssen mit Hilfe von Stichproben geschätzt werden. Seien nun V1 , V2 , . . . , Vn und V stochastisch unabhängige und identisch verteilte Zufallsvektoren mit Werten in Rk . Im Zusammenhang mit Stichproben numeriert der Index meistens Beobachtungen und nicht Komponenten von Vektoren! Die n Vektoren Vi sind die momentan verfügbaren Beobachtungen, während V eine hypothetische (zukünftige) Beobachtung darstellt. Ein naheliegender Schätzer für IE(V ) = μV ist der Stichprobenmittelwert V := μ

1 n ∑ Vi . n i=1

Man ersetzt also unbekannte “Mittelwerte in der Population” durch Stichprobenmittelwerte. Ähnlich gehen wir bei der Schätzung von ΣVV = Var(V ) vor. Die Formel ΣVV = IE (V − μV )(V − μV ) suggeriert den Schätzer 1 n ∑ (Vi − μV )(Vi − μV ) . n i=1 Stattdessen verwendet man jedoch die Stichprobenkovarianzmatrix VV := Σ

1 n ∑ (Vi − μV )(Vi − μV ) . n − 1 i=1

Der Grund für den etwas größeren Normierungsfaktor (n − 1)−1 anstelle von n−1 ist folgende Gleichung: Lemma 11.4 n V )(Vi − μ V ) = (n − 1) ΣVV . IE ∑ (Vi − μ i=1

11.3 Schätzung von Kovarianzen

149

Beweis (Lemma 11.4) Ohne Einschränkung der Allgemeinheit sei μV = 0, also ΣVV = IE(VV ). Denn die Summanden (Vi − V ) bleiben unverändert, wenn man die Vektoren Vi durch Vi − μV ersetzt. Durch AusmultipliV )(Vi − μ μ zieren ergibt sich, daß n

∑ (Vi − μV )(Vi − μV )

=

i=1

also

n

∑ ViVi − nμV μV

n

1

n

∑ ViVi − n ∑

=

i=1

i=1

ViV j ,

i, j=1

n 1 n V )(Vi − μ V ) = nΣVV − ∑ IE(ViV j ). IE ∑ (Vi − μ n i, j=1 i=1

Doch aus der Formel IE(XY ) = IE(X) IE(Y ) für stochastisch unabhängige Zufallsvariablen X,Y ∈ R folgt, daß IE(ViV j ) = 1{i = j}ΣVV , also nΣVV −

1 n IE(ViV j ) = (n − 1)ΣVV . n i,∑ j=1

Schreibt man V = (X ,Y ) und Vi = (Xi ,Yi ) mit Vektoren X, Xi ∈ Rq und Y,Yi ∈ Rr , dann ist ΣXX ΣXY VV = ΣXX ΣXY , ΣVV = und Σ Σ ΣYY Σ Σ XY XY YY wobei XY = Σ

1 n ∑ (Xi − μX )(Yi − μY ) . n − 1 i=1

Nun möchten wir noch die Präzision der Stichproben-Kovarianzmatrix Die Präzision von Σ. ΣVV als Schätzer von ΣVV quantifizieren. Wie wir gleich zeigen werden, ist der Schätzfehler VV − ΣVV von der Größenordnung O p (n−1/2 ), sofern IE(V 4 ) endlich ist. Σ Genauer gesagt quantifizieren wir den Schätzfehler durch −1/2 −1/2 ΣVV Σ VV ΣVV − I

2

. −1/2

−1/2

Betrachtet man die standardisierten Zufallsvektoren W := ΣVV (V − μV ) und Wi := ΣVV (Vi − μV ), dann ist μW = 0, ΣWW = I und −1/2 −1/2 ΣVV Σ VV ΣVV − I = ΣWW − I.

Satz 11.5 VV die Stichprobenkovarianzmatrix der Vektoren V1 ,V2 , . . . ,Vn mit Kovarianzmatrix ΣVV . Mit obiSei Σ gem Zufallsvektor W ist IE W 4 k(n − k − 2) 2 −1/2 −1/2 − . = IE ΣVV ΣVV ΣVV − I n n(n − 1)

150


Beweis (Satz 11.5) WW − I2 berechnen müssen. ZuDie obigen Überlegungen zeigen, dass wir den Erwartungswert von Σ nächst ist 1 n 1 n WW − I = Σ WiWi − ∑ WiW j − I ∑ n − 1 i=1 n i, j=1 =

n 1 1 n (WiWi − I) − 1{i = j}WiW j . ∑ ∑ n i=1 n(n − 1) i, j=1

Für zwei Matrizen M, N gleicher Dimension sei

M, N :=

∑ Mab Nab

= Spur(M N).

a,b

2 Dann ist M2 = M, M, und IE Σ WW − I ist gleich 1 n2

n

∑

! " IE WiWi − I,W jW j − I

i, j=1 n

2

−

n2 (n − 1)

i,i , j =1 n

1 n2 (n − 1)2

+

∑

" ! 1{i = j } IE WiWi − I,Wi W j

∑

i, j,i , j =1

" ! 1{i = j}1{i = j } IE WiW j ,Wi W j .

Doch man kann leicht nachrechnen, dass für beliebige Indizes i, j, i , j mit i = j gilt: " ! = 1{i = j} IE(W 4 ) − k , IE WiWi − I,W jW j − I " ! = 0, IE WiWi − I,Wi W j ⎧ 2 ⎪ falls (i, j) = (i , j ), ⎨ k " ! = IE WiW j ,Wi W j k falls (i, j) = ( j , i ), ⎪ ⎩ 0 sonst. WW − I2 ein, dann ergibt sich, dass Setzt man diese Gleichungen in obigen Ausdruck für IE Σ WW − I IE Σ

2

=

IE(W 4 ) − k k2 + k IE(W 4 ) k(n − k − 2) + = − . n n(n − 1) n n(n − 1)

Kleinste-Quadrate-Schätzer. Wir betrachten nochmals lineare Prädiktoren. Ausgangspunkt sind unabhängige, identisch verteilte Paare (X1 ,Y1 ), (X2 ,Y2 ), . . . , (Xn ,Yn ) und (X,Y ) von Zufallsvariablen X(i) ∈ Rq und Y(i) ∈ R. Nun ersetzen wir den optimalen linearen Prädiktor Yˇ∗ = Yˇ∗ (X) durch Y X Σ −1 (X − μ Y + Σ X ) = a + Y = Y (X) := μ b X. XX Die Parameter a ∈ R und b ∈ Rq sind gleichzeitig Lösungen des Problems der kleinsten quadratischen Abweichungen: n

∑ (Yi − a− b Xi )2

i=1

=

n

∑ (Yi − a − b Xi )2 . a∈R, b∈Rq min

i=1

(11.6)

11.4 Hauptkomponenten

151

Dies kann man durch eine direkte Rechnung verifizieren, oder man wendet Satz 11.2 wie folgt an: Wir betrachten die Stichprobenelemente (Xi ,Yi ) vorübergehend als feste Objekte und definieren Zufallsvariablen X∗ := XJ , Y∗ := YJ , wobei J ein rein zufälliger Index aus {1, 2, . . . , n} ist. Dann ist n

∑ (Yi − a − b Xi )2

= n IE (Y∗ − a − b X∗ )2 ,

i=1

X , IE(Y∗ ) = μ Y sowie und IE(X∗ ) = μ XX n−1 Σ Cov(X∗ ,Y∗ ) Var(X∗ ) = Y X n Cov(Y∗ , X∗ ) Var(Y∗ ) Σ

XY Σ YY . Σ

Aus Satz 11.2 folgt dann direkt obige Aussage (11.6). Wendet man den Prädiktor Y nicht auf eine zukünftige Beobachtung X sondern auf die n Stichprobenvektoren Xi an, dann ergeben sich die Näherungswerte (predicted values, fitted values) Yi := a + b Xi . Mit diesen lässt sich der Schätzwert für den multiplen Korrelationskoeffizienten ρ(Y ; X) schreiben als # $ n $ ∑ (Yi − Yi )2 $ $ ρ(Y ; X) = $1 − i=1 . n % ∑ (Yi − Y¯ )2 i=1

Die Differenz in der Quadratwurzel ist der relative Anteil der Streuung in den Y –Werten, der durch die X–Werte “erklärt” wird. Gängige Statistik-Software bezeichnet diese Kenngröße mit “R2 ”.

11.4 Hauptkomponenten Die Beschreibung und Visualisierung hochdimensionaler Datenvektoren ist in der Regel schwierig, vor allem wenn keine Hintergrundinformationen verfügbar sind. In solchen Fällen versucht man häufig, die Datenvektoren in geeignete niedrigdimensionale Räume zu projizieren, so dass man sie mit vertrauten Methoden wie beispielsweise Histogrammen (Dimension 1), Scatterplots (Dimension 2) oder Rotationsplots (Dimension 3) untersuchen kann. Wir beschreiben nun die sogenannte Hauptkomponentenanalyse (principal component analysis, PCA) eines Zufallsvektors V ∈ Rk mit Kovarianzmatrix ΣVV . Schrittweise Definition von Hauptkomponenten. Im ersten Schritt möchten wir eine “möglichst interessante” Linearkombination β1V von V bestimmen. Dabei beschränken wir uns auf Einheitsvektoren β1 ∈ Rk . Eine Richtung β1 betrachten wir als möglichst interessant, wenn die

152


Varianz Var(β1V ) = β1 ΣVV β1 , also die Streuung von V in Richtung β1 , maximal ist. Die erste Hauptkomponente von V ist dann die entsprechende Linearkombination W1 := β1V. (Streng genommen ist W1 nicht eindeutig.) Im zweiten Schritt suchen wir einen weiteren Einheitsvektor β2 , so dass die Varianz β2 ΣVV β2 möglichst groß ist; allerdings verlangen wir außerdem, dass β2 auf β1 senkrecht steht. Diesen Prozess setzen wir fort und bestimmen schrittweise eine Orthonormalbasis β1 , β2 , . . . , βk des Rk : Im j-ten Schritt wählt man einen Einheitsvektor β j , so dass β j ΣVV β j maximal ist unter der Nebenbedingung, dass β j auf den Vektoren β1 , . . . , β j−1 senkrecht steht. Die j-te Hauptkomponente von V ist dann W j := β jV. Geschlossene Darstellung. Man kann die Hauptkomponenten W j auch in einem Schritt definieren. Zu diesem Zweck schreiben wir ΣVV =

k

∑ λ j β j β j

j=1

mit reellen Zahlen λ1 ≥ λ2 ≥ · · · ≥ λk ≥ 0 und einer Orthonormalbasis β1 , β2 , . . . , βk des Rk . Die Zahlen λ j sind Eigenwerte von ΣVV mit entsprechenden Eigenvektoren β j . Das heißt, ΣVV β j = λ j β j für 1 ≤ j ≤ k. Dies ist die sogenannte Spektraldarstellung von ΣVV . Man kann in der Tat zeigen, dass die Basisvektoren β j in einer Spektraldarstellung stets Lösungen für das obige schrittweise Verfahren sind; siehe Aufgabe 11.9. Umgekehrt liefern die Vektoren β j aus dem schrittweisen Verfahren stets eine Spektraldarstellung von ΣVV . Statistische und geometrische Interpretation. Wir betrachten den Vektor W := (W j )kj=1 aller Hauptkomponenten W j = β jV . Mit der Matrix B = (β1 , β2 , · · · , βk ) kann man auch schreiben W = BV, und B ist orthonormal; das heißt, B B = BB = I. Insbesondere ist W − μW = V − μV . Ferner ist ΣVV = B diag(λ1 , λ2 , . . . , λk )B , so dass ΣWW = B ΣVV B = diag(λ1 , λ2 , . . . , λk ). Die Hauptkomponenten Wi sind also paarweise unkorreliert, das heißt, Corr(Wi ,W j ) = 0 für i = j. Außerdem ist Var(Wi ) = λi monoton fallend in i. Man hofft nun, dass bereits wenige Hauptkomponenten W1 , . . . ,W wesentliche Eigenschaften von V wiederspiegeln. In der Tat ist

V () := μV + ∑ (Wi − IE(Wi ))βi i=1

(11.7)

11.4 Hauptkomponenten

153

die orthogonale Projektion von V auf den -dimensionalen affinen Teilraum &

'

μV + ∑ xi βi : x1 , . . . , x ∈ R i=1

Deutet man diesen Zufallsvektor V () als Approximation von V , dann ist der mittlere von quadratische Approximationsfehler gleich Rk .

IE V −V ()

2

= IE

k

∑

(Wi − IE(Wi ))βi

2

=

i=+1

k

∑

λi .

i=+1

Vergleicht man dies mit der mittleren Gesamtstreuung von V , IE V − μV 2 = IE W − μW 2 =

k

∑ λ j,

j=1

dann ergibt sich der relative mittlere Fehler k

∑

i=+1

λi

(

k

∑ λ j.

j=1

Oftmals ist dieser Quotient schon für niedrige Dimensionen recht klein. Das folgende Lemma, welches wir ohne Beweis angeben, zeigt, dass die spezielle Projektion (11.7) in einem gewissen Sinne optimal ist. Lemma 11.6 Sei Vo die orthogonale Projektion von V auf einen -dimensionalen affinen Teilraum des Rk . Dann ist IE V −Vo 2 ≥

k

∑

λi .

i=+1

Empirische Hauptkomponenten. Für die explorative Analyse k–dimensionaler Datenvektoren V1 , V2 , . . . , Vn ersetzt man die theoretischen Kenngrößen μV und ΣVV durch die entsprechenVV . Die geschätzten Eigenwerte V und Σ λi und Eigenvektoren βi von den Stichprobengrößen μ VV geben dann Aufschluss über die Struktur des Datensatzes. Σ Korrelationen anstelle von Kovarianzen. Wenn die Komponenten von V in unterschiedlichen Einheiten gemessen werden, sollte man sie zunächst standardisieren, sofern nicht andere Argumente für die Verwendung der üblichen euklidischen Norm · sprechen. Das bedeutet, dass wir anstelle von V = (Va )ka=1 den Vektor V mit Komponenten Va V a := Var(Va )

Va − IE(Va ) oder V a := Var(Va )

verwenden und dessen Hauptkomponenten analysieren. Die Kovarianzmatrix von V ist gleich k Var(V ) = Corr(Va ,Vb ) a,b=1 .

154


Beispiel (11.1, Forts.) Wir betrachten den Vektor V mit den Klausurergebnissen eines generischen Studenten in den Fächern Mechanik, Lineare Algebra, Algebra, Analysis und Statistik. Dabei transformieren wir die einzelnen Komponenten derart, dass ihre Stichprobenstandardabweichung jeweils gleich Eins ist. Die empirische KovaVV von V ist dann die Korrelationsmatrix (11.4). Nun zeigen wir deren Spektralzerlegung. rianzmatrix Σ ( i := ∑i λ λ j: Zunächst die Eigenwerte λi sowie die relativen Varianzanteile L ∑kj=1 a a=1 i

1

2

3

4

5

λi

3.181

0.740

0.445

0.388

0.247

L i

0.636

0.784

0.873

0.951

1.000

Nun die entsprechenden Eigenvektoren βi : 1

2

3

4

5

0.400 0.431 0.503 0.457 0.438

−0.645 −0.442 0.129 0.388 0.470

0.621 −0.705 −0.037 −0.136 0.313

−0.146 0.298 −0.109 −0.666 0.659

−0.131 −0.182 0.847 −0.422 −0.234

i βi

Die beiden ersten Hauptkomponenten sind für mehr als 75 % der Gesamtstreuung aller 88 (komponentenweise normierten) Datenvektoren verantwortlich. Die erste Hauptkomponente ist bis auf eine Skalenfaktor fast identisch mit der Summe ∑5a=1 Va . Die zweite Hauptkomponente versieht ‘Mechanik’ und ‘Lineare Algebra’ mit negativen Gewichten, die drei übrigen Komponenten mit positiven Gewichten. Ein mögliche Erklärung für dieses Muster ist die Tatsache, dass bei den Klausuren in den beiden erstgenannten Fächern keine Hilfsmittel (Bücher) zugelassen wurden, im Gegensatz zu den drei übrigen Fächern. Die dritte Hauptkomponente vergleicht die angewandten Fächer Mechanik und Statistik mit den mathematischen Grundlagenfächern. Beispiel (11.2, Forts.) Wir betrachten den Vektor V = (X ,Y ) mit X ∈ R4 und Y ∈ R2 für einen generischen Sportler, wobei auch hier die einzelnen Komponenten auf Stichprobenstandardabweichung Eins normiert wurden. Die i : Eigenwerte λi und relativen Varianzanteile L i

1

2

3

4

5

6

λi

2.970

1.631

0.700

0.333

0.263

0.102

L i

0.495

0.767

0.884

0.939

0.983

1.000

Die entsprechenden Eigenvektoren βi : i βi

1

2

3

4

5

6

0.500 −0.263 −0.065 −0.376 −0.517 −0.518

−0.046 −0.633 −0.726 0.220 0.098 0.110

0.184 −0.083 −0.065 −0.795 0.404 0.400

0.783 −0.139 0.269 0.420 0.260 0.228

0.317 0.699 −0.614 0.047 −0.131 0.124

−0.039 −0.127 0.125 −0.003 −0.689 0.702

11.5 Multivariate Dichtefunktionen

155

Auch hier sind die beiden ersten Hauptkomponenten für mehr als 75 % der Gesamtstreuung aller 44 (komponentenweise normierten) Datenvektoren verantwortlich. Die erste Hauptkomponente bezieht vor allem das Alter (X1 ), den Puls (X4 ), die Durchhaltezeit (Y1 ) sowie den Sauerstoffverbrauch (Y2 ) ein. Die zweite Hauptkomponente konzentriert sich dagegen mehr auf Größe (X2 ) und Gewicht (X3 ).

11.5 Multivariate Dichtefunktionen In Kapitel 7 führten wir Wahrscheinlichkeitsdichten als idealisierte Histogramme ein. Die gleichen Überlegungen kann man im Prinzip für multivariate Beobachtungen anstellen und landet bei multivariaten Wahrscheinlichkeitsdichten. Da die entsprechenden Integrationsmethoden für manche Leser vielleicht neu sind, werden zunächst die wichtigsten Tatsachen im folgenden Abschnitt erklärt. Integration im Rd . Wir betrachten eine Menge B ⊂ Rd sowie eine reellwertige Funktion g auf B. Gesucht ist nun eine brauchbare Definition des Integrals von g auf B. Die nun folgende Darstellung soll nur eine Idee hiervon vermitteln; präzise Darstellungen findet man in Lehrbüchern der Analysis und Maßtheorie. Erste Definition des Integrals. Sei B ein beschränktes Rechteck. Das heißt, B = B1 × B2 × · · · × Bd mit beschränkten Intervallen Bi ⊂ R. Nun betrachten wir eine Partition C von B in kleinere Rechtecke oder andere Mengen C ∈ C , deren d-dimensionales Volumen Vol(C) man leicht angeben kann. Ferner wählen wir noch Punkte xC ∈ B und betrachten die Summe

∑ Vol(C)g(xC ).

C∈C

Angenommen diese Summe konvergiert bei beliebiger Wahl der Punkte xC gegen eine feste reelle Zahl, wenn max diam(C) : C ∈ C → 0. Dabei bezeichnet diam(C) den Durchmesser supx,y∈C x − y von C. Dann nennt man den Grenzwert das (Riemann-) Integral von g über B und bezeichnet ihn mit )

g(x) dx. B

Die Funktion g selbst nennt man dann (Riemann-) integrierbar auf B. Zum Beispiel sind alle auf B gleichmäßig stetigen Funktionen auch integrierbar. Allgemein impliziert die RiemannIntegrierbarkeit von g, dass g auf B beschränkt ist, und auch alle Funktionen h = Ψ ◦ g mit stetigem Ψ : R → R sind integrierbar auf B. Erweiterung 1. Sei B ein unbeschränktes Rechteck, und g sei nichtnegativ sowie integrierbar auf beliebigen beschränkten Teilrechtecken von B. Dann definiert man )

)

g(x) dx := lim B

c→∞ B∩[−c,c]d

g(x) dx.

Dieser Grenzwert ist möglicherweise gleich ∞. Wenn nicht, nennt man g integrierbar auf B.

156


Erweiterung 2. Sei B ein unbeschränktes Rechteck, und g sei integrierbar auf beliebigen be* schränkten Teilrechtecken von B. Dann ist auch |g(x)| dx wohldefiniert im Sinne von ErweiteB * rung 1. Im Falle von B |g(x)| dx < ∞ nennt man g integrierbar auf B, und sein Integral ist definiert als ) ) g(x) dx := lim g(x) dx. c→∞ B∩[−c,c]d

B

*

Im Falle von B = Rd schreibt man manchmal g(x) dx anstelle von

*

B g(x) dx.

Erweiterung 3. Sei g eine integrierbare Funktion auf einem Rechteck C ⊂ Rd . Für beliebige Mengen B ⊂ C definiert man )

)

g(x) dx := B

C

1{x ∈ B}g(x) dx,

sofern die rechte Seite existiert. Geometrische Anschauung. Zur Veranschaulichung betrachten wir eine nichtnegative Funktion g auf B ⊂ R2 . Deutet man B als Landkarte und g(x) als Höhe eines Bergmassivs über dem Punkt * x ∈ B, dann ist B g(x) dx das Volumen dieses Bergmassivs. Diese Überlegung ist analog zu der bekannten Deutung von Integralen auf B ⊂ R als Flächeninhalt. Wahrscheinlichkeitsdichten. Eine nichtnegative, integrierbare Funktion f auf Rd mit der Ei* genschaft, dass f (x) dx = 1 nennt man eine Wahrscheinlichkeitsdichte. Sie induziert ein Wahrscheinlichkeitsmaß P auf Rd vermöge )

P(B) := B

f (x) dx.

Ist die Dichtefunktion f in einem Punkt x stetig, dann ist f (x) = lim

B→x

P(B) , Vol(B)

wobei hier “B → x” bedeutet, dass Vol(B) > 0 und supy∈B x − y → 0. Allgemein hat P die paradox erscheinende Eigenschaft, dass P({x}) = 0 für beliebige Punkte x ∈ Rd . Der Satz von Fubini. Für die konkrete Berechnung von Integralen über B ⊂ Rd , d > 1, stehen uns diverse Tricks zur Verfügung. Einer der wichtigsten ist der Satz von Fubini. Dieser besagt, dass für jede integrierbare Funktion g auf einem Rechteck B = B1 ×· · ·×Bd und beliebige Indizes j ∈ {1, 2, . . . , d} gilt: ) ) B

g(x) dx =

Cj

H j (y) dy

wobei C j := B1 × · · · B j−1 × B j+1 × · · · × Bd

11.5 Multivariate Dichtefunktionen

157

und H j (y1 , y2 , . . . , yd−1 ) :=

) Bj

g(y1 , . . . , y j−1 ,t, y j , . . . , yd−1 ) dt.

Man betrachtet also g(x) vorübergehend als Funktion von nur einer Komponente x j ∈ B j und integriert sie bezüglich dieser. Das resultierende eindimensionale Integral ist dann eine Funktion der übrigen d −1 Komponenten von x. Mit dieser Funktion kann man analog verfahren und erhält * so induktiv den Wert von B g(x) dx. Wenn wir noch einmal die Vorstellung eines Gebirgsmassivs für d = 2 bemühen, dann kann man sich den Satz von Fubini wie folgt veranschaulichen: Um das Volumen des Gebirges zu bestimmen, schneiden wir es in viele sehr dünne Scheiben parallel zur x j -Achse und vertikalen Achse. Nun summieren wir die Zahlen Fläche(S) × Dicke(S) über alle Scheiben S und erhalten so einen Näherungswert für das Gesamtvolumen. Stochastische Unabhängigkeit. Als Anwendung des Satzes von Fubini erhalten wir ein Kriterium für stochastische Unabhängigkeit: Sei X ∈ Rd ein Zufallsvektor mit Verteilung P, die durch eine Wahrscheinlichkeitsdichte f beschrieben wird. Angenommen f (x) = g1 (x1 )g2 (x2 ) · · · gd (xd ) für beliebige x ∈ Rd mit gewissen Funktionen g1 , g2 , . . . , gd auf R. Dann sind die Komponenten von X stochastisch unabhängig, und Xi ist verteilt nach der Dichtefunktion () fi := gi

R

gi (t) dt.

Beweis Für beliebige Intervalle B1 , B2 , . . . , Bd ⊂ R ist zu zeigen, dass IP Xi ∈ Bi für 1 ≤ i ≤ d = P1 (B1 )P2 (B2 ) · · · Pd (Bd ),

(11.8)

*

wobei Pi (Bi ) := Bi fi (s) ds. Fixiert man nämlich einen beliebigen Index j und setzt Bi := R für alle i = j, dann ergibt sich aus (11.8), dass IP{X j ∈ B j } = Pj (B j ). Zunächst folgt aus dem Satz von Fubini, dass IP Xi ∈ Bi für 1 ≤ i ≤ d = G1 (B1 )G2 (B2 ) · · · Gd (Bd ), wobei Gi (Bi ) :=

*

Bi gi (s) ds.

(11.9)

Setzt man speziell Bi = R für alle i, dann ergibt sich aus (11.9), dass 1 = G1 (R)G2 (R) · · · Gd (R).

Man darf also die rechte Seite von (11.9) durch G1 (B1 ) G2 (B2 ) G (B ) · · · d d = P1 (B1 )P2 (B2 ) · · · Pd (Bd ) G1 (R) G2 (R) Gd (R) ersetzen.

158


Die Transformationsformel. Ein zweites essentielles Hilfsmittel bezieht sich auf glatte Trans offene Teilmengen von Rd , und sei T : formationen des Integrationsbereiches. Seien Ω und Ω

Ω → Ω eine bijektive und stetig differenzierbare Abbildung mit nichtsingulärer Ableitung ∂ T (x) d i

DT (x) =

∂xj

i, j=1

∈ Rd×d

→ R die Gleichung für alle x ∈ Ω. Dann gilt für beliebige Funktionen g : Ω ) Ω

g(T (x)) | det DT (x)| dx =

)

Ω

g(y) dy.

Hier ist eine heuristische Begründung für diese Formel: Sei C eine Partition von Ω in abzählbar viele Rechtecke C mit kleinem Durchmesser. Dann ist auch {T (C) : C ∈ C } eine Partition

in kleine Mengen, und für beliebige Punkte xC ∈ C ∈ C ist von Ω Vol(T (C)) ≈ Vol(C) | det DT (xC )|. Denn auf C kann man T durch die affin lineare Funktion z → T (xC ) + DT (xC )(z − xC ) approximieren, so dass die besagte Gleichung aus der linearen Algebra bekannt ist. Folglich ist ) Ω

g(T (x)) | det DT (x)| dx

≈

∑ Vol(C)g(T (xC )) | det DT (xC )|

C∈C

≈

∑ Vol(T (C))g(T (xC ))

C∈C

≈

)

Ω

g(y) dy.

Affine Transformationen. Sei X ∈ Rd ein Zufallsvektor, dessen Verteilung P durch eine Dichtefunktion f beschrieben wird. Für μ ∈ Rd und eine nichtsinguläre Matrix B ∈ Rd×d sei Y := μ + BX. Die Verteilung Q von Y wird dann durch die Dichtefunktion g mit g(y) :=

f (B−1 (y − μ)) | det B|

beschrieben. Beweis Die zugrundeliegende affin lineare Transformation x → T (x) := μ + Bx erfüllt die Voraussetzungen der

= Rd , und | det DT (x)| = | det B|. Ferner ist Transformationsformel mit Ω = Ω T −1 (y) = B−1 (y − μ).

11.6 Multivariate Normalverteilungen

159

Für beliebige Mengen C ⊂ Rd ist also Q(C) = IP{Y ∈ C} gleich IP{T (X) ∈ C}

= = = =

)

1{T (x) ∈ C} f (x) dx )

1 1{T (x) ∈ C} f (B−1 (T (x) − μ)) | det DT (x)| dx | det B| ) 1 1{y ∈ C} f (B−1 (y − μ)) dy | det B|

)

g(y) dy. C

Ein Nachtrag zur Gaußschen Glockenkurve. Mit Hilfe des Satzes von Fubini und der Transformationsformel kann man recht elegant nachweisen, dass J :=

) R

exp(−t 2 /2) dt = (2π)1/2 ,

(11.10)

was endlich den ominösen Normierungsfaktor der Gaußschen Glockenkurve erklärt. Beweis (Gleichung (11.10)) Wir betrachten die Funktion g : R2 → R mit g(y) := exp(−y21 /2) exp(−y22 /2) = exp(−y2 /2). * 1/2 * Aus dem Satz von Fubini folgt, dass R2 g(y) dy = J 2 , also J = R2 g(y) dy . Nun gehen wir zu Polarkoordinaten über: Für einen Punkt (r, φ ) aus Ω := ]0, ∞[ × ]−π, π[ sei T (r, φ ) := (r cos φ , r sin φ ). Dies ˜ := y ∈ R2 : y2 = 0 oder y1 > 0 mit T (r, φ ) = r. definiert eine bijektive Abbildung T von Ω nach Ω Ferner ist cos φ sin φ det DT (r, φ ) = det = r. −r sin φ r cos φ ˜ und R2 nur um eine Halbgerade mit zweidimensionalem Volumen Null unterscheiden, ist Da sich Ω * g(y) dy gleich R2 )

˜ Ω

exp(−y2 /2) dy

=

)

]0,∞[×]−π,π[

)

=

2π

=

2π.

]0,∞[

exp(−r2 /2) r d(r, φ )

exp(−r2 /2) r dr

(Satz von Fubini)

11.6 Multivariate Normalverteilungen Im vorangehenden Abschnitt über Wahrscheinlichkeitsdichten auf dem Rd haben wir einige Hilfsmittel erarbeitet, mit denen wir nun die Normalverteilungen auf dem Rd einführen können. Wir erinnern noch einmal an die Definition der Gaußschen Glockenkurve t → φ (t) := (2π)−1/2 exp(−t 2 /2) auf R mit ihrer Verteilungsfunktion Φ. Diese liefert uns nun die Standardnormalverteilung auf dem Rd .

160


Definition (d-variate Standardnormalverteilung auf Rd ) Seien Z1 , Z2 , . . . , Zd stochastisch unabhängige, standardnormalverteilte Zufallsvariablen (in R). Die Verteilung des Vektors Z = (Zi )di=1 ist die d-variate Standardnormalverteilung. Sie wird beschrieben durch die Dichtefunktion x →

d

∏ φ (xi )

= (2π)−d/2 exp(−x2 /2).

i=1

Ferner ist IE(Z) = 0 und Var(Z) = I, weshalb man sie auch mit dem Symbol Nd (0, I) bezeichnet.

Die Rotationsinvarianz von Nd (0, I). Sei Z ∈ Rd standardnormalverteilt. Für beliebige orthonormale Matrizen B ∈ Rd×d ist auch BZ standardnormalverteilt. Dies folgt aus unseren allgemeinen Überlegungen zu affinen Transformationen. Denn B B = BB = I impliziert, dass | det B| = 1, und B−1 x = B x = x für beliebige x ∈ Rd . Nun führen wir beliebige Normalverteilungen ein. Dazu müssen wir noch entartete Normalverteilungen auf R definieren: Für ν ∈ R bezeichnen wir mit N (ν, 0) die entartete Verteilung R ⊃ A → 1{ν ∈ A}. Definition (d-variate Normalverteilungen auf Rd ) Seien μ ∈ Rd und Σ ∈ Rd×d beliebige Parameter, Σ symmetrisch und positiv semidefinit. Die d-variate Normalverteilung mit Mittelwert μ und Kovarianz Σ ist definiert als die Verteilung eines Zufallsvektors Y ∈ Rd mit folgender Eigenschaft: Für beliebige Vektoren v ∈ Rd ist vY ∼ N v μ, v Σv . Hierdurch wird die Verteilung von Y eindeutig festgelegt, und wir bezeichnen sie mit Nd (μ, Σ). Ferner erfüllt Y in der Tat die Gleichungen IE(Y ) = μ und Var(Y ) = Σ. Im Falle einer positiv definiten Matrix Σ hat Nd (μ, Σ) die Dichtefunktion y → (2π)−d/2 det(Σ)−1/2 exp −(y − μ) Σ−1 (y − μ)/2 . Beweis (Existenz, Eindeutigkeit und Eigenschaften von Nd (μ, Σ)) Einen Zufallsvektor Y mit Verteilung Nd (μ, Σ) kann man wie folgt erzeugen: Sei Z ∼ Nd (0, I), und sei Σ = BB mit einer weiteren (nicht eindeutigen) Matrix B ∈ Rd×d , beispielsweise B = Σ1/2 . Nun definieren wir Y := μ + BZ. Offensichtlich ist IE(Y ) = μ und Var(Y ) = Σ. Für beliebige Vektoren v ∈ Rd ist vY = v μ + b Z mit b := B v ∈ Rd . Wendet man (3.3) in Abschnitt 6 induktiv auf die Summanden bi Zi an, dann zeigt sich, dass vY ∼ N v μ, b2 = N v μ, v Σv . Dass die Verteilung von Y durch diese Eigenschaft schon eindeutig festgelegt ist, folgt aus einem allgemeinen Resultat der Wahrscheinlichkeitstheorie: Sind Y und Y˜ Zufallsvektoren im Rd derart, dass die Verteilungen von vY und vY˜ für beliebige v ∈ Rd übereinstimmen, dann stimmen auch die Verteilungen von Y und Y˜ überein.

11.6 Multivariate Normalverteilungen

161

Die Dichtefunktion von Nd (μ, Σ) im Falle einer nichtsingulären Kovarianzmatrix Σ ergibt sich aus den allgemeinen Formeln für affin lineare Transformationen. Denn mit Σ ist auch B nichtsingulär, und die Verteilung von Y wird durch die Dichtefunktion y

→ =

(2π)−d/2 | det B|−1 exp −B−1 (y − μ)2 /2 (2π)−d/2 det(Σ)−1/2 exp −(y − μ) Σ−1 (y − μ)/2

beschrieben.

Bilder von Normalverteilungen unter affin linearen Abbildungen. Sei Y nach Nd (μ, Σ) verteilt, und seien a ∈ Rk , C ∈ Rk×d beliebige feste Parameter. Dann ist a +CY ∼ Nk (a +Cμ,CΣC ). Den Beweis dieser Aussage kann man aus der obigen Konstruktion und der Definition von Normalverteilungen ableiten; siehe Aufgabe 11.11. Der Fall d = 2. Die Dichtefunktion f von N2 (0, I) nimmt Werte in (0, (2π)−1 ] an. Abbildung 11.1 zeigt von außen nach innen die Höhenlinien { f = r f (0)} für r = i/30, 1 ≤ i ≤ 30. Ersetzt man nun I durch 1 ρ Σ(ρ) = ρ 1 mit ρ = 0, dann werden aus den Kreisen Ellipsen. Abbildung 11.1 zeigt auch die Niveaulinien für Σ(0.7) und Σ(−0.5) . Optimale Prädiktoren bei Normalverteilungen. In Abschnitt 11.2 beschäftigten wir uns mit der Frage, wie man eine Zufallsvariable Y aus einem Zufallsvektor X optimal vorhersagen kann. Dabei beschränkten wir uns auf (affin) lineare Prädiktoren. Zumindest im Falle von Normalverteilungen ist dies keine wesentliche Einschränkung. Genauer gesagt, sei (X ,Y ) ein Zufallsvektor mit Komponenten X ∈ Rq , Y ∈ Rr und gemeinsamer Normalverteilung auf Rq+r , wobei ΣXX nichtsingulär ist. Der (komponentenweise) beste lineare Prädiktor von Y aus X ist gegeben durch Yˇ∗ (X) = μY + ΣY X Σ−1 XX (X − μX ). Schreibt man Y = Yˇ∗ (X) + E mit dem Vorhersagefehler E := Y − Yˇ∗ (X), dann gelten folgende Tatsachen (Aufgabe 11.12): X und E sind stochastisch unabhängig, Yˇ∗ (X) ∼ Nr μY , ΣY X ΣXX ΣXY , E ∼ Nr 0, ΣYY − ΣY X ΣXX ΣXY . Insbesondere enthält Yˇ∗ (X) bereits alle wesentlichen Informationen, die man aus X über Y erhalten kann.

162


2.5 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -2.5 -3

-2

-1

0

2.5

1

2

3

2.5

2

2

1.5

1.5

1

1

0.5

0.5

0

0

-0.5

-0.5

-1

-1

-1.5

-1.5

-2

-2

-2.5

-2.5 -3

-2

-1

0

1

2

3

-3

-2

-1

0

1

2

3

Abbildung 11.1: Niveaulinien der Dichtefunktion von N2 (0, I) (oben), N2 (0, Σ(0.7) ) (links unten) und (rechts unten)

11.7 Übungsaufgaben Aufgabe 11.1 Beweisen Sie Lemma 11.1. Aufgabe 11.2 Sei (X ,Y ) = (X1 , X2 ,Y ) ein dreidimensionaler Zufallsvektor mit Erwartungswert ⎛ ⎞ 0 μX ⎜ ⎟ = ⎝ 1 ⎠. μY 3 und Kovarianzmatrix

ΣXX ΣY X

ΣXY ΣYY

⎛

4 ⎜ = ⎝ 1 −2

1 1 1

⎞ −2 ⎟ 1 ⎠. 8


163

Berechnen Sie den optimalen linearen Prädiktor von Y aus X sowie die multiple Korrelation zwischen X und Y . Aufgabe 11.3 Leiten Sie die Formeln (11.1) und (11.2) her. Aufgabe 11.4 Seien X,V,W stochastisch unabhängige, reellwertige Zufallsvariablen mit Erwartungswert Null und Varianz Eins, und seien a, b, c, d von Null verschiedene Konstanten. (a) Ermitteln Sie den optimalen linearen Prädiktor von Y := aX + bV aus X. (Was vermuten Sie, bevor Sie rechnen?) (b) Berechnen Sie die partielle Korrelation von Y := aX + bV und Z := cX + dV gegeben X, und vergleichen Sie diese mit ρY Z . (c) Berechnen Sie die partielle Korrelation von Y := aX + bV und Z := cX + dW gegeben X, und vergleichen Sie diese mit ρY Z . Als Quintessenz von (b) und (c) ergibt sich, dass |ρY Z | X | größer oder kleiner als |ρY Z | sein kann. Aufgabe 11.5 Betrachten Sie den Datensatz ‘Exercise.txt’ mit den Variablen X = Age, Y = Duration und Z = VO2; siehe Beispiel 11.2. Berechnen Sie Schätzwerte für alle Korrelationen zweier Variablen. Berechnen Sie ferner alle geschätzten partiellen Korrelationen zweier Variablen gegeben die verbleibende dritte Variable. Wie interpretieren Sie diese Zahlen? Aufgabe 11.6 Betrachten Sie den Datensatz ‘Exercise.txt’ mit den Variablen X = Age, Y = Height und Z = Weight; siehe Beispiel 11.2. (a) Wie würden Sie Z aus (X,Y ) linear vorhersagen? Wie präzise ist dies Vorhersage? (b) Berechnen Sie Schätzwerte für alle Korrelationen zweier Variablen, und testen Sie jeweils auf dem Niveau α = 0.05, ob diese Werte signifikant von Null verschieden sind. Interpretieren Sie die Ergebnisse. Aufgabe 11.7 Diese Aufgabe verallgemeinert Aufgabe 2.4 auf mehrdimensionale Daten. Es geht darum, Stichprobenmittelwert und -kovarianzmatrix sequentiell zu berechnen. Für Vektoren V1 ,V2 ,. . . , Vn im Rk und 2 ≤ j ≤ n seien j 1 j j := 1 ∑ (Vi − μ j )(Vi − μ j ) j := ∑ Vi und Σ μ j i=1 j − 1 i=1 Stichprobenmittelwert bzw. -kovarianzmatrix der Vektoren V1 , . . . ,V j . j als Funktion von (μ j−1 , X j ) dar, wobei μ 1 := 0. Sie sollten j und Σ j−1 , Σ 1 := X1 und Σ Stellen Sie μ j und eine Induktionsformel erhalten, von der man direkt ablesen kann, welchen Einfluss der Wert X j auf μ j hat. Σ Aufgabe 11.8 Der Datensatz ‘Cork.txt’ enthält für 28 Korkbäume die Rindendicke in den vier Haupthimmelsrichtungen (in Zentigramm). Bestimmen Sie die Stichprobenkovarianzmatrix dieses Datensatzes. Schätzen Sie den optimalen linearen Prädiktor der Variable ‘N’ aus den drei übrigen Variablen ‘E’, ‘S’, ‘W’, und geben Sie den entsprechenden multiplen Stichprobenkorrelationskoeffizienten an.

164


Aufgabe 11.9 Sei Σ = ∑kj=1 λ j β j β j mit reellen Zahlen λ1 ≥ λ2 ≥ · · · ≥ λk und einer Orthonormalbasis β1 , β2 , . . . , βk des Rk . Zeigen Sie, dass für beliebige Vektoren x ∈ Rk \ {0} gilt: λk ≤

x Σx ≤ λ1 . x x

Gleichheit gilt, wenn x = βk bzw. x = β1 . Aufgabe 11.10 Seien X und Y stochastisch unabhängige Zufallsvariablen mit Verteilung Gamma(a) bzw. Gamma(b), wobei a, b > 0. Das heißt, ihre Dichtefunktionen sind fa bzw. fb , wobei fc (t) :=

1{t > 0} c−1 −t t e . Γ(c)

Zeigen Sie nun mithilfe der Transformationsformel (und dem Satz von Fubini), dass die Zufallsvariablen U :=

X X +Y

und Z := X +Y

stochastisch unabhängig sind, wobei U nach Beta(a, b) und Z nach Gamma(a + b) verteilt ist. Dabei ist Beta(a, b), die Beta-Verteilung mit Parametern a und b, gegeben durch die Dichtefunktion u → ga,b (u) :=

Γ(a + b)1{u ∈ (0, 1)} a−1 u (1 − u)b−1 . Γ(a)Γ(b)

Aufgabe 11.11 Sei Y nach Nd (μ, Σ) verteilt, und seien a ∈ Rk , C ∈ Rk×d beliebige feste Parameter. Zeigen Sie, dass a +CY ∼ Nk (a +Cμ,CΣC ). Aufgabe 11.12 (Stochastische Unabhängigkeit und Prädiktion bei Normalverteilungen) (a) Sei (V ,W ) ein normalverteilter Zufallsvektor. Zeigen Sie, dass V und W genau dann stochastisch unabhängig sind, wenn ΣVW = 0. Vorschlag: Konstruieren Sie (V ,W ) auf geeignete Weise. (b) Sei (X ,Y ) ein normalverteilter Zufallsvektor mit nichtsingulärer Varianz ΣXX , und sei E := Y − Yˇ∗ (X) mit Yˇ∗ (X) := μY + ΣY X Σ−1 XX (X − μX ). Bestimmen Sie nun die Verteilung des Zufallsvektors (X , Yˇ∗ (X) , E ) , indem Sie diesen als affin lineare Funktion von (X ,Y ) darstellen. Verwenden Sie dann Teil (a) um zu zeigen, dass X und E stochastisch unabhängig sind.

12 Diskriminanzanalyse und Klassifikation Bei Klassifikationsproblemen betrachtet man ein Variablenpaar (X,C), wobei X beliebigen Wertebereich X hat, wohingegen C eine kategorielle Variable mit endlichem Wertebereich Θ ist. Die Klasse C ist unbekannt und soll anhand des Merkmals X nach Möglichkeit korrekt bestimmt werden. Beispiel 12.1 Man möchte Formulare automatisch auswerten. In einem bestimmten Feld trug ein Benutzer eine Ziffer C ∈ {0, 1, . . . , 9} ein. Das Lesegerät soll nun anhand eines Grauwertbildes X von diesem Feld die Ziffer C bestimmen. Beispiel 12.2 Man möchte entscheiden, ob ein Pigmentfleck auf der Haut gutartig (C = 0) oder ein Melanom (C = 1) ist. Genauer gesagt, möchte man anhand eines Bildes X des Pigmentflecks die Klasse C bestimmen, also noch vor einer aufwendigeren histologischen Untersuchung. Beispiel 12.3 Man möchte anhand verschiedener physiologischer und anderer Werte, die zu einem Merkmalsvektor X zusammengefasst sind, entscheiden, ob eine Person gesund ist (C = 0), eine bestimmte Krankheit A hat (C = 1) oder an einer Krankheit B leidet (C = 2). Beispiel 12.4 Man möchte mit einer elektronischen Nase, bestehend aus 10 Halbleitersensoren, eine Substanz “beschnuppern” und anhand des resultierenden 10-dimensionalen Sensorsignals X entscheiden, um welche von L möglichen Substanzen es sich handelt.

12.1 Klassifikatoren und Gütekriterien Im einfachsten Fall suchen wir einen Klassifikator C : X → Θ, also eine Abbildung vom Merkmalsraum X in die Menge Θ der möglichen Klassen. Nach Wahl eines solchen Klassifikators C behaupten wir dann, dass C gleich C(X) ist, in der Hoffnung, diese Behauptung sei richtig. Um genauer zu beschreiben, wie einfach oder schwierig unser Unterfangen ist, und wie gut oder schlecht ein bestimmter Klassifikator im Vergleich zu allen anderen abschneidet, betrachten wir (X,C) als Zufallsvariable. Für θ ∈ Θ sei wθ := IP{C = θ } strikt positiv. Man nennt diese Zahl auch die a-priori-Wahrscheinlichkeit der Klasse θ . Die bedingte Verteilung von X gegeben C = θ bezeichnen wir mit Pθ . Also ist IP(X ∈ B |C = θ ) = Pθ (B)

166

12 Diskriminanzanalyse und Klassifikation

für B ⊂ X . Ein mögliches Kriterium für die Güte eines Klassifikators C ist seine Fehlklassifikationsrate := IP{C(X) R(C) = C}, also die Wahrscheinlichkeit einer Fehlklassifikation. Man kann auch schreiben = R(C)

∑ wθ Pθ {C = θ }.

θ ∈Θ

Nicht immer ist dieses Gütekriterium angebracht. In Beispiel 12.2 ist es schlimmer, ein Me lanom (C = 1) als gutartigen Pigmentfleck zu klassifizieren (C(X) = 0), als umgekehrt einen harmlosen Pigmentfleck (C = 0) für ein Melanom zu halten (C(X) = 1). Denn im letzteren Fall wird in der Regel eine anschließende histologische Untersuchung die Fehldiagnose korrigieren. Ferner könnte es sein, dass eine bestimmte Klasse θ nur sehr selten auftritt, das entsprechende Wahrscheinlichkeitsgewicht wθ also sehr klein ist. Klassifikatoren, welche diese seltene Klasse schlichtweg ignorieren, könnten in Bezug auf das obige Risiko R recht gut dastehen, selbst wenn man die Klasse θ auf keinen Fall übersehen möchte. Solche Schwächen kann man gegebenenfalls durch Berücksichtigung unterschiedlicher “Kosten” für Fehlklassifikationen vermeiden. Für zwei Klassen θ , η ∈ Θ legt man dazu eine Zahl K(θ , η) ≥ 0 für den Fall (C, C(X)) = (θ , η) fest. Dabei sei K(θ , θ ) = 0. Dann versucht man, die mittleren Kosten := RK (C)

∑

θ ,η∈Θ

K(θ , η)Pθ {C = η}

durch Wahl eines geeigneten Klassifikators C zu minimieren. Der Spezialfall K(θ , η) := 1{θ = η}wθ liefert wieder die obige Fehlklassifikationsrate R. θ mit anderen Gewichten w θ > 0 verMan könnte aber beispielsweise K(θ , η) := 1{θ = η}w wenden, um bestimmte Klassen stärker zu berücksichtigen.

12.2 Trainingsdaten In der Regel sind die Verteilungen Pθ unbekannt und müssen geschätzt werden. Auch die a-prioriWahrscheinlichkeiten wθ sind oftmals unbekannt, wobei man sich hier manchmal mit willkürlich gewählten Werten behilft. Zur Schätzung der Pθ erhebt man Trainingsdaten D, bestehend aus Paaren (Xi ,Ci ) für i = 1, . . . , n. Mitunter bezeichnet man diese Daten auch als Lernstichprobe. Wir gehen davon aus, dass die n + 1 Datenpaare (X1 ,C1 ), . . . , (Xn ,Cn ), (X,C) stochastisch unabhängig sind. Im Gegensatz zum unbekannten Wert C für die zukünftige Beobachtung (X,C) sind die Ausprägungen C1 ,C2 , . . . ,Cn verfügbar. In manchen Anwendungen wurden die Werte Ci willkürlich festgelegt. Dann betrachten wir Ci als konstant und Xi als Zufallsvariable mit Verteilung PCi . Hier kann man die a-priori-Wahrscheinlichkeiten wθ nur erraten, wenn man sie nicht bereits kennt. Aufschluss über Pθ liefern die Beobachtungen Xi mit Ci = θ . In anderen Anwendungen betrachtet man (Xi ,Ci ) als Zufallsvariable mit der gleichen Verteilung wie (X,C). In diesem Fall kann man neben den Verteilungen Pθ auch die Gewichte wθ θ := Nθ /n, wobei allgemein schätzen, nämlich durch w Nθ := #{i ≤ n : Ci = θ }.

12.2 Trainingsdaten

167

Bei der Verwendung von Trainingsdaten ist ein Klassifikator eine Funktion dieser Trainingsda D) ∈ Θ ten D sowie der Beobachtung X. Die unbekannte Klasse C soll also durch C(X) = C(X, vorausgesagt werden. Die Abhängigkeit verschiedener Objekte von der Lernstichprobe D wird oftmals versteckt, um die Formeln nicht zu überfrachten. Bisher nannten wir die tatsächliche Klassifikation einer zukünftigen Beobachtung (X,C) als primäres Ziel. Man kann natürlich auch versuchen, anhand der Trainingsdaten abzuschätzen, wie gut oder schlecht man C überhaupt aus X vorhersagen kann. Eine Auswertung der Trainingsdaten unter diesem Aspekt nennt man Diskriminanzanalyse. Man verwendet diesen Begriff aber auch D) selbst. für die Berechnung des Klassifikators C(·, Ein einfaches Klassifikationsverfahren. Bevor wir uns systematisch mit Klassifikationsverfahren beschäftigen, beschreiben wir einen recht einfachen Ansatz. Der Merkmalsraum sei eine Teilmenge des Rq , und wir unterstellen, dass sich die Verteilungen Pθ im wesentlichen durch ihre Mittelwerte unterscheiden. Das heißt, Pθ ist die Verteilung von μθ + E mit festen und unbekannten Mittelwerten μθ ∈ Rq und einem Zufallsfehler E ∈ Rq mit IE(E) = 0. Naheliegende Schätzer für die Mittelwerte μθ sind die gruppenweisen Mittelwerte θ := Nθ−1 μ

∑

i :Ci =θ

Xi .

Für die zukünftige Beobachtung (X,C) schätzt man C durch diejenige Klasse θ ∈ Θ, deren geθ dem Merkmalsvektor X am nächsten ist. Das heißt, wir wählen schätztes Zentrum μ θ . C(X) ∈ arg min X − μ θ ∈Θ

Allgemein schreiben wir für eine Funktion h : Θ → R: arg min h(θ ) := θ ∈ Θ : h(θ ) = min h(η) . η∈Θ

θ ∈Θ

Dieser erste Ansatz ist intuitiv recht einleuchtend, hat aber einige Schwächen, wie wir in einem späteren Abschnitt über lineare Diskriminanzanalyse noch illustrieren werden. Ein möglicher Kritikpunkt ist, dass recht willkürlich der Euklidische Abstand · verwendet wird, obwohl man ebensogut andere Abstandsmaße verwenden könnte. Insbesondere kann sich der obige D) ändern, wenn man eine bestimmte Komponente von Xi und X in eine anKlassifikator C(X, dere Maßeinheit umrechnet, also mit einer Konstanten multipliziert. Ferner sollten Differenzen θ ( j) relativ zur Standardabweichung σ ( j) der j-ten Komponente E( j) von E betrachtet X( j) − μ werden. Die Standardabweichung σ ( j) lässt sich wie folgt schätzen: 2 1 ( j) := θ ( j) . σ Xi ( j) − μ ∑ ∑ n − #Θ θ ∈Θ i :Ci =θ Wählt man nun D) ∈ arg min C(X, θ ∈Θ

q

∑

j=1

θ ( j) 2 X( j) − μ , ( j)2 σ

dann ist dieser Klassifikator invariant unter Skalenänderungen einzelner Komponenten und berücksichtigt auch deren (geschätzte) Standardabweichungen.

168


12.3 Optimale Klassifikation im idealisierten Fall In diesem Abschnitt betrachten wir den idealisierten Fall, dass die Gewichte wθ sowie die Verteilungen Pθ bekannt sind, und leiten optimale Klassifikatoren her. Später werden diese Verfahren in realistischeren Situationen imitiert. Der Merkmalsraum X sei eine offene Teilmenge des Rq , und jede Verteilung Pθ werde durch eine Dichtefunktion fθ auf X beschrieben. Das heißt, Pθ (B) =

B

fθ (x) dx

für B ⊂ X . Der nachfolgende Satz beschreibt einen Klassifikator mit minimaler Wahrscheinlichkeit für eine Fehlklassifikation. Satz 12.1 Für beliebige Klassifikatoren C : X → Θ ist stets ≥ 1− R(C) Gleichheit gilt, wenn

max wθ fθ (x) dx.

X

θ ∈Θ

C(x) ∈ arg max wθ fθ (x) θ ∈Θ

(12.1)

für beliebige Punkte x ∈ X .

Im Folgenden bezeichnen wir mit C∗ stets einen Klassifikator, welcher (12.1) für beliebige Punkte x ∈ X erfüllt. Abbildung 12.1 illustriert diesen optimalen Klassifikator C∗ für den Fall Θ = {1, 2} und X = ]0, 1[. Gezeigt werden die gewichteten Dichtefunktionen w1 f1 und w2 f2 sowie die Summe f = w1 f1 + w2 f2 , welche die Verteilung von X beschreibt. Der Flächeninhalt zwischen der Dichtefunktion f und max(w1 f1 , w2 f2 ) ist gleich dem minimalen Risiko R(C∗ ). In diesem Beispiel gibt es einen kritischen Wert c, so dass w1 f1 (x) > w2 f2 (x) genau dann, wenn x < c. Folglich ist C∗ (x) = 1 für x < c, und C∗ (x) = 2 für x > c. Man kann den optimalen Klassifikator auch wie folgt interpretieren: Definiert man wθ (x) :=

wθ fθ (x) , ∑η∈Θ wη fη (x)

dann kann man diese Zahl als bedingte Wahrscheinlichkeit deuten, nämlich wθ (x) = IP(C = θ | X = x). Allerdings kann man hier nicht die elementare Definition IP(A ∩ B)/ IP(B) von IP(A | B) verwenden, denn IP{X = x} = 0. Setzt man aber beispielsweise voraus, dass alle Dichtefunktionen fη an der Stelle x stetig und zumindest manche positiv sind, dann ist in der Tat wθ (x) = lim IP(C = θ | X − x ≤ ε). ε↓0

12.3 Optimale Klassifikation im idealisierten Fall

169

Abbildung 12.1: Zur Illustration von Satz 12.1.

Da θ → wθ fθ (x) proportional zu θ → wθ (x) ist, kann man den optimalen Klassifikator C∗ wie folgt interpretieren: C∗ (x) ∈ arg min IP(C = θ | X = x). θ ∈Θ

Die Minimierung von RK (θ) für eine beliebige Kostenfunktion K(·, ·) ist Gegenstand von Aufgabe 12.1. Beweis (Satz 12.1) lässt sich schreiben als R(C) = 1 − IP{C(X) Das Risiko R(C) = C}, und IP{C(X) = C}

= = = = =

= θ} ∑ IP{C = θ , C(X)

θ ∈Θ

= θ |C = θ ) ∑ wθ IP(C(X)

θ ∈Θ

∑ wθ

θ ∈Θ

X

X

= θ } dx fθ (x)1{C(x)

= θ} ∑ wθ fθ (x)1{C(x)

dx

θ ∈Θ

wC(x) fC(x) (x) dx.

Offensichtlich ist das Integral auf der rechten Seite kleiner oder gleich

max wθ fθ (x) dx, X

θ ∈Θ

∈ arg maxθ ∈Θ wθ fθ (x) für beliebige Punkte x ∈ X . und Gleichheit gilt, falls C(x)

170


Erste Anwendung auf Normalverteilungen. Sei fθ die Dichtefunktion von Nq (μθ , Σ). Der Mahalanobis-Abstand zweier Punkte x, y ∈ Rq (bezüglich Σ) ist definiert als dΣ (x, y) := (x − y) Σ−1 (x − y) = Σ−1/2 (x − y). Dann kann man schreiben

fθ (x) = K exp −d2Σ (x, μθ )/2

mit der Normierungskonstante K := (2π)−q/2 det(Σ)−1/2 . Also kann man C∗ auch durch folgende Inklusion charakterisieren: (12.2) C∗ (x) ∈ arg min d2Σ (x, μθ ) − 2 log wθ . θ ∈Θ

Im Spezialfall identischer Gewichte wθ = 1/#Θ ist (12.2) äquivalent zu C∗ (x) ∈ arg min dΣ (x, μθ ). θ ∈Θ

Man ordnet also x einer Klasse θ zu, deren Zentrum μθ minimalen Mahalanobis-Abstand zu x hat. Der Fall zweier Klassen. Angenommen die Menge Θ besteht nur aus zwei Klassen, sagen wir Θ = {1, 2}. Dann ist ⎧ ⎫ ⎨ genau dann, wenn ⎧ ⎫ ⎨ Dabei bezeichnet μ1,2 := 2−1 (μ1 + μ2 ) den Mittelpunkt auf der Verbindungsstrecke zwischen μ1 und μ2 . Also wird die Menge aller Vektoren x, die definitiv Klasse Eins zugeordnet werden, durch eine Hyperebene von der Menge aller Vektoren x, die definitiv Klasse Zwei zugeordnet werden, getrennt. Diese Hyperebene steht senkrecht zum Vektor Σ−1 (μ2 − μ1 ). Im Falle von w1 = w2 enthält sie den Mittelpunkt μ1,2 und ist von beiden Zentren μ1 , μ2 gleich weit entfernt. Vergrößert oder verkleinert man den Quotienten w1 /w2 , dann bewegt sich die Hyperebene in Richtung des Zentrums μ2 bzw. μ1 . Für die Wahrscheinlichkeiten P1 C∗ = 2 = IP C∗ (X) = 2 C = 1 und P2 C∗ = 1 einer Fehlklassifikation kann man hier konkrete Formeln angeben. Denn

−1 x Σ−1 (μ2 − μ1 ) − μ1,2 Σ (μ2 − μ1 ) = Z(x) Δ −

Δ2 2

12.3 Optimale Klassifikation im idealisierten Fall

171

mit Z(x) := Σ−1/2 (x − μ1 ) und Δ := Σ−1/2 (μ2 − μ1 ). Also ist C∗ (x) =

1 2

falls Z(x) Δ

< >

Δ2 + log(w1 /w2 ). 2

Bedingt man auf C = 1, dann sind Z(X) nach Nq (0, I) und Z(X) Δ nach N (0, Δ2 ) verteilt. Folglich ist P1 C∗ = 1

Δ2 + log(w1 /w2 ) C = 1 = IP Z(X) Δ < 2

Z(X) Δ Δ log(w /w ) 1 2 < + = IP C = 1 Δ 2 Δ

Δ log(w /w ) 1 2 = Φ + 2 Δ

mit der Verteilungsfunktion Φ der Standardnormalverteilung auf R. Analoge Formeln ergeben sich für P2 {C∗ = 2}. Da Δ = dΣ (μ1 , μ2 ), erhalten wir folgende Ausdrücke für Fehlklassifikationswahrscheinlichkeiten:

d (μ , μ ) log(w /w ) Σ 1 2 1 2 − = Φ − P1 C∗ = 1 , 2 dΣ (μ1 , μ2 )

d (μ , μ ) log(w /w ) Σ 1 2 2 1 − = Φ − . P2 C∗ = 2 2 dΣ (μ1 , μ2 ) Im Spezialfall, dass w1 = w2 , ergeben sich die einfacheren Formeln

d (μ , μ ) Σ 1 2 P1 C∗ = 1 = P2 C∗ = 2 = Φ − . 2 Der Fall mehrerer Klassen. Im allgemeinen Fall ist C∗ (x) = θ , falls x Σ−1 (μη − μθ ) < μθ ,η Σ−1 (μη − μθ ) + log(wθ /wη ) für alle Klassen η = θ , wobei μθ ,η := 2−1 (μθ + μη ). Also ist die Menge aller Vektoren x mit C∗ (x) = θ der Durchschnitt von bis zu #Θ − 1 Halbräumen. Fehlklassifikationsraten kann man bei mehr als zwei Klassen in der Regel nur noch numerisch oder mit Hilfe von Monte-CarloMethoden bestimmen. Beispiel 12.5 Sei q = 2 und Θ = {1, 2, 3}. Ferner seien alle wθ gleich 1/3, und 1.5 1.5 1 0.5 , μ2 = , Σ = , μ1 = 1.5 −1.5 0.5 1

−1.5 μ3 = . −1.5

Abbildung 12.2 zeigt auf der linken Seite für alle drei Klassen θ Höhenlinien ihrer Dichtefunktionen fθ . Auf der rechten Seite werden dann die entsprechenden Bereiche {x : C∗ (x) = η} dargestellt.

172


Hier sind konkrete Formeln für C∗ (x): Zum einen ist 1 −0.5 4/3 −1 2 −1 = = (1 − 0.5 ) Σ −0.5 1 −2/3

−2/3 . 4/3

Die Normalenvektoren Δθ ,η := Σ−1 (μη − μθ ) der drei relevanten Hyperebenen sind also: Δ12 =

2 , −4

Δ13

−2 = , −2

Δ23

−4 = . 2

Nun benötigen wir noch die Werte von μθ ,η Δθ ,η :

Δ12 = 3, μ12

Somit ist C∗ (x) =

μ13 Δ13 = 0,

μ23 Δ23 = −3.

⎧ ⎪ ⎪ ⎨1

falls 2x(1) − 4x(2) < 3 und x(1) + x(2) > 0,

2 ⎪ ⎪ ⎩3

falls x(1) + x(2) < 0 und 2x(2) − 4x(1) > −3.

falls 2x(1) − 4x(2) > 3 und 2x(2) − 4x(1) < −3,

3

2

1

0

-1

-2

-3 -4

-3

-2

-1

0

1

2

3

4

Abbildung 12.2: Höhenlinien dreier Dichtefunktionen fθ (links) und optimaler Klassifikator (rechts).

Zweite Anwendung auf Normalverteilungen. Nun sei Pθ = Nq (μθ , Σθ ). Also sind nicht nur die Mittelwerte, sondern auch die Kovarianzmatrizen der Verteilungen Pθ potentiell klassenabhängig. Dann ist (12.3) C∗ (x) ∈ arg min d2Σθ (x, μθ ) − Kθ , θ ∈Θ

wobei Kθ := 2 log wθ + log det(Σθ ). Ein wesentlicher Unterschied zu (12.2) besteht darin, dass für jede Klasse θ ein anderer Mahalanobis-Abstand verwendet wird. Dies bewirkt auch eine andere Geometrie der Mengen {x : C∗ (x) = θ }.

12.4 Klassifikation anhand von Trainingsdaten

173

Wir fixieren zwei verschiedene Klassen θ , η ∈ Θ und betrachten die Menge B := x ∈ Rq : d2Σθ (x, μθ ) − Kθ < d2Ση (x, μη ) − Kη , also die Menge aller Vektoren x, die eher Klasse θ als Klasse η zugeordnet werden. Man kann schreiben B = x ∈ Rq : x Ax − 2b x < c −1 mit gewissen c ∈ R, b ∈ Rq und A := Σ−1 θ − Ση . Es handelt sich also um einen Kegelschnitt (siehe lineare Algebra). Ist A positiv bzw. negativ definit, dann stellt B einen Ellipsoid bzw. das Komplement eines solchen dar. Ist A invertierbar aber indefinit, handelt es sich um einen sogenannten Hyperboloid.

Beispiel 12.6 Sei q = 2 und Θ = {1, 2}. Ferner sei w1 = w2 = 1/2, und 1 0.5 0.3 Σ1 = , Σ2 = 0.5 1 0

und μ2 =

1 0.5

bzw.

0 , 0.3

−1 μ1 = , 0

−0.5 μ2 = 2

Abbildung 12.3 zeigt Höhenlinien beider Dichtefunktionen fθ sowie den Ellipsoid {x : C∗ (x) = 2}. Die konkreten Parameter dieser Ellipsoide sind Gegenstand von Aufgabe 12.4.

Abbildung 12.3: Klassifikation bei ungleichen Kovarianzmatrizen.

12.4 Klassifikation anhand von Trainingsdaten Nun beschreiben wir verschiedene Möglichkeiten, wie man die optimalen Klassifikatoren aus dem vorangehenden Abschnitt in der realistischen Situation unbekannter Verteilungen Pθ imitiert. In der Regel ersetzt man die unbekannten Parameter wθ und Dichtefunktionen fθ durch

174


θ = w θ (D) bzw. fθ = fθ (·, D) und wählt geeignete Schätzer w D) ∈ arg max w θ fθ (X). C(X, θ ∈Θ

Lineare Diskriminanzanalyse (LDA) Angenommen wir unterstellen, dass Pθ = Nq (μθ , Σ) mit unbekannten Mittelwertsvektoren μθ und einer gemeinsamen, unbekannten Kovarianzmatrix Σ. Naheliegende Schätzer hierfür, die man in (12.2) einsetzen kann, sind die gruppenweisen θ und Mittelwerte μ := Σ

n 1 1 θ )(Xi − μ θ ) = Ci )(Xi − μ Ci ) ; (Xi − μ (X − μ ∑ ∑ ∑ n − #Θ θ ∈Θ i :Ci =θ n − #Θ i=1 i

( j) siehe auch das einfache Verfahren in Abschnitt 12.2. Die dort eingeführten Schätzwerte σ j, j)1/2 . Der Normierungsfaktor (n − #Θ)−1 erklärt sich aus folgender sind nichts anderes als Σ( Überlegung: Nach Lemma 11.4 ist

θ )(Xi − μ θ ) C1 , . . . ,Cn = (Nθ − 1)Σ IE ∑ (Xi − μ i :Ci =θ

sofern Nθ ≥ 1, und ∑θ ∈Θ (Nθ − 1) = n − #Θ. Qualität dieses Verfahrens. Wenn die Modellannahme, dass Pθ gleich Nq (μθ , Σ) ist, zutrifft, D) bei großen Gruppengrößen Nθ nur unwekann man zeigen, dass sich der Klassifikator C(·, sentlich von dem optimalen Klassifikator C∗ für den Fall bekannter Verteilungen unterscheidet. Die Annahme von Normalverteilungen Pθ könnte man noch dahingehend abschwächen, dass man nur folgende Gestalt der Dichtefunktionen fθ verlangt: fθ (x) = det(Σ)−1/2 g (x − μθ ) Σ−1 (x − μθ )

mit einer monoton fallenden Funktion g auf [0, ∞[. Dabei setzen wir voraus, dass 0∞ rq+1 g(r2 ) dr endlich ist, denn anderenfalls hätten die Verteilungen Pθ keine wohldefinierte Kovarianzmatrix. D) approximativ optimal. Auch jetzt wäre obiger Klassifikator C(·, Auf die zuletzt genannte Einschränkung an g könnte man verzichten. Allerdings müsste man dann die Zentren μθ und die Streuungsmatrix Σ auf andere Weise schätzen, was jedoch über den Rahmen dieser Monographie hinausgeht. Selbst wenn die hier beschriebenen Modellannahmen augenscheinlich nicht erfüllt sind, liefert die lineare Diskriminanzanalyse oftmals brauchbare Ergebnisse. Gerade im Vergleich zu der später beschriebenen quadratischen Diskriminanzanalyse schneidet sie häufig besser ab, da man im letzteren Fall wesentlich mehr unbekannte Parameter zu schätzen hat. Kategorielle Variablen. Um diese Methode auch auf medizinische Datensätze, die ja häufig kategorielle Variablen enthalten, anzuwenden, kann man folgenden Kunstgriff verwenden: Falls X( j) eine kategorielle Variable mit möglichen Ausprägungen c0 , c1 , . . . , cL ist, so ersetze man X( j) durch den Vektor (1{X( j) = c })L=1 . Man führt also für alle bis auf eine Kategorie eine Indikatorvariable ein.


175

Vergleich mit dem einfachen Verfahren aus Abschnitt 12.2. In dem Spezialfall, dass alle Paraθ identisch sind, ist meter w θ ). C(X) ∈ arg min d (X, μ Σ

θ ∈Θ

Ein wesentlicher Vorteil dieses Klassifikators im Vergleich zu θ Cnaiv (X) ∈ arg min X − μ θ ∈Θ

oder Cnaiv (X) ∈ arg min θ ∈Θ

θ ( j))2 (X( j) − μ ( j)2 σ j=1 q

∑

ist seine Invarianz bezüglich affin linearer Transformationen. Ersetzt man nämlich alle Vektoren Xi bzw. X durch a+BXi bzw. a+BX mit a ∈ Rq und einer nichtsingulären Matrix B ∈ Rq×q , dann D) unverändert. Man kann auch sagen, dass der Mahalanobis-Abstand d (X, μ θ ) bleibt C(X, Σ θ ). θ = dI (X, μ besser zu den gegebenen Daten passt als der euklidische Abstand X − μ Beispiel 12.7 Um die Vorteile des Mahalanobis-Abstandes zu illustrieren, betrachten wir wieder den idealisierten Fall bekannter Verteilungen Pθ , also sehr umfangreicher Trainingsdaten. Es sei q = 2, Θ = {1, 2} sowie w1 = w2 = 1/2. Sowohl C∗ als auch Cnaiv bleiben unverändert, wenn man das Koordinatensystem dreht und verschiebt, so dass −δ δ und μ2 = μ1 = 0 0 für ein δ > 0. Dann ist Cnaiv (x) = wohingegen C∗ (x) =

1

falls x(1) < 0,

2

falls x(1) > 0,

1

falls x(1)Σ(2, 2) < x(2)Σ(1, 2),

2

falls x(1)Σ(2, 2) > x(2)Σ(1, 2).

Dass C∗ mitunter deutlich besser abschneidet als Cnaiv , wird in Abbildung 12.4 illustriert. Um den Unterschied auch in Formeln zu sehen, vergleichen wir die entsprechenden Fehlklassifikationsraten: Einerseits ist = IP X(1) − μ1 (1) > δ C = 1 P1 Cnaiv = 2

X(1) − μ (1) δ 1 > = IP C = 1 Σ(1, 1) Σ(1, 1)

δ = Φ − . Σ(1, 1) Symmetrieüberlegungen oder eine analoge Rechnung für P2 zeigen, dass

δ P1 Cnaiv = 2 = P2 Cnaiv = 1 = Φ − . Σ(1, 1)

176


Andererseits ist hier δ dΣ (μ1 , μ2 )/2 = Σ(1, 1)(1 − ρ 2 ) Somit ist

mit ρ :=

Σ(1, 2) Σ(1, 1)Σ(2, 2)

.

δ , P1 C∗ = 2 = P2 C∗ = 1 = Φ − Σ(1, 1)(1 − ρ 2 )

was offensichtlich kleiner oder gleich von Cnaiv ist. Durch geschickte Wahl der Fehlklassifikationsrate von δ und Σ kann man erreichen, dass Pθ Cnaiv = θ beliebig nahe an 1/2 und gleichzeitig Pθ C∗ = θ beliebig nahe an Null ist.

Abbildung 12.4: Vergleich von Cnaiv (links) und C∗ (rechts) in Beispiel 12.7.

Fishers lineare Diskriminanzfunktion. In Abschnitt 11.4 lernten wir die Hauptkomponentenanalyse kennen. Dabei ging es darum, hochdimensionale Daten auf einen niedrigdimensionalen Raum zu projizieren, so dass möglichst wenig “Information” verloren geht. Im vorliegenden Abschnitt beschreiben wir ein damit verwandtes Verfahren für die Diskriminanzanalyse. Dieses betrachten wir in erster Linie als Hilfsmittel für die explorative Datenanalyse. Wir möchten also augenscheinliche Unterschiede der Vektoren Xi zwischen den einzelnen Gruppen {i : Ci = θ } sichtbar machen. Gesucht ist für 1 ≤ k < q eine lineare Abbildung Rq x → Bx ∈ Rk , so dass man auch anhand der Daten Yi := BXi die verschiedenen Klassen möglichst gut unterscheiden kann. Für graphische Darstellungen der Ausgangsdaten sind die Fälle 2 = k < q oder 3 = k < q von besonderem Interesse. Wir definieren die Gesamtstreuung der Daten als die Matrix SSPtotal =

n

∑ (Xi − μ )(Xi − μ ) ,

i=1


177

den Gesamtmittelwert n−1 ∑ni=1 Xi bezeichnet, und ‘SSP’ steht allgemein für ‘sum of wobei μ squares and products’. Die Matrix SSPtotal ist gleich der Stichprobenkovarianzmatrix der Vektoren Xi , multipliziert mit n − 1. Bei einer Hauptkomponentenanalyse der Daten Xi würde man nun orthonormale Vektoren v1 , . . . , vk ∈ Rq suchen, so dass mit B := (v1 · · · vk ) die Summe k

∑ v j SSPtotal v j

n

∑ BXi − Bμ 2

=

j=1

i=1

möglichst groß ist. Aber im hiesigen Kontext ist dieser Ansatz nicht unbedingt sinnvoll. Denn es gilt die Streuungszerlegung SSPtotal = SSPintra + SSPinter . (12.4) Dabei ist

n

SSPintra :=

∑ (Xi − μCi )(Xi − μCi )

= (n − #Θ)Σ,

i=1

die Streuung innerhalb der Gruppen, und n

SSPinter :=

∑ (μCi − μ )(μCi − μ )

i=1

=

∑ Nθ (μθ − μ )(μθ − μ ) ,

θ ∈Θ

die Streuung zwischen den Gruppen; siehe Aufgabe 12.5. Für eine einzelne Projektionsrichtung v ist dann die Gesamtstreuung der Werte v Xi gleich n

∑ (v Xi − v μ )2

= v SSPtotal v = v SSPintra v + v SSPinter v.

i=1

Um Unterschiede zwischen den Gruppen sichtbar zu machen, sollte nicht v SSPtotal v sondern der Quotient v SSPinter v v SSPintra v möglichst groß sein. Um das Problem zu vereinfachen und gleichzeitig den Hauptkomponentenansatz zu retten, −1/2 Xi . Aus SSPintra wird dann die ersetzen wir zunächst jeden Datenvektor Xi durch Xi := Σ −1/2 SSPinter Σ −1/2 . Hinter der Matrix SSPintra = (n − #Θ)I, und SSPinter wird zu SSPinter = Σ −1/2 Transformation x → Σ x steckt die Vorstellung oder Hoffnung, dass die Datenvektoren Xi in −1/2 μ θ angeordnet sind. Auf jeden annähernd kugelförmigen Punktwolken mit Mittelpunkten Σ q Fall ist für jeden Einheitsvektor v ∈ R die Gesamtstreuung der Werte v Xi gleich total v = n − #Θ + v SSP inter v, v SSP also eine Konstante plus der Streuung zwischen den Gruppen. Daher führen wir eine Hauptkomponentenanalyse der transformierten Daten Xi durch: Wir schreiben inter = SSP

q

∑ λ j w j w j

j=1

178


mit Eigenwerten λ1 ≥ · · · ≥ λq und einer Orthonormalbasis w1 , . . . , wq des Rq . Dies ist gleichbedeutend damit, dass total = SSP

q

∑ (n − #Θ + λ j ) w j w j .

j=1

Dann betrachten wir BXi mit B := (w1 , w2 , . . . , wk ) als geeignete k-dimensionale Approximation an den Datenvektor Xi . Übersetzt man dies zurück in das ursprüngliche Koordinatensystem, dann wird der Vektor Xi auf BXi abgebildet, wobei −1/2 . B := (w1 , w2 , . . . , wk ) Σ Die Abbildung x → Bx ist Fishers lineare Diskriminanzfunktion. in einem Vektorraum der θ − μ Anmerkung zu k. Man kann leicht zeigen, dass die Vektoren μ inter höchstens min(q, #Θ−1) von Null Dimension min(q, #Θ−1) liegen. Dies bedeutet, dass SSP verschiedene Eigenwerte hat. Im Falle von k ≥ #Θ − 1 kann man also davon ausgehen, dass bei der Transformation Xi → BXi keine deutlichen Unterschiede zwischen den Gruppen unter den Tisch gekehrt werden. Umgekehrt muss man aber im Falle von k < #Θ − 1 damit rechnen, dass Gruppen, die anhand der reduzierten Daten BXi nicht gut zu unterscheiden sind, durchaus mit Hilfe der vollständigen Daten Xi trennbar sind. Beispiel 12.8 (Fishers Schwertlilien) Der Datensatz ‘Iris.txt’ wurde von R.A. Fisher (1936) benutzt, um Prinzipien der linearen Diskriminanzanalyse zu illustrieren. Er enthält für jeweils 50 Exemplare der drei Pflanzenarten Iris setosa, Iris versicolor und Iris verginica folgende Messwerte: Breite der Blütenblätter (Petal width),

Länge der Blütenblätter (Petal length),

Breite der Kelchblätter (Sepal width),

Länge der Kelchblätter (Sepal length).

⎛

Hier ist

4.482 ⎜ ⎜4.247 = ⎜ ⎝3.259 3.758

= 147−1 SSPintra Σ

⎛

und SSPinter

787.7 ⎜ 3 ⎜ 1853.9 = 10 ⎜ ⎝−228.9 703.5

4.247 20.740 5.347 17.449

1853.9 4403.4 −582.9 1650.7

3.259 5.347 11.546 9.317

−228.9 −582.9 115.2 −199.1

⎞ 3.758 ⎟ 17.449⎟ ⎟ 9.317 ⎠ 26.526

⎞ 703.5 ⎟ 1650.7 ⎟ ⎟. −199.1⎠ 628.8

−1/2 SSPinter Σ −1/2 sind λ1 = 4227.3, λ2 = 42.2 und λ3 = λ4 = 0. EigenvekDie Eigenwerte der Matrix Σ toren zu den ersten beiden Eigenwerten sind w1

=

(−0.567, −0.757, 0.324, 0.019) ,

w2

=

(0.593, −0.109, 0.770, 0.208) ,


und dies liefert

179

w −0.287 −1/2 1 Σ = B =

w2 0.274

−0.195 −0.095

0.153 0.205

0.070 . 0.018

Abbildung 12.5 zeigt die entsprechenden Datenvektoren Yi = BXi ∈ R2 . Man erkennt deutlich, dass man Iris setosa anhand des Merkmalsvektors X sehr gut von den anderen beiden Arten unterscheiden kann. Die Unterscheidung zwischen Iris versicolor und Iris verginica erscheint dagegen etwas schwieriger. Genauere quantitative Aussagen werden wir später treffen.

Abbildung 12.5: Fishers LDF für Iris setosa (), Iris versicolor () und Iris verginica (◦).

Quadratische Diskriminanzanalyse (QDA) Angenommen, Pθ = Nq (μθ , Σθ ) mit unbekannten Mittelwertsvektoren μθ und Kovarianzmatrizen Σθ . Die Mittelwerte kann man wie bisher durch die gruppenweisen Mittelwerte der Xi schätzen, und mögliche Schätzer für die Σθ sind θ := (Nθ − 1)−1 Σ

∑

i :Ci =θ

θ )(Xi − μ θ ) . (Xi − μ

Diese kan man dann in die Formel (12.3) einsetzen. Dieses Verfahren setzt natürlich voraus, dass θ singulär. zumindest Nθ > q für alle θ ∈ Θ, denn anderenfalls wäre die Matrix Σ Die hiesigen Modellannahmen sind weniger restriktiv als im Falle der linearen Diskriminanzanalyse. Man muss aber auch eingestehen, dass hier der resultierende Klassifikator wesentlich instabiler ist. Das heißt, man benötigt einen vergleichsweise großen Lernstichprobenumfang, D) eine zuverlässige Approximation an den Klassifikator (12.3) ist. Dies ist nicht damit C(·, verwunderlich, wenn man sich klarmacht, wieviele Parameter eigentlich geschätzt werden: Im Falle der linearen Diskriminanzanalyse schätzt man #Θ Mittelwerte mit insgesamt #Θ q Komponenten sowie eine Kovarianzmatrix mit q(q + 1)/2 Koeffizienten Σ(i, j) = Σ( j, i), 1 ≤ i < j ≤ q. Insgesamt sind also #Θ q + q(q + 1)/2 unbekannte Parameter zu schätzen. Bei drei Gruppen und vierdimensionalen Merkmalsvektoren sind dies z.B. 22 Parameter.

180


Im Falle der quadratischen Diskriminanzanalyse schätzt man #Θ Mittelwerte mit insgesamt #Θ q Komponenten sowie #Θ Kovarianzmatrizen mit insgesamt #Θ q(q + 1)/2 Koeffizienten. Die Gesamtzahl zu schätzender Parameter ist also gleich #Θ q + #Θ q(q + 1)/2. Bei drei Gruppen und vierdimensionalen Merkmalsvektoren sind dies z.B. 42 Parameter. Nearest-Neighbor-Verfahren. In den vorangehenden Abschnitten unterstellten wir recht spezielle Modelle für die Verteilungen Pθ . Ein anderer Ansatz wäre die nichtparametrische Schätzung der Dichtefunktionen fθ , beispielsweise durch Kernschätzer, wie sie in Kapitel 7 behandelt wurden. Hier beschreiben wir eine etwas andere Methode, die zu einem recht natürlichen Klassifikationsverfahren führt. Bei der Einführung von Wahrscheinlichkeitsdichten auf Rd erwähnten wir, dass man fθ (x) deuten kann als Grenzwert, nämlich lim r↓0

Pθ (B(x, r)) . Vol(B(x, r))

Dabei sei B(x, r) := y ∈ Rq : d(x, y) ≤ r , und d(x, y) sei der Abstand zwischen den Punkten x und y, beispielsweise die euklidische oder eine andere Norm von x − y. Also ist B(x, r) die abgeschlossene Kugel mit Mittelpunkt x und Radius r. Ein naheliegender Schätzwert für Pθ (B) mit irgendeiner Menge B ⊂ Rq ist die empirische Wahrscheinlichkeit Pθ (B) := Nθ−1 # i : Ci = θ , Xi ∈ B . Nun bestimmen wir für eine feste Zahl k und einen beliebigen Punkt x ∈ Rq die Zahl rk (x) := min r ≥ 0 : #{i : Xi ∈ B(x, r)} ≥ k . Wir legen also um x eine möglichst kleine Kugel, die wenigstens k Trainingsvektoren Xi enthält. Letztere sind die k “nächsten Nachbarn” von x in der Lernstichprobe. Deshalb spricht man hier von Nearest-Neighbor-Verfahren oder k-Nearest-Neighbor-Verfahren. Dann definieren wir rk (x)) Pθ B(x, . fθ (x) := Vol B(x, rk (x)) Da der Zähler Vol B(x, rk (x)) für alle Klassen θ ∈ Θ identisch ist, hat der resultierende Klassifikator die Form θ Pθ B(X, C(X) ∈ arg max w rk (X)) . (12.5) θ ∈Θ

θ = Nθ /n, kann man dies auch wie folgt schreiben: In dem Spezialfall, dass w rk (X)),Ci = θ . C(X) ∈ arg max # i : Xi ∈ B(X, θ ∈Θ

Also wird C durch eine Klasse geschätzt, die unter den k nächsten Nachbarn am häufigsten vertreten ist. Man spricht deshalb auch von Klassifikation “per Mehrheitsentscheid (majority vote)”.


181

Im Falle identisch verteilter Zufallsvariablen (X1 ,C1 ), . . . , X(n,Cn ) und (X,C) kann man beweisen, dass D)) → p R(C∗ ) wenn k → ∞ und n/k → ∞. R(C(·, D)) die Fehlklassifikationsrate von C(·, D), wenn man die Trainingsdaten vorDabei ist R(C(·, übergehend als feste Objekte betrachtet, also auf D bedingt und nur noch den Zufall in (X,C) D)) eine Zufallsgrösse, und die Notation ‘→ p ’ berücksichtigt. Als Funktion von D ist R(C(·, bedeutet, dass IP R(C(·, D)) − R(C∗ ) ≥ ε → 0 für beliebige feste Zahlen ε > 0. Beispiel 12.9 Wir illustrieren die Nearest-Neighbor-Klassifikation anhand von simulierten Daten. Abbildung 12.6 zeigt simulierte Datenvektoren Xi ∈ R2 , die zu zwei verschiedenen Klassen gehören, wobei N1 = N2 = 50. Punkte aus Gruppe 1 werden durch ein ‘×’ und Punkte aus Gruppe 2 durch ein ‘+’ dargestellt. Ferner werden r7 (x)) sowie die resultierenden Zuvier verschiedene Punkte x ∈ R2 und die entsprechenden Kugeln B(x, ordnungen C(x) gezeigt.

Abbildung 12.6: Illustration des k-Nearest-Neighbor-Klassifikators (k = 7).

Andere Klassifikationsmethoden, Modifikationen. Die bisher beschriebenen Methoden sind die gängigsten Klassifikationsverfahren. Es gibt aber noch eine Vielzahl anderer Methoden. Genannt seien die Klassifikation mit Hilfe künstlicher neuronaler Netze, Support-Vector-Maschinen und die Klassifikation mittels logistischer Regression. Letztere wird noch in Kapitel 13 über lineare Modelle vorgestellt.

182


Nun beschreiben wir noch eine Variante der linearen oder quadratischen Diskriminanzanalyse, die eine Variablenselektion beinhaltet. Wie schon angemerkt wurde, ist die Anwendung von LDA oder QDA auf hochdimensionale Datensätze problematisch, wenn nicht auch die Gruppengrößen Nθ entsprechend groß sind. Gerade bei neueren Anwendungen auf DNA-Mircroarrays und -Macroarrays sind aber die Dimensionen exorbitant (mitunter mehrere Tausend Variablen). In solchen Situationen hat es sich bewährt, zunächst Komponenten von X zu bestimmen, die vermutlich ungeeignet sind, die Klassenzugehörigkeit vorauszusagen. Genauer gesagt, für 1 ≤ j ≤ q definieren wir den Quotienten j) := SSPinter ( j, j) . F( SSPintra ( j, j) Wenn dieser Quotient relativ klein ist, dann deutet dies darauf hin, dass die j–te Komponente unserer Merkmalsvektoren unwichtig ist. Daher definiert man % := j ≤ q : F( j) ≥ c J mit einem Schwellenwert c = c(D) und ersetzt die Vektoren Xi sowie zukünftige Merkmalsvektoren X durch (Xi ( j)) j∈J% bzw. (X( j)) j∈J%. Auf diese reduzierten Vektoren wendet man dann ein herkömmliches Klassifikationsverfahren an. %eine vorgeDen Schwellenwert c kann man beispielsweise so festlegen, dass die Menge J gebene Anzahl k von Elementen hat. Die Wahl von k wiederum kann nach praktischen Gesichtspunkten erfolgen oder ebenfalls datenabhängig gesteuert werden; siehe den folgenden Abschnitt. D) konstruSchätzung von Fehlklassifikationsraten. Nachdem man einen Klassifikator C(·, iert hat, möchte man natürlich gerne wissen, wie gut dieser ist. Genauer gesagt wüsste man gerne, D)) oder die Wahrscheinlichkeiten Pθ {C(·, D) = η} wie groß die Fehlklassifikationsrate R(C(·, für θ , η ∈ Θ sind. Bei diesen Größen betrachten wir D vorübergehend als festen Datensatz, bedingen also auf D und berücksichtigen nur den Zufall in zukünftigen Beobachtungen (X,C). Schätzer von Fehlklassifikationsraten sind vor allem dann von Bedeutung, wenn der Klassi D) zusätzlich von einem Parameter k abhängt, wie beispielsweise bei den Nearestfikator C(·, Neighbor-Verfahren, und wenn man diesen datenabhängig wählen möchte. Wir konzentrieren uns nun auf die Schätzung von D) = η}, p(θ , η) := Pθ {C(·, D)) ableiten kann. D)) oder RK (C(·, da man daraus leicht Schätzwerte für R(C(·, D) auf die TrainingsEin naiver Ansatz: Reklassifikation. Man wendet den Klassifikator C(·, daten (Xi ,Ci ) selbst an. Dann setzen wir i , D) = η . pnaiv (θ , η) := Nθ−1 # i ≤ n : Ci = θ , C(X Die Schätzwerte pnaiv (θ , η) sind in der Regel zu optimistisch! Das heißt, für θ = η ist pnaiv (θ , η) tendenziell zu klein. Dies ist nicht allzu überraschend. Denn bei der Konstruktion des Klassifika D) sucht man nach augenscheinlichen Unterschieden zwischen den Gruppen in D, und tors C(·, beim Reklassifizieren werden just diese Unterschiede dazu benutzt, eine gute “Vorhersage” der Klassenzugehörigkeiten zu machen.


183

Einfache Kreuzvalidierung (cross validation). Für 1 ≤ i ≤ n sei D(i) der Trainingsdatensatz, nachdem die Beobachtung (Xi ,Ci ) von D entfernt wurde. Mit den resultierenden Klassifikatoren D(i) ) definieren wir dann C(·, i , D(i) ) = η . pcv (θ , η) := Nθ−1 # i ≤ n : Ci = θ , C(X Diese Schätzer sind wesentlich zuverlässiger als die naiven, mit Hilfe von Reklassifikation erzielten. Erfahrungsgemäss tendieren aber auch sie dazu, etwas zu optimistisch zu sein, obwohl dieser Effekt nicht einfach zu erklären ist. Beispiel (12.8, Forts.) Die folgende Tabelle enthält die Schätzwerte pcv (θ , η) für die Wahrscheinlichkeiten p(θ , η) bei Verwendung der LDA. η = setosa η = versicolor η = verginica θ = setosa θ = versicolor θ = verginica

1.00 0.00 0.00

0.00 0.96 0.04

0.00 0.04 0.96

Es bestätigt sich also unsere Vermutung, die auf einer graphischen Darstellung der Daten beruhte: Anhand von X kann man Iris setosa perfekt von den übrigen beiden Arten trennen. Die Arten Iris versicolor und Iris verginica kann man gut, aber nicht perfekt unterscheiden. Aus beiden Gruppen wurden jeweils zwei Pflanzen falsch zugeordnet.

Aufspaltung in Trainings- und Testdaten. Man spaltet die Lernstichprobe rein zufällig in zwei Teilstichproben, Dtrain und Dtest , mit vorgegebenen Fallzahlen. Mit Hilfe von Dtrain bestimmen Dtrain ), dessen Güte dann mittels Dtest geschätzt wird: Die Stichprobe wir einen Klassifikator C(·, Dtest bestehe aus allen (Xi ,Ci ) mit i ∈ I , und Mθ sei die Anzahl aller i ∈ I mit Ci = θ . Dann definieren wir i , Dtrain ) = η . psplit (θ , η) := Mθ−1 # i ∈ I : Ci = θ , C(X Was die Aufspaltung anbelangt, so könnte diese rein zufällig erfolgen, wobei die Anzahlen von Dtrain und Dtest fest vorgegeben werden. Alternativ könnte man gruppenweise vorgehen, also für alle θ ∈ Θ die Menge {i ≤ n : Ci = θ } rein zufällig in einem bestimmten Verhältnis aufteilen. Diese Vorgehensweise, eine sogenannteStratifizierung, ist vor allem bei kleinen oder moderaten Gruppengrößen Nθ angebracht, damit Dtrain und Dtest ähnlich zusammengesetzt sind. Dtrain ) = η}. Doch in der Der Schätzer psplit (θ , η) ist ein unverzerrter Schätzer für Pθ {C(·, D) Regel möchte man zukünftige Beobachtungen mit Hilfe aller Trainingsdaten, also mit C(·, klassifizieren und deutet psplit (θ , η) als Schaetzwert für p(θ , η). Die Aufspaltung von D kann man beliebig oft durchführen und die Einzelresultate mitteln.

184


12.5 Übungsaufgaben Aufgabe 12.1 Sei K : Θ × Θ → [0, ∞[ eine beliebige Kostenfunktion. Beschreiben Sie einen Klassifikator C welcher die mittleren Kosten = ∑ K(θ , η)Pθ {C = η} RK (C) θ ,η∈Θ

minimiert. Setzen Sie dabei wie in Abschnitt 12.3 voraus, dass die Gewichte wθ sowie die Verteilungen Pθ bekannt und durch Dichtefunktionen fθ auf X = Rd gegeben sind. Aufgabe 12.2 Sei X = ]0, ∞[ und Θ = {1, 2}. Ferner sei f1 (x) = x2 e−x /2

und

f2 (x) = x7 e−x /7!.

Geben Sie einen optimalen Klassifikator C in Abhängigkeit von w1 /w2 an. Zeichnen Sie für w1 = w2 = 1/2 die gewichteten Dichten wθ fθ sowie die Gesamtdichte f = w1 f1 + w2 f2 auf dem Intervall ]0, 17[, und markieren Sie die Bereiche {C = 1}, {C = 2}. Aufgabe 12.3 Sei Θ = {1, 2} und Pθ = N2 (μθ , Σ) mit 3 1 Σ = , 1 2

0 μ1 = , 0

5 μ2 = . 0

Bestimmen Sie einen optimalen Klassifikator C für den Fall, dass w1 /w2 = 3. Berechnen Sie ferner die Fehlklassifikationsraten P1 {C = 2} und P2 {C = 1}. Aufgabe 12.4 Betrachten Sie noch einmal das Zahlenbeispiel aus Beispiel 12.6: Θ = {1, 2} und Pθ = N2 (μθ , Σθ ) mit 1 0.5 −1 0.3 0 1 Σ1 = , μ1 = und Σ2 = , μ2 = . 0.5 1 0 0 0.3 0.5 b) ≤ c explizit an. Geben Sie die Parameter A, b, c des Ellipsoids {C = 2} = x : (x − b) A(x − Aufgabe 12.5 (a) Beweisen Sie die Formel (12.4). (b) Zeigen Sie, dass n

∑

Xi − X j 2 = 2n Spur(SSPtotal ).

i, j=1

Dabei bezeichnet Spur(A) die Spur ∑ki=1 Aii einer Matrix A ∈ Rk×k . Hinweis: Für beliebige Matrizen A ∈ Rk× , B ∈ R×k ist Spur(AB) = Spur(BA). (Beweis?) Insbesondere ist v2 = Spur(v v) = Spur(vv ). (c) Zeigen Sie, dass n

∑

i, j=1

−1/2 ). −1/2 SSPinter Σ Ci , μ C j ) = 2n Spur(Σ d2Σ (μ

−1/2 μ Ci anstelle von Xi . Hinweis: Betrachten Sie Teil (b) mit Xi := Σ


185

Aufgabe 12.6 (a) Schreiben Sie ein Programm zur Klassifikation nach der Nearest-Neighbor-Methode mit euklidischem Abstand. Eingabeparameter sollen sein: • die Datenmatrix X = (X1 , . . . , Xn ) , • der Vektor C = (C1 , . . . ,Cn ) , • die Anzahl k nächster Nachbarn sowie D) per “Mehrheitsbeschluss” festlegen. • ein neuer Vektor X. Das Programm soll dann einen Wert C(X, Erklären Sie auch, wie Sie mit Fällen umgehen, bei denen der Mehrheitsbeschluss nicht eindeutig ist. (b) Schreiben Sie mit Hilfe von Teil (a) ein Programm, welches einen Datensatz D, bestehend aus X und C, für eine beliebige Anzahl k nach der Kreuzvalidierungsmethode auswertet und die Schätzwerte pcv (θ , η) berechnet. (c) Wenden Sie Ihr Programm auf den Datensatz ‘Iris.txt’ an. Für welche Zahlen k erhalten Sie den kleinsten Wert R := 3−1 ∑ 1{θ = η} pcv (θ , η)? θ ,η∈Θ

Geben Sie für einen dieser Werte k auch die Matrix der Werte pcv (θ , η) an. Aufgabe 12.7 Modifizieren Sie die Nearest-Neighbor-Methode und Ihre Programme für Aufgabe 12.6 dahingehend, dass nicht der euklidische Abstand, sondern der Mahalanobis-Abstand dΣ (·, ·) bzgl. der geschätzten Kovarianz = (n − #Θ)−1 SSPinter verwendet wird. matrix Σ

13 Lineare Modelle In diesem Kapitel betrachten wir ein Variablenpaar (X,Y ) bestehend aus einer “unabhängigen Variable” X mit beliebigem Wertebereich X und einer “abhängigen Variable” oder “Response” Y ∈ R. Die Frage ist, inwiefern die Response Y von X abhängt. Typischerweise ist X ein Vektor von diversen Variablen. Diese Fragestellung ist uns bereits in Abschnitt 11.2 begegnet. Allerdings betrachteten wir dort nur den Fall, dass alle Komponenten von X numerische Variablen sind. Außerdem betrachteten wir (X,Y ) stets als Zufallsvariable. Im vorliegenden Kontext kann X auch ein fester Parameter sein. Tatsächlich konzentrieren wir uns hier auf die bedingte Verteilung von Y , gegeben X. Beispiel 13.1 Man untersucht einen physiologischen Parameter, beispielsweise den Cholesterinspiegel des Blutes einer Person in Abhängigkeit von numerischen Variablen, beispielsweise dem Alter und dem Körpergewicht, sowie kategoriellen Variablen (“Faktoren”), beispielsweise dem Geschlecht und der Region, aus welcher die betreffende Person stammt. Eine typische Fragestellung ist hier, ob es regionale Unterschiede gibt, ob also der Faktor ‘Region’ einen nennenswerten Einfluss hat. Beispiel 13.2 Man möchte den Wert einer numerischen Variable X bestimmen. Im Prinzip gibt es hierfür eine exakte, aber aufwändige Methode. Alternativ kann man eine indirekte Messmethode verwenden, die mit wenig Aufwand einen Wert Y liefert, aber auch fehlerbehaftet ist. Die Frage ist nun, inwiefern man von Y auf den Wert X schließen kann.

13.1 Definition linearer Modelle und Beispiele Um den Zusammenhang zwischen X und Y zu untersuchen, ermittelt man n Repräsentanten (X1 ,Y1 ), . . . , (Xn ,Yn ) von (X,Y ). Modellannahmen. Die Werte Xi betrachten wir als fest vorgegeben. Natürlich sind die Einflussgrößen Xi in vielen, gerade auch medizinischen Anwendungen keineswegs fixiert. Die in diesem Kapitel betrachteten Modelle beschreiben dann die bedingte Verteilung der Yi gegeben die Xi . Von den folgenden vier Modellannahmen setzen wir stets die beiden ersten voraus. Die dritte und vierte Annahme werden für Tests und Konfidenzbereiche benötigt. Annahme LM1. Yi = f∗ (Xi ) + εi mit einer unbekannten Funktion f∗ : X → R und zufälligen, stochastisch unabhängigen Fehlern ε1 , ε2 , . . . , εn , so dass IE(εi ) = 0.

188

13 Lineare Modelle

Annahme LM2. Wir nehmen an, dass die unbekannte Funktion f∗ zu einem gegebenen endlichdimensionalen Vektorraum von Funktionen f : X → R gehört. Das heißt, für vorgegebene Basisfunktionen f1 , f2 , . . . , f p von X nach R ist p

f∗ (x) =

∑ θ j f j (x)

(x ∈ X )

j=1

mit einem unbekannten Parameter θ ∈ R p . Annahme LM3 (Homoskedastizität). Die zufälligen Fehler εi haben alle die gleiche, in der Regel unbekannte Standardabweichung σ > 0. Annahme LM4 (Normalität). Die zufälligen Fehler εi sind normalverteilt. Beispiele linearer Modelle. Beispiel 13.3 (Einfache lineare Regression) Sei X = R. Die Menge der affin linearen Funktionen f auf R, x → f (x) = a + bx, ist ein zweidimensionaler Vektorraum von Funktionen auf X . Dieser wird beispielsweise aufgespannt von den Basisfunktionen f1 (x) = 1 und f2 (x) = x. Dieses Modell wird oftmals im Zusammenhang mit Eichkurven angewandt; siehe Beipiel 13.2. Am Ende von Abschnitt 13.3 kommen wir auf diese Anwendung zurück. Beispiel 13.4 (Polynomiale Regression) Sei X = R. Die Menge der Funktionen f der Form x → f (x) = a0 + a1 x + a2 x2 + · · · + aq xq , also aller Polynome q-ter Ordnung, ist ein (q + 1)-dimensionaler Vektorraum, der von den Basisfunktionen f j (x) := x j−1 (1 ≤ j ≤ q + 1) aufgespannt wird. Dieses Modell verwendet man mitunter mit q ≥ 2, um das einfachere Modell von Beispiel 13.3 zu überprüfen und nötigenfalls zu verfeinern. Beispiel 13.5 (Einweg-Varianzanalyse, ANOVA) Im Modell der Einwegvarianzanalyse (one-way analysis of variance) betrachtet man eine kategorielle Kovariable X mit endlichem Wertebereich, sagen wir X = {1, 2, . . . , L}. Die Menge aller Funktionen f von X nach R ist ein Vektorraum der Dimension L. Ein konkretes Beispiel für die Anwendung dieses Modells sind landwirtschaftliche Experimente: Auf n Versuchsfeldern wird jeweils eine von L Sorten einer Nutzpflanze angebaut. Sei Xi die Pflanzensorte und Yi der Ertrag auf dem i-ten Versuchsfeld. Ein weiteres Beispiel kommt aus der Onkologie: An n Krebszellkulturen mit einer einheitlichen Anfangskonzentration wird jeweils eines von L verschiedenen Chemotherapeutika ausprobiert. Nach einer bestimmten Zeitspanne ermittelt man die Konzentration Yi der i-ten Zellkultur, welche mit Substanz Xi behandelt wurde.

13.1 Definition linearer Modelle und Beispiele

189

Einige Computerprogramme verwenden hier eine etwas andere Parametrisierung, nämlich f (x) = a + b(x) mit a ∈ R und b : X → R, wobei b(1) = 0. Also behandelt man 1 ∈ X als Referenzkategorie, so dass a = f (1) und b(x) = f (x) − f (1). Beispiel 13.6 (Multiple lineare Regression) Sei X = Rq . Wir betrachten die Menge aller affin linearen Funktionen auf Rq , also aller Funktionen f der Form q

x → f (x) = a0 + ∑ a j x( j) j=1

ist ein (q + 1)-dimensionaler Vektorraum, der von den Basisfunktionen f1 (x) := 1 und f j (x) := x( j − 1) für 2 ≤ j ≤ q + 1 aufgespannt wird.

Matrixdarstellung linearer Modelle. Nach Festlegung von Basisfunktionen für das lineare Modell kann man den Beobachtungsvektor Y = (Yi )ni=1 ∈ Rn darstellen als Y = Dθ + e.

(13.1)

Dabei ist • D ∈ Rn×p die sogenannte Designmatrix mit Einträgen Di j = f j (Xi ), die von den Einstellgrößen Xi und den gewählten Basisfunktionen abhängen, • θ ∈ R p ein unbekannter Parametervektor und • e der zufällige Fehlervektor (εi )ni=1 ∈ Rn . Beispiel (13.3, Einfache lineare Regression, Forts.) Eine beliebige affin lineare Funktion x → f (x) = a + bx parametrisieren wir durch θ := (a, b) . Dann gilt Darstellung (13.1) mit der Designmatrix ⎞ ⎛ 1 X1 ⎜1 X ⎟ ⎜ 2⎟ D := ⎜ .. ⎟ ⎟. ⎜ .. ⎝. .⎠ 1

Xn

Beispiel (13.4, Polynomiale Regression, Forts.) Ein beliebiges Polynom x → f (x) = a0 + a1 x + · · · + aq xq parametrisieren wir durch θ := (a0 , a1 . . . , aq ) ∈ Rq+1 . Dann gilt Darstellung (13.1) mit der Designmatrix ⎛ q⎞ 1 X1 X12 · · · X1 q ⎜1 X X22 · · · X2 ⎟ ⎟ ⎜ 2 ⎜ D := ⎜ . .. ⎟ .. .. ⎟. . ⎝. . ⎠ . . q 1 Xn Xn2 · · · Xn Beispiel (13.5, Einweg-Varianzanalyse, Forts.) Ausgehend vom Wertebereich X = {1, 2, . . . , L} und dem Parametervektor θ := ( f∗ (k))Lk=1 ∈ RL gilt Darstellung (13.1) mit Designmatrix D = (D1 , D2 , . . . , DL ), wobei n Dk := 1{Xi = k} i=1 .

190

13 Lineare Modelle

Wenn also beispielsweise L = 4, n = 7 und (X1 , X2 , . . . , Xn ) = (x1 , x1 , x1 , x2 , x3 , x4 , x4 ), dann ist ⎛ ⎞ 1 0 0 0 ⎜1 0 0 0⎟ ⎜ ⎟ ⎜1 0 0 0⎟ ⎜ ⎟ ⎜ ⎟ D = ⎜0 1 0 0⎟ . ⎜ ⎟ ⎜0 0 1 0⎟ ⎟ ⎜ ⎝0 0 0 1⎠ 0 0 0 1 Beispiel (13.6, Multiple lineare Regression, Forts.) Ein beliebige affin lineare Funktion x → f (x) = a0 + a1 x(1) + · · · + aq x(q) parametrisieren wir durch θ := (a0 , a1 . . . , aq ) ∈ Rq+1 , so dass ⎛ ⎞ ⎛ ⎞ 1 X1 (1) X1 (2) · · · X1 (q) 1 X1 ⎜1 X (1) X (2) · · · X (q)⎟ ⎜1 X ⎟ ⎜ ⎟ ⎜ 2 2 2 2 ⎟ ⎟ ⎜. D = ⎜ = .. ⎟ .. .. .. ⎟ ⎜ .. ⎜. ⎟. ⎝. ⎝. . ⎠ . . . ⎠ 1

Xn (1)

Xn (2)

···

Xn (q)

1

Xn

13.2 Schätzung der Parameter Wir gehen nun von der Matrizendarstellung (13.1) aus und setzen stets voraus, dass Rang(D) = p.

(13.2)

Mit anderen Worten, die p Spalten der Matrix D sind linear unabhängig. Hierzu äquivalent ist die Aussage, dass die Matrix D D ∈ R p×p positiv definit, insbesondere invertierbar ist. Denn für η ∈ R p \ {0} ist Dη = 0 genau dann, wenn Dη 2 = η D Dη = 0. Schätzung von θ . falls

Ein Vektor θ ∈ R p heißt Kleinste-Quadrate-Schätzer (KQ-Schätzer) für θ , Y − Dθ 2 = minp Y − Dη 2 . η∈R

Unter der Voraussetzung (13.2) gibt es genau einen KQ-Schätzer für θ , nämlich θ = θ (Y) = (D D)−1 D Y.

(13.3)

Dies kann man wie Satz 11.2 durch quadratische Ergänzung nachweisen. Denn für diesen Vektor θ = (D D)−1 D Y und beliebige η ∈ R p ist Y − Dη 2

= Y 2 − 2η D Y + η D D η = Y 2 − 2η D D θ + η D D η = Y 2 − θ D D θ + (η − θ ) D D (η − θ ) ≥ Y 2 − θ D D θ

= Y 2 − Dθ 2 ,

13.2 Schätzung der Parameter

191

und Gleichheit gilt genau dann, wenn η = θ . Lemma 13.1 Unter den Annahmen LM1-2 ist IE(θ ) = θ . Gilt zusätzlich Annahme LM3, dann ist Var(θ ) = σ 2 (D D)−1 . Beweis (Lemma 13.1) Gemäß (13.3) ist θ = (D D)−1 D (Dθ + e) = θ + (D D)−1 D e, und aus IE(e) = 0 folgt, dass IE(θ ) = θ .

Im Falle von homoskedastischen Fehlern εi mit Varianz σ 2 ist Var(e) = σ 2 In , also Var(θ )

=

(D D)−1 D Var(e)D(D D)−1

=

σ 2 (D D)−1 D D(D D)−1

=

σ 2 (D D)−1 .

Beispiel (13.3, Einfache lineare Regression, Forts.) Der KQ-Schätzer θ = (

a,

b) für θ = (a, b) hat die Komponenten a = Y¯ +

bX¯

¯ i ∑ (Xi − X)Y und

b = i . ¯ 2 ∑i (Xi − X)

Die Herleitung dieser Formeln aus der Normalengleichung (13.3) überlassen wir dem Leser als Übungsaufgabe. Später werden wir noch eine andere Herleitung mittels Orthogonalisierung sehen. Uns interessiert nun die Kovarianzmatrix von θ . Mit X = (Xi )ni=1 ∈ Rn ist hier n nX¯ D D = nX¯ X 2 ¯ 2 . Also ist Rang(D) = 2 genau dann, wenn X mindestens und det(D D) = n( X 2 − nX¯ 2 ) = n ∑ni=1 (Xi − X) zwei unterschiedliche Komponenten hat. Für den Spezialfall, dass Xi = i/n, wird in Aufgabe 13.1 gezeigt, dass 4 −6 2

. lim n Var(θ ) = σ n→∞ −6 12 Beispiel (13.5, Einweg-Varianzanalyse, Forts.) Hier ist D D eine Diagonalmatrix mit Diagonalelementen n(k) := #J (k) für k = 1, . . . , L, wobei J (k) := {i : Xi = k}. Ferner hat D Y die Komponenten ∑i∈J (k) Yi , so dass θ = Y¯ (1), Y¯ (2), . . . , Y¯ (L) und

1 mit Y¯ (k) := ∑ Yi , n(k) i∈J (k)

σ2 σ2 σ2 Var(θ ) = diag , ,..., . n(1) n(2) n(L)

192

13 Lineare Modelle

Geometrische Betrachtung. Für das Verständnis der Eigenschaften von θ und später eingeführter Verfahren ist folgende Überlegung hilfreich. Nach Voraussetzung ist IE(Y) = Dθ , also ein Vektor in dem Modellraum M := DR p = Dη : η ∈ R p , einem p-dimensionalen Untervektorraum von Rn . Der KQ-Schätzer für IE(Y) ist definiert als der

∈ M, welcher minimalen Euklidischen Abstand zu Y hat, also eindeutige Vektor Y

2 = min Y − v 2 . Y − Y v∈M

ist die orthogonale Projektion von Y auf den Modellraum M. Mithilfe Mit anderen Worten, Y

von θ kann man schreiben

= Dθ = D(D D)−1 D Y = HY, Y wobei

H := D(D D)−1 D ∈ Rn×n .

Diese Matrix H beschreibt die orthogonale Projektion von Rn auf den Teilraum M. Da sie “dem Vektor Y einen Hut aufsetzt”, nennt man sie auch Hutmatrix (hat matrix). Schätzung von σ 2 . Nun betrachten wir den Fall homoskedastischer Fehler εi . Neben θ ist in der Regel auch die Varianz σ 2 der Fehler εi unbekannt. Wäre der Vektor e beobachtbar, so könnte man σ 2 durch das arithmetische Mittel 1 n 2 ∑ εi n i=1 schätzen. Ein naheliegender Ansatz ist nun, den unbekannten Fehlervektor durch den Vektor

e := Y − Dθ

der Residuen

εi = Yi − Y i zu ersetzen. Der entsprechende Schätzer n−1 ∑ni=1

εi2 = n−1 e 2 wäre 2 jedoch verzerrt in dem Sinne, dass sein Erwartungswert echt kleiner ist als σ . Das nachfolgende Lemma rechtfertigt den Schätzer

2 := σ

Y − Dθ 2 . n− p

e 2 , ersetzt aber die Zahl n durch die Zahl n − p Man verwendet also den naiven Schätzer n−1

der Freiheitsgrade (degrees of freedom) für die Schätzung von σ 2 . Lemma 13.2 Unter den Annahmen LM1-3 ist IE(σ 2 ) = σ 2 .


193

2 kann man als Verallgemeinerung der Stichprobenvarianz auffassen. Denn in Den Schätzer σ dem einfachsten linearen Modell mit Beobachtungen Yi = θ + εi

(1 ≤ i ≤ n)

und unbekanntem Mittelwert θ ∈ R ist der KQ-Schätzer für θ gleich dem Stichprobenmittelwert Y¯ , und σ 2 ist die Stichprobenvarianz (n − 1)−1 ∑ni=1 (Yi − Y¯ )2 . Beweis (Lemma 13.2) e gleich Y − HY = e − He. Denn Y = Dθ + e und Mit der Hutmatrix H = D(D D)−1 D = (Hi j )ni, j=1 ist

HDθ = Dθ . Folglich ist

2 = IE

e 2 (n − p) IE σ =

IE(e − He) (e − He)

=

IE e (I − H) (I − H)e

=

IE e (I − H)e [wegen H = H = HH] n ∑ IE(εi ε j ) 1{i = j} − Hi j

= = =

i, j=1 n

∑

1{i = j}σ 2 1{i = j} − Hi j

i, j=1 n 2

σ

∑ (1 − Hii )

i=1

=

σ 2 (n − Spur(H)).

Dabei ist Spur(H) definiert als ∑ni=1 Hii . Nun folgt die Behauptung aus der in Aufgabe 13.2 behandelten Tatsache, dass Spur(H) = dim(M) = p.

Orthogonalisierung. Die Darstellung (13.3) des KQ-Schätzers ist für theoretische Überlegungen nützlich, doch für numerische Berechnungen sind andere Methoden zuverlässiger, da die Matrix D D mitunter schlecht konditioniert ist. In der Regel arbeitet man mit der sogenannten QR-Zerlegung von D; siehe z.B. Opfer (1994). Eine andere mögliche Vorgehensweise, die auch oft die Interpretation erleichtert, ist Orthogonalisierung der Spalten von D. Wenn nämlich D aus orthogonalen Spalten D1 , D2 , . . . , D p besteht, dann ist D D eine Diagonalmatrix mit Diagonalelementen D1 2 , D2 2 , . . . , D p 2 . In diesem Falle ist

D Y D pY 1 θ = , . . . , . D1 2 D p 2 Unter den Annahmen LM1-3 ist Var(θ ) = σ 2 diag D1 −2 , D2 −2 , . . . , D p −p , so dass die Komponenten von θ unkorreliert sind. Nun demonstrieren wir Orthogonalisierungen für zwei Modelle.

194

13 Lineare Modelle

Beispiel (13.3, Einfache lineare Regression, Forts.) Schreibt man die Modellgleichung Yi = a + bXi + εi als ¯ + εi Yi = a + b(Xi − X)

¯ mit a := a + bX,

dann ergibt sich eine Designmatrix D mit den orthogonalen Spalten 1 := (1, . . . , 1) und X − X¯ 1. Ferner ist n 0 D D = , 0 Q ¯ 2 = X 2 − nX¯ 2 . Der KQ-Schätzer für ( wobei Q := ∑ni=1 (Xi − X) a, b) ist nun

Y¯ a = ¯ i Q .

b ∑ni=1 (Xi − X)Y ¯ Da die Schätzer Y¯ und

Dann ist der KQ-Schätzer für den ursprünglichen Parameter a gleich a = Y¯ −

bX. b unter den Annahmen LM1-3 unkorreliert sind, ist −1 + X¯ 2 Q−1 −XQ ¯ −1 b) −X¯ Var(

b) Var(Y¯ ) + X¯ 2 Var(

2 n

= σ . Var(θ ) = ¯ −1 −X¯ Var(

b) Var(

b) −XQ Q−1 Beispiel 13.7 (Einfache Kovarianzanalyse, ANCOVA) Das Modell der Kovarianzanalyse (analysis of covariance) ist eine Verallgemeinerung des Modells der Einweg-Varianzanalyse (Beispiel 13.5). Der Name ist historisch bedingt und etwas irreführend. Es geht nicht um Analyse von Kovarianzen, sondern um eine Varianzanalyse unter Berücksichtigung von numerischen Kovariablen. Wir betrachten hier den einfachsten Fall mit genau einer numerischen Kovariable: Sei Yi = a(Ci ) + bWi + εi (1 ≤ i ≤ n). Dabei sind Ci ∈ {1, 2, . . . , L} und Wi ∈ R die Werte einer kategoriellen bzw. numerischen Kovariable. Die Zahlen a(1), . . . , a(L) und b sind unbekannte Parameter. Ohne die Kovariable W hätte man das Modell n einer Einwegvarianzanalyse mit einer Designmatrix mit orthogonalen Spalten Dk := 1{Ci = k} i=1 für n k = 1, . . . , L. Im erweiterten Modell hat die Designmatrix noch die zusätzliche Spalte W := (Wi )i=1 . Orthogonale Spalten erhält man, wenn man diesen Vektor W durch den Vektor n DL+1 := Wi − W¯ (Ci ) i=1 ersetzt. Dabei ist W¯ (k) :=

1 ∑ Wi n(k) i∈J (k)

mit J (k) := {i : Ci = k} und n(k) := #J (k). Wir arbeiten also mit der Modellgleichung Yi = a(Ci ) + b(Wi − W¯ (Ci )) + εi

(1 ≤ i ≤ n),

wobei a(k) := a(k) + bW¯ (k). Dies liefert die KQ-Schätzer

a(k) = Y¯ (k) und

b =

n

∑ (Wi − W¯ (Ci ))Yi /Q,

i=1

wobei die Teilgruppen-Mittelwerte Y¯ (k) analog wie W¯ (k) definiert werden, und n

Q :=

∑ (Wi − W¯ (Ci ))2 .

i=1


195

Für die ursprünglichen Parameter a(k) ergeben sich dann die Schätzwerte a (k) = Y¯ (k) −

bW¯ (k). An dieser Formel erkennt man klar, wie der Einfluss der Kovariable W bei der Schätzung der Gruppenparameter a(k) berücksichtigt wird. Die Berechnung der Kovarianzmatrix von θ ist Gegenstand von Aufgabe 13.3. Beispiel 13.8 (Cholesterin) Der Datensatz ‘Cholesterol.txt’ enthält folgende Informationen für n = 30 Damen: Yi

:

Cholesterinspiegel des Blutes,

Ci

:

Bundesstaat (Iowa = 1, Nebraska = 2),

Wi

:

Alter.

Die gruppenweisen Mittelwerte von Y sind Y¯ (1) ≈ 207.73

und Y¯ (2) ≈ 217.11.

Allerdings haben die beiden Teilgruppen unterschiedliche Durchschnittsalter, nämlich W¯ (1) ≈ 53.10

und W¯ (2) ≈ 45.95.

Der geschätzte Einfluss des Alters auf den Cholesterinspiegel ist

b ≈ 2.698. Hieraus ergeben sich die KQ-Schätzer a (1) = Y¯ (1) −

bW¯ (1) ≈ 64.49

und a (2) = Y¯ (2) −

bW¯ (2) ≈ 93.14.

Somit ist Y¯ (2) − Y¯ (1)

≈

9.38

a (2) − a (1)

≈

28.65.

aber

Die beiden Teilgruppen unterscheiden sich also in Bezug auf den Cholesterinspiegel deutlicher, als man aufgrund der einfachen Mittelwerte Y¯ (k) annehmen würde. Als Schätzer für die Standardabweichung σ erhält man

2 Y − Y 49103.91 ≈ ≈ 42.65. σ = n− p 30 − 3 Der geschätzte Unterschied a (1) − a (2) ≈ 28.65 zwischen den beiden Teilgruppen ist also kleiner als die

der Einzelwerte. Auf die naheliegende Frage, ob dieser Unterschied signifikant von geschätzte Streuung σ Null verschieden ist, kommen wir im nächsten Abschnitt zurück. Abbildung 13.1 zeigt die Punkte (Wi ,Yi ), wobei Gruppe 1 (Iowa) durch ‘+’ und Gruppe 2 (Nebraska) durch ‘×’ dargestellt wird. Ferner wurden die Regressionsgeraden (w, y) : w ∈ R, y = a (c) +

bw eingezeichnet, als gepunktete (c = 1) bzw. gestrichelte (c = 2) Linie.

196

13 Lineare Modelle

350

x +

300

x

x x

250

+

200

x

x

x

x

+ x

x

x

+

x

x+

+

x x

x +

+

+

150

x x

x

+

100

+

20

30

40

50

60

70

80

Abbildung 13.1: Cholesterin-Daten und Regressionsgeraden.

13.3 Tests und Konfidenzbereiche Angenommen die Fehler εi sind homoskedastisch mit Varianz σ 2 und normalverteilt, also e ∼ Nn (0, σ 2 I). Unter dieser Annahme kann man statistische Aussagen über die unbekannten Parameter θ und σ machen. Das wesentliche Hilfsmittel ist folgender Satz: Satz 13.3 Unter der Annahme, dass e ∼ Nn (0, σ 2 I) und Rang(D) = p < n, gilt: (i) θ ist normalverteilt mit Mittelwert θ und Kovarianzmatrix σ 2 (D D)−1 ; (ii) (n − p)σ 2 /σ 2 ist χ 2 -verteilt mit n − p Freiheitsgraden; (iii) θ und σ 2 sind stochastisch unabhängig. Beweis (Satz 13.3) Sei b1 , b2 , . . . , bn eine Orthonormalbasis des Rn , so dass die Vektoren b1 , . . . , b p den Modellraum M = DR p aufspannen, also p n M = ∑ λi b i : λ i ∈ R und M⊥ = ∑ λ jb j : λ j ∈ R . i=1

j=p+1

13.3 Tests und Konfidenzbereiche

197

Mit der orthonormalen Matrix B = (b1 , b2 , . . . bn ) ist Y = Dθ + BB e = Dθ + σ

n

∑ Zi bi ,

i=1

wobei Z = (Zi )ni=1 := σ −1 B e nach Nn (0, I) verteilt ist. Die Zufallsvariablen Z1 , Z2 , . . . , Zn sind also stochastisch unabhängig und standardnormalverteilt. Einerseits ist θ = θ + σ

n

∑ Zi (D D)−1 D bi = θ + σ

i=1

p

∑ Zi (D D)−1 D bi ,

i=1

denn nach Konstruktion unserer Orthonormalbasis ist D b j = 0 für j > p. Ferner ist

2 = σ

Y − HY 2

=

n− p

2 σ ∑nj=p+1 Z j b j n− p

=

σ 2 ∑nj=p+1 Z 2j n− p

.

Also sind θ und σ 2 als Funktion von (Zi )i≤p bzw. (Z j ) j>p stochastisch unabhängig. Ferner ist θ eine

2 /σ 2 = ∑nj=p+1 Z 2j ist χ 2 -verteilt mit lineare Funktion von (Zi )i≤p und somit normalverteilt, und (n − p)σ n − p Freiheitsgraden.

T-Tests und -Konfidenzintervalle. Mitunter möchte man über eine bestimmte Komponente von θ Aussagen treffen. In anderen Anwendungen ist man an Schranken für die Differenz zweier bestimmter Komponenten von θ interessiert. Allgemein sei ψ θ eine Zahl, über die wir Aussagen treffen wollen, wobei ψ ∈ R p \ {0}. Schätzung von ψ θ .

Ein naheliegender Schätzer für ψ θ ist ψ θ mit Verteilung N ψ θ , σ (ψ)2 .

Dabei ist σ (ψ) := σ

ψ (D D)−1 ψ

die Standardabweichung des Schätzers ψ θ . Diese schätzt man durch den Standardfehler (standard error) σ (ψ) := σ ψ (D D)−1 ψ. Satz 13.3 beinhaltet nun folgende Aussage: Korollar 13.4 Unter den Bedingungen von Satz 13.3 ist ψ θ − ψ θ ∼ tn−p .

(ψ) σ

198

13 Lineare Modelle

Beweis (Korollar 13.4) Man kann schreiben ψ θ − ψ θ Z =

(ψ) σ S2 /(n − p) mit den stochastisch unabhängigen Zufallsvariablen Z := σ (ψ)−1 (ψ θ − ψ θ ) ∼ N (0, 1) und S2 := 2 .

2 /σ 2 ∼ χn−p (n − p)σ

Der T-Test. Wir definieren die T-Teststatistik T (Y, ψ) :=

ψ θ

(ψ) σ

Nach Korollar 13.4 ist dann π(Y, ψ) := 2 t cdfn−p (−|T (Y, ψ)|) ein (zweiseitiger) P-Wert für die Nullhypothese, dass ψ θ = 0. Natürlich kann man auch einseitig testen, wenn dies angemessen ist. Ferner könnte man anstelle der Nullhypothese “ψ θ = 0” auch Nullhypothesen der Form “ψ θ = γo ” für ein γo ∈ R testen. Die entsprechende T-Teststatistik wäre dann T (Y, ψ, γo ) :=

ψ θ − γo .

(ψ) σ

Das T-Konfidenzintervall. Ein (1 − α)-Konfidenzintervall für ψ θ ist

(ψ)tn−p;1−α/2 . ψ θ ± σ

(13.4)

Anmerkung. Viele Softwarepakete liefern zu jedem berechneten Schätzer ψ θ automatisch

(ψ) seiner Standardabweichung (standard error). Wenn dabei noch ein P-Wert den Schätzwert σ (p-value) steht, dann ist es in der Regel der hier beschriebene, auf dem T-Test beruhende P-Wert für die Nullhypothese “ψ θ = 0”. Beispiel (13.8, Cholesterin, Forts.) Mit θ = (a(1), a(2), b) ergab sich der Schätzwert a (1) − a (2) ≈ 28.65 für a(1) − a(2). Wir betrachten also den Vektor ψ := (1, −1, 0) . Mit Hilfe eines Statistikpakets oder Auf (ψ) ≈ 16.54. Dies liefert dann die Student-Statistik gabe 13.3 ergibt sich der Standardfehler σ T (Y, ψ) ≈ 1.73 und den entsprechenden P-Wert π(Y, ψ) = 2 t cdf27 −|T (Y, ψ)| ≈ 0.095. Auf dem Standardniveau von α = 0.05 wird also die Nullhypothese nicht verworfen.


199

F-Tests und -Konfidenzbereiche. Angenommen, man möchte die Nullhypothese, dass ψ θ für mehrere vorgegebene Vektoren ψ gleich Null ist, testen. Wenn es sich um endlich viele Vektoren handelt, kann man die T-Tests des vorigen Abschnitts mit einer Bonferroni- oder HolmAdjustierung wie in Abschnitt 10.1 beschrieben anwenden. In manchen Spezialfällen sind auch exakte Methoden verfügbar (Stichworte: “studentisierte Spannweiten”, Tukeys Methode). In diesem Abschnitt behandeln wir eine andere, von R.A. Fisher und H. Scheffé entwickelte Methode. Wir betrachten den Vektorraum, der von den uns interessierenden Vektoren ψ aufgespannt wird. Sei Ψ ∈ R p×d eine Matrix, deren d Spalten eine Basis dieses Vektorraumes sind. Dann geht es unter anderem um einen Test der Nullhypothese, dass Ψ θ = 0. Schätzung von Ψ θ . Ein natürlicher Schätzer für Ψ θ ist Ψ θ . Dieser Zufallsvektor hat Verteilung Nd Ψ θ , Σ(Ψ) mit Σ(Ψ) := σ 2 Ψ (D D)−1 Ψ ∈ Rd×d .

Einen Schätzer Σ(Ψ) für die Kovarianzmatrix Σ(Ψ) erhalten wir, indem wir σ durch σ ersetzen. Bevor wir nun mithilfe dieser Schätzer eine Teststatistik definieren, führen wir eine neue Klasse von Verteilungen ein. Definition (F-Verteilungen) Für natürliche Zahlen k, seien S2 und T 2 stochastisch unabhängige Zufallsvariablen mit S2 ∼ χk2 und T 2 ∼ χ2 . Die Verteilung von k−1 S2 −1 T 2 ist Fishers F-Verteilung mit k und Freiheitsgraden. Sie wird mit Fk, bezeichnet. Ihr γ-Quantil bezeichnen wir mit Fk,;γ .

Nun ergibt sich aus Satz 13.3 folgendes Korollar: Korollar 13.5 −1

d −1 (Ψ θ − Ψ θ ) Σ(Ψ) (Ψ θ − Ψ θ ) ∼ Fd,n−p .

Beweis (Korollar 13.5) Der Zufallvektor Σ(Ψ)−1/2 Ψ (θ − θ ) ist standardnomalverteilt im Rd , weshalb 2 S2 := Σ(Ψ)−1/2 Ψ (θ − θ ) = (Ψ θ − Ψ θ ) Σ(Ψ)−1 (Ψ θ − Ψ θ ) 2 , wobei S2 und T 2 stochastisch

2 = σ 2 (n − p)−1 T 2 mit T 2 ∼ χn−p nach χd2 verteilt ist. Gemäß Satz 13.3 ist σ unabhängig sind. Folglich ist −1

(Ψ θ − Ψ θ ) d −1 (Ψ θ − Ψ θ ) Σ(Ψ) d −1 (Ψ θ − Ψ θ ) Σ(Ψ)−1 (Ψ θ − Ψ θ ) d −1 S2 = = 2 2

(n − p)−1 T 2 σ /σ

F-verteilt mit d und n − p Freiheitsgraden.

200

13 Lineare Modelle

Der F-Test. Die Nullhypothese, dass Ψ θ = 0, kann man nun mit der F-Teststatistik −1

F(Y, Ψ) := d −1 (Ψ θ ) Σ(Ψ) Ψ θ

und dem P-Wert π(Y, Ψ) := 1 − F cdfd,n−p (F(Y, Ψ)) überprüfen. Dabei bezeichnet F cdfd,n−p die Verteilungsfunktion von Fd,n−p . Geometrische Deutung des F-Tests. Die Nullhypothese “Ψ θ = 0” ist gleichbedeutend mit der Annahme, dass IE(Y) in dem Vektorraum Mo := Dθ : θ ∈ R p , Ψ θ = 0 der Dimension po := p − d liegt. Mit der Projektionsmatrix Ho für die orthogonale Projektion auf Mo kann man zeigen (Aufgabe 13.6), dass F(Y, Ψ) =

HY − Ho Y 2 /(p − po ) . Y − HY 2 /(n − p)

(13.5)

Man zerlegt also den Beobachtungsvektor Y in die drei orthogonalen Komponenten Ho Y HY − Ho Y Y − HY

∈ Mo , ∈ M ∩ M⊥ o

und

⊥

∈ M ;

siehe auch Abbildung 13.2. Die erste Komponente wird ignoriert, und die Länge der zweiten Komponente wird mit der Länge der dritten Komponente verglichen. Unter der Nullhypothese ist HY − Ho Y = He − Ho e und Y − HY = e − He . Beide Größen hängen also ausschließlich vom “Rauschen” e ab. Doch unter der Alternativhypothese, dass IE(Y) ∈ Mo , ist HY − Ho Y tendenziell größer als He − Ho e . Anmerkung. Anstelle der Nullhypothese “Ψ θ = 0” kann man natürlich auch Nullhypothesen der Form “Ψ θ = γo ” mit γo ∈ Rd testen. Dazu muss man nur die F-Teststatistik F(Y, Ψ) durch F(Y, Ψ, γo ) :=

(Ψ θ − γo ) V (Ψ)−1 (Ψ θ − γo )

2 dσ

ersetzen. Beispiel (13.5, Einweg-Varianzanalyse, Forts.) Gegeben sind Beobachtungen Yi = f∗ (Xi ) + εi

(1 ≤ i ≤ n),

wobei Xi ∈ {1, 2, . . . , L}. Nun betrachten wir die Nullhypothese Ho : f∗ (1) = f∗ (2) = · · · = f∗ (L).


201

Abbildung 13.2: Geometrie des F-Tests. Mit θ := ( f∗ (k))Lk=1 ist dies gleichbedeutend mit Ho : Ψθ = 0, wobei

⎛ ⎜ ⎜ ⎜ Ψ := ⎜ ⎜ ⎝

+1

−1

0

0 .. . 0

+1 .. . ···

−1 .. . 0

··· .. . .. . +1

⎞ 0 .. ⎟ ⎟ . ⎟ ⎟ ∈ R(L−1)×L . ⎟ 0⎠ −1

Man verwendet also die F-Verteilung mit L − 1 und n − L Freiheitsgraden. Hier fällt allerdings der geometrische Zugang leichter: Der eingeschränkte Modellraum Mo besteht einfach aus allen konstanten Vektoren, weshalb n n HY = Y¯ (Xi ) i=1 , Ho Y = Y¯ i=1 und F(Y) = F(Y, Ψ) =

∑ni=1 (Y¯ (Xi ) − Y¯ )2 /(L − 1) . ∑ni=1 (Yi − Y¯ (Xi ))2 /(n − L)

Beispiel (10.3, Koffein, Forts.) Wir betrachten nochmals den Datensatz ‘Caffeine.txt’ aus Kapitel 10. Nach einer Trainingsphase wurde n = 30 Probanden eine ihnen unbekannte Dosis von Koffein verabreicht, und dann wurde bei jedem Probanden die Zahl Yi von Tastenanschlägen pro Minute gemessen. Wir kodieren hier die tatsächlichen Dosierungen durch Zahlen Xi aus {1, 2, 3}, wobei ‘1’ für 0 mg, ‘2’ für 100 mg und ‘3’ für 200 mg steht. Nun modellieren wir die Daten als Yi = f∗ (Xi ) + εi (1 ≤ i ≤ n)

202

13 Lineare Modelle

mit unbekanntem Parameter θ = ( f∗ (1), f∗ (2), f∗ (3)) . Die F-Teststatistik für die Nullhypothese, dass f∗ (1) = f∗ (2) = f∗ (3), ist 61.4/2 F(Y) = ≈ 6.18, 134.1/27 und dies führt zu dem P-Wert π(Y) ≈ 1 − F cdf2,27 (6.18) ≈ 0.0062. Zwischen den drei Gruppen bestehen also signifikante Unterschiede. Um genauer zu sagen, inwiefern sich die Gruppen unterscheiden, verwenden wir anstelle des F-Tests drei T-Konfidenzintervalle mit Bonferroni-Adjustierung: Für 1 ≤ k < ≤ 3 ist ⎧ ⎪ ⎨ (−1, 1, 0) falls (k, ) = (1, 2), f () − f (k) = ψ θ mit ψ := (−1, 0, 1) falls (k, ) = (1, 3), ⎪ ⎩ (0, −1, 1) falls (k, ) = (2, 3).

2 = 134.1/27 ≈ 4.967 und Ferner ist hier σ σ (ψ)2 =

σ2 σ2 σ2 + = . n() n(k) 5

Nun arbeiten wir mit Risikoschranke α = 0.05 und bestimmen das Student-Quantil t27;1−α/6 ≈ 2.553. Die Verwendung von t27;1−α/6 anstelle von t27;1−α/2 ist die entsprechende Bonferroni-Adjustierung; siehe Abschnitt 10.1. Mit einer Sicherheit von 95 % können wir nun behaupten, dass ! " #

σ f∗ () − f∗ (k) ∈ f () − f (k) ± √ t27;1−α/6 = f () − f (k) ± 2.544 5 für 1 ≤ k < ≤ 3, also f∗ (2) − f∗ (1)

∈

[−0.944, 4.144],

f∗ (3) − f∗ (1)

∈

[0.956, 6.044],

f∗ (3) − f∗ (2)

∈

[−0.644, 4.444].

Insbesondere schließen wir, dass f∗ (1) < f∗ (3). Beispiel 13.9 (Pulsoxymeter) Pulsoximeter sind Geräte, welche die Sauerstoffsättigung des Blutes einer Person bestimmen. Genauer gesagt wird ein Finger dieser Person mit Licht unterschiedlicher Wellenlängen durchleuchtet, und aus dem Absorptionsspektrum wird die Sauerstoffsättigung errechnet. Diese Messungen sind wesentlich einfacher und angenehmer für die betreffende Person als eine exakte Bestimmung anhand einer Blutprobe. Zwölf verschiedene Pulsoxymeter wurden an mehreren Probanden getestet. Hier konzentrieren wir uns auf einen Proband. Bei diesem Proband, wie auch bei den übrigen, wurden die äußeren Bedingungen nach einem vorgegebenen Zeitplan so verändert, dass die Sauerstoffsättigung unterschiedliche Werte annahm. Zum einen wurde diese exakt mithilfe von Blutanalysen (online) bestimmt, und parallel wurden die von diversen Pulsoxymetern gelieferten Werte aufgezeichnet. Nun sei Xi gleich 100 minus der exakt gemessenen Sauerstoffsättigung (in Prozent) zum i-ten Zeitpunkt. Für einen bestimmten Pulsoxymeter sei Yi gleich 100 minus dem von ihm gelieferten Wert zum selben


203

Zeitpunkt. Genau genommen wurden Rohwerte in einzelnen Zeitintervallen gemittelt. Zwischen zwei aufeinanderfolgenden Zeitintervallen war eine kurze Messpause, so dass wir die Beobachtungen (Xi ,Yi ) als stochastisch unabhängig betrachten. Ferner unterstellen wir, dass Yi = a + bXi + εi , wobei e ∼ Nn (0, I). Wenn das Gerät richtig kalibriert ist, sollte θ := (a, b) gleich θo := (0, 1) sein; anderenfalls macht es systmatische Fehler. Diese Nullhypothese überprüfen wir nun mit einem F-Test. Die entsprechende F-Teststatistik ist F

:= =

(θ − θo ) (D D)−1 (θ − θo ) 2 σ 2 ¯ 2 + ( X 2 − nX¯ 2 )(

n(Y¯ − X) b − 1)2

2 2σ

und hat unter der Nullhypothese eine F-Verteilung mit 2 und n − 2 Freiheitsgraden. Also ist P := 1 − F cdf2,n−2 (F) ein entsprechender P-Wert.

sowie F und P für die verschiedenen Oxymeter auf. Für Tabelle 13.1 listet die Schätzwerte a ,

b, σ zwei Oxymeter werden die Daten und die geschätzten Geraden in Abbildung 13.3 graphisch dargestellt. Dabei handelt es sich um die Pulsoxymeter mit dem größten und dem kleinsten P-Wert. Nun möchten wir Pulsoxymeter auflisten, die systematische Fehler machten. Mit einer Sicherheit von 95% soll diese Liste nur tatsächlich fehlerhafte Geräte enthalten. Zu diesem Zweck verwenden wir Holms Methode. Für die der Größe nach geordneten P-Werte P(1) ≤ P(2) ≤ · · · ≤ P(12) gilt: (13 − j)P( j) ≤ 0.05

für 1 ≤ j ≤ 4.

Also können wir mit einer Sicherheit von 95% behaupten, dass die Oxymeter mit den vier kleinsten PWerten systematische Fehler machten; dies sind die Oxymeter Nr. 2, 3, 5 und 11. Oxym. Nr.

a

b

σ

F

(n)

P

1 2 3 4 5 6 7 8 9 10 11 12

1.00 -4.56 3.37 -0.41 -1.28 -1.39 1.23 -0.74 -1.73 0.90 0.94 -1.14

1.02 1.06 0.68 1.15 0.91 0.99 0.99 0.99 1.12 0.97 0.78 1.04

2.23 2.53 1.65 3.21 2.34 2.57 1.82 2.31 2.43 2.12 1.53 1.52

2.97 15.53 28.37 4.57 12.42 3.12 2.24 1.00 1.17 0.34 31.00 1.14

(16) (16) (16) (16) (16) (16) (15) (15) (15) (15) (15) (15)

0.0842 0.0003 < 0.0001 0.0298 0.0008 0.0756 0.1460 0.3934 0.3403 0.7173 < 0.0001 0.3492

Tabelle 13.1: Prüfung von zwölf Pulsoxymetern

204

13 Lineare Modelle

30

30

25

25

20

20

15

15

10

10

5

5

0

0

5

10

15

20

25

0

30

0

5

10

15

20

25

30

Abbildung 13.3: Pulsoxymeter Nr. 10 mit P-Wert 0.7173 (links) und Nr. 11 mit P-Wert < 0.0001 (rechts).

Der F-Konfidenzellipsoid. Aus Korollar 13.5 folgt, dass −1

(Ψ θ − γ) ≤ d Fd,n−p;1−α Cα (Y, Ψ) := γ ∈ Rd : (Ψ θ − γ) Σ(Ψ) ein Konfidenzbereich für Ψ θ mit Konfidenzniveau 1 − α ist. Geometrisch betrachtet handelt es sich bei dieser Menge Cα um einen Ellipsoid im Rd . Dass dieses Gebilde sehr nützlich sein kann, liegt an folgender Charakterisierung von H. Scheffé: Lemma 13.6 Ein Vektor γ ∈ Rd gehört zu Cα (Y, Ψ) genau dann, wenn für beliebige Vektoren ψ aus dem Spaltenraum ΨRd gilt:

(ψ) dFd,n−p;1−α . |ψ θ − ψ γ| ≤ σ

Insbesondere kann man mit einer Sicherheit von 1 − α davon ausgehen, dass ψ θ ∈ ψ θ ± σ (ψ) dFd,n−p;1−α für beliebige ψ ∈ ΨRd . Der wesentliche Unterschied zum einfachen T-Konfidenzintervall (13.4)

(ψ) nun mit dem Faktor dFd,n−p;1−α anstelle von tn−p;1−α/2 = ist, dass die Standardfehler σ F1,n−p;1−α multipliziert werden. Der Beweis von Lemma 13.6 wird in Aufgabe 13.7 behandelt. Beispiel (13.4, Polynomiale Regression, Forts.) Man kann schreiben q

f∗ (x) =

∑ a jx j

= h(x) θ ,

j=0

q wobei h(x) := (x j ) j=0 ∈ R p mit p := q + 1. Ein naheliegender Schätzer für f∗ (x) ist f (x) := h(x) θ . Mit einer Sicherheit von 1 − α kann man davon ausgehen, dass # "

(h(x)) pFp,n−p;1−α f∗ (x) ∈ f (x) ± σ


205

simultan für alle x ∈ R. Auf diese Weise erhalten wir ein Konfidenzband für die unbekannte Funktion f∗ . Für simulierte Daten (Xi ,Yi ) mit Xi = i/n und Yi = 1 + 4Xi (1 − Xi ) + ε, 1 ≤ i ≤ n = 100, zeigt Abbildung 13.4 den Schätzer f und das 95%-Konfidenzband für f∗ , wobei vorausgesetzt wird, dass f∗ (x) ein Polynom der Ordnung q ∈ {1, 2, 3, 4} in x ist. Man sieht jeweils die Datenpaare (Xi ,Yi ), die Funktion f∗ als gestrichelte Linie sowie fünf weitere Linien, nämlich das Konfidenzband für f∗ (außen), die punktweisen 95%-Konfidenzschranken für f∗ (x) (weiter innen) sowie f (ganz innen). Offensichtlich ist das Modell der einfachen linearen Regression nicht adäquat. Bei den Polynomen der Ordnung q ≥ 2 sieht man, dass die Bänder mit wachsender Ordnung eher breiter werden. Dies ist der Preis, den man für zunehmende Komple für die Standardabweichung σ , welche xität des Modells zahlen muss. Interessant sind auch die Schätzer σ hier den Wert 0.5 hatte: 1 0.605

q

σ

2 0.519

3 0.520

4 0.517

Der Wert für q = 1 ist deutlich höher als die Werte für q ≥ 2, was durch den systematischen Fehler (Bias) beim Schätzen von f∗ verursacht wird.

o

1.5

oo

oo

ooo

o

o o

o

o

o

o o

2.5 o

o o o

o

o o o o o o o o o o

o

oo

o o

o

oo

ooo

o

o

o

o

o o

o

o

o oo o o

o

o

o o o

o o

o ooo o o o o o o oo o o o o o oo o o o o o ooo o o o o o o o o o o

oo

o o

oo

o o

o

o

o oo

o

oo ooo

o

o oo o

o

o

o oo

o

o ooo

o o o o oo o o o o o o o o o

o o

o oo

o

o o

2.0

2.5 2.0

o

1.0

o

oo

o o o

1.5

o o o o o o o o o o

o

o

o

1.0

o

o

o o

o oo

o oo

o

3.0

3.0

o o

o

o 0.5

0.5

o o o

o

o

o

0.0

0.0

o

o 0.2

0.4

0.6

0.8

1.0

o

o

o

o

1.5

o oo

oo

oo

ooo

o

o

o

o o

o

o

o

o o

o ooo

o o o o oo o o o o o o o o o o

o o

oo

o o o

o o

o

oo

o o

oo

ooo

o

o

o

o

o

o o

o o oo o o

o

o

o o o

o o

o 0.5

0.5

o o

o o

o

o

0.0

o

0.0

o o

1.0

o ooo o o o o o o oo o o o o o oo o o o o o ooo o o o o o o o o o o

oo

o o

oo

o o

o o o o o o o o o o

o

o oo

o

oo ooo

o

o

o

o

o

o

o oo

2.5

2.5 2.0

o

oo

o o

0.8

o o

2.0

o o o o o o o o o o

o

o

o

1.5

o

0.6

o o

o oo

0.4 o

o

o

o oo

0.2

3.0

3.0

o

0.0

1.0

0.0

1.0

o o

o

o 0.0

o 0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1.0

Abbildung 13.4: 95%-Konfidenzband für eine polynomiale Funktion der Ordnung 1 (oben links), 2 (oben rechts), 3 (unten links) bzw. 4 (unten rechts).

206

13 Lineare Modelle

Eichbänder. Wir betrachten das Modell der einfachen linearen Regression und seine Anwendung auf Eichkurven; siehe Beispiele 13.2 und 13.3. Man beobachtet Yi = a + bXi + εi

(1 ≤ i ≤ n)

mit gegebenen Werten X1 , X2 , . . . , Xn , unbekannten Parametern a ∈ R, b > 0 und Fehlern εi ∼ N(0, σ 2 ) mit unbekannter Standardabweichung σ > 0. Angenommen eine zukünftige Messung liefert Yo = a + bXo + εo , wobei diesmal der Wert Xo unbekannt ist, und εo ∼ N 0, m−1 σ 2 ist stochastisch unabhängig von den εi . Dabei sei m ≥ 1 die gegebene Zahl von Einzelmesswerten, jeweils mit Varianz σ 2 , deren Mittelwert dann gleich Yo ist. Die Frage ist nun, was man über die unbekannte Größe Xo aussagen kann. Fixieren wir einen hypothetischen Wert r von Xo , dann ist Yo − a −

br

¯ = Yo − Y¯ −

b(r − X) ¯ − (

¯ + b(Xo − r) b − b)(r − X) = (Yo − a − bXo ) − (Y¯ − a − bX) ∼ N b(Xo − r), σ 2 h(r)

mit h(r) :=

¯ 2 1 1 (r − X) + + m n Q

br und Außerdem sind Yo − a −

σ 2

n

und

Q :=

¯ 2. ∑ (Xi − X)

i=1

stochastisch unabhängig. Definiert man also die Testgröße

F(r,Yo , Y) :=

br)2 (Yo − a −

, 2

h(r) σ

dann ist F(Xo ,Yo , Y) ∼ F1,n−2 . Wir verwerfen daher die Nullhypothese “Xo = r” auf dem Niveau α, falls F(r,Yo , Y) größer ist als F1,n−2;1−α . Kombiniert man diese Tests für alle möglichen Werte r, dann ergibt sich der Konfidenzbereich Cα (Yo , Y) := r ∈ R : F(r,Yo , Y) ≤ F1,n−2;1−α für Xo . Die Frage ist nur, wie dieser Bereich konkret aussieht. Dazu betrachten wir den naiven Schätzwert Yo − a

X o = X o (Yo ) :=

b für Xo . Dann ist die Ungleichung F(r,Yo , Y) ≤ F1,n−2;1−α äquivalent zu ¯ 2 (X o − r)2 ≤ κ 1 + κ 2 (r − X)

(13.6)

13.4 Leverage und Residuenanalyse

207

mit κ 1 :=

σ 2 1 1 + F1,n−2;1−α

b2 m n

und

κ 2 :=

2

2 2 σ σ F1,n−2;1−α = tn−2;1−α/2 . Q

b2 Q

b2

√ Der Standardfehler von

b ist gleich σ / Q. Daher ist κ 2 < 1 genau dann, wenn

b signifikant von Null verschieden ist, und nur in diesem Fall kann man einen vernünftigen Konfidenzbereich für Xo erwarten. Wenn κ 2 < 1, kann man durch elementare Umformungen von (13.6) zeigen, dass ¯ 2! X o − X¯ ± (1 − κ 2 )κ 1 + κ 2 (X o − X) X¯ + Cα (Yo , Y) = 1 − κ 2 ¯ 2! ¯ ± (1 − κ 2 )κ 1 + κ 2 (X o − X) κ 2 (X o − X) = X o + . 1 − κ 2 Beispiel 13.10 Abbildung 13.5 zeigt zwei simulierte Datensätze, jeweils mit Beobachtungen (Xi ,Yi ) = (i/n, i/n+εi ), wobei σ = 0.1. Der Stichprobenumfang ist n = 20 (links) bzw. n = 200 (rechts). Zusätzlich sieht man jeweils die resultierende Regressionsgerade X o (y), y : y ∈ R x, a +

bx : x ∈ R = (gepunktete Linie) sowie die Kurven ⎫ ⎧ ⎬ ⎨$ ¯ 2 % X o (y) − X¯ ± (1 − κ 2 )κ 1 + κ 2 (X o (y) − X) X¯ + ,y : y∈R

⎭ ⎩ 1 − κ2 für m = 4 (äußere Kurven) und m = ∞ (innere Kurven). Der Grenzfall m = ∞ macht deutlich, wie groß die Unsicherheit in den Schätzern der Geradenparameter ist, und man sieht das im vorhergehenden Abschnitt eingeführte Konfidenzband für einfache lineare Regression. Allerdings werden die Kurven jetzt anders verwendet: Für einen beliebigen Wert Yo schneidet man die Kurven mit der horizontalen Gerade in Höhe von Yo und erhält so die Grenzen von Cα (Yo ). In Abbildung 13.5 wurde dies für Yo = 0.7 getan.

13.4 Leverage und Residuenanalyse Leverage. Die Resultate, die man mit linearen Modellen erzielt, sind mit Vorsicht zu genießen, wenn einzelne Beobachtungen das Gesamtergebnis sehr stark beeinflussen. Gemeint sind nicht Ausreißer in den Y -Werten, also Ausreißer im üblichen Sinne, sondern besondere Designmatrizen D, also besondere Konstellationen in den Einstellgrößen Xi . Wir betrachten nochmal den

= Dθ und den Residuenvektor Vektor Y

= (I − H)Y = (I − H)e.

e = Y−Y Im Falle von Var(e) = σ 2 I ist die Kovarianzmatrix von e gleich σ 2 (I − H)(I − H) = σ 2 (I − H).

1.0 0.8 0.6 0.4 0.2 0.0 -0.2

-0.2

0.0

0.2

0.4

0.6

0.8

1.0

1.2

13 Lineare Modelle

1.2

208

0.0

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1.0

Abbildung 13.5: Eichbänder für n = 20 bzw. n = 200 Beobachtungen.

Insbesondere ist

IE((Yi − Y i )2 ) = σ 2 (1 − Hii ).

Die Zahl Hii ist die Hebelwirkung (leverage) der i-ten Beobachtung. Es handelt sich um eine Zahl zwischen Null und Eins. Je größer sie ist, desto stärker beeinflusst die i-te Beobachtung

Wie schon früher angemerkt wurde, ist (Xi ,Yi ) das Gesamtergebnis Y. n

∑ Hii

= p.

i=1

Daher ist max Hii ≥

i=1,...,n

p . n

Die maximale Hebelwirkung kann also nur klein sein, wenn man deutlich mehr Beobachtungen als zu schätzende Parameter hat. Beispiel (13.3, Einfache lineare Regression, Forts.) In dem Modell Yi = a + bXi + εi ist Y i gleich ¯ j ∑ j (X j − X)Y ¯ = Y¯ + (X − X) ¯ 2 i ∑k (Xk − X)

n

∑ Hi jY j

(1 ≤ i ≤ n)

mit Hi j =

j=1

Also ist die Hebelwirkung der i-ten Beobachtung gleich Hii =

¯ 2 (Xi − X) 1 + n . ¯ 2 n ∑k=1 (Xk − X)

¯ ¯ 1 (Xi − X)(X j − X) . + n ¯ 2 n ∑k=1 (Xk − X)


209

10 5 0 -5 -10

-10

-5

0

5

10

In Abbildung 13.6 zeigen wir für einen simulierten Datenvektor Y = e im Rn (n = 20) und zwei verschiebr. Darunter wird jeweils ein Stabdiagramm dene Vektoren X ∈ Rn die entsprechende KQ-Gerade, r → a +

der Hebelwirkungen gezeigt. Auf der linken Seite ist X = (i)ni=1 , auf der rechten Seite wurde Xn durch 40 ersetzt. Um zu verdeutlichen, welchen Einfuss Beobachtung Nr. n mit dem größten X-Wert auf die KQGerade hat, wurde der Wert Yn noch durch Yn ± 10 ersetzt und die entsprechende KQ-Gerade gezeichnet.

15

20

5

10

15

20

0

10

20

30

40

0

10

20

30

40

0.8 0.6 0.4 0.2 0.0

0.0

0.2

0.4

0.6

0.8

1.0

10

1.0

5

Abbildung 13.6: Illustration der Hebelwirkung.

Abweichungen von der Normalitätsannahme. In Abschnitt 13.3 setzten wir voraus, dass die Fehler εi homoskedastisch und normalverteilt sind. Was passiert, wenn letztere Annahme verletzt ist? Wie könnte man sie überprüfen? Approximative Validität. Angenommen die Fehler εi sind unabhängig und homoskedastisch aber nicht notwendig normalverteilt. Um pathologische Fehlerverteilungen auszuschließen, nehmen wir an, dass für irgendeine Konstante K > 1 gilt: IE(εi4 ) ≤ Kσ 4 . Unter dieser Voraussetzung gelten folgende qualitative Aussagen:

2 und die unbekannte Varianz σ 2 unterscheiden sich nur wenig, falls (a) Der Varianzschätzer σ die Zahl n − p groß ist. Genauer gesagt, ist

σ 2 2

σ

2 K −1 = Var 2 ≤ . −1 IE 2 σ σ n− p (b) Die P-Werte für die hier beschriebenen T-Tests und die entsprechenden Konfidenzintervalle sind approximativ valide, wenn die Zahl maxi≤n Hii klein ist. Das Gleiche gilt für die F-Tests, sofern die erste Zahl der Freiheitsgrade (d) nicht beliebig groß wird.

210

13 Lineare Modelle

Beweis (Aussage (a)) ¯ 2 = ∑i, j=1 H¯ i j Zi Z j mit H ¯ := I − H. Dabei nutzen wir wieder aus,

2 /σ 2 = HZ Mit Z := σ −1 e ist (n − p)σ 2 ¯ ¯ ¯ dass H = H = H . Nun kann man sich leicht davon überzeugen, dass ⎧ 4 ⎪ ⎪ ⎨IE(Z ) − 1 falls i = j = k = , Cov(Zi Z j , Zk Z ) = 1 falls i = j und {i, j} = {k, }, ⎪ ⎪ ⎩0 sonst. Folglich ist die Varianz von (n − p)σ 2 /σ 2 gleich n

∑

H¯ i j H¯ k Cov(Zi Z j , Zk Z )

=

i, j,k,=1

≤

n

n

i=1

i, j=1

∑ H¯ ii2 (IE(Zi4 ) − 1) + ∑ n

(K − 1) ∑ H¯ ii + 2

n

∑

1{i = j}(H¯ i j H¯ i j + H¯ i j H¯ ji )

1{i = j}H¯ i j H¯ ji

i=1 n

i, j=1 n

i=1

i=1

=

¯ 2 )ii (K − 3) ∑ H¯ ii + 2 ∑ (H

=

¯ = (K − 1)(n − p). (K − 1)Spur(H)

Die Ungleichung ergibt sich aus der Vorausetzung, dass IE(εi4 ) ≤ Kσ 2 , und der Tatsache, dass 0 ≤ H¯ ii ≤ 1,

2 /σ 2 ) ≤ (K − 1)/(n − p). also Hii2 ≤ Hii . Diese Überlegungen zeigen, dass Var(σ Beweis (Aussage (b)) Es gibt eine Funktion Δ : [0, 1] → [0, 1] mit limx→0 Δ(x) = 0, die nur von K abhängt, so dass ) ) * + ) )

ψ θ − ψ θ ) ) ≤ r − Φ(r) IP ) ≤ Δ max Hii ) ) ) i≤n

V (ψ) σ für beliebige ψ ∈ R p \ {0} und r ∈ R. Dabei ist Φ die Verteilungsfunktion der Standardnormalverteilung. Hinter dieser Aussage, deren Beweis wir nur skizzieren, steckt im wesentlichen der Zentrale Grenzwertsatz: Schreibt man ψ θ = a Y mit a = a(ψ) = D(D D)−1 ψ ∈ Rn , dann ist

ψ θ − ψ θ a e σ = =

σ a σ

σ V (ψ)

n

ai Zi

∑ a

i=1

σ −1 εi .

nahe an Eins, wenn die Zahl n − p groß ist, also insNach Teil (a) ist der Faktor σ /σ mit Zi = besondere, wenn die maximale Hebelwirkung, maxi Hii , klein ist. Nach dem Zentralen Grenzwertsatz ist die Zufallsvariable ∑ni=1 ai Zi / a approximativ standardnormalverteilt, wenn das Maximum der Zahlen |ai |/ a nahe an Null ist. Doch mithilfe der Cauchy-Schwarz-Ungleichung kann man zeigen, dass max i≤n

|ai | ≤ max Hii . i≤n a

Normalverteilungsplots. Zur graphischen Überprüfung der Normalitätsannahme bieten sich Normalverteilungsplots der Residuen an. Normalverteilungsplots für einfache Stichproben wurden in Kapitel 6 ausführlich behandelt. Im linearen Modell ordnet man die Residuen

εi der Größe


211

nach, sagen wir

ε(1) ≤

ε(2) ≤ · · · ≤

ε(n) , und zeichnet die Paare

Φ−1

i ,

ε(i) . n+1

Dabei ist Φ−1 die Quantilfunktion der Standardnormalverteilung. Unter der Voraussetzung, dass die εi homoskedastisch und normalverteilt sind, sollten diese Punkte in etwa auf einer Geraden liegen, wenn der Quotient n/p groß ist. Das ist natürlich etwas vage, und in der Praxis vergleicht man diesen Normalverteilungsplot mit Plots von

Φ−1

i , Z(i) , n+1

wobei jeweils Z ∈ Rn ein simulierter standardnormalverteilter Vektor ist. Die Bedingung, dass n/p und nicht etwa n oder n − p groß sein soll, hat damit zu tun, dass man nicht den Fehlervektor e, sondern nur den Residuenvektor

e = (I − H)e zur Verfügung hat. Man sieht also nur die Projektion von e auf den Raum M⊥ . Um den möglichen Einfluss dieser Projektion auf den Normalverteilungsplot zu berücksichtigen, sollte man Plots von

Φ−1

i , Z(i) n+1

:= (I − H)Z. betrachten, wobei Z

Neben der Normalverteilungssannahme sollte man das zugrundegelegPlots von

e versus Y. te lineare Modell selbst und die Homoskedastizität der Fehler überprüfen. Zu diesem Zwecke untersucht man den Residuenvektor e auf Strukturen, die den Modellannahmen widersprechen. Eine Möglichkeit ist die graphische Darstellung der Paare (vi ,

εi ),

Beim wobei v = (vi )ni=1 ∈ Rn ein willkürlich gewählter Vektor ist. Oftmals wählt man v = Y. Betrachten eines solchen Plots achtet man auf zwei Dinge: (i) Trends im Mittelwert. Wenn die Residuen nicht um Null gestreut sind, sondern je nach Wert von vi eher positiv oder eher negativ sind, dann deutet dies darauf hin, dass unser lineares Modell möglicherweise falsch ist, also IE(Y) ∈ M. (ii) Trends in der Variabilität. Wenn die Residuen zwar um Null gestreut sind, ihr Absolutbetrag jedoch deutlich von den Werten vi abhängt, dann ist dies ein Hinweis auf mögliche Heteroskedastizität. Wir illustrieren diese Methoden anhand von drei Beispielen. In allen Fällen unterstellen wir das Modell der einfachen linearen Regression, Yi = a + bXi + εi

(1 ≤ i ≤ n).

212

13 Lineare Modelle

Residuen bei falschem Modell. Simuliert wurden Daten Yi = 10 Xi2 + Zi

i mit Xi = , n

1 ≤ i ≤ n,

-2

-2

0

-1

2

0

4

1

6

2

8

3

10

mit einem standardnormalverteilten Vektor Z = (Zi )i ∈ Rn . Abbildung 13.7 zeigt den Plot der

= (

Daten und Regressionsgerade (links) sowie den Plot von

e versus Y a+

bXi )i (rechts). Man

sieht deutlich, dass die Residuen

εi für kleine und große Werte von Yi tendenziell größer als Null sind, für mittlere Werte hingegen kleiner als Null.

0.0

0.2

0.4

0.6

0.8

1.0

-2

0

2

4

6

8

Abbildung 13.7: Residuen bei falschem Modell.

Heteroskedastische Fehler. Nun sei √ Yi = 10Xi + Xi Zi

(1 ≤ i ≤ n).

Abbildung 13.8 zeigt die Daten (links) und Residuen (rechts). Man erkennt deutlich die Heteroskedastizität. Scheinbare Heteroskedastizität. Wenn die Werte vi sehr ungleichmässig verteilt sind, kann der falsche Eindruck von heteroskedastischen Fehlern entstehen! Als Beispiel betrachten wir Daten i Yi = 10 Xi + Zi mit Xi := (1 ≤ i ≤ n); n siehe Abbildung 13.9 (oben links). Wir sind also im Modell der einfachen linearen Regression

(oben rechts) mit homoskedastischen, normalverteilten Fehlern. Doch der Plot von e versus Y suggeriert eine stärkere Streuung der Residuen für größere X-Werte. Dies ist jedoch ein Artefakt, welches dadurch zustande kommt, dass zur rechten Seite hin mehr Punkte liegen als zur

213

0

-2

2

-1

4

6

0

8

1

10

12


0.0

0.2

0.4

0.6

0.8

1.0

0

2

4

6

8

10

Abbildung 13.8: Residuen bei heteroskedastischen Fehlern.

durch seinen Rangvektor, dann werden die Punkte in horizontalinken Seite. Ersetzt man Y ler Richtung gleichmäßig verteilt und die vermeintliche Heteroskedastizität verschwindet; siehe Abbildung 13.9 (unten). Transformationen. Wenn die Residuenplots auf heteroskedastische Fehler hinweisen, stellt sich die Frage, was man tun sollte. Oftmals kann man durch eine einfache Vortransformation der Y -Werte Homoskedastizität erreichen. Denn in vielen Anwendungen mit nichtnegativen Y Werten ist die Standardabweichung von Yi augenscheinlich oder bekanntermaßen proportional zu (IEYi )γ für ein γ ∈ ]0, 1]. Im Falle von poissonverteilten Variablen ist beispielsweise γ = 1/2. Hier bietet es sich an, die Rohdaten Yi durch Tγ (Yi ) zu ersetzen, wobei , 1−γ y /(1 − γ) falls 0 < γ < 1, Tγ (y) := log(y) falls γ = 1. Denn sei Y eine Zufallsvariable der Form Y= μ + μ γ Z mit einer reellen Konstante μ > 0 und einer Zufallsvariable Z mit IE Z = 0 und μ γ Var(Z) 1/2.

Bei der logistischen Regression wird nun die Funktion x → IP(Y = 1 | X = x) auf spezielle Weise modelliert.

220

13 Lineare Modelle

Dass diese Modelle nicht aus der Luft gegriffen sind, sieht man gut an einem Spezialfall, der uns bereits in Kapitel 12 begegnet ist: Sei IP{Y = 1} = w1 > 0 und IP{Y = 0} = w0 > 0. Ferner sei X ∈ Rq und IP(X ∈ B |Y = j) = Pj (B), wobei Pj = Nq (μ j , Σ) mit zwei unterschiedlichen Mittelwerten μ1 , μ2 ∈ Rq und einer symmetrischen, positiv definiten Matrix Σ ∈ Rq×q . Dann ist ) = lim IP Y = 1 ) X − x ≤ ε ε↓0

= =

w1 f (x − μ1 ) w0 f (x − μ0 ) + w1 f (x − μ1 ) (w1 /w0 ) f (x − μ1 )/ f (x − μ0 ) 1 + (w1 /w0 ) f (x − μ1 )/ f (x − μ0 ) exp(a + b x) , 1 + exp(a + b x)

wobei f (y) := exp(−y Σ−1 y/2) und a

:= log(w1 /w0 ) + μ0 Σ−1 μ0 /2 − μ1 Σ−1 μ1 /2,

b

:= Σ−1 (μ1 − μ0 ).

ROC-Kurven. Oft betrachtet man logistische Regression eher als Hilfsmittel, um eine vielversprechende Diskriminanzfunktion X x → f (x) zu bestimmen. Diese wird dann wie eine Teststatistik benutzt. Das heißt, bei einem zukünftigen Fall (X,Y ), von welchem nur X beobachtet wird, behauptet man, dass * 1 falls f (X) ≥ c, Y = 0 falls f (X) < c. Dabei ist c ein willkürlich wählbarer Schwellenwert. Dies ist ein medizinischer Test mit unbekannter Sensitiviät Sens(c) := IP( f (X) ≥ c |Y = 1) und unbekannter Spezifität Spez(c) := IP( f (X) < c |Y = 0), wobei hier die Daten X, Y und damit auch f (·) als fest betrachtet werden. Diese Größen schätzt man nun durch # i : Yi = 1, f (Xi ) ≥ c Sens(c) := , #{i : Yi = 1} # i : Yi = 0, f (Xi ) < c . Spez(c) := #{i : Yi = 0} Die empirische ROC-Kurve (receiver operating characteristic) für diese Familie medizinischer Tests ist die Kurve c → 1 − Spez(c), Sens(c) . Beispiel (13.12, Forts.) Abbildung 13.12 zeigt die empirische ROC-Kurve für unser Datenbeispiel. Von dieser Kurve kann man z.B. ablesen, dass für einen geeigneten Schwellenwert c (den man der Kurve nicht ansieht), sowohl die

221

0.6 0.4 0.0

0.2

Sensitivität

0.8

1.0

13.5 Logistische Regression

0.0

0.2

0.4

0.6

0.8

1.0

1 - Spezifität

Abbildung 13.12: Empirische ROC-Kurve für Datenbeispiel 13.12.

geschätzte Sensitivität als auch die geschätzte Spezifität zwischen 0.87 und 0.88 liegen. Manche Leute verwenden die Fläche unterhalb der ROC-Kurve als Maß für die Trennschärfe dieser Familie medizinischer Tests.

222

13 Lineare Modelle

13.6 Übungsaufgaben Aufgabe 13.1 Sei

⎛

1 ⎜1 ⎜ D := ⎜ ⎜1 ⎝ .. .

⎞ 1/n 2/n⎟ ⎟ ⎟ 3/n⎟ ⎠ .. .

die Designmatrix für einfache lineare Regression mit Kovariablen Xi = i/n. Zeigen Sie, daß für die Kovarianzmatrix des KQ-Schätzers θ folgende Entwicklung gilt: 4 −6 2

. lim n Var(θ ) = σ n→∞ −6 12 Aufgabe 13.2 (Spur einer Matrix) q Die Spur einer quadratischen Matrix A ∈ Rq×q ist definiert als Spur(A) := ∑i=1 Aii . (a) Zeigen Sie, daß für Matrizen B ∈ Rk×m und C ∈ Rm×k gilt: Spur(BC) = Spur(CB). (b) Nun sei H = D(D D)−1 D die Hutmatrix des linearen Modells mit D ∈ Rn×p , Rang(D) = p < n. Zeigen Sie, daß Spur(H) = p. Aufgabe 13.3 Sei θ = (

a(1), . . . , a (L),

b) der KQ-Schätzer für Beispiel 13.7. Wie sieht seine Kovarianzmatrix unter den Annahmen LM1-3 aus? Geben Sie eine Formel für die Standardabweichung von a (k) − a ( j) für 1 ≤ j < k ≤ L an. Aufgabe 13.4 Auf mehreren neuseeländischen Ziegenfarmen wurden Experimente durchgeführt, um festzustellen, ob die damaligen Standardwurmkuren ausreichend waren. An jedem Experiment waren vierzig Ziegen beteiligt. Davon wurden zwanzig rein zufällig ausgewählt und ein Jahr lang einer intensiveren Wurmbehandlung unterzogen, während die übrigen das Standardprogramm absolvierten. Für jedes Tier wurden sein Anfangsgewicht und seine Gewichtszunahme innerhalb eines Jahres gemessen. Der Datensatz ‘Goats.txt’ enthält die Daten eines solchen Experiments. Untersuchen Sie, ob sich die beiden Behandlungsgruppen hinsichtlich der Gewichtszunahme signifikant unterscheiden. Verwenden Sie zunächst nur den Faktor ‘Behandlung’ (‘Treatm’), was auf eine Einweg-Varianzanalyse hinausläuft. Berücksichtigen Sie dann auch den numerischen Faktor ‘Anfangsgewicht (InitW)’ und analysieren Sie die Daten in einer Kovarianzanalyse. Aufgabe 13.5 Der Datensatz ‘RespResist.txt’ enthält den Atemwiderstand und die Körpergröße verschiedener Kinder mit Asthma bzw. Mukoviszidose. Untersuchen Sie die Abhängigkeit des Atemwiderstandes von der Diagnose. Berücksichtigen Sie zunächst nur die Diagnose als binäre Kovariable (ANOVA). Fügen sie dann noch die Körpergröße als numerische Kovariable hinzu (ANCOVA).


223

Aufgabe 13.6 (geom. Deutung des F-Tests) Beweisen Sie Gleichung (13.5). Zeigen Sie zunächst, dass F(Y, Ψ) = mit

d −1 Y A(A A)−1 A Y (n − p)−1 Y − HY 2

A := D(D D)−1 Ψ ∈ Rn×d .

Die Matrix A(A A)−1 A ist von der gleichen Bauart wie H und beschreibt die orthogonale Projektion von Rn auf den Spaltenraum ARd von A. Zeigen Sie nun noch, dass ARd = M ∩ M⊥ o. Aufgabe 13.7 (Scheffés Methode) (a) Sei B ∈ Rd×d symmetrisch und positiv definit. Zeigen Sie, dass für Vektoren x ∈ Rd und Zahlen κ > 0 folgende zwei Aussagen äquivalent sind: x B−1 x ≤ κ 2 ; |λ x| ≤ κ λ Bλ für alle λ ∈ Rd . (b) Beweisen Sie mit Hilfe von Teil (a) Scheffés Lemma 13.6. Aufgabe 13.8 Wie sehen die Eichbänder asymptotisch aus, wenn n, Q → ∞ bei festem m? Aufgabe 13.9 Angenommen, man behandelt L Tumorzellkulturen mit identischen Ausgangskonzentrationen mit verschiedenen Chemoterapeutika. Nach einer gewissen Zeit füllt man von jeder Kultur eine Probe in eine Zählkammer und bestimmt unter dem Mikroskop die Zahl Zk der darin enthaltenen Zellen. Wir betrachten die Zk als unabhängige Zufallsvariablen mit Verteilung Poiss(λk ), wobei λk proportional zur Zellkonzentration der k-ten Zellkultur ist. Um die Nullhypothese, daß alle λk identisch sind, zu testen, gibt es ein einfaches approximatives Verfahren: Man betrachtet die Zufallsgrößen Yk := Zk und behandelt Yk wie eine Zufallsvariable mit Verteilung λk , 1/4 . N Das Besondere ist, daß man die (approximative) Varianz der Variablen Yk kennt. (a) Erklären Sie diesen Ansatz mithilfe der Taylorformel. Verwenden Sie dabei die Tatsache, daß man Zk schreiben kann als λk + λk Ek , wobei Ek für große Werte λk approximativ standardnormalverteilt ist. (b) Überprüfen Sie diesen Ansatz, indem Sie die Verteilungsfunktionen von Y1 und N λ1 , 1/4 für verschiedene Werte von λ1 graphisch darstellen. (c) Entwerfen Sie einen Test der obigen Nullhypothese unter der Annahme, daß die Yk tatsächlich normalverteilt sind mit Varianz 1/4. Denken Sie an einen F-Test im linearen Modell, wobei die Zahl der Freiheitsgrade für den Varianzschätzer unendlich groß ist. (d) Wenden Sie Ihr Verfahren auf folgenden Datenvektor an: Z = (26, 39, 57, 51, 69) .

14 Bootstrap-Verfahren In diesem Kapitel beschäftigen wir uns mit einer recht allgemeinen neueren Methode, um Konfidenzbereiche für einen unbekannten Parameter zu konstruieren. Diese wurde von Bradley Efron (1979) für spezielle Situationen eingeführt und danach von zahlreichen Autoren weiterentwickelt. Die hier beschriebene Variante (“pivotal bootstrap”) lehnt sich eher an die Arbeit von Bickel und Freedman (1981) an. Der Einfachheit halber beschränken wir uns auf den Fall unabhängiger, identisch verteilter Zufallsgrößen. Seien also X1 , X2 , . . . , Xn und X stochastisch unabhängige Zufallsvariablen mit Werten in X und unbekannter Verteilung P auf X . Angenommen wir interessieren uns für einen Parameter θ (P) ∈ Θ. Um einen Konfidenzbereich für θ (P) zu konstruieren, betrachten wir reellwertige Testgrößen R(X, θ ), die einerseits von der Datenmatrix X = (X1 , X2 , . . . , Xn ) und andererseits von einem potentiellen Wert θ ∈ Θ des Parameters θ (P) abhängen. Hier sind konkrete Beispiele für θ (P) und R(X, θ ): Beispiel 14.1 (Mittelwert) Sei X = Rq und θ (P) := IE(X), also Θ = Rq . Mit dem Stichprobenmittelwert X¯ = n−1 ∑ni=1 Xi und der = (n − 1)−1 ∑n (Xi − X)(X ¯ i − X) ¯ könnte man R(X, μ) beispielsweise wie Stichprobenkovarianzmatrix Σ i=1 folgt definieren: R1 (X, μ)

:=

R2 (X, μ)

:=

R3 (X, μ)

:=

X¯ − μ, −1 (X¯ − μ), (X¯ − μ) Σ ¯ − μ(i)|, (i)−1 |X(i) max σ

i=1,...,q

j, j)1/2 . Bei R2 und R3 setzen wir voraus, dass Σ(P) := Var(X) existiert und invertierbar ( j) := Σ( wobei σ ist. Beispiel 14.2 (Kovarianz) Sei X = Rq und θ (P) := Var(X), wobei wir annehmen, dass letztere existiert und positiv definit ist. Hier ist Θ die Menge aller symmetrischen, positiv definiten Matrizen im Rq×q , und ein mögliche Kandidaten für R(X, Σ) wären 1/2 −1 1/2 − I − Σ oder R(X, Σ) := R(X, Σ) := Σ Σ Σ Σ mit einer geeigneten Norm · auf der Menge aller Matrizen im Rq×q . Beispiel 14.3 (Korrelation) Unter den Voraussetzungen von Beispiel 14.2 sei θ (P) := Corr(X( j), X(k)) für gegebene Indizes 1 ≤ j < j, k)/(Σ( j, j)Σ(k, k))1/2 nach Pearson bieten k ≤ q, also Θ = ]−1, 1[. Mit der Stichprobenkorrelation ρ := Σ( sich folgende Kandidaten für R(X, ρ) an: R1 (X, ρ)

:=

R2 (X, ρ)

:=

|ρ − ρ|, artanh(ρ) − artanh(ρ).

226

14 Bootstrap-Verfahren

Dabei ist artanh(·) die Umkehrfunktion des tangens hyperbolicus, tanh(·); siehe auch Aufgabe 14.1. Der Vorschlag, Korrelationen mit artanh zu transformieren, geht auf R.A. Fisher zurück.

Nun betrachten wir Mengen der Form C(X, r) :=

θ ∈ Θ : R(X, θ ) ≤ r .

In Beispiel 14.1 ist dies eine abgeschlossene Kugel um X¯ mit Radius r, sofern man Teststatistik ¯ und Teststatistik R3 liefert R1 verwendet. Teststatistik R2 liefert einen Ellipsoid mit Zentrum X, das Rechteck ¯ ¯ ¯ (q)r . X(1) ± σ (1)r × X(2) ± σ (2)r × · · · × X(q) ±σ Sei qα (P) das (1 − α)–Quantil der Verteilung von R(X, θ (P)). Das heißt,

qα (P) = min r ∈ R : IP R(X, θ (P)) ≤ r ≥ 1 − α . Mit einer Sicherheit von 1 − α kann man davon ausgehen, dass θ (P) in der Menge C(X, qα (P)) liegt. Mitunter ist diese Zahl qα (P) bekannt und hat für alle in Frage kommenden Verteilungen P ein und denselben Wert. In diesem Falle ist Cα (X) := C(X, qα (P)) ein (1 −α)–Konfidenzbereich für θ (P), und R(·, ·) nennt man eine Pivot-Statistik. Beispiel 14.4 (t–Konfidenzintervalle) Sei X = R, θ (P) := IE(X), also Θ = R, und |X¯ − θ | √ . S(X)/ n

R(X, θ ) :=

Unter der zusätzlichen Annahme, dass P eine Normalverteilung ist, ist mit n − 1 Freiheitsgraden. Folglich ist

√

n(X¯ − θ (P))/S(X) studentverteilt

qα (P) = tn−1;1−α/2 , S(X) Cα (X) = X¯ ± tn−1;1−α/2 √ n ist das aus Kapitel 6 bekannte Student-Konfidenzintervall für θ (P).

und

Beispiel 14.5 (χ 2 –Konfidenzintervalle) Sei X = R, θ (P) := Std(X) > 0, also Θ = ]0, ∞[, und R(X, σ ) := (n − 1)S(X)2 /σ 2 . Unter der zusätzlichen Annahme, dass P eine Normalverteilung ist, ist R(X, θ (P)) χ 2 –verteilt mit n − 1 Freiheitsgraden. Folglich ist 2 , qα (P) = χn−1;1−α

und Cα (X) =

S(X)

n−1 2 χn−1;1−α

,∞

liefert die aus Kapitel 6 vertraute untere χ 2 –Konfidenzschranke für θ (P). Mit −R anstelle von R erhält man die bekannte obere Konfidenzschranke.

227

Trotz dieser und weiterer Beispiele hängt der kritische Wert qα (P) vielfach explizit von P ab und ist unbekannt. Dies passiert beispielsweise, wenn man in den obigen Beispielen 14.4 und 14.5 die zusätzliche Annahme, dass P normalverteilt ist, fallen lässt und nur noch voraussetzt, dass 0 < Std(X1 ) < ∞. Daher schlug Bradley Efron (1979) vor, die unbekannte Zahl qα (P) zu ersetzen. Dabei bezeichnet P die empirische Verteilung der einfach durch die Zahl qα (P) Beobachtungen Xi . Das heißt, für B ⊂ X ist #{i ≤ n : Xi ∈ B} ; P(B) := n siehe Abschnitt 2.2. Man betrachtet also eine künstliche Datenmatrix X∗ , bestehend aus Zufallsvariablen X1∗ , X2∗ , . . . , Xn∗ . Bei gegebenen Daten X sind diese Zufallsvariablen Xi∗ stochastisch unabhängig und nach P verteilt. Das heißt, für beliebige Teilmengen Bi von X ist IP∗ X1∗ ∈ B1 , X2∗ ∈ B2 , . . . , Xn∗ ∈ Bn =

n

i ). ∏ P(B i=1

Dabei bezeichnen wir mit IP∗ (·) bedingte Wahrscheinlichkeiten gegeben die Daten X. Mit anderen Worten, wir betrachten die Daten X vorübergehend als fest. Dann ist

= min r ∈ R : IP∗ R(X∗ , θ (P)) ≤ r ≥ 1−α . qα (P) Der Name “Bootstrap”. In der Realität haben wir eine “Population”, beschrieben durch P, und Daten X. In der “Bootstrap-Welt” betrachten wir die Komponenten von X als Populati und Daten X∗ . In gewisser Weise versuchen wir, uns an den eigenen on, beschrieben durch P, Haaren aus dem Sumpf zu ziehen. Im Angelsächsischen sind die Erzählungen des Barons von Münchhausen aber nicht bekannt. Stattdessen gibt es das Idiom “Pull yourself up by your own bootstraps” (bootstrap = Stiefelschlaufe). Deshalb nennt man die hier beschriebene Methode “Bootstrap-Verfahren”. Ein weiterer Name ist “Resampling-Verfahren”. Dieser spielt darauf an, dass man aus der gegebenen Stichprobe (sample) X neue künstliche Stichproben X∗ erzeugt. ermittelt man in der Regel Monte-Carlo ApMonte-Carlo-Version. Für die Quantile qα (P) proximationen. Der Algorithmus in Tabelle 14.1 beschreibt ein solches Verfahren. Dabei handelt es sich bei den ersten beiden Input-Argumenten um Hilfsfunktionen, welche die Abbil bzw. (X, θ ) → R(X, θ ) kodieren. Innerhalb des Algorithmus wird außerdungen X → θ (P) dem eine Hilfsfunktion Sort(·) aufgerufen, welche die Einträge eines beliebigen Vektors in ansteigender Größe sortiert. Ferner wird eine Hilfsfunktion Resample(X) verwendet, die bei jedem Aufruf eine rein zufällige, von der Vorgeschichte unabhängige Stichprobe X∗ simuliert. Das heißt, es werden unabhängige Zufallsvariablen J(1), J(2), . . . , J(n) mit uniformer Verteilung auf der Indexmenge {1, 2, . . . , n} simuliert, und mit diesen bildet man die Datenmatrix X∗ = (XJ(1) , XJ(2) , . . . , XJ(n) ) .

228

14 Bootstrap-Verfahren Algorithmus q ← BootstrapMC(TH(·), R(·), X, α, M) θ ← TH(X) RMC ← (0, 0, . . . , 0) ∈ RM for s ← 1 to M do X∗ ← Resample(X) RMC (s) ← R(X∗ , θ) end for RMC ← Sort(RMC ) q ← RMC (M + 1)(1 − α) . Tabelle 14.1: Monte-Carlo-Approximation von qα (P)

Anmerkungen. Die Bootstrap-Methode liefert Konfidenzbereiche mit nominalem Vertrauensniveau 1 − α. In vielen Situationen, insbesondere den hier beschriebenen, kann man mit Hilfe mit des Zentralen Grenzwertsatzes und weiterer Argumente zeigen, dass sich qα (P) und qα (P) wachsendem n kaum unterscheiden und der Konfidenzbereich Cα (X, qα (P)) asymptotisch das Vertrauensniveau 1 − α exakt einhält (Bickel und Freedman 1981). Manchmal bietet es sich an, die empirische Verteilung P durch einen anderen, aus X berechneten Schätzer für P zu ersetzen. Beispielsweise könnte man im Falle von X = Rq die empirische Verteilung noch etwas “glätten”; siehe Aufgabe 14.3. Insbesondere lässt sich auf diese Art vermeiden, dass die aus X∗ berechnete Stichproben-Kovarianzmatrix singulär ist. Die in diesem Kapitel beschriebene Bootstrap-Methode lässt sich leicht verallgemeinern. Man muss sich nur unter X einen beliebigen Datensatz und unter P einen abstrakten Parameter, der | X) ein Schätzer für P. die Verteilung von X vollständig festlegt, vorstellen. Ferner ist P = P(·

14.1 Übungsaufgaben Aufgabe 14.1 (Zu Fishers Z-Transformation) Für x ∈ R sei exp(x) − exp(−x) sinh(x) = , tanh(x) := cosh(x) exp(x) + exp(−x) der tangens hyperbolicus von x. Seine Umkehrfunktion bezeichnet man mit artanh. (a) Zeigen Sie, dass 1+y 1 für alle y ∈ (−1, 1). artanh(y) = log 2 1−y (b) Zeigen Sie, dass y−z tanh artanh(y) − artanh(z) = 1 − yz

für alle y, z ∈ (−1, 1).


229

(c) Seien ρ, ρ ∈ (−1, 1) und ε > 0. Zeigen Sie, dass artanh(ρ) − artanh(ρ) ≤ ε genau dann, wenn

ρ ∈

ρ − δ ρ + δ , 1 − ρδ 1 + ρδ

mit δ := tanh(ε).

Aufgabe 14.2 (a) Schreiben Sie ein Programm, welches Bootstrap-Konfidenzintervalle für Korrelationen berechnet. Eingabegrößen sollten sein: • Eine Datenmatrix X = (X1 , X2 , . . . , Xn ) ∈ Rn×q . • Die Zahl M von Monte-Carlo-Simulationen des Resamplings. • Das Testniveau α. b jk für ρ jk := Corr(X( j), X(k)), 1 ≤ j < k ≤ q. AußerGesucht sind (1 − α)–Konfidenzintervalle ajk , (B) (B) für alle Korrelationen ρ jk berechnet werden dem sollten simultane (1 − α)–Konfidenzintervalle a , b jk

jk

(Bonferroni-Korrektur). Verwenden Sie nach Möglichkeit die in Beispiel 14.3 definierte Testgröße R2 sowie Aufgabe 14.1. (b) Wenden Sie Ihr Programm auf den Datensatz ‘BrainSize.txt’ an. Dieser enthält Körpergröße und gewicht, die Zelldichte des Gehirns sowie drei verschiedene Intelligenzquotienten von einigen Damen und Herren. Unterteilen sie die Daten nach dem Geschlecht der Personen und analysieren Sie beide Teildatensätze separat. Aufgabe 14.3 (“geglättetes Bootstrap”) Sei P eine Verteilung auf X = Rq derart, dass Σ(P) = Var(X) definiert und positiv definit ist. gilt: Var(P) = (1 − 1/n)Σ. (a) Überzeugen Sie sich davon, dass für die Stichproben-Kovarianzmatrix Σ (b) Für gegebene Datenmatrix X seien X ∼ P und Z ∼ Nq (0, I) stochastisch unabhängig. Zeigen Sie, dass −1/2 Z die Gleichung Var(X ∗ ) = Σ erfüllt. X ∗ := X + n−1/2 Σ (c) Die Verteilung von X ∗ aus Teil (b) wird durch eine Dichtefunktion f ∗ beschrieben. Geben Sie eine Formel für diese Dichtefunktion an, und stellen Sie einen Zusammenhang mit den Kernschätzern in Kapitel 7 her. (d) Schreiben Sie ein Programm ResampleS(X), welches eine Datenmatrix X∗ mit unabhängigen Kopien Xi∗ von X ∗ aus Teil (b) simuliert.

Literaturverzeichnis [BF81]

B ICKEL , P. J. und D. A. F REEDMAN: Some Asymptotic Theory for the Bootstrap. Annals of Statistics, 9:1196–1217, 1981. (Nachweis, dass “pivotales Bootstrap” in vielen Situationen funktioniert).

[Bla95] B LAND , M.: An Introduction to Medical Statistics. Oxford University Press, 1995. (kompaktes Buch über statistische Methoden für medizinische Anwendungen). [Dü03]

D ÜMBGEN , L.: Stochastik für Informatiker. Springer-Verlag, 2003. (vermittelt vor allem Grundlagen der Wahrscheinlichkeitstheorie).

[Dü09]

D ÜMBGEN , L.: Lineare Modelle und Regression I-II. IMSV, Universität Bern, 2009. (eine ausführliche Darstellung linearer Modelle, verallgerallgemeinerter linearer Modelle wie z.B. logistische Regression, Likelihood-Methoden).

[Efr79] E FRON , B.: Bootstrap Methods: Another Look at the Jackknife. Annals of Statistics, 7:1–26, 1979. (Einführung der Bootstrap-Verfahren). [FPP98] F REEDMAN , D., R. P ISANI und R. P URVES: Statstics (3rd edition). Norton, London New York, 1998. (sehr lesenswertes Buch über Grundideen der Statistik mit minimalem mathematischen Kalkül). [FvB93] F ISHER , L.D. und G. VAN B ELLE: Biostatistics - A Methodology for the Health Sciences. Wiley, New York, 1993. (sehr ausführliches Buch über statistische Methoden für medizinische Anwendungen). [Hol79] H OLM , S.: A Simple Sequentially Rejective Multiple Test Procedure. Scandinavian Journal of Statistics, 6:65–70, 1979. [Kre91] K RENGEL , U.: Einführung in die Wahrscheinlichkeitstheorie und Statistik (3. erw. Auflage). Friedrich Vieweg & Sohn, Braunschweig Wiesbaden, 1991. (vermittelt Grundlagen der Wahrscheinlichkeitstheorie). [Opf94] O PFER , G.: Numerische Mathematik für Anfänger (2. Auflage). Friedrich Vieweg & Sohn, Braunschweig Wiesbaden, 1994. (vermittelt u.a. Grundlagen der numerischen linearen Algebra, z.B. QR-Zerlegung). [Ric95] R ICE , J. A.: Mathematical Statistics and Data Analysis. Wadsworth, 1995. (vermittelt Grundlagen der Wahrscheinlichkeitstheorie und mathematischen Statistik). [Sac93] S ACHS , L.: Statistische Methoden (7. Auflage). Springer Verlag, 1993. (kompaktes “Kochbuch” mit sehr vielen statistischen Methoden). [Saw09] S AWITZKI , G.: Computational Statistics - An Introduction to R. Chapman & Hall/CRC Press, 2009. (Einführung für Leser mit soliden Grundkenntnissen in Statistik). [Thi88] T HISTED , R. A.: Elements of Statistical Computing. Chapman & Hall, 1988. (behandelt numerische Aspekte der Statistik).

Sachverzeichnis Abweichungen von der Normalverteilung, 65 Adjustierung Bonferroni, 121 Holm, 122 Affine Transformationen, 19 Alternativhypothese, 86 ANCOVA, 194, 222 ANOVA, 188, 189, 191, 200 Assoziation, 121 Aufspaltung der Trainingsdaten, 183 Ausreißer, 11 Austauschbarkeit, 101, 110, 126 Baron von Münchhausen, 227 Behrens-Fisher-Problem, 117 Berksons Trugschluss, 57 Beschreibende Statistik, 1, 3 Beta-Verteilung, 164 Bias, 73 Bias und Standardabweichung, 73 Binäre Variable, 43 Bincdf, 33 Binomialverteilung, 17 Blindstudien, 108 Bonferroni-Adjustierung, 121 Bootstrap, 225, 227 Box-Plot, 11 Box-Whisker-Plot, 11 cdf, 33 Bincdf, 33 chi2cdf, 129, 217 Fcdf, 200 Hypcdf, 86 tcdf, 92, 132, 198 Chancenquotient, 43, 44, 215 chi2cdf, 129, 217 Chiquadrat-Konfidenzintervalle, 60 Chiquadrat-Test auf Assoziation, 128 Chiquadrat-Verteilung, 61

Confounder, 109, 143 Confounding, 46, 109, 143 Datenmatrix, 3 Datensatz, 3 Designmatrix, 189 Deskriptive Statistik, 1, 3 Deviance, 217 Dichtefunktion, 17 Dichteschätzung, 180 Diskriminanzanalyse, 165, 167 Diskriminanzfunktion, 220 Doppelblindstudien, 108 Dreieckskern, 78 Einfache lineare Regression, 188 Einweg-Varianzanalyse, 188 Empirische Verteilung, 4, 227 Empirische Verteilungsfunktion, 6 Erwartungswert einer Zufallsmatrix, 138 Erwartungswerte, 19 Exponentialverteilung, 20 F-Verteilung, 199 Fall-Kontroll-Studien (case-control studies), 46 Faltungen, 20 Fcdf, 200 Fehler erster und zweiter Art, 87 Fehlklassifikationsrate, 166 Fehlklassifikationsraten, 182 Fishers exakter Test, 85, 110 Fishers lineare Diskriminanzfunktion, 176 Fishers Test auf Korrelation, 131 Formparameter, 10 Kurtose (curtosis), 11 Schiefe (skewness), 10 Freiheitsgrade, 61, 192 Gamma-Verteilung, 29, 68, 164

234

Gaußsche Glockenkurve, 20 Ginis Skalenparameter, 13 Gruppe von Transformationen, 102 Gumbel-Verteilung, 25 Hauptkomponenten, 151 Hebelwirkung, 207 heteroskedastische Fehler, 212 Histogramm, 7 Intervalllänge, 73 Offset, 73 Präzision, 74 Holm-Adjustierung, 122 homoskedastische Fehler, 188 Hutmatrix, 192 Hypcdf, 86 Hypergeometrische Verteilung, 47, 85, 110 Induktive Statistik, 1 Interquartilabstand (IQR), 10, 29 Invarianz, 102, 130, 131, 175 unter affinen Transformationen, 130 unter monotonen Transformationen, 131 Kanonische Korrelation, 144 Kategorielle Variable, 4 Kenngrößen, 7 Kerndichteschätzer, 77 Bandweite, 77 Berechnung, 82 Dreieckskern, 82 Kernfunktion, 77 Klassifikation, 165 euklidisch, 167 linear, 170, 174 nearest neighbors, 180 optimal, 168 quadratisch, 172, 179 Klassifikator, 165 Kleinste Quadrate, 130, 150 Kohortenstudien (cohort studies, prospective studies), 46 Konfidenzbereiche, 196, 226 Chiquadrat-, 60, 226 nach Scheffé, 199 nach Welch, 117 Student-, 60, 116, 197, 226 t-, 60

Sachverzeichnis

Z-, 59 Konfidenzschranken für μ, 60 für σ , 60 für Chancenquotienten, 47 für Quantile, 38 für Wahrscheinlichkeiten, 32 Kontingenztafel, 124, 127 Korrelation, 129, 139, 225 kanonische, 144 multiple, 140 nach Pearson, 129 nach Spearman, 131 partielle, 143 Quadranten-, 131 Kovarianz, 225 von Zufallsvariablen, 137 von Zufallsvektoren, 138 Kovarianzanylyse, 194 Kreuzvalidierung, 183 Kuchendiagramm, 5 Kurtose (curtosis), 11 L-Statistiken, 12 Lageparameter, 8 Median, 9 Mittelwert, 9 Quantile, 9 Quartile, 9 Lernstichprobe, 166 Leverage, 207 Likelihood-Quotienten-Test, 216 Lineare Diskriminanzanalyse, 174 Lineare Modelle, 187 Lineare Prädiktion, 140 Logistische Regression, 215 Logit-Transformation, 215 Mahalanobis-Abstand, 170 Mann-Whitney-U-Test, 114 Maximum-Likelihood, 216 Median, 9 Median der absoluten Abweichungen (MAD), 10, 29 Medizinischer Test, 51, 56, 220 Sensitivität, 52, 56, 220 Spezifität, 52, 56, 220 Merkmal, 3

Sachverzeichnis

Merkmalausprägung, 3 Messfehler, 15 Mittelwert, 9, 225 Mittere Kosten, 166 Mittlerer quadratischer Fehler, 73 Monte-Carlo-P-Werte, 104 Monte-Carlo-Tests, 104 Monte-Carlo-Verfahren, 104, 227 Multiple Korrelation, 140 Multiple lineare Regression, 189 Multiple Vergleiche, 121 Multivariate Beobachtungen, 137 Nearest-Neighbor-Verfahren, 180 Neumann, J. von, 94, 105 Nichtparametrischer Test, 96 Normalapproximation, 24 Normalverteilungen, 22, 59, 160 Normalverteilungsplots, 66, 210 Nullhypothese, 85, 87, 126 Numerische Variable, 3 Odds Ratios, 44 Woolfs Methode, 53 Optimale Klassifikation, 168 Ordinale Variable, 4 Ordnungsstatistiken, 5 Orthogonalisierung, 193 P-Wert, 88 linksseitig, 88 rechtsseitig, 88 zweiseitig, 88 Parametrischer Test, 95 Partielle Korrelation, 143 Pearson, 129 Permutationstests, 101, 110, 126 Pivot-Statistik, 226 Placebo-Effekt, 108 Polynomiale Regression, 188 Prädiktion, 140 Q-Q-Plots, 67 Quadratische Diskriminanzanalyse, 179 Quantile, 9 Quartile, 9 Querschnittstudien (cross-sectional studies), 45

235

R-Quadrat, 151 Ränge, 111 Randomisierte Studie, 44, 107 Randomisierung, 15 Rang-Korrelation, 131 Referenzkategorie, 189 Regression einfach linear, 188 multipel linear, 189 polynomial, 188 Regressionsgerade, 130 Reklassifikation, 182 Resampling, 227 Residuen, 192 Residuenplots, 211 Robustheit, 11 ROC-Kurven, 220 Rotationsinvarianz der Normalverteilung, 64 Schätzung von σ , 192 von θ , 190 Schiefe (skewness), 10 Schließende Statistik, 1 Sensitivität, 52, 56, 220 SIDS, 16, 105 Signifikanzniveau, 86 Simpsons Paradoxon, 54, 57 Skalenparameter, 9 Gini, 13 Interquartilabstand (IQR), 10 Median der absoluten Abweichungen (MAD), 10 Spannweite (range), 10 Standardabweichung, 10 Spannweite (range), 10 Spearman, 131 Spektralzerlegung, 152 Spezifität, 52, 56, 220 Stabdiagramm, 5 standard error, 197 Standardabweichung, 10, 19 Standardfehler, 197 Standardnormalverteilung, 20, 71, 159 Stichprobe, 3 Stichprobenfehler, 15 Stratifizierung, 183 Streuungszerlegung, 177, 184

236

Student-Konfidenzintervalle, 60, 116 Student-Test, 92 Student-Verteilung, 61 Studien Fall-Kontroll-Studien, 46 Kohortenstudien, 46 mit historischer Kontrolle, 108 Querschnittstudien, 45 Randomisierte Studien, 44, 107 t-Konfidenzintervalle, 60 t-Test, 92 T-Tests, 197 t-Verteilung, 61 tcdf, 92, 132, 198 Test, 87, 196 auf Assoziation, 121 auf Normalität, 93 auf Zeitabhängigkeit nichtparametrisch, 101 parametrisch, 94 Chiquadrat- auf Assoziation, 128 F-, 199 für verbundene Stichproben nichtparametrisch, 96 parametrisch, 92 Fishers exakter, 110 Likelihood-Quotienten-, 216 linksseitig, 88 nichtparametrisch, 96 parametrisch, 95 rechtsseitig, 88 Student-, 92, 197 t-, 92 zweiseitig, 88 Trainingsdaten, 166 Transformationen, 213

Sachverzeichnis

Variable, 3 kategorielle, 4 numerische, 3 ordinale, 4 Variablenselektion, 182 Varianz, 19 Varianzanalyse, 188 Vergleich mehrerer Stichproben, 121 Vergleich zweier Stichproben, 107 Verteilung, 16 Beta-, 164 Binomial-, 17 Gamma-, 29, 164 Gumbel, 25 hypergeometrische, 85, 110 Normal-, 22, 59, 160 Standardnormal-, 20, 159 Verteilungsfunktion, 6, 17 empirische, 6 theoretische, 17 Vierfeldertafel, 2, 43 Vorzeichensymmetrie, 96 Vorzeichentests, 96 Wahrscheinlichkeitsdichte, 17 Welchs Methode, 117 Wilcoxons Rangsummentest, 112 Wilcoxons Signed-Rank-Test, 98 Woolfs Methode für Odds Ratios, 53 Z-Konfidenzintervalle, 59 Z-Scores, 10, 93 Z-Test, 91 Z-Transformation, 59 Zentraler Grenzwertsatz, 24, 65, 228 Zufallsvariablen, 16 unabhängige, identisch verteilte, 16

Biometrie

Audio-and Video-Based Biometrie Person Authentication: 4th International Conference, AVBPA 2003, Guildford, UK, June 9-11, 2003, Proceedings

Recommend Documents