Komplexitätstheorie. Grenzen der Effizienz von Algorithmen

Springer-Lehrbuch

Springer Berlin Heidelberg New York Hongkong London Mailand Paris Tokio

Ingo Wegener

Komplexitatstheorie Grenzen der Effizienz von Algorithmen

Mit 18 Abbildungen

Springer

Prof. Dr. Ingo Wegener Universitat Dortmund Lehrstuhl Informatik II 44221 Dortmund

wegenerielss.cs.uni-dortmund.de

Bibliografische Information Der Deutschen Bibliothek Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet uber abrufbar.

ISBN3-540-00161-1 Springer-Verlag Berlin Heidelberg NewYork Dieses Werk ist urheberrechtlich geschiitzt. Die dadurch begriindeten Rechte, insbesondere die der Ubersetzung, des Nachdrucks, des Vort rags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfaltigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfaltigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland Yom 9. September 1965 in der jeweils geltenden Fassung zulassig, Sie ist grundsatzlich vergiitungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes . Springer-Verlag Berlin Heidelberg New York ein Unternehmen der BertelsmannSpringer Science+Business Media GmbH http://www.springer.de © Springer-Verlag Berlin Heidelberg 2003

Printed in Germany Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutzgesetzgebung als frei zu betrachten waren und daher von jedermann benutzt werden diirften. Text und Abbildungen wurden mit groBter Sorgfalt erarbeitet. Verlag und Autor konnen jedoch fur eventuell verbliebene fehlerhafte Angaben und deren Foigen weder eine juristische Verantwortung noch irgendeine Haftung iibernehmen. Satz: Druckreife Aufsichtsvorlagen des Autors Druck und Bindearbeiten: Strauss Offsetdruck, Morlenbach Umschlaggestaltung: design & production GmbH, Heidelberg Gedruckt auf saurefreiem Papier 33/3142PS - 5 4 3 210

Vorwort

Spat est ens seit der Ent wicklung der NP- Vollst andigkeit stheorie ist die Komplexit atstheorie ein zentrales Lehr- und Forschungsgebiet der Informat ik. Mit dem NP#P-Problem beinhaltet sie eine der gro Ben int ellekt uellen Her au sforderungen der Gegenwart . 1m Gegensat z zu anderen Gebi et en der Inform at ik, in de nen oft sugge riert wird , dass mit Rechnerhilfe nahezu alle P robleme losbar sind, werden in der Kornpl exit at stheor ie Ergebnisse erzielt, die zeigen, was Rechner nich t konnen . Die Grenze zwischen effizient und nur mit unver tretbarem Aufwand losb aren P roblemen zu markieren , ist eine pr ak t isch relevante Frage, aber auch die strukture lle Frage, was die Kornpl exit at oder vielleicht sogar deu tlicher Kompliziertheit von P roblemen ausmac ht . Die Entwicklung der Kornplexitatstheorie wird in diesem Bu ch im Wesent lichen als Reaktion au f algorit hmische Entw icklungen dargestellt . Dah er steht die Unters uchung praktisch wichtiger Op timierungsp robleme im Vorde rgr und. Aus dieser algorithmisch gepragten Sichtweise ste llen sich Red ukt ionskonze pte als Method en dar , urn P ro bleme mit Hilfe von Algorithmen fur ande re P rob leme zu losen . Dara us ergibt sich im Umkehrschluss, dass wir die Schwierig keit von Problemen aus der Schwierigkeit ande rer Problem e ableiten konnen. In diese m Buch wird ein unublicher Zugang zum zentralen Konzept des Nicht determinismus gewa hlt , Die fur Studierende eher ver wirrende Beschreibun g durch Rechner, die den richti gen Rechenweg raten oder fur die ein passende r Rechenweg exist iert, wird durch eine Ei nfuhrung in randomisierte Algorithmen erse tzt . Nichtdet erminismu s erwe ist sich als de r Spez ialfall einseit iger Fehl er , bei de m die Fehlerwahrsc heinlichkeit grofier sein darf, als es in den Anwendungen to lera be l ist . Dami t sind nichtdet erministi sche Algorit hme n a uf normalen Rechnern a usfuhrba r, ohne aber ein befriedigend es Verh alt en fur die P roblem losung zu hab en. Es besteht die auf E rfahrungen basieren de Hoffnun g, dass dieser algorit hmische Einstieg es St udierend en erleichtert , das Konzep t des Nichtdet ermi nismu s zu begreifen. Da hier kein e For schungsmonogr aphie vorgelegt wird , wur de der St off auf E rge bnisse eingeschrankt , die fur alle Studierenden der Info rm at ik nu t zlich und wichtig sind . Das Leh rbuch richt et sich explizit auch an die St udier ende n, die sich Grundlagen der Komplexit at stheorie aneignen wollen , ohne sich in diesem Ge biet zu spezialisieren. Da her wurde ein besonderer Wert auf in-

VI

Vorvvort

form elle Beschreibungen del' Beweisldeen gelegt, auf die nattirlich vollstandige Beweise folgen. Moderne T he me n wie das P CP-Theor em , Approximationsproblem e , Randomisier ung und Kommunikat ionskomplexit at wu rd en auf Kosten del' st rukt urellen und abst rakten Komplexit at stheori e in den Mittelpunkt gestellt. Die ersten neun Kapit el beschreib en das Fundam ent del' Kornplexit atst heorie. Darauf a ufbaue nd konnen Leh rende Schwerpunkt e auswahlen : - Kapit ell0, 13 und 14 beschreib en einen ehe r klassisch ori enti ert en Einstieg in die Komplexi t at stheori e, - Kap it el 11 und 12 beschaftigen sich mit del' Kornplex it at von Ap proximationspro bleme n und - Kapitel 14, 15 und 16 mit del' Komplexitat bool escher Funktionen . In dieses Leh rbuch sind viele Id een eingeflossen, die sich aus C esprachen ergeben haben . Da oft nicht mehr nachvollziehbar ist , vvo, wann und mit wern diese Gesp rache gefiih rt wurden , rnocht e ich mich bei allen bed anken , die mit mil' tiber Wi ssenschaft im Allgem einen und Kornpl exit atstheori e im Besonderen diskuti er t haben . Beat e Bollig, Stefan Dro st e, Oliver Giel, Thom as Hofm eist er , Martin Sauerhoff un d Carst en Witt haben mein Manuskript gelesen und mit kritischen Anmerkungen zu Verbesserungen beigetragen . Dafti r rnochte ich mich bei ihnen ebe nso her zlich bed anken wie bei Alice Czerniejewski , Danny Rozyn ski , Marion Scheel, Nicole Skarad zinski und Dirk Sudholt fur die sorgfalt ige Erstellung del' Druckvorl age. Die hoffentlich kurze List e del' ers t nach Erschein en des Buches ent deckten Fehl er ist unter ls2-www .cs .uni-dortmund .de/monographs/kt zu find en. SchlieBlich danke ich Christa dafiir , dass sie mil' kein e Gren zen fur die Zeit, d ie ich an dem Buch arbe iten konn t e, gesetzt hat . Dortmund/Bielefeld , J anuar 2003

Ingo W egener

Inhaltsverzeichnis

1.

Einleitung .. . . . . . . ... . ... . . . . . . .... . .. . . . . . .. . . . . . . . . . . . .. 1 1.1 Was ist Komplexit atstheorie? .......... 1 1.2 Zum didak tischen Hintergrund . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.3 Ub erblick . . . .. . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .. 7 1.4 Weiterfuhrende Lit er atur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.

Algorithmische Probleme und ihre Komplexltat 2.1 Was sind algorit hmische Probleme? . . . . . . . . . . . . . . . . . . . . . .. 2.2 Einige wichtige algorit hmische Probleme. . . . . . . . . . . . . . . . . . . 2.3 Wi e wird die Rechenzeit eines Algori thmus gemessen? . . . . . . . 2.4 Die Kornplexitat algorit hmischer Probleme

13 13 15 20 25

3.

Die 3.1 3.2 3.3

29 29 31

4.

5.

grundlegenden Komplexittitsklassen . . . . . . . . . . . . . . . . . . Die Sonderrolle polynomieller Rechen zeit en . . . . . . . . . . . . . . . . Randomisierte Algorithmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Die grundlegenden Komplexit atsklassen fur algorit hmische Probleme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Die gru ndlegende n Komplexitatsklassen fur Entscheidungsprobleme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 3.5 Nicht de te rminismus als Spezialfall von Randomisierung .. . ..

R eduktionen - algorithmische Beziehungen zwischen Problemen 4.1 Wann sind sich Probleme algorit hmisch ahn lich? 4.2 Reduktionen zwischen den verschiedenen Vari anten eines Problems . . . . . . . . . . . . . . . . .. . .. .. . . . . . . . . . . . . . .. . . 4.3 Reduktionen zwischen verwandten Problemen . . . . . . . . . . . . . . 4.4 Reduktionen zwischen nicht verw andten Problemen . . . . . . . .. 4.5 Die Sonderrolle pol yn omi eller Reduktionen Die 5.1 5.2 5.3

NP-Vollstandlgkeitstheorie .... Grundlegende Ub erlegungen Probleme in NP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Alternative Charakterisierunge n von NP . . . . . . . . . . . . . . . . . . .

35 40 44

47 47 50 53 58 65

69 69 73 75

VIII

Inhal tsverzeichn is

5.4 Das Theorem von Cook

. . . . . . . . . 77

6.

NP-vollsUindige und NP-aquivalente Probleme ..... 6.1 Grundlegend e Ub erlegun gen . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 6.2 Rundreiseprobl eme . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Ru cksackprobleme. . .. . . ... . . .. .. . ... .. . . ... . ... . . . . .... 6.4 Auft eilungsprobleme und Last verteilun gsprobleme . . . . . . . . .. 6.5 Cliquenprobleme ... . . . . .. . .. .. .. . ... . .. . .. . . . . ...... . .. 6.6 Teambildungsprobleme. ... .. . . . . . . .. . .. ... ... . .. .. . . . ... 6.7 Meist erschaft sprobl eme ... . ... . . .. ... . .. . . . ... . . . . .. . .. . .

83 83 83 84 87 87 89 91

7.

Die Komplexitatsanalyse von Problemen 7.1 Die Trennlinie zwischen einfachen und schwierigen Varianten eines P robl ems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2 P seud opolynomielle Algorithmen und starke NP -Vollst andigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 7.3 Bin Ube rblick tiber die betrachteten NP- Vollst andigkeit sbeweise

95 95 99 102

8.

Die Komplexitat von Approximationsproblemen - klassische Resultate 105 8.1 Kornpl exit atsklassen 105 8.2 App roxim ationsalgorit hmen 109 8.3 Die Ltickentechnik 113 8.4 Approximationserh alt end e Redukti onen 116 8.5 Vollst andi ge Approximati onsprobleme 119

9.

Die 9.1 9.2 9.3

Komplexitat von Black-Box-Problemen Black-Box-Op timierung Das Minim ax-Prinzip von Yao Unt ere Schr ank en fur die Black-Box-Komplexit at

123 123 126 129

10. W eitere Komplexitatsklassen und B eziehungen zwischen den Komplexitatsklassen 135 10.1 Grundlegende Uberlegungen 135 10.2 Die Komplexit atsklassen inn erh alb von NP und co-NP 136 10.3 Or akelklassen 138 10.4 Die polynomielle Hierarchie 140 10.5 BP P, NP und die polynom ielle Hierarchie 147 11. Interaktive Beweise 11.1 Grundlegend e Ub erlegun gen 11.2 Int eraktive Beweissyst eme 11.3 Zur Kompl exit at des Gr aphenisomorphieprobl ems 11.4 Beweissyst eme, die kein Wissen preisgeben

153 153 154 156 163

Inhaltsverzeichnis

IX

12 . D a s P CP-The o r e m u n d die K o rn ple x it a t von Approximationsproblemen 169 169 12.1 Randomisierte Verifikation von Beweisen 12.2 Das PCP-Theorem 172 182 12.3 Das PCP-Theorem und Nicht approximierbarkeitsresultat e 12.4 Das PCP-Theorem und APX-Vollst andigkeit 186 13. Weitere klassische T h e m e n der Komplexitatstheorie 13.1 Ub erblick 13.2 Spei cherplat zb asierte Komplexitatsklassen 13.3 PSPACE-vollstandige Probleme 13.4 Nichtdet erminismus und Det erminismus be i Pl atzschranken .. 13.5 Nichtdet erminismus und Komplementbildung bei pr azisen Platzschranken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.6 Komplexitatsklassen innerhalb von P 13.7 Die Kornplexitat von Anzahlproblemen

195 195 196 199 202

14. D ie 14.1 14.2 14.3

K o m ple xit a t von n ic ht u n ifo r m e n P roblemen Grundlegend e Ub erl egungen Simu lationen von Turingmaschinen durch Schaltkreise Simul ationen von Schaltkreisen durch nichtuniforme Turingmaschinen Branchingprogramme und Platzbedarf Po lynomielle Schaltkreise fur Probleme in BPP Komplexitatsklassen ftlr Ber echnungen mit Hilfsinformationen Gibt es polynomielle Schaltkreise fur alle Probleme in NP ? . .

213 213 216

15 . Kommunikationskomplexitat 15.1 Das Kommunikationsspiel 15.2 Untere Schranken fur die Kommunikationskornpl exitat 15.3 Nicht determinist ische Kommunikationsprotokolle 15.4 Randomisierte Kommunikationsprotokolle 15.5 Kommunikationskomplexitat und VLSI-S chaltkreise 15.6 Komrnunikationskomplexitat und die Rechenzeit von Turingmaschin en . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

231 231 236 245 251 260

16. D ie 16.1 16.2 16.3 16.4 16.5 16.6 16.7

265 265 266 269 274 279 282 286

14.4 14.5 14.6 14.7

K o m ple x it a t boolescher Funktionen Grundlegend e Ub erlegungen Die Gr oBe von Schaltkreisen Die Tiefe von Schaltkreisen Die GroBe von t iefenbeschrankten Schaltkreisen Die GroBe von ti efenb eschrankten Thresholdschaltkreisen Die GroBe von Br anchingprogrammen Reduktionskonzepte

203 206 209

218 222 224 226 227

261

X

Inhaltsverzeichnis

Schlussbemerkungen

293

A. Anhang A.l Crofenordnungen und die O-Not ation A.2 E rge bnisse a us der Wah rscheinli chkeit stheorie

295 295 299

Literaturverzeichnis

311

Sachverzeichnis

315

1. Einleitung

1.1 Was ist K orn plexit a t stheorie ? Komplexitatstheorie - ist das eine Disziplin fur der Welt ent rlickte Theoretiker od er ein Kerngebiet der modernen In formatik? In diesem einftihrenden Lehrbuch wird die Komplexit at stheorie als akt uelles Gebiet der Informatik vorgest ellt , dessen E rgebnisse Auswirkungen auf die Entw icklung und den Einsatz von Algori thmen hab en . Dab ei ergeben sich Erkenntnisse tiber die St ruktur wichtiger Optimierungsp robl eme und es werden die Grenzen des algorit hmisch mit realistischen Ressourcen "Machbaren" ausgelotet . Da sich dieses Lehrbuch auch besonders an diejenig en richt et, die die Komplexitat stheorie nicht zu ihrem Schwerpunk t mach en wollen , werden Er gebnisse, die (noch) keinen Bezug zu algorit hmischen Anwendungen hab en, a usgeblendet . Die Gebi et e Komplexitatstheorie einerse its und Entwurf und Analyse effizienter Algorithmen andererseits betracht en algorit hmische Probleme von zwei entgegengeset zte n Seit en. Ein effiziente r Algorithmus lasst sich direkt zur Problemlosung einsetzen und ist ein Nachweis fur die effiziente Losbarkeit des Problems . In der Komplexitatstheorie ist es dagegen das Ziel, fur schwierige Problem e nach zuweisen , dass sie nicht mit geringem Ressourcenb edarf zu losen sind. Ub erbringer von schlechten Nachrichten sind selt en willkommen und so sind die Ergebnisse der Kornplexitat stheorie schwerer vermittelb ar als ein besserer Algorithmus fur ein wichti ges Problem . Haufig geste llte Fragen an diejenigen , die Komplexitatstheorie betreib en , sind: - "W ieso freust du dich ub er den Beweis, dass ein Problem algorithmisch schwierig ist? Es ware do ch schon, wenn es effizient zu losen war e." - "Was nlitzt dieses E rgebnis? Ich brauche fur mein konkret es Anwendungsproblem eine algorit hmische Losung. Was mache ich jet zt ?" Nat urlich ist es fur un s angenehmer, wenn sich ein Problem als algorit hmisch effizient losbar erweist . Nur , ob dies der Fall ist , liegt nicht in unserer Hand. Nachdem wir uns auf die Spielregeln (grob gesagt : Computer, abe r dazu spat er mehr) geeinigt haben, hat jedes Problem eine wohld efiniert e algorit hmische Kornplexitat. Komplexitatstheorie und Algorithmentheorie bemlihen sich urn die Abschatzung dieser algorit hmischen Kornplexitat und I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

2

1. Einleitu ng

damit urn die "E nt deckung der Wahrheit " . Somit ist die Freude tiber den Nachweis, dass ein Problem nicht effizient lasbar ist , gena uso wie die Freud e tiber den Entwurf eines effizient en Algorithmus die Freude , etwas mehr tiber die wahre algorit hmische Komplexit at herausgefunden zu haben . Dennoch ist unsere Reaktion auf die Ent deckung von Wah rh eit en davon abha ngig, ob Hoffnungen erfullt werden oder sich BefUrchtungen best atigen . Was hat es fur Konsequenzen , wenn wir herau sfinden , dass das von un s unt ersucht e Problem nicht effizient losbar ist ? Zunachst die un mittelbare und ganz pra kt ische Kon sequenz , dass wir die Suche nach einem effiziente n AIgorit hmus mit gutem Grund einste llen konn en . Immerhin ver schwenden wir un sere Zeit nicht meh r mit dem Versuch, unerreichbar e Ziele anz ustreben. Dies kennen wir auch aus anderen Wi ssenschaften . Verutinftige Leute bau en nicht mehr am "Perpet uum mobile" und versuchen nicht mehr, a us einem Kreis mit Hilfe von Zirkel und Lineal ein Qu adrat mit gleicher Fl ache zu konstruier en (die sprichwort lich gewordene Qu ad ra tur des Kr eises) . Allgemein tun sich Menschen aber mit Unmoglichkeit sergebnissen schwer. Dies lasst sich an den vielen Kons trukt ionsvorschlagen fur ein Perpetuum mobil e und den vielen Losungsver suchen fur die Qu adratur des Kr eises fest st ellen , die imm er noch unternommen werden. Nachdem wir eingesehe n haben , dass wir auch negati ve Result at e akzept ieren mtissen und sie un s unntit ze Arb eit ers pa ren, bleibt die Frage, was dan n zu tun ist . Schlie£lich hab en wir es mit einem algorithmischen Problem zu tun, dessen Losung fur eine bestimmte Anwendung wichtig ist. Glticklicherweise sind Probleme in den meist en Anwendungen nicht un ab anderlich fest gelegt . Es ist oft nah e liegend, ein Problem in sehr allgemeiner Form zu formulieren und st arke Anfor derungen an die Qualitat der Losung zu stellen. Wenn dann eine effiziente Losung moglich ist - prim a . Im negativen Fall lasst sich das Problem oft spezialisieren (Gr aphen , die StraBensyst eme modellieren , hab en nur einen kleinen Gr ad , da die Anzahl der StraBen, die an einer Kr euzung zusammentreffen , beschr ankt ist) od er es gentigen schwachere Anforderungen an die Losung (fast optima l ist gut genug). Uns st ellen sich also.. neue algorit hmische P robl eme, die vielleicht effizient losbar sind. Ein effizienter Algorithmus fur ein eingeschra nktes Problem lasst sich sogar besser "verkaufen", wenn wir wissen , dass das allgemeinere Problem nicht effizient las bar ist. So finden wir auch mit Hilfe von Unmoglichkeit sbeweisen , also negativen Resultat en , die algorithmisch gerade noch effizient losbar en Probleme. Komplexitat stheorie und Entwurf und Analyse effizienter Algorithmen sind also die zwei Gebiete der Inform atik, die die Grenze zwischen dem mit realist ischem Ressourcenb edarf Machbaren und dem nicht effizient Machbaren a usloten. Dab ei befru cht en sich die Gebiet e gegense it ig. So hat mancher Versuch, die Unmoglichkeit der effiz ienten Losbarkeit eines Problems zu zeigen , die P robl emstruktur so erhellt, dass sich ein effiz iente r Algorithmus ergab. Ande rerseits zeigen die Beispiele, an denen Versuche des Entwurfs

1.1 Was ist Komplexitatstheori e?

3

effizienter Algorithmen scheite rn, was die Schwierigkeit des betrachtet en Problems ausmacht. Daraus ergeben sich Beweisideen , urn die Schwierigkeit des Problems zu beweisen. Es kommt durchaus haufig vor , dass man mit einer falschen Vermutung tiber den Schwierigkeit sgrad des Problems startet . Wir diirfen bei der Untersuchung der Kornplexitat von Problemen also mit ub erraschenden Ergebnissen rechnen. Als Ergebnis der einleitenden Diskussion halten wir fest :

Das Ziel der K omplexit iitsth eorie ist es, fur wichtige Problem e nachzuweisen, dass zu ihrer Losutu; bestimmte Mindestressourcen notig sind . Die Ergebnisse der Komplexitiitstheorie haben konkrete Auswirkungen auf die Entwicklung von Algorithmen fur praktische Anwendung en. Nachdem wir bisher die Beziehungen zwischen den Gebieten Komplexitatstheorie und Algorithmenentwurf betont haben , wollen wir nun die Unterschiede herausarbeit en . Beim Algorithmenentwurf milssen wir "nur" einen Algorithmus entwickeln und analysieren. Dies fuhrt zu einer oberen Schrank e fur die zur Losung des betrachteten Problems minimal ben6tigten Ressourcen . Die Kornplexitatstheorie soll untere Schranken fur den minimal ben6 tigt en Ressourcenbedarf liefern, also Mindestressourcen angeben, die jeder Algorithmus zur Losung des Problems verbrauchen muss. Fur den Beweis einer oberen Schr anke genugt es also, einen Algorithmus zu entwerfen und zu analysieren (wobei der Algorithmenentwurf die spatere Analyse unterstiitzen kann) . Jede untere Schr anke ist aber eine Auss age iiber alle Algorithmen , die das betrachtete Problem losen . Die Menge aller Algorithmen fur ein Problem ist eine wenig strukturierte Menge . Ihr einziges Strukturmerkmal ist , dass das Problem gelost wird. Wie konnen wir dieses Strukturmerkmal einse tze n? Es ist nahe liegend, aus der Struktur des Problems Aussagen abzuleit en , die die Menge zu betrachtender Algorithmen einschr anken . Ein konkretes Beispiel: Es scheint klar zu sein , dass die best en Algorithmen zur Ma trixmultiplikation nicht damit beginnen, Matrixelemente voneinander zu subtrahieren. Wie beweist man dies? Oder ist ein Beweis iiberfliissig, wei! die Auss age so offensichtlich ist? Ganz im Gegentei!: Die besten bekannten Algorithmen zur Matrixmultiplikation beginnen damit , Matrixelement e voneinander zu subtrahieren (siehe z. B. Wegener (1996)) . Dies zeigt deutlich die Gefahr, sehr anscha ulichen, ab er falschen Schlussfolgerungen zu erliegen. Also:

Um na chzuweisen, dass zur Losutu; eines Problems bestimmte Mindestressourcen notig sind, miissen alle Algorithmen fur das Problem beachtet werden. Darin liegt die Haupt schwierigkeit auf dem Weg zu den Zielen der K omplexitiitstheorie. Wir wissen jetzt, welche Ergebnisse wir anst reben, und wir ha ben erlautert, dass es schwierig ist, diese Ergebnisse t atsachlich zu erre ichen. Dies

4

1. Einleitung

klingt , als wollten wir im Voraus ausbleib ende Erfol ge erklaren, Und so ist es a uch gem eint.

Von den wichtigsten Problem en der K omplexitiitstheorie ist kein es qeliist, aber auf dem Weg zur Lo sunq der zentralen Fragen sind beachtliche Ergebni sse erzielt worden. Wie hab en wir uns das vorzustellen ? In dem klassischen Buch von Hopcroft und Ullm an (1979) , das a uch eine Einftihrung in die Komplexit at stheorie ent halt , zeigt das Titelbild, wie mit Hilfe der Ergebnisse der Vorhan g vor der Sammlung der Wahrheit en der Komplexitat stheorie hoch gezogen wird und den Blick auf die E rgebnisse freigibt. Aus meiner Sicht der Komplexitatst heorie wurde der Vorh ang bisher nur am Rande etwas beiseit e geschoben, so dass wir einige "kleinere Wahrheit en " ganz sehen . Ansonsten wurde der blickdichte Vorhan g durch einen dunneren Vorhan g ersetz t, durch den wir einen GroBteil der Wahrheit schemenhaft erkennen konnen , ohn e un s ganz sicher zu sein , nicht einer optis chen T aus chung zu erliegen. Was heiBt dies konkret? F ur Probleme, die als schwierig angesehen werden , wurde zwar nicht bewiesen, das s sie schwierig sind, aber es wurde gezeigt, dass t au send e von Problemen im Wesentlichen (dies wird spa te r genauer spezifizier t) gleich schwierig sind. Ein effizienter Algorithmus fur eines dieser Problem e impli ziert effiziente Algorithmen fur aile anderen Probleme. Od er anders ausgedrtickt: Der Nachweis, dass eines dieser Probleme nicht effizient losbar ist , implizier t , dass keines effizient losbar ist. Aus tausenden von Geh eimnissen wurde ein groBes Myst erium, dessen Enttarnung aile Geheimnisse aufdeckt. Damit ist jedes kleine dieser Geheimnisse gena uso zent ral wie je des andere und so wichti g wie das groBe Mysterium, das wir spater als NPfP-P roblem bezeichn en . Irn Gegensat z zu vielen anderen Geb iet en der Info rm atik gilt :

Die Komplexitiit sth eorie hat mit dem NPfP-Problem eine zentrale Herausfo rderung. Der Vort eil eines der artig wichtigen und zent ralen Problems best eht darin , dass auf dem Weg zur Losung des Problems viele wichtige Er gebnisse, Methoden und sogar Forschungsgebiet e ent deckt werden . Der Nacht eil ist , dass es lange bis zur Losung des zent ralen Problems dau ern kann. Dies konnen wir aus der 350 J ahre dau ernden Suche nach einem Beweis der fermatschen Vermutung (dazu sei Singh (1998) empfohlen) lernen . Auf dem Weg zur Losung wurden t ief liegende mathem atische T heorien entwickelt, abe r auch etl iche Irrwege beschri tten. Nur wegen der Bertihmtheit von Ferm at s letztem Sat z wurden so viele Kr afte a uf die Losung des Problems gebtindelt. Das NPfPProblem hat in der Informatik eine ahnliche Rolle eingenommen - mit einem bed au ernswerten Unterschied . Die fermatsche Vermutung (zur Erinnerung:

1.1 Was ist Kornpl exit atsth eorie?

5

es gib t kein e nat urli chen Zahlen x, y, z und n 2: 3 mit x" + yn = zn ) ist fur einen GroBt eil der Bevolkerung ver st andlich. Es ist faszinier end, dass eine so einfac h zu formuli erend e Behauptung die Welt der Mathematik fur Jahrhunderte beschafti gt hat . Fur die Rolle der Informatik war e es schon, wenn es ebenso einfach ware, die Komplexitat sklassen P und insb esondere NP und die Bedeutung des NPfP-P roblems einem groBen Teil der Bevolkerung erklaren zu konnen . Es wird sich zeigen, dass im Umfeld des NPf P-P roblems wichtige und schone Er gebnisse erzielt worden sind. Ab er wir miissen a uch befur cht en , dass noch viel Zeit vergeht , bis das NPf P-P roblem gelost wird. Dah er ist es nicht unb edingt die best e Strat egie, die Losung des Problems direkt anzusteuern . Yao (2001) hat unsere Ausgan gsposit ion mit der Situation derjenigen verglichen, die vor 200 J ahren davon t raumten, au f den Mond zu gelangen. Die Strat egie, auf den nachst en Baum ode r hochst en Berg zu steigen, bringt uns zwar dem Mond nah er, aber nicht dem Ziel, auf den Mond zu gelangen. Die besser e Strat egie war es, imm er bessere Fortbewegungsmitt el (Fahrrad , Auto , Flugzeug, Raket e) zu entwickeln. Jeder dieser Zwischenschritte stellte im Wort sinn eine weltbewegende Entdeckung dar . F ur die Komplexitatstheorie am Beginn des dr itten J ah rt aus ends heiBt dies ebe nfalls, geeignete (Um)wege zu find en , wobe i wir nie sicher sein konnen , dass sie zum Ziel ftihr en . So wie diejenigen , die an der ferm at schen Vermutung arbe iteten, "sicher" war en , dass die Vermutung korrekt ist , so glaube n heu t e die Expe rt innen und Experten , dass NP f P ist und damit aile der ob en betracht et en im Wesent lichen gleich schwierigen Probleme nicht effizient losbar sind . War um ist dies so? Aus der gegenteiligen Annahme NP = P wurden Folgerungen abgeleitet , die im Widerspruch zu all unseren Uberzeugungen stehen, die aber nicht beweisb ar falsch sind. St rassen (1986) ist deshalb so weit gegangen, den St atus der NP fP- Vermutung tiber den Stat us einer mathem ati schen Vermutung zu stellen und sie mit physikalischen Geset zen (wie E = m c 2 ) zu vergleichen . Dies lasst ubrigens auch die Moglichkeit offen , dass die Hypo these NP f P wahr, abe r im Ra hmen un serer Beweist echniken nicht beweisbar ist . Wir sind an dieser St elle allerdings weit davon entfe rnt , diese n Hint ergrund erns t haft zu diskutieren. Unsere Schlu ssfolgerung ist, dass es sinnvoll ist , eine Theorie unt er der Hyp othese NP f P aufzubauen. Viele Erge bnisse der K omplexitiitsth eori e setzen solide begriindet e, aber unbewiesene Hypoth esen wie N P f P voraus.

Und was ist , wenn doch NP = P ist ? J a, dann miissen wir viele unserer Vorst ellungen grund legend revidieren. Viele der hier disku tiert en Er gebni sse erha lten dann eine neue Int erpret ation , aber die meisten werden nicht wertl os. Insgesamt bildet die Komplexit atstheorie eine int ellektuelle Her au sforderung, die sich von den Anforderungen anderer Gebi et e der Informatik unt erscheidet. Sie ordnet sich in der Wi ssenschaft sland schaft in die Reihe der

6

1. Einleitun g

Disziplinen ein, in denen die

Grenzen des mit den vorhandenen Ressourcen Machbaren ausgelotet werd en . Hier sind es Ressourcen wie Rechenzeit und Sp eicherplatz. Wer also an den Grenzen dessen , was mit Rechnern praktisch machbar ist , int eres siert ist , fur den gibt die Komplexit iitstheorie wichtige Antwort en . Ab er a uch wer nur pragmatisch wissen will, ob ein sie od er ihn int eressierendes Problem effizient losb ar ist , ist bei der Komplexitatstheorie an der richtigen Adresse.

1.2 ZUlli didaktischen Hintergrund Das Haupt ziel dieses Leh rbuches ist es, moglichst vielen einen komfortabl en Zugang zur modernen Komplexitatstheorie zu errnoglichen. Dazu wurden einige Entscheidungen get roffen, so dass sich dieses Lehrbuch von anderen unterscheidet. Da die Komplexitiit stheorie eine a usgefeilte und weit verzweigt e Theorie ist , war es un au sweichlich, eine Themen aus wahl vorzun ehmen . Es wurde darauf Wert gelegt, Er gebnisse a uszuwa hlen, die einen konkret en Bezug zu algorit hmischen P roblemen hab en . Am Ende soll die Bedeutung der Komplexitiitstheorie fur eine moderne Informat ik deutli ch geworden sein . Dies geht auf Kosten der st ru kt ure llen und der abst rakten Zweige der Komplexitatstheori e. In Kap it el 1.3 werden die behandelt en Themen nah er erliiute rt . Wir hab en die Schwierigkeit en im Umgan g mit negativen Resultat en bereits ebe nso diskutiert wie die Bezuge zum Gebiet Entwurf von Algori thmen . Mit einer konsequ ent algorithmisch gepriigte n Sichtweise wollen wir, wo immer es moglich und sinnvoll ist, Ergebnisse von der positiven Seit e darste llen und erst dann Kon sequenzen filr Negativres ultate ableite n. Dazu werden wir viele oft nur qu alit ativ dar gest ellt e Resultat e qu antifizieren . SchlieBlich ist es der Begriff des Nicht determinismus , der eine groBe Hilrde dar st ellt, urn in die Komplexit iit stheorie einzusteigen. Zuniichst wird meist ens von nicht det erministischen Rechnern gesprochen, die den richtigen Rechenweg " raten" , urn dann zu ergiinze n, dass derartige Rechner nicht konstruierbar sind . St attdessen wahlen wir den Weg, Randomisierung als Schlusselkonzept zu pr asenti eren . Randomisierte Algorithmen konnen a uf normalen Rechnern realisiert werden und die moderne Algorithmenentwicklung hat den Vorteil randomisierter Algorithmen deutli ch nachgewiesen (siehe Motwani und Raghavan (1995)) . Nicht determinismus erweist sich als Sp ezialfall von Randomi sierung un d damit als algorit hmisch realisierbar es Kon zept, wenn auch eines mit inakzeptabler Fehlerwahrscheinlichkeit (siehe dazu auch Wegener (2002)) . Hieraus lassen sich die ubli chen Cha ra kte risieru ngen des Nicht dete rminismus spa te r leicht ableite n.

1.3 Uberblick

7

Natiirlich werden wir die Ergebnisse vollst andig und formal beweisen, aber oft sind es hassliche Details , die die Beweise lang und unanschaulich ma chen . Dagegen sind die wesentlichen Ideen meistens kurz zu beschreib en und anschaulicher. Wir werd en dah er neb en den Beweisen a uch die Id een , Methoden und Konz epte diskutieren und haben die Hoffnung, dass das Zusammenspiel aller Komponent en den Einstieg in die Komplexitatstheorie erleichtert.

1. 3 Uberblick In Kapitel 1.1 hab en wir es uns sehr leicht gemacht, indem wir einfach davon ausgegan gen sind , dass ein Problem algorithmisch schwierig od er effizient losbar ist . Alle nicht form al definierten Begriffe miissen eind eutig spezifiziert werden. Dies beginnt schon mit dem Begriff eines algorithmischen Problems . Hangt die Schwierigkeit eines Problems nicht auch davon ab , wie man es formuliert und wie man die benotigten Daten bereitstelIt ? Daher klar en wir in Kapitel 2 wesentliche Begriffe wie algorit hmisches Problem, Rechn er , Rechenzeit und algorithmische Komplexitat. Damit wir tiber Beispielprobleme reden konnen, werden wichtige algorithmische Probleme mit ihr en Problemvarianten vorgestellt und motiviert. Urn den Lesefluss nicht zu storen, wird eine ausftihrliche Einflihrung in die O-Notation in einen Anhang verl agert. In Kapitel 3 st ellen wir das Schliisselkonz ept Randomisierung vor. Wir diskuti eren, warum randomisierte Algorithmen eine in den Anwendungen auferst niitzliche Verallgemeinerung det erministischer Algorithmen darstellen - solange die Wahrscheinlichkeit unerwiinscht er Ereignisse (zu lange Rechenzeit, falsches Ergebnis) verschwindend klein ist . Die hierfur benotigt en Ergebnisse aus der Wahrscheinlichkeitstheorie werd en in einem Anhang vorgestellt , bewiesen und erklart. Am Ende erh alten wir Klassen von Problemen , die wir als effizient losbar bezeichnen . Die An zahl pr aktisch relevanter algorit hmischer Probleme geht in die Tausende und wir miisst en verzweifeln , wenn wir die Probleme un abhangig voneinander behandeln miissten. Neben algorithmischen Techniken wie der dynamis chen Programmierung, die a uf viele Probleme anwendbar sind , gibt es viel engere Beziehungen zwischen verschiedenen Problemen. Dies erstaunt nicht, wenn wir verschiedene Var ianten eines Problems betracht en , abe r selbst Probleme, die sehr verschieden aussehen, konnen in folgendem Sinn e eng verwandt sein. Das Problem A lasst sich mit Hilfe eines Algorithmus fur Problem B losen, wob ei der Algori thmus fur Problem B nicht sehr oft a ufger ufen wird und der zusat zliche Aufwand ert rag lich ist . Dies impli ziert, dass A recht effizient losba r ist , wenn B effizient losbar ist. Anders ausgedriickt: B kann nicht effizient Iosbar sein, wenn A algorit hmisch schwierig ist . Damit haben wir ein algorithmisches Kon zept, spater Reduktion gen annt , benutzt , urn die algorit hmische Schwierigkeit eines Problems aus der Schwierigkeit eines anderen Problems ab zuleiten. In Kapitel 4 wird dieser Ansatz formalisiert und an vers chiedenen Beispielen eingeiibt. Von besonderem Interesse sind Klassen

8

1. Einleit ung

von Problem en , von den en in der obigen Beschreibung jedes die Roll e von A und jed es die Roll e von B ub ernehmen kann. Dann sind ent wede r all diese Problem e effizient losb ar oder keines von ihn en . Die in Kapit el 5 vor gestellt e NP -Vollstandig keitst he orie fuhrt zu der bereit s in Kap it el 1:1 d iskut ierten Kl asse von Problemen , zu der t ausende von prak tisch relevanten Problem en gehoren und di e alle effizient lasbar sind oder alle nich t effizient lasbar sind. Die erste Moglichkeit ist aquivalent zu der Eigenschaft NP = P und die zweite zu NP =I P . Damit wird deutlich , warum das NP=lP-Problem die angeklind igte zentrale Roll e spielt . E inige der in Kapit el 4 ber eits vorgestellt en Reduktion en bekommen jetzt ihre wah re Bede ut ung, da sie implizier en , dass di e betrachteten Problem e zu der genannten Kl asse von P roblem en gehoren . In Kapitel 6 wird der E nt wurf der artiger Reduktionen systematischer beh andel t . K ap it el 7 und 8 wid men sich der Komplexit at sanalyse schwieriger Probleme. Es wird untersucht , wie man in de r Men ge de r Problemvari anten die Grenz e zwischen effizient losb aren und schwierigen Problemvariant en find en kann. Fur den wichti gen Sp ezialfall der Approximationsprobleme hab en wir K apitel 8 reserviert . Bei Optimierungsproblemen lasst sich di e Forderung der Ber echnung einer optimalen Losung d ahin gehend abschwache n, dass wir mi t fast op timalen Losungen zufriede n sind, wob ei wir " fast " qu antifizieren mii ssen. Ftir einige wenige Probleme erhalten wir aus den fruher en K apiteln relativ leicht auch E rge bnisse fur Approximati on sproblem e. Um weiter e Ergebnisse tib er Reduktionen zu erhalten, mu ss ein erweiterter Begriff app roximations erhalt ender Reduktionen einge flihrt werden . Auf diese Weise lassen sich schon recht viele Approximationsproblem e beh andeln - allerdings ent ziehe n sich auc h wichtige , als schwierig vermutete Approximationsp roblem e all di esen Methoden . Die klassische Ko mplexit atstheorie ist an dieser St elle an ein lan ge Zeit un tib erwindliches Hindernis gest oBen . Die neu eren E ntwicklungen werden in Kapitel 11 und 12 d argest ellt . Die Komplexitat stheorie mu ss auf alle E nt wicklunge n bei m Entwurf effizienter Algorithmen reagier en , so auch auf den ver mehrten Einsat z nicht problemsp ezifischer randomisier t er Su chheuristiken wie Simulated Annealing und evolut ionare r Algor it h men. Wenn Algori thmen nicht probl em sp ezifisch arbei ten, ist unser anso nsten ange messenes problem sp ezifisches Szen ario nicht mehr ange mes sen . Das zuge ho rige Black-Box-Szen ario wird in Kapit el g einge flihrt . In diesem Szen ario haben wir die Moglichkeit, die Schwieri gkeit von Problemen direkt, also ohne eine komplexit at stheor eti sche Hyp othese nachzuweisen . Erst nach gewa ltigen An strengungen sehr vieler Wissenschaftl erinnen und Wissen schaftler ist es Anfang der gOer J ahre des vorigen J ahrhunderts gelungen, das ob en diskutierte H indernis bei der Beh andlung von Approximation sproblemen mit dem so genan nten PCP-Theorem (probabilisticall y chec kable proofs) zu ub erwinden, Ab er selbst mehr als 10 J ah re nach der Ent deckung d ieses gru nd legende n T heorems sin d no ch nicht alle Konsequen zen daraus ge-

1.3 Uberblick

9

zogen worden und wird das Result at no ch verscharft . Auf der anderen Seite gibt es no ch kein en Beweis selbst der Basisvariante des PCP-Theorems , der sich in eine m Lehrbuch darstellen lasst (ein e Beh andlung in einer Sp ezialv orlesung hat 12 Doppelstunden in Anspruch genommen ). Hier werd en der Weg zum PCP-Theorem und die auf diesem Weg erzielten zent ra len Ergebnisse beschrieb en . Zun achst wird in Kapitel 10 ein kurzer Blick in die strukturelle Komplexitatstheorie geworfen. Dabei untersu chen wir die innere Struktur der Komplexitatskl asse NP und entwickeln ein e logiko rientierte Sicht auf NP. Daraus lassen sich E rweit erungen von NP ableiten, die d ie polynomielle Hierarchie bilden . Wir konnen dann die St ellun g der Komplexitat sklassen , die auf randomisierten Algo rithmen be ruhe n, besser einordne n und er halten neue Hypothesen, die gut, a ber nicht so gut fundier t sind wie die NP;;t:P -Hypot hese . Sp ater (K ap it el 11 und 14) werden wir Aussagen tib er prak tisch wichti ge Problem e au f diese Hypothesen stii tz en . Beweise hab en die E igenschaft , viel einfache r verifi zierbar als konstruierbar zu sein . So lasst sich ein ga nzes Leh rbuch in ange messene r Zeit versteh en , wob ei fur die Entdeckung der Erge bnisse viele Person en viele J ah re gea rbeit et haben . Beweise werden nicht form al und logisch korrekt pr asenti ert (nur abgestii tzt auf Axiome und weni ge erlaubte Schlussfolgerungen) , sondern der Autor ver sucht die Leserinnen und Leser mit Argumenten zu tibe rze uge n. Eine interaktive Kommunikation (der eine Vorlesung wesentlich nah er kommen kann als ein Lehrbuch oder e-lea m ing ) wurde diese Ub er zeu gungsarbeit erle ichtern . Schon Sokrates hat mit seinen Schtilern Beweise durch Dialoge gefuhrt . K apitel 11 ent halt eine EinfUh rung in int er aktive Beweissyst em e. Was hat dies mit der Komplexitat von Problem en zu tun? Wir messen die Kornplex itat daran, wie viel Kommunikat ion (gem essen in Bits und Kommunikationsrunden , in denen die Rolle zwischen Zuh6 rer und Rednerin wechselt ) und R andomisierung ausreichen , so dass je mand, der unbeschr ankt e Ressourcen hat und den Beweis einer Ei gen schaft (wie zum Beispi el eine billige Tour im Travelin g Salesp erson P roblem ) kennt, jemanden mit realisti sch beschr ankten Ressourcen von der Eigenschaft tib er zeugen kann. Dieses zu nac hst ori gin ell, abe r nu tzlos klin gende Spiel hat enge Beztige zu der von uns unter sucht en Kornplexit at von Problem en . Es gibt sogar Beweisdi aloge, bei den en d ie zweite Person von der betracht eten Eigensch aft ilber zeu gt werden kann, ohne irgendetwas Neues tiber den Beweis zu erfahren (ZeroKnowledge-Beweis) . Eine Anwendung liegt dann nah e. Der Beweis kann als Kennwort (p assword) benu tz t werden. Das Kennwort lasst sich effizient tiberprufen, ohne dass es sein en geheime n Charakter verliert . Nach d iesen Vorb ereitungen wird in Kapitel1 2 das P CP-Theor em erla utert und es werden zent rale Beweisid een diskutiert. In sbesondere wird das P CP-Theor em benutzt , urn bessere Ergebnisse tib er die Komplexitat zentraler Approximationsproblem e a bzuleiten.

10

1. Einleitung

Kapitel 13 bietet einen Einblick in weitere Themen der klassischen Komplexitatstheorie: speicherplatzbasierte Komplexitiitsklassen, die komplexitatstheoretische Klassifikation kontextsensitiver Sprachen, die Satze von Savitch sowie Immerman und Szelepcsenyi, PSPACE-Vollstiindigkeit, P-Vollstiindigkeit, also Probleme, die effizient losbar, aber inharent sequenziell sind, und #P-Vollstiindigkeit , bei der es urn die Komplexitat von Problemen geht , bei denen wir an der Anzahl der Losungen interessiert sind. Kaoitel l d behandelt den komplexitiitstheoretischen Unterschied zwischen Software und Hardware. Ein Algorithmus (Software) arbeitet auf Eingaben beliebiger Lange, wiihrend ein Schaltkreis (Hardware) nur Eingaben einer bestimmten Lange verarbeiten kann. Insbesondere gibt es fur jede boolesche Funktion mit der disjunktiven Normalform (DNF) eine Schaltkreislosung, wahrend es nicht losbare algorithmische Probleme gibt (Halteproblem, Softwareverifikation) . Hier stellt sich die Frage, ob es fiir algorithmisch schwierige Probleme kleine Schaltkreise geben kann. Kapitel 15 enthalt eine EinfUhrung in das Gebiet der Kommunikationskomplexitat. Friiher wurde Informatik als Wissenschaft der Informationsverarbeitung definiert, aber heute ist die zentrale Rolle der Kommunikation unbestritten. Mit der Theorie der Kommunikationskomplexitiit ist es gelungen, viele sehr verschiedene Probleme auf ihren gemeinsamen Kommunikationskern zu reduzieren. Wir werd en die grundlegenden Methoden dieser Theorie vorstellen und exemplarisch anwenden. Boolesche (oder allgemeiner) endliche Funktionen spielen in der Informatik offensichtlich eine zentrale Rolle. Zu ihrer Berechnung oder Darstellung gibt es wichtige Modelle (Schaltkreise, Formeln, Branchingprogramme (auch binary decision diagrams oder kurz BDDs genannt)) . Ihr Vort eil ist , dass sie von kurzfristigen Technologieiinderungen unabhiingig sind und wir daher klar spezifizierte Referenzmodelle haben . Dies macht konkrete Schr anken fur die Komplexitiit bestimmter Funktionen interessant. Auch hier sind untere Schranken nur schwer zu erzielen. In Kapitel 16 werden zent rale Beweismethoden vorgestellt und zusa mmen mit den Methoden aus der Kommunikationskomplexitat auf konkrete Funktionen angew endet .

1.4 Weiterflihrende Literatur Da wir uns in diesem Lehrbuch auf eine Einfiihrung in die Komplexitatstheorie beschriinken und dabei insbesondere die strukturelle Komplexitatstheorie nur knapp behandeln, soll hier auf eine Auswahl ergiinzender Lehrbiicher hingewiesen werden. Am Beginn sollen zwei klassische Monographien genannt werden, die groBen Einfluss gehabt haben. Dazu gehort die Einfuhrung in alle Bereiche der t heoret ischen Informatik von Hopcroft und Ullman (1979) mit dem beriihmt gewordenen Titelbild (eine akt ualisierte Fassung stellt das Buch von Hopcroft, Motwani und Ullman (2001) dar) . Das Bu ch von Garey und Johnson (1979) war lange Zeit das NP-Vollstiindigkeitsbuch und es ist

1.4 Weiterftihrende Literatur

11

heute noch wegen der groBen Zahl beh andelt er P roblem e ein sehr gut geeignetes Nachschlagewerk. Das von van Leeuwen (1990) her ausgegeb ene Handbuch biet et vor allem auch eine gute Einordnung der Komplexitatstheorie in die theoretische Inform atik und beh andelt ebe nso wie P ap adimitriou (1994) , Reischuk (1999) und Sipser (1997) viele Aspekte der Komplexitat stheorie. Wer Lehrbiicher mit einem Schwerpunkt in der st ru kt urellen Kornplexitatstheorie und den zugehorigen Spezialgebiet en sucht , sei auf Balcazar , Diaz und Gab arro (1988), Hem aspaandra und Ogihara (2002) , Hom er (2001) , Wagner (1994) , Wagn er und Wechsung (1986) und Wechsung (2000) verwiesen . Weite rgehende Inform ationen zum P CP-Theorem finden sich in der von Mayr, Prornel und Steger (1998) herau sgegeb enen Aufsat zsammlung. Auf die Behandlung von Approxim ationsproblemen ist das Bu ch von Au siello, Cr escenzi, Gambosi, Kann , Marchet t i-Spaccamela und P rotasi (1999) spez ialisiert . Hrornkovic (1997) und Reischuk (1999) beh andeln die Aspekt e von Par allelrechn ern und Multiprozessorsystemen besonders ausfuhr lich. Die Komplexitat boolescher Funktionen beziiglich Schaltkreisen und Formeln wird von Wegener (1987) und Clote un d Kr an akis (2002) und beziiglich Bran chingpro gram men und BDDs von Wegener (2000) dar gestellt . Die St andardwerke zur Komrnunikationskomplexitat sind Hromkovic (1997) und Ku shilevitz und Nisan (1997).

2. Algorithmische Probleme und ihre Komplex it at

2.1 Was sind algorithmische Probleme? Es ist sicherlich unmoglich, den Begriff "P roblem" abzugrenze n oder ga r zu form alisieren. Unte r einem "algorit hmischen Problem " wollen wir ein Problem verst ehen , das fur eine Bearbeitung mit Rechn ern geeignet ist und fur das die Menge korrekter E rgebnisse wohldefiniert ist. Das Problem , ein gerecht es Urt eil fur einen Angeklagt en zu finden , ist schon desh alb nicht algorithmisch, weil es aus recht sphilosophi schen Grtinden nicht fur die Bearbeitung mit einem Rechner geeignet ist. Dagegen ist das Problem , einen deutschen Text in eine ande re Spr ache zu tiberset zen, fur eine Bearbeitung mit Rechnern geeignet , allerdings ist nicht klar a bgegrenzt, welche E rgebnisse korr ekt sind . Im Sinne der Komplexitiitstheorie ist also auch das Ubersetzungsproblem kein algorit hmisches Problem. Ein Must erbeispiel eines algorithmischen Problems ist die Berechnung eines ktir zest en Weges von s nach tin einem Gr aphen , in dem s und t zu den Knot en gehore n und die Kanten mit positiven Kost en (Distanzen oder Reisezeit en) bewertet sind . Ein algorithmisches Problem ist definiert dur ch - die Beschr eibung der Menge zulassiger Ein gab en , die sich als endliche Folgen tiber einem endlichen Alphab et (dem Zeichensat z un seres Rechn ers) dar st ellen lassen, und - die Beschreibung der Funktion, die jeder zulassigen Ein gabe die nicht leere Menge korr ekter Ausgab en (Antwort en , Ergebnisse) zuweist, wobei Ausga ben ebenfalls endliche Folgen tiber einem endlichen Alphab et sind . Mit der Einschra nkung auf endliche Folgen und endliche Alphabet e hab en wir un s den Moglichkeit en digitaler Rechner angepass t . Bei jeder Behandlung beliebiger reeller Zahl en mtissen diese auf die eine od er andere Weise approximiert werden . Algorithmische Probleme hab en oft, wie das Kiirzest er-WegP robl em , eine kurze informale Beschr eibung, die abe r das Ein gab eformat nicht festl egt . So konnen Gr aphen durch Adj azenzmatrizen od er Adj azenzlist en und Dist an zwerte in Dezirnal- od er Bin ardar st ellung dar gest ellt werd en . Der Entwurf guter Algorithmen kann stark vom Eingabeformat a bha ngen. Dies gilt insbesond ere, wenn wir die Rechenzeit sehr genau messen wollen . Es lasst sich aber festst ellen , dass oft alle "vern tinft igen" Einga beformate "eines" Problems zu algorit hmisch ahnlichen Problemen fuhr en (so Iasst sich I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

14

2. Algorithmische Probleme und ihre Kornplexitat

die Adj azenzmatrix eines Graphen recht effizient aus den Adj azenzli st en berechn en und umgekehrt) . Wir werd en dah er die Einga beformate stets nur so exakt wie notig beschr eiben . Insb esondere wer den wir angebe n, von welchen Par ametern wir die Rechenzeit abha ngig machen (An zahl der Knot en eines Graphen beim Eingab eformat Adjazenzmatrix oder Anzahl der Kno ten und Anzahl der Kanten beim Ein gab eform at Adj azenzlist en) . Kiinstliche Verl an gerungen der Eingab en wie die Verwendung der Una rda rstellung von Zahl en (n wird als Folge von n Einsen dargest ellt) werd en ausgeschlossen, solange nicht explizit etwas Gegenteiliges gesagt wird . Genau genommen muss fur je de Ein gab e ub erpruft werden , ob sie zulassig (synt akt isch korr ekt) ist. Da dies bei allen betracht et en Problemen effizient moglich ist , disku ti eren wir auch diesen Asp ekt nicht weit er . Wir werden versuchen , uns auf den Problemkern zu konzentrieren. Disku ssionswiirdig ist , dass nur zwischen korr ekten und nicht korrekten Ausgab en unt erschieden wird. Damit sind aIle korr ekten Ausgab en "g leich gut " . Dies spiegelt unser Ziel wider, die benotigt en Ressourcen , insbesondere die benoti gt e Rechenzeit , in den Mittelpunkt unserer Betrac ht ungen zu stellen. Natiirlich konnen zulassige Ausgab en (Wege von s nach t) eine un t erschiedliche Qu alitat (Lan ge) hab en . Dann ist es nah e liegend, nur zulass ige Au sgab en mit optimaler Qu alitat (kiir zest e Wege) als korr ekt zu bezeichnen . Bei schwierigen Problemen kon nen wir alle Ausgab en , deren Qualit at nur urn einen bestimmt en Prozentsat z vom Op timum abweicht, als korrekt bezeichnen (App roximationsprobleme) . Obwohl algorit hmische P robl eme meh rere korr ekt e Antwort en hab en konnen , gebe n wir uns ste ts mit der Ausgab e einer korr ekt en Antwort zufrieden. Wenn es zu viele korr ekte Antworten gibt, kan n die Aufli stung aller korr ekten Antworten zu aufwandig sein. So lassen sich St adtteile wie Manhat t an als Zahlengit ter {O, ... ,n} x {O, . . . , m } beschreiben , wob ei (i , j ) Kreuzungspunkte sind und die StraJ3en hori zont al und vertikal verlaufen . Wenn n ::; mist, gibt es mind est ens 2 n kiir zest e Wege von (0, 0) nach (n , m) und ihr e Aufli stung ist schon fur kleines n zu aufwandig. In den meist en Anwendungen sind wir mit der Beschr eibung eines kiirz est en Weges gut bedient. Wir konnen das P roblem abe r auch so aba ndern, dass wir nur die Beschreibung aller kiirzesten Wege als korrekte Ausgab e ansehen oder dass wir die Beschreibung von min {a, b} (a die Anz ahl kiir zest er Wege, b eine vorgegebene Schranke) verschiedenen kiir zest en Wegen als Ausgab e verlan gen. In jedem Fall suchen wir a us form aler Sicht nach einer von eventuell vielen korrekten Antworten und sp rechen dah er von einem Su chproblem (sear ch problem) . Falls wie bei der Berechnung eines kiirzest en Weges eine Losung mit grofster Qu alit at gesucht wird , bezeichnen wir das Problem als Optimierungsproblem (optimization pro blem). Oft geniigt es, den Wert einer optimalen Losung (z. B. die Lan ge eines kiir zest en Weges) zu berechnen. Diese Vari ant e wird Wertp roblem od er Auswertung sproblem (evaluatio n probl em ) genannt. Auswertungsprobleme sind eindeutig losb ar . Der Sonderfall, dass nur die Antwort en

°

2.2 Einige wichtige a lgorithmische Problem e

15

("n ein ") od er 1 ("j a") in Fr age kommen und wir entschei den mu ssen , welche der beiden Antwortrnoglichkeiten korrekt ist , wird als Entscheidungsproblem (decision problem) bezeichn et . Entscheidungsproblem e ergeben sich auf ga nz nat urli che Weise: Hat Weif3 bei ein er gege benen Situation beim Schach eine Gewinnstrategie? Ist die gege bene Zahl eine Primzahl ? Sind vorgegeb ene Bedin gungen erfiillbar? Der wichtige Spezialfall der syntakt ischen Korrektheit eines Progr amms bezuglich einer Progr ammiersp rache (das Wor t problem ) hat zu der alternativen Bezeichnung (formale) Sprache ((form al) langu age) fur Ent scheidungsprobleme gefuhrt. Optimierungsproblem e hab en auf nahe liegende Weise Var ianten , die Ent scheidungsprobleme sind: Ist die Lan ge eines kiir zest en Weges von s nach t durch I beschrankt?

Algorithmische Problem e (oder Suchproblem e) decken also alle Problem e ab, die wir mit R echn ern bearbeit en kotin en und bei den en eindeutig zwischen korrekt en und nicht korrekt en A usgaben untersc hieden werden kann. Dazu qehoren Optimierungsproblem e und eindeutig losbare Problem e wie A uswertung sproblem e und Entscheidungsproblem e. Verschiedene Eingabeformate [iir dieselbe Problemstellung fiihren zu verschiedenen algorithmischen Problem en, aber typ is cherweise sind sich diese P roblem e algorithmisch sehr iihnlich.

2.2 Einige wichtige algorithmische Probleme Urn genugend Beispiele zur Verfu gung zu hab en , wollen wir nun zehn wicht ige Problemfamilien vorst ellen :

- Rundreisep robleme (P roblem des Handlungsreisend en ), - Ru cksackprobl em e (b est e Au swahl von Objek ten) , - Aufteilungsprobleme (Verpackungsp robl eme, Stundenplanprobl eme, Last verteilungsprobleme) , - Uberwachungs pro bleme, - Cliquenpro blem e, - Teambildungsp robleme, - Optimierung von Flussen in Net zwerken , - Meist erschaft sp robl eme in Spo rtligen, - Verifikationsprobleme und - za hlentheoretische P robl eme (Test a uf P rimzahl eigen schaft , Fakt orisierung) . In dieser List e sind die am best en bekannt en algorit hmischen Probleme ent halten . Sie hab en eine einfache und anscha uliche Beschr eibung und zum tiberwiegenden Teil grof3e praktische Bedeu tung. Einige Probleme tauchen in ihrer " reinen Form" eher selte n auf, abe r man st ofit au f sie als Kernproblem , wenn man Probleme aus den Anwendungen bearbeiten will. Das Rundreiseproblem (Problem des Handlungsreisenden , fruh er t raveling salesman problem , heute t raveling salespe rson problem, TSP) ist das

16

2. Algorit hmische Probleme und ihre Komplexit at

Problem , eine ktirzest e Rundreise, die n vorgegebene Or t e erreicht und zum St artpunkt zurtick fiihrt, zu berechnen. Die Orte werden mit 1, . . . , n und die Distan zen zwischen zwei Orten mit di,j , 1 ::; i, j ::; n , i f:. i , bezeichn et . Die Dist anzen stammen aus N U {(X)} , wob ei der Wert (X) ande utet, dass es keine dir ekte Verb indung zwischen den betracht et en Or t en gibt . Ein e Rundreise ist eine Permut ation -tt a uf {I , . .. , n} , so dass die Orte in der Reihenfolge n(l) , n (2), . .. , n (n ), n (l ) besu cht werd en. Die Kost en einer Rundreise n bet ragen d1r( l ) ,1r(Z)

+ d1r(Z) ,1r(3) + ...+ d1r(n - l ) ,1r(n ) + d1r(n ) ,1r( l )

und es soli eine Rundreise mit minimalen Kosten berechnet werden . Hier zeigt sich schon die Vielfalt rnoglicher P robl emvari anten. Als TSP (oder TSP opd bezeichnen wir das allgemeine Optimierungsproblem , T SPeval und TSPdec sind die zugehorigen Auswertungs- und E ntscheidungspr obleme . Bei Let zt erem ent halt die Eingab e eine Schranke D und es ist zu entsc heiden, ob es eine Ru ndreise gibt, deren Kost en nicht grofier als D sind . Wir werd en folgend e eingeschrankte TSP-Vari anten betracht en : - T s psym: die Dist an zen sind symmet risch, also es ist di,j = dj,i , - TSpLo. : die Dist anz en er ftillen die Dreiecksungleichung, also es gilt di,j < di,k + dk,j , - TSpd-Euklid: die Orte sin d Punkte im euklidischen Raum IR d und die Distanzen entsprechen dem euklidischen Abstand (L z-Norm) , - TSp N : die Dist an zwert e stammen aus {l , .. . , N }, DHC (gericht et er hamil tonscher Kr eis, direct ed hamil tonian circuit ): die Distanzwert e stammen a us {l , (X)}, das ubli che Ein gab eformat ist dann ein gerichteter Gr aph, der nur die Kanten mit Kosten 1 ent ha lt , - HC = DHcsym: die sy mmetrische Vari ante von DHC , bei der das ubli che Eingabeformat ein un gericht eter Gr aph mit den Kan ten {i, j } ist, deren Kost en 1 betragen. Weit ere Varianten werden in der Monographie von Lawler, Lenstra, Rinnooy Kan und Shm oys (1985) , die sich nur mit dem TSP beschafti gt , vorgeste llt . F tir aile Versionen gibt es eine Op timierungsvariant e, eine Auswertungsvariant e und eine Entscheidungsvari ant e, wob ei wir fur DHC und HC nur die Entscheidungsvari ant e, ob der Gr aph einen hamiltonschen Kr eis ent ha lt, bet rac hte n. Die Eingabe n best ehen aus der Zahl n und den n( n - 1) Dist an zen . Ublich ist es, die Rechenzeit dennoch auf n zu beziehen . Bei den P robl emen DHC und HC ist a uch die Anz ahl m der Kanten relevant. Zu beachten ist , dass sowohl n als a uch m nicht die Lan ge der Eingab e tiber einem endlichen Alphab et messen. Diese han gt von der Grofe der Dist an zen di,j a b, bei einer Bin ardarst ellung nattirlicher Zahl en hat di,j die Lan ge 1I0g(d i,j + 1)1F tir das TSP hab en wir exemplarisch viele, wenn auch lan gst nicht aile Vari anten aufgelist et und wir hab en a uch die relevant en P ar am et er nah er diskutiert (n oder (n, m) od er im Wesentlichen die Bitl an ge der Eingabe ). Bei

2.2 Einige wichtige algorit hrnische P roblerne

17

den weiteren Problemen werden wir nur die wichtigsten Vari ant en vorstellen und die relevant en Par ameter nur nennen , wenn sie sich nicht auf ahnliche Weise wie beim T SP ergeben. Reisende, die die Gewi chtsgrenze von 20 kg im F lugzeug einhalten wollen , haben es mit dem Rucksackproblem (kn aps ack problem , KP) zu tun. Die Gewichtsgren ze G E N ist einzuhalten und es gibt n Obj ekte, die man gerne mitnehmen wiird e. Das i-te Ob jekt hat ein Gewicht von gi E N und einen Nutzen von a; E N. Es ist un zulassig, Objekte mit einem groferen Gesamtgewicht als G auszuwahl en . Anson st en besteht das Ziel darin, den Gesamtnutzen der ausgewa hlte n Obj ekt e zu maximieren . Auch hier gibt es die Vari ant en , bei denen die Gr oBe der Nutzenwert e und/oder Gewicht e beschr ankt ist . Im allgem einen Fall unterscheiden sich die Nut zen-pro-Gewichts einheit -Werte der Objekte. Mit KP * bezeichnen wir den Sp ezialfall ai = gi fiir alle Objekte. Dann besteht das Ziel nur no ch darin , die Gewichts grenz e moglichst gut von unten anzuna hern, Wenn dann no ch G = (gl + ... + gn)/2 ist und wir die Entscheidungsvari ante, ob wir die Gewicht sgrenze voll ausnut zen konnen , betrachten, ist dies aquivalent zur Fr age, ob wir die Menge der Objekte in zwei Gruppen mit demselben Gesam tgewicht eint eilen konnen, Dah er heiBt dieser Spezialfall Partitionsproblem (PARTITION) . Auch dem Ru cksa ckproblem ist eine Mono graphie gewidmet, siehe Mart ello und Tot h (1990) . Das P art itionsprobl em ist auch ein Spezialfall des A ujteilungsproblems (bin packing, BP) , bei dem Kisten der GroBe b bere itst ehen und wir n Objekte der Grofen a l , " " an in moglichst wenige Kist en verpacken wollen . Wir konnen BP aber au ch als sehr spezielles Lastvert eilungsproblem (Stundenplanproblem , scheduling problem) auffassen. Die Klasse der Lastverteilungsprobleme ist nah ezu uniiberschaubar (Lawler , Lenstra, Rinnooy Kan und Shmoys (1993) , P inedo (1995) ). St ets geht es darum, Aufgab en auf Personen oder Maschinen zu ver te ilen, wobei verschiedene Neb enb edingungen zu erfiillen sind . Nicht alle Person en sind fiir alle Aufgab en geeignet, sie konnen event uell zur Bearb eitung einer Aufgab e verschieden lange brau chen, es kann zwischen bestimmten Aufgab en eine vor gegebene Reihenfolge geben, in der sie bearbeit et werden miissen, es kann friihest e Anfan gszeit en und spatest e Beendigungszeit en (deadlines) gebe n un d dazu verschiedene Optimierungskrit erien . Im weit eren Verlauf des Bu ches werden einige spez ielle P robl eme eingefiihrt. Ein Uberwachungsproblem kan n darin best ehen , mit moglichst wenigen Kam er as ein Haus vollstandig zu iiberwachen . Wir beschr anken uns auf Ube rwachungsprobleme auf ungericht eten Graphen. Beim Knoieniiberdeckusiqsproblem (vertex cover, VC) iiberwacht jeder Knot en alle Kanten , die ihn beriihren , und es sollen alle Kanten mit moglichst wenigen Knoten iiberwacht werden. Beim Kantenuberdeckung sproblem (edge cover, EC) sind die Rollen vertauscht. J ede Kante iiberwacht die beiden anliegenden Knoten und es sollen alle Knot en mit moglichst wenigen Kant en iiberwacht werden.

18

2. Algorithmische Probleme und ihre Komplexitat

Gr aphen konnen mit ihr en Knoten Per sonen reprasentieren und mit ihren Kanten freundschaftli che Beziehungen ausdriicken. Eine Clique ist definiert als Gruppe, in der sich alle paarweise mogen . Die folgend en Probleme machen nicht den Eindr uck, wirklich anwendungs bezogen zu sein , sie ergeben sich a be r haufiger als Teilprobleme. Beim Cliqueniiberdeckungsproblem (clique cover, CC) soll die Knotenmenge in moglichst wenige Mengen eingete ilt werden , die alle Cliquen sind . Beim mit CLIQUE bezeichneten Cliquenproblem soll eine moglichst groBe Clique berechnet werden . Ein e Anticliqu e ("kein er mag kein en ", zwischen den Knot en gibt es keine einzige Kante) wird als unabha ngige Menge (ind ependent set ) bezeichnet und das Problem der Berechnung einer groflten Anticlique wird IS (indep endent set problem ) genannt. Teambildung kann bedeut en , Per sonen mit unt erschiedlichen Fahigkeite n in koop erative Teams einzute ilen, wobei die Mit glieder eines Teams harmonieren miissen . Beim k-DM (Bildung von Team s der GroBe k , k-dimens ional matchin g) hab en wir k Personeng ruppen gegebe n, die k verschiedene Fahi gkeit en reprasentieren , und eine List e moglicher Team s mit je einer Person aus j eder Gruppe. Das Ziel besteht in der Bildung moglichst vieler Teams, wob ei jede Person nur einem Team zugeordnet wird. 2-DM wird auch als Heiratsproblem bezeichnet , wobei die beiden "Fahigkeite n" durch die beiden Geschlechter ersetzt werden , rnogliche Team s " potenziell gliickliche" E hepaare sind und die Anz ahl pot enziell gliicklicher , hetero sexueller Ehen maximiert werden soll. Diese Beschreibung des Problems erfasst natiirlich nicht den konkret en Anwendungshintergrund. Die Bezeichnung Flussproblem (network flow, NF) steht fiir die Maximierung von Flussen in Netz werken, ebe nfalls eine groBe Klasse von Problemen , siehe Ahuj a, Magnan ti und a rlin (1993) . Uns interessiert nur das Basisp roblem , in dem in einem gerichte ten Gr aphen der Fluss von s nach t maximiert werden soll. Der Fluss f( e) auf der Kante e muss ganzzahlig, nicht negativ und nach ob en durch die Kap azit at c(e) der Kante beschr ankt sein. Aller Fluss, der einen Kno t en v tj. {s ,t} erre icht, also die Summe aller f( e) mit e = (., v) , muss gleich dem Fluss sein, der v verlasst , also gleich der Summe aller f( e) mit e = (v, ·) (Kirchhoff-Rege l). Der St ar tknot en (source) s wird von keiner Kante erreic ht, wahrend der Zielkn ot en (te rmina l) t von keiner Kante verlassen wird. Unt er diesen Nebenbedingu ngen soli der Flu ss von s nach t , also die Summe aller f( e) mit e = (s , .), maximiert werden . Ma n kann leicht argument ieren, dass diese Mod ellierung zur Maximierung des Verkehrsflusses ungeeignet ist . Wir werden sehen, dass Flussprobleme in ganz ande ren Zusammenh an gen auftauchen. Die bisher betrachteten Probleme hab en die Eigenschaft , dass die Optimieru ngsvaria nte n als die natii rlichen Vari anten erscheinen, wah rend die Auswer tungs- und E ntsc heidungsvarianten eingeschrankte Problem e sind, deren Losungen nur Teilasp ekte abdecken . Das Meisterschafts problem (championship problem , CP) ist vom Gru nde her ein Entscheidu ngsproblem. Ein Fan frag t sich zu einem Zeitpunkt der Saison, ob sein Lieblingsverein wenigstens

2.2 Einige wichtige algorithmische Probleme

19

noch theoretisch Meister werden kann. Es gibt also einen Punktestand fur jeden Verein und die List e noch au sstehender Spiele. Der a usgewahlte Verein kann noch Meister werden , wenn es Spielau sgan ge gibt, so dass am Ende kein anderer Verein mehr Punkte als er hat (notfalls hat der Lieb lingsv erein das beste Torverhaltnis) . Zusatzlich gibt es eine Regel, wie die Punkte in einem Spiel vergeben werd en: - Die a-Aufteilungsregel: In jedem Spiel werd en a Punkte (a E N) vergeben und jede Aufteilung in b Punkt e fur Team 1 und a - b Punkte fur Team 2 mit < b < a, b EN, ist m6glich. - Die (0, a, b)-Aufteilungsregel: Die Aufteilungen b:O (Heimsieg), a:a (Unentschieden) und O:b sind moglich,

°

Tat sachli ch werd en in den verschied enen Sportarten verschiedene Punkteregeln verwendet, die l -Aufteilungsregel in Sportarten ohne Unentschieden (Basketball , Volleyball, Baseball, Football, .. .), die 2-Auft eilungsregel, die aquivalent zur (0,1,2)-Aufteilungsregel ist, als klassische Regel in Sportarten mit Unentschieden (Handball, Hockey, FuBball , abe r in Deutschland nur bis zum Ende der Saison 1994/95) , die 3-Aufteilungsregel im Eishockey (DELRegel mit 3:0 Punkten fur einen Sieg in der regularen Spielzeit und 2:1 Punkt en fur einen Sieg in der Verlangerung oder im Penalty-SchieBen) und die (0,1,3)-Aufteilungsregel im heutigen FuBball. Weit ere Vari anten er gebe n sich , wenn wir ford ern, dass sich die noch a usste henden Spiele in Spielt age einteilen lassen, oder gar, dass sie sich in einen Spielplan nach DFB-Regeln einte ilen lassen (siehe Bernholt, Culich, Hofmeist er , Schmitt und Wegener (2002)) . Dieses auch an St ammtischen diskutierte Problem wird zu ub erraschend en Einsichten ftihren . Mit der Klasse der Verifikationsprobleme (siehe Wegener (2000)) wechseln wir in den Bereich der Hardware . Basis ist die Frage, ob Sp ezifikation S und Realisierung R eines Chips dieselbe boolesche Funktion beschreib en . Wir haben also Beschreibungen S und R boolescher Funktionen fund 9 und fragen uns, ob f(a) = g(a) fur aIle Ein gaben a ist . Da wir die Verifikation bitweise durchflihren, konnen wir f , g : {O, I} " ---. {O, I} annehmen. Die Eigenschaft f -I- gist aqulvalent zur Existenz eines a mit (J EEl g)(a) = 1 (EEl=EXOR). Wir fragen uns , ob h = f EEl 9 erfullbar (satisfiabl e) ist , also den Ausgab ewert 1 liefern kann. Dieses Entscheidungsproblem wird als Erjiillbarkeitsproblesri (sat isfiability problem) bezeichnet. Hier ist das Eingab eformat fur h relevant: - SAT C IR geht von der Ein gab e als Schaltkreis (circuit) aus, - SAT = SAT c F von einer Konjunktion (AND-Verk nlipfung) von Klauseln (OR-Verknlipfung von Lit eralen , das sind Vari ab len und negierte Variablen) , also einer konjunktiven Form (CF) , - SAT DF dagegen von einer Disjunktion (OR-Verknlipfung) von Monomen (AND-Verknlipfung von Lit eralen) , also einer disjunktiven Form (DF) . And ere Dar st ellungsformen werd en spater vorgestellt . Mit k-SAT wird der Spezialfall bezeichnet, in dem aIle Klauseln gena u k Lit er ale ent ha lte n. Fur

20

2. Algorit hmische Probleme und ihre Komplexit at

SAT und k-SAT gibt es die Optimierungsvari anten MAX-SAT und M AX-kSAT, be i denen es das Ziel ist , mit eine r Belegung der Variablen rnoglichst viele Kl auseln gleichze itig zu erfiillen, also moglichst viele Klauseln zu erhalt en , bei den en mindesten s ein Liter al de n Wert 1 hat . Diese Optimierungsvarianten sind durch Verifikationsproblem e nicht mehr motivierbar. Sie werde n aber bei der Beh andlung der Komplexit at von Approxim ationsproblem en die zent rale Rolle iibernehmen . Allgem ein werden wir sehen, dass neu e Teilb ereiche der Komplexitat stheorie historisch stets damit begonnen hab en , geeignet e Erfiillbarkeitsproblem e zu untersu chen. Somi t sind Erfiillbarkeitspr obleme durch ein wichtiges Anwendun gsproblem motiviert und stehe n zusatzlich als " P roblem an sich" im Mitt elpunkt. Die modern e Kryptogr aphie (siehe St inso n (1995)) ist eng mit za hlentheoret ischen Problem en verkniipft, wob ei mit sehr groBen Zahl en gearbeitet wird. Hier ist zu beachten , dass die Eingab e n in der Binardarstellung nur eine Lange von flog(n +1)1 hat . Schon in der Schule hab en wir bei der Addition von Briichen Hauptnenner berechnet und dab ei die Nenne r in ih re P rimfakt oren zerlegt . Dies ist das Problem der Faktorisierung (factoring, FACT) . Oft geniigt ein Prim zahltest (primality t esting, PRIMES) , also die Losung des Ent scheidungsproblems, ob n prim ist . Mit diesem bunten StrauB zent raler und pr akti scher algorit hmische r Problem e konnen wir die meist en kornp lexit at stheoretischen Fr agen d iskutieren.

2.3 Wie wird die Rechenzeit eines Algorithmus gemessen? Ein erster Versuch zur Defini tion der Komplexit at eines algorit hmische n Problems konnte folgendermaBen ausse hen:

Die K omplexitiit eines algorithmischen Problems ist die von einem optimalen Algorithmus benoiiqte Rechenzeit . Nach et was Nac hde nken erweist sich dieser Definiti onsversuch als un au sgereift : - Gibt es immer einen optimalen Algorithmus? - Was ist eigent lich die von einem Algorithmus benotigt e Rechen zeit ? - Ist iib erhaupt klar, was ein Algorithmus ist ? Diesen Fr agen miiss en wir nachgeh en , bevor wir eine Komplexit atstheori e algor it hmischer Problem e entwickeln konnen, Uns gen iigt ein weit gehe nd int uit iver Begriff von einem Algorithmus (algorit hm ) als einde utige Handlungsvorschrift, die in Abhangigkeit von der Eingabe fur das betracht et e algorit hmische Problem die Schritte festlegt , die ausge fiihrt werd en sollen , urn eine korrekte Au sgab e zu erzeugen. Der Algor it hmus heiBt deterministisch (det erminiert, determinist ic), wenn zu jedem Zeitpunkt der nachste Rechen schrit t

2.3 Wi e wird die Rechenzeit eines Algorithmus gemessen?

21

einde ut ig festgelegt ist . In Kapitel 3 werden wir den Algorithmusbegriff a uf randomisierte Algorithmen erweit ern, die den nachst en Rechenschritt von Zufallsbits abha ngig machen konnen. Die gewa hlte Beschreibung des Algorithmusbegriffs erla ubt die Freiheiten, die sich diejenigen , die neue Algorithmen entwickeln und der Offentlichkeit vorstellen , auch her ausnehm en . Die zu beobacht ende Rechenzeit t eines Algorithmus A fur ein algorit hmisches Problem han gt noch mindest ens von folgenden P ar ametern ab: -

der Eingabe x , dem gewahlten Rechner R , der gewa hlt en Programmiersprache S, der Implementierung I des Algorithmus.

Dass die Rechenzeit stark von der konkret en Ein gab e x abha ngt , ist unvermeidlich und sinnvoll. Es ist unmittelb ar klar , dass "gr6Bere Problem e" (etwa 106 Orte beim T SP ) wesentlich mehr Rechen zeit benotigen als "kleinere Probleme" (nur 10 Or t e). Wenn aber die Rechenzeit au ch essenziell von R , S, lund event uell weiter en Par ametern a bha ngt , lassen sich Algor ithmen nicht mehr sinnvoll vergleichen . Wir konnten dann best enfalls Aus sagen tiber die Rechen zeit eines Algorithmus in Bezug auf einen konkret en Rechn er und eine konkret e Programmiersp rache und Implementierung mach en. Der ar tige Aussagen sind aber ziemlich uninteressant. Schon nach sehr kurzer Zeit ist der betracht et e Rechner veraltet und auch Programmiersprachen hab en heutzutage oft nur eine kurz e Blu t ezeit und werden zudem st andig verandert. Zwar hangt die Rechenzeit zweifellos von diesen Paramet ern ab , ab er wir werd en sehen, dass diese Abhangigkeit beschrankt und kontrollierbar ist . Die Komplexit atstheorie und die Algorithmentheorie hab en folgend en Ausweg aus dem beschriebenen Dilemma gewa hlt:

Der B egrijj der Rechenzeit wird so uerqrobert, dass er nur noch vom Algorithmus und der Eingabe abhiingt. Konkret bedeutet dies, dass wir die Rechen zeit eines Algorithmus ang eben konnen , unabhan gig davon , ob ein 50 J ah re alte r Rechner od er ein heutiger Rechn er betracht et wird . Daruber hin aus sollen unsere Betrachtungen auch fur die in 50 J ah ren benutzten Rechner giilt ig sein. Ziel dieses Unterkapitels ist es nachzuweisen , dass es einen a bst rakten Begriff von Rechenz eit gibt, der die gewiinschten Eigenschaften hat. Aufgrund der bisherigen und auch noch zu erwarte nden Fortschritte auf dem Gebiet der Hardwar e werden wir die Rechenzeit " nicht in Zeit einheiten messen , sondern in der Anz ahl der durchgefUhrten Rechenschritte. Wir einigen un s dazu auf eine Menge zulassiger, elementarer Op erationen , darunter die a rit hmetischen Op er ationen , Zuweisungen , Speicherz ugriffe sowie auch die E rkennung des als nach st en auszufuhrenden Befehls . Formal lasst sich als Referenzmodell das Modell der Registermas chine (random access mach ine) definieren (siehe Wegener (1999)) . Wi r begnugen uns dami t fest zuh alten ,

22

2. Algorithmische Probleme und ihre Komplexitat

dass sich jedes Programm in jeder bekannten Programmiersprache fur jeden bekannt en Rechn er (strukturell einfach, ab er praktisch muhselig) in ein Programm fur Regist ermaschinen iibersetzen lasst, wobei der Rechenzeitverlust "gering" ist. Der Begriff "gering" lasst sich soga r qu antifi zieren. Fur die bekannten Programmiersprachen und Rechner gibt es jeweils eine Kon st ante c, so das s sich die Anzahl der Rechenschritte bei der Ubersetz ung in Programme fur Registermaschinen nur urn maximal den Faktor c vergrofert. Was aber gilt fur zukunft ige Rechner ? Sichere Aussagen sind unmoglich, aber man ist ub erzeugt, dass die moglichen Auswirkungen beschrankt sind. Diese Ub erzeugung lasst sich als erweit erte churchsche T hese zusammenfasse n. Die klassische churchsc he Th ese (Church's hypothesis) besagt , dass sich alle Rechnermodelle gegenseit ig simulieren konnen und dah er die Menge der algorit hmisch losbar en Probleme vom Rechnermodell (dies schlieBt Rechner und Programmiersprache ein) un abhan gig ist. Die eruieiterie churchsche Th ese geht einen Schri tt weit er : Fur je zwei R echn ermodelle R 1 und R 2 gibt es ein Polynom p, so dass t R echen schritte auf R 1 durch p(t) R echenschritte auf R 2 sim ulie rt werden konnen .

Es ist allerdings nicht fair , alle arit hmet ischen Op erationen als gleich te ure Rechenschritte zu bewerten. Wi r halten Division en (gerundet auf eine best immte Anzahl von St ellen) fur aufwandiger als Additionen. Zudem han gt der t at sachli ch benotigt e Aufwand von der Lan ge der bet eiligten Zahl en a bo Wenn wir auf die Biteb ene absteigen, braucht jede arit hmetische Op er at ion auf Zahl en der Bitl an ge 1sicher Q( l) Op er ationen. Fur Additionen und Subt raktionen genugen auch O(l) Oper atio nen , wahrend die best en bekannt en Algorithmen fur Multiplikation und Division 8(llog llog log l) Op erationen benotigen . (Die Notat ionen 0 , Q und 8 werden im Anhang A.I definiert .) Dah er ist es fair , wenn auch nicht exakt , arit hmet ischen Op era tionen auf Zahl en der Lan ge 1 die Kost en 1 zuzuweisen. Diese Bet rachtungsweise fuhrt un s a uf das logarithmische Ko st enmajJ (logari thmic cost mod el), das seine Bezeichnung er ha lten hat , weil die Zahl n eine Bitlange von [logj n + 1)1 hat . Dieses faire, a ber unh andliche Kostenmaf lohnt den Aufwand nur , wenn tat sachlich sehr groBe Zahl en betracht et werden. Werd en bei Ein gab elan ge 1 nur Zahl en bis zur Gr oBe s (l ) bet racht et, ub ertreffen die logarithmischen Kost en die Anzahl der Rechenschritte hochst ens urn einen Fakto r von (log s(l )). Selbst fur exponent iell groBe Zahl en ist dieser Faktor linear. Da wir keine Algorit hmen betracht en , die arit hmet ische Op er ationen auf groferen Zahl en du rchfuhren , konnen wir un s auf die Anzahl der Rechenschritte und damit auf das einheitliche Ko st enmajJ (uniform cost model) zuruckziehen . Nach dieser Disku ssion und Abst raktion konnen wir von der Rechenzeit t A(X) des Algor ithmus A auf der Ein gab e x sprechen. Wir akzeptie ren, dass

°

2.3 Wie wird die Rechenzeit eines Algorithmus gemessen?

23

wir dab ei implizit ein Referenzmodell verwend en . Dennoch beziehen sich Rechenzeiten wie 0 (n log n) fur Sorti er algorithmen od er 0 ( (n + m) log n) fur den Algori thmus von Dijkstra auf alle bekannten Rechner und Programmiersprac hen. Die erweiterte churc hsche T hese muss im Licht neuer Rechnertyp en tiberpruft werd en . Es gibt keinen Zweifel, dass sie im Bereich digitaler Rechner korrekt ist . Auch so genannte DNA-Rechner fuh ren " nur" zu kleineren Chips od er zu einem groferen Grad an Parallelismu s. Dies kann in der Praxis einen gewaltigen Fortschritt bedeuten , wirkt sich abe r auf die Anz ahl elementarer Op er ationen nicht aus. Ledi glich so genannte Qu antenrechn er, die Qu ant eneffekte ausnutzen sollen (es gibt zahlreiche Machbarkeitsstudien , abe r noch keinen einsatzfahigen Qu antenrechner) , erlauben einen neuen Typ von Algorit hmen, der sich als unvergleichli ch mit ubl ichen Algorithmen erweisen kann. F ur Qu antenrechner ist die Komplexit at stheorie der Kon struktion der Rechner weit vor au s. Dieser Zweig der Kom plexit atstheorie mus s jedo ch weit erfiihrend en Mono graphien vorbehalten bleiben (siehe Nielsen und Chuang (2000) ). 1m Bereich digit aler Rechner implizieren also (untere od er ob ere) Schranken fur die Rechenzeit von Regist ermaschin en ahnliche Schr anken fur aIle konk reten Rechner . Spater werden wir ein weit eres Referenzmodell beno tigen . Regist ermaschinen hab en den freien Zugriff (random access ) auf ihr en Speicher , bei Eingab e i kann der Inhalt der i-te n Speicherzelle, fruher auch Regist er gena nnt, gelesen werden. Dieser globale Zugriff auf den Speicher wird uns Probleme bereit en . Dah er wird ein sehr eingeschra nktes Rechnermodell als Zwischenmodell eingefUhrt. Bei ihm hab en einzelne Rechenschritte nur lokale Auswirkungen und genau dies wird es sein, was uns die Arb eit erleicht ert. Das Mod ell der Turingmaschine (Turing machine) geht auf den englischen Logiker Alan Turing zurilck. E r legte mit seinen Arbeit en nicht nur die Basis fiir den Bau von Rechnern, sondern leit ete im Zweit en Weltkrieg auch die Gruppe, die die deutsche Geheimchiffre "E nigma" knackt e. Wi e bei allen Rechnermodellen hab en wir es mit einem unbeschr ankten Sp eicher zur Speicheru ng von Dat en zu tun. Die Sp eicherzellen sind linear angeordnet und mit i E Z fortlaufen d nummeriert. Der Rechner hat zusa tz lich einen Sp eicher endlicher GroBe, auf dessen Inhalt er st et s zugreifen kan n (sein "Gedac ht nis" ), und zu jedem Zeitpunkt Zugriff auf eine Speicherzelle des unb eschr ankten Speichers. Die nac hste Aktion kann also nur von der im Gedachtnis und der in der bet racht et en Sp eicherzelle ent ha lte nen Information abha ngen. Die Turin gmaschine kann in einem Schrit t den Inhalt ihr es Ced achtnisses und der betracht et en Speicherzelle verandern und zur linken od er recht en Nachba rzelle wandern. Forma l best eht eine Tu ringmaschine aus den folgend en Kornponent en :

24

2. Algorithmische Probleme und ihre Komplexitat

- der endlichen Zustandsmenge (st ate space) Q, wobei jedes q E Q einen Zustand des Ged achtnisses wid erspiegelt, und somit kann ein C edachtnis, das k Bits speichern soll, durch Q = {O, l}k beschri eb en werden , - dem Anfangszust and (initial st ate) qo E Q, - dem endlichen Eingabealphabet E , - dem endlichen Arbeitsalphabet od er Bandalphab et das mindest ens E und zusatzlich ein Leerzeichen (blank) b ent ha lt , - der A rbeitsvorschrift (dem Programm) 0 : Q x T --7 Q x T x { -I , 0, +1} und - der M enge der Haltezust iinde (stopping states) Q' ~ Q, wobei o(q, a) = (q, a, 0) fur q E Q' und alle a E r ist , wah rend o(q, a) =1= (q, a, 0) fur q E Q - Q' und alle a E r ist .

r,

Die Arbeit sweise einer Th ringmaschine ist die folgende. Zu Beginn steht die Eingabe x = (Xl, "" X n ) E E n in den Speicherzellen 0, . .. , n - 1, alle ande ren Speicherzellen ent ha lte n das Leerz eichen. Das Gedachtnis ist im Zustand qo. Im erste n Schritt wird Speicher zelle 0 betracht et. Wird im Zustand q der Bu chstab e a in Speicherzelle i gelesen und ist o(q,a) = (q',a' , j) , dann wird der Buchstabe a in Sp eicherzelle i durch a' ersetzt, der Ced achtnisinhalt q durch q' ersetz t und als Nachst es Speicherzelle i + j betrachtet. Obwohl die Thringm aschine in Haltezust anden form al weit er arbeit et , wird als Rechenzeit der erste Zeitpunkt definiert, zu dem ein Haltezust and erreicht wird . Bei Suchproblemen findet sich die Ausgab e in den Sp eicherzellen 1, .. . , m, wenn Speicherzelle m + 1 die erste mit positiver Nummer ist , die das Leerzeichen ent halt . Bei Ent scheidungsproblemen konnen wir die Ausgab e in den Haltezustand integrieren. Es ist dann Q' = Q+ l:J Q- . Die Eingab e wird akzeptiert, wenn in einem Zustand q E Q+ angehalte n wird , und abgelehnt, wenn in einem Zust and q E Q- angeha lten wird. Thringmaschinen hab en die Eigensch aft , dass an einem Rechenschritt nur das Gedachtnis, die Lesep osition und die betracht et e Speicherzelle beteiligt sind. Es kann dan ach nur eine benachbarte Speicher zelle aufgesucht werden . Fur einen pr akt ischen Einsat z als Rechner ist dies ein gravierender Nachte il, fur eine An alyse der Auswirkungen eines Rechenschritts aber ein ent scheidender Vort eil. Die von uns eingefiihrte (Standa rd)turi ngmasc hine arbeite t mit einem linear angeordnete n Speicher, auch Band gena nnt. Ein e Erweit erung auf k Bander , wobei zu jedem Zeitpunkt je eine Speicherzelle jedes Bandes gelesen wird und die Bewegun gen auf den Bandern auch in verschiedene Richtungen verl aufen konnen, kann durch Programme 0: Q x r k --7 Q x r k x { - 1, 0, + l} k bes chrieben werden . Erstaunlicherweise konnen Regist ermaschinen mit nur sehr geringem Rechenzeitverlust durch Thringmaschin en mit einer kleinen Anzahl von Bandern simuliert werden (dazu siehe Schonhage, Gro t efeld und Vetter (1994)) . Diese Thringmaschin en konnen dann leicht mit qu adratischem Rechenzeitverlust durch Thringm aschinen mit einem Band simuliert werd en

2.4 Die Komplexitat algorithmische r Probleme

25

(siehe z. B . Wegener (1999)) . Damit gilt:

Fur jeden realen Rechnertyp gibt es ein Polynom p, so dass t Rechenschritt e beziiqlich. des logarithm ischen K ostenmajJes in p(t) Rechenschritten von einer Turingmaschine simuliert werden kotinen: Wenn wir auf der Basis der erweite rte n churc hschen T hese ar beite n, gilt dies au ch fur alle zukiinft igen digitalen Rechn er .

2.4 Die Komplexitat algorithmischer Probleme Mit t A (x) bezeichn en wir die Rechenzeit des Algorithmus A fur Eingab e x im einheit lichen Kost enrn af fiir ein ausgewahltes Referenzmodell (wie eine Regist ermaschine) . Wi r konnen nun versuchen , Algorithmen A und A' fur dasselbe Problem auf folgend e Weise zu vergleichen : A ist mindestens so schnell wie A' , wenn t A(x) ::; t A'(x) fiir alle x ist . Dieser nah e liegend e Definitionsversuch ist aus mehreren Griinden problernatisch: - der exakte Wert von tA( X) und dam it der Vergleich von A und A' han gt vom Refer enzmod ell ab, - nur fur sehr einfache Algorithmen konnen wir hoffen, t A (x) fur alle x berechnen und die Beziehung tA( X) ::; tA'( X) fur alle x ub erprufen zu konnen , - einfache Algori thmen A hab en im Vergleich zu komplizierten , aber gut auf das Problem zugeschnit te nen Algorithmen A' oft die Eigenschaft , dass tA( X) < t A'( x) fur "kleine" Probleme x und tA(X) > t A'(x) fur "g roBe" Probleme x ist . Dem ersten und dr itten Problem begegnen wir mit der Vergroberu ng, dass wir die Rechenzeit en nur beziiglich der Gro fienordnung od er asy mpt ot ischen Wachstumsordnung vergleichen. Urn mit dem zweite n Problem fertig zu werden , betracht en wir nicht die Rechenzeit fur jedes x, sondern fassen Ei ngabe n mit derselben Kenngrofe (Bitl an ge, Anzahl der Knoten in einem Graphen, Anzahl der Orte beim T SP, . ..) zusa mmen. Obwohl ver schiedene Eingaben fur das T SP, die sich auf dieselbe Anzahl von Orten beziehen , eine sehr verschiedene Lan ge (gemessen in Bits ) hab en konnen , spricht man nach Wahl der Kenngrof e stet s von der Ein gabe..Ian ge'' und bezeichn et sie mit [z]. Das am haufigst en benu t zt e RechenzeitmaB ist die maximale Rechenzeit (worst- case runt ime)

Haufig wird t A(n) = SUp{tA(X) Ilx l = n } betracht et. Es ist tA(n) = tA(n) , wenn t A(n) monoton wachsend ist. Dies gilt fur die meist en Algorithmen . Mit der Betrachtung von tA(n) erreichen wir, dass die maximale Rechenzeit

26

2. Algorithmische Probleme und ihre Komplexitat

stets eine monoton wachsende Funktion ist und dies ist spater hilfreich. Jet zt konnen wir beschreib en , wie wir die Algorithmen A und A' fur dasselb e Problem vergleichen. D er Algorithmus A is t asymptotisch m indest ens so schnell wie A' , wenn tA(n) = O(t AI(n)) ist.

Wi r hab en nun die sich als angemessen erweisende Vergroberung vorgenommen . In Extremfallen ist die Vergroberung zu stark. So wilrd en wir in den Anwendungen n log n ftir "prakt isch kleiner" als 106 . n halten . Die rnaxim ale Rechenzeit geht mit Algorithmen wie Quicksor t , die fur die "meiste n" Eingabe n viel schneller als fur die "schlechteste n" E ingabe n arbeiten, sehr kritisch urn. Ein Au sweg besteht in der Bet rachtung der durchschn ittlichen R echenzeit (aver age-case runt ime). Fu r eine Wahrscheinlichkeit svert eilung qn auf den Eingab en der Lan ge n ist

L

t~(n) := x

qn( X)t A(X).

I lxl=n

Der Begriff der durchschnittlichen Rechenzeit ist a us zweierlei Grunden nicht gut geeignet. Der Hauptgrund ist , dass wir fur die meist en P robl eme nicht wissen, welche Vert eilung qn auf den Ein gab en "die Realit at " gut mod elliert. Bevor wir mit einer schlechten Schatzung von qn zu unbrau chbar en Resultate n gelangen, ist es vernunftiger , wenn auch pessimi stischer , die maximale Rechenzeit als MaB zu verwenden. Aus pr agmatischer Sicht ist fest zustellen, dass un s die Bestimmung der asymptot ischen maximalen Rechenzeit fur viel mehr Algorithmen gelingt, als dies fur die durchschni t tli che Rechenzeit der Fall ist . SchlieBlich konnen wir sagen, dass die algorithmische K omplexit iit (algorithmic complexity) eines P roblems f (n ) bet ragt , wenn das Problem durch einen Algorithmus A mit maxim aler Rechenzeit O(J(n)) gelost werden kann und jeder Algorithmus fur das Problem eine maximale Rechenzeit von D(J(n)) hat. In diesem Fall hat A die asy mptotisch minimale Rechenzeit . Wi r sprechen aber nicht von der Definition der algorit hmischen Komplexitat , denn Problem e mus sen nicht eine asympt ot isch minimale Rechen zeit hab en . Es konnte zwei Algorithmen A und A' geben, so dass weder t A(n) = O(tAI(n)) noch t A,(n) = O(t A(n)) gilt (fur derart ige Rechenzeit en siehe Anh an g A.l). Selbst wenn die Rechenzeit en von Algorithmen asy mptot isch vergleichbar sind, muss es keine beste asy mpt ot ische Rechenzeit geb en . Der Algorithmus A e , e > 0, moge eine Rechenzeit von 8 (n 2 +e) hab en . Dann ist A e asyrnptotisch besser als A e" wenn e < c ' ist . Es folgt aber nicht , dass es einen Algorithmus A geben muss, der min dest ens so gut wie aile A e ist . Wenn die Rechen zeit von A e beispielsweise 3 1 / en 2+e + O( n 2 ) betragt , konnen wir einen besseren Algorithmus A nicht aus der Famili e A e durch Kombination gewinnen. Im allgemeinen Fall mussen wir uns mit der Angab e von unt eren

2.4 Die Komplexitat algorithmischer Probleme

27

und oberen Schr anken zufri eden geb en. Irn obigen Fall ist die algorithmische Kornplexit at durch O(n2+c ) fur jedes E: > 0 nach oben beschriinkt. Gleich zeitig kann sie durch Q( n 2 log" n) ftir jedes k EN na ch unten beschrankt sein.

Die algorithmische Komplexitat eines Problems wird durch die asympto tisch e maximale Rechenzeit jedes Algorithmus, der das Problem lost, nach oben beschriinkt. Wenn alle Algorithmen zur Losung eines Problems eine bestimmte asymptotische maximale Rechenzeit erfordern, ergibt dies eine untere Schrank e fur die algorithmische Kompl exitiit des Problems . Fallen obere und untere Schranke asymptotisch zusammen, erhalten wir die algorithmis che Komplexitiit des Problems .

3. Die grundlegenden Kornplex itatskla ssen

3.1 Die Sonderrolle polynomieller Rechenzeiten Im let zt en Kapitel hab en wir die Schwierigkeit en diskutiert, die sich bei der Definition der algorit hmischen Komplexitat von P robl emen ergeben . Im allgemeinen Fall gibt es fur die minimale asy mpt ot ische maxim ale Rechen zeit nur unt ere und obe re Schr anken. Dann liegen die moglichen unteren und ob eren Schr anken abe r so eng beieinander , dass der Unt erschied bei der Frage, ob ein Problem effizient losbar ist , keine Rolle spielt. "Vir wer den dah er in Zukunft bei allen algorit hmischen Problemen von ihr er algorit hmischen Komplexitat sprechen. Wenn diese im ob en genannte n Sinne nicht definiert ist , benutzen wir bei positiven Aussagen tiber die effiziente Losbarkeit des Problems die ob eren Schranken und bei negativen Aussagen die unt eren Schr anken. Ein Problem mit algorit hmischer Komplexit at 8(n 2 ) ist effizienter losbar als ein Problem mit algorithmischer Kornplexitat 8(n 3 ) - allerdings nur bezogen auf das von uns gewahlte Referenzmodell. Wenn wir als Referenzmodell Regist ermaschinen od er die damit eng verknlipften heutigen digit alen Rechner wahl en , ist die obige Aussage zumindest fiir groBe n richt ig. Beim Ubergang zu Turingmaschinen konnte das erste Problem nur noch in 8(n 4 ) Schrit te n losbar sein , wahrend das zweite Problem weiterhin in 8(n 3 ) Schritten losbar ist. Au s der Sicht konkret er Anwendungen ist dies irr elevant , da wir nicht gezwungen sind, ineffizientere Rechner, wie es Turingmaschin en sind , zu verwend en. Anders sieht es bei " besseren" Rechnermodellen au s. Sie konnten bei den beiden betracht et en Problemen zu ver schieden groBen Fort schri t t en ftihren . Wenn wir nur die erweiterte chur chsche These als Basi s nehmen , konn en wir nicht ausschlieBen, dass es Rechner gebe n wird, die fiir das erste Problem eine Rechenzeit von 8(n 2 ) benotigen , a ber das zweit e Problem in Zeit 8( n log n) losen konnen . Fi.ir die gegenwa rt ige Situation (und vermutlich auch fur die Zukunft) ist dagegen der Unte rschied zwischen Rechenzeit en wie 8(n 2 ) und 8(n 3 ) gravierend, wenn diese sich a uf Regist ermaschinen beziehen . Allerdings gehort dieses Argument in das Gebiet des E ntwur fs und der Analyse effiziente r Algori thmen und hat nichts mit der algorit hmischen Kom plexitat des Problems zu t un. Aus der Sicht der Komplexitat stheorie wird nur die erweiterte chur chsche T hese vor au sgeset zt und dann sind fur Pol ynome p(n) die Rechen zeit en t(n) und p(t(n)) nicht unt erscheidbar. Da es sich mit Ausnahme von sehr einfachen Problemen (z. B. Suche in einem sortierte n ArI. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

30

3. Die grundl egenden Kom plexitat sklassen

ray) nicht vermeiden lass t , zumindest einen groBen Teil der Eingabe zu lesen und zu bearbeiten, ist die algorit hmische Komplexitat fur die uns interessierenden F aile mindestens linear. Dann sind polynomielle Rechenzeiten erstens nicht unterscheidbar und zweitens die besten erreichbaren Rechenzeiten . Als Ergebnis dieser Diskussion halten wir fest :

B eim praktischen Einsatz von Algorithmen st eht die Minimierung der (maximalen) Rechenz eit im Vordergrund und Verbesserungen um polynomielle oder auch nur logarithmische oder gar konstante Faktoren kiinnen. grofJe Auswirkungen haben. Bei der Untersuchung der algorithmischen Komplexiuit von Problemen sind durch Polynome verkniipfte R echenz eiten ununterscheidbar und die in polynomieller Zeit lOsbaren Probleme sind die am effi zientesten zu lOsend en Problem e. Definition 3.1.1. Ein algorit hmisches Problem gehort zur Komplexitatsklasse P der polynomiell losbaren Problem e, wenn es durch einen Algo rithmus mit polynomieller maximaler Rechen zeit gelost werden kann . Problem e in P werden als effizient losbar bezeichnet , obwohl Rechen zeiten wie n 100 nicht zu pr aktisch einsetz baren Algorithmen gehoren . Wir haben aber gesehen , dass die erweit erte churchsche These keine kleinere Klasse effizient losbarer Probleme erl aubt. FUr uns interessanter ist auch die Umkehrung, dass die nicht in P ent haltenen Problem e, bezogen auf die maximale Rechenzeit, nich t effizient losbar sind. Dies erscheint sinnvoll, da dann jeder Algorithmus ftlr eines dieser Problem e eine Rechenz eit von w(n k ) fur jed es konstant e khat. Es gibt eine weitere Eigen schaft, die polynomielle Rechenzeiten auszeichnet. Wenn neue Rechner urn einen konstanten Faktor c schneller als die alten Rechner sind , sinkt die Zeit fur jede Rechnung urn den Faktor c. Wir konnen uns abe r auch fragen , wie stark wir die Eingabelange vergrof ern konnen , wenn die zur Verfligung stehende Rechenzeit t gleich bleibt. Sei die Re chenz eit eines Algorithmus n k und t = Nk , dann kann der neu e Rechner cN k = (c 1/ k N)k Rechenschritte ausfuhren und dah er die Eingab elange Lc 1 / k NJ in Zeit t verarbeiten . Die zu bearbeit ende Eingab elange ist also urn ein en konstanten Faktor c 1 / k > 1 gewachsen, der mit dem Grad des Rechenzeitpolynoms abnimmt und sich fur wachsendes k dem Wert 1 annahert . Bei Rechenz eiten wie n 210g n oder Summen wie 2n 3 + 8n 2 + 4 werden die Bet racht ungen etwas komplizierter. FUr polynomielle Rechenz eiten gibt es ab er stets eine Konstante d > 1, die von c und der Rechenz eit abhangt, so dass die zu ver arbeitende Eingab elange mindestens urn den Faktor d wachst . Dies gilt flir kein e starker als polynomiell wachsende Rechenzeit und fur echt exponenti elle Rechen zeiten wie 2m kann die zu verarbeitende Eingabelan ge nur urn den addit iven Term a = £ - 1 . log c vergrofert werden , da 2 ,,(n+a) = c - 2m ist . Au ch diese Uberlegungen unterstreichen den qualitativen Unterschied zwischen polynomiellen und starker wachsenden Rechen zeiten.

3.2 Randomisierte Algorithmen

31

3.2 Randomisierte Algorithmen Im Alltag sind wir es gewohnt, dass Entscheidungen, bei denen es entgegengeset zt e Interessen gibt, durch Zufall und damit durch Randomisierung entschieden werden. Dies gilt im Sport bei der Aufstellung von Turnierplanen (auch wenn Set zlist en den Zufall einschriinken) , bei der Seit enwahl oder der Vergabe von Startbahnen, aber selbst Btlr germeisterwahl en wurden bei Stimmengl eichheit schon durch Losverfahren entschieden . Was wir im Allt ag als Entscheidungshilfe akzept ieren, sollten wir bei der Losung algorithmischer Probleme nicht verschmahen . Wenn ein Algorithmus n Objekte nacheinander bearbeit en soIl, die gewahlte Reihenfolge grof3e Auswirkungen a uf die Rechenzeit hat , viele der n! Reih enfolgen gunstig sind und wir nicht wissen , wie wir eine dieser guten Reihenfolgen effizient auswahlen konnen, dann ist es nutzlich, eine zufallige Reihenfolge zu wahlen , Wir werden daher diskutieren, welche Eigenschaften randomisierte Algorithmen haben miissen, urn als effizient zu gelt en . Wir st ellen unserem Rechner eine Quelle von Zufallsbits zur VerfUgung, die in jedem Rechenschritt ein Zufallsbit erzeugt . Fur jedes t sind die ersten t Zufallsbits vollst andig un abhangige Zufallsvariablen Xl, ... , X, mit Prob(X, = 0) = Probj.X, = 1) = 1/2 (fur Grundbegriffe der Wahrscheinlichkeitstheorie siehe Anh ang A.2) . Dies lasst sich durch unabhangige Mtinzwtlrfe realisieren, was ab er nicht effizient ist. Mod erne Rechner stellen Ps eudozufallsbits zur VerfUgung, die nicht ganz die geforderten Bedingungen erfiillen. Wir werden dieses Therna nicht vertiefen (siehe dazu Goldreich (1998)) und gehen von einer idealen Zufallsquelle aus. Ein randomisierter Algorithmus (randomized algori thm) kann im i-ten Schritt das i-te Zufallsbit lesen und seine Aktion von diesem Zufallsbit abhangig machen. Formal wollen wir eine randomisierte Turingmaschin e beschreib en . Die det erministische Arbeitsvorschrift 1/2 ein richtiges Ergebnis. Bei t(n) unabhan gigen Laufen erwart en wir in s . t(n) > t(n) /2 Versuchen ein richtiges Ergebnis. Im allgemeinen Fall von Suchproblemen konnen wir jedoch dennoch t(n) verschiedene Ergebnisse erha lte n und haben keine Idee, welches E rgebnis wir auswahlen sollen. Bei Problemen mit eindeutigem richtigen Ergebnis ist die Situation besser . Wir treffen ein e Majoritatsentscheidung, wahlen also ein Ergebnis, das am haufigsten in den t(n) Laufen Ergebnis des betreffenden Laufes ist . Der Algori thmus macht nur dann einen Fehl er, wenn in hochst ens t(n) /2 Laufen das richtige Ergebnis berechnet wurde. Hier bietet sich die chernoffsche Ungleichung (Theorem A.2.11) zur Analyse an . Es sei Xi = 1, wenn der i-t e Lauf das richtige Ergebnis liefert , und

38

3. Die grundlegenden Kornplexitatsklassen

Xi = 0 sonst. Dann ist Probt.X, = 1) = 8, die ZufaIlsvariablen Xl, " " Xt(n) sind vollstandig unabhangig und E(X) = 8 ' t(n) fiir X = Xl + ... + Xt (n)' Also ist

Prob(X ::::: t(n)/2)

= Prob(X::::: (1 - (1 - 1/(28)) . E(X)).

Bei Anwendung der chernoffschen Ungleichung ist 0 = 1 - 1/(28) und Prob(X

< t( n) /2)

< e- t (n ).s .{)2/ 2.

Da 8 :::: 1 - s( n) gilt , ist diese Schranke fur 8 = 1 - s (n) am grofiten. Es sei s(n) = 1/2 - l /p(n) ftlr ein Polynom p(n) :::: 2. Dann ist

o= 1 _

_-----,1-----,...,... 1 + 2/p(n)

2 p(n) + 2

und

Fur t(n) := f(2 . ln 2) · q(n) · p(n)21, also ein Polynom, erhalten wir eine durch 2- q (n ) beschrankte Fehlerwahrscheinlichkeit. Bei den meisten Optimierungsproblemen konnen wir in polynomieller Zeit fur zwei Ergebnisse feststellen , ob sie dieselbe Qualitat haben. Da der Wert optimaler Losungen eindeut ig ist , konnen wir dann auf analoge Weise die Fehlerwahrscheinlichkeit senken.

Theorem 3.3.6. E8 seien p(n) und q(n) Polynome. Eingeschriinkt auf die Klasse der eindeutig LOsbaren Probl eme und auf die Klasse der Optimierungsprobleme, bei denen der W ert einer Losung in polynomieUer Zeit berechenbar ist, gilt BPP(1 /2 - l /p(n)) = BPp(Tq(n)) . Theorem 3.3.6 deckt die uns inter essier enden F alle ab oDaher ist folgende Definition ger echtfertigt.

Definition 3.3.7. Ein algorithmisches Problem gehort zur Komplexitatsklasse BPP, wenn es zu BPP(1 /3) gehort, es also eine n randomisierten Algorithmus mit polynomieller maximaler Rechenzeit gibt , dessen Fehl erwahrscheinlichkeit fur jede Eingabe durch 1/3 beschrankt ist, und es gehort zu PP, wenn es fur eine Funktion s(n) < 1/2 zu BPP(s(n)) gehOrt. Die Bezeichnung "bounded-error" bezieht sich darauf, dass die Fehlerwahrscheinlichkeit einen konstanten Abstand von dem Wert 1/2 hat . Die

3.3 Die grundlegenden Komplexitat sklassen fur algorithmische Probleme

39

Klasse BPP(1 /2) ist ebenso sinnlos wie ZPP(l) , da sie alle Entscheidungsprobleme, auch nicht rekursive, enthalt. Wir wiederholen die Definitionen unserer Komplexitatsklass en P, ZPP, ZPP*, RP, RP*, co-RP, co-RP*, BPP und PP informell. Alle setzen polynomielle maximale Rechenzeiten der betreffenden Algorithmen voraus. F ur die Klasse P mus s das Ergebnis stets st immen, so dass auf Zufallsbits ver zichtet werden kann. Fur die Klass en ZPP und ZPP* sind Fehler verboten , ab er die Algorithmen durfen versagen . Dagegen ist fur die Klassen RP, RP*, co-RP und co-RP* ein einseit iger Fehler erlaubt, der bei RP und RP* bei Eingaben x E Lund bei co-RP und co-RP* bei Eingaben x 'f. L auftreten kann. SchlieBlich sind bei BPP und PP bei allen Ein gaben Fehler erlaubt . ZPP, RP, co-RP und BPP sind Komplexitatsklassen mit beschrankter Versagens- oder Fehlerwahrscheinlichkeit, wahrend die Klassen ZPP*, RP* , co-RP* und PP Komplexitatsklassen mit im Rahmen der sinnvollen Werte unb eschrankten Versagens- od er Fehlerwahrscheinlichkeiten sind.

Algorithmen mit beschriinkt er Versagens- oder Fehlerwahrscheinlichkeit fiihren zu Algorithmen, die praktisch sinnvoll einsetzbar sind . Also enthalten die Komplexitiitsklass en P, ZPP, RP, co-RP und BPP Probleme, die als unter verschiedenen Anforderungen efjizient losbar bezeichnet werden konnen. Wir erhalt en folgend e "Komplexitats landscha ft" fur algorit hmische Problem e, bei der gerichtet e Pfeile Teilm engenbeziehungen ausdrucken sollen . Theorem 3.3.8. BPP

t t P

ZPP

•

PP

•

ZPP*

Beweis. Die Beziehungen P ausgewilrfelt und in diesem Fall wird die Eingabe akzept iert. Die Rechenzeit ist polynomiell beschr ankt , wenn l(n) polynomiell beschrankt ist und die Uberprilfung, ob eine Bitfolge eine mogliche Losung darstellt , und die Berechnung der Qualitat einer Losung in polynomieller Zeit moglich sind . Dies lasst sich filr die betrachteten (und viele weitere) Probleme leicht zeigen . Rundreiseprobleme (TSP): Eine Rundreise ist eine Folge von n Stadten i l , . . . .i; E {I , ... , n} und kann mit n [logfn + 1)1Bits dargestellt werden. Es ist in polynomieller Zeit moglich zu uberprufen , ob {i l , .. . , in } = {I, . . . ,n} ist , also eine Rundreise vorliegt, und gegebenenfalls in polynomieller Zeit moglich , die Kosten dieser Rundreise auszurechnen . Rucksackprobleme (KP) : Jedes a E {O ,1}n reprasentiert eine Auswahl von Objekten . Es kann in linearer Zeit ent schieden werden , ob diese Ausw ahl die Gewichtsgrenze einhalt , und im positiven Fall kann ihr Nutzen in linearer Zeit berechn et werden. Aufteilungsprobleme (BP) : Es ist l(n) = nilognl und wir interpretieren den i-ten Block der Lange flog n 1 als Nummer der Kiste, in die wir das i-te Objekt packen . Es wird dann ilberprilft, ob keine Kist e ilberladen ist, und abschlieBend wird die Anz ahl benutzter Kist en berechnet . Uberwachungsproblerne (VC , EC) : Jedes a E {O,l}n bzw. a E {O,l}m reprasentiert eine Auswahl von Knoten bzw. Kanten . Es wird dann ilberprilft, ob so aIle K anten bzw. Knoten ub erwacht werden, und es wird die Anzahl gewahlter Knoten bzw. Kanten berechnet. Cliquenprobleme (CLIQUE, IS, CC) : Filr CLIQUE und IS ist das Vorgehen analog zu VC mit dem Test, ob die ausgewahlte Knotenmenge eine Clique bzw. Anticlique ist . Fur CC wird wie filr BP eine Aufteilung in Mengen vorgenommen. Fur jede Menge ist zu ilberprilfen, ob sie eine Clique ist . Teambildungsprobleme (k-DM) : Wi eder wird wie bei BP eine Aufteilung in Teams vorgenommen. Es muss filr jedes Team ub erprtift werden, ob es gen au ein Mitglied aus jeder der k Personengruppen ent halt . Optimierung von Flilssen in Netzwerken (NF) : Die Entscheidungsvari ante ist in P, also a uch in NP enthalten . Meist erschaftsprobleme (CP) : Bei m ausste henden Spielen und r moglichen Punktaufteilungen pro Spiel genilgen m flog r1 Bits zur Beschreibung aller Kombinationen von Spielausgangen. Bei gegeb enen Spielausgangen ist es leicht zu entscheiden, ob der ausgewa hlte Verein Meister geworden ist. Verifikationsprobleme (SAT) : Jedes a E {a, l}" beschreibt eine Variabl enbelegung. Selbst bei Schaltkreisen ist es einfach, die Ausgabe bei gegebener Eingabe zu berechn en .

°

5.3 Alternative Charakterisierungen von NP

75

Zahlentheoretische Probleme (PRIMES): Es ist einfach zu zeigen, dass PRIMES E co-NP ist . Jeder rnoglicher Teiler j E {2, . .. , n - I} hat eine Bin ardar st ellung, deren Lange durch [log n l beschrankt ist . Es kann effizient ent schieden werden, ob n/ j ganzzahlig ist . Der randomisierte Primzahltest von Solovay und Strassen zeigt sogar PRIMES E co-RP. Zusat zlich gibt es seit lan gem einen Nachweis fur PRIMES E NP . Inzwis chen ist Agr awal , Kayal und Saxen a (2002) der Nachweis gelungen, dass PRIMES E P ist. 0 Die Entscheidungsvarianten der von uns untersu chten (und vieler and erer) Probl em e sind in NP enthalten. Die NP-Algorithmen sind sehr effi zient, aber wegen der hoh en Fehlerwah rscheinli chkeit algorithmisch wertlos.

5.3 Alternative C harakteris ierungen von N P Wir wollen bei randomisier ten Algorithmen A mit einer durch ein Polynom p(n) beschr ankten Rechenz eit die Erzeugung der Zufallsbits von der eigent lichen Arbeit trennen . Zunach st werden p(n) Zufallsbits erzeugt und abgesp eichert. Danach wird A "dete rminist isch simuliert" , indem keine Zufallsbits erzeugt werden, sondern die ab gesp eicherten Zufallsbits verwendet werd en . Bis auf die Berechnung von p(n) ergibt sich bei Regist ermaschin en eine Verdoppelung der maximalen Rechenzeit . Also gilt : Wi r konnen. uns bei der B etrachtung randomisierter Algorithmen m it polynomieller R echenzeit auf Algorithmen beschriink en, die in zwei Phasen arbeit en: - B estimmung der Eingabeliinge ti , B erechnung von p(n) [iir ein Polynom p und Erzeugung und Abspeich erung von p(n) Zufallsbits, - eine det erministische R echnung, die hochstetis p(n) Schritte benoiiqt und pro S chritt ein abgespeicheries Zufallsbit ver wendet.

In der Vorst ellungswelt nichtdet erministischer Algorithmen werden in der erst en Phase genligend viele Bits "geraten " (nichtdet erministisch erzeugt ) und dann wird ub erpruft, ob mit den ger atenen Bit s "verifiziert" werden kann, dass die Eingab e akzeptiert werden muss. Man spricht vom Modus "rate und verifiziere " (guess and verify). Diese Ub er legung en ftihren nicht zu besseren Algorithmen , sie erleichte rn abe r die st rukturelle Untersuchun g von Problem en in NP. Wir zeigen dies an zwei Beispielen . T h e o r e m 5.3.1. Jedes Entscheidungsproblem in NP kann von einem determ inisti schen Algorithmus qelost werden, dessen Rechenz eit fu r ein Polynom q(n) durch 2q (n ) beschriinki ist. Beweis. Es sei p(n) ein Polynorn, das die Rechenzeit eines NP-Algorit hmus A fur das betracht et e Problem beschrankt. Als Zufallsvektoren st ehen also Folgen aus {O, 1 }p(n ) zur Auswahl. Der determinist ische Algor ithmus simuli ert A

76

5. Die NP- Vollstandigkeitstheorie

nacheinander fur alle 2p (n ) dieser Vektoren , wobei es leicht ist , diese Vektoren lexikographisch aufzuza hlen. Die Gesamtrechenzeit ist durch O(p(n)2 P (n») beschr ankt und kann durch 2q (n ) fur ein Polynom q(n) = O(p(n)) beschra nkt werd en. Der det erm inistische Algorit hmus akzept iert die Ein gab e gena u dann, wenn A auf mindest ens einer Zufallsfolge akzeptiert . Nach Definit ion von NP wird so ste ts die richti ge Ent scheidung getroffen. 0 Wir konnen den in zwei Phasen ar beite nden NP-Algorit hmus auch folgend ermaBen int erpretieren. Die Eingab e x der Lan ge n wird urn einen O-l-Vektor der Lan ge p(n) , also eine mogliche Realisierung des Zufallsvekt ors z verl angert. Dan ach ar beitet der determinist ische Algori thmus A' der Phase 2 auf der Eingabe (x , z). Dies fiihr t zu folgender Ch arakterisierung von NP . Theorem 5 .3.2. Ei n Entscheidungsproblem L ist gen au dann in N P enihalten , wenn es ein E ntsc hei dungsproblem L' in P und ein Polynom p gibt, so dass sich L darstellen liisst als

L

= {x

I ::Iz E

{a, l}p(l x l) : (x , z) E L'} .

Beweis. Wenn L in NP ent halte n ist , konnen wir die obigen Uberlegungen anste llen. Wir gehen von einem in zwei Phasen arbeite nde n NP-Algorit hmus aus. Die An zahl der Zufallsbits bei Eingabelange n ist durch ein Polynom p(n) beschr ankt und der det erminist ische Algor ithmus der zweiten Phase akzept iert eine Spr ache L' . Die Eingab e x gehort genau dann zu L , wenn eine Belegung z der Zufallsbits dazu fuhrt , dass der det erministische Algorithmus der zweiten P hase die Ein gab e (x, z) akzept iert . Dies ist genau die gewunschte Ch arakterisierung. Wenn sich L wie angege ben charakte risieren lasst , kann ein randomisierter Algorithmus bei Eingab e x einen Zufallsvektor z der Lan ge p(lx l) erze ugen und danach deterministisch iiberprtifen , ob (x , z) E L' ist . Dann wird x E L mit positiver Wahrscheinli chkeit , abe r x ¢ L nie akzeptiert. 0 Die NP#P-Hy pot hese erscheint nun in einem neuen Licht . E ntsc heidungsproblem e sind gena u dann in NP ent hal te n, wenn sich die zugehorige Spr ache L durch einen polynomiell langenb eschr ankten Existe nzqua nt or (::Iz E {O,l}p(l xl)) und ein polynomiell entsc heidbares Pradikat ((x , z) E L') dar st ellen lasst. Die NP#P-Hypothese ist gleichbede ute nd damit , dass der Exist enzqu anto r die Menge der dar st ellb ar en Probleme vergrofert . Diese Charakte risieru ng von NP wird auch als logikorientiert e Charakteri sierung bezeichn et . Mit Hilfe der De-Morgan-Regeln ergibt sich sofort die logikorientierte Charakterisierung von co-NP als Klasse aller L mit

L=

{ x I Vz

E

{a, 1} p(l xl) : (x , z)

E

L'}

fur ein Polynom p und ein L' E P. Die Vermutung, dass wir Exis t enzquantoren bei diesen Ch arakt erisierungen nicht durch Allquantoren erse tze n konnen ,

5.4 Das T heorem von Cook

77

ist gleichbedeute nd mit der Vermutung NP -I- co-NP. SchlieBlich lassen sich die Ergebnisse aus Kapite1 5.2 neu interpretieren . Die E ntsc heidungsvar ianten der Optimierungsprobleme sind durch Existenzqua ntoren (es gibt eine Rundreise) mit polynomiellen Pradikat en (die Kost en der Rundreise sind durch D beschr ankt) definiert . Dagegen ist die Menge der Primzahl en n durch einen Allquantor definier t : Fur alle k mit 2 :::; k :::; n - 1 gilt, dass k kein Teiler von n ist.

5.4 Das Theorem von Cook Wir komm en zu dem bahnbrechenden Er gebnis, das eine NP-Vollst andigkeit stheorie fur konkret e Probleme erst ermoglicht. W ir hab en exemplarisch gesehen, dass wir in der Lage sind, recht unterschiedlich aussehende P roblem e polynomiell aufeina nder zu redu zieren . Viele Entscheidungsvaria nten der wichtigen Optimierungsprobleme sind in NP ent ha lte n und die Komplexitat sklasse NP lasst sich nicht nur aus algorit hmischer Sicht , sondern auch logikori entiert cha ra kte risiere n. All dies bringt uns a ber dem Nachweis, dass ein Problem Nl--vollstandlg ist , oder auch nur dem Nachweis, dass es ein Nl--vollst andiges Problem gibt, nicht nah er. Die Hurde liegt in der Definit ion der NP-Vollst andigkeit . Damit ein Problem NP-vollstii ndig ist , rnussen wir jedes P robl em aus NP auf das gewa hlte Problem polynomiell reduzieren. Wir mu ssen also ub er Probleme argu ment ieren, von denen nichts auBer der Tat sache, dass sie in NP ent ha lte n sind, bekannt ist. Cook (1971) und unabhangig davon Levin (1973) hab en diese Hurde uberwunden. Wir wollen auch hier algorit hmisch vorgehen und die bei der Reduktion benoti gt en Ressourcen moglichst klein halt en . Es sei also ein Ent scheidungsproblem L E NP gegebe n, fur das es einen NP-Algorit hmus mit maximaler polynomieller Rechenzeit p(n) gibt. Wir hab en gesehen, dass diese Rechenzeit fur die meist en uns wichtigen Probleme bezogen auf Regist erm aschinen linear oder wenigste ns qu asilinear ist. Wenn wir zu Turingmaschin en ub ergehen, wird die Rechenzeit ungefahr qu adriert (bei Turingmasc hinen mit konstant vielen Bandern lasst sich der Meh raufwand oft drastisch einschra nken). Tu rin gmaschinen erweisen sich hier als hilfreich, da jeder Rechenschritt nur lokale Auswirkungen hat . Fur jeden Zeitpunkt t einer q(n )-zeitbeschrankt en Tu ringmasc hine konn en wir eine Moment aufnahrne der Turingm aschine machen, gena nnt Konfiguration zum Zeitpunkt t. Sie best eht aus dem akt uellen Zust and , der akt uellen Lesepo sition und den akt uellen Inhalt en der Speicherzellen. Damit lassen sich Eingabe n x E L folgendermaBen charakt erisieren : Es gibt Konfigurat ionen K o, K 1 , .• . , K q(n ) , so dass K o die Anfan gskonfiguration bei Eingabe x, K q(n) eine akzeptierende Kon figuration (der akt uelle Zust and ist ein akzept ierender Halt ezust and q E Q+) und Ki , 1 :::; i :::; q(n) , eine legale Nachfolgekonfiguration von K i - 1 ist. Der Begriff "lega le Nachfolgekonfiguration" bedeutet , dass die Tu ringmasc hine ftir einen der beiden Werte des im i-ten Schritt benutzt en Zufallsbit s aus K i - 1 in K, wechselt .

78

5. Die NP- Vollstandigkeitst hec rie

Welches de r uns beka nnten P robl eme hat Eige nschafte n, von denen wir hoffen , dass sie uns bei der Transformat ion der obe n beschri eb enen Bedingu nge n in das Problem die Arbeit erleichtern? Ob zu einem Zeitpunk t t de r aktuelle Zust and q ist , lasst sich gut durch bo olesche Variablen beschr eib en und wir int eressieren uns daftlr, ob bestimmt e Abhiingigkeit en zwischen diesen Variablen erfilllt sind. Dami t sind wir bei den Verifikation sp robl emen gelande t und wahl en SAT als Zielproblem. Obwohl Turingm aschin en lokal ar beiten, gibt es fiir die i-te Konfi guration 2i + 1 mogli che Leseposit ionen. Urn die spate re Argument ation zu vereinfachen , werd en wir erst Tu ringmaschinen durch "noch lokaler " arbeitende Turingm aschinen simulieren.

Definition 5.4.1. E ine Tu ringmaschine ar beitet stereotyp (obli viou s) , wenn die Lesep osition bis zum Zeitpunkt des Haltens der Turingm aschine nur vom Zeitpunkt t , aber nicht von der Eingabe x abhiingt . Lemma 5.4.2. J ede (det erminist ische od er randomisiert e) Tu ringmaschine M kann durch eine (eb enfalls det erministi sche oder randomisiert e) stereotype Turingm aschine M' so sim uliert werde n, dass t Rechenschritt e von M in O(t 2 ) Rechens chritten von M' simuliert werden.

Beweis. Wir geben die Folge der Lesepositionen un abhiingig von der gegebenen Turingm aschin e vor: 0,1 ,0, -1 , - 1, 0, 1, 2, 1, 0, - 1, - 2, -2 , -1,0,1 ,2, 3, 2,1 ,0, - 1, - 2, - 3,

,

- (j -1) , . .. , 0, .. . ,j, . . . , 0, . . . , - j ,

.

Die j-t e Phase best eht also aus 4j Rechenschritten und soil de n j -te n Rechen schr itt der gege benen Tu rin gm aschine M simulieren. Fur t Rechenschrit t e werd en 4 · (1 + 2 + ...+ t)

= 2t(t + 1) = O(t 2 )

Rechen schrit t e aufgewendet . Wi e arbeitet die simuliere nde Turingm aschine M '? Wi e za hlt sie die Posit ionen? All dies wird mit einfachen Tric ks und einer Vergroferung des Ar bei tsalphabe ts und des Gediichtnisses gelost. Vor dem t- t en Rechenschr it t sollen in den Sp eicherzellen - (t - l) und t -1 zusatzlich Markierungen stehen, die das linke und recht e Ende des bet rachteten Speicherbereiches markiere n. Fur t = 1 ist dies nicht rnoglich, aber die Turingm aschine kann im ersten Schrit t auf ihr Gediichtnis zuruckgre ifen und sich die beiden Markierungen in Speicherzelle "vorstellen " . AuBerdem soil eine weiter e Markier ung die Posit ion bezeichnen , die von der gege benen Tu ringm aschin e M im t-ten Schri t t gelesen wird , fur t = 1 wiederum Speic herzelle 0, was im Ged iichtnis gespeic hert ist . Das Gediichtnis speic hert zusatzlich den Zust and von M im

°

5.4 Das Theorem von Cook

79

t-ten Rechens chritt, fur t = 1 ist dies der Anfangszust and. Nun lasst sich die Simulation des t-t en Rechen schri t t es einfach beschreib en . Von Posit ion - (t - 1) wird nach rechts nach der Spei cherzelle gesucht, die von M im t-t en Rechen schritt gelesen wird. Sie lasst sich mit Hilfe der Markierung leicht finden . Dann weif M ' alles, was M im t-ten Rechenschritt an Info rm ationen hat . Der Zust and q ist im Ged iichtnis von M' gespeichert und die von M gelesene Information a liest M' ebenfalls (in der selb en Sp eicherzelle, in der die Markierung ste ht ). Gegeb enenfalls verwendet M' wie M ein Zufallsbit . Nun kann sich M' den neuen Zust and q' im Ged iichtnis merken und die neue Inform at ion a' in die betracht et e Speicherzelle schreiben . AuBerdem weif M' , ob die Marki erung fur die akt uelle Leseposition verschoben werden muss und im positiven Fall, in welche Richtung. Bei einer Recht svers chiebung wird diese im niichst en Schrit t du rchgefuh rt. Bei einer Linksverschiebung merk t sich M' , dass diese noch du rchzufiih ren ist . Es wird dann die Markierung fur das recht e E nde des Speicher bereiches gesucht . Diese Markierung kann gleichzeit ig mit der Markierung fur die Lesepo sition gefunden werden. In jedem Fall wird sie nach rechts verschob en . Dann wechselt die Leserichtung nach links. Gegeb enenfalls wird die Markierung fur die Lesep osit ion nach links verschobe n und au f jeden Fall wird die Markier ung fiir das linke E nde des Sp eicherber eiches nach links verschob en . Dami t ist die Ausgangss it uation fur die Realisierung des (t + 1)-ten Rechenschritts hergest ellt . Wenn M gest oppt hat , stoppt M' ebenfalls und t rifft dieselb e E ntsc heidung wie M . D Fur unser e Zwecke reicht diese Simulation vollig aus. Wenn wir Tu ringmaschinen mit k Biindern verwend en , konnen wir diese mit derselben Idee du rch eine stereotype Tu ringmaschine mit einem Band simulieren (siehe Z. B. Wegener (1999)). And er erseit s gibt es eine kompli ziert ere Simulation fur Turing masc hinen mit eine m Ban d, die mit Zeit O(t( n) logt(n)), also mit einem sehr mod erat en Rechenzeit zuwachs, a uskommt (siehe z.B . Wegener (1987)). Nun sind wir auf den Beweis des Theorems von Coo k vor bereit et . Theorem 5.4.3. (Th eorem von Cook) SAT ist NP-vollstiindig. A nders ausgedriickt: Es ist NP = P genau dann, wenn SA T E P ist. Beweis. Da SAT E NP ist , gen tigt es, jedes Entscheidungspro blem L E NP polynomiell auf SAT zu redu zieren. Nach Lemma 5.4.2 konnen wir annehmen, dass der NP- Algorit hmus fur L mit polynomieller maxi maler Rechenzeit p(n) auskommt und eine stereotype Turingmaschine M mit einem Band benu t zt. Die Reduktion ist eine Transformat ion mit verbundenen Komponenten . Die Komponent en der Turingmaschine M fur Eingabe x mit Ixl = n best ehen a us den Zust iinden , den Zufallsbits und den Inhalt en der Sp eicherzellen. Hier geht ein, dass die Lesep ositi onen von x un a bhiingig sind . Die Komponent en werd en durch bo olesche Variab len repriisent iert , wobei wir zur Vereinfachung

80

5. Die NP-Vollstandigkeitsth eorie

die Zustande mit qo, .. . , qk- l und die Buchstab en des Arbeitsalphabets mit aI , ... , am bezeichnen und am das Leerzeichen ist :

- Q(i , t) , 0 ::::: i ::::: k - 1, 0 ::::: t ::::: p(n) : Q(i , t) = 1 solI reprasentieren , dass der Zustand nach dem t-ten Rechenschritt qi ist (der O-t e Rechenschritt ent spr icht der Ini t ialisierung), - Z(t), 1 ::::: t ::::: p(n) , reprasentiert den Wert des im t-ten Rechenschritt verwendet en ZufaIlsbits, - S(i , t) , 1 ::::: i ::::: m , 0 ::::: t ::::: p(n) : S(i , t ) = 1 solI reprasentieren , dass im t-ten Rechens chritt in der betracht et en SpeicherzeIle a ; gelesen wird. Wir benutzen also (p(n) + 1) · (IQI + 1 + ITI) - 1 = O(p(n)) boolesche Vari abIen . Mit den Klauseln solI die Arbeit sweise von M so a usgedriickt werden, dass es gen au dann Wert e fur die ZufaIlsbits Z(I) , .. . , Z(p(n)) gibt , fur die M die Eingab e x akzept iert, wenn die Klau seln gemeinsa m erftillbar sind . AuBerd em muss gewiihrleistet sein , dass die Vari ablen a uch das repriisentieren , was wir uns vors t eIlen . Wir steIlen die Bed ingung en zusammen: (1) Die Variablen fur t = 0 korrespondieren zur Anfan gskonfiguration der Rechnung. (2) Die letzte Konfiguration ist akzept ierend. (3) Die Vari abl en st eIlen Konfigurat ionen dar. (4) Die t-te Konfiguration ist gernaf den Vorschriften von M Na chfolgekonfiguration der (t - I) -t en Konfigurat ion . Wir codieren diese Bedingungen durch eine Konjunktion von Klaus eln . Dies kann ftir jede Bedingung einzeln geschehen, da die Bedingungen (1)-(4) konjunktiv verknupft sind . (1) Da M in qo st artet, muss Q(O,O) = 1 und Q(i ,O) = 0 fur i =I- 0 gelten. F ur die Position j sei t(j) der erste Zeitpunkt, zu dem diese Posit ion gelesen wird. Fur 0 ::::: j ::::: n - 1 muss gena u S(i , t( j)) den Wert 1 haben, wenn X j+} = a; ist . (Nur hier beeinflusst die Eingab e x das E rgebnis der Tr an sformation.) Fur aIle anderen j muss gena u S(m , t(j)) den Wert 1 haben , da dort zu Beginn das Leerzeichen am steht . Wir bilden also keine Klau seln , sondern ersetzen boolesche Variablen durch geeignete bool esche Kon st ant en . (2) Dies ist eine Klau sel tiber aIle Q(i , p( n)) , fur die qi ein akzept ierender Haltezustand ist. (3) Die Turingmaschin e ist zu jedem Zeitpunkt t in genau einem Zustand und liest genau einen Bu chst a ben . Dies sind syntakt isch die ein zigen Bedingungen an Konfigurationen . Formal bedeut et dies, dass fur jedes t E {O, .. . ,p(n )} gena u eine der Vari ablen Q(i , t) und gena u eine der Vari abIen S( i , t) den Wert 1 hat. Wi r hab en es also mit 2p(n) + 2 Bedingungen zu tun, von denen einige schon du rch die MaBnahmen zu (1) erfullt sind. Da die Anz ahl der Vari abl en in jeder Bedingung IQI od er IFI und damit 0(1) ist , konnen wir un s das Leb en einfach machen. Jede boolesche Funktion ist in konjunktiver Norm alform, also als Konjunktion von Klau seln darsteIlbar.

5.4 Das Theorem von Cook

81

Die Anzahl der Klauseln bei r Variablen ist durch 2" beschr ankt, in unserem Fall 0(1) , da die Anzahl der Variablen 0(1) ist . (Fur die Funktion "genau eine Eingab evari abl e hat den Wert 1" gen iigen , wie man sich iiberlegen kann, 0(r 2 ) Klauseln.) (4) Hier solI die Semantik der Turingrnaschin e M codiert werd en . Der t-te Rechenschritt von M han gt vom Zustand nach dem (t - 1)-ten Rechenschritt , also den Vari a blen Q(i , t - 1), i :::; k - 1, vom verwend et en Zufallsbit Z(t) und von dem im t-ten Rechenschritt gelesenen Buchstaben, also den Variablen 8(i, t) , 1 :::; i :::; m , ab oDies sind IQI +IFI + 1 = 0(1) Variablen . Das Ergebnis wird ausgedruckt im Zust and nach dem t-ten Rechenschritt, also den Vari abl en Q( i , t) , i :::; k -1 , und dem neu in die betrachtete Speicherzelle geschriebenen Buchst ab en, also den Variablen 8(i, N(t)) , 1 :::; i :::; m , wobei N(t) der nachst e Zeitpunkt nach t ist, zu dem M wieder diese Speicherzelle betrachtet. Falls N(t) > p(n) ist, ist die geschri ebene Information fur die Rechnung irr elevant und muss nicht berechnet werden. Es mus sen also die IQI + IFI = 0(1) Gleichungen

°:: ;

°:: ;

Q(i ,t)

=

Ii (Q(O, t -

1), .. . , Q(k - 1, t - 1), Z(t) , 8(1 , t) , . .. 8(m, t))

und

8 (j , N(t))

= gj

(Q(O , t - 1), . .. , Q(k - 1, t - 1), Z(t) , 8(1 , t) , . .. , 8(m, t))

°:: ;

fur i :::; k - 1 und 1 :::; j :::; m erfullt sein, urn zu garant ieren, dass die Arbeit sweise von M simuli ert wird. Diese IQI+ IFI Gleichungen beschre ib en 0 in der hier verwendeten Codierung der Zustande, ZufaIlsbits und Speicher zelleninhalt e. Daher hangen die Funkt ionen auch nicht von tab. Jede Gleichung ist genau fur bestimmte Belegungen der betroffenen Vari ablen wahr und kann dah er als Konjunktion von 0(1) Klauseln ausgedr uckt werd en. (Ein e explizite Beschreibung der Klauseln findet sich z. B. bei Wegener (1999) , sie ist abe r fur unsere Betrachtungen nicht notig.) In sgesamt erhalten wir O(p(n)) Klaus eln der Lan ge 0(1) , also eine Eingabe fur SAT mit einer C esarntlan ge von O(p(n)) . Die Klau seln lassen sich in Zeit O(p(n)) berechn en . Indem wir einmal die Bewegungen der Turingmaschin e M fur p(n) Schritte durchfiihren, konn en wir in Zeit O(p(n)) aIle t(j) und N(t) berechnen . Da die einzelnen Funktionen und Gleichun gen nur je 0(1) Variablen betreffen , ist eine Umformung in Klauseln jeweils in Zeit

0(1) moglich. Wenn M die Eingabe x fur die Zufallsbits Z1, . . . , zp( n) akzeptiert, konnen wir die Vari abl en der SAT-Eingabe durch die Werte, die sie in der Rechnung in M reprasenti eren , ersetzen und erflillen somit aIle Klauseln . Wenn es andererseits eine Belegung der Variablen gibt, die aIle Klau seln erfiillt, dann erhalten wir eine akzeptierende Ber echnung von M fur die Belegung der ZufaIlsbit s mit den zur erflillenden Belegung gehorenden Werten . Die Bedingungen (1) sichern , dass M richtig initi alisiert wird. Die Bedingungen (3) sichern, dass die Vari ablen zu jedem Zeitpunkt einen akt uellen Zust and

82

5. Die NP-Vollstand igkeits theo rie

und einen gelesenen Buchst ab en reprasentieren. Die Bedingungen (4) sichern induktiv, dass die weit eren Zust iinde und gelesenen Buchstab en dem Rechenweg von M folgen . Schlief3lich folgt aus Bedingung (2) , dass der Rechenweg 0 akzept ierend ist . Nach diesem bahnbrechenden Er gebnis ist es wesentli ch einfacher, die NP-Vollstiindigkeit weit erer E ntscheidungspro bleme zu beweisen . Dies liegt an der Tr ansi tivitat des Reduktionskonzepts ,,::::;p" . Ist L E NP und konnen wir ein Nl--voll st andiges Problem L' polynomiell auf L reduzieren , ist auch L NP-vollst iindig. Fur alle L" E NP gilt j a L" ::::;p L ' und au s L' ::::;p L folgt L" ::::;p L. Der Nachweis der NP-Voll st andigkeit wird t endenziell imm er einfacher, da die Anzahl der als NP-vollstiindig bekannten P robleme standig wachst und wir dah er eine wach sende Auswahl an Problemen hab en , fur die es genugt , sie polynomiell auf ein neues NP -Problem zu reduzieren , urn dessen NP-Vollst andigkeit zu beweisen . Zum B eweis der NP- Vollstiindigkeit eines P roblem s A aus NP ist es ausreichend, ein NP- vollst iindig es Problem polynomiell auf A zu reduziere n.

Mit den Er gebnissen aus Kapitel 4 wissen wir, dass die folgenden Problem e Nl--vollstandig sind: SAT, 3-SAT, CLIQUE, IS , VC , DHC , HC und T SP 2 , 6 ,sy m . Ihre Optimierungsvari ant en sind Nl-- aqulvalent.

6. NP-vollstandige und NP-aquivalente Probleme

6.1 Grundlegende Uberlegungen Wir hab en jet zt das Werk zeug bereit gest ellt , urn die NP-Vollstandigkeit von Entscheidungsproblemen zu beweisen und wollen die zehn in Kapi t el 2.2 vorgeste llten Problemkreise behandeln . In diesem Kapitel int eressier en uns die Grundvari an t en der Probleme und einige verwandte Problemst ellungen . In Kapitel 7 werd en wir dann spezielle Problemvari ant en diskutieren und unt er suchen , wo die Gr enze zwischen schwierigen, also Nf'-vollatandlgen , und einfachen, also polynomiell losbar en Vari anten verlau ft . Mit den Ergebni ssen a us Kapitel 4.2 folgt fur die Auswertungs- und Optimierungsvarianten der Entscheidungsprobleme, die wir hier als NP-vollst andig nachweisen , dass sie NP-aquivalent sind . AuBerd em wissen wir aus Kap it el 5.2, dass alle betrachteten Ents cheid ungsprobleme in NP ent halt en sind . Zum Beweis der Nl--Vollstandigkeit geniigt es jeweils, ein Nl--vollstandiges Problem auf das betracht ete Problem polynomiell zu redu zieren . Einerseits wollen wir eine groBe Problemvielfalt betracht en und an dererseits wollen wir nicht zu viele Red uktion en ausftihrlich disku tieren . Dah er werd en wir nur die Beweise, die neue Ideen ent halten, au sftihrlich vorstellen und uns bei anderen Beweisen auf die wesentlichen Ideen beschranken . Dr ei der zehn Problemb ereiche sind fur die Zwecke dieses Kapi t els bereits a bschlieBend beh andelt . Flussprobleme sind polynomiell losb ar , von den Erfiillb arkeitsp robl emen wurden SAT und 3-SAT und damit auch Ver allgemeinerungen wie SAT c IR als Nl--vollstandig bewiesen und auch da s Kno te nube rdeckungsproblern VC ist bereit s als Nl--vollstandlg bekannt.

6.2 Rundreiseprobleme Auch Rundreiseprobleme hab en wir umfassend behandelt und gezeigt, dass selbst die speziellen Vari anten HC , DHC und TSp2,L':. ,sym und damit auch aIle Ver allgemeinerungen NP -vollstandig sind. Wi r wollen hier die Betrachtung von dr ei Problemen anschlieBen. Wir beginnen mit dem Problem zu ents cheiden, ob ein gerichtete r Gr aph einen hamiltonschen Pfad enthalt (direct ed hamiltonian path , DHP) . Ein hamiltonscher Pfad ist ein Weg, der jeI. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

84

6. NP-vollstandige und Nft-a quivalente P robl eme

den Knoten des Graphen genau einma l beruhrt . Das ent sprechende P robl em fur un geri cht et e Graphen heiBt HP.

Theorem 6 .2.1. DHP und HP sind NP -vollstiindig. Beweis. Der Beweis von Theor em 4.4 .4 hat gezeigt, dass 3-SAT :Sp DHC ist . Aus der dort beschri eb enen pol ynomiellen Reduktion wird eine pol ynomielle Reduktion, die 3-SAT :Sp DHP zeigt , wenn wir die be ide n VI ,1 erreichenden Kanten weglassen. An alog zum Beweis von DHC :Sp HC (Theor em 4.3.1) Hi-sst sich DHP :Sp HP zeigen. D Au s dem Beweis von Theor em 6.2.1 folgt soga r, dass es NP-vollst andig ist zu ent scheide n, ob es einen hamiltonschen Pfad von einem ausgewa hlten Knoten s zu einem ausgewa hlten Knoten t gibt (s-t-DHP) . Diese Ergebnisse sind wenig ilb erraschend, ab er wir ben6ti gen sie fur das folgende E rge bnis. In einem un gerichtet en zusamrnenhangenden Graphen , dessen Kanten nichtnegative Kosten haben , ist ein minimaler Spannbaum ein Baum, der aIle Knoten so verbind et , dass die Gesamtkost en der gewahlte n Kan t en minimal sind. Es ist bekannt , dass minimale Spannbaume in polynomi eller Zeit O(n 2 ) berechnet werden konnen . Minimale Spannbaume hab en die Tend en z, "stern f6rmig" zu sein , insb esondere hab en oft einige Knoten einen hoh en Grad . Wenn dies in den Anwendungen nicht erwiinscht ist , kann man als Neb enb edingung eine Gradschranke k fur die Knoten hin zufUgen und kommt zum Problem der Berechnung gradbeschriinkter min imal er Spannbiiume (BMS T , bounded-degr ee minimum-cost spanning tree) .

Theorem 6 .2.2. BMST ist NP-v ollstiindig. Beweis. Nat urlich ist die Entscheidungsvari ante von BMS T in NP ent ha lten . In der pol ynomiellen Reduktion HC :Sp TSP 2 ,L'" sy m hab en wir di ,j = 1 gesetzt, falls {i , j} E E ist , und ansonste n di ,j = 2. Eb enso gehen wir bei de r polynomiellen Reduktion HP :Sp BM ST vor , wobei wir zusatzlich die Gradschranke k auf 2 setzen. Ein Spannbaum mit Maximalgr ad 2 muss abe r ein hamiltonscher Pfad sein. Also ent ha lt der gege bene Gr aph gena u dann einen hamiltonschen P fad, wenn wir in dem zugeh6rigen bewertet en Gr aphen einen Spannbaum mit Max im algr ad 2 und Kost en von hochstens n - 1 hab en . D

6.3 Rucksackprobleme Es ist immer gut , eine m6glichst spez ielle Varian t e eines Problem s als NPvollstandig nachzuweisen , da dar au s die Nlt-Vollatandlgkeit aller allgemeineren Vari anten sofort folgt , wenn sie in NP ent ha lten sind. Ein sehr sp ezielles Ru cksackproblem ist KP*, bei dem a; = gi fiir aIle Objekte ist . Die Entscheid ungsvariante, ob die Gewicht sgrenze G voll ausgelastet werd en kann, ist die Frage, ob es eine Teilm enge der Objekt e gibt, deren Gesam t gewicht

6.3 Rucksackprobleme

85

G ist . Dies ist die Frage, ob es eine Indexm enge I ~ {I, . . . , n } gibt, so dass die Summe aller gi , i E I , gen au Gist . In dieser Form wird das Problem auch Teilsummenproblem (subset sum problem , SSS) gen annt. Die bisher behandelt en Probleme hab en alle Strukturen, die Beziehungen zwischen den betracht et en Objekten beinhalten . So verbinden in Gr aphen Kanten je zwei Knoten , beim Meisterschaftsproblem sind Teams durch Spi ele verbunden und bei E rfiillb arkeit sproblemen komm en Lit er ale in mehreren Klauseln vor. Dies macht es mo glich , Strukturen andere r Probleme in diese Probleme "hineinzucodieren". Beim Teilsummenproblem hab en wir nur Zah len und wir miissen die Strukturen eines P robl ems "in Zahl en ausdrucken". Die Hauptidee bei der artigen Reduktio nen best eht darin, in den Zahl en Blocke von Positionen zu reservieren. Die Strukturen anderer P robl eme werden nun in verschiedenen Zahl en an den selb en Po sitionen codiert. Da wir Summe n von Zahl en bilden, werden die Verbindungsstrukturen hergest ellt . Zu beacht en ist , dass es bei den Additionen nicht zu Ub ertragen zwischen den Blacken komm en darf. Dies kann durch "Auffangblacke" gewa hrleiste t werden , gena uer Blocke von Positionen , an denen alle Zahlen Nullen hab en . 1m folgenden Beweis verwend en wir Dezim alzahl en und die Blo cklan ge 1. Auffan gblocke sind nicht notig, da die Summe aller Ziffern an derselben Position durch die Kon struktion durch 5 beschr ankt ist und Ub ertrage ausgeschlossen sind. Theorem 6.3.1. SSS ist NP- vollstiindig . Beweis. Wir beschreiben eine polynomielle Reduktion von 3-SAT auf SSS. Wenn die 3-SAT-Eingabe m Klaus eln CI, . . . , Cm ent ha lt und n Vari abl en X l, .. • , X n verwendet , bild en wir 2n + 2m Zahlen ai , bi , 1 ::; i ::; n , d j , ej , 1 ::; j ::; m , mit je m + n Dezimalst ellen. Wir beschr eiben zunachst die hinteren n St ellen, die nur Nullen und Ein sen ent halte n. Die Zahl en a; und bi hab en gena u eine Eins an Position i und d j und ej best ehen an diesen Positionen a us lauter Nullen. Der gewilnschte Summenwert S hat an diesen St ellen nur Eins en (siehe Abbildung 6.3.1). Dami t ist sofort klar , dass wir gezwungen sind, fur je des i genau eine der Zahlen a ; od er b, auszuwa hlen, wah rend bei den Zahl en d j und ej noch freie Auswahl best eht. Die Int erp ret ation ist nun nahe liegend . Die Wahl von a, soll den Wert Xi = 1 reprasentieren und die Wahl von bi den Wert Xi = o. Wir codieren die Klau seln CI, ... ,Cm an den vorderen m Positionen der a- und b-Zahl en , fur je de Klau sel ist eine Po sition reserviert . Die Klau sel Cj ent ha lt dr ei Lit er ale und weist fiir ein Vorkommen von Xi der Zahl a, eine 1 zu, fiir X i bekommt bi an der entsprechenden Position eine 1. Wenn wir nun eine Vari abl enb elegun g wahl en und die zugehor ige Auswahl zwischen a; und bi treffen , erha lten wir an der Position fur Cj die Summe S j , wenn die Klau sel S j erfiillte Lit erale ent ha lt. Also sind die Klau seln genau dann gemeinsa m erfiillba r, wenn wir aus den a- und b-Zahlen ein e Auswahl treffen konn en , so dass die Summe an den ersten m St ellen Wert e aus {I , 2, 3} und an den hinteren n St ellen Einsen hat . Wir sind also noch nicht bei einer passenden SSS-Eingab e gelandet, da noch viele Summenwert e zur Erftillbarkeit der

86

6. NP -vollstii ndige und NP -iiquivalente Probleme

Kla useln aquivalent sind . Dies liisst sich durch Fiillelemente, niimlich die dund e-Zahlen, beheb en . Es ist dj = ej und beide Zahl en hab en an der j -te n Position von vorn eine 1 und sonst la ut er Nullen . SchlieBlich startet 8 mit m Dreien. Hat also die Auswah l von a- und b-Zah len an Position j einen Wert aus {I , 2, 3}, konnen wir durch Wahl von dj und ej od er dj od er keiner dieser Zahl en dort eine 3 erzeugen . Dies geht nicht , falls die Var iabl enb elegung Cj nicht erfullt. Dann ist die Summe der a- und b-Zahlen an Position j gena u o und dies kann mit d j und ej nur auf 2, aber nicht a uf 3 erhoht werden . Da alle Zahlen in polynomieller Zeit O((n +m)2) konstruiert werden konnen , hab en wir 3-SAT ~p SSS bewiesen . D

al a2 a3 a4

ci

C2

C3

Xj

X2

X3

X4

1

0

1

0

0

1

1

0 0

0 0 0

0 0

1

0 0 0 0 1

0 0 0

bl

0 0

b2 b3 b4

0 0

dl

1

d2

0 0 1 0 0 3

d3 ej e2 e3

S

1

1

0 0 1 0

1

1

1

0 0

0 3

1

0 0 0 0 0 0 0 0 0

3

1

1

0 0

1 0 0 0 1

A b b . 6 .3 .1. Ein Beispi el zur Red ukt ion 3-SAT = Xl + X2 + X 4 und C3 = Xl + X2 + X 3 ist .

0 0 0 1 0 0 0 0 0 0 0 0 1 ~p

1

0 0 0 1

0 0 0 0 0 0 0 1

1

0 0 0 1

0 0 0 0 0 0 1

SSS, wob ei

c i

=

Xl

+ X 2 + X3,

C2

K or olla r 6. 3 .2. KP und PARTITION sin d NP-vollstiindig. B e weis. KP ist offensichtlich eine Ver allgemeinerung von SSS. PARTITION ist dagegen der Sp ezialfall von SSS, bei dem der geforderte Summenwert 8 gleich der Halfte aller gegebe nen Zah len s, ist . Die Beziehung SSS ~p PARTITION ist dennoch leicht zu zeigen. Sei ( Sl , " " Sn, 8) eine Eingab e fur SSS, wobei wir 0 ~ 8 ~ 8* := S l + . .. + Sn annehmen konnen . W ir fugen den Zahlen Sl, ... , Sn die so gena nnte n erzwingenden Komponenten 28 * - 8 und 8 * + 8 hinzu . Dann ist die Gesamtsumme aller Zahl en 48* und wir miissen entsc heiden, ob es darunter eine Zahlenmenge mit Summe 28* gibt. Da (28* - 8) + (8* + 8) = 38* ist , miissen wir dab ei genau eine der Zah len 28 *- 8 oder 8 * + 8 verwend en . Gen au dann, wenn es ein I d, da bei d Nachbarn und mehr als d Farbe n die Nachb arn eines Knoten s beliebig gefarbt sein konnen , ohne dass wir ein Problem bekommen ,

7.1 Die Tr ennlinie zwischen einfac hen und schwierige n Varianten eines P robl em s

97

den Knot en seIber zu farben. Nach der Losung des beriihmten Vier-FarbenProblems ist jeder plan ar e Gr aph vierfarbbar und somit k-GC p 1 ftir k ~ 4 trivial und wie ob en angemerkt fi.ir k :s:; 2 effizient losbar . Dagegen ist das sehr spezielle Problem 3-4-GC p 1 NP-vollsUindig. Es handelt sich urn das Problem , ob ein plan ar er Gr aph mit maximalem Knotengrad 4 dreifarbbar ist . Diese letzt e Beh auptung folgt durch zwei polynomielle Reduktionen mit lokaler Er setzung, die 3-GC :S:;p 3-GC p l :S:;p 3-4-GC p l zeigen. Wir beginnen mit einer Ein gab e G fi.ir 3-GC und einer Einbettung von G in die Ebene mit Schnittpunkten . Abbildung 7.1.1 deutet an, wie wir eine Kante mit drei Schnittpunkten ersetzen. Dab ei ist P (siehe Abbildung 7.1.2) ein plan ar er Graph mit vier a uferen Knoten A , B , C und D . Durch Ausprobieren folgt leicht , dass je de Farbung von P mit drei Farbe n die beid en folgenden Eigenschaft en hat: - A und C erha lte n dieselbe Farb e und B und D erhalten dieselb e Farb e. - J ede Farbung f von A, B , C und D mit f(A) = f( C) und f(B ) = f(D) kann zu einer Farbung von P mit drei Farben erweite rt werd en .

Abb. 7.1.1. Die Beh andlung sich schneidender Kanten in 3-GC

~p

3-GC p j •

Diese Konstruktion sichert , dass in Abbildung 7.1.1 die Kno ten u und u' dieselb e Farbe und somit u und v verschiedene Farb en erha lte n. And erer seits lasst sich jede F arbung des nicht plan ar en Gr aphen in eine Farbung des plan ar en Gr aphen iibe rsetzen. 1m nachst en Schri tt solI ein Kno t en v mit Gr ad d > 4 ersetz t werd en d urch einen planaren Gr aphen Hd mit d "auBeren" Knoten , deren Gr ad durch 2 beschr ankt ist , und inneren Kno ten , deren Grad durch 4 beschrankt ist . AuBerdem solI dieser Gr aph gena u dann mit dr ei Farben farbbar sein, wenn die auBeren Knoten diese lbe Farbe erha lte n. Dann konnen die d Kanten , die an v anli egen , auf die d aufe ren Knoten des Graphen , der v reprasentiert , "verte ilt" werden , ohn e die F arbbarkeit seigenschaft en zu ver andern , Die Konstruktion ist in Abbildung 7.1.3 fi.ir d = 6 beschri eb en. Da die Knoten 1, 2 und 3 in H * nur Gr ad 2 hab en , konnen an ihnen zwei H * -Kopien verschmol zen werde n, ohne eine n Knoten mit mehr als vier Nachbarn zu erzeugen. AbschlieBend beh an deln wir das Meist erschaft sproblem CP mit n bet eiligt en Vereinen . Mit der a-Aufteilungs regel ist es polynomiell losbar. Dagegen ist es fi.ir die (O ,1,3)-Aufteilungsregel Nl-- vollstandlg. Dieses Ergebnis

98

7. Die Komplexitatsan alyse von P roblemen

Abb. 7.1.2. Der plan are Graph P.

Abb. 7.1.3. Die Ersetzung eines Knotens mit Grad 6 durch einen plan aren Graph en mit m axim alem Grad 4.

kann fur jedes b E Q, b > 1, b -I- 2 auf die (O,l ,b)-Aufteilungsregel ub ertragen werden. Dab ei lasst sich beispielsweise die (O ,1,3j2)-Aufteilungsregel als (O ,2,3)-Regel, also Punkte bei Niederlage, 2 Punkte bei Unent schieden und 3 Punkte bei Sieg, besser int erpreti eren . Reale Meist erschaftsprobleme sind spezieller als die bisher behandelt en Probleme, bei denen eine List e von noch auszufiihrenden Spielen gegebe n ist . Spielpl an e sehen Spielt age vor, an denen je der Verein genau ein Spiel au stragt . Das (O,1,3)-M eist er schaft sproblem ist selbst fur dr ei ausste hende Spielt age NP-vollst andig, wah rend es fiir zwei au sst ehende Spielt age polynomiell losbar ist . Dab ei ist abe r unkl ar , ob die vorgegeb enen Punktest ande auch in einem Spielplan mit Hin- und Ru ckrunde erreichbar sind. Darilber hin au s folgt die Spielpl angest altung zumindest in der deutschen Bundesliga (fur Fufball ) einem vorgegeb enen Schem a mit star-

°

7.2 P seudopolynomielle Algor it hmen und st arke NP-Voll sUindigkeit

99

ken "Lokalitiitseigenschafte n " . Bei der 3-Punkte-Regel ist unter dieser Einschriinkung das Meist erschaft sproblem ftlr O(logl/ 2n) aus st ehende Spielt age polynomiell losb ar, Ob es bei dieser Spielpl angest altung sogar stets effizient losb ar ist , ist ein offenes Problem .

B ei NP- vollstandigen und NP-aquivalent en Problem en lohnt sich die Uberlegung, ob vielleicht nus: Algorithmen fur eine speziellere Problemvariante benotiqt werden, und gegebenenfall s lohnt sich die Untersuchung der Komplexitiit des spezielleren Problems . An B eispielen haben wir gesehen, dass die Trennlinie zwischen einf achen und schwierigen Varianten eines Problems einen iiberroschenden Verlauf nehm en kann.

7.2 Pseudopolynomielle Algorithmen und starke NP-Vollstandigkeit In Kap it el 7.1 haben wir eine fur Anwendungen wichtige Moglichkeit, P robleme einzuschr iinken, nicht beh andelt , namlich die Beschriinkung der GroBe der in der Eingab e vorkommenden Zahl en . Wir betrachten hier nur naturliche Zahlen. Eingaben der Bitliinge n konnen Zahlen ent halten, die bezilglich n exponent iell groB sind . Andererseits benotigen die meist en Anwendungen nur Zahl en "moderat er" Crofe, Hier int eressieren also Probleme, bei denen Zahl en , deren Grofe nicht polynomiell in der Eingab eliinge beschriinkt ist , nicht sinnlos sind. Bei der Entscheidungsvariante des Cliquenproblems fragen wir fur einen Par am et er k nach der Existenz einer Clique der Gr oBe k . P rin zipi ell kann k eine beliebige natilrliche Zahl sein. Sinnvoll sind aber nur Werte, bei denen die Antwort nicht un abhiingig vom betracht et en Graphen ist , also Werte k E {2, . .. ,n}. Dami t ist das Cliquenproblem hier nicht von Inter esse. Gleiches gilt fur alle Vari anten des Cliquenpro blems , fur Uberwachungsprobleme , Teambildungsproblem e und Verifikationsprobleme. Dagegen sind Rundreiseprobleme, Ru cksackp robl eme, Aufteilungsprobleme , Flussprobleme, Meist erschaftsprobleme und zahlent heoretische Probleme von der Art , dass Zahl en , der en Wert e nicht polynomiell in der Eingabe liinge beschrankt sind, nicht prinzipiell sinnlos sind. Sie heiBen Problem e auf grojJen Zahlen (number problem s) . Fur schwierige, also z. B. NP-iiquivalent e Probleme st ellen wir un s die Frage, ob sie auch schwierig sind, wenn die in der Eingabe vorkommend en Zahl en po lynomiell in der E ingabe liinge beschriinkt sind. Eine Sonderrolle spielen za hlent heoret ische Problem e. Die E ingabe fur PRIMES besteht aus gena u einer Zahl in Biniird ar st ellung. Wenn wir die C rofe der Zahl pol yn omiell beschranken , fallt die E ingabeliinge aut omat isch exponentiell und die neue Zahl ha t wieder exponentielle Grofe bezogen auf ihr e Eingab eliinge. Dies ist bei den ande ren ob en erwiihnten Problemen ande rs . Wegen de r groBen Bedeut ung von Problembeschriinkungen a uf kleine Zahl en hab en Probleme auf

100

7. Die Kom plexit at sanalyse von P robleme n

groBen Zahl en , die bei derartigen Einschrankungen schwierig bleib en , eine besondere Bezeichnung erhalte n. Definition 7.2 .1.

Ein Entscheidungsproblem A auf gro Ben Zahl en heiBt

stark N P -v olls tiin dig (NP-complet e in t he strong sense), wenn es filr ein Po-

lynom p(n) und Einga ben, bei denen alle Zahlen aus N und bei Eingab elan ge n durch p(n) beschrankt sind , Nl -voilst andlg ist . Theorem 7.2 .2. Da s Rundreiseproblem T S P und da s M eisterschaftsproblem CP m it (0,1 , a )-Aufteilungsregel si n d stark NP- vollstiindig. Beweis. Wir wissen bereit s, dass T SP selbst dann Nl--volls t andlg ist , wenn die Dist an zen nur Wert e aus {1, 2} annehmen durfen, Die gr6Bte vorkommende Zahl ist dann n als Name des let zt en Ort es. CP ist filr die (0,1,3)-Aufteilun gsregel Nl--vollst andig und dami t sind die Zahl en in der Ein gab e durch die Anz ahl der bet eiligten Vereine und ausstehenden Spiele beschr ankt. D Der Begriff "st ark Nl-vollst andig" kann unter der Ann ahme NP i= P Problem e, die Nl--vollstandig sind, komplexit at stheoreti sch unterscheiden . Theorem 7.2 .3 . Fall s N P

i=

P ist, is t das Rucksackproblem KP nicht stark

NP-vollstiindig.

B eweis. Die Beh auptung wird durch die Angab e eines Algorithmus filr KP bewiesen , der fur polynomiell beschr ankte Gewicht swerte polynomielle Rechenzeit hat. Der Algorithmus folgt der Methode der dyn ami schen Progr ammierung. Mit KP(k , g), 1 ::::: k ::::: n , 0 ::::: 9 ::::: G , bezeichnen wir das Teilproblem , bei dem nur die ersten k Objekt e bet rachtet werd en und die Gewichtsgre nze 9 betragt . Es solI N (k, g) den gr6 Bten in KP (k , g) zu erreichende n Nut zen ange ben und D(k ,g) die Ent scheidung bei einer optimalen Bepackung des Ru cksacks, ob wir Ob jekt k einpacken (D (k, g ) = 1) od er nicht einpacken (D(k , g ) = 0). Zusatzlich legen wir fur nicht betracht ete Param et erwerte sinnvolle Werte fest : Es sei N (k , g ) = - 00 , falls 9 < 0 ist , und N (O, g) = N(k , 0) = D(k , 0) = 0 filr 9 ~ O. Der Algorithmus filllt nun zeilenweise eine Tab elle mit den Werten (N( k,g) ,D(k ,g)) . Bei der Betracht ung von KP( k, g) konnen wir Ob jekt k einpac ken und hab en uns nach dieser Ent scheidung den Nut zen ak gesichert, die Gewicht sgrenze filr die rest lichen Objekte auf 9 - gk gesenkt (eventuell ist g-gk < 0) und miissen dah erdas Problem KP( k -1 , g-gk) betracht en . Wenn wir Objekt k nicht einpacken, hab en wir es mit dem Problem KP(k - 1, g) zu t un. Also ist N(k ,g)

= m ax{ N(k - l ,g -

gk)

+ ak , N(k

- l , g)} .

Zusatzlich konnen wir D (k ,g) = 1 setzen, wenn N (k - 1,g - gk ) + ak ~ N(k - 1,g) ist , und ansonst en D(k ,g) = O. Die Berechnung von (N(k ,g) , D(k , g)) ist in Zeit 0(1) moglich. Die gesa mte Rechenzeit betragt O(n · G) und ist polynomiell beschr ankt , wenn G polyn omiell in n beschr ankt ist . D

7.2 Pseudopolynomielle Algorithmen und starke NP-Vollstiindigkeit

101

Wir nennen einen Algorithmus fur ein Problem auf groBen Zahl en pseudo polynomiell (pseudo-polynomial), wenn er fur jedes Pol ynom p(n) und Eingaben , bei denen alle Zahlen natlirliche durch p( n) in ihr er Gr oBe beschrankte Zahl en sind, eine polynomielle Rechenzeit hat. Unter der Annahme NP =I- P schlieBt ein pseudopolynomieller Algori thmus aus, dass das Problem stark Nl--vollstandig ist. Aus algorithmischer Sicht st ellt sich dieser Sachverhalt wie folgt dar : Falls N P =I- P ist, gibt es fur stark NP- voll stiindige Problem e nicht einmal ps eudopolynomi elle Algo rithmen .

Unt er diesen Gesichtspunkten lohnt ein Ru ckbli ck auf den Beweis von T heore m 6.3.1, also auf den Beweis, dass das spez ielle Rucksackproblem SSS NP-vollst andig ist . Bei der polynomiellen Reduktion von 3-SAT auf SSS wurden aus Eingab en mit m Klau seln und n Vari a bien Eingab en fur SSS gebildet, deren Dezim allan ge n + mist . Dies sind riesig groBe Zahl en. Ein e polynomielle Reduktion, die nur Zahlen erzeugt hatte, deren Gr oBe durch ein Polynom p(n , m ) beschrankt ist , hatte zur Kon sequ enz , dass NP = P ist. SchlieBlich ist nach Theorem 7.2.3 das Problem SSS auf kleinen Zahl en polynomiell losbar . Das Aufteilungsproblem BP ist selbst bei Beschr ankung a uf zwei Kisten NP-vollsUindig, aber mit dem pseudopolynomiellen Algorithmus fur SSS ebe nfalls pseudopolynomiell losbar. Etwas allgemeiner konnen wir fests tellen , dass Aufteilungsp robleme mit konst ant vielen Kist en pseudopolynomiell losbar und dam it unt er der Ann ahme NP =I- P nicht stark NP-vollstandig sind . Wir betracht en nun die gegente ilige Situati on fur Auft eilungsprobleme. Es gibt n = 3k Objekte und k Kist en der GroBe b. Die Objekt grofien al , "" an hab en die Eigens chaft , dass b/4 < a i < b/2 und a l + ... + an = k · b ist . Also passen in jed e Kist e mindest ens zwei und hochst ens drei der Objekt e. Nun ist zu entsc heide n, ob die Ob jekte in die k Kist en ver packt werden konnen. Im positiven Fall sind alle k Kisten voll gepac kt und jede Kist e enthiilt gena u drei Ob jekte. Dah er wird dieses Problem 3-PART1T10 N gena nnt. Im Gegensat z zu den Aufteilungsproblemen mit wenigen Kist en und vielen Objekt en pro Kist e ist dieses Aufteilungsproblem mit vielen Kist en und nur drei Obj ekten , die zusamme n in eine Kist e passen , stark NP-vollstandig. Theorem 7.2.4. 3-PARTI T I ON ist sta rk NP- vollstiindig . Wir verzicht en auf den t echnisch aufwa ndigen Beweis (siehe z. B. Garey und Johnson (1979)) . Dabei wird zunachst 3-DM auf ein Problem 4-PART1 T10N mit polynomiell groBen Zahlen und dann dieses Problem au f 3-PART1 T10N mit polynomiell groBen Zahl en polynomiell reduziert. Das Problem 4-PART1TION ist ana log zu 3-PA RT1TION so definiert , dass b/5 < a; < b/ 3 und n = 4k ist . Int eressant sind die beiden polynomiellen Redukt ionen, weil in ihn en ana log zum Beweis von 3-SAT :S;p SSS 1nformationen in Zahl en codiert werd en . Das Problem 3-PART1T10 N spielt eine wichtige

102

7. Die Komplexita tsan alyse von P roblemen

Roll e als Ausgan gsproblem , urn die st arke NP- Vollstiindigkeit anderer Problem e zu beweisen . Dieses wollen wir an den Lastverteilungsproblemen BP und SW1 demonstrier en.

Theorem 7.2.5. BP und SWI sin d st ark N P-volls tiin dig. Beweis. Die Aussage fur BP ist offensichtlich, da 3-PARTIT10N ein Sp ezialfall von BP ist . Zu m Beweis der Au ssage ftlr SW1 ge be n wir eine polynomielle Reduktion von 3-PART 1T 10N auf SW1 an und di skutieren hinterher die GroBe der betracht eten Zahl en. Die Eingab e fur 3-PART1TION besteht aus n = 3k , b und al , . .. , an mit b/4 < a; < b/2 und a l + ...+ an = k · b. Daraus kon struier en wir folgende Eingabe fur SW1 mit n Au fgab en A I , . .. , A n , die die Obj ekte a us der Eingab e fur 3-PART1TION reprasentieren , und k - 1 erzwing ende n Aufgab en E I , . .. , E k-l . Die Aufgab e A i darf sofort begonnen werden , d . h . r(A i ) = 0, ihre Dau er betriigt l(A i) = ai und sie mu ss zum Zeitpunkt kb + k - 1 beendet sein, d. h. d(A i ) = kb + k - 1. Der Wert k b + k - 1 wird der Gesamtliinge aller Aufgab en entspreche n. Die erzwinge nde n Aufgaben werden definiert durch r( E i) = i b + i - I, l(Ei) = 1 und d(Ei) = ib + i. Der Zeitpunkt ihrer Bearb eitung ist erzwunge n. Alle erzwinge nden Aufgaben zusam me n benoti gen eine Bearbeitungsd au er von k - 1 und erzwingen, dass die Aufgab en A I , . .. , An in k Blocke mit Bearbeitungsd au er b zerleg t werden . Daher erlaubt 3-PART 1T10 N genau dann eine Verpackung der n Objekte in k Kisten , wenn d ie n + k - 1 Aufgab en der E ingabe fur SW1 von eine m Prozessor unter Einhaltung der Nebe nbe dingunge n bearbeitet werden konnen . Die groBte in der Eingab e fur SW1 vorkommende Zahl ist offens ichtlich kb + k - 1. Wenn die Zahlen in der Eingab e fur 3-PART1T10N durch ein Pol ynom p( n ) beschriinkt sind, ist b S; p( n) un d k b + k - 1 S; k . (p( n) + 1) polynomiell in der An zahl n + k - 1 der Aufgab en beschrankt . Also folgt die st arke NP -Vollstii ndig keit von SW1 aus der starken NP -Vollstii ndig keit von 0 3-PART 1T 10 N.

7.3 Ein Uberblick tiber die betrachteten NP-Vollsttindigkeitsbeweise Im Laufe der let zt en vier Kapit el wurden viele Redukt ion en ent wor fen, die sich als polynomielle Reduktionen erwiesen hab en un d mi t den en di e NPVollst andigkeit oder sogar starke NP -Vollstiindi gkeit der Entscheidungsvarianten wichtiger P robleme bewiesen wurde. Diese Ergebnisse wer den in Abbildung 7.3.1 zusam me nge fasst . Mit N P( p(n )) werden dab ei alle Problem e bezeichnet, die nich tdeterminist isch in Zeit O(p(n)) von eine r stereot ype n Turingm aschine mit eine m Band entschiede n werden konnen . Die stark NP vollst iind igen Problem e auf groBen Zahl en sind eingerahmt . Die polynomiellen Reduktion en werden durch nach unten verl aufende Pfeile sy m bolisiert .

7.3 E in Ube rblick tib er di e bet racht et en NP-Vollst andigkeitsb eweise

103

NP(p(n)) +p(n)2 , (p(n) 2,p(n )2) SAT

+l,l 3-SAT

n +m, (n + m , n+ m) n

+m,

n +m, (n+ m ,n + m)

i.i

)G\n2,

k-SAT

2 2 \(n ,n )

(n, n+ m ¥

CLIQUE

j~ ~ 3

2

I

n +m, , (n ,m)

r

r

DHC

DH P

n +m, (n +m,n +m)

,(n +m,m) HC

2 +n ,n TSp 2,6, sym

(O,1,3) -C P 3 Spieltage

VC

3-4-GC p l

I n +m,

+(n, m)

IS

I

, (n + m, n + m)

n +m, (n+ m ,n+ m)

I n +m,

2)

"

3-GC p l MAX-k-SAT , n + m , s >: 3

k- G C , k :::: 3

(O,1,3)-CP

In ,(n:n

r

n +m, n+m

3-DM

+Zn++:,m) HP

+n2,n BMST

/

!4-PARTI TION

~ I

+ 13-PARTITIO N

SSS

n,/

~n

KP PARTITION

n , (n , n )

I

SC

~~ »: I I IT s p sym I IT SP I ISW I I IBP I

T SpN TSP 6

Abb. 7.3.1. E in Uberblick tib er NP -vo llstandige und stark NP -vollstand ige Problem e.

An ihn en st ehen die fur die Reduktion benotigt en Ressourcen , zunac hst die Rechenzeit und dann die GroBe der konstruierten Problem eingab e. Bei allen Angab en ist ein 0( ·) zu erg an zen . Bei SAT bezeichn et l die Eingabel ange. Abbildung 7.3.1 ist ein winziger Ausschnitt aus dem Gesamtbild bekannt er NP-Vollst andigkeit sbeweise. Es ist heute pr akti sch unrno glich, ein Gesamtbild zu erste llen. Darilber hin au s konnen wir davon ausge hen , dass sich das Ges amtbild fast t aglich andert . Es ist also eher untertrieben , wenn in Kapitel1 von tausenden von Nl--vollst andlgen Problemen geschriebe n wurde.

104

7. Die Komplexitatsanalyse von Problemen

Das Gesamtbild NP-vollstiindiger und NP -iiquivalenter Probleme ist un ilberschaubar. Das NP=/=P-Pmblem ist eine gmfle intellektuelle Herausforderung mit weitreichenden K onsequenzen.

8. Die Komplexitat von Approximationsproblemen - klassische Resultate

8.1 Komplexit.atsklassen Bisher hab en wir Optimierung als scharf formuliertes Krit eri um ver st an den . Nur die Berechnung einer bewiesenerm aBen opt imalen Losung za hlt als Ergebn is, alles andere ist ein Misserfolg. Falls wir ein Opt imierungsprobl em effizient exakt Iosen konnen , sollten wir dies auch tun . Allerdings sind sehr viele wichtige Optimierungsprobleme Nl-- aquivalent. Wenn wir fur derar tige P ro bleme effizient Losungen berechn en konnen , deren Wert ga ra nt iert nahe am Wert optimaler Losungen liegt , ist dies ein guter Ausweg a us dem (vermutet en) NP#P-Dilemma. Dies gilt fur Probleme aus realen Anwendungen, in denen die P ar am et er auf Schatzungen beruhen , no ch mehr, da exakte Optimierung unt er die sen Vorausset zun gen eine Fiktion ist . Fur Entscheidungsprobleme A bezeichn en wir die zugehorigen Optimierungsprobleme mit MAX-A bzw. MIN-A . Wir disku tieren also Op timierungsprobleme, bei denen es fur jede Eingab e x eine nicht leere Menge S (x ) zuliissiger Liisunqeri (solutions) gibt und jede Losung s E S( x) bezogen auf x einen posit iven Wert (valu e) v (x, s) hat . Diese Bedingungen t reffen auf die von uns betracht et en Optimierungsprobleme mit der Au sn ahme zu , dass man chmal Losun gen den Wert 0 hab en , so beim Cliquenprobl em die leere Menge od er beim Kn ot eniiberwachungsprobl em die leere Menge fur den Gr aphen ohne Kant en . Im erste n Fall konnen wir die leere Menge aus der Menge zulassiger Losun gen a usschlieBen , da es st et s t rivial berechenb ar e besser e Losungen gibt , namlich Cliquen de r Gr oBe 1. Im zweiten Fall konnen wir Gr aphen ohne Kanten von der Betrachtung ausschlieBen, ohne das Problem wesentlich zu verandern. Wir best ehen darauf, dass v (x, s) > 0 ist , damit wir durch v( x, s) dividieren konnen , Es ist unser Ziel, gute Losungen s E S( x) und deren Wert v (x, s) in polynomieller Zeit zu berechn en . Daher fordern wir, dass fur ein Pol ynom p jede Losung s E S( x) und deren Wert v (x, s ) eine durch p(lx l) beschr ankte Lange hab en . F ur die meist en Problem e werden die Wert e von Losungen ga nzzahlig sein. Eine Au snahme st ellt das Rundreiseproblem MIN-TSpd- Euklid dar. Schlief3lich mu ssen wir unterscheiden , ob wir an einer Losung mit rnoglichst groBem Wert (Maximierungsproblem , maximization problem) oder mit rnoglichst kleinem Wert (Minimierungsproblem , minimization problem) int eressiert sind. Die Gtite einer Losung s E S (x ) soll messen , "wie nah e" der Wert der Losung v (x, s ) I. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

106

8. Die Komplexit at von Approximationsproblemen - klassische Resultate

dem Wert eine r optimalen Losung Vopt (x ) fur die Eingabe x kommt . Diese Ub erl egung ist zwar gut motiviert, beinhaltet abe r auch das Problem , dass die Definition den unbekannten Wert Vo pt(x ) ent halt . Wenn wir Vo pt(x ) effizient berechn en konnen , lasst sich das dem Optimierungsproblem zugrunde liegende Au swertungsproblem in polyn omi eller Zeit losen , Wir hab en in Kapitel 4.2 diskutiert, dass dann in den meist en F allen auch das Optimierungsproblem polynomiell las bar ist. Wir werden also auf das Problem st oBen , Vo pt(x ) abschatzen zu mii ssen. Zun achst wollen wir form alisieren , wie wir die "Nahe" von v (x ,s) und Vo pt(x ) messen wollen . Die naheliegendste Id ee ist es wohl, die Differenz Vo pt(x ) - v(x, s) oder ihren Betrag zu betrachten. Dies ist jedoch in vielen F allen nicht angemessen . Eine Abweichung von 10 beim Aufteilungsproblem MIN -BP ist gravierend, wenn 18 Kist en aus reichen, sie ist abe r vertretbar, wenn wir 1800 Kist en br au chen . Beim MI N-TSP andern wir das Problem form al , abe r nicht inhaltlich, wenn wir die En t fernung in Met ern st att in Kilom etern ausdrucken. Gleiches gilt, wenn wir den Nutzen beim Rucksackp roblem MIN-KP durch Geldw erte beschreib en und von Euro in Cent wech seln . In beiden F allen wurde sich die Differenz Vo pt(x ) - v(x , s) urn einen kon st ant en Fakt or ver andern. Da die Differen z nur in Au sn ahmefallen die Cute eine r Losung geeignet misst, werden wir nur den ubli chen Otiteb egr iff verwenden , bei dem das Verhaltnis, also der Quotient , von Vopt (x ) und v(x, s) betrachtet wird . Die obe n beschrieb enen Problem e bei der Bet racht ung von Vo pt(x ) - v(x, s) treten dann nicht a uf. Wir folgen der Tr ad ition, bei Maximierungsproblem en den Quotient en VoPt (x )/v(x,s ) und bei Minimierungsproblemen den Qu otienten v(x, s)/vopt(x ) zu verw enden . Dies sichert , dass wir einheit lich Cut ewerte er halten , die mindesten s 1 betragen . Allerdings mtissen wir akze pt ieren , d ass bessere Losungen kleinere Gutewerte hab en als schlecht ere Losungen . Diese Definition wird bei Minimierungsproblemen einheit lich verwendet, wahrend bei Max imierungsproblem en in der Liter atur a uch der Quotient v(x , s)/vo pt (x ) verwendet wird . Fur Optimierungsproblem e ist die Approximationsgiite (approximation ratio) r (x, s) einer fur eine Eingabe x zulassigen Losung s definiert durch

- Vo Pt (x )/v(x, s) bei Maximierungsp roblem en und - v (x, s)/vo pt(x ) bei Minimierungsproblemen . Von eine m Optimierungsalgorithmus A erwarten wir , dass er fur jed e Eingab e x eine zul assige Losung SA (x ) berechn et , die von ihm fur x erre ichte Approximationsgute ist dann rA (x ) := r (x ,sA (X)). Die Losung wird auch fur e := C:A (X) := rA(x) - 1 als e- optitnol bezeichnet . Bei Mini mierungsproblem en liegt der Wert der berechn et en Losung urn 100· e % tib er dem Optimum, bei Max imierungsproblem en ist das Optimum 100 · e % grofer als der Wer t der berechn et en Losung, deren Wert 100·(c:/ (1+c:)) % kleiner als das Optimum ist . E be nso wie wir nicht die Rechenzeit tA( X) eines Algorithmus fur jed e Eingab e bet racht en , werd en wir an St elle von r A(X) die m aximale Approximationsgiite (worst- case ap proximat ion ratio)

8.1 Komplexitatskl assen

107

untersuchen . Die maximale Approximationsgiite kann man chm al nicht angemessen sein. So wird in Kapitel 8.2 ein effizient er Approximationsalgorithmus A fur das Auft eilungsproblem BP vorgest ellt , fur den 11 v (x, SA(X)) ::; 9 . Vopt( x)

+4

gilt . Also ist 11 rA( x) < - 9

4

+ --. VoPt (x )

Da VoPt( x) ~ 1 ist , folgt rA (n ) ::; 47/9. Da wir Probleme, bei denen alle Objekte in eine Kist e passen , effizient erkennen konnen , ben6tigen wir die Abschatzung nur fur VoPt (x ) ~ 2, was zu rA (n ) ::; 29/ 9 fuhrt . Fiir Problem e mit groBen Werten von VoPt (x) nah er t sich die Approximationsgiite jedo ch dem viel besseren Wert von 11/9 . Dah er benutzen wir die Bezeichnung asymptotische maximale Approximationsgiite rA' (asymptotic worst -case approximation ra tio) fur die kleinst e Zahl b, fiir die es fur jedes e > 0 einen Wert v (c) gibt, so dass fur alle x mit VoPt( x) ~ v (c) die Beziehung rA(X) ::; b + e gilt . Wir werden sehen, dass es Probleme gibt, fur die die kleinste in po lynomi eller Zeit erreichbare asymptot ische maximale Approxim ationsgiite unter der Hypothese NP i= P kleiner als die kleinst e in polynomieller Zeit erreichb ar e maximale Approximationsgiit e ist . Ein Approximationsproblem (approximation problem) ist ein Optimierungsproblem , bei dem nicht notwendigerweise die Berechnung einer optimalen Losung verlan gt wird , sondern es ausreicht , eine vorgegeb ene (asymptotische) maximale Approximationsgiit e in polynomieller Zeit zu erreichen. Damit stellt sich die Frage nach der Komplexit at von Approximationsproblem en . Wir k6nnen uns auch fragen , ab welcher Approximationsgiit e die Komplexit at von "NP-aquivalent " in " polynomiell losbar " um schlagt . Bei Op timierungsproblemen konnten wir un s auf die Beh andlung ihr er Entscheidungsvariant en zuriickziehen. Fiir Approximationsprobl eme gibt es eine sinnvolle Variante als Auswertungsprobl em . Bei Maximieru ngsproblemen konnen wir verl an gen , eine Schr anke b zu berechnen , so dass der Wert einer optimalen Losung in [b, b- (1 + c)] liegt , bei Minimierungsproblemen sollt e der Wert optimaler L6sung en in [b/(1 + c) , b] liegen . Allerdings gibt es keine sinnvollen Entscheidungsvari ant en . Die Frage, ob der Wert optimaler L6sungen in [b, b . (1 + c)] liegt , erfordert bei Maximi erungsproblemen fur Ein gab en x mit v (x, s ) ::; b fur alle s E S( x) eine Aussage iiber den optimalen Wert der Losung. Un sere Definiti onen erla ube n auch t riviale Losungen . So konnen wir beim Cliquenproblem stets einen Kno t en als Clique der Gr6 Be 1 ausgebe n und er ha lte n eine Approxim ationsgiite von hochst ens n , Indem wir fur konst antes k alle Kno tenmengen mit hochst ens k Kno t en in polynomieller Zeit dar auf

108

8. Die Komplexitat von Approximationsproblemen - klassische Resultat e

ub erprufen , ob sie eine Clique bilden, und dann die gr6Bte gefundene Clique als Losung pr asentieren , garantieren wir eine Ap proxim ationsgute von nl k. Interessant werden erst Approxim ationsgtit en , die " nicht trivial" erre ichbar sind. Definition 8.1.1. Es sei r: N ----; [1 , (0) mit r (n + 1) 2': r (n ) gegebe n. Die Kornplexit atsklasse APX(r( n)) ent ha lt alle Approximationsprobleme, die mit maximaler Approximationsgtite r A(n ) :::; r( n) durch einen polynomiellen Algorithmus A gel6st werd en konnen. Mit APX wird die Vereinigung aller APX(c), c 2': 1, bezeichnet , also die Klasse aller Approximationsprobleme, die in pol ynomieller Zeit mit konstanter max imaler Approximationsgtit e gel6st werden konnen. Mit APX* wird der Durchschnit t aller APX(c), c > 1, bezeichnet. Die Definition von APX* verlan gt fur jed es c > 1 einen APX(c)-Algorithmus. Dies impli ziert aber nicht die Exi st enz eines Algorithmus, der bei Eingab e von E: > 0 die Berechnung einer s-optimalen Losung erm6g licht . Ein der artiger Algorithmus har t e jedoch den Vorteil, dass die Anwenderinnen un d Anwender selbst die gewtinschte Approxi mationsglite vorgebe n konnen . Definition 8 .1.2. Ein polynomielles Approximationsschema (p olynomialtime approximation scheme , P TAS) fur ein Approximationsp roblem ist ein Algorithmus A , der auf Eingab en (x , E:) arbe itet, wobei x eine Eingabe fur das P roblem und E: > 0 eine rationale Zahl ist , und fur fest gewa hltes E: in polynomieller Zeit bezogen auf die Lan ge von x eine Losung mit maximaler Approximationsgut e 1 + E: berechnet. Die Komplexitatsklasse PTAS ent ha lt alle Optimierungsprobleme, ftir die es ein polynomielles Approximationsscherna gibt. Selbst mit einem PTAS erfullen sich nicht alle W tinsche. Rechenzeit en wie 8(n l / t: ) oder 8(n · 21/ t: ) sind zugelassen, da sie fur konst ant es E: polynomiell sind. Allerdings sind der ar ti ge Rechenzeit en ftir kleines E: nicht tolerabel - im Gegensat z zu Rechenzeit en wie 8 (n IE: ). Definition 8.1.3. Ein echt polyno m ielles Approxirnation sschem a (fully polynom ial-time approximat ion scheme, FPTAS) ist ein P TAS , bei dem die Rechenzeit durch ein Pol ynom beztiglich der Lan ge von x und des Wertes von l i E: besc hrankt ist . Die Komplexitatsklasse FPTAS ent ha lt alle Op tirni eru ngs pro bleme, fur die es ein echt polynom ielles Approximationsschem a gibt. "Venn wir P auf Op timierungsprobleme einschra nken, gilt P 0 vorgegebe n und L := al + .. . + an die Gesamtdau er fur alle Aufg ab en . Ein e Aufgabe wird nun als groB bezeichnet , wenn ihre Bearbeitungsd au er mindest ens el. betragt . Dann ist die Anzahl groBer Aufg aben durch die Konstante L1/eJ beschr ankt und es gibt "nur " hochst ens c := 2 L1/ cJ Aufteilungen der groBen Aufgab en auf die beiden Prozessoren . Fur jed e Auft eilung der groBen Aufgab en werden die kleinen Aufgab en "g ierig" verteilt , es wird also stets der weniger ausgelastete Prozessor gewiihlt. Yon den hochstens c Losungen wird die beste gewahlt. Die benotigt e Rechenzeit von O(nc) ist fur konst ant es e linear , ab er kein Pol ynom in n und l / e. Wir vergleichen nun die maximale Belastung in einer optimalen Losung mit der maximalen Belastung in der Approximationslosung. Die optimale Losung verteilt die groBen Aufgab en ebe nfalls auf die beiden Prozessoren und wir untersuchen den Losungsversu ch, den der Approximationsalgori thmus mit der selb en Aufteilung der groBen Aufga ben begonn en hat. Wenn alle kleinen Aufg ab en an den durch die groBen Aufgaben weniger ausgelastete n P rozessor gegeben werden konnen , ohne die Last des anderen P rozessor s zu tib ert reffen , liefert der Approximationsalgorithmus eine optimale Losung. Anson st en sichert der gierige Algorithmus, dass sich die Last der beiden Prozessoren urn weniger als e l, unt erscheid et .

112

8. Die Komplexitat von Approximationsproblem en - klassische Resultat e

Damit ist die graBere Last hochstens urn el. / 2 grofe r als die Last beid er Prozessoren bei gleichmafiiger Auslastung. Bei gleicher Ausl astung betragt die Last beid er Prozessoren L /2. Fur die Eingab e x ist Vopt (x ) ~ L /2 und v (x, s) :::; L /2 + eL/2 = (1 + e)L/2 . Damit ist die Losung e-optimal und wir hab en ein PTAS entworfen. Ab schli eBend sollen Id een fiir ein FPTAS fur das Rucksackproblem MAXKP diskutiert werden (sieh e auch Hrornkovic (1997)) . Im Beweis von Theorem 7.2.3 haben wir mit der Methode der dynamischen Programmierung eine n pseudopolynomiellen Algorithmus fur das Rucksackproblem vorgestellt, der fur polynomiell beschrankte Gewichtswerte polynomiell zeit beschra nkt ist . Auf ahnliche Weise kann ein pseudopolynomieller Algorithmus entworfen werden , der fur polynomiell beschrankte Nutzenwerte und beliebi ge Gewichtswerte polynomiell zeit beschrankt ist. Wir betrachten nun beliebige Eingaben x fur das Ru cksackproblem . Dab ei konnen wir allerdings anne hme n, dass gi :::; G ftlr jed es Ob jekt i ist . Wenn wir die Nutzenw erte andern, verandern wir nicht die Menge zulassiger Losungen , also die Menge der Ru cksackbepackunge n , die das Gewicht slimit einhalten. Die Idee besteht darin, die Nutzenwerte zu verkleinern, ind em wir a; durch a~ := la i ' 2- t J fur ein ganzza hliges t > 0 zu ersetzen. Bildlich gesproc he n st reiche n wir die hinteren t St ellen in der Binardarstellung von a i ' Wenn wir t grof genug wahlen , werden die Nutzenwerte polynomiell klein . Wir losen das Problem x' mit den Nutzenwerten a~ . Die gefunde ne optimale Losung s ist auch fur das Problem x" mit den Nutzenwerten a~' := a~ . 2t optimal. Als Losung s* fur x wahl en wir a us s und der Losung, die nur das Ob jekt mit dem grofiten Nutzen a max wahlt , d ie bessere Losung. Wenn wir t zu grof wahlen , sind sich d ie Problem e x und x" zu un ahnlich, so dass s* nicht gu t sein muss. Wenn wir t zu klein wahlen , sind die Nutzenwerte so groB, dass der pseudopolynomielle Algorithmus keine polynomielle Laufzeit hat. Es gibt abe r eine n passenden Wert fur t, so dass die Approximationsgiit e durch 1 + e und die Rechenz eit durch O(n 3 / e) beschrankt ist. Damit erhalten wir ein FPTAS fur MAX-KP. W ir fass en die in polynomieller Zeit erreichbaren Approximationsgtlten zusamme n : - O (n/log 2 n) fur MAX-CLIQUE, - O(logn) fur MI N-SC , - 2 fur MI N-V C , - 8/7 fur MAX-3-SAT , - 3/2 fur MIN-BP, - 3/2 filr MIN-TSPL:., - PTAS ftir MIN_TSpd-Euklid, MIN-VCpl anar und MAX-IPplanafl - FPTAS fur Lastverteilung auf zwei Prozessor en und MAX-KP, - asympt ot isches FPTAS fur MIN -BP.

8.3 Die Liickentechnik

113

8.3 D ie Liickent e ch nik Wir untersuchen nun, welche Approximationsprobleme schwierig sind . Da die von uns betrachteten Optimierungsprobleme NP-einfach sind, gilt dies auch fur die zugehorigen Approximationsvari anten. Sind sie auch noch NPschwierig, sind sie also sogar NP-aquivalent. Eine zentrale Technik fur derart ige Ergebnisse ist die so genannte Liickeniechsuk (gap technique) . Ihr Grundprinzip ist sehr einfach zu er lautern. Wenn wir ein Optimierungsproblem haben, fur das der Wert zulassiger Losungen entweder hoch st ens a oder mindestens b > a ist , und es NP-schwierig ist , Eingaben vom ersten Typ von Eingaben vom zweit en Typ zu unterscheiden, dann ist es NPschwierig, eine maximale Approximationsgute zu erreichen , die kleiner als bja ist. Mit einer derartigen Approximationsgiite erha lte n wir bei Maximierungsproblem en fiir Eingab en x mit Vopt(x) ::; a auch nur Losungen s mit v( x, s) ::; a. Dagegen erh alten wir fur Eingaben x mit Vo pt (x ) ::::: b Losungen s mit Vopt( x) j v( x , s) < bja, also ist

V(x , s) > a · Vopt(x )jb::::: a. Die Liickeneigenschaft impliziert, dass soga r v( x, s) ::::: b ist. Es gelingt uns also, Eingaben x mit Vopt (x ) ::; a von Eingaben x mit Vopt(x) ::::: b zu trennen. Die Ub erlegungen fur Minimierungsprobleme verlaufen analog. Wir wollen die ob en beschriebenen Probleme (a, b)-Luckenprobleme nennen. B e m e r k u n g 8.3.1. Ist ein (a , b)-Liickenproblem NP-schwierig, dann ist es fur das zugehorige Optimierungsproblem NP-schwierig, eine maximale Approximationsgiite zu erzielen, die kleiner als bja ist .

Wie abe r erhalte n wir (a, b)-Liickenprobleme? Liickenproblem e konnen sich bei polynomiellen Reduktionen ergebe n. Wenn wir ein NP-schwieriges Problem polynomiell auf ein Entscheidungsproblem reduzieren , bei dem zu entscheiden ist , ob ein Maximierungsproblem eine Losung mit Mind estwert b hat, und wenn dab ei abzulehnende Eingaben nur Losungen mit Maximalwert a haben , dann hab en wir ein NP-schwieriges (a, b)-Liickenproblem erhalt en . Am best en ware es, wenn im Theorem von Cook die konstruierten Ein gab en fur SAT eine groBe Liicke hatton, wenn also entweder alle Klauseln erfullbar sind od er nur ein Anteil a < 1. Leider liefert der Beweis des Theorems von Cook kein der artiges Ergebnis. Wir konnen st ets alle Klauseln bis auf eine erftillen, ind em wir die Vari abl en so belegen, dass sie eine Rechnung der Turin gmaschine simuli eren. Dann sind mindestens alle Klauseln mit Ausnahme der Klausel, die ub erpruft , ob der letzte Zust and akzept ierend ist, erfiillt . Dennoch gibt es eine sehr einfache Anwendung der Liickentechnik. In der polynomiellen Reduktion von HC auf TSP (Theorem 4.3.1) wurden Kanten durch Distanzwerte 1 und fehlende Kanten durch Distanzwerte 2 erset zt . Rundreisen, die auf hamiltonschen Kr eisen im Gr aph beruhen , hab en dann Kosten n und andere Rundreisen Mind estkost en von n + 1. Dies ergibt das

114

8. Die Kornpl exit at von Approxim ationsproblemen - klassische Resul t ate

bescheid ene Ergebnis eines NP-schwierigen (n , n+ l.j-Luckenproblems. In diesem Fall kann die Lucke leicht vergrofert werden, indem wir die Dist an zwerte 2 durch beliebi ge polynomiell lange Zahlen , also z.B. n2 n , erse tzen. Damit hab en Rundreisen , die nicht auf hamiltonschen Krei sen im Graphen beruhen , Mindestkosten von n 2n +n -1 und TSP ist ein NP-schwieriges (n , n2 n +n -1)Luckenproblem.

Theorem 8 .3.2. Falls NP =1= P ist, gibt es kein en polynomiellen Algorithmus fur MIN- TSP mit maximal er Approximation sgut e 2n . Das Rundreiseproblem ist in seine r allgemeine n Form also sogar fur exponentielle Approximationsguten schwierig, wiihr end das Ru cksackproblem mit eine m FPTAS zu losen ist. Dies ist ein Beispi el, wie die An alys e der Approximationsvarianten eine fein ere Komplexitiitsan alys e liefert als die Betrachtung der reinen Optimierungsvarianten . Es ist aber selten so einfach wie fur das Rundreiseproblem , die Schwierigkeit fur sehr groBe Approximationsgu t en nachzuweisen . Fur die meist en von uns bet rachtet en Optimierungsproblem e erhalten wir mit der Lu ckentechnik zumindest ens schwache Nichtapproximierbarkeitsresultate. Ein Optimierungsproblem wird als Problem mit kleinen Los unqsuierten bezeichnet, wenn die Werte aller Losungen positiv , ga nzzahlig und polynomiell in der Eingab eliinge beschr iinkt sind . Dies gilt fur alle Aufteilungsprobleme, Ub erwachungsproblem e, Cliquenprobleme, Teambildungsp robleme und die Optimier un gsvarianten der Verifikationsproblem e. Es gilt a uch fur Problem e auf groBen Zahlen, also Rundreiseproblem e und Rucksackprobl eme, wenn wir d ie Zahlen in der Eingabe in ihre r GroBe polynomiell in der E ingabe liinge beschr iinken . Es ist also gar nicht nahe liegend, sich ein P roblem auszude nken, das selbst bei Einschr iinkung a uf klein e Zahlen in der Eingabe kein Problem mit kleinen Losungswerten ist . So ein Problem entsteht , wenn wir die Kost en beim R undreiseproblem als Produkt der Distan zwerte definieren.

Theorem 8.3.3. Falls NP =1= P isi, haben NP- schwierige Problem e mit kleinen Losunqsuiert eti kein FP TAS. Beweis. Es sei p(n) eine polynomielle Schranke fur die Losungswerte. Ein F P TAS ist fur e(n ) := l /p(n) ein pol ynomieller Approximationsalgorithmus, da die Rechenzeit polynomiell in der Eingab eliinge n und l / e(n) = p(n) beschra nkt ist . Da nach Vorau ssetzung NP =1= P und das P robl em NP -schwierig ist, berechn et dieser Algorithmus nicht auf allen Eingab en eine op t imale Losung. SchlieBlich liegen die Losungswerte in {1, ... , p(n)} und jed es nicht optimale Ergebnis fiihrt dazu , dass d ie maximale Approximationsgtite mi ndest ens

p(n) /(p( n) - 1)

= 1 + l /(p(n) -

ist im Widerspruch zur Annahme.

1)

> 1 + e(n )

o

8.3 Die Liickent echn ik

115

Dies es Ergebnis hat besonders fur Optimierungsprobleme, deren Entscheidungsvarianten st ark NP-vollstandig sind, Konsequenzen . Wir nennen diese Optimierungsprobleme stark NP-schwierig. Wenn die Einsch rankung auf die NP-schwierige Vari ante mit polynomiell groBen Zahlen ein Problem mit kleinen Losungswerten ist , kann Theorem 8.3.3 an gewendet werden. Crofere Lucken erhalt en wir fur Optimierungsprobleme, bei den en die Entscheidungsvariante schon fur kleine Zahlen NP- vollstandig ist .

Theore m 8.3.4. Falls NP =I- P ist und fur ein Minimierungsproblem mit ganzzahligen Liisunqsuiert eti die Entscheidung, ob Vopt (x) :s; kist, NPschwierig ist, dann gibt es kein en polynomiellen Algorithmus mit einer maxim alen Approximoiionsqiite, die kleiner als 1 + l /k ist . Gleiches gilt fur Maximierungsprobl em e und die Entscheidung , ob Vopt(x) :::: k + 1 ist. B e we is. Der Beweis erfolgt durch Widerspruch. Wir benutzen den polynomiell en Algorithmus A mit rA(n) < 1 + l /k zur Losung des Entscheidungsproblems. Die Eingabe wird gen au dann akzept iert , wenn A eine Losung s mit v( x, s) :s; k liefert . Falls es eine Losung s mit v (x, s) :s; k gibt und A eine Losung s' mit v (x , s') :::: k + 1 berechnet, betragt seine maximale Approximationsgute mindestens (k + 1)/k = 1 + l /k im Widerspruch zur Annahme. D

K or ollar 8.3.5. Falls NP =I- P ist , hat das Graphfarbung sproblem MIN-GC keinen polynomiellen Algorithmus mit einer maximalen Approximaiionsqiite klein er als 4/3 und das Aufteilungsproblem MIN-BP kein en polynomiellen Algorithmus mit ein er maximalen Approximationsqiite klein er als 3/2 . B e weis . FUr GC ist die ,,:S; 3-Variante" (Korollar 6.5.3) und fur BP die ,,:S; 2-Variante" und soga r deren Spezialfall PARTITION (Korollar 6.3.2) NPvollst andig.

D

Unsere E rgebnisse fur MIN-BP zeigen , dass sich die Begriffe "i n polynornieller Zeit erreichbare maximale ApproximationsgUte" und " in po lynomieller Zeit erreichbare asymptotische maximale Approximationsgute" unterscheiden , falls NP =I- P ist . Der erste Param et er ist dann 3/2 und der zweite l. Fur GC gibt es viel bessere Ergebnisse. Dennoch wollen wir mit den bisher behandelten klassi schen Methoden zeigen , dass, falls NP =I- P ist , in polynomieller Zeit auch kein e asymptotische m aximale Approximat.ionsgute von kleiner als 4/ 3 erreichbar ist . Dafur betrachten wir eine n Graphen G = (V, E) mit minimaler Farbungszahl X(G) . Wir erzeugen in polynomieller Zeit einen Graphen Gk = (Vk, Ek) mit X(Gk) = k· X(G) . Die (3,4)-LUcke wird also zu einer (3k ,4k)-Lucke, also eine r LUcke mit dem Quotienten 4/3 fur beliebig groBe Farbungszahlen. Die Konstruktion erset zt jeden Knoten v von G durch eine k-Clique. Knoten aus zwei verschiedenen k-Cliquen werden genau dann durch Kanten verbunden , wenn die Knoten in G , die ihr e k-Cliquen re prasent ieren , durch eine Kan t e

116

8. Die Komplexit at von Approxim at ionsproblemen - klassische Resultate

verbunden sind. Aus einer m-Farbung fur G erhalten wir eine km-F arbung fur Gk, inde m wir fur jede Farbe k neu e Farben wahlen und die k-Cli que fur eine n mit Farbe c gefar bten Knoten v mit den k Fa rbe n, die c ersetzen , farb en . Andererseits mussen die Clique n k vers chieden e Farb en erhalt en und alle Knoten in zwei Cliquen, die ver bunden sind , verschied en e Farb en erhalten. Also kommen wir nich t mit wen iger als k· X(G) Farben fur Gk aus. Zusammen gefasst haben wir mit de n Ergebnissen aus Kapi t el 8.2 und einfache n Anwendungen der Ltickentechnik unter de r Annahme NP =I P folgende Ergebnisse gezeigt: - MAX -KP E F P TAS - P , - MIN-BP E APX - P TAS , MIN-GC rt PTAS, - MIN-TSP rt APX. Das in Kapitel 12 vor gest ellt e P CP-Theorem liefer t eine Methode, urn die Lu ckentechnik auf weitau s mehr Problem e anz uwende n .

8.4 Approximationserhaltende Reduktionen Mit T heorem 8.3.3 konnen wir unt er der Annahme NP =I P fur viele Problem e die Existen z eines FPTAS aussc hlieBen. Negative Au ssagen tiber die Zugeh ori gkeit zu PTAS und APX sind seltener. Dah er sind wir an Redukt ionskonze pten inter essiert, die derartige Aussagen von eine m Problem auf ein ande res tibert rage n . Was erwarten wir von Reduktionskonzepten ,,:::;P TAS" od er ,,:::;APX "? Sie sollen reflexiv und tran sitiv sein und A :::;PTAS B soll sicherstellen, dass A E PTAS ist , wenn B E PTAS ist , analog fur ,, :::;AP X '" Wi e bei polynomiellen Reduktionen soll das Unt erprogramm fur B nur einmal aufgerufen werden . Dies kann jed och nicht wie be i pol ynomi ellen Redukti onen ga nz am Ende gesche hen . Wir erhalten als E rgeb nis des Aufrufs des Unterprogr amms die Losung fur eine Eingabe des Problems B , d ie meist ens nicht direkt als Losung fur die gege be ne Ein gab e des Problems A verwendet werden kann. Wir benotigen also eine effizient berechen bare Tr an sformation , die gute Approximatlonslosungen fur Ei ngaben des Problems B in "gentigend gute" Approx imati onslOsunge n ftir die vorgege be ne Eingab e des Problem s A umformt. Definition 8.4.1. Eine P TA S-Reduktion eines Optimierungsproblems A auf ein Optimierungsproblem B , Notation A :::;PTAS B , besteht aus einem Tripel (f, g, a) von Ab bildungen mit folgenden E igenschaften :

- f bildet Eingab en x des Problems A auf Eingab en f( x) des P rob lem s B ab und ist in pol ynomieller Zeit berechenb ar , - 9 bildet Tr ipel aus Eingab en x des Problems A , Losungen y ESB (f (x)) und Zahlen e E Q+ auf Losungen g( x, y , c ) E SA (x) a b und ist in polyn omieller Zeit berechenbar ,

8.4 Approximationserhal tende Reduktionen

117

- ex: Q+ -+ Q+ ist eine surjektive, in pol ynomieller Zeit berechenbare Funktion , - falls TB(f (x) , y) :'::: 1 + ex(e) ist , gilt TA(x , g(x , y, c:)) :'::: 1 + e. (Die Indizes A und B bezeichnen die betracht et en Probleme und nicht Algorithmen .) Wir werden in den folgenden Betrachtun gen sehen , dass diese Definition allen Anforderungen gerecht wird. AuBerdem sind die Anforderungen "sparsam" realisiert. So muss 9 nur fur Eingaben von B definiert sein, die sich aus Eingab en fur A mit f er zeugen lassen. Lemma 8.4.2. Falls A

:'::: P TAS

B und B E PTAS gelten, ist A E PTAS.

Beweis. Die Eingab e fur ein PTAS fur A best eht aus einer Eingabe x fur A und einem c: E Q+. Wir berechnen in polynomieller Zeit f( x) und ex(c:) , wenden das PTAS filr B a uf (f( x) , ex(c:)) an und erhalten eine ex (c:)-opt imale Losung y E SB(f( X)). Dann berechnen wir in polynomieller Zeit g(x ,y, c:) E SA (x) und gebe n das R esultat als Losung fur x aus. Die letzte Eig enschaft von PTAS-Reduktionen sich ert , dass g(x ,y,c:) s-opt lmal filr x ist. 0 Lemma 8.4.3. Falls A

:':::PTAS

B und B E APX gelten , ist A E APX.

Beweis. Da B E APX ist , gibt es einen polynomiellen Approximationsalgorit hmus fur B , der J-optimale Losungen fur ein J E Q+ berechnet. Da die Funktion ex aus der PTAS-Reduktion von A a uf B surje kt iv ist, gibt es ein c: E Q+ mit ex(c:) = J . Nun konnen wir den Beweis von Lemma 8.4 .2 fur dieses konstante e > 0 ub ernehmen und erhalte n eine n polynomiellen Approximationsalgorithmus fur A , der s-opt imale Losungen ga rant iert. 0 Damit beno ti gen wir kein spezielles Reduktionskonzept ,,:':::AP X ". Der Vollst andigkeit halber erwahne n wir , dass ,, :':::PTAS" reflexiv und transitiv ist . Die Au ssage A :'::: P TAS A folgt , wenn wir f( x) = x, g(x , y, s ) = y und ex(c:) = e definieren . Wenn (fI,gl ,exd eine P TAS-Reduktion von A auf B und (f2 ,g2, ex2) eine PTAS-Reduktion von B auf C ist, dann erhalten wir , wie in Abbildung 8.4.1 illu strier t, eine P TAS-Reduktion (f,g ,ex) von A auf C . Dabei ist f = h 0 fI und ex = ex2 0 exl . SchlieBlich ist

g(x ,y, c:) = gl( x ,g2(fI(x),y , exl(C:)),C:). Ei nige der von uns bereits entworfenen pol ynorni ellen Reduktionen erweisen sich als PTAS-Reduktionen fur die zugehorigen Optimierungsproblem e, wob ei die Transformation 9 in den Korrektheit sb eweisen verst eckt war. Theorem 8.4.4. Es gilt

- MAX- 3-SAT :'::: PTAS MAX-CLIQUE und - MAX-CLIQUE =PTAS MAX-IS.

118

8. Die Komplexitat von Approximationsproblemen - klassische Resultate

Y

(x , c) i v.« :

= 91( x, Y1, c)

s-opt imal fur A

1

1

91

Y1 = 92 (h(X) ,Y2,Cq(c)) 0:1

(c)-opt imal fur B

h,0 i. Die unb ekan nt e Funkt ion hat eine Dar st ellung f( x) = Wo +

L l ~ i ~n

WiXi

+

L

WijXiX j'

l ~ i <j ~ n

Dah er konnen die unb ekannt en Par ameter wie folgt berechnet werden:

126

9. Die Komplexitat von Black-Box-P roblemen

- Wo = j(eo), - Wi = j(ei) - Wo und - Wi j = j (eij ) - Wo - Wi - Wj' SchlieBlich kann j mit einem exponent iellen Algorit hmus maximiert werd en . Damit die Anforderungen an Black-Box-Algorithmen er fullt werden, ste llt der optimale Punkt Xa pt die let zt e Anfr age an die Black Box dar. Derart ige Algorithmen wollen wir eigent lich nicht zur Konkurrenz zulassen. Ein Ausweg best eht darin, die Rechenzeit auBerha lb der Black-Box-Anfragen zu beschr anken , beispielsweise polynomiell. Dies erleichtert bish er nicht den Beweis unterer Schr anken fur die Black-Box-Kornplexit at konkret er Probleme. Der ar t ige Schranken werden wir namli ch in Kapitel 9.3 ohne kornplexitat stheoreti sche Ann ahme wie P i= NP od er RP i= NP beweisen . Ein anderer Ausweg best eht darin , die An zahl der (x, j (x ))-Paare, die ab gesp eichert werden durfen , so zu beschr anken , wie es die meist en randomisiert en Suchheurist iken realisieren . Hier sind wir je doch mehr an unteren Schranken int eressiert und konnen festhalten :

Ein Problem mit exponentieUer Black-Box-Komplexitiit liisst sich durch randomi sierte Suchheuristiken nicht ejfizie nt loseti. In Kapitel 9.2 ste llen wir mit dem Minim ax-Prinzip von Yao (1977) eine Methode vor , die es uns errnoglicht, untere Schranken fur die Black-BoxKornpl exitat konkret er P robleme zu beweisen . Diese Method e wend en wir in Kapi t el 9.3 auf ausgewa hlte P robl eme an.

9.2 Das Minimax-Prinzip von Yao Mit dem Minim ax-Prinzip von Yao (1977) wollen wir die bis heute einzige Method e vorst ellen , mit der unt ere Schr anken fur alle randomisierten Suchheuristiken und ausgewa hlte Problemkl assen bewiesen werd en konnen . Dazu miissen wir F n auf endliche Klassen von P robl emen einschranken, Da S n endlich ist, gentigt es, den Bildbereich der zu optimierenden Funkti on a uf eine endliche Menge wie {a, 1, .. . , N} zu beschranken . Es folgt , dass es nur endlich viele verschiedene "sinnvolle" determinist ische Suchheuristiken gibt. Sin nvoll bed eut et , dass wir eine Anfr age an die Black Box nie wiederholen . Zwar wahl en randomisier t e Suchh eurist iken Suchpunkte wiederholt aus, a ber die wiederholte Anfr age an die Black Box kann vermieden werd en, da die Antwort von der ersten Anfr age her bekannt ist. Also gibt es nur endlich viele mogliche Anfr agen und nur endlich viele mogliche Antworten auf jede Anfrage und dah er au ch nur endlich viele det erminist ische Suchheuris ti ken. Wir hab en es zwar nur mit einer handelnd en Person zu tun , namli ch der Person , die eine randomisiert e Suchh euri stik entwirft oder auswa hlt, aber es ist hilfr eich, sich neben dieser Pers on einen Gegner vorzust ellen , der die

9.2 Das Minimax-Prinzip von Yao

127

zu optimier end e Funktion f E F n mit dem Ziel auswahlt, die Suchzeit zu maximieren . Wir modellieren un ser Problem als Spiel zwischen Eva , der Entwerferin der randomisierten Suchheuristik A , und Thomas, dem Teufel od er Gegn er , der f E Fn a uswa hlt . Bei Wahl von A und f sei T(f , A) die erwartete Anz ahl der Black-Box-Anfragen , die A fur f beno ti gt , bis sie der Black Box einen optimalen Suchpunkt vorgelegt hat. Eva mocht e diese Kost en minimieren . Da wir die Black-B ox-Komplexitat in Bezu g auf die schwierigste Funktion definiert hab en, ist es das Ziel des Teufels Thomas, die Kost en von Eva zu maximi eren. Aus Sicht der Spieltheorie hab en wir es mit einem Zweipersonen-Nullsummen-Spiel (two-p erson zero-sum game) Zll tun. Die Auszahlungsmatrix hat fur jede det erministi sche Suchh euristik A eine Spalt e, fur je de Funktion f E F n eine Zeile und der zugehorige Matrixeintrag ist T(f , A) . Bei Wahl von A und f zahlt Eva T (f, A) an Thomas. Die Wahl von A und f erfolgt unabhan gig vonein ander. In der Spieltheori e durfen beide Spieler randomisierte Strat egien benu t zen . Ein e randomisierte Wahl eines det erministischen Algorithmus fuhrt zu einem randomisierten Algorithmus. Ab er auch die Umkehrung gilt . Wenn wir aIle ZufalIsent scheidungen einer randomisierten Suchheuristik zu einer ZufalIsentscheidung zusammenfassen, erhalte n wir eine Wahrscheinlichkeit svert eilung auf der Menge det erminist ischer Suchheuristiken . Somit konnen wir die Menge randomisierter Suchheuristiken mit der Menge Q alIer Wahrschein lichkeit sverteilungen auf der Menge deterministi scher Suchheuristiken identifizieren . Fur jede Wahl von q E Q und der zugehorigen randomisierten Suchheurist ik A q werden die erwart et en Kost en von Eva fiir f mit T (f, A q) bezeichnet . Eva muss die erwarte ten Kosten m ax{T(f, A q) I f E Fn } , abgekurzt m axf T(f, A q), befu rcht en . Diese Kost en werden nicht grofier, wenn auch T homas eine randomisierte Strategie verwend en darf. Es sei P die Menge aller \tVahrscheinli chkeit svert eilungen auf F n und f p die zufallige Wahl von f E Fn gemaf p EP. Da T(fp, A q) die Summe alIer p(f)T(f , A q) ist , ist max T(f, A q) f

= max p

T (fp , A q)

und Eva sucht ein q* mit max T(f, A q*) = min max T (f, A q) = min max T(fp, A q). f

q

f

q

p

Aus der Sicht von T homas stelIt sich das P robl em wie folgt dar . Wenn er p EP wahlt , ist er sicher, dass Eva erwart ete Kost en von mindest ens min, T(fp , A q) hat. Mit den gleichen Argument en wie zuvor ist dies gleich min a T(fp, A) und Thomas sucht ein p* mit

Das Min imax- Theorem , das von Neumann schon in der Mitte des vorigen J ah rhunderts bei seiner Begrundung der Spieltheorie (siehe Owen (1995))

128

9. Die Kornplexi tat von Black-Box-Probl emen

bewiesen hat , besagt , dass Zweip ersonen- Nullsummen-Spiele eine Losung haben . In un serer Situation gilt

Es folgt nach unseren Betracht ungen a uch V* :=

max min T(jp , A) p

A

=

min max T(j , A q). q

f

Der so gena nnt e Wert des Spi els v* sowie optimale Spielstrategien konnen effizient mit Hilfe der linearen Optimierung berechn et werd en . Effizienz bezieht sich auf die Grofe der Matrix T (j, A ) und ist fiir unsere Situation belanglos. Die Menge F n un d die Menge det erminist ischer Suchheuristiken sind in allen interessanten Fallen so groB, dass wir nicht in der Lage sind, die Matrix T (j, A) au fzuste llen. Uns int eressiert sogar nur der einfachere Teil des Min imax-T heorems, namli ch VThoma s

:= max min p

A

T(jp, A) ::; min max T (j, Aq) = : VEva . q

f

Diese Ungleichung lasst sich folgenderm a13en beweisen . Wie gesehen kann sich Eva dagegen sichern, hoh ere erwartete Kost en als VEva tragen zu rniissen. Dagegen kann sich Thomas eine erwartete Einna hme von VT hom as sichern. Da alle Zahlungen von Eva an T homas gehen und kein "Geld von au13en" ins Spiel kommt , wtirde VT homas > VEva implizieren, class sich T homas eine erwartete Auszahlung sichern kann, die hoh er ist als die Schr anke fur die erwarteten Kost en, die Eva maxim al t ragen muss. Mit diesem W iderspruch hab en wir die Ungleichung bewiesen . Das Minimax-P rinzip von Yao best eht in der einfachen Schlussfolgerung, dass fiir alle p EP und q E Q

gilt. Die Leistung von Yao best and darin zu er kennen, dass die Wahl eines randomisiert en Algorithmus zur Minimierung der maxim alen erwartete n Optimierungszeit fur eine Funkt ionenmenge (Men ge von Problemeingab en) als Zweip er sonen-Nullsummen-Spiel mod elliert werden kann . Im folgenden Theorem werden die erha ltenen Er gebnisse zusammengefasst. Dan ach beschreib en wir die Konsequ enzen fur den Beweis unt erer Schr anken. Theorem 9 .2.1. Es sei Fn eine end liche Menge von Funktionen auf einem endlichen Su chraum Sn und A eine endliche Menge von determ inistischen Algori thm en auf der Problemklasse Fn. Fur j ede Wahrscheinlichkeit sverteilung p auf E; und jede Wahrscheinlichkeitsverteilung q auf A gilt

9.3 Untere Schranken fur die Black-Box- Komplexitat

129

Die erwartete Laufzeit eines optimalen det erminist ischen Algorithmus bezuglich einer beliebigen Vert eilung auf den Problem eingab en ist eine un tere Schranke fur die erwartete Laufzeit eines opt imalen ra ndomisierte n Algori thmus bezogen auf die schwierigste Problemeingab e. Wi r erha lte n also unt ere Schranken fur ran domisierte Algori thmen , indem wir untere Schr anken fur det er minist ische Algorithmen beweisen. Zudem hab en wir die Freiheit, die Sit uation fur den det erministi schen Algori thmus dur ch die Wahl einer geeignet en Ver t eilung auf den Problemeingab en besonders schwierig zu gestalte n.

9.3 Untere Schranken fur die Black-Box-Komplexitat Urn das Min imax-Prinzip von Yao anzuwende n, ist es hilfreich, deterministische Suchheur ist iken als Suchbiiume zu mod ellieren . Die Wur zel symbolisiert die erste Anfr age an die Black Box. Fur je des mogliche Ergebnis der Anfrage gibt es eine die Wur zel verl assende Kante, die zu einem Kn ot en fuh rt , der die vom Ergebnis der ersten Anfrage abha ngige zweite Anfrage symbolisiert. Analoges gilt fur aIle folgend en Knot en. F ur je des f E F n gibt es eine n eindeut igen an der Wurz el startenden Weg, der den Verlau f der Suchheurist ik auf f beschreib t . Die Anzahl der Kn ot en bis zum erst en Knot en , der einer Anfrage fur einen f -optimalen Suchpunkt ents pric ht, ist gleich der Rechenzeit der Heuristik fur f. Bei Funkti onen mit eindeut igem Op timum muss der Suchbaum mindest ens so viele Knoten ent ha lten, wie es fur die Funkt ionenklasse ver schiedene Op t ima gibt. Da wir nur Anfr agen stellen mu ssen , deren Ergebnis wir nicht berechnen konnen, hat jeder Knot en im Suchbaum mindest ens zwei Nachfolger. Selbst bei einer Gleichvert eilung auf allen Op ti ma erhalte n wir ohne weit ere Argum ente keine besseren unteren Schra nken als log ISn I, also fur Sn = {O, I} n lineare untere Schr anken. Derart ige Schranken sind nur selte n befriedigend. Ein e Ausnahme bild et die log(n!)-Schranke fur das allgemeine Sortierpro blem, die die meist en Leser inne n und Leser vermutlich kennen . Mit dem Minimax-Prin zip von Yao erha lten wir aus der bekannt en Schran ke fur deterministisc he Algorit hmen und einer Gleichverteilung auf allen Ordnungstyp en eine unt ere Schra nke fur die maximale erwartete Rechenzeit rando misierter Algorithmen . Wenn wir Schra nken zeigen wollen, die supe rlinear in log ISnl sind, miisse n wir beweisen , dass die Such biiume nicht ba lanciert sein konnen . Wir begin nen un sere Disku ssion mit zwei in der Welt der evolutionaren Algorithme n viel diskut iert en Fun ktionenklassen. Mit Hilfe der Black-BoxKomplexit at fallt die Antwor t auf die dort disku t iert en Fragen leicht . Die erste Funk t ion enk lasse sym bolisiert die Suche nach einer Na del im Heuhauf en (needle in t he hayst ack). Sie ent ha lt fur a E {O, 1}n die Funkt ion N a definiert durch Na( a) = 1 und Na( b) = 0 fur b =1= a. Theorem 9.3.1. Die B lack-Box- Komplexitiit de". Funktio nenklasse alter N a ,

a

E

{O, I} " , betriigt 2n -

1

+ ~.

130

9. Die Komplexitat von Black-Box-Problemen

Beweis. Wir erhalten di e ob ere Schranke, indem wir die P unkte des Suchraums {O, I} " in zufalliger Reihenfolge ab fragen . Fi.ir jede Funktion N a finden wir d as Optimum mit Wah rscheinlichkeit 2- n bei der t-ten An frage, 1 :::; t :::; 2n . Dies ergibt eine erwa rtete Optimierungszeit von

Die unter e Schranke zeigen wir mit dem Minim ax-Prinzip von Yao fur die Gleichverteilung auf allen N a , a E {O ,l}n. Wenn eine Anfrage de n Funktionswert 1 er gibt , kann der Algorithmus di e Suche mit Erfolg abbreche n. Dah er int er essiert nur der Weg im Suchb aum, der der Antwort auf allen bish eri gen Anfragen entspric ht. Auf ihm m i.issen alle a E {O ,1}n als Anfragen vorkommen . Auf je der E be ne dieses Weges kann nur ein neuer Suchpunkt erfragt wer den . Somit betragt di e erwa rtete Suchzeit mindest ens

°

2- n(1+2 + .. . +2n )=

2n - l+ ~.

D

Die Funktionenklasse aller N a m acht den U nt erschied zwischen dem klassischen Optimi erungsszen ario und dem Black-Box-Szen ario deutlich. Im klassischen Optimierungsszen ario ist die zu optim ierende Fu nktion N a und darnit a bekannt . Die Optimierung ist d ann eine t rivia le Aufgabe, da di e opt imale Losung a ist. Die gang igen randomisierten Suchheuristiken beno ti gen im Black-Box-Szen ario fi.ir di e Kl asse aller N a fur jede Funktion eine erwartete Optim ierungszeit von 8(2n ) . Dies ist ineffizient im Ver gleich zum klassischen Optimierungsszen ario, abe r nach T heorem 9.3.1 asym ptot isch op timal im Black-Box-Szen ario. Im Gegens at z zu vielen anders lautenden Beh auptungen sind die gangigen ran domisierten Suchheurist iken auf der Kl asse aller Funktionen vom Typ "Nadel im Heuhaufen " fast op timal. Sie sind lan gsam, weil das Problem im Black-Box-Szen ario schwierig ist. Gan z ahnllch stellt sich d as Bl ack-Box-Szen ario fi.ir Funktionen d ar , di e Fallen (trap s) fur typische randomisierte Suchheuristiken sind. Die Funktion T a , a E {a, l}" , ist defini ert durch Ta(a) = 2n und Ta (b) = b1 + .. . + b.; fur b E {a, l}" und b -I- a. Theorem 9.3 .2. Die Black-Box-Komplexi tiit der Funktionenklasse aller T a , a E {a, I} ", betriiqi 2n - 1 + ~. B eweis, Der Beweis verlauft analog zu dem Beweis von T heorem 9.3.1. Bei der oberen Schranke ist nichts zu andern. Bei der unter en Schranke ist zu bemerken , dass die Funktion en fi.ir jedes b E {a, I}" nur zwei verschieden e Funktionswert e, namlich b1 + . .. + bn u nd 2n , annehme n. Der Funktionswert 2n ist gleichbe de utend mi t eine r An frage, die den optimalen Suchpunkt beinhaltet. D Die Funktionen T a , a E {O , I }", bild en tatsachlich Fallen fiir die meist en gangigen randomisier t en Su chheurist iken , di e erwartete Optimierungszeit en

9.3 Untere Schranken fur die Black-Box-Kornplexitat

131

von 28 (n log n ) erreichen. Dagegen ist die rein zufallige Suche, bei der zu jedem Zeitpunkt der Suchpunkt nach der Gleichverteilung auf dem Suchr aum gewa hlt wird, nah ezu optimal. Dieses Er gebnis ist nicht iiberraschend, da gangige randomisierte Suchheuristiken bevor zugt in der Nah e gut er Suchpunkte die Suche fort set zen . Dies ist fur die Funktionen Ta im Allgemeinen die falsche Entscheidung. And ererseit s bilden die Funktionen T a im klassischen Optimierungsszen ario kein Problem. Abs chlieBend wollen wir eine kompl exere Anwendung des Minimax-Prinzips von Yao kennen lernen. Vielfach wird beh auptet , dass die ga ngige n randomi sierten Suchheuristiken auf allen unimodalen Funktionen sehr schnell sind . Dies lasst sich fur viele dieser Suchheuristik en durch Angab e eines geschickt gewa hlte n Gegenb eispiels widerlegen . Wir wollen nun zeigen , dass kein e randomisierte Suchheuristik im Black-Box-Szenario fur alle unimodalen Funktionen schnell sein kann. Die Klasse der unimodalen pseud obooleschen Funktionen f : {O, I} " ----+ lR ist nicht endlich. Indem wir den Bildbereich auf die ganzen Zahl en z mit -n ::; z ::; 2n einschranken, erhalten wir eine endliche Funktionenklasse. Wir suchen nach einer Wahrscheinlichkeit sverte ilung auf diesen Funktionen , die den Beweis unterer Schranken mit Hilfe des Minimax-Prin zips von Yao unt erstiit zt . Man kann vermuten , dass die Gleichverteilung auf der betrachteten Funktionenkl asse eine effiziente Optimierung durch determinist ische Suchheuristiken verhindert. Allerdings konnen wir diese Vert eilung nur schwer handhab en . Wir ar beiten dah er mit einer anderen Wah rscheinlichkeit sverteilung. Ein Pfad P = (Po , . . . , Pm ) in {O, I} n best eht aus einer Folge von verschiede nen Punkten p. , wob ei der Hammingab st and H (Pi,PHl) benachbarter Punkt e I betragt. Wir betracht en nur P fade mit Po = I n. Zum Pfad P gehort die Pfadfunktion fp definiert durch fp(Pi) = i und fp(a) = al +.. ·+ a n - n fur alle a auBerha lb des Pfad es. Die Funktion f p ist unim od al , da alle Pi , i < m , mit PHI einen besseren Hammingnachbarn hab en . F iir aIle anderen Punkte a ist jeder Hammingnachbar, der eine 1 mehr ent ha lt , besser . Die Idee hinte r der folgend en Kon struktion ist , dass "zufallige Pfade grofer Lan ge" es Suchheuristiken schwer mach en . Wenn diese dem Pfad folgen , ist der Pfad zu lang. Andererseit s ist es auch bei Kenntnis eines Anfan gsstucks des Pfad es schwierig, mit einer nicht nur sehr kleinen Wahrscheinlichkeit einen Punkt zu erze ugen, der "auf dem Pfad viel weiter hinten" liegt . Diese Uberlegungen werden nun formalisiert . Zun achst erze ugen wir einen zufalligen P seud opfad R, auf dem Punkte wiederholt vorkommen diirfen. Seine Lange sei I := l(n) , wob ei l (n) = 2o (n ) ist . Es sei Po = I n. Den Nachfolger PHI von Pi erzeugen wir gemaf der Gleichverteilung auf allen Hammingnachbarn von Pi' Dies bedeutet , dass in Pi an einer zufallig gewa hlte n Position das Bit gekippt wird. Aus R erze ugen wir den Pfad P , ind em wir Kr eise aus R ent ferne n. "Vir starten wieder an I n. Wenn wir auf R den Punkt Pi erreichen und j der grofite Index mit Pj = Pi ist, fahren wir mit Pj+l fort. Wir be t racht en die Wahrscheinli ch-

9. Die Komplexit at von Black-Box-Problernen

132

keitsverteilung auf den unimodalen Funktionen , die der Pfadfunktion i p die Wahrscheinlichkeit zuweist, mit der das obige Experiment zum Pfad P fuhrt . Wir untersuchen det erministische Suchheuristiken auf zufiilligen un imod alen Funktionen , die gemaf der beschri eb enen Wah rscheinlichkeit svert eilung ausgewiihlt werd en . Zur Vorbereitung untersu chen wir den zufalligen Pseudopfad R . Er ent fernt sich mit hoh er Wah rscheinlichkeit schnell von jedem erre ichte n Punkt und ist kurz genug, urn mit hoh er Wahrscheinli chkeit nicht wieder in die Nah e eines viel fruh er erre icht en Punkt es zurilckzukehren. Irn niichsten Lemma werden diese Ub erlegungen ver allgemeinert und form alisiert. Lemma 9 .3.3. Es sei Po , PI , . .. ,PI der zufiillige Pseudopfad R . F Ur je des a = a(j3) > 0, so dass jedes Er eignis E a , a E { a, I} " , dass es ein j 2: j3n mit H(a ,pj) ::; a n gibt, die Wahrscheinli chkeit 2- J?(n) hat .

°

13 > exist iert ein

Beweis. Da l = 2o (n ) ist, gibt es 2o (n ) Punkte Pj und es genilgt , die Wah rscheinlichkeit des E reignisses E a,j , a E {a, I}" , j 2: j3n, durch 2- J?(n) abzuschiitzen. Dab ei beschr eibt E a,j das Er eignis H (a , Pj) ::; a n. Wi r untersuchen den zufalligen Hammingabstand H; = H(a ,Pt) ,O ::; t ::; l . Wenn er grof ist , bleibt er ftir ein Zeit int ervall mit Sicherh eit " recht groB". Wenn er klein ist, ist die Ch an ce groB, dass er schnell wiichst. Da wir in Pt ein zufallig gewa hltes Bit kip pen , urn Pt+1 zu erhalte n , gilt

Prob(Ht+ 1 = H;

+ 1) = 1 -

H t/n .

Ist also H; viel kleiner als n/2, gibt es eine starke Tendenz , den Hammingabstand zu a zu er hohen. Es sei "( = min{ j3,l /lO} und a = a (j3) = "(/ 5. Wir unter suchen den Abschn itt Pj - b nJ" " ,Pj der Lan ge b nJ von R , urn die Wahrscheinlichkeit von E a,j nach oben abzuscha tzen. Das Ereignis Ea,j, also Hj ::; an , ist nach Definition von a aquivalenf zu H j ::; ("( /5) n . Falls Hj -bnJ 2: 2"(n ist , ist H j mit Sicherheit mindest ens "(n . Also konnen wir annehmen, dass H j _ rIn 1 < 2"(n ist. Dann ist H; wahrend des gesa mte n Abschn itts von R , den wir bet racht en , hochst ens 3"(n ::; (3/1O)n . W ir hab en es also mit l"(n J Schritten zu tun, bei denen H; mit einer Wahrscheinli chkeit von mindest ens 1 - 3"( 2: 7/10 urn 1 wachst und ansonsten urn 1 fallt , Die chernoffsche Ungleichung (Theorem A.2.11) ste llt sicher , dass die Wahrscheinlichkeit von wen iger als (6/1O)"{n den Hammingabstand erhohenden Schritten unter den betracht et en b nJ Schri t t en durch 2- J?(n) beschrankt ist. Bei mehr als (6/1O)"{n erhohenden Schri t t en hab en wir einen Ub erschuss von mindest ens (6/1O)"{n -(4/1O)"{n = ("(/5)n erhohenden Schritten und der Hammingab st and H j ist mindest ens ("(/5 )n . 0 Lemma 9.3.3 hat folgend e Konsequ enzen. Der Ps eudopfad R wird mit einem markoffschen Prozess, also einem gedac ht nislosen Prozess, konst ru iert. Da mit erfiillt a uch Pi , . . . ,PI die Vorau sset zungen des Lemmas. F ur a = Pi

9.3 Unte re Schr anken fur die Black-Box-Komplexitat

133

und j3 = 1 impliziert dies, dass R nach me hr als n Schritten den P unkt Pi nur mit Wah rscheinli chkeit 2- J./ (n ) wieder err eicht. Da es nur 2 o (n ) Punkt e Pi gibt , ist die Wahrscheinlichkeit eines Kr eises a uf R, dessen Lan ge grof er als n ist , durch 2 - J./(n ) beschrankt. Also betragt die Lan ge von P mit einer Wahrscheinlichkeit von 1 - 2-J./ (n ) mindest ens l(n) j n . Theorem 9.3.4. Jede randomisiert e Su chheuristik f ur die Bla ck-Box-Optsm ierung unimodaler pseudoboolescher Funktionen hat fur j edes 2- p(n )/4 . Dies steht im Widerspruch zur obigen Charakterisierung von x tJ- L fur die Fehlerwahrscheinlichkeit 2- p (n ) / 4. Damit ist die Annahme widerlegt und es gilt x tJ- L =;. Prob(3(y, z) : (x ,y , z ,r) E L') :S: 1/4 .

Insgesamt haben wir fur L eine (BP) 3P-Darstellung erhalten und den Satz bewiesen. 0 Am B eispiel des Graphenisomorphieproblems haben wir gesehen, dass die B etrachtung der polynomiellen Hi erarchic, die Charakterisierung ihrer Komplexitiitsklassen und di e Unt ersuchung interaktiver B eweissystem e zur komplexitiitstheoretischen Klassifikation konkreter Probl em e beitrag en . Di e Hypoth es e, dass GI nicht. NP-vollstiindig ist, ist nun mindestens so gut belegt wie die Hypothese, dass die polynomielle Hi erarchi c nicht auf der zweiten Stufe zu sammenbricht.

11.4 Beweissysteme, die kein Wissen preisgeben Der Grundgedanke in einem interaktiven Beweissystem ist , dass Bob Victoria mit Informationen so versorgt, dass diese den Beweis mit einer kleinen Fehlerwahrscheinlichkeit uberpriifen kann. So kann Bob zum Nachweis, dass zwei offentlich bekannte Graphen isomorph sind, sein Geheimnis at , die zugehorige Umnummerierung der Knoten, an Victoria senden . In diesem Sinn kann es kein interaktives Beweissystem geben, in dem Bob nicht irgendeine mit der Eingabe in Zusammenhang stehende Information pr eisgibt. Somit kann es kein interaktives Beweissystem geb en, das kein Wiss en pr eisgibt. Wenn Victoria sich dieses Wiss en jedoch in polynomieller Zeit selbst vers chaffen kann und wir polynomielle Zeit fur handhabbar halten , dann ist dies so, als hatte Bob kein Wi ssen pr eisgegeb en . In einem solchen Fall kann Bob ab er nicht mehr als Victoria und er hat kein Geheimnis. Wir gehen nun einen Schritt weit er und erlaube n Victoria erwart et e polynomielle Zeit . Dies beinhaltet exponent ielle Zeit mit ents prechend kleiner exponentieller Wahrscheinlichkeit . Wenn Bob kein Wissen pr eisgeb en will, also keine Information tiber sein Kennwort verraten will, dann muss er darnit rechnen , dass andere an diesem Wissen int eressiert sind. Dazu gehoren Spion e, die die Konversation belauschen, und auch Victoria , die vom vereinb arten Kommunikationsprotokoll

164

11. Interaktive Beweise

abweichen kann . Wir erl auben den Spionen allerdings nicht , in die Konversation einzugreifen und Nachrichten zu versenden od er zu verfalschen . Dies alles fiihrt zu der folgenden Definition von Beweisen , die kein Wi ssen preisgeb en (zero-knowledge proofs) . D efinition 11.4.1. Es seien B und V die randomisierten Algorithmen eines interaktiven Beweissyst ems fur das Entscheidungsproblem L . Dieses Beweissystem hat die perfekie Zem-Knowledge-Eigenschajt (perfect zero-knowledge proof), wenn es fur jeden polynomiellen randomisierten Algorithmus V' , der V ersetzen kann, also Nachr icht en vom gleichen T yp sendet , und das Algorithmenpaar (B, V') einen randomisierten Algorithmus A gibt , dessen maximale erwartete Rechenzeit polynomiell ist und der fur jedes x E L das , was bei der Kommunikatio n zwischen B und V' iibertragen wird , mit denselb en Wahrscheinli chkeit en liefert . Fur Problem e in P kann Victoria alle Info rm ationen selbst berechnen . Perfekte Zero-Knowledge-Beweise sind also nur fur Probleme auBerha lb von P int eressant . Ob sie fur solche Probleme exist ieren, ist zunac hst nicht klar. Fur das Gr aphenisomorphieproblem GI , das vermutlich nicht zu P gehort , gilt folgend e Au ssage: Theorem 11.4.2. Fiir GI gi bt es ein intemktives B eweissy stem mit perfekter Zem-Knowledge-Eigenschajt. Beweis, Es seien Go und G 1 die Gr aphen , so dass Bob s Geheimnis eine Abbildung zr" mit G 1 = n *(Go ) ist. Er mocht e beweisen, dass Go und G 1 isomorph sind , ohn e inn erhalb dieser Konversation Informationen ub er n * preiszugeb en . Der Tric k best eht darin, eine n zufalligen zu Go und G 1 isomorphen Gr aphen H zu erzeugen und spa ter unter Angab e einer isomorphen Abbildung zu beweisen , dass Go und H od er G 1 und H isomorph sind. Damit er im Fall nicht isomorpher Graphen Go und G 1 nicht betrugen kann , darf Victoria im Nachhinein ent scheiden, ob Bob die Isomorphie von Go und Hader die Isomorphie von G 1 und H beweisen muss. Diese Ub erlegungen fiihren zu folgend em int eraktiven Beweissystem : - Bob wahlt zufallig i E {a, I} und tt E Sn , berechnet H := n (G i ) und sendet H an Victoria. - Victoria wahlt zufallig j E {a, I} und sendet j an Bob . - Bob berechnet tt' E Sn und sendet ir' an Victoria . - Victoria akzeptiert, wenn H = n' (G j ) ist. Offensichtli ch kann Victoria ihre Arbeit in polynomieller Zeit verricht en . Wenn Go und G 1 isomorph sind und G 1 = n* (G o) ist , kan n Bob Victo ria mit Sicherheit dazu br ingen , die Eingab e zu akzeptieren. Falls i = j ist , gelingt dies bei Wahl von tt' = tt . Falls i = 1 und j = ist , ist H = n( G 1 ) und G 1 = n " (Go) , also H = n 0 tt" (Go) und n' = n 0 n* ist geeignet . Falls und j = 1 ist , ist H = n (G o ) und Go = (n *)-l (G d , schlieBlich i =

°

°

11.4 Beweissysteme, die kein Wissen preisgeben

165

also H = n o (n *)-l(Gd, und tt' = n o (n *)-l ist geeignet. Wenn Go und G 1 nicht isomorph sind, kann Bob Victoria im Fall i = j weiterhin dazu bringen, die Eingab e zu akzeptieren . Falls jedoch i =1= jist, sind H und G j nicht isomorph und Victoria akzeptiert kein n' , Da Prob( i =1= j) = 1/2 ist , betragt die Fehlerwahrscheinlichkeit bei einseit igem Feh ler 1/2 und kann wie im Beweis von Theorem 11.3.1 auf 1/4 gesenkt werd en . Victoria erhalt in der obigen Konversation das Tripel (H , j , n') als Information. Dabei ist , falls Go und G 1 isomorph sind , H ein zufalliger zu Go und G 1 isomorpher Graph, j ein zufalliges Bit und n ' eine Permutation mit H = tt' (G j ). Es sei nun V' ein beliebiger polynomieller randomisierter Algorithmus, der ein Bit j berechnet . Dann beschreiben wir den simuli erenden Algorithmus A wie folgt : - Wie derhole, bis i = jist : - erzeuge zufallig i E {O, I} und n E Sn, - be rechne H := n(G i ) , - simuli ere V' fiir die Situation, in der Bob H gesendet hat , und nenne das Ergebnis j . - A liefert als Ergebnis (H,j , zr} , wobei dies die Werte aus dem let zt en Schleifendurchlauf, also dem Durchlauf mit i = j, sind. Offensi chtlich kann die Schleife in polynomieller Zeit durchgeftihrt werden. Egal, wie V ' das Bit j berechne t , das Bit i st ammt a us einem fair en Munzwurf und geht in die Berechnung von j nicht ein. Daher st immen i und j mit Wahrscheinlichkeit 1/2 iiberein . Somit muss die Schleife nach T heorem A.2.12 im Durchschnitt zweimal durchlaufen werd en und die erwartet e Rechenzeit ist fur jede Ein gab e polynomiell. Da tt E Sn zufallig gewahlt wurde, ist , falls Go und G 1 isomorph sind , H ein zufalliger zu Go und G 1 isomorpher Graph. AuBerdem ist i ein Zufallsbit und damit auch j ein Zufallsbit , da j = i ist . SchlieBlich folgt aus H = n (G i ) und i = j , dass H = n (G j ) ist . 0 Die hier betrachtet en Geheimnisse (Kennw orter) hab en die Eigenschaft, nicht a bsolut sicher zu sein. Die Gr aphen Go und G 1 sind offentli ch bekannt und die Permutation it" mit G 1 = n *(Go) ist das Geheimnis oder Kennwort. Wenn jem and ein n mit G 1 = n( Go) berechnet , kann er oder sie sich als Bob ausge be n und wird die beschrieb ene Identifikationsproz edur iiberstehen , da er oder sie Victoria zum Akzepti eren bring en kann. Schoner ware es also, nicht nur fiir GI , sondern fiir Nl--vollstandige od er noch schwierigere Probleme inte ra kt ive Beweissyst eme mit perfekter Zero-Knowledge-Eigenschaft zu ent werfen. Dies ist bisher nicht gelungen . Fur NP-vollsUindige Probleme wie das Problem He zu ents cheiden, ob ein Gr aph einen Hamil tonkreis ent ha lt , gibt es inter aktive Beweissysteme mit einer abgeschwachten Zero-KnowledgeEigensch aft . Es wird die Exi st enz einer Einwegfunktion f (one-way function) vor au sgesetzt. Einwegfunktionen f : {O, I} * --+ {O, I} * sind injektiv und in polynomieller Zeit berechenb ar , aber es ist in polynomieller Zeit nicht moglich ,

166

11. Int eraktive Beweise

aus f( x) Informationen tib er das let zt e Bit von x zu ber echnen . Wir verzichten hier auf eine form ale Definition und gehen davon aus, dass es fur pol ynomielle Algorithmen wertlos ist , f( x) zu kennen , wenn sie am let zt en Bit von x interessiert sind. E inwegfunkt ione n erlaube n eine effiziente Bitf estl egung (bit commit me nt ). Dabei will Bob den Wer t b eines Bits wie bei einem Notar hint erlegen . Der Wer t bleibt gehei m, a ber im Streitfall kann geklart werden , welchen Wert b hat . Dazu produziert Bob eine gentigend lan ge zufallige Bitfolge r und berechnet x , ind em er b an r anhangt . Er berechn et und veroffentlicht f( x) . Irn Streitfall muss er x veroffent liche n . J ed er kann f auf x anwende n und das Ergebnis mit dem veroffentli cht en 'Wer t von f( x) vergleichen . Bob kann nicht betrtigen , da f inj ektiv ist. Folgendes konnt e ein pr aktisches Verfahren zur Bitfestl egung sein. Es wird eine gentigend groBe P rimzahl p erze ugt, bei der die Parit at der Bits gleich b ist. Von diesen Primzahl en gibt es gentigend viele, so dass bei zufalliger Erze ugung von Zahl en nicht zu viele auf ihre Primzahleigenschaft getest et werden miiss en . W ir haben ja schon mehrfach darauf hingewiesen, dass PRIMES in P ist. Dann wird eine weitere Primzahl q mit q < p zufallig gewa hlt und n := pq veroffent licht. Im Streitfall mu ssen die eindeutigen Primteiler bekannt gemacht werde n und es kann die P aritat des groberon Teilers berechn et werden . Zur Sicherheit dieser Bitfestl egung mus s ange nommen werden , dass das Faktorisierungsproblem FACT nich t polynomiell losb ar ist und dass b aus n nicht auf ande re Weise effizient berechnet werden kann. Definition 11.4.3. E in interak ti ves Beweissystem hat die Zero-KnowledgeEigen schaft unter kryp to gr aphischen Annahmen (computational zero-knowled ge proof) , falls es un t er de r An nahme der Exi sten z eine r Einwegfunktion die perfekte Zero-Knowledge-Ei gen schaft hat . Theorem 11.4.4. Das Hamilto nk reisp roblem He hat unter kryptographischen Annahmen interaktive B eweissystem e m it Zero-Knowledge-Eigens chaft. Beweis. Es sei G der Graph, von dem Bob als sein Geheimnis eine n Hamiltonkreis H kennt. Die Knotenmen ge von G sei {I , . . . , n } und H sei durch seine Kantenli ste beschrieb en . Dann wird folgend es inter aktive Beweissyst em verwendet: - Bob wahlt 1r E Sn zufallig, berechn et 1r( G) und bringt die Kan t enmen ge von 1r( G) in eine zufallige Reihenfolge. Fur die Beschreibung von 1r und der Kantenli st e von 1r(G) sende t Bob an Victoria fur jed es Bit eine Bitfestlegung. - Victoria wahlt zufallig i E {O, I } und sendet i an Bob. Falls i = 0 ist , entschhisselt Bob aile von ihm fest gelegten Bit s. Falls i = 1 ist, entschlilsselt Bob nur die Bit s der Kan ten des Hamiltonkreises 1r(H ) in 1r( G) . Falls i = 0 ist , akzep tiert Victoria , wenn sich Bob t atsachlich auf eine Permutation n ' E S n un d die Kan t enlist e von 1r'(G ) fest gelegt hat . Falls

11.4 Beweissystem e, die kein Wi ssen preisgeb en

167

i = 1 ist , akzeptiert Victoria, wenn die von Bob offenbarten Kanten einen Hamiltonkreis auf {I, ... ,n} bild en.

Offensichtlich kann Victoria ihre Arbeit in polynomieller Zeit verrichten. Falls G eine n Hamiltonkreis enthalt, kann Bob dem Protokoll so folgen , dass Victoria mit Sicherheit akz eptiert. Falls G keinen Hamiltonkreis ent ha lt, kann Bob sich zwar auf ein Paar (1f ,1f(G)) festlegen, a ber dann kann er fur i = 1 die Anforderungen nicht erfullen, da 1f( G) auch kein en Hamiltonkreis enthalt. Bob kann also bestenfalls eine der beiden Anforderungen erftillen. Da er sich entscheiden muss, bevor er i kennen lernt, kann er Victoria nur mit Wahrscheinlichkeit 1/2 dazu bringen, G zu akzeptieren . Die Fehlerwahrscheinlichkeit kann auf 1/4 gesenkt werden. Victoria erhalt in der obigen Konver sation mit Wahrscheinli chkeit 1/2 eine zufallige Permutation 1f und die Beschreibung von 1f( G) und mit Wahrscheinlichkeit 1/2 fur einen Hamiltonkreis H und eine zufallige Permutation 1f die Beschreibung von 1f(H) . Unter den kryptographischen Annahmen st ellt die Bes chreibung der Bitfestlegung keine verwertbare Information dar. Die anderen Informationen kann sie sich jeweils mit Wahrscheinlichkeit 1/2 beschaffen. Ein Hamiltonkreis H kann als Knotenpermutation 1f * beschrieb en werden . Fur zufalliges 1f ist auch 1f 0 it" eine zufallige Permutation. 0

Mit dem Beispi el interaktiver B eweissystem e mit Zero-Knowledge-Eigenschaft haben unr gezeigt, dass mod ern e Verfoh reii der Kryptographie die Komplexitiiistheorie als Fundam ent benotiq en.

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

12.1 Randomisierte Verifikation von Beweisen Interaktive Beweissysteme hab en sich in Kapi t el 11 als nutzliches Werk zeug her aus gest ellt. Hier werd en wir randomisiert verifizierbare B eweise (probabilist ically checkable proofs, PCP) untersuchen. Bei geeigneter Einschrankung der Ressourcen er ha lten wir eine neue Cha rakterisieru ng der Kornpl exitatsklasse NP. Diese Ch ar akterisierung, das so gena nnte P CP-Theorem, ist eine mehr als erstaunliche Aus sage und ihr Korrektheit sb eweis ist zu kompl ex , urn hier dar gest ellt zu werden . Wir werd en a ber in Kapi t el 12.2 ein schwacheres Result at beweisen , urn einen Einblick in die Moglichkeit en randomisiert verifizierbarer Beweise zu bekom men. Das PCP-Theor em gilt als das wicht igste Er gebnis der Komplexit at stheorie seit dem Theorem von Cook. Die in Kapitel 8 auf der klassischen NP-Vollstandigkeitstheorie beruhende Theorie der Kornplexitat von Approxim ationsproblemen stOBt ja an enge Gr enzen. Das PCP-Theorem errnoglicht nun neue Methoden , urn die Komplexitat von Approxim ationsproblemen zu untersuchen . In Kapitel12.3 werd en wir exemplarisch Nichtapproximierbarkeit sresultate fur MAX- 3-SAT und da s Cliquenproblem vorstellen und in Kapitel 12.4 die APX-Vollst andigkeit von MAX3-SAT beweisen . In K apitel 11.2 hab en wir nachgewiesen , dass NP 0 senken. Mit PCP (poly, q(n)) bezeichn en wir die Vereinigung aller PCP(n k , q(n) ), k E N, ana log wird PCP(r( n),poly) definiert .

12.1 Randomisiert e Verifikation von Beweisen

171

Da wir uns die Erzeugung des Beweises als nichtdet erministischen Prozess vor st ellen konnen und da wir einen co-RP-a rt igen Fehler erla uben, ste llen die folgenden Charakterisierungen von P, NP und co-RP als PCP-Klassen kein e Ub erraschung dar. Theorem 12.1.3. Es gelten die folg end en Aussagen :

- P = PCP(O , 0), - NP = PCP(O ,poly) , - co-R P = PCP(poly, 0). Beweis. PCP(O,O) ent halt gen au die folgenden Entscheidungsprobl eme L . Da q(n) = 0 ist , kann vom Beweis nicht s gelesen werden. Dies ist aquivalent dazu , dass es keinen Beweis gibt. AuBerdem muss Prob(V(x , r, B) = 0) = 1 fur x rt. L sein. Da es keine Zufallsbit s gibt, sind alle "Wa hrscheinlichkeite n" o od er 1. Wir erha lte n also genau die in polynomieller Zeit entsc heidbaren Probleme. PCP(O ,poly) erla ubt beliebig lan ge Beweise, von denen polynomiell viele Bits gelesen werd en durfen. Da es keine Zufallsbits gibt , sind es fur fest es x st ets dieselben Beweispo sitionen und der Beweis kann auf polynomielle Lan ge verkilrzt werden , wobei der Beweis dann ganz gelesen werden darf. 'W ieder wird man gels Zufallsbit s kein x rt. L akzept iert. Wir er ha lte n also genau die logikori entier t e Ch ar akterisierung von NP. Fur x E L gibt es einen Beweis polynomieller Lan ge, der Victoria ub erzeugt . Fur x rt. L lasst sich Victoria von keinem Beweis iiber zeugen . PCP(poly ,O) kann wieder durch ein Szenario ohne Beweise bes chrieb en werden. Dam it erhalten wir gena u die Charakterisierung von co-RP. 0

A.hnlich einfach sind die folgend en Uberlegungen, urn einen (r (n) , q(n»beschr ankt en randomisierte n Beweisverifizierer nichtdet erminist isch zu simulieren . Theorem 12.1.4. Falls L E P CP( r (n) , q(n » ist, gibt es eine nichtd eterministische Turingmaschin e, die L in Zeit 2 0 (r( n )+ log n ) entschei det.

Beweis. Die nichtdet erministische Thringm aschin e simuliert den (r (n), q(n»beschr ankt en randomisiert en Beweisverifizierer fur alle 20 (r (n » moglichen Belegungen des Zufallsvektors. Fur jede Belegung des Zufallsvektors werden in polynomieller Zeit p( n) hochstens p(n) Beweispositionen berechnet . Fur aIle der maxim al p(n) · 20 (r (n » = 20 (r (n ) + ]og n ) berechnet en Beweisposit ionen werd en die Beweisbits nichtdet erministi sch erzeugt. Dan ach werd en fiir die 20 (r (n » Belegungen des Zufallsvektors die Berec hnungen des Beweisver ifizierers simuliert. SchlieBlich wird die Eingabe akzept iert, wenn dies der Beweisverifizierer bei allen Belegungen des Zufallsvektors macht . Falls x E L ist , gibt es einen Beweis, fur den der Beweisverifizierer mit Wahrscheinli chkeit 1, also bei allen Belegungen des Zufallsvektors, die Eingab e akzeptiert. Falls x rt. List , wird fur jeden Beweis die Ein gab e fur mindest ens die Halft e

172

12. Das P CP-Theor em un d die Kom plexitat von Ap proximati ons pr oblemen

del' Belegungen des Zufallsvektors nicht akzept iert. Also erh alten wir einen nichtdet erministischen Algorithmus fur L . Da jede Rechnung des Beweisverifizierers in p(n) = 2°(logn) Schritten er folgt , lasst sich die Rechenzeit del' 0 nichtdet erministischen Turingmaschin e durch 20 (r (n )+ log n ) abschatzen, Als Korollar erha lte n wir eine weit ere Charakte risieru ng von NP. Korollar 12.1.5. NP

=

PCP(logn,poly ).

Beweis. Die Beziehung ,, ~ " folgt aus Theorem 12.1.3 und die Beziehung ,,:2" aus Theorem 12.1.4. 0

12.2 Das PCP-Theorem Korollar 12.1.5 ent ha lt die Aussage NP :2 P CP (log n , 1). Man kann vermuten , dass P CP(logn, 1) "viel kleiner" als NP ist . Es kann do ch nicht sehr hilfreich sein, wenn man nur konst ant viele Beweisbits lesen darf. Abel' gena u das st immt nicht . Theorem 12.2.1. (PCP-Theorem) NP = P CP(lo g n , 1). Die Historie des P CP-Theorems wiI'd ausfiihr lich von Goldreich (1998) beschri eb en . Feige, Goldwasser , Lovasz, Safra und Szegedy (1991) hab en bereit s die Verbindung zwischen ressourcenb eschrankt en randomisiert en Beweisverifizierern und Nichtapproximierba rkeitsresultate n aufgezeigt. Das PCPTheorem wurde 1992 von Aror a, Lund, Motwani , Suda n und Szegedy bewiesen (die Zeit schriftenversion wurde 1998 veroffentli cht) . Dan ach wur de die Anz ahl del' Beweisp ositionen , die gelesen werden durfen , in verschiedenen Arbeit en verkleinert. Es ist ausreichend, neun Beweisbits zu lesen , und dann ist die Fehlerwahrscheinlichkeit soga r durch 0,32 beschrankt . Wenn die erla ubte Fehlerwahrscheinli chkeit auf O,76 erh oht wird , gentige n dr ei Beweispo sitionen . Vari anten des PCP-Theorems, die besser e Nichtapproximierba rkeits resultate erla uben, wurden vorgest ellt (z. B. Bellare, Goldreich und Sudan (1998) und Arora und Safra (1998)) . Del' Beweis des PCP-Theorems ist zu lan g und zu schwierig, urn hier dargest ellt zu werden. Ein e grof3e Herausford erung liegt darin , einen Beweis des P CP-Theorems zu finden , del' fur Studierende "g ut verd au lich" ist . WeI' grofe re Anstrengungen nicht scheut , sei fur einen vollst andigen Beweis des P CP-Theorems auf die ausfuhrlichen und gut lesbar en Dar st ellungen in den Bu chern von Ausiello, Crescenzi, Gambosi, Kann , Mar chet ti- Spaccam ela und Protasi (1999) und Mayr , Prornel und Steger (1998) verwiesen. Urn NP ~ P CP(logn, 1) zu beweisen , genugt es, fur ein Nf'-vollst andigee Problem wie 3-SAT zu zeigen, dass es in P CP (log n , 1) ent ha lte n ist . Wie das Lesen von konst ant vielen Beweisbi t s die Losung eines Nl--vollstandigen

12.2 Das PCP-Theorem

173

Problems mit einem randomisier te n Beweisverifizierer er rnoglichen kann, wollen wir mit dem Beweis von 3-SAT E PCP(n 3 , 1) zeigen. In der Dar st ellung lehnen wir un s an Ausiello et al. (1999) an. Es sei eine Ei nga be fur 3-SAT bestehend a us den Klau seln CI,'." Cm tiber den Vari a blen X l , " " X n gegebe n. Ein klassische r Beweis fiir die Er fullbarkeit der Klauseln best eht aus einer Eingab e a E {a, I}" , die alle Klau seln erftillt . J edes Bit a ; ist eine sehr "lokale" Information , die nur den Wert von Xi betrifft . Ein randomisiert verifizierbarer Beweis, von dem nur wenige St ellen gelesen werd en du rfen , sollte so aussehen, dass jedes Beweisbit Teilinformationen tiber jedes a, enthalt. Die Information tiber a sollte also ub er den ga nzen Beweis "verschmiert" werd en . Bei diesen Betrachtungen gehen wir von einer erfullenden Belegung a a us. W ir konnen uns den zu a gehorenden Beweis B(a) als Codierung von a vorstellen. Dah er disku tieren wir auch, wie wir aus B(a') gegebe nenfalls erkenn en konnen , dass a' nicht erfullend ist . Spater mu ssen wir uns ub erlegen , wie wir mit Beweisversuchen B', die von allen B (a') , a' E {a, I}" , verschieden sind, umgehen. Hier deut en wir die wichtigst e Idee nur an. Falls B' von allen B(a') sehr verschieden ist , konnen wir das mit genugend groBer Wahrschein lichkeit ent decken. Anderenfalls soIl B ' in ein B(a') "korr igiert " werden , wobei wir dann B(a') untersuchen. Unser Code fur alle a E {a, I}" muss also eine effiz iente Fehlerkorre kt ur erla uben (fehlerko rrigierend e Codes, error-correcting codes ). Basis unserer Ube rlegungen ist eine Arithmetis ieru ng (arit hmetization) der 3-SAT -For mel. Positive Literale Xi werden durch 1 - Xi und negativ e Lit er ale X i dur ch X i ersetz t, aus Disjunktionen werden Produkt e und aus Konjunktionen Summe n. Also gilt beispielsweise

Nah eliegender war e eine du ale Vorgehensweise gewesen. So ist abe r der Gr ad des entstehenden Polynoms P durch die Anzahl der Lit er ale pro Klau sel, also 3, beschr ankt , Das Polyn om P hat folgend e Eige nschaften. Fa lls a eine Klausel erfullt , ist der zugehorige Term 0, wah rend der Term den Wert 1 fur nicht erfullende Belegungen hat. Also ist p(a) die Anzahl der von a nicht erfullte n Klau seln . Es wird sich allerdings als vorteilh aft erweisen, alle Rechnungen in Z2 durchzufuhren , Dann gibt p(a) nur noch an, ob gerade oder unger ade viele Klau seln nicht erfullt sind. Aus p(a) = 1 kan n also fehl erfrei geschlossen werden, dass a nicht alle Klau seln erfullt . Wi r konnen aber nicht aus p( a) = schlieBen, dass a erfiillend ist. Fur man che nicht erftillbare Klau selmengen wilrde dann die Fehlerwahrscheinlichkeit 1 betragen . Die Idee best eht nun darin, Klauseln zufiillig auszub lenden. Wenn eine gerade An zahl von Klauseln nicht erfullt ist und wir Klau seln zufiillig ausblenden, sollte eine gute Cha nce bestehen , dass eine ungerad e Anzahl von iibri g gebliebenen Klau seln nicht erfullt ist . Formal sei Pi das zur Klau sel c; gehorende Polynom. Fur einen Zufallsvektor r E {O ,1}m sei pr die Summe aller Pi mit r, = 1, also pr" =

°

174

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

°

TIPI + .. . + TmPm · Fur erfullende Belegungen a ist pi(a) = fur alle i und pr(a) = fur alle T. Fur nicht erfUllende Belegungen a nimmt pr(a) die Werte und 1 mit Wahrscheinlichkeit 1/2 an. Diese Eigens chaft hab en wir schon im Beweis von T heorem 11.3.4 (GI E BP(NP)) benutzt . Wir wiederholen das Argument. Da a nicht erfiillend ist, gibt es ein j mit pj(a) = 1. Unabhan gig von der Summe aller TiPi(a), i i- j , wird dieser Wert durch Tjpj (a) = "i mit Wahrscheinlichkeit 1/2 a uf jeden der beid en Wert e und 1 gebrac ht . Die Uberpriifung, ob pr(a) = ist, hat also die gewunschte n Eigenschaften . Falls a erfullend ist , gilt pr (a) = 0. Falls a nicht erfullend ist , betragt die Wahrscheinlichkeit ftir pr(a) = genau 1/2 . Urn pr(a) zu berechn en , muss Victoria abe r weit erhin a kennen. Wir werden nun die Situation fur Victoria umkehren. In der bish erigen Situation kennt sie v' , abe r nicht den Eingab ewert a fur p" , Wir werd en nun in Abhan gigkeit von a drei linear e Funk tionen L~ , L~ und L~ berechn en , deren Funktionstabellen das Codewort fur den Beweis a dars tellen . Victoria kennt zwar a nicht , sie solI abe r in der Lage sein, sich in polynomieller Zeit aus P und T Eingab evektoren b1 , b2 und b3 so zu berechnen , dass sie aus L~(bl) , L~(b2) und L~(b3) den Wert von pr(a) berechnen kann. Die Werte L~W ) , L~(b2) und L~(b3) erhalt sie, indem sie die passenden St ellen im Beweis, also im Codewort fur a, liest . Wir gehen von einem beliebigen Polynom q : {O ,1}n -4 {a, I} mit durch 3 bes chranktem Gr ad au s. Dab ei wird q in den Anwendungen einem der Polynome p r ent sprechen . Nachdem wir q ausmult ipliziert hab en , best eht es aus folgenden Summanden :

°

°

°

° °

- cq E {a, I} , dem konst anten Term, - der Summe aller Xi, i E I); , - der Summe aller XiXi» (i, j ) E Ii , und der Summe aller XiXjXk, (i , j , k) E Ig.

°

Da wir in 2 2 rechnen , sind die Koeffizienten aller Terme (Term nicht vorhanden) od er 1 (dann ist der Term vorha nden und das zugehorige Indextupel in der passenden I q-M enge ). Wir definier en nun

- L~ : 2~ -4 2 2 durch L~(YI , . ' " Yn) :=

L

aiYi,

I~i~n 2

- L~ : 2~ -4 2 2 durch L~(YI ,l , " . ' Yn,n) := 3

L

aiaj Yi,j und

I ~ i, j ~n

- L~ : 2~ -4 2 2 durch L~(Yl, I ,I " . " Yn,n,n) :=

L

aia jakYi,j,k·

I ~ i ,j ,k ~ n

Nach Definition sind L~ , L~ und L~ linea r. Ihre Funktionst ab ellen hab en 2 3 die Langen 2n , 2n und 2n . Das Codewort fur a hat also eine Lan ge von n2 n3 2n + 2 + 2 und best eht aus der Konkaten ation der dr ei Funktionst ab ellen . Victoria ber echnet sich fur q in polynomieller Zeit die zugehorige n cq , und Zusat zlich berechnet sie sich die charakte ristischen Vektoren cq , cq und cq von I);,Ii und Ig. Dab ei ent halt zum Beispiel c~ an Position (i, j )

13

Ij-

I{ ,

12.2 Das PCP-Theorem

175

Ii

ist , und ansonsten eine 0. In dem Codegenau dann eine 1, wenn (i, j ) E wort fur a liest sie die Werte L~( c~) , L~( c~) und L~(c~) . SchlieBlich berechnet sie sich cq

+ Ll(c~) + L~(c~) + L~(c~) .

Die Beh auptung ist , dass sie auf diese Weise q(a) berechnet hat . Sie hat den konstanten Term cq beru cksicht igt . Zusat zlich ist

Mit L~( c~) berucksichtigt sie die Terme von q, die Gr ad 2 hab en . An aloges gilt fur L~ und Gr ad 1 sowie L~ und Gr ad 3. Wir hab en also eine Codierung fur a E {O, I}" gefunden, die zwar groBe Lan ge hat , abe r von Victoria benu tz t werden kann, um mit drei ausgewa hlten Positionen p" (a) in polynomieller Zeit zu berechn en . Wir wissen nun also, wie der Beweis fur eine erftillba re Klau selmenge aussehe n solI. Es wird eine erfullende Belegung a gewa hlt und es werden die Funktionst ab ellen von L ~ , L~ und L~ als Beweis benutzt . Die Beweistib erpriifung wird dar in best ehen , pT(a) fur konst ant viele zufallige r zu berechnen und den Beweis zu akzeptieren, wenn aile den Wert hab en. Fur jeden dieser Test s gen ilgt das Lesen von drei Beweisposit ion en . Die Anzahl der Zufallsbits ist durch O(n 3 ) beschrankt , da 3-SAT-Formeln ohn e triviale Klaus eln und ohne Wiederholung einer Klau sel nur 2n + 4 . ( ~) + 8 . G) = O(n 3 ) Klau seln haben k6nnen und r eine zufallige Wahl der Klau seln beschreibt. Die Fehl erwah rscheinli chkeit bei nicht erftillt en Klau selmengen ist , wie schon diskutiert, fur jeden Test 1/2 . Allerdings gelte n diese Ub erlegungen nur ftir Beweise vom beschrieb enen Typ . Wir mussen a ber im Fall nicht erftillbarer Klau selmengen au f alle Beweise vernlinft ig reagieren . "Vir nehmen an, dass Beweise die "richt ige" Lan ge hab en , da spatere Beweispositionen nie gelesen werden und zu kurze Beweispo sit ionen nur eine zusa tz liche Ch an ce biet en , die Beweise als un erwunscht zu ent larven. Wie werden nun Beweise ub erpruft? W ir ben6ti gen vier Module:

°

-

Lln eari t atstest, Funktionsau swerter , Kon sist enz t est un d Beweisverifizierer .

Der Line aritat st est dient zur Ub erprufung, ob eine Funktionst ab elle eine linear e Funktion beschreibt. Wi r beschreiben , wie dies randomisiert mit einseit igem Fehl er und dem Lesen von konst ant vielen Beweisbits durchgefuhrt wird . Offensi chtli ch kann dieser Test nicht wie gewunscht gelingen, wenn der Beweis aus der Funktionst ab elle best eht. Wenn die Funkt ionstabelle gena u einen Wert ent halt , der die beschrieb ene Funkt ion von einer linearen Funktion unter scheid et, wird dies nur mit winziger Wahrscheinlichkeit ent deckt .

176

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

Wir unterscheiden dah er linear e, fast linear e und andere Funktionen, wobei wir die Begriffe spater form alisier en. Die anderen Funktionen muss en wir entlarven. Wir mus sen abe r hinnehmen , dass fast lineare Funktionen den Linearitatstest uberstehen konnen . Linear e Funktionen ub erstehen diesen Test st ets. Es wird sich her au sst ellen , dass fast lineare Funktionen nur einer linear en Funktion ahnlich sind. Wir versuchen dann, an St elle der fast linear en Funktion den Beweis so zu interpretieren , als wiirde er die ahnliche linear e Funktion beinhalten . Der Funktionsauswerter berechnet fur Ein gabewerte eine Schatzung des Funktionswertes der "zugebOrigen" linearen Funktion. Fur lineare Funktionen ist der Wert st ets korr ekt. Fur fast linear e Funktionen kann die Fehlerwahrscheinlichkeit durch eine Konstante a < 1 beschr ankt werden. AuJ3erdem kann die Fehlerwahrscheinli chkeit durch un abhangige Wiederholung und Majoritatsentscheidung gesenkt werd en . Der Funktionsauswerter liest nur konstant viele Beweisbits. Es gibt ein weiteres Problem . Es reicht nicht au s, dass der Beweis die Funktionst abellen von drei linear en Funktionen beinhaltet . Die Funktionen L~ , L~ und L~ han gen aile von a ab und sind somit verkniipft . Der Konsistenzt est ub erpnift, ob die drei betrachtet en linear en Funktionen , darunter event uell die Korrekturen fast linearer Funktionen, konsistent sind, also von derselben Eingabe a abstammen. Fur lineare Funktionen L~ , L~ und L~ ist der Test fehlerfrei. Tripel von nicht konsistent en linearen od er fast linearen Funktionen werd en mit Hilfe des Lesens von konst ant vielen Beweisbits mit konstanter Fehl erwahrscheinli chkeit j3 < 1 ent larvt . SchlieJ31ich t estet der Beweisverifizierer , wie schon beschri eb en , mit Hilfe des Lesens von konstant vielen Beweisbits, ob pr (a) = 0 fur Zufallsvektoren r ist. Falls der Beweis aus L~ , L~ und L~ best eht, wird der Wert von pr (a) korr ekt berechnet. Ansonsten kann die Fehlerwahrscheinli chkeit durch eine Kon stante "y < 1 beschrankt werd en. Insgesam t wird der Beweis (L~ , L~ , L~) fur erftillende Belegungen a mit Sicherheit akzept iert . Fur nicht erflillba re Klauselmengen kann ein Beweis akzept iert werden , wenn mindest ens einer der folgend en Faile auftrit t: - Einer der drei Linearitatst ests ent larvt eine Funktionst ab elle nicht , die eine nicht einmal fast linear e Funktion darst ellt. - Der Konsist enztest ent larvt nicht konsist ent e Funktionentripel nicht , wobei fast linear e zu linear en Funktionen korri giert werd en. - Aile berechneten pr (a) hab en den Wer t 0, wobei fast linea re zu linear en Funktionen korri giert werden. - Ein e der vielen Funktionsau swertungen liefer t einen falschen Wert. Hierbei ist zu beacht en, dass die Funktionsauswertung in den anderen Modulen verwendet wird. Wir erla uben jedem Linear itatst est eine Fehlerwahrscheinli chkeit von 1/18 , also zusa mmen eine Fehlerwahrscheinlichkeit von 1/6, und dem Kon sist enztest unter der Voraussetzung fehlerfr eier Linearitat st ests eine Fehl erwahrscheinli chkeit von 1/6 . Dami t bleibt fur die Beweis-

12.2 Das P CP-Theorem

177

verifikation eine Fehlerwahrscheinli chkeit von 1/6 , wobei wir voraussetzen durfen, dass die a nderen Tests fehlerfrei sind. Der Beweisverifizierer liest dr ei Beweisbits . Wen n wir dem Funktionsau swert er eine Fehlerwahrscheinli chkeit von 1/10 zubilligen, wird fur nicht erfullba re Klau selmengen ein Wert von 0 fur pr(a) nur dann berechnet , wenn pr(a) = 0 ist (Wahrscheinlichkeit 1/2) od er eine Funktionsau swertung einen falschen Wert liefert . Die Fehl erwahrscheinlichkeit ist also durch 4/5 beschrankt. Neu n unabhan gige Wi ederholun gen senken die Fehlerwahrscheinlichkeit auf unter 1/6. Ahnlich konnen die entsprechenden Par am et er fur die anderen Module berechnet werden . Es gentigt also zu zeigen, dass jeder Test mit einer Fehlerwahrscheinli chkeit, die durch eine Konst ante kleiner als 1 beschrankt ist , und mit Hilfe konst ant vieler Beweisbit s mit pol ynomieller Rechenzeit und O(n 3 ) Zufallsbits bewaltigt werden kann. Daraus kann der PCP-Verifizierer zusa mmengesetzt werden. Wir beginnen mit dem Lineari t atst est . Da wir tiber dem Korp er Z2 ar beit en , ist f : Z 2 -'> Z2 genau dann linear , wenn f( x +y) = f( x) + f(y ) fur alle x, y E Z2n ist. Eine Funktion fi st der Funkt ion 9 O-nah (o-close) , wenn bei Gleichverteilu ng auf Z2 die Eigenschaft Probx(f(x) -=I- g(x)) ::; 0 gilt. Wi r noti eren hier an Prob, welches Eleme nt zufallig gewahlt wurde, wobei es sich stets urn die Gleichvert eilung hand elt . Der Linearitat st est hat nun folgend es Aussehen : - W ahl e un abhan gig und zufallig x , y E zm und bezeichne nicht linear , wenn f( x + y ) -=I- f( x ) + f (y) ist .

f nur dann als

Dieser Test hat folgende Eigenschaften : - Falls f linear ist , best eht f den Llneari t at ste st . - Falls f fur ein 0 < 1/ 3 zu keiner linearen Funktion O-nah ist , dann best eht f den Lineari t atstest mit einer Wahrscheinlichkeit von weniger als 1 - 0/2. Die erste Eigenschaft gilt offensicht lich. Die zweite Eigenschaft formulieren wir aquiva lent urn zu: - Aus Probx,y(f(x + y) -=I- f( x) Funkt ion 9 O-nah ist.

+ f( y) )

::; 0/2 folgt , dass f eine r linearen

Der Nachweis dieser Behauptung wird dadurch erleichtert, dass wir eine lineare Funktion 9 definieren und fur sie zeigen, dass sie f O-na h ist . Zur Definition von g(a) betracht en wir alle f (a + b) - f (b),b E Z2 ' Fur lineare Fun kt ionen f erha lten wir stets den Wert f( a) . Dah er wahl en wir als g(a) den Wert aus {a, I }, der in der List e aller f(a +b ) - f(b) haufiger vorkommt . Bei Gleichh eit sei g( a) = O. Es bleibt zu zeigen: - g ist f o-na h, - gist linear . Die erste Eigenschaft wird durch Wid erspruch bewiesen . Sei also angenommen , dass sich fund 9 nicht O-nah sind . Dann ist

178

12. Das P CP-Theorem und die Komplexit at von Approximationspr oblemen

Probx(f(x) -1= g(x)) > O. Nach Kon struktion von g gilt

Proby(g(a) = f(a + y) - f (y)) 2: 1/2 . Also folgt

+ y) - f(y) -1= f( x)) Probx,y(f(x + y) - f(y) = g(x), g(x) -1= f( x)) L Proby(f(a + y) - f(y) = g(a) , g(a) -1= f( a))·

Probx,y(f(x

>

2- m .

aEZ2'

Fur jedes a ist g(a) = f(a) od er g(a) -1= f (a). 1m erste n Fall ist die betracht et e Wahrscheinli chkeit 0 und im zweite n Fall kan n die Bedingu ng g(a) -1= f(a ) wegfallen. Also ist

Probx,y(f(x

>

+ y) - f(y)

L

2- m

-1= f( x ))

Proby(f(a + y) - f (y)

=

g(a))

a EZ 2' ,g (a )i- f (a )

>

L

2- m

~

> 0/2.

aEZ2' ,g (a )i- f (a )

Die letzt e Ungleichung folgt , da aus Probx(f(x) -1= g(x)) > 0 folgt , dass ftir mehr als O· 2m aller a E ;Z~ die Eigenschaft g(a) -1= f(a) gilt . Damit erhalte n wir einen Widerspruch zur Vorau sset zung Probx,y(f(x + y) -1= f( x ) + f (y)) ::;

0/2 . Zum Beweis der Lineari t at von g unt ersuchen wir

p(a)

:=

Probx(g(a)

=

f(a

+ x ) - f( x)).

Nach Kon st rukt ion von gist p(a) 2: 1/2 . Wir zeigen , dass sogar p(a) 2: 1 - 0 ist . Wir wenden die Vorau sset zung auf x + a und y und a uch auf x und y + a an. Da bei zufalliger Wahl von x E ;Z~ auch x + a ein zufalliger Vektor a us ;Z~ ist , gilt

Probx,y(f(x

+ a) + f(y)

-1= f( x

+ a + y)) ::; 0/2

und

Probx,y(f(x ) + f(y

+ a) -1= f( x + a + y) ) ::; 0/2 .

Die Wahrscheinlichkeit fur die Vereinigung der Er eignisse ist also nach oben durch 0 beschrankt und die Wahrscheinli chkeit des Komplement s deshalb nach unten durch 1-0. Nach den De-Mor gan-Regeln ist dies der Durchschnitt der Er eignisse f( x +a) + f(y) = f( x +a+y) und f( x) + f(y + a) = f( x+a +y) ,

12.2 Das P CP-Theorem

insbesondere also eine Teilmenge des Ereignisses f( x f(y + a). Damit gilt

Probx,y(J(x

+ a) + f(y) = f( x) + f(y + a)) 2: 1 -

179

+ a) + f( y) = f( x) + 6.

Urn die Un abhangigkeit der Wahl von x und y au szunutzen , schreiben wir die Gleichung als f( x + a) - f( x) = f(y + a) - f(y) . Also ist

+ a) - f( x) = f(y + a) - f (y)) Probx,y(J(x + a) - f( x) = z , f(y + a) - f( y) = z )

1 - 6 :S Probx,y(J(x =

L zE{ O, l }

=

L

P rob x(J(x

+ a) - f( x)

=

z ) . Proby(J(y + a) - f (y) = z )

zE {O,l}

=

L

(Probx(J(x

+ a) - f (x) = Z))2 .

zE{ O,l }

Fur z = g(a) ist Probx(J(x + a) - f( x) = z ) = p(a). Dami t ergibt sich fur z -=I- g(a) der Wert 1 - p(a) . Somit ist 1 - 6 :S p(a)2 + (1 - p(a))2.

Da, wie ob en bem erkt , p(a) 2: 1/2 ist , folgt 1 - p(a) :S p(a) und

p(a)2 + (1 - p(a)) 2 :S p(a)2 + p(a)(l - p(a)) = p(a) und dam it die Zwischenb ehauptung. Dieses Er gebnis wenden wir dreimal an, wobei wir wieder ausnutz en, das s mit x auch x + a ein zufalliger Vektor aus ist . Es ergibt sich

z,rr

Probx(g(a) = f(a + x ) - f( x)) = p(a) 2: 1 - 6, Probx(g(b) = f(b + a + x ) - f(a + x )) = p(b) 2: 1 - 6, Probx(g(a + b) = f(a + b + x) - f( x)) = p(a + b) 2: 1 - 6. Dami t hat der Durchschnitt der dr ei Ereignisse eine Wahrscheinlichkeit von mindest ens 1 - 36. Dies gilt auch fur jedes von den drei Ereignisse n implizierte Er eignis. Wi r ad dieren die ersten beiden Gleichungen und su btra hieren die dri tte Gleichung. Es folgt

Probx(g(a ) + g(b) = g(a + b)) 2: 1 - 36. Da nach Vorau ssetzung 6 < 1/ 3 ist , gilt

Probx(g(a)

+ g(b) = g(a + b)) > O.

Die Gleichung g(a) + g(b) = g(a + b) ist a ber una bha ngig von der Wahl von x wahr od er falsch. Eine positive Wahrscheinli chkeit , die den Wert 0 od er 1 hab en muss, kann nur den Wert 1 hab en . Also ist g(a) + g(b) = g(a + b) fiir aile a und b und damit 9 linear.

180

12. Das PCP-Theorem und die Kompl exit at von Approximationsproblemen

Der Funktionsau swert er er ha lt als Eingab e die Funktionst ab elle einer Funktion f : 2:2 ~ 2:2 und ein a E 2:2 , Er solI fur 5 < 1/ 3 folgend e Eigenschaften erfiillen: - Falls f linear ist , so ist das Er gebnis f(a) . - Falls f nicht linear , aber 5-nah zu der linearen Funktion gist , dann solI der randomisiert e Funktionsau swerter den Wert von g(a) mit einer durch 25 beschr ankten Fehlerwahrscheinlichkeit Iiefern, Der Funktionsauswert er hat folgendes Aussehen : - W ahl e x

E

2:2 zufallig und berechne f( x

+ a) - f( x) .

Damit ist die ers te Eigenschaft offensichtlich erfullt . Die zweite Eigenschaft lasst sich folgendermaBen zeigen. Da sich fund 9 5-nah sind, ist

Probx(f(x) = g(x)) :::: 1 - 5 und

Probx(J(x

+ a) = g(x + a)) :::: 1- 5.

Damit betragt die Wahrscheinlichkeit , dass beide Ereignisse eint reten, mindest ens 1 - 25. Die beiden Er eignisse implizieren aber f( x + a) - f(x) = g(x + a) - g(x ) und wegen der Linearitat von 9 a uch f( x + a) - f( x) = g(a). Damit hat der Funktionsau swert er die gewiinschten Eigenschaft en . F ur den Kon sist enzt est liegen Funktionst ab ellen fur II , h und h VOL Die dar gestellt en Funktionen sind linear od er einer linear en Funktion 5-nah . Fur 5 < 1/24 solI der Konsistenzt est folgende Eigenschaften hab en : - Falls die Funktionst ab ellen lineare Funktionen vom Typ Lf, L~ und L~ fur ein a E {O, l} " dar st ellen , best ehen die Funktionst ab ellen den Kon sist enzte st . - Falls es kein a E {O, I} " gibt, so dass die durch die Funktionst ab ellen dar gest ellt en Funktionen II , h und h zu L f , L~ und L~ 5-nah sind, dann sollen die Funkt ionstab ellen den Konsist enzt est nur mit einer durch eine Konst ant e kleiner als 1 beschr ankten Fehlerwahrscheinlichkeit best ehen . Der Kon sist enzt est hat folgendes Aussehen : 2

- W ahle zufallig und un abhan gig x, x' , x" E 2:~ und Y E 2:~ . - Definiere xox' durch (x oX' k j = xiXj und x" oy durch (x" 0Y)i,j,k = X;'Yj,k. - Benu t ze den Funktionsau swerter zur Berechnung von Schat zern b fur II (x) , b' fur II (x') , b" fur II (x") , c fur h (x 0 x' ), c' fur h (y) und d fur h (x" 0 y) . - Die Funktionst ab ellen best ehen den Kon sist enzt est , wenn bb' = c und b"c' = d ist.

12.2 Das P CP-Th eorem

181

Lin eare Funktionen L'{, L '2 und L 3 bestehen den Konsisten ztest. Fur sie ist der Funktionsau swerter fehl erfrei und es ist

An alog folgt L f( x") . L'2(Y) = L 3(X" 0 y). Fur die zweite Eigenschaft wird ausgenutz t, dass fur 8 < 1/24 die Fehlerwah rscheinli chkeit des Fu nktionsau swerter s durch 28 < 1/12 beschr iinkt ist. Damit ist die Fehl erw ah rscheinlichkeit aller sechs Funktionsau swertungen zus ammen durch 1/2 beschriinkt. Wir nehmen nun an, dass die Funktionsau swertungen fehl erfrei verl aufen. Die zu h 8-n ah e linear e Funkt ion hab e die Koeffizienten a; und die zu fz 8-nahe lineare Funktion die Koeffizienten bi,j' Es sei ai,j := aia j ' Wir betrachten die Matrizen A = (ai,j) und B = (bi,j ) und nehmen an, dass die Funkt ionsauswertunge n korrekt , abe r die Funkt ionst ab ellen inkonsistent sind. Dann ist A i= B . Die zuge horigen Eingab en x und x ' stellen wir als Sp altenv ektoren dar. Der Konsisten zt est vergleicht x T A x' und x T B x' und beruht darauf, dass fur A i= B und zufiillige x und x ' mit einer Wahrscheinli chkeit von mindest en s 1/4 die beid en Wer te verschied en sind und somit die Inkonsist enz belegt wird . Wenn sich A und B in der j-t en Spalte unterscheid en , ist d ie Wahrscheinlichkeit, dass sich x T A und x T B an der j-ten St elle unt erscheid en , 1/2. Dies folgt mit dem bereit s hiiufiger verw endet en Ar gument tib er den Wer t von Skal arprodukten x T y und x T z fur y i= z und zufiilliges x. Falls sich x T A und x T B unterscheid en , unterscheid en sich mit eine r Wahrscheinli chkeit von 1/2 auch (x T A) x' und (x T B) x' . Wenn wir alle Module mit den richtigen P aram etern verw enden , folgt 3-SAT E PC P(n 3 , 1) und NP ~ PCP(n 3 , 1) . Urn die Anz ahl der Zufallsbits dr astisch zu senken , mti ssen wir mit ku rzeren Beweisen auskomme n. Eine Id ee besteht darin , die linearen Funkt ionen in dem von un s beschriebenen An satz durch P olyn om e klein en Grad es zu ersetzen. Daruber hinau s wird ein so genanntes Kompo sitionslemma (composit ion lemma) gezeigt, das aus zwei Verifizierern mit unterschiedlichen Eigenschafte n eine n verb esserten Verifizierer liefert. Wie schon ange de utet, wollen wir nicht ti efer in das P CP-Theor em einsteigen. Es sollte zumindest klar geworde n sein, dass Beweise, von den en nur konstan t viele St ellen gelesen wer de n du rfen , erstaunlich viele Inforrnationen liefern konnen, Dies gilt abe r nur fur Beweisversu che, bei denen falsche Beweise nicht immer ent larvt werden. W ie schwierig dieses E rgebnis zu vermitteln ist , zeigt folgendes Zit at aus "The New York Times" vom 7.April 1992: "I n a discovery t hat overturns cent ur ies of mathem atical tradition, a gro up of grad uate stude nts and young resear chers has discovered a way t o check even the longest and most complicated proof by scru t inizing it in ju st a few spots .. . "

182

12. Das PCP-Theorem und die Kornplexitat von Approximat ionsproblemen

12.3 Das PCP-Theorem und Nichtapproximierbarkeitsresultate Der gerade zitierte Ar tik el fahrt folgendermaBen fort : " . . . Using t his new result, t he resear chers have already mad e a landmark discovery in computer science. T hey showed that it is impossible to comp ute even approximate solut ions for a lar ge group of pr act ical problems that have long foiled resear chers . . . " . Dass diese Aussage stimmt , werden wir an den Beispielen MAX- 3-SAT und MAX-CLIQUE zeigen. Das PCP-Theorem errnoglicht es uns, die in Kapitel 8.3 diskutierte Lilckent echnik besser zu nutz en . Mit Hilfe der Aussage 3-SAT E PCP(log n , 1) werden wir 3-SAT so a uf MAX- 3-SAT polynomiell reduzieren , dass folgende Eigenschaften fur eine Konst ante 0 > erftillt sind:

°

- Falls die gegeb ene Klau selmenge erfullbar ist, so ist auch die erze ugte Klauselme nge erftillba r. - Falls die gegebe ne Klau selmenge nicht erfullbar ist , so gilt fur die erze ugt e Klaus elmenge, dass hochst ens ein Anteil von 1-0 aller Klau seln gleichzeit ig erftillbar ist.

°

Wir wahl en nun E > so, dass 1 + E = 1/ (1 - 0) ist . Wenn MAX- 3SAT einen polynomiellen Approximationsalgorithmus hat, dessen Approximationsgtit e kleiner als 1 + E ist , dann folgt NP = P . Wir konn en namli ch 3-SAT folgendermaBen losen. Zunachst wird die beschrieb ene Transformation und dann auf das Er gebnis der Approximationsalgorithmus fur MAX-3-SAT angewende t . Fur die Losung wird der Anteil a der er ftillt en Klauseln berechn et . Ist a > 1 - 0, so ist die gegebene Klaus elmenge wegen der zweiten Eigenschaft der polynomiellen Reduktion erfullba r. Ist a ::; 1 - 0, so kann wegen der Approximationsgut e des Approximationsalgorithmus und der ersten Eigenschaft der Reduktion die gegebe ne Klauselmenge nicht erftillbar sein. Diese Beweisstrat egie werd en wir nun konkreti sieren . Theorem 12.3.1. Es gibt eine Konstante E > 0, so dass polynomielle Approximatio nsalgorithm en Jilr MAX- 3-SAT mit einer kleinere n Approximationsgilte als 1 + E nu r exis tieren, wen n N P= P is t. Beweis. Wir vervoll st andigen die oben beschrieb ene Anwendung de r Luckentechnik. Nac h dem PCP-Theorem gibt es ganzzahlige Kon st anten c und k , so dass es fur 3-SAT einen randomisiert en Beweisverifizierer gibt, der fur Klau selm engen auf n Vari ablen hochst ens c . log n Zufallsbit s benutzt und hochst ens k Bit s des Beweises liest . Wi r konnen annehmen, dass genau lc . log n J zufa llige Bits vorliegen und stets gena u k Bits des Beweises gelesen werden . Es gibt dann N := 2 Lco!og n J ::; n C Belegungen des Zufallsvekt ors. F ur

12.3 Das PC P-Theorem und Nichtapproxim ierbarkeitsresultate

183

jede Belegung der Zufallsbi t s und jede 3-SAT-Einga be gibt es gena u k Beweispositionen , die gelese n werden. Also kann es fur jede 3-SAT-Eingabe nur kN verschiedene Beweispositionen geben, die eine positive Wah rscheinli chkeit hab en , gelesen zu werden. AIle anderen Beweispositionen sind irre levant. Dah er konnen wir von Beweisen ausgehen, deren Lan ge genau kN betragt . Die Menge moglicher Beweise ist somit gleich der Menge {O, 1 }kN. Es sei C eine Menge von Klauseln der Lan ge 3 auf n Vari abl en . Zu C betracht en wir N boolesche Funktionen fr : {O, 1 }kN -+ {O, I} , 0 ::; r ::; N - 1. Der Index r bezieht sich auf den Zufallsvektor, der als Bin ar zahl interpret iert wird. Fur fest gewa hltes r und die gewa hlte Klau selmenge liegen die k Posit ionen jr (1) < .. . < jr (k ) des Beweises, die gelesen werden, fest . Es soll f r(Y) den Wer t 1 gena u dann annehmen, wenn der randomisierte Beweisverifizierer fur die Kla uselmenge C und die Belegung r des Zufallsvektors den Beweis Y akzept iert . Syn t aktisch beschr eiben wir alle Funktionen in Abhan gigkeit von Y = (Yl , . .. , YkN ), also aller Bit s des Beweises. Entscheidend ist abe r, da ss jede Funktion t- nur von k der y-Var iablen essenziell abha ngt. Nun konnen wir die Eigenschaft en des Beweisverifizierers als Eigenscha fte n der Funktionen f r a usdrticken: - Falls die Klau selmenge erfullbar ist , gibt es ein Y E {O, 1 }kN, so dass alle f r(Y ),O ::; r ::; N - 1, den Wer t 1 hab en . - Falls die Klau selmeng e nicht erfullbar ist , gilt fur jedes Y E {O, l}k N , dass hochst ens die Halft e aller f r (Y) , 0 ::; r ::; N - 1, den Wer t 1 hat. Die polyn omiell vielen Funkt ionen i- han gen essenziell nur von konst ant vielen Variabl en abo Es ist also in polynomieller Zeit moglich , fur alle Funktionen f r die konjunktive Normalform zu berechnen. Sie best eht fur je de Funkt ion aus hochst ens 2k Klaus eln der Lan ge k . Wir wend en nu n die polynomi elle Redukti on SAT ::;p 3-SAT (Theorem 4.3.2) an, um die Klau selmenge jeder Funktion f r durch Klau seln der Lan ge 3 zu ersetzen. Dab ei wird jede der gegeb enen Klau seln durch k* = max{l , k - 2} Klauseln ersetzt. Um die ob igen Eigenscha fte n der fr -Funkt ionen auf die neue Klau selmenge zu tibert ragen , ist zu beacht en, dass fr schon dann den Wert 0 hat , wenn eine ihrer hochst ens 2k Klau seln den Wert 0 hat . Mit der beschri eb enen Transformation er ha lte n wir fur f r hochst ens k * · 2k Klau seln , von denen nur eine nicht erfullt sein mu ss. Also gilt: - Falls die urs priingliche Klau selmenge erfullbar ist , so sind die neu gebildete n maximal k* . 2k . N Klau seln gemeinsa m erfullba r . - Falls die urspriingliche Klauselmenge nicht erfullba r ist , gib t es fur jede Belegung der Vari abl en fur die neu gebildeten Klau seln mindest ens N / 2 Klau seln , je eine fur die Halfte der N fr- Fun kt ionen, die nicht erfilllt sind. Fur 5 := (N /2 )/(k* . 2k . N) = l / (k * · 2k + 1) gilt also, dass hochst ens ein Ant eil von 1 - 5 der Klauseln de r neu gebildete n Klau selmenge gemeinsam erfullbar ist, wenn nicht alle Klau seln gemeinsa m erftillbar sind. Mit den

184

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

Voriib erlegungen hab en wir das T heorem fur c := 1/(1- 0) -1 > 0 bewiesen .

o Der Beweis von Theorem 12.3.1 zeigt , dass wir bessere Er gebnisse erha lt en , wenn wir k verkl einern, wahrend sich die Konstante c nur auf den Gr ad des Polynoms, das die Rechen zeit beschr ankt , auswirkt. Wenn k = 2 ist , erhalten wir eine Klau selmenge, deren Klau seln eine Lan ge von 2 haben. Fur sie lasst sich in polynomieller Zeit feststellen , ob aIle Klau seln gemeins am erflillbar sind (siehe Kapitel 7.1). Ein der artiger randomisiert er Beweisverifizierer fur 3-SAT od er ein anderes Nl--vollstandiges Problem wiird e NP = P imp lizieren . Theorem 12.3.1 und die Existen z eines polynomiellen Approxim ationsalgorit hmus mit endlicher Approximationsgiite fur MAX-3-SAT implizieren das folgende Koroll ar. Korollar 12.3.2 . Es is t MAX- 3-SAT E APX - PTAS, falls NP -=f. P ist. Wir kommen nun zum Problem MAX-CLIQUE. Dieses Problem hat bei der Suche nach "besseren PCP-Theoremen " im Mittelpunkt gestanden (Arora und Safra (1998) , Hast ad (1999)) . Hier konnen wir das best e bekannte Resultat nicht beweisen und begniigen uns mit folgend em Theorem . Theorem 12.3.3. Es ist MAX-CLIQ UE rt- APX, falls NP -=f. P is t. Beweis. Auch hier wenden wir die Liickent echnik an. Wie im Beweis von Theorem 12.3.1 benutzen wir fur 3-SAT einen randomisierten Beweisver ifizierer , der fur Klauselmengen auf n Variabl en lc-log n J Zufallsbits zur Verfugung hat und gena u k Bit s des Beweises liest . Wieder sei N := 2Lc.]ognJ ::; n", Zu diesem randomisierten Beweisverifizierer konstruieren wir in polynomieller Zeit folgenden Gr aphen . Zu jeder Belegung des Zufallsvektors r betrachten wir aIle 2 k Belegungen der k gelesenen Beweisbi ts. Jede Belegung, fur die der Beweis akzept iert wird , wird durch einen Kno t en im Gr aphen reprasentiert. Die Anz ahl der Knoten ist also durch 2k . N na ch ob en beschrankt. Die Knoten , die zum gleichen r gehore n, bilden eine Gruppe. Knoten derselb en Gruppe sind nie durch eine Kante verbunden . Knoten verschiedener Gruppen werden genau dann durch eine Kante verbunden , wenn sie sich in den Belegungen der Beweisbits, die sie beide lesen , nicht widerspr echen . Wenn die gegebe ne Klau selmenge er ftillbar ist, gibt es einen Beweis, der fur aIle Belegungen von r akzept iert wird. Aus jeder Gruppe betracht en wir den Knot en , der diesen Beweis re prasent iert . Nach Definition bilden diese Kno t en eine Clique der GroBe N . Wenn die gegebene Klau selmenge nicht erftillbar ist , wird jeder Beweis nur fur die Halfte der Belegungen von r akzeptiert . Wenn es eine Clique der Gr oBe N ' > N / 2 gibt, mussen nach Ko nstruktion die N ' Kno t en aus N ' Gruppen kommen. Au Berd em widersprechen sich die gelesenen Beweisbit s paarweise nicht. Also gibt es einen Beweis, der mit all diesen par ti ellen Belegungen von Beweisbits kompatibel ist . Dieser Beweis wird fur N ' der N und damit

12.3 Das P CP-Theorem und Nichtapproximierbarkeitsresultate

185

mehr als die Halfte aller Belegu nge n von r akzeptiert im Wi dersp ru ch zur Vorau sset zung, dass die gegebene Klau selm enge nicht erfullbar ist . Falls also NP f P ist , gibt es keinen po lyno miellen Algori thmus fur MAXCLIQUE, der eine Ap proximation sgiit e kleiner als 2 erreic ht . Im Gegen sat z zum Beweis von T heorem 12.3.1 geht die Kon st ant e k nicht in die GroBe der entstehenden Lucke ein. Diese ist 2, weil der randomisierte Beweisverifizierer eine durch 1/2 beschr ankte Fehlerwahrscheinlichkeit hat. F ur jede Konst ant e e > 1 gibt es fiir 3-SAT a ber auch einen PCP (log n, 1)Ver ifizierer, dessen Fehlerwahrschoinllchkeit durch l i e beschrankt ist . Wenn wir mit diesem randomisiert en Beweisverifizierer denselb en Beweis d urchftihren , er ha lten wir eine Lucke mit de m Fak t or e und damit den Beweis des T heore ms. D Wi r hab en fur de n Beweis von T heorem 12.3.3 das P CP-Theorem wieder direkt angewendet . In T heo rem 8.4.4 hab en wir eine P TA S-Reduktion von MAX -3-SAT a uf MAX- CLIQUE mit a (c) = e beschrieben . Somit erhalt en wir filr MAX- CLIQUE a us Theor em 8.4.4 das gleiche Nichtapp rox imie rbarkeit sresult at , das wir ftir MAX-3-SAT in T heorem 12.3.1 gezeigt hab en . Im Gegensat z zu MAX-3-SAT hat MAX-CLIQUE die Eige nschaft der Selbst verbesserung (self-im provability), mit der wir a us eine m polyn omiellen Approximationsalgor ithmus mit Cute e einen pol ynomiellen Approxim at ionsalgor ithmus mit Giite e l / 2 konstruier en konnen . Dies konnen wir, da sich der Grad des P olynoms fur die Rechenzeit erh oht, nur konst an t oft wiederholen. Die 2k Cute kann also fur jede Konst ante k von e au f e l / und damit unt er jedes l + c gesenkt werden. Somit erhalten wir T heo rem 12.3.3 aus T heorem 12.3.1, ohne no ch einmal das P CP-Theorem anzuwenden. F ur de n Nachweis der Eigenschaft de r Selbstverbesse rung bet ra cht en wir zu un ger ichtet en Graphen G = (V, E) de n P rod uktgraphen G 2 auf V x V . E r ent ha lt die Kant e {(Vi ,Vj) , (Vk ,Vt}}, wenn (i , j) f (k,l) , ({vi ,vd E E ode r i = k) und ({Vj, VI} E E oder j = l) ist . Aus eine r Clique auf {VI, . . . , v r } in G er ha lten wir die Clique au f allen (vi ,vj ), l :::; i,j :::; r , in G 2. Wenn cl(G ) die maximale Cliquengrobe in G bezeichn et , ist also cl( G 2) ~ cl( G) 2. Sei nun andere rseit s eine Clique der GroBe m in G 2 gegeben. Wir bet racht en die Knotenpaare (Vi ,Vj ), die diese Clique bild en . Dann muss es in der ersten od er zweiten Komponent e dieser P aare mindestens m l / 2 l Kn ot en geben . Urn cl( G 2 ) = cl( G ) 2 zu zeigen , beweisen wir, dass diese m 1/ 2l Kn ot en eine Clique in G bild en. Wenn Vi und Vj in der erste n Kom ponente der Kn ot enp aar e der Clique in G 2 vorkommen , gibt es Vk un d VI, so dass (Vi, Vk) und (Vj,VI) zur Clique in G 2 gehoren und somit durch eine Kant e verbunde n sind . Dies impliziert aber nach Definition von G 2, dass {Vi, Vj} E E ist . Die Ar gument e verl au fen analog, wenn Vi und Vj zur zweite n Koo rdin ate der Kn ot enpaar e geho ren. Wir verbessern einen po lyn om iellen e-Appr oximationsalgorit hmus A fur MAX- CLIQUE, indem wir zu G de n G raphen G 2 berechnen , dar auf A anwenden , eine Clique der GroBe m erha lten, darau s, wie ob en beschr ieb en ,

r

r

186

12. Das PCP-Theorem und die Komplexitat von Approximationsproblemen

eine Clique der GraBe Im 1/ 2l fur G berechnen und als Ergebnis prasentieren. Dann ist cl(G 2 )/ m :::; c und

Wir erhalt en also einen c 1/ 2-Approximationsalgorithmus , dessen Laufzeit polynomiell ist. Wir werd en keine weit eren Nichtapproximierbarkeitsresultate ableiten. Kann und Crescenzi (2000) verwalten die besten a kt uellen Resultat eoFUr die von uns intensiver behandelten Optimierungsprobleme listen wir die aktuell besten Schranken auf. Die ApproximationsgUten beziehen sich auf polynomielle Algorithmen, E ist st ets eine beliebige positive Konstante und die Negativresultate set zen, wenn nichts anderes vermerkt ist, NP i= P voraus. MAX-SAT: 1,2987- approximierbar und APX-vollstandig. MAX-k-SAT: 1/(1-2 - k)-approximi erbar fur k 2: 3, wenn aIle Klauseln k verschiedene Literale ent halten, aber nicht (1/ (1 - 2- k ) - E )-approximierbar. MAX-3-SAT: 1,249-approximierbar, auch wenn sich Liter ale in Klauseln wiederholen durfen . MAX-2-SAT: 1,0741-approximierbar, aber nicht 1,0476-approximierbar, wobei sich Literale in einer Klausel wiederholen durfen . MIN-VC: 2-approximierbar, aber nicht 1,3606-approximierbar . MIN-GC: O( n . (log log n )2/log 3 n )-approximierbar , abe r nicht nl /7-c_approximierbar, sogar nicht n1- c-approximierbar, falls NP i= ZPP ist . MAX-CLIQUE: O(n/log 2 n)-approximierbar, aber nicht n 1/ 2- c-approximierbar , sogar nicht n1- c-approximierbar, falls NP i= ZPP ist . MIN- TSP: Nf'Osvollstandig. MIN-Tspsym,Ll : 3/2-approximierbar und APX-vollstandig. MAX-3-DM: (3/2 + E)-approximierbar und APX-vollstandig. MIN-BP: 3/2-approximierbar, ab er nicht einmal (3/2 - E)-approximierbar, (71/60 + 78/(71 opt) )-approximierbar und (1 + (log2 opt) /opt)-approximierbar , wobei opt hier den Wert der optimalen Losung bezeichnet . MIN-SC : (1 + In n) -approximierbar, wobei n die Machtigkeit der Grundmenge ist , a ber filr ein c > 0 nicht (c · In n )-approximierbar und nicht ((1 - E) In n )-approximierbar , falls sich polynomielle nichtdeterministische Algo rithmen nicht allgemein durch deterministische Algorithmen mit Laufzeit O(nloglogn) erset zen lassen .

12.4 Das PCP-Theorem und APX-Vollstandigkeit In Kapitel 8.5 haben wir be reits fur MAX-W-SAT und MIN-W-SAT nachgewiesen, dass sie Nf'Ovvollstandig sind . Hier wollen wir das PCP-Theorem

12.4 Das PCP-Theorem und APX- Vollst and igkeit

187

anwenden, urn MAX-3-SAT als APX-vollst andig nachzuweisen. Dieses E rgebnis ist der Ausgangspunkt ftlr viele weit ere APX-Vollst iindigkeit sresult ate, die wir je doch nicht diskut ieren. Bisher wussten wir , dass NP = P aus MAX-3- SAT E P TA S folgt . Mit dem neuen Er gebnis ist MAX-3-SAT E P TAS nur, wenn PTAS = APX ist . 1m ersten und entscheidenden Schrit t des Beweises zeigen wir, dass MAX- 3-SAT MAX-APX-vollst andig ist , wobei MAX-APX die Maximierungsprobleme aus AP X enthalt. An schlief3end zeigen wir , dass sich je des Problem a us MIN-AP X auf eine MAX-AP X-Vari an t e von sich selbst bezliglich ,,:SPTAS" redu zieren lasst . Dies fuh rt zu dem angeklindigte n Resultat . Wir wollen zunac hst die Idee des MAX- APX-Vollst andigkeit sresultats disku tieren . Wir bet racht en ein P robl em A a us MAX-APX, das sich in polyno mieller Zeit mit Glit e r* ~ 1 approx imieren lasst . Dabei kann r " eine sehr grof3e Kon st ant e sein. Dagegen ist MAX-3-SAT nur fur recht kleine Ap proxim ationsglit en ein schwieriges Probl em . Mit der Approxim ationslosung fur A er halte n wir ein Intervall [a , r * . a] fur den Wert einer optimalen Losung. Dieses Intervall zerlegen wir in Subint ervalle Ii := [f i - 1 . a, fi . a], i ~ 1, fur ein f > 1. Solan ge f a uch eine Kon st ant e ist , er halten wir konst ant viele Subintervalle. Fii r jedes Sub int ervall ist nun abe r der Quotient aus ob erer und unterer Grenze so klein , dass sich das Teilp roblem Ai , best ehend aus den Eingab en mit opti malem Losungswert in Li , bezliglich ,,:S P TAS " au f MAX- 3-SAT reduzieren lasst . Wi r stehen dab ei natlirlich vor dem P roblem , aus Losungen fur die konstruierten MAX-3-SAT-E ingaben wieder Losungen genlige nder Glit e fur die gesamte A-Eingab e zu bilden . Diese Ideen werden im Beweis des folgend en Lemmas ausgeflihrt . Lemma 12.4.1. MAX- 3-SAT ist MAX-AP X-vollstiindig. Beweis. Am Ende von Kapitel 12.3 haben wir MAX-3-SAT als 1,249approximierba r beschrieben . Die Aussage MAX-3-SAT E APX folgt abe r direkt aus einem einfachen Argum ent . Jede Klausel wird von min desten s einer der beiden folgend en Belegungen erfullt , der Belegung aller Vari abl en mit oder der Belegung aller Variabl en mit 1. Diejenige der be iden Belegungen, die mehr Kla useln er fullt, hat eine dur ch 2 beschrankt e Approximat ionsgute. Sei nun A E MAX-APX und r " eine konst ante durch einen polynomi ellen Approxim ationsalgori thmus AL erreic hbare Approxim at ionsglit e. Wir wollen A :SPTAS B fur B = MAX-3-SAT nachweisen . In der Definition 8.4.1 fiir das Kon zept ,, :SPTAS" laut et die Ford erung an die Glit e der ftlr A aus der App roxirnationslosung fur B erze ugten Losung

°

rB (J (x ), y ) :S 1 + a (c) =} rA(x ,g(X ,y,c) ) :S 1 + c. Wir werd en fur a : Q+ ---+ Q+ eine lineare Fun ktion a (c) = e] (3, (3 > 0, benu t zen . Also kann 1 + a (c) jeden rationa len Wert r > 1 annehme n. Es ist e = a(c) . (3 und fur r = 1 + a (c) ist 1 + e = 1 + o (e) . (3 = 1 + (r - 1) · (3. Die oben genannte Ford erung an die Glit e von g(x ,y, c ) ist aquivalent zu

188

12. Das PCP-Theorem und die Komplexitat von Approximat ionsproblemen

rB (f (x ), y) :::; r

=}

rA(x ,g( x ,y,r)) :::; 1 + (3. (r -1) .

Folgende Wahl des Par am et ers (3 wird sich als geeignet her au sst ellen : (3 := 2(r* log r " + r" - 1) . (1 + c)/c,

wob ei e > 0 nun eine Kon st ante ist , fur die Theorem 12.3.1 erfilllt ist . AuBerdem wird c so gewahlt , dass (3 rational ist. Je kleiner die "schwierige Lucke" fur MAX-3-SAT und je schlecht er die gegebe ne Approximation von A ist , desto grofier ist (3 und desto schwacher sind die gestellten Anforderungen an die zu berechnende Approximationslosung fur A . Der Fall r* :::; 1 + (3. (r -1) lasst sich einfach behandeln . Schon der Approxim ationsalgorithmus AL liefert eine genugend gute Approximationslosung. Fur aIle Eingab en x des Problems sei f( x) dieselb e beliebige Ein gab e fur B . Wir werden namli ch g(x , y, r ) un abhan gig von y definieren . Es sei g(x , y, r) die Losung s(x ), die AL ftlr die Ein gab e x berechnet. Dessen Ap proximationsgute ist durch r* :::; 1 + (3. (r -1) beschr ankt und damit ist die Forderung an die Cute von g(x, y , r) erfullt. Wir konnen nun annehmen , dass b := 1 + (3. (r - 1) < r* ist. Leider lassen sich in diesem Beweis ein paar arit hmet ische Abschat zungen nicht vermeiden . Zun achst wird k := 110gb r*l definiert . Aus b < r" und der Ungleichung log z ;::: 1 - z - l fur z ;::: 1 folgt log r" log r " k < - - + 1< +1 - log b - 1 - l ib (3 . e b . log r* b- 1 r* log r* + r* - 1 1 b-l +b-l < b-1 b -1 2 · (1 + c) und

b-1

c

- - < --,---,---...,(3 2k(1 + c)' Aus b = 1 + (3. (r - 1) folgt b -l

r

=

T

+1
2Zn / 2, da fur a = on die Funkt ion IP n fur alle (a, b) den Wert 0 annimmt und fur a =1= on dies fiir gena u die Hiilfte aller b der Fall ist . Letzt ere Eigenschaft hab en wir scho n in mehreren Zusammenhiingen ausgenutzt. Es seien a mit ai = 1 un d b1 , ... , bi- 1, bi+l , . . . , bn festgelegt . Dann fiihrt gena u einer der beiden Werte ftir bi zum IP-Wert O. Konnen wir zeigen, dass jedes O-Recht eck R hochstens 2n Ein gab en (a, b) ent ha lt, br au chen wir mehr als 2n / 2 O-Recht ecke, urn aIle O-Ein gaben zu uberd ecken . Urn die GroBe von O-Recht ecken R abzuschatzen, machen wir un s den algebraischen Cha rakter des.Skalarproduktes zunutze. F ur eine Menge A ~ {O, I} " sei (A) der von A inn erh alb des Zz- Vektor raums Z~ aufgespannte Unt erraum. F ur jedes O-Recht eck R = A x B , ist auch (A) x (B) ein 0Recht eck. Dies folgt aus der leicht zu verifizierenden Beziehung

wobei auf der linken Seit e EB das bitweise EXOR bezeichnet . Also hat das groflte O-Recht eck die Gest alt A x B , wob ei A und B orthogon ale Unterriiume von Z~ sind. Die Dim ension von Z~ ist n und aus der Orthogon alitiit von A und B folgt dim (A) + dim(B) :s; n. SchlieBlich ist die GroBe von R gleich IAI ·IBI und IAI .I B I = 2d im ( A ) . 2d im ( B ) :s; 2n .

o Die Dar stellung der Funkti on f du rch ihre Kom munikationsm atrix M] legt es nah e, Methoden der linear en Algebra auf diese Matrix anzuwenden. Dies ftihrt zu der Ran gmethode (rank lower bound method) zur Abschiitzun g der Kornmunikati onskornplexit at von f. Theorem 15.2.8. Es sei Rang(f ) der Rang der Kommunikatio nsmatrix Mf tiber lR, wobei f den Bildbereich {O, I } hat. Dann ist

C (f) 2: flog Rang(f)l · Beweis. W ir zeigen, dass jedes Kom munikat ionsprotokoll ftlr f einen Prot okollbaum T mit mindest ens Ran g(f) vielen I-Blat t ern erfordert . Dar aus folgt die Behau ptung. Es sei A v x B ; die Menge der Eingabe n, die in T das

15.2 Untere Schranken fiir die Kommunikat ionskornplexit a t

241

J-Blatt v erreichen. Zu v bilden wir die Matrix M v , die an der St elle (a , b) genau dann eine 1 ent ha lt , wenn (a, b) E A v x B ; ist . Die Matrix M ; entha lt fur a E A v Zeilen , die gleich dem charakte rist ischen Vektor von B ; sind , und fur a rt- A v Nullzeilen. Also ist Ran g(Mv ) = 1, falls A v x B; i=- 0 ist, und Rang(Mv ) = a sonst . Au Berd em ist M ] die Summe aller M; fur die l -Blatter v. Dies folgt , da jede Eingabe (a, b) E f - 1(1) zu einem l-Eint rag in genau einer Matrix M v fuhrt . Die bekannt e Sub additivitat der Ran gfunktion fuhrt fur die Menge L(T ) der I -Blat t er von T zu R ang(Mf)


0 so wahlen, dass €+o < 1/2 bzw. e + 0 < 1 ist . Aus Theorem 15.4.1 und Theorem 15.4.6 folgt dann

und

Diese Ergebnisse belegen eine gewisse Robustheit unseres Mod ells randomisierter Kommunikationsprotokolle mit privat en Zufallsbits. Wir haben au ch schon eine Methode zum Entwurf kurzer randomisierter Komrnunikationsprotokolle kennen gelernt. Unte re Schr anken bei einseit igem Fehler folgen aus unteren Schr anken fur nichtdet erministische Kommunikationsprotokolle. Was ist abe r mit dem Fall von randomisierte n Kommunikationsprotokollen mit zweiseit igem Fehler ? Wie in Kapitel 9.2 werden wir auf die Theorie der Zweip erson en-Nullsummen-Spiele zurtickgreifen, urn R~~b(J) durch ein MaB fur det erministische P rotokolle zu cha ra kte risieren, wobei allerdings die Eingabe zufallig gewahlt wird. Fur f : A x B -+ C betracht en wir Wahrscheinli chkeit svert eilungen p auf A x B und untersuchen det ermini stische Protokolle, deren Fehlerwahrscheinlichkeit beziiglich p durch e beschrankt ist. Mit Dp,E(J) bezeichnen wir die Lan ge des kiirzesten det erministischen Protokolls, das bei Wahl einer Ein gabe gemaf peine Schr anke von e fur die Fehlerwahrscheinlichkeit ermoglicht. Das zugehorige Komplexitatsmaf Dp,e wird vertei lungsbezogene Kommunikationskom plexitiit bezuglich (p, e) ((p , e)-distributional communication complexity) gen annt. Anschauli cher ist es jedoch, von der Kommunikat ionskomplexitat von e-Approximationen fur f beziiglich p zu sprechen . Theorem 15.4.7. Fiir f : A x B

-+

C und j edes 0 > 0 gilt

15.4 Randomisierte Kommunikationsprotokolle

257

- R~I~b(J) 2: max{Dp,e(J) I P Vert eilung auf A x B} und - R~~~o(J) < max{Dp ,e(J) I P Vert eilung auf A x B} , Beweis. F ur den Beweis der ,,2:-Bezie hung" gehen wir von einem randomisier ten Kommunikationsp rotokoll der Lan ge R~~b (J) mit Fehlerschr anke E: aus. Die Fehl erschr anke gilt fur jede Ein gab e (a', b) , also auch bei zufalliger Auswahl der Ein gab e gema f einer beliebigen Vert eilung p auf A x B. Wenn das randomisierte Protokoll einen Zufallsvektor r der Lan ge l benu t zt , handelt es sich um eine zufallige Auswahl zwischen 21 det erministischen Protokollen. Wenn aIle diese Protokolle be zuglich p eine Fehlerwahrscheinlichkeit hatten , die grofler als E: ist , hatte auch das randomisierte Protokoll eine Fehlerwahrschei nlichkeit grofer als E: im W iderspruch zur Ann ahme. Dah er gibt es ein det erministi sches Protokoll mit Lan ge R~~b(J) , das bei gemaf p gewa hlte r Eingab e eine durch E: beschr ankte Fehlerwahrscheinlichkeit hat. F ur den Beweis der ,,~ -Beziehung" untersuchen wir folgend es Zweip ersonen-Nullsummen-Spiel. Fur d := maxp{Dp,e(J)} kann Eva ein det er ministisc hes Kommunikationsprotokoll P der Lange d wshlen und Thomas darf eine Eingab e (a , b) wahl en . Die Auszahlungsmatrix M ent ha lt an der Po sit ion ((a, b), P) eine 1, wenn das Protokoll P auf (a, b) einen Fehler macht, und ansonste n eine O. Wir erinnern daran, dass Eva diesen Betrag an Thomas bezahl en muss. Nach Definition von d hat Eva gegen jede randomisierte Strat egie von Thomas, also gegen je de Wah rscheinlichkeitsverteilung p auf A x B , eine det erministische Strategie, also ein det erministisches Kommunikationsprotokoll, das ihre erwarte te Auszahlung durch E: beschrankt. Somit ist der Wert des Spiels durch E: beschr ankt. Mit dem Minimax-Theorem (siehe Owen (1995)) folgt , dass es fur Eva eine randomisierte St rategie, also eine Wah rscheinlichkeit svert eilung tiber die Protokolle mit durch d beschrankt er Lange gibt, die fur jede Eingab e (a, b) eine Fehlerwahrscheinli chkeit von hochst ens E: garantiert. Damit Alice und Bob dar aus ein gemeinsames randomisiertes Kommunikationsprotokoll machen konn en , miissen sie die zugehorigen Zufallsent scheidungen t reffen konnen. Dies ist mit einem gemeinsa men, also offentlichen Zufallsvektor moglich. Genau genommen brau chen Alice und Bob hier eine unendliche Folge zufalliger Bits, um Z. B . Wahrscheinli chkeit en wie 1/3 kor rekt realisieren zu konnen . Mit endlichen Zufallsvekt oren konnen sie die Fehlerwahrscheinlichkeit E: beliebig approximieren. 0 Auf den additiven Term 8 fur die Fehlerwahrscheinlichkeit konnen wir ver zicht en , wenn wir erlauben, dass die einzelnen Zufallsbits den Wert 1 nicht notwendigerweise mit der Wahrscheinlichkeit 1/2 annehmen, sondern das i-te Bit den Wer t 1 mit Wahrscheinli chkeit Pi annimmt. Diese Diskussion wollen wir nicht vertiefen , da wir mehr an der ,,2:-Beziehung" aus Theorem 15.4.7 interessiert sind. Um eine unt ere Schr anke fur R~:~b(J) zu beweisen , konnen wir also eine Vert eilung p auf A x B wahlen und eine unt ere Schr anke fur Dp,e(J) beweisen . Dies ist eine Form des Minimax-Prin zips von Yao. W ir stehen nun also vor der Schwierigkeit, unt ere Schranken fur Dp,e(J ) zu beweisen. Da wir wieder bei det erministi schen P rot okollen gelan det sind,

258

15. Kommunikationskomplexitiit

konnen wir hoffen , auf die GroBe von Recht ecken mit bestimmten Eigenschafte n zuruckgreifen zu konnen . Da wir fur einige Eingaben Fehler machen durfen , miis sen die Rechtecke, die fiir ein Blatt v die dort ankommenden Ein gab en beschreiben, nicht mehr einfarbig sein. Wenn die Fehlerwahrscheinlichkeit klein ist, miissen diese Recht ecke beziiglich p fast einfarbig od er klein sein. Fur f : A x B ~ {O, I} , eine Wahrscheinli chkeit sverteilung p auf A x B und ein Rechteck R ~ A x B sei R o := f - l(O) n R und R, := f- l (l ) nR und die Diskr ep anz (discrep an cy) von R beziiglich fund p sei definiert durch

Discp,j(R) := Ip(Rl )

-

p(Ro)l ·

Damit ist offensichtlich Discp,j(R) :::; peR) und kleine Recht ecke hab en kein e groBe Diskrep an z. SchlieBlich sei Discp(J) := max{Discp,j(R) I R

~

A x B Recht eck}

die Diskrep an z von f bezuglich p . Das folgende Resultat zeigt , dass eine kleine Diskr ep an z eine groBe verteilungsbezogene Kommunikationskornplexitat und damit eine groBe Kommunikationskornplexitat beziiglich randomisierter Protokolle mit zweiseit igem Fehler impliziert . Theorem 15.4.8. Fur Funkt ion en f : A x B ~ {a, I} , Wahrs cheinlichkeit sverleilungen p auf A x B und 0 < e :::; 1/2 gilt D p ,1/ 2- c(J ) ;::: log(2c:) - log(Discp(J)) .

B eweis. Dieses Er gebnis ergibt sich dir ekt aus den Definiti onen und einer einfachen Rechnung. Wir betracht en ein det erministisches Protokoll der Lan ge d := D p ,1/ 2- c(J ), das beziiglich p einen Fehler von hochst ens 1/2 - c: hat . Der zugehorige Protokollbaum hat hochst ens 2d Blatter vE L, an denen gena u die Eingab en aus einem Rechteck R; ~ A x B ankommen. Die Recht ecke R v , V EL , bilden eine Partition von A x B. Es sei E + die Menge aller Ein gab en, auf denen das Protokoll korr ekt a rbeit et , und E - := (A x B) - E+ die Menge der Eingab en , auf denen das Protokoll falsch arbeite t. Nach Vorau sset zung ist p(E-) :::; 1/2 - e und dah er p(E+) ;::: 1/ 2 + e. Es folgt

2c: :::; p(E+) - p(E -)

= L (p(E+ n R v) - p(E- n R v)) vE L

: :; L Ip(E+ n R v) vEL = L Discp,j(Rv)

p(E- n Rv)1

vEL :::; 2 d Discp(J) .

Hier gehen nur die Definitionen von Discp,j(R) und Discp(J) ein. Wir erha lte n die Behauptung, ind em wir die Ungleichung nach d := D p ,1/ 2- c(J ) auflosen.

o

15.4 Rand om isierte Kommunikationsprotokolle

259

Es ist oft nicht einfach, diese Methode anzuwenden. Exemplarisch untersuchen wir IP n ' Theorem 15.4.9. Es ist jilr 0
0 lassen sich also mit c-2n In Baust einen nicht alle bool eschen Funktionen realisieren . Wenn wir fur In die bezuglich der lexikographischen Ordnung auf den Funktionst abellen erste Funktion wahl en , die nicht mit c - 2nIn Bau st einen realisierbar ist , hab en wir eine Familie I = Un) von bool eschen Funktionen hoh er Schaltkreiskomplexitat erha lten. Dies ist abe r nicht das, was wir wollen . Wir hab en j a auch in den Kapi t eln iiber das un iform e Komplexitatsmaf Rechenz eit nur rekursive Probleme diskutiert. 1m Mit t elpunkt un serer Unt ersuchungen standen sogar Probleme, die NP-einfach sind, insb esondere Ents cheidungsprobleme aus NP. Eb enso konzentrieren wir uns hier auf Familien I = Un) boolescher Funktionen , fur die das zugehorige Entscheidungsproblem Lf in NP ent ha lte n ist . Fur eingeschra nkte Modelle, wie zum Beispiel ti efenb eschr ankte Scha lt kreise , konnen wir exponent ielle untere Schr anken fur Funktionen I = Un) zeigen, fur die L f in polyn omiI. Wegener, Komplexitätstheorie © Springer-Verlag Berlin Heidelberg 2003

266

16. Die Komplexitat boolescher Funktionen

eller und sogar linear er Zeit entscheidbar ist . Urn die ob en beschriebenen Abzahltricks und auch Diagonalisierungsar gumente aus zuschlieBen , hat sich der Ausdruck eingebUrgert , dass boolesche Funktionen In: {O ,1}n ----+ {a, I} explizit defini ert (explicitly defined) sein sollen. In weit er gehenden Unt ersuchungen gibt es verschiedene Grade von "explizit definiert " , wir komm en a ber mit der Ford erung, dass L f E NP sein solI, aus. Die grundsatz liche Frage ist also, wie grof untere Schranken sein konnen , die wir ftir die Kornplexitat von explizit definierten booleschen Funktionen bezu glich nichtuniformer Komplexitatsmafe beweisen konnen. FUr die Kommunikationskornplexitat hab en wir lineare und damit grofitrnogliche untere Schranken gezeigt . Fur viele Schaltkreis- und Br anchingprogrammmodelle sind wir von den grofst moglichen unteren Schranken weit entfernt . Wir verfolgen dah er drei miteinander verknupfte Ziele, namlich - die Rekordj agd nach der grofst en akt uellen Schr anke ftir explizit definierte boolesche Funktionen und die verschiedenen nichtuniformen KomplexitatsmaBe, - die Entwicklung von Methoden fur den Beweis unter er Schr anken fur die verschiedenen nichtuniformen Komplexitatsmafe und - die Abschatzung der Komplexit at wichtiger boolescher Funktionen. Das Kapitel ist nach den nichtuniformen Komplexit atsm afien st rukt ur iert . In Kapitel16.2 wird die Crofe und in Kapitel16.3 die Tiefe von Schaltkreisen untersucht. Der Spezialfall monotoner Schaltkreise wird erwahnt. Die Er gebnisse fur allgemeine Schaltkreise sind ernuchte rnd . Viel besser ist die Situation, wenn wir den Eingangsgrad von Baus t einen nicht mehr beschranken, dafur ab er die Tiefe dr astisch beschr anken . Dieses Mod ell wird in Kapit el 16.4 ftir ver allgemeinerte AND- und OR-Baust eine beh andelt . Methoden , wie a uch verallgemeinerte EXOR-Bausteine berucksichtigt werden konn en , werden diskutiert. In Kapi tel 16.5 wird ein analoges Mod ell fur so gena nnte Thresholdschaltkreise untersucht . Dieses ist aus zwei Grunden von Bedeutung. Ein erseit s erhalten wir ein Mod ell fur dis krete neuronale Net ze ohne Ru ckkopplung und andererseits lassen sich die Grenzen unserer Techniken fur den Beweis unterer Schr anken in diesem Mod ell besonders gut ver anschaulichen. In Kapitel 16.6 betrachten wir allgemeine und eingeschrankte Bran chingprogramme. Insgesamt werd en in den Kapiteln von 16.2 bis 16.6 Methoden fur untere Schranken entwickelt und a uf wenige Beispielfunktionen an gewend et . Dah er beschr eiben wir a bschlieBend in Kapitel16.7 Reduktionskon zepte, mit denen sich die Ergebnisse auf viele Funktionen ub ertragen lassen .

16.2 Die GroBe von Schaltkreisen Schaltkreise sind als kanonisches Hardw ar emodell von offensicht licher Bedeutung. Wi r er innern daran , dass Bausteine zwei Eingange hab en und jede der

16.2 Die Gr oBe von Schaltkreisen

267

16 booles chen Funktionen a uf diese Ein gan ge anwenden konnen. Die Schaltkreisgrofe von t« ist die kleinst e Anz ahl von Bau steinen, mit den en L, berechnet werd en kann. Seit lan ger Zeit ste ht der Rekord fur explizit definierte bool esche Funktionen bei einer unteren Schr anke von 3n - O (log n) . Hierbei ist zu beacht en , dass die unt ere Schr anke n - 1 fur alle Funktionen , die von allen n Vari abl en essenzie ll abhangen, trivial ist . Dab ei hangt fn von X i essen ziell ab, wenn die Subfunktion en (Kofaktoren) fn lxi=O' definiert durch fnl xi=O(a) := fn(al," " a i-l , 0, ai+l , " " an) , und f nlxi=l verschieden sind . In diesem Fall muss mindestens ein Baustein des Schaltkreises auf Xi zugreifen. Wenn I; von n Vari abl en essenziell abhangt , enthalt ein Schaltkreis fur f n einen gerichte ten azyklischen Graphen mit n Eingangen und einer Senke, namli ch den Baustein , an dem I; berechnet wird. Da dieser Gr aph zusa mrnenh angend ist , muss er n - 1 innere Knoten , also Baustein e, enthalten. Andererseits sind die wenigen Beweise von Schr anken der GroBe (2 + c )n, e > 0, kompliziert . Wir zeigen daher eine (2n - 3)-Schranke, die ab er schon die Methode der Bausteineliminierung (gate elimination) verwend et , die auch die Basis fur alle grofieren Schr anken ist . Die Schr anke betrifft eine S chwellw ertfunktion, fur die ab er auch im Deutschen der Begriff Thresholdfunktion gebrauchlich ist. Die Thresholdfunktion T;):k ist auf n Eingaben definier t und liefert den Wert 1 genau dann, wenn unt er den Ein gab en mindest ens k Einsen sind. Die negative Thresholdfunktion T'Sk ist die Negation von T~k+l' Theorem 16.2 .1. Die S chaltkreisgrofJe von T?2 betriigt mindest ens 2n - 3. Beweis. Wir zeigen die Behauptung mit Induktion tiber n . Fur n = 2 ist = X l 1\ X 2 und die Behauptung ist trivial. Fur den Induktionsschritt besteht die Idee darin, eine Var iable Xi zu finden, deren Erset zun g durch die Konstante zu einem Schaltkreis fuh rt , bei dem wir min dest ens zwei Bau st eine einges part od er eliminiert hab en. Da T?'2Ix i=O die Funktion T{::;l auf den verblieb enen Vari ablen ist , muss der Rest schaltkreis nach Induktionsvorausset zung mind est ens 2(n - 1) - 3 Bausteine hab en. Da der ur sprungliche Schaltkreis mind est ens zwei Baust eine mehr hatte, ist die Behauptung gezeigt . Wir betrachten einen optimalen Schaltkreis fur T ;):2 und untersuchen seinen erst en Bau stein C l - Dieser hat zwei verschiedene Vari abl en als Eingange, da der Schaltkreis sonst im Widerspruch zu seiner Optimalit at verkleinert werden konnte. Aus den gleichen Grunden realisiert C l eine der zehn Funktionen , die von beiden Ein gan gen essenziell abhangen. Fur die Eingange Xi und Xj sind dies, wie eine Fallunt erscheidung zeigt , die Funktionen T ;):2( Xl , X 2)

°

fur a, b, c E {O, I} . Dab ei ist xf = Xi und X? = Xi' Unser Ziel ist es, zu zeigen, dass eine der Vari abl en Xi und Xj Ein gan g von mindest ens zwei Bau st einen

268

16. Die Komplexitat boolescher F'unktionen

°

ist . Sei dies Xi' Fur Xi = konn en die Bau steine, die auf Xi zugreifen , eingespart werd en , da sie mit vor aus gehenden oder nachfolgenden Bau steinen zu einem Baustein verschmolzen werden konnen . Nehmen wir also an, dass G I fur Xi und fur Xj der einzige Bau st ein ist , der auf sie zugreift . Falls G I vom erst en der beschrieb enen Typen ist, wird der Schaltkreis fur Xj := b von Xi unabhangig, obwohl fur n 2: 3 die Funkt ion T~2I xj =b essenziell von den restlichen Var iablen abha ngt . Falls G I vom zweite n der beschri eb enen Typen ist , erhalten wir fur Xi = Xj = und Xi = Xj = 1 denselb en Restschaltkreis im Widerspruch dazu , dass die beiden entstehenden Subfunktionen verschieden sind. Damit ist das Theorem bewiesen. D

°

Man muss befiircht en , dass diese Method e nicht a usreicht, urn supe rlinear e untere Schranken zu beweisen . Ein Ausweg besteht darin, Funktionen I« . {O, 1}n ---+ {O, l }" , also Funktionen mit n Ausgab en , zu betracht en . Bisher kann ftir keine explizit definiert e Funktion bewiesen werden , dass sie selbst in Schaltkreisen der T iefe O(lo gn) supe rlinear viele Baustein e benotigt . B ei der Un tersuchung der SchaltkreisgrojJe explizi t defini ert er boolescher Funktionen wird besonders deutlich, wie unzureichend unser R eservo ir ist, um untere S chranken fu r die Komplexitiit beziiqlich. praktisch wichtiger R echen m odelle zu beweisen . Monotone S chaltkreise sind ein Schaltkreismod ell, be i dem es nur ANDund OR-Bausteine gibt . Dann sind nicht mehr alle booleschen Funktionen realisierbar . Es ist offens ichtlich , dass Xl nicht realisiert werden kann. Urn die Klasse der von monotonen Schaltkreisen berechenb ar en Funkti onen zu beschr eib en , definieren wir auf {O, l} " die naturliche partielle Ordnung ,,:::::", wob ei (al , . . . , a n ) ::::: (bl , . .. ,bn ) ist , falls ai ::::: b, fur alle i ist. Eine boolesche Funktion f heiBt monoton , wenn f(a) ::::: f(b) aus a ::::: b folgt . Es ist nicht schwer , sich davon zu ub erzeugen , dass gena u die monotonen Funkt ionen durch monotone Schaltkreise realisierba r sind. Mit einer Verfeinerung der Methode der Bau st eineliminierung konnten superlineare Schranken fur die monotone Schaltkreiskomplexitat monotoner Funktionen mit n Ausgab en bewiesen werden . Dab ei erwies sich n 2 als natilrliche Gr enze, da superquadr atische Schr anken impli zieren , dass eine der Au sgab en eine supe rlineare Kornplexitat hat . Methodisch war es ein wichtiger Schritt , als es gelang, den For ts chri tt der Rechnung an den einzelnen Bau st ein en zu messen (Wegener (1982)) . Der Durchbru ch gela ng dadurch, diesen Fortschri t t nicht mehr exakt, sondern nur approximat iv zu messen. Razborov hat 1986 (die Zeitschrift enveroffentli chun g ist aus dem Jahr 1990) auf diese Weise exponenti elle untere Schr anken fur die mono tone Schaltkreiskornpl exitat des Problems CLIQUE bewiesen. Seine Beweismethode wurde von Alon und Boppan a (1987) ausge ba ut .

16.3 Die Tiefe von Schaltkr eisen

269

16.3 Die Tiefe von Schaltkreisen Schon in Kapi t el 14.3 hab en wir Formeln als Scha lt kreise definiert , die graph entheoretisch Baume sind. Dab ei du rfen die einzelnen Vari abl en an vielen Blattern des Formelb aums vorkommen . Die Formelqriijle L(J) einer booleschen Funkt ion fi st gleich der minim alen An zahl von Bau st einen in einer Formel, die f berechnet . Also hab en Forrnelba ume fur f mindest ens L(J) + 1 Blatter und damit eine Schaltkreistiefe von mindest ens rlog(L (J) + l)l Da wir Schaltkreise zu Formeln entfalten konnen , ohne die Tiefe zu vergrofern, hab en wir fur die Ti efe D(J) von f die folgende Bemerkung bewiesen . Bemerkung 16.3.1. Fur boolesche Funkt ionen

f

gilt

D(J) ~ pog(L (J ) + l) l Es gilt soga r die Umkehrun g D(J) = O(logL(J)) (siehe z. B. Wegener (1987)) . Somit ist die Aufgabe, superloga rit hmische Schra nken fur die Ti efe von Funktionen zu beweisen , aquivalent zu der Aufgab e, superpolynomielle Schranken fur die Forrnelgrofe zu beweisen . Von Schranken dieser C rofie sind wir weit ent fernt . Die grofite untere Schranke fur die Formelgrofe geht auf Nechiporu k (1966) zuruck und ist von der Crof eno rdnung n 2 /log n . Fur die T iefe er ha lte n wir eine untere Schranke von 2 log n -log log n - 0(1) . Wieder ist zu beacht en , dass die Schranke [log n 1fur Funktionen , die von n Variablen essenziell abhan gen , t rivial ist. Die untere Schr anke beruht auf der E rkennt nis, dass kleine Form eln nicht in der Lage sind, Funkti onen mit extrem vielen verschiedenen Sub funk tionen zu berechnen. Diese Met hode lasst sich nicht auf Scha lt kreise tibert ragen . Es ist fur eine explizit definiert e Funktion mit asy mptotisch maximaler Anzahl verschiedener Subfunktionen bekannt, dass sie linear e Schaltkreisgrofe hat . Wir betracht en hier disjunkt e Teilmengen Sl , " " S k der Variabl enmenge X = { Xl , . . . , X n } und bezeichnen mit Si die Anzahl verschiedener Funktionen auf Si , die wir erha lte n, wenn wir aile Ersetz ungen der Vari abl en aus X - Si durch Kon st ant e betracht en. Theorem 16.3.2. Fur disjunkte M engen nen f essenziell abhiingt, gilt

L(J) ~

(L

(2 +log s i )) /4-

Sl , " " S k

von Vari ablen, von de-

1.

l ~i~k

Beweis. Wi r zeigen die unt ere Schr anke, ind em wir die Anz ahl ti der Blatter , die zu Vari ablen a us S; gehoren, durch (2 + log si )/4 nach unt en abscha tze n, Es sei Wi die Menge der inneren Knoten im Formelba um, fur die es im linken und im recht en Teilbaum Si-Blatter gibt (siehe Abbildung 16.3.1). F ur ui; := [Wi t ist Wi = ti -1 , da wir nach Ent fernung aller (X - Si)-Blat t er und aller Knot en mit einem Ein gan g einen bin ar en Baum mit t i Blat t ern und

270

16. Die Komplexitat boolescher Funktionen

Abb.16.3.1. Eine Formel, in der ftlr 8 1 = {Xl , X2} und 8 2 = {X3, X4} die Knoten aus W I mit einem Pfeil von links und die Knoten aus W 2 mit einem Pfeil von rechts gekennzeichnet sind.

Wi inn eren Kno t en erhalte n. Wir bet racht en nun P fad e im Formelb aum, die an Si-BHittern od er W i-Knot en st arten , an W i-Knoten od er der Wurzel des Formelb aums enden und im Inneren keinen W i-Knot en ent halte n. Fur die Anzahl Pi dieser Pfad e gilt Pi ::; 2Wi + 1, da an jedem W i-Knoten nur zwei dieser Pfad e ankommen und an der Wur zel, wenn sie kein W i-Knoten ist , ein weite rer Pfad ankommt . In Abbildung 16.3.1 ist (G I, G s , G 7 ) so ein Pfad fur i = 1. Es sei g die Funktion , die nach Kon st antsetzun g aller Vari ablen auBerhalb von S, am An fan g eines dieser Pfade berechnet wird. Bis zum Ein gan g des letzten Kno t ens a uf dem Pfad hab en wir eine Subformel, die nur g und Kon st ante als Einga ben hat und dah er g, g, 0 od er 1 berechnet . Jeder der Pi Pfad e kann also die Ausgab e nur auf vier Weisen beeinflussen . Dah er gilt

D

Wi e grof kann diese Schranke asympto tisch hochst ens werd en ? F ur gibt es zwei ob ere Schr anken , namli ch

Si

- s, ::; 22 1Si l , da die Subfunktion en auf ISi l Vari abl en definiert sind, und - Si ::; 2n-I Sil, da wir die Subfunktionen erhalte n, ind em wir n - ISil Vari abien durch Kon st ante er setzen.

16.3 Die Tiefe von Schaltkr eisen

271

Nun kann mit Hilfe eleme ntarer Method en der Analysis gezeigt werd en , dass die Nechiporuk-Schranke fur jede Funkt ion O( n 2 j log n ) ist. Diese Schr anke wird fur eine einfac he Funkt ion bereit s erreicht. Wir betrachten ein Modell fur die indirekte Ad ressierung (indirect storage access, ISA = (ISA n )) , wobei ISA n fur n = 2m und k := m - [log mJ auf n + k Variabl en Xo, . . . ,Xn - 1, YO, .. . , Yk- 1 definiert ist . Der Vekto r Y wird als Binar zahl mit Wert Iy l int erp retiert und solI den Iy l-ten Block von x der Lan ge m ansprechen. Falls Iyl ~ lnjmJ ist , sei ISA n(x,y ) := 0. Ansonst en wird x (y ) .(x lyl.m, "" Xlyl·m+m- 1) als Ad resse interpretiert und es sei ISA n( x , y) := x lx(y)I' Theorem 16 .3.3. Fur die indi rekt e Adressierung gilt L(ISA n )

=

.f?(n2 jlogn) un d D(ISA n ) ~ 2 10gn - log logn - 0(1) .

Beweis. Nach Bem erkung 16.3.1 geniigt es, die Aussage fur die Forrnelgro f e zu zeigen. Wir wenden Theorem 16.3.2 auf die Mengen s., i :::; ln jmJ -1 , an. Dab ei ent ha lt Si die Variablen Xi.m, .. . , Xi.m+m-1 . Um die Anz ah l der Sub funktionen auf S, abz uscha tzen, set zen wir die y- Variablen so konst ant , dass Iy l = i ist . Dami t stellen die Si- Variablen die dir ekt e Adresse dar, um ein Bit des x- Vektors zu adress ieren. Somit bilden die Belegungen der x Variabl en auBerhalb Si einen Teil der Funktionst ab elle und es ist Si ~ 2n - m und log s, ~ n - m = .f?(n). Die Beh auptung folgt nu n, da wir lnjmJ = .f?(njlog n) Si -Mengen betracht en . 0

°:: ;

Es gibt zwar noch keine grofiere unt ere Schranke fur die Tiefe explizit definierter bool escher Funktionen , abe r es gibt eine Beweismethode mit zumindest groBem Potenzial. Diese Method e charakterisiert die T iefe bo olescher Funktionen j durch die Kommunikationskomplexlt at einer zugeho rigen Relation R ] . Definition 16.3.4. Zur booleschen Funkti on j : {O, l }" --+ {O, I} gehort die Relat ion Rf ~ j - 1(1) X j -1(0) x {I , .. . , n} , die alle (a , b, i) mit ai :f. bi ent halt . Das Kommunikationsspi el fur Rf best eht darin, dass Alice a E j - 1(1) und Bob b E j - 1(0) ken nt und sie sich ub er ein i E {l , ... , n } mit a; :f. bi einigen sollen. Das Kommunikat ionsspiel hat stets eine Losun g, da sich a E j -1 (1) und b E j - 1(0) unterscheiden miissen . Wir eri nnern daran , dass C (Rf ) die Kommunikat ionskom plexitat von Rf bezeichnet . Wi r betracht en nun Schaltkreise mit den ublichen Eingabe n X l , " " X n , und 1 und den zusatzlichen Ein gab en X l , .. . , X n , wob ei nur AND- und OR-Bau st eine erla ubt sind. Die Tiefe von j in diesem Mod ell wird mit D *(J) bezeichnet . Dann ist D(J) - 1 :::; D *(J) :::; 2D(J) . Die erste Ungleichung gilt, da die T iefe durch die negiert en Eingabe n maximal um 1 fallen kann. Fur die zweite Ungleichung erklaren wir zunac hst Negationen fur kost enfrei. So konnen wir einen Scha lt kreis dersel be n Tiefe konst ruieren , der nur NOT-, AND- und

°

272

16. Die Komplexitat boolescher Funktionen

EXOR-Baustein e ent halt. Da x EB y = x y + xy ist , konnen wir die EXORBau steine durch Schaltkreise der Ti efe 2 ersetzen und erha lte n einen Schaltkreis hochst ens doppelt er Tiefe mit NOT-, AND- und OR- Baus t einen . Durch eine Bottom-up-Anwendung der De-Morgan-Regeln werd en die Negat ionen zu den Eingab en "gezwungen", ohne die T iefe zu erhohen. Es ist also sinnvoll, D * zu un t er suchen , um Ergebnisse tiber D zu erha lte n. Theorem 16.3.5. Fur all e nicht konstanten booleschen Funktionen D *(f) = C(Rf )·

f

9ilt

Beweis. Diese erstaunliche Beziehung zwischen Ti efe und Kommunikat ionskomplexitat wird durch den Beweis erhellt . Wir beginn en mit der "2:: "-Beziehung. Alice und Bob einigen sich a uf eine tiefenopt imale Formel. Mit ihrer Kommunikation wollen sie einen Weg vom Baustein , der f berechnet , zu eine r Ein gab e Xi od er Xi mit a i i=- b, wahl en und sich damit tiber ein i mit (a , b, i) E Rf einigen. Die Schranke folgt , wenn fur jeden Bau st ein auf diesem Weg gena u ein Bit kommuniziert wird . Alice und Bob wollen den Weg so wahlen, dass sie nur Bau st eine G erre ichen, an denen Funktionen 9 mit 9(a) = 1 und 9 (b) = 0 realisie rt werd en. Dies ist zu Beginn am Bau st ein , der f ber echnet , nach Vorausset zun g gewa hrleistet. Wir unterscheiden , ob G ein AND- od er ein OR-Bau st ein ist , in beiden Fallen werden die Funktionen an den Eingangen mit 91 und 92 bezeichnet . Ftir einen AND-Ba ustein ist 9 = 9192· Also ist 91(a) = 1 und 92(a) = 1. And ererseit s ist mindestens einer der Werte 91(b) und 92(b) gleich o. Bob kann ausrechnen, welcher der beiden F alle eingetreten ist, und dies Alice mit einem Bit mit t eilen . Auf diese Weise einigen sie sich tiber einen dire kt en Vorgan ger G* , ftir den fur die dort realisiert e Funktion 9* wieder 9*(a) = 1 und 9*(b) = 0 ist . Der Fall eines ORBau st eins ist dual. Es ist 9 = 91 + 92, 91 (b) = 0, 92 (b) = 0 und mindest ens einer der Wert e 91 (a) und 92 (a) ist gleich 1. Hier kann Alice den passend en Vorgan gerbau st ein auswahlen und Bob mitteilen . Wenn sie auf diese Weise eine Eingabe erre ichen, kann dies keine Kon st ant e sein. 1st die Eingabe Xi , so ist ai = 1 und b, = 0, fur Xi ist dagegen a i = 0 und bi = 1. In jedem Fall hab en Alice und Bob ihre Aufgab e er fullt. Der Beweis der " s "-Beziehung ist komplizierter , obwohl er in gewisser Weise eine Umkehrung des obigen Beweises ist . W ir starten mit einem optimalen P rotokollbaum fur R] und bauen diesen in eine Form el fur fum . Innere Knoten, an denen Alice ein Bit sendet , werd en Oli-Bausteine, und Knoten , an denen Bob ein Bit sendet, werden AND-B aust eine. Blatter des Protokollb aums mit der Antwort i E {I , ... , n } werden durch Xi od er Xi ersetz t. Zumindest ist die T iefe der ent st ehenden Formel gleich der Ti efe des Protokollb aums. Wir mtissen noch entscheiden, welche Blat ter wir negieren, und dann beweisen , dass die Formel wirklich f berechnet . Wir betracht en ein Blatt des Prot okollb aums mit Markierung i . Aus Kapit el 15.2 wissen wir , dass die Menge der Ein gab en (a, b), die dieses Blatt erreichen, ein Rechteck A x B ist . Fur alle (a , b) E A x B ist a i i=- bi . Auf

16.3 Die Tiefe von Schaltkreisen

273

Grund der Rechteckstrukt ur ist entweder a, = 1 und bi = 0 fur alle a E A und b E B od er a i = 0 und bi = 1 fur alle a E A und b E B . Hier zeigt sich wieder , wie niit zlich die Erkenntnis ist , dass die Eingaben, die einen Knoten im Protokollbaum erreichen, st ets ein Recht eck bilden . Irn ersten Fall wird das Blatt mit Xi und im zweite n Fall mit Xi bezeichn et . Dami t ist die Formel vollst andig spe zifiziert. Um zu beweisen , dass die Formel f berechnet , beweisen wir eine starkere Au ssage. F ur jeden Kno t en v der Formel sei A v x B; das Recht eck der Eingab en (a, b) , die v erre ichen. Dann gilt fur die an v berechnet e Funktion 9v, dass 9v(a) = 1 fur a E A v und 9v(b) = 0 fur b E B ; ist . Das Recht eck an der Wur zel r ist f -l(1) x f -l(O) und aus der Aussage folgt 9r(a) = 1 fur a E f-l (1) und 9r(b) = 0 fur b E f- 1(0) , also 9r = f . Die Behauptung zeigen wir nun mit einer Strukturinduktion von den Blattern der Form el zur Wur zel. An den Blatt ern ist die Aus sage wahr, da wir das Literal an jedem Blatt passend gewa hlt hab en. Nun betracht en wir einen OR-Knoten v und das Recht eck A v x Bi; Fur die Vorgan ger V I und V2 gilt 9v = 9Vl + 9V2 ' Da Alice im Protokollbaum an vein Bit gesendet ha t , bilden A V1 und A V2 eine Partition von A v und es ist B; = B V1 = B V2' Fur (a, b) E A V1 X B V1 ist nac h Induktionsvor au sset zun g 9V l (a) = 1 und 9V l (b) = O. Dies impli zier t bereit s 9v(a) = 1. Fur (a, b) E A V2 X B V2 ist nach Induktio nsvorausset zun g 9V2(a) = 1 und 9V2(b) = O. Wi eder folgt 9v(a) = 1. Fur (a,b) E A v x B; ist a E A V1 od er a E A V2 und damit 9v(a) = 1. AuBerd em ist b « B ; = B V1 und b E B ; = B V2' also ist 9v(b) = 9Vl (b) + 9V2(b) = 0 + 0 = O. Fur AND-Knoten verlauft die Argumentation ana log. In sgesamt ist da s T heorem bewiesen. 0

Die Kommunikationskomplexitiit einer zu f qehiiretuieti Relation R] ist qleicli der Tiefe von fin Schaltkreisen mit AND-, OR- und NOT-Baustein en, bei denen Negationen bei der B erechruuiq der Tiefe nicht berilcksichtigt werden. Wieder zeiqt sich der breite A ruoeruiumqsberei ch. der Th eori e der K ommunikationskomplexit iit. Die vor an gehend e Aussage ist glilt ig, auch wenn die Charakterisierung aus Theorem 16.3.5 bisher nicht zu verb esserten Er gebnissen tiber die T iefe von Funktionen gefUhrt hat . Relationen konnen meh rer e richt ige Antworten hab en , was die Aufgab e von Alice und Bob erleichtert und dami t den Beweis unterer Schr anken erschwert . AbschlieBend betracht en wir den Fall monotoner Schaltkreise und das Komplexit at smaf D m fur die T iefe mon otoner Schaltkreise. Der Beweis der ,,:2: "-B eziehung von Theorem 16.3.5 kann naturlich auch auf den eingeschrankte n Fall mon oton er Schaltkreise angewendet werden. Alice und Bob erreichen stets eine nicht negierte Eingabe Xi und es gilt a.; = 1 und bi = O. Sie realisieren also soga r die Relation M f ~ t:' (1) X r' (0) x {1, . . . , n }, die alle (a , b, i) mit a; = 1 und bi = 0 ent halt . "Venn wir nun mit einem optimalen Protokollbaum fur lvIf starten und den Beweis der ,,:S; "-Beziehung verfolgen , dann erhalten wir eine monoton e Form el. An den Blat.tern gilt ja

274

16. Die Komplexit a t booles cher Funkt ionen

°

fur alle (a, b) E A x B , dass ai = 1 und b, = ist . Am Beweis, dass die Formel f berechnet , muss nichts gea ndert werden. Damit hab en wir folgend es Er gebnis bewiesen . Theorem 16.3.6 . Fiir alle nicht konstanten monotonen booleschen Funktion en f gilt Dm(J) = C(Mf ) · Tat sachlich wurden mit diesem Theorem groBe untere Schr anken fur die monotone Tiefe boolescher Funktionen gezeigt (sieh e z. B . Ku shilevitz und Nisan (1997)).

16.4 Die GroBe von tiefenbeschrankten Schaltkreisen Wie in Kapi tel 16.2 diskutiert, konnen wir moment an nicht einmal bei einer Ti efenb eschr ankung von o (log n) supe rlineare unter e Schr anken fur die Schaltkreisgrofe explizit definierter Funktionen beweisen. Ti efenb eschr ankungen von o(log n) sind nicht sinnvoll, da dann Funktionen , die von n Var iabIen essenziell a bhangen, nicht bere chenb ar sind . St attdessen ist es sinnvoller, die Beschr ankung aufzugeben, dass Bausteine nur zwei Eingab en hab en . Im einfachsten Modell sind AND- und OR-B aus t eine fur beliebi g viele Ein gaben und NOT-Baus t eine mit jeweils einem Ein gan g erlaubt . Da AND und OR assoziativ und kommutativ sind, ist die Semant ik dieser Bau st eine offensichtli ch. Es stellt sich die Frage, ob wir weit erhin die Anz ahl der Ballst eine od er besser die Anz ahl der Kanten als Komplexitatsmaf wahl en , Da Doppelkanten zwischen zwei Kno t en des Scha lt kreises durch Ein zelkanten ersetzt werd en konnen , ben6tigen Schaltkreise mit s Bau st einen hochst ens s . (s + n) Kanten . Da wir an exponent iellen unt eren Schr anken int eressiert sind, kon nen wir weit erhin die Anz ahl der Bau st eine als Schaltkreisgr6Be ansehen. Wenn ein OR- Bau st ein G einen OR-Bau st ein G' als Eingang hat , konnen wir G' durch dessen Eingan ge ersetzen, analog fur AND-Baust eine. AuBerdem verdoppelt sich die Gr6Be hochst ens, wenn wir die Negationen mit den De-Mor gan-Regeln zu den Eingan gen brin gen. SchlieBlich erreichen wir mit Bausteinen mit einer Eingabe, dass Kanten nur von Ebene k' zu Ebene k' + 1 verlaufen . Dies erho ht die Anz ahl der Bau st ein e bei Tiefe k hochstens urn den Faktor k - 1. Insgesam t erha lte n wir mit diesen MaBnahmen folgend e Struktur von Schaltkreisen der Tiefe k : - Ein gab en sind Xl, . . . , Xn , X l, . .. , X n , 0,1 und bilden die Ebene 0, die Menge der Bau st eine lasst sich in k Eb enen so einteilen, dass Kant en nur von Eb ene k' zu Eb ene k' + 1 verl aufen , - alle Baust eine einer Ebene sind vom gleichen Typ und - die Bau st ein e a uf Eb enen mit ungerader Nummer sind vom andere n Typ als die Bau st eine auf Ebenen mit gera der Nummer.

16.4 Die Crofie von t iefenbes chrankte n Schaltkreisen

275

OR-Baustein e lassen sich als Existenzqu antoren auffasse n (es gibt eine E inga be, die den Wert 1 hat) und AND-Bau stein e als Allquan toren . Schaltkreise der T iefe k mit eine m OR-Baustein au f Ebene k heiBen dah er in An alo gie zur Kornplexi t atsklasse E k auch E k-Schaltkreise und bei eine m AND-Bau st ein auf Ebene k auch Ilc-Scholikreise. E 2-Schalt kreise sind Disjunktionen von Monomen , manchm al auch als disjunktive Nor malformen (DN Fs) bezeichnet . Dies ist irrefuhrend, da eine Normalform eindeut ig sein und dah er nur d ie Disjunkt ion aller Min t erme DNF heiBen sollte. Besser ist der Au sdruck disjunktive Form (DF ), de n wir hier a uch verwenden wollen. An alog realisiert ein ll2-Schaltkreis eine Konjunktion von Klau seln , also eine konjunktive Form (CF) . Wir hab en gesehe n, dass wir uns auf Sch altkreise beschranken konnen , bei den en der Bausteintyp von Eben e zu Ebene wechselt , also alterniert . Dah er wird die Klasse der Familien j = (In) boolescher Funktionen , die bei konst anter Tiefe pol ynomielle GroBe hab en , mit ACo (alternating class) bezeichnet. Die Paritiitsjunktion (parity , PAR = (PARn) ist das EXOR von n Vari abIen . Sie ist neb en ihrer Negation die einzige Funktion, bei denen jed e DF die Maximalza hl von 2n - 1 Monomen der Lange n und jede CF die Maximalzahl von 2n - 1 Klau seln der Lan ge n ent halt. Da auBerdem nach Konstan t setzung einiger Vari abl en wieder eine P arit at sfunkti on oder deren Negation auf den restlichen Variablen entsteht , eignet sie sich gut fur den Beweis unt erer Schranken . Urn die Cut e der sp ater gezeigte n unteren Schranken beurteilen zu konnen, beweisen wir zunac hst eine ob ere Schra nke. Theorem 16.4.1. Die Pa ritiitsjunktion PARn kann in alternierenden S chaltkreisen der Tieje f(logn) floglognl +l mitO(n 2 f logn) Baustein en berechnet werden. Beweis. Wir starten mit eine m EXOR-Schaltkreis, bei dem die Bausteine eine n Eingan gsgr ad von [log n 1 hab en . Urn PARn zu realisieren , genugt ein balanciert er Form elb aum mit O( n flo g n ) Bau stein en und Tiefe l(log n )f log log n ] . Wi r erse tzen nun die EXOR-Bau stein e sowohl durch disjunktive als auch durch konj unktive Formen . Diese hab en jeweils eine GroBe von 2 1]og n l -l + 1 ::; n + 1. Die Grofie wachst auf O( n 2 f log n) und die T iefe auf 2 · I(log n ) f log log n 1 E be ne n, die wir un s als I(log n) f log log n 1 Schichten der T iefe 2 vor stellen. Die Negatione n werde n wieder zu den Eingabe n versc hoben . Die Bau st ein e G a uf der ersten Ebe ne eine r Schicht ha ben als Eingan ge Bau st ein e der zweiten Eb ene der vor he rigen Schicht . Diese Funktionen liegen durch unsere Verwendung eine r DF und einer CF sowohl an eine m AND- als au ch an eine m OR-Bau stein vor. W ir wahlen den Bau st ein vom gleiche n T yp wie G und konnen somit die zweite E be ne einer Schicht mit der ers ten Eben e der folgenden Schicht zu einer Ebene verschmelzen . Auf diese Weise sinkt die Tiefe auf I(log n) f log log n 1+ 1, ohne dass sich die Anzahl der Bau st ein e vergrofer t . D

276

16. Die Kornplexitat boolescher Funktionen

Die folgende untere Schr anke fur PAR" geht auf Hastad (1989) zur ilck. In sb esondere mit dem im Beweis verwendeten Austauschlemma (switching lemma) hat Hastad den Kern derarti ger Schranken freigelegt. Die Aussage, dass PAR if. ACo ist , war schon in einige n fruheren Arbeiten mit immer grofler werdenden unteren Schranken bewi esen word en.

Theorem 16.4.2. Alterni erende S chaltk reise der Tiefe k fu r PARn , n ~ 2, benoiiqen m indest ens 2Ln l/k / l OJ Baust ein e. Es ist PAR if. AGo. Um polyno m ielle GrojJe zu ermoqlichen, ist f ur eine K onstante c mindestens eine Tiefe von (log n) / (c + log log n) notig. Beweis. Entscheid end ist der Beweis der unt eren Schranke. Au s dieser Schranke folgt direkt PAR if. ACo und die Au ssage ub er die filr pol ynomielle GroBe benotigte Tiefe folgt mit einer einfachen Rechnung. Wir werden die Beh auptung durch Induktion tib er die T iefe k zeigen . Der Trick im Induktionsb eweis besteht darin , sich die auf der zweit en Eb ene berechn eten Funktionen genauer anzuschauen. Sie werden alle durch eine DF ode r alle durch eine CF dar gest ellt. Au s Symmetriegrilnden konnen wir uns auf den Fall von DFs beschr anken. Wenn wir jede DF durch eine aquivalent e CF ersetzen, sind die Bau steine auf Ebe ne 2 und E be ne 3 AND-B au st ein e und die E be ne n konnen verschmolzen werden. Auf den entstehenden Schaltkreis der Tiefe k -1 konnen wir d ie Induktionsvorau ssetzung anwenden. So einfach kann das Ar gument aber nich t sein . Fur die DF X IX2 + X3X 4 + ...+ Xn-lX n ent halt jede CF mindesten s 2n / 2 Kl au seln , die a lle eine Mindestlan ge von n / 2 hab en . Hastad hat die probabilistische Methode (siehe z. B. Alon un d Sp en cer (1992)) auf eine zufallige Konst antset zung zufallig ausgewa hlter Vari ablen angewende t. Die Anz ahl der konstant gesetz ten Variabl en soll so gewahlt werden , dass genilgend viele Variabl en ubrig bleiben und mit pos itiver Wahrscheinlichkeit alle DFs durch genilgend klein e CFs ersetzt werden konnen . Eine Analyse dieses Vorgehens zeigt, dass sich das gewilnschte Ergebnis nicht ergibt. Daher wird ein neuer Paramet er s, narnlich die grofite Anz ahl von Eingab en eines B au st eins auf der ersten E be ne, eingefilhrt. Wenn s klein ist, wie bei einer DF filr X IX2 + X3X4 + ...+ Xn -lX n , best eht die Hoffnung, dass lan ge Kl aus eln mit genilgend groBer Wahrscheinlichkeit durch 1 ersetz t werden . Diese Ideen werden im Austau schlemma (switching lemma) form alisiert . Austauschlemma. Es sei f eine DF auf n Variablen, deren Monome eine L ange von hochsiens s haben. Fur m > 0 wird eine zufa llige Subfunktion 9 von f m it folgend em Experiment erzeugt. Zuniichst werden n - m Variablen nach Gleichverteilung ausgewahlt und dann unabhangig von einander mit Wah rscheinli chkeit 1/2 auf 0 oder 1 gesetzt . Di e W ahrscheinli chkeit, dass es fu r 9 keine GF m it Klaus eln, deren Lange hochsi ens t ist, gibt, ist kleiner als (5ms /n)t .

16.4 Die GroBe von tiefenbeschr iinkten Schaltkreisen

277

Der technisch anspruchsvolle Beweis des Austauschlemmas soIl hier nicht beschrieb en werden (siehe Razborov (1995)) . Wir wollen mit Hilfe des Aust auschlemmas folgende Behauptung beweisen : - Es sei S := 2 lnl/ k/lOJ, ln l/ k/ lOJ 2: 1 und n(i) := In/ (l0 log S)k - i+IJ. Dann gibt es fur kein i E {2, . . . , k + 1} einen alt ern ierenden Schaltkreis fur PARn(i) , der Tiefe i , auf den Ebenen 2, . .. , i hoch st ens S Bausteine und auf Ebene 1 nur Bausteine mit hochstens log S Ein gangen hat. Zun achst folgern wir das Theorem aus dieser Behauptung. Wenn es ein en alt ern ierenden Schaltkreis fur PAR n gibt, der mit Tiefe k und S Bausteinen auskommt , dann konnen wir ihn durch einen Schaltkreis der Tiefe k + 1 erset zen, indem wir auf Ebene 1 nur X l, Xl , ... , X n , xn mit Bau st einen mit jeweils einem Eingang berechnen. Dieser Schaltkreis berechnet dann im Widerspruch zur Behauptung fur i = k + 1 die Funktion PARn in T iefe k + 1, wobei der Eingangsgrad auf Ebene 1 durch 1 beschrankt ist und die Eb enen 2, . .. , k + 1 hochstens S Bau st eine ent halten . AbschlieBend beweisen wir die Beh auptung durch Induktion tiber i. Fur i = 2 betragt die Anzahl der Variablen n(2) und es gilt

n(2) = l n ] (10 log S)k-l J = l(10n log S )/ (10 10g S l J 2: 10 log S > log S. Urn PAR n (2) in T iefe 2 zu realisieren , benotigen wir auf Ebene 1 Bausteine mit n(2) > log S Eingan gen , da alle Primimplikanten und Primklauseln diese Lang e hab en . Also gilt die Behauptung. Fur den Induktionsschritt wenden wir das Austau schlemma, event uell die du ale Form fur CFs, a uf m (i ) := In (i)/ (10 10g S )j, s: = logS und t := logS an . Die Wahrscheinli chkeit , dass sich eine DF od er CF nicht auf gewiins cht e Weise in eine CF od er DF umformen lasst , ist kleiner als

(5m(i)s /n(i)) t::::: (1/2)logS = l /S. Also ist die Wahrscheinlichkeit, da ss mindestens eine der hochst ens S DFs od er CFs nicht gut umformbar ist , kleiner als 1. Dies impliziert, dass es eine Kon st antsetzung von n(i) - m(i) der n (i ) Vari abl en gibt , bei denen sich alle DF s od er CFs auf der zweit en Eb ene so umfor men lassen , dass sich durch Vers chmelzung der zweite n und dritten Ebene ohne E rhohung der Anzahl der Bausteine eine Eb ene einsp aren lasst . Wir erha lte n also einen alt ern ierenden Schaltkreis der T iefe i - 1, der auf m(i) = n( i - 1) Variablen die Paritatsfunktion od er deren Negat ion berechnet . Bei der Gleichun g m( i ) = n( i - 1) haben wir ausgenutzt, dass fur ganze Zahl en a , b und j die Beziehung la/bj j = II a/bl- l j / bj gilt . Die Anzahl der Bausteine a uf den Ebenen 2, . . . , i - 1 ist weit erhin durch S beschr iinkt und die Baus t eine auf Ebene 1 hab en hochstens log S Eingiinge. Mit diesem Widerspruch zur Induktionsvorau sset zun g hab en wir das T heorem bewiesen . 0

278

16. Die Komplexitat boolescher Funktionen

Wenn wir nun auch EXOR-Bausteine mit beliebig vielen Eingan gen erlauben, konnen wir in polynomieller Crofe mehr Funktionen realisieren , da PAR nur noch einen Baustein benotigt . Wir konnen dann OR-Bau steine durch AND- und NOT-Bausteine und, da x = x EB 1 ist , NOT-Bausteine durch EXOR-Baus t eine erset zen. Doppelkanten machen auch als Eingan ge fur EXOR-Bau st eine keinen Sinn. Offensichtli ch konnen r Kanten , die dieselbe Funktion realisieren , durch r mod 2 K anten ersetz t werd en . Auf diese Weise erhalte n wir altern ierende Schaltkreise mit AND- und EXOR-Ebenen . Wenn wir EXOR als Z2-Summe auffassen , konn en wir die Uberlegungen fur konst antes m auf Zm-Summen erweitern . Ein MOD m-Baust ein liefert die Ausgabe 1 genau dann , wenn die Anzahl der Einsen an den Ein gan gen ein ga nzza hliges Vielfaches von m ist . Fur EXOR-Baust eine mu ssen wir nur einen Einga ng 1 hin zuftigen , urn MOD 2-B austeine zu erha lte n. Bei MOD m-Baust einen konnen r Kan ten , die dieselbe Funktion realisieren , durch r mod m Kanten ersetzt werden . Dah er ist es auch hier sinnvoll, die Gro Be des Schaltkreises als Anz ahl der Bau st eine zu definieren . An MOD m-B aus t einen wird "mo dular geza hlt ". Dah er wird die Klasse der Familien j = (In) bool escher Funktionen , die in altern iere nde n Schaltkreisen konst anter Ti efe und polynomieller GroBe mit AND- und MODm-Bau st einen berechenbar sind, mit ACCo[m] (alternating count ing class) bezeichnet . Wir betracht en zunac hst den Fall m = 2 und damit Rechnungen im Ko rp er Z2. Dies legt die Anwendung algebr aischer Methoden nah e. Bool esche Funktionen konnen als Z2-Polynome int erpreti ert werd en und hab en somit einen Gr ad , naml ich den Grad des zugehorigen Polynoms. Es ist einfach, Polynom e hoh en Grades zu berechn en , so zum Beispiel mit einem AND-Baustein das Po lynom X 1X2·· · X n mit dem maxim alen Grad n . Dieses Polynom ist abe r einem Polynom mit kleinem Grad , namli ch der Konst anten mit Grad 0, in dem Sinn ahnlich, dass sich diese beiden Funktionen nur an einer Stelle unterscheiden.. Anst elle der Ahnlichkeit konn en wir au ch die Distanz zweier Funktionen j und 9 definieren. Als Dist an zmaB biet et sich in diesem Zusammenhan g die Anzahl der Eingabe n a mit j(a) i=- g(a) an. Diese Idee hat Razborov (1987) benutzt , urn ftir explizit definierte Funktionen zu zeigen, dass sie nicht zu ACCO[2] gehoren . E r hat nachgewiesen, dass ACCO[2]-Funktionen einen kleinen Abst and zu einem Polynom recht kleinen Grad es hab en . Urn zu zeigen, dass j = (In) nicht zu ACCO [2] gehort , reicht es dann zu zeigen, dass I« zu allen Polynomen kleinen Gr ades einen groBen Abst and hat. Diese Ub erlegungen mtissen naturlich qu ant ifiziert und beziiglich der Tiefe k der Schaltkreise par am etrisiert werden. Razborov hat die Majoritiitsjunktion (majority fun ction, MAJ = (MAJ n ) ) untersucht , wobei MAJ n gena u dann die Au sgab e 1liefer t , wenn die Eingab e mindestens so viele Einsen wie Nullen ent halt . Er hat folgendes Resultat bewiesen.

°

Theorem 16.4.3. Die Majo ritiit sjunktion hat in alternierenden Schaltkreisen mit A ND- und MOD 2 -Baustein en bei Tieje O((log n )jloglog n) polyno-

16.5 Die GroBe von tiefenbeschriinkte n Thresholdschaltkreisen

279

mielle GrofJe un d bei T iefe o( (log n) f log log n) superpolynom ie lle GrofJe. In sbesondere is t MAl rf:- ACCO [2 ].

Smolen sky (1987) hat die ACCO[m]-Kl assen allgemeiner untersucht und folgendes Result at erzielt. Theorem 16.4.4. Es seien p und q ve rschiedene Primzahlen und k 2: 1 eine Konstante. Dann ist MODp 'f- ACCO [qk]. Nur Primzahl en und Primzahlpot enzen erlaube n bei MODm-Bau steinen eine n algebraischen Zugang. FUr aus mindesten s zwei verschiedene n Primza hlen zusammengesetz te Zahlen wie m = 6 ist es bisher nicht moglich, fur explizit definierte Funktionen nachzuweisen , dass sie nicht in ACCO[m] enthalten sind.

16.5 Die GroBe von t iefenbeschrtlnkten Thresholdschaltkreisen Da PAR rf:- ACo ist, hab en wir in Kapit el 16.4 EXOR-Bau st eine und aIlgemein er MODm-Bau st ein e zugelassen. An alog konnen wir nach dem Ergebnis MAJ rf:- ACCo [2] au f d ie Id ee kommen , MAJ-Bau st eine zuzulasse n . Um Negat ione n, Disjunkt ionen und Konjunktionen in einem Bausteintyp zu erfasse n und de n Zugriff auf konstante Eingab en UberflUssig zu machen , erlaube n wir aIle Thresholdfunktionen T;;k und aIle negativen T hresholdfunkt ionen T!2k als Bau st ein e. Wir erinnern d aran, dass an diesen Bau st ein en ub erpruft wird, ob unter den n E ingange n mindest ens bzw. hochst ens k Einsen sind. Die ent stehende n Schaltkreise hei£en Thresholdschaltkreise (threshold circuits) und bilden ein adaquates Modell fur diskret e neuronale Net ze ohne RUckkopplu ng. In Thresholdschaltkreisen konnen Mehrfachkanten sinnvoll sein. Das Ube rt ragsbit CARn bei der Addition zweier Zahlen der Bit lange n lass t sich beispielsweise mit ex po nent iell vielen Kant en durch einen T hresholdbaustein realisieren . Dies ist offen sichtlich , da CARn( a , b) genau dann den Wert 1 hat , wenn die Ungleichung

O:'Oi:'On - l

erfullt ist. Also wahl en wir den Threshol dwert 2n und jeweils 2i Kant en von a i un d bi zu dem Bau st ein . Auf diese Weise erhalte n wir zwei Kornpl exitatsm afe fur die GroBe von Thresholdschaltkreisen , namlich - d ie Anzah l de r Kant en und - die Anzahl der Bau st ein e.

280

16. Die Kornplexitat boolescher Funktionen

Im zweiten Modell kann man sich vorstellen , dass Kanten ga nzzahlige Gewichte t ra gen und ub erpruft wird , ob die gewichtete Summe der Eingab en den Thresholdwert erreicht. Da wir bisher nur fur die GroBe von Thresholdschalt kreisen sehr klein er konstan t er Tiefe ex pone nt ielle untere Schr anken beweisen konnen , bezeichnen wir mit TCO,d die Klass e der Familien f = Un) boolescher Funkt ion en , die in Thresholdschaltkreisen mit pol ynomiell vielen un gewicht et en Kan t en in Tiefe d realisierbar sind . Erstaunlicherweise lasst sich mit gewichteten K anten bei polyn omi eller GroBe maxi mal eine Eb ene einsparen (Goldmann und Karpinski (1993)) . Ziel dieses Ab schnitt s ist es, das Ergebnis IP t{. TCO,2 her zuleiten (Hajnal , Maass , Pudlak , Szegedy und Turan (1987)) . Hier verlauft moment an die Gren ze ftlr den Beweis ex pone nt ieller unterer Schr anken . Fur keine explizit definier t e Familie bo olescher Funktionen ist bisher bewiesen word en , dass sie nicht in T CO,3 ent halten ist . Urn etwas mit dem Mode ll vertraut zu werden , st ellen wir zunachst zwei po sit ive Ergebnisse vor. Theorem 16.5.1. PAR E T C O,2 und IP E TC O,3. Beweis. Der Schaltkreis fur PAR n kommt mit 2· In/21 + 1 Bau st einen au s. F ur die Eingab e x = (Xl , . . . , x n ) werden auf der ersten Eb ene T>k(X) und T i verl aufen durfen . Fur ein k-1BDD (indexed BDD) besteht s aus der Konkatenation von k Permutationen von X. Fur ein k-OBDD (ordered BDD) best eht s aus der k-m aligen Wi ederholung einer Permutation von X . Bei stereotype n Br anchingprogrammen hab en wir die Hoffnung, die Variabl en so zwischen Alice und Bob a ufteilen zu konnen , dass die Schicht entiefe klein bleib t . Die hier einge fiihrte n eingeschriinkte n Branchingprogramme, insbesonder e 1-0BDDs od er kur z OBDDs, hab en eine praktische Bedeutung als Datenstruktur fur boolesche Funktionen . OBDDs mit fest er Permutation der Vari abl en oder kurz Vari abl eno rdnung sind die gebriiuchlichste Datens trukt ur fur bool esche Funktionen und unt ers til tz en viele Oper at ionen auf booleschen Funktionen (siehe z. B. Wegener (2000)) . Diese Datenstruktur geriit an ihre Grenzen , wenn die bet racht et en Funkti onen kein e kleine Dar st ellung haben. Dies motiviert die Unter suchung unt erer Schr anken fur die GroBe dieser Branchin gprogr amme und ausgewahlter Funkti onen . Wir beschr iinken uns

16.6 Die GroBe von Branchingprogrammen

285

hier auf die Maskenvari ant e E Q~ des Gleichheitst est s und die Berechnung des mittleren Bits der Multiplikation MULn . W ir erinnern daran, dass die Kornmunikationskornpl exit at von E Q~ mindestens m betragt , wenn Alice m der a- Vari abl en und Bob m der b-Vari abl en od er umgekehrt erhiilt . Die Kommunikationskornpl exitat von MUL n bet riigt mindest ens fm /81, wenn Alice und Bob je m Vari ablen eines Faktors kennen. Bei der Unt ersuchung von k-OBDDs gebe n wir gemaf der Variabl enordnun g einen Anfangst eil der Vari ablen an Alice und den Rest an Bob. Damit ist die Schichtentiefe durch 2k beschriinkt. Fu r EQ~ endet der Anfangst eil, wenn zum erst en Mal fn /21 a- Variabl en oder fn /21 b-Vari abl en im Anfan gst eilliegen . Fur MUL n trennen wir die Vari ablen so auf, dass Alice [n / 21 und Bob Ln /2 J Vari ablen des erste n Faktors erhalt . Somit erhalte n wir folgend e untere Schr anke. Theorem 16.6.5. Di e GrofJe von k-OBDDs, die len, betriigt 2 D (n / k ) .

EQ~

oder MUL n darstel-

F ur k-1BDDs und s-ste reotype Br an chingprogramme konnen wir eine kleine Schichtentiefe nur fur kleinere Vari abl enm engen A , B (C1 + ...+ Ck) . max{h(n) , .. . , A(n)}

::::; (C1 ::::;

und die vierte aus (C1 . I (n )) . (C2 . g(n)) = (C1 . cz) . I (n ) . g(n) . Nachdem wir "asympt ot isch ::::;" durch 0 ausgedr uckt hab en , ergebe n sich die Definit ionen fur "asympt ot isch ;:::" und "asymptot isch = " a uf nah e liegende Weise:

- I -

= [l(g) (gesprochen: groB Omega) hat die Int erpret ation, dass I asymptotisch nicht langsam er als 9 wachst od er asy mpt ot isch mindestens so schn ell wie 9 wachst , und ist definiert durch 9 = O(f), I = 8(g) (gesprochen : groB Thet a) hat die Interpretation, dass lund 9 asympt ot isch gleich schnell wachsen , und ist definiert durch I = O(g) und

1 = [l(g) . SchlieBlich komm en wir zu den Definiti onen von "asymptot isch " :

- I = o(g) (gesprochen : klein Oh) hat die Int erpret ation, dass I asympt o-

-

tisch langsam er als 9 wachst , und ist definiert d urch die Bedingung, dass I(n) jg(n) eine Nullfolge ist und 1 = w(g) (gesprochen : klein Omega) hat die Interpret ation, dass I asymptotisch schneller als 9 wachst, und ist definiert durch 9 = o(f) .

Bei der st rikten Definition von I ::::; g als I(n) ::::; g(n) fur aile n war en viele Funktionen wie beispielsweise n 2 und n + 10 nicht vergleichbar , die asympt oti sch vergleichb ar sind. Es ist n + 10 = O(n Z ) und soga r ti + 10 = o(n Z ) . Dennoch sind nicht aile monotonen Funkt ionen asymptotisch vergleichb ar. Sei

A.I Crofenordnungen und die O- Notation

f(n) :=

n'. { (n-l)!

297

n gerade

n ungerade

und g(n) :=

(n-l)! {

n gerade

n!

n ungerade.

Dann sind fund 9 monoton wachsend, a ber weder f(n) jg(n) = n fur gerades n noch g(n) j f(n) = n ftir ungerades n sind na ch oben durch eine Konstante beschrankt. Also gilt weder f = O(g) noch 9 = 0(1) . Allerdings sind fur die meisten Algorithmen Al und A 2 die zugehorigen Rechenzeiten asympt ot isch vergl eichb ar. SchlieBlich wollen wir die Wachstumsordnungen , die als typische Rechenzeiten vorkommen, ordnen . Als Basis dienen uns die Wachstumsordnun2n gen log log n, log n, n, 2n und 2 . Sie unterscheiden sich exponent iell, da 10g log 2 log n = log n und 2 n = n ist. Wir verwend en log" n als Abkurzung fur (log n) " . Dann gilt fur alle Kon st anten k > 0 und E > 0 : (log log n)k

o(log" n),

logk n

o(n") ,

nk

0

2

(2 n (A j

j EJ

j ).

jEJ

Allgem ein gilt

p(U A jEJ

j ) ::;

LP(Aj jE J

).

300

A. Anhang

Folgende Veranschaulichung kann hilfreieh sein . Wir stellen uns ein Quadrat der Seit enl an ge 1 vor. Jedes Elementarereignis ei wird durch eine Teilfiache Pi der Grofe Pi dargestellt, wobei die Flachen Pi disjunkt sind. Flachen und Wahrscheinli chkeit en sind beides MaBe. Er eignisse sind nun Teilflach en, deren MaB sich als Summe der MaBe der Elementar ereignisse ergibt. Beim Flachenmaf ist klar , dass sieh bei disjunkten Mengen die Flach en addieren und allgemein die Summe der Ein zelflachen eine obere Schr anke darst ellt. Manche Fl achenteile konnen bei der Summe mehrfach berucksichtigt werden . Unser ab straktes Experiment ist nun aquivalent zu der zufalligen Wahl eines Punktes im Quadrat . Gehort dieser zu Pi, ist das Ereignis e; eingetreten . Was andert sieh , wenn wir erfahren , dass das Er eignis B einget reten ist ? Aile Elem entarereigniss e ei tJ- B werd en unmoglich und erha lte n die Wahrscheinli chkeit 0, wahrend die Elem entar ereignisse ei E B weit erh in moglich sind. Wir erhalte n also eine neu e Wah rscheinlichkeit svert eilung q. Es ist qi = 0, falls e; tJ- B ist . Daher muss die Summe aller qi, ei E B , den 'Wert 1 ergebe n. Durch die Information, dass B einget reten ist , sollt e das Verhaltnis der Wahrscheinlichkeiten von e. , ej E B gleich geblieben sein, also qdqj = pdPj sein . Damit muss fur eine Kons tante A

qi

=

APi

sein und zus at zlich

Daraus folgt

A=

o: o: qi) /

iEIB

Pi) = I jp(B) .

iEIB

Somit definieren wir die bedingte Wahrscheinlichkeit (conditional probability) q durch

qi = {PdP(B) falls e, E B son st .

°

Fur ein E reignis A erha lte n wir

q(A) =

l: qi = l: iEI A

pdp(B) = p(A n B) jp(B) .

iEIAnIlJ

Fur die bedingte Wahrscheinlichkeit , die ja von der Bedingung B a bha ngt , hat sieh die Schreibweise p(A I B) (gesprochen: Wahrscheinlichkeit von A gegeben B) durchgeset zt . Es ist also

A.2 Ergebnisse aus der Wahrscheinlichkeitstheori e

301

p(A I B) := p(A n B) jp(B) . Diese Definition ist nur sinnvoll, wenn p(B) > 0 ist . Die Bedingung B kann ja auch nur eintreten, wenn p(B) > 0 ist . Oft wird die aquivalente Gleichung

p(A n B) = p(A I B) . p(B) verwendet. Sie wird a uch benutzt, wenn p(B) = 0 ist. Obwohl p(A I B) dann form al nicht definiert ist , wird p(A I B) . p(B) als 0 interpretiert. Falls p(A I B) = p(A) ist , hangt die Wahrscheinlichkeit des Ereignisses A nicht davon ab, ob B eingetreten ist. In diesem Fall werden die Ereigniss e A und B als unabhiingig (independent) bezeichnet . Diese Bedingung ist aquivalent zu p(A n B) = p(A) .p(B) und damit zu p(B I A) = p(B) , falls p(A) > 0 und p(B) > 0 ist . Die Beziehung p(A n B) = p(A) . p(B) druckt aus, dass der Begriff der Unabhangigkeit t atsachlich symme t risch bezuglich der Ereignisse A und B ist . Die Ereignisse A j , j E J , heiBen vollstandig unabhiingig (complet ely ind ep endent), wenn fiir alle J' ~ J

p(

n A j) = jEJ' IT p(Aj)

j EJ'

gilt. Bisher haben wir die bedingten Wahrscheinlichkeiten aus der Wahrscheinlichkeitsverteilung p ab geleitet . Oft gehen wir den umgekehrten Weg. Wenn fur jedes Bundesland die Haufigkeitsverteilung einer Kenngrofe wie Einkommen vorliegt und wir die Einwohnerzahl en der Bundeslander kennen, konnen wir daraus die Haufigkeitsverteilung der Kenngrofe fur das Bundesgebiet ausrechnen, ind em wir die region alen Ha ufigkeiten gewichtet mit den Bundeslandgrofen aufaddieren. Dieser Sachverhalt lasst sich auf Wahrsche inlichkeiten ubertragen und fuhr t zum so genannten Sat z von der totalen Wahrsch einli chkeit (law of total probability). Theorem A.2.2. Es sei B j , j E J , eine Partition des Ereignisraums E .

Dann gilt p(A) = I>(A I B j) . p(Bj) . j EJ Beweis. Der Beweis er folgt durch einfaches Nachrechnen. Es ist

und damit mit Bemerkung A.2.1 a uch

I>(A I B j) . p(Bj) jEJ = p ( An

= I>(A n Bj) = p( U(A n Bj)) jEJ

j EJ

UBj)=p(A ).

j EJ

o

302

A. Anhang

Wir komm en nun zu dem zent ralen Begriff der Zufallsvariablen (random variabl e). Formal handelt es sich dabei nur urn eine Abbildung X : E -+ R So kann eine Zufallsvari able auf dem Ereignisraum aller Menschen jedem Mensch sein e Korpergrofe zuordnen und eine andere das Korpergewicht . Zufallsvariab len sind aber mehr als Funktionen, da jede Wahrscheinlichkeit svert eilung p auf E eine Wahrscheinlichkeit sverteilung auf dem Bildbereich von X induziert , namlich durch Prob(X = t) := p( {e, I X( ei) = t }). Die Wah rscheinli chkeit, dass X den Wert t annimmt, ist also einfach die Wahrscheinlichkeit der Menge aller Element ar ereignisse, die von X a uf t abgebildet werd en . W ah rend wir auf dem Er eignisraum normalerweise nicht "rechnen" konnen , ist dies mit Zufallsvariablen moglich. Bevor wir Kenngroflen von Zufallsvari ablen einfuhren, wollen wir den Begriff der Unabhiingigkeit von Zufallsvariablen (ind ep endent random vari abl es) aus dem Begriff der Unabhan gigkeit von E reignissen ableiten. Zwei Zufallsvariabl en X und Y auf dem Wahrscheinl ichkeit sraum (probabili ty space) (E ,p) , also einem Ereignisra um Emit zugehoriger Wahrscheinli chkeit sverteilung p, heifien una bha ngig, wenn die Er eignisse {X E A} := {ei I X( ei) E A} und {Y E B} fur aBe A , B ~ JR un abhan gig sind . Eine Menge X i , i E I , von Zufallsvari ablen auf (E , p) heiBt vollstiin dig unabhiingig (complet ely ind ep end ent) , wenn die Er eignisse {Xi E Ad , i E I , fur alle Er eignisse A i ~ JR, vollstandig unabhangig sind . Sie heiBt paarweise unabhiingig (pairwise ind ep end ent) , wenn fiir i =f. j die Er eignisse {Xi E A d und {Xj E A j } fur alle Er eignisse A i , A j ~ JR un abhan gig sind. Die wichtig st e Ken ngrofe einer Zufallsvariabl en ist ihr Eruiariu nqsuiert (gewicht et er Mittelwert , mean va lue, expec te d valu e) E(X) definiert durch

E(X ):=

L t . Prob(X = t ), tEBild(X)

wobei Bild(X) den Bildbereich von X beschreibt. Diese Definition bereit et fur endliche Bildbereiche und dami t insbesondere endliche Ereig nisra ume keine Probleme. Fur abzahlba r une nd liche Bildberei che ist die obige unendliche Reihe nur definiert, wenn die Reihe a bsolut konvergiert . Auf dieses P robl em werden wir abe r nicht st oBen, da wir es bei der Beh andlung von Rechenzeit en nur mit positiven Zahlen zu tun hab en und auch 00 als Erwart ungswert zulassen. Die in Kapitel 2 definiert e durchschnit tli che Rechenzeit eines AIgorit hmus ist der Erwartungswert, wobei die Ein gabe x mit Ixl = n zufallig gewa hlt wird . Bei der erwartet en Rechenzeit eines randomisierten Algorithmus (siehe Kap it el 3) wird die Ei ngabe x fest gewa hlt und der Erwar t ungswert beziiglich der Zufallsbit s, die der Algorithmus verwendet, gebildet. Da wir bedingt e Wahrscheinlichkeit en definiert hab en , erhalte n wir auch bedingte Erwa rtungswert e E(X I A ) bezuglich der bedingt en Wahrscheinli chkeit en Prob(X = t I A) .

A.2 Ergebnisse aus der Wahrscheinlichkeitsth eorie

303

Mit Erwartungswerten Iii-sst sich gut rechn en . Bemerkung A.2.3. Falls X eine 0-1-Zufallsvar iabl e ist , der Bildbereich von X also die Menge {a, I} ist , gilt

E(X) = Prob(X = 1). Beweis. Die Behauptung folgt direkt aus der Definition:

E(X) = 0· Prob(X = 0)

+ 1 . Prob(X = 1) = Prob(X = 1). D

Diese sehr einfache Bemerkung ist au Berst hilfreich, da wir zwischen Wahrscheinli chkeit en und Erwar tungswerten wechseln konnen . Daruber hina us ist der E rwart ungswert linear . Dies kann leicht veran schaulicht werd en . Wenn wir die Kont ost ande der Kunden einer Bank als Zufallsvar iabl e bei zufalliger Wahl des Kunden od er der Kundin betracht en und sich der St and jedes Kontos durch die Umst ellung von der D-M ark auf den Euro urn den Faktor 1,95583 verringert, dann gilt dies auch fur den mittleren Kontost and. (Hier sehen wir auch die Unt erschiede zwischen Theorie und Anwendungen, da es in der Praxis durch Rundungen auf volle Cent zu gerin gen Abweichunge n gekommen ist. ) Wenn zwei Banken fusioniere n und die zwei Konten (eventuell mit St and 0) jede s Kunden und jeder Kundin zusa mmengelegt werden , ist der mittl ere Kon to st and nach der Fusion gleich der Summe der mittleren Kontost ande bei den beiden Banken . Dies zeigen wir nun allgemein fur Zufallsvariablen , die auf demselben Wahrscheinlichkeit sr aum definiert sind. Theorem A.2.4. S eien X und Y Zufallsvariablen auf demselben Wah rscheinlichkeitsraum. Dann gilt - E(a · X) = a · E(X) f ur a E lR un d - E(X + Y) = E (X ) + E(Y) .

Beweis. Wir benutzen hier eine Beschreibung des Erwar tungswertes, die auf die Elementar ereignisse zuriic kgeht . Es sei (E,p) der zugrunde liegende Wahrscheinlichkeitsraum. Dann ist E(X) = L X( ei) . p., iEI

Diese Gleichung folgt aus der Definition von E(X ), da Prob(X Summe aller Pi mit X( ei) = t ist . Es folgt E(a · X)

t) die

= L (a. X)( ei) · Pi = a LX(ei) · Pi = a - E (X ) iEI

iEI

und E (X + Y )

= L(X + Y )(ei )· Pi = L X( ei )·Pi + LY(ei) ·Pi = E (X )+E(Y ). iEI

iEI

iEI D

304

A. Anhang

Dagegen gilt im Allgemeinen nicht E(X . Y) = E(X) . E(Y) . Dies lasst sich an einem einfachen Beispiel zeigen. Es sei E = {el ' e2}, Pi = P2 = 1/2 , X(el) = 0, X( e2) = 2 und Y = X . Dann ist X · Y( el) = und X · Y( e2) = 4. Es folgt E(X . Y) = 2, a ber E(X) . E (Y ) = 1 . 1 = 1. Der Grund ist , dass in unserem Beispiel X und Y nicht un abhiingig sind.

°

Theorem A.2.5. Falls X und Y un abhiingig sind, ist

E(X . Y) = E(X) . E(Y). Beweis. Wi e im Beweis von Theorem A.2.4 folgt

E(X . Y) = L X( ei) . Y( ei) . p. , iEI

Wir zerlegen I disjunkt in die Mengen I(t ,u) := {i IX( ei) = t ,Y(ei) = u} . Damit folgt E(X . Y)

=L

L t . u . Pi = Lt . u L

t ,U iE I (u ,t )

=

t ,u

Lt . u . Prob(X

=

t,Y

Pi

iE I( t ,u)

=

u) .

t ,u

An dieser Stelle konnen wir die Unabhiingigkeit von X und Y ausnutzen und erha lte n E(X . Y) = Lt. u . Prob(X = t) . Prob(Y = u) t ,u

=

(Lt. Prob(X t

=

t) ) . (Lu , Prob(Y

=

u))

=

E (X ) · E(Y) .

u

D

Die Auss age von Theorem A.2.5 lasst sich erlautern, Wenn wir annehmen , dass Korpergrofe und Kontostand un abhiingig sind, ist der mittlere Kontostand fiir jede Korpergrofe derselbe und damit das mittlere Produkt aus Kontostand und Korpergrofe das Produkt a us mittlerem Kontost and und mittlerer Korpergrofie. Dieses Beispiel zeigt auch, dass Daten aus dem Alltag typischerweise nur zu "fast un abhiingigen " Zufallsvariabl en fiihren. Allerdings konnen wir Experiment e wie Miinzwiirfe so gestalte n, dass die Er gebnisse "echt un abhan gig" sind. Der Erwartungswert reduziert die Zufallsvari abl e auf ihren gewichte te n Mittelwert und damit wird nur ein Teil der in der Zufallsvariablen und ihrer Wahrscheinlichkeit sverteilung ent ha ltenen Information ausgedriickt. Das mittlere J ahreseinkommen kann in zwei Landern dasselb e sein, wobei die Einkomm ensunter schiede im einen Land gering und im andere n Land groB sind . Uns interessiert also die Zufallsvari abl e Y := IX - E(X)I , die den Abstand

A.2 Ergebnisse aus der Wahrscheinlichkeitstheorie

305

der Zufallsvariablen von ihrem Erwartungswert misst. Als k-tes zenirales Mo ment von X wird E( IX - E (X )l k ) bezeichnet . J e grofer k wird , desto starker werden grofiere Abweichungen vom Erwartungswert gewichtet. Nach der obigen Diskussion glauben wir, dass das erste zentrale Moment das wichtigste ist. Mit ihm lasst sich aber schwer rechn en , da die Funktion IX I nicht differenzierbar ist . Als MaB der Abweichung vom Erwartungswert hat sich daher das zweite zentrale Mom ent, die Varianz (variance) V(X) := E((X - E(X)) 2), durchgesetzt. Da X 2 = IX I2 ist , kann hier auf die Betragsstriche verzichtet werden. Direkt aus der Definition er geb en sich die folgenden Eigenschaften.

The or e m A .2.6. Es gilt V(X) = E(X 2) - E(X)2 , falls IE (X )I

< 00, und

V(aX) = a 2 . V(X) fur a E R

B e we is . Die Bedingung IE(X)I < 00 sichert , dass auf der recht en Seite der erst en Beh auptung nicht der undefinierte Begriff 00 - 00 steht. Dann folgt aus de r Lin earitat des Erwartungswertes, da E(X) ein konstanter Faktor ist , V(X) = E((X - E(X))2) = E(X 2 - 2 · X . E(X) + E(X)2) =

E(X 2) - 2 . E(X) . E(X)

+ E(E(X)2).

SchlieBlich ist ftir eine Konstante a E IR auch E( a) = a , da wir es mit ein er " Zufallsva riablen" zu tun hab en , die mit Sicherheit den Wert a annimmt. Also ist E(E(X)2) = E(X)2 und wir erhalten die erst e Beh auptung. Fur die zweit e Beh auptung wenden wir die erste Au ssage an und benutzen die Gleichungen E((aX) 2) = a 2 . E(X 2) und E(aX)2 = a 2 . E(X) 2. 0 Da V(2 . X) = 4 · V(X) und nicht 2 · V(X) ist , gilt im Allgem ein en nicht V(X + Y) = V(X) + V(Y) . Diese Gleichung gilt jedo ch ftir unabhangige Zufallsvari ablen.

Theorem A.2.7. Fur paarweise unabhiingige Zuf allsvari ablen Xl , . . . , X n gilt V(X I

+ ... + X n ) = V(X l ) + .. . + V(Xn ) .

Beweis. Die Au ssage er gibt sich durch einfaches Na chrechnen . E s ist V( L Xi)

= E(( L

l S iS n

Xi -

l S i Sn

= E( (

L l S iS n

E( L

X i ) ) 2)

l S iS n

Xi

-

L l S iS n

E( Xi )f )

306

A. Anhang

=

E( +

L Xi' l : 0 Prob(X 2': t) < E(X) lt . B e we is. Wir definieren eine Zufallsvariable Y auf demselb en Wahrseheinliehkeitsraum, auf dem X definiert ist , durch Y( ei) :=

t falls X (ei) 2': t {

o sonst.

Nach Definition ist Y( ei) ::; X( ei) fur aIle i und damit Y ::; X. Dies impliziert na eh Definition des Erwartungswert es E(Y ) ::; E(X). Ebenso folgt naeh Definition des Erwartungswertes und Y

E(Y) = 0 . Prob(X < t) =

+ t . P rob(X

2': t)

t - Prob(X 2': t) .

Zusammengefasst gilt

E(X) 2': E(Y) = t . Prob(X 2': t) und damit die Behauptung.

D

Das s wir mit der markoffsehen Ungleiehung den Anteil der Einkommensmillion are auf 4 % beschr anken konnen , ist nicht ger ad e imponierend. Wir vermuten, dass der wahre Anteil wesentlich kleiner ist . Bessere Werte erha lt en wir , wenn wir die markoffsehe Ungleichun g auf speziell gewa hlte ZufaIlsvariabl en anwenden. So folgt fur die Zufallsvariable IX - E(XW dir ekt Prob (IX - E(X) lk 2': t k) ::; E ( IX - E(X) lk) I t k od er , da IX - E(X) lk 2': t k und IX - E (X ) I2': t aquivalent sind, Prob (IX - E(X) I 2': t) ::; E (IX - E(X)n I tk.

308

A. Anhang

Mit wachsendem k werden in E (IX - E(XW) Werte der Zufallsvari abl en IX - E(X) I, die kleiner als 1 sind , weniger gewicht et , wah rend Werte grofler als 1 st arker gewichtet werd en . Zu beacht en ist abe r a uch, dass der Nenner t k sich mit k ver andert. Es kann also sehr gut sein, dass wir mit wachsendem k besser e Resultat e erhalten. Unser Er gebnis ist fur k = 2 als tschebyschefJsche Ungleichung bekannt. Korollar A.2.10. ( T schebyschefJsche Ungleichung) Fur alle t > 0 ist Prob (IX - E(X ) I ~ t) < V(X) / t 2. Wir betrachten nun n un abhangige Miinzwiirfe und wollen die zufallige Anz ahl der Wurfe mit Er gebnis "Zahl" unter suchen. Dazu seien Xl , " " X n un ab hangige Zufallsvari ablen mit Probt.X, = 0) = Probf X, = 1) = 1/2. Dann misst X i die Anz ahl der Erfolge (Wiirfe mit E rgebnis Zahl) im i-te n Wurf und X := Xl + ... + X n die Gesamt an zahl der Erfolge. Es ist xl = X i ' Nach Bemerkung A.2.3 ist E(Xl) = E(X i ) = 1/2 und nach Bemerkung A.2.6 ist V (Xi ) = 1/2 - (1/2) 2 = 1/4. Nach Theorem A.2.4 und Theorem A.2.7 ist E(X ) = n /2 und V(X) = n /4 . Unser Ziel ist es, fur konstantes c > 0 zu zeigen, dass Prob (X ~ (1 +c) · E(X)) mit wachsend em n sehr klein wird. Die markoffsche Ungleichung liefert mit Prob (X

~

(1 + c) . E(X)) ::::: 1/(1

+ c)

nur eine von n unabhan gige Schr anke. Mit der t schebyscheffschen Ungleichung erha lten wir Prob (X

~

(1 + c) . E(X)) = Prob (X - E(X )

::::: Prob (IX - E (X ) I ~

E. :

~ E. > E(X))

E(X )) ::::: V (X) / (c 2 . E(X )2 ) = c- 2 . n - l .

Die bet racht et e Wahrscheinli chkeit ist also polynomiell klein . Die im Folgenden hergeleitete chem offsc he Ungleichung wird zeigen, dass die betracht et e Wahrscheinli chkeit soga r echt exponent iell klein ist . Auch die chern offsche Ungleichung beruht auf der markoffschen Ungleichung. W ah rend bei der ts chebyscheffschen Ungleichung die Zufallsvari abl en qu adriert wurden oder bei der allgemeineren Betrachtung die k-t e Pot enz y k der Zufallsvariabl en y unter sucht wurde, wird hier e- Y betracht et . Die starkere Kriimmung der e-Funkt ion im Vergleich zu den Polynomen x -7 x k wird eine wesentlich bessere Abschat zun g er moglichen, allerdings nur fur spez ielle Zufallsvari ablen . Theorem A.2.11. (Ch emoffsche Ungleichung) Es sei 0 < P < 1 und X = Xl + .. . + X n [iir un abhiingige ZuJallsvariablen X l , .. . , X n m it P robf.X, = 1) = P und Probt.X, = 0) = 1 - p . Dann ist E(X) = n p und Jur alle 15 E (0,1) gilt Prob(X ::::: (1 - 15) · E(X ))::::: e- E ( X

)S2 / 2 .

A.2 Erge bnisse aus der Wah rscheinlichk eit stheori e

309

Beweis. Die Aus sage tib er E(X) folgt aus der Lln earit at des Erwartungswertes und E(Xi ) = p (Bem erkung A.2.3) . E s sei t > O. Wir werden sp ater eine geeignet e Wahl fiir t t reffen . Da die Funktion x ----* e- t x st reng monoton fallend ist, ist das Ereign is X :::; (1 - 5) . E(X) gleich dem Ereignis e - t X ~ e - t( 1-8)E(X) . Also folgt mit der markoffschen Ungleichung Prob(X :::; (1- 5) · E(X))

=

Prob ( e - t X ~ e - t( 1-8)E(X) )

< E ( e - t X) /e - t( 1-8)E( X) . Zun achst berechn en wir E( e- t X ) . Da Xl , . .. , X n un abhan gig sind, gilt dies auch fur e - t X t , . .. ,e- t X n. Somit ist

E

( e- t X) =

E

( e -t (X t + ·+xn ))

=

E(Ill ~i~n e- t X i )

=

Il l ~ i~ n (E (e -

tX i

)) .

Da X i nur die Wert e 0 und 1 annimmt, folgt E ( e - t X i)

= 1 . (1 -

p)

+ e: '

.

p

= 1 + p ie::' - 1) . Also ist

Bekanntlich ist 1 + x < e" fu r alle x < O. Da t > 0 ist, ist P (e- t

-

1)

< 0 und

Im letzt en Schritt hab en wir ausge nutzt, dass E(X) = np ist. J etzt setzen wir t := - In (l - 5). Dann ist t > 0 und e- t - 1 = - 5. Also ist E ( e -tX ) < e -8·E( X) . Schliefilich set zen wir dieses Ergebnis in un sere erste Abschatzung ein und erhalten Prob (X :::; (1 - 5)E(X )) < e- 8 . E (X ) /e(l n( 1-8))(1-8)E( X)

=

e( - (1-8) In (1- 8) - 8)E (X ) .

Aus der Taylorreih e fur x In x folgt

(1 - 5) lnfl - 5) > - 5 + 52/ 2. Dies eingese tzt fuh rt zur che rn offschen Ungleichung.

o

310

A. Anh an g

Wi r kehren zu unserem Beispiel zurtick, in dem p = 1/2 ist . Dann hat X 2: (1 + c) · E(X) dieselbe Wahrscheinlichkeit wie X ::; (1 - c)· E(X) , da X symmetrisch urn E(X) verteilt ist . Beim Miinzwurf werd en einfach die Rollen der beid en Seit en der Munze vertau scht . Also ist

t atsachlich echt exponent iell klein . Haufig st ellt sich bei der Unt ersuchun g von randomisierten Algorithmen folgend es Problem . Eine Phase ftlhrt mit Wahrscheinli chkeit p zum Erfolg, also zum Stoppen des Algorithmus, ansonste n wird eine neue Phase begonnen , die vollstandig un abhan gig von den friiheren Phasen ist. Es sei X die Zufallsvariable, die den Wert t annimmt, wenn in der t-ten Phase der erste E rfolg eint rit t . Aufgrund der vollst andigen Unabhan gigkeit der Phasen ist fur q := 1- p

Prob(X = t) = l-lp. Das Er gebnis X = t ist narnlich gleichbede utend mit Misserfolgen in den Phasen 1, .. . , t -1 und Erfolg in Phase t . Diese Wah rscheinlichkeitsver teilung wird geometri sche Verteilung gena nnt . Wir sind an ihrem Erwar tungswert interessiert. Theorem A.2.12 . Sei X geometrisch verteilt zum Parameter p. Dann ist

E (X ) = l ip. Beweis, Nach Definition ist

E(X) =

L

k . qk-l . P

l :S; k < oo

=

v ( qO

+ ql + ql + q2 + q2 + q2 + q3 + q3 + q3 + q3 + .. . Die erste Spalt e hat den Wert 1/(1- q) = l ip. Analog folgt ftir die i-te Spalte (klammere qi - l a us), dass ihr Wert qi - 1/ p ist . Also ist 1. E(X ) = p . _1 ~ Z:: qt- 1 = _ p l :S; i < oo

p

o

Literaturverzeichnis

1. Agrawal, M., Kayal, N . und Saxena, N. (2002). PRIMES is in P . Tech. Report Dept . of Computer Science and Engineering. Indian Inst . of Technology Kanpur. 2. Ahuja, R .K. , Magnanti, T .L . und arlin, J.B. (1993) . Network Flows. Theory, Algorithms and Applications. Prentice-Hall. 3. Alon, N. und Boppana, R.B. (1987) . The monotone circuit complexity of boolean functions. Combinatorica 7, 1-22. 4. Alon, N. und Spencer, J. (1992) . The Probabilistic Method. Wiley. 5. Arora, S. (1997) . Nearl y lin ear time approximation schemes for Euclidean TSP and other geometric problems. Proc. of 38th IEEE Symp. on Foundations of Computer Science, 554- 563. 6. Arora, S., Lund, C ., Motwani, R., Sudan, M . und Szegedy, M . (1998) . Proof verification and the hardness of approximation problems. Journal of the ACM 45, 501-555 . 7. Arora, S. und Safra, S. (1998). Probabilistic checking of proofs : A new charaterization of NP. Journal of the ACM 45, 70-122. 8. Aspvall, B. und Stone, R .E . (1980). Khachiyan's linear programming algorithm. Journal of Algorithms 1, 1-13 . 9. Ausiello, G., Crescenzi, P., Gambosi, G ., Kann, V., Marchetti-Spaccamela, A. und Protasi , M. (1999) . Complexity and Approximation. Springer. 10. Balcazar, J .L ., Diaz, J . und Gabarro, J . (1988). Structural Complexity. Springer. 11. Beame, P ., Saks, M ., Sun, X. und Vee, E. (2000). Super-linear time-space tradeoff lower bounds for randomized computation. Proc. of 41st IEEE Symp. on Foundations of Computer Science, 169-179 . 12. Bellare, M ., Goldreich, O. und Sudan, M . (1998) . Free bits, PCP and nonapproximability - towards tight results. SIAM Journal on Computing 27, 804915 . 13. Bernholt, T. , Gillich, A., Hofmeister, T. , Schmitt, N. und Wegener, 1. (2002) . Kornplexitatstheorie, effiziente Algorithmen und die Bundesliga. Informatik~ Spektrum 25, 488-502. 14. Boppana, R . und Halldorsson, M .M . (1992) . Approximating maximum independent sets by excluding subgraphs. BIT 32, 180-196. 15. Clote, P . und Kranakis, E. (2002) . Boolean Functions and Computation Models. Springer. 16. Cook, S.A . (1971) . The complexity of theorem proving procedures. Proc. 3rd ACM Symp. on Theory of Computing, 151-158. 17. Feige, D ., Goldwasser, S., Lovasz, L., Safra, S. und Szegedy, M. (1991). Approximating clique is almost NP-complete. Proc. of 32nd IEEE Symp. on Foundations of Computer Science, 2-12 . 18. Garey, M.R. und Johnson, D.B. (1979) . Computers and Intractability. A Guide to the Theory of NP-Completeness . W .H . Freeman .

312

Literaturverzeichnis

19. Goldmann, M. und Karpinski , M. (1993) . Simulating threshold circ uits by majority cir cuits. Proc. of the 25th ACM Symp. on T heory of Computing, 551- 560 . 20. Goldreich , O. (1998) . Modern Cryptography , Probabilistic Proofs and Pseudorandomness. Algori thms and Combinatorics, Vo1.1 7. Springer . 21. Goldwasser , S., Micali , S. und R ackoff, C . (1989). The knowl edge complexity of inter active proof-s ystems. SIAM J ournal on Computing 18, 186-208 . 22. Hastad, J . (1989) . Almost optim al lower bounds for sm all depth circuits. In : Micali , S. (Hr sg.) Randomness and Computation. Advan ces in Computi ng Resear ch 5, 143- 170. JAI Press. 23. Hastad , J. (1999) . Clique is hard to approximate within n 1 - € . Act a Mathem atic a 182, 105-142. 24. Hastad , J . (2001) . Som e op timal in approximability results. Journal of t he ACM 48, 798-859. 25. Hajnal , A., Maass, W ., Pudlak , P ., Szegedy, M. und Turan , G. (1987) . Threshold cir cuits of bounded depth. Proc . of 28th IE EE Symp. on Foundations of Computer Science, 99-110. 26. Hemaspaandra, L. und Ogihara , M. (2002) . Th e Compl exity Theory Companion. Springer . 27. Hom er , S. (2001) . Computability and Complexity Th eory. Springer. 28. Hopcroft , J .E ., Motwani , R . und Ullman , J .D . (2001) . Introdu ction to Automata Th eory, Languag es and Computation. Addison-Wesley Longman. 29. Hopcroft, J .E. und Ullman, J .D . (1979) . Introduction to Automata Th eory, Languag es and Computation . Addison-Wesley. 30. Hromkovic, J. (1997). Comm unication Compl exity and Parall el Computing. Springer. 31. Johnson, D.S. (1974). Approxima tion algorit hms for combina t orial problems. Journal of Comp uter and System Sciences 9, 256-278. 32. Kann, V. und Cresc enz i, P . (2000) . A list of NP-complete op tim ization problems. www .nada .kth .se / ~viggo /index- en.html 33. Karmarkar, N. und Karp, RM. (1982) . An efficient approximation scheme for the on e-dimensional bin packin g problem. Proc. of 23rd IEEE Symp. on Foundations of Computer Science, 312-320. 34. Karp , RM. (1972). Reducibility amo ng combinatorial problems. In : Miller , R E . und Thatcher , J .W . (Hrsg.) . Compl exity of Computer Computations, 85-103 . Plenum Press. 35. Korte, B. und Schr ad er, R (1981) . On the existence of fas t approximat ion sche mes. In : Nonl inear Programming. Acad em ic Press . 36. Ku shilevitz, E. und Nisan , N. (1997). Communication Compl exity. Cambridge Univers ity Press . 37. Ladner, R .E . (1975 ). On the st ruc t ure of pol ynomi al time redu cib ility. Journal of t he ACM 22 , 155-171. 38. Lawler , E.L., Lenstra , J .K. , Rinnooy Kan, A.H.G . und Shmoys , D.B . (1985). Th e Traveling Salesm an Problem . A Guided Tour of Com binatorial Optimization. Wil ey. 39. Lawl er, E.L. , Lenstra, J .K. , Rinnooy Kan , A.H.G . und Shmoys, D.E. (1993). Sequ encing and Scheduling: Algori thms and Complexity. In : Graves , S.C ., Rinnooy Kan, A.H.G. und Zipkin , P .H. (Hrsg .). Handbook in Operation s Research and Manag em ent Science , Vol. 4, Logistics of Product ion and Inventory, 445522 . North- Holla nd . 40. Levin , L.A. (197 3) . Universal sorting problems. Problems ofInformation Tr ansmis sion 9, 265-266 . 41. Martello, S. und Tot h , P. (1990). Knapsack Problems. Wil ey.

Lit eraturverzeichnis

313

42 . Mayr, E ., Promel , H.J . und St eger , A. (1998) (Hrsg.) . Lectures on Proof Verification and Appro ximation Algorithms. LNCS 1367 . Springer. 43 . Mill er , G .L. (1976) Riem ann's hypothesis and t ests for primality. Journal of Computer and System Scien ces 13, 300-317. 44. Milters en, P.B. (2001). Derandomizin g com plexit y classes. In P ardalos , P.M ., Rajas ekaran, S., Reif, J . und Rolim , J . (Hrsg.) . Handbook of Randomization. Kluwer . 45 . Motwani , R . und Raghavan , P . (199 5) . Randomized Algorithms. C am bridge Univers it y Press. 46. Nechiporuk, E .I. (1966) A Boolean fun ction. Soviet Mat hemat ics Dokl ady 7, 999-1000. 47. Nielsen, M .A . und Chuang, I.L. (2000). Quan tum Compu tation and Quantum Information. Cambridge Un ivers ity Press. 48 . Ow en , G . (199 5) . Gam e Th eory. Academic P ress . 49 . P apadimitriou , C .M. (1994) . Compu tational Compl exity . Addison-Wesley. 50. Pinedo, M. (199 5) . Scheduling: Th eory, Algorithms and Sy stems . Prentice-Hall . 51. R azborov, A .A . (1987). Lower b ounds on the size of bounded depth networks over a complet e basis with logical addi t ion . Math . Notes of the Academ y of Scien ces of the USSR 41, 333-338. 52. R azborov , A.A . (1990) . Lower bounds for monotone complex ity of boolean funct ions . Am erican Mathematical Soci ety Tr an slation s 147, 75-84. 53. R azborov , A.A . (199 5) . Bounded arithme t ics and lower bounds in boolean complexi ty. In: Clote , P . und Remmel , J . (Hrsg .) . Feasible Math ematics 11. Birkh auser . 54. Reischuk, K.R. (1999). Komplexitiitsth eorie. Te ubner. 55. Schonhage, A., Grotefeld , A.F .W . und Vetter , E . (1999) . Fast Algorithms: A Multitape Turing Ma chin e Impl em entation. Sp ektrum Akademischer Verl ag. 56. Sh amir, A . (1992) . IP=PSPACE. Journal of the ACM 39, 869-877. 57. Sh asha , D . und Lazer e , C . (1998) . Out of Th eir Mind s. Th e Lives and Discoveries of 15 Great Computer Scientists. Copernicu s (Springer). 58 . Singh , S. (1998) . Fermats leizi er Sat z. Hanser. 59. Sipser, M . (1997) . Introdu ction to the Theory of Computati on. PWS Publish in g Company. 60 . Smo lensky, R. (1987) . Algeb raic methods in the theor y of lower bounds for boolean circuit complexity. P ro c. of 19th ACM Symp. on Theor y of Computing , 77-82 . 61. Solovay, R . und Strass en , V . (1977) . A fast Mont e-Carlo tes t for primali ty. SIAM Journal on Com put ing 6,84-85. 62. Stinson, D.R. (1995) . Cryptography. Theory and Practice. CRC P ress . 63 . Stockmeyer, L.J. (1977) . T he polynom ial t im e hierarchy. T heore t ical Co m pu te r Scien ce 3, 1- 22. 64 . Stras sen , V . (1986) . The work of Leslie G . Vali ant . Proc. of t he Int. Congr ess of Mathem a t ics , Berkeley, Ca . 65. T hom pso n , C .D . (1979) . Ar ea-t im e com plexi ty for VLSI. Proc. of 11th ACM Symp. on Theory of Computing , 81-88. 66 . Valiant , L.G . (1979). The com plex ity of com puting the permanen t . Theoret ical Com p ute r Scien ce 8 , 189-201 . 67. van Leeuwen , J. (1990) (Hrsg.) . Handbook of Theoretical Computer Scie nce. E lsevier, MIT Press. 68 . Wagn er , K . (1994) . Einjilhruru; in die Th eoretische Informatik. Grundlagen und Modelle. Spri nge r . 69. Wagner, K. und Wechsung , G. (1986) . Computational Complexity. VEB Deutscher Verl a g der W issens chaften .

314

Literaturverzeichnis

70. Wechsung, G . (2000) . Vorlesungen zur Komplexitat sth eori e. Springer. 71. Wegen er , I. (1982) . Boolean fun ctions whose monotone complexity is of size n 2 /lo gn . Theoretical Com pute r Science 21, 213-224. 72. Wegen er , I. (1987) . Th e Complexity of Boolean Function s. Wil ey. Frei verfiigb ar tiber http:/ /ls2-www. cs.uni-dortmund.de/ ''-'wegen er . 73. Wegen er , I. (1996) . Effizient e Algori thm en fur grundlegende Funktionen. Teubner. 74. Wegener , I. (1999) . Theoreiische Informatik - eine algorithmenorient iert e Einfu hrung. Teubner. 75. Wegener , I. (2000) . Branching Programs and B inary Decision Diagram s - Th eory and Applications. SIAM Monogr aphs on Discr ete Mathematics a nd Applications. 76. Wegen er, I. (2002) . Teaching nondet erminism as a speci al case of randomization . Informatica Did act ica 4 (elektron . Zeit schrift) . 77. Yao , A.C. (1977) . Probabilistic computat ions : Towards a unified measure of complexity. Proc. of 18th Symp. on Foundations of Computer Scien ce, 222227. 78. Yao , A .C. (1979) . Som e complexity qu estions related to distributed computi ng. Proc. of 11th ACM Symp. on Theory of Computing, 209- 213. 79. Yao , A .C. (2001) . Vortrag zur Verl eihung des Turing Awards. 8. 7. 2001, Che rsoniss os, Kr et a .

Sachverzeichnis

(a, b)-L iickenproblem , 113 CAN D(J ), 246 C EXOR(J) , 246 Co R(J) ,246 D p,e, 256 O- Notation, 295

T!}k ' 267 T~ k ' 267

l1k-S chaltkreis, 275 Ek-Schal tkreis, 275 8-close, 177 8-nah,177 S log, 207 S l, 287

S r , 49 S p, 65 S ed, 287 SPTAS, 116 S reet, 241 Spro j, 287 Srop, 287 C-iiquivalent , 71 C-complete, 71 C-einfach, 71 C-equivalent , 71 C-hard, 71 C-hart , 71 C-leicht , 71 C-schwi erig, 71 C-simple, 71 C-vollstiindi g, 71 e-opt imal, 106 k-D M , 18, 74, 96 k-GC , 89 , 96 k-IBDD ,284 k-O BDD ,284 k-SAT , 19, 96 k-dimensional matching, 18 s-t- DHP, 84 s-t-connec ti vity in d irected graphs, 208 s-oblivious bran ching progr am , 284

s-stereotypes Br an chingprogramm, 284 # P -vollstiindig, 210 # P M,209 #SAT ,209 2-DM , 58, 96, 209 2-GC , 96 2-SAT ,96 3-D M, 89, 96, 101 3-G C ,96 3-PART IT IO N, 101 3-SAT , 55, 61 , 85, 90, 91,172,182 4-PARTITION, 101 ACO , 275 AC o-reduzierbar , 287 AC k , 288 ACCO [m], 278 algori thm , 20 a lgorit hmic complexity, 26 algorithmisch ahnlich , 47 algorithmische Komplexitiit , 26 algorithmisches Problem , 13 Algorithmus, 20 alte rn a t ing class, 275 alte rnating counting clas s, 278 AM ,159 AND-Nichtdeterminismus, 246 Anfangszust and, 24 Anticliqu e, 18 An zahlproblem , 209 approxim ation problem , 107 approximat ion ratio, 106 Approxima tionsgiite, 106 Approxim ation sproblem , 107 APX , 108 APX-vollstiindi g, 120 Arbeitsalphab et , 24 Arbeitsband, 196 Arbeitsvo rschrift , 24 Ari thmetisierung, 173 ari t hmetization, 173 Arthur-Merlin-Spi ele, 159

316

Sachverzeichnis

asymptotic wors t- case approxima t ion rat io, 107 asymptotische m aximale Approximation sgilte, 107 asymptotisches FPTAS , 111 Aufteilungsproblem , 17 Austauschlemma, 276 Au swertungsproblem , 14 Auswertungsproblem ftir Scha ltkreise, 207 Automorphismengr uppe, 157 average-case runtime, 26 Baustein , 213 Bausteineliminierung, 267 BDD ,222 bedingter Erwartungswert , 302 bedingte Wahrsch einlichkeit, 300 Beweiser , 154 Beweisverifizierer, 175 bin ary decision diagram, 222 bin pa ckin g, 17 bit commitment, 166 BitfestIegung, 166 black box , 124 Black-Box-Komplexitat, 125 BIack-Box-Optimierung, 125 Black-Box-Problem , 124 bl ank,24 BMST,84 bounded -degr ee minimum-cost sp anning t ree, 84 bounded-error probabilistic polynomial time, 38 BP, 17,52,57, 74,87, 102 BPP, 38 br anching program, 222 CAR, 244, 279 CC , 18, 74 CF , 19,275 championship problem , 18 chern offsche Ungleichung, 308 Choms ky-Hierarchie, 197 Church 's hypothesis, 22 churchsc he These, 22 circuit , 213 circ uit depth, 214 circuit size, 213 circuit value problem, 207 CLIQU E , 18, 57, 61, 74, 87, 228, 268 clique cover , 18 Cliquenproblem , 18

Cliquen ube rdec kungsproblem , 18 co-C, 40 co-L , 33 communicat ion complexit y, 232 communica tion game, 231 communication matrix , 236 communicat ion protocol, 232 communication rounds , 233 complete ly indep endent, 301, 302 component des ign , 61 composit ion lemma , 181 com puta tional zero-knowled ge proof, 166 condition al probability, 300 cons tant depth reducible, 287 context-sensitive languages , 197 C P , 18, 58, 59, 74, 91 , 97 , 100 CSL, 197 CVP, 207, 288 Dame, 201 decision problem , 15 depth-first search , 208 Der andomisierung, 72, 110, 225 der andomization , 225 determiniert , 20 deterministi c, 20 deterministisch , 20 DF, 19,275 DFS , 208 DHC , 16, 53, 61 DHP, 83 directed hamiltonian circuit , 16 directed hamiltoni an path, 83 DIS , 239 discrep an cy, 258 d isjointness test , 239 Disjunktheitstest , 239 disjunktive Form , 275 Diskrep an z, 258 distributional communication complexi ty , 256 DIV ,288 Divi sion , 288 DSTCON ,208 DTAPE( s(n)) ,196 durchschnittliche Rechenz eit , 26 EC , 17, 74,96 echt exponent ieII, 298 echt ex ponentieII klein , 299 echt po lynomieIIes Approximationsschema, 108 edg e cover , 17

Sachverz eichnis

einfarbig, 236 Eingabeband, 196 einheitlich beschreibbar, 215 einheitliches KostenmaB, 22 einmallesende Projektion, 287 einseit iger Fehl er, 33 Einwegfunktion, 165 Elementarereignis, 299 Entscheidungsdiagramm, 222 Entscheidungsproblem, 15 EQ ,236 EQ* , 242, 285 equ ality test, 236 E reignis, 299 Ereignisraum, 299 erfiillbar , 19 Erfiillbarkeitsproblem, 19 Erfiillbarkeitsproblem der k-t en Stufe, 146 erfiillende Belegung mit maximalem Gewicht, 120 error-correcting cod es, 173 error probability, 33 erwartete Optimierungszeit , 125 Erwartungswert, 302 erweiterte churchsche These, 22 erzwingende Komponente, 86 essenzielle Abhangigkeit, 267 evaluation problem, 14 event , 299 Existenz eines Weges , 208 EXOR-Nichtdeterminismus, 246 expect ed value, 302 explicit ly defined, 266 explizit definiert, 266 exponent iell, 298 exponentiell klein , 299 FACT, 20, 137, 166 factoring, 20 failure probability, 33 Faktorisierung, 20 fehl erkorrigierende Codes, 173 Fehlerwahrscheinlichkeit, 33 Fingerabdruck, 253 fingerprinting technique, 253 Flussproblem, 18 fooling set, 239 Formel,220 Formelgrofle, 269 formula, 220 FPTAS , 108 full y polynomial-time approximation scheme, 108

317

Funktionsauswerter, 175 ga p technique, 113 gate, 213 gate elimination, 267 Gatter, 213 GC , 88, 96, 151 geometrisches Rechteck , 236 geometrische Verteilung, 310 gerichteter hamiltonscher Kreis, 16 GI , 87, 136, 156, 164 Gleichheitstest , 236 Go , 201 gradbeschrankte minimale Spannbaume, 84 graph colorability, 88 Grapheni somorphieproblem , 87 gr aph isomorphism, 87 GroBe eines Br anchingprogramms, 222 Crofenordnung , 295 GT,236 gu ess and verify, 75 hamiltonscher Pfad , 83 HC, 16, 53, 165 , 166 Heiratsproblem, 18 HP,84 indep endent, 301 indep endent random variables, 302 indep endent set, 18 indexed BDD , 284 indirect storage acc ess , 271 indirekte Adressierung, 271 inductive counting, 205 induktives Zahlen, 205 initial state, 24 inner product, 239 input tape, 196 interactive proof sys tem , 155 inte rakt ives Beweissystem , 155 INV,288 Inversenbildung, 288 IP(k) , 155 IP, Funktion, 239, 280, 288 IP, Komplexitatskl ass e, 155 Irrtumswahrscheinlichkeit, 33 IS , 18, 57 , 74, 87, 118 ISA , 271, 283 isomorph, 87 Kanteniiberdeckungsproblem, 17 knapsack problem , 17

318

Sachverzeichnis

Knotenfarbung , 88 Knotenfarbungsproblem , 88 Knoteniiberdeckungsproblem, 17 Kofaktor, 267 kombinatorisches Rechteck , 236 Kommunikationskomplexitat , 232 Kommunikationsmatrix, 236 Kommunikationsprotokoll, 232 Kommunikationsrunden , 233 Kommunikationsspiel , 231 Komplement, 33 komplexitatstheor etisch ahnlich , 47 Kompositionslemma , 181 Konfi gu ration, 77 konjunktive Form, 275 Konsisten zt est, 175 kontextsensitive Gr ammatik, 197 KP, 17, 74, 86, 100 KP *, 17,84 kubisch , 298 Lange des Protokolls, 232 Lan ge eines Br anchingprogramms, 222 language, 15 Las-Vegas-Algorithmus, 32 Lastverteilungsproblem , 17 law of total prob ability, 301 layer depth, 284 LBA-Problem , 204 Leerzeichen, 24 LEX-GC,1 51 linea r , 298 lin eare Optimierung, 136 Lin earitatstest , 175 linear programming , 136 local repl acement, 55 LOG-SPACE , 206 log-sp ace complet e, 207 log-sp ace reducible, 206 logarithmic cost model , 22 logarithmisch , 298 logarithmisches KostenmaB, 22 logarithmisch reduzierbar , 206 logikori entierte Ch arakterisierung, 76 lokal e Ersetz ung, 55 LO NG(L) ,201 LP,136 Liickent echnik, 113, 182 MADD ,288 MAJ , 278, 288 Majoritatsentscheidung, 37 Majoritatsfunktion, 278

majority function, 278 man y-on e red ucible, 65 markoffsche Ungleichung , 307 Maskentechnik, 242 MAX -k-SAT , 20, 96 , 186 MAX-2-SAT , 96 , 186 MAX-3-DM, 186 MAX-3-SAT, 109, 117, 182, 186, 187 MAX -CLIQUE , 109, 117, 186 MAX-IS, 111, 117 MA X-KP,11 2 MAX -NPO , 119 MAX -SAT , 20, 52, 186 MAX-W-SAT,120 maximale Approximationsgilte, 106 maximale durchschnittliche Rechenzeit , 31 maximale Rechenzeit , 25 Maximierungsproblem, 105 maxim ization problem , 105 m aximum weighted sat isfiability, 120 MC ,1 40 mean valu e, 302 Meisterschaftsproblem , 18 Menge der Hal t ezustande, 24 Men geniib erd eckungsproblem , 91 middle bit of mu ltiplication, 242 MIN-BP, 110, 115, 186 MI N-G C , 115, 118, 151, 186 MIN-N P O , 119 MIN-SC , 109, 186 MI N-TSP, 186 MIN_Tspsym,Ll 186 MI N-TSpd-Euklid 111 MIN-TSP L\ 111 ' MI N-VC , 109, 111, 118, 186 minimal circuits, 140 minimale Schaltkreise, 140 Minimax-Prinzip , 126, 257 Minimax-Theorem , 127,257 Minimierungsproblem , 105 minimization problem , 105 m ittleres Bit der Mu ltiplikation, 242 MOD m ,278 monochromatisch , 236 monotone boolesche Funktion, 268 monotone Projektion, 287 monotoner Schaltkreis , 268 Monte-Carlo-Algorithmus, 33 MUL , 242, 261, 285, 288 Nadel im Heuh aufen , 129 NC\ 287

Sachverzeichnis

NC1-reduzierbar, 287 NC k, 288 needle in the haystack , 129 network flow, 18 NF, 18, 53 , 58 , 74 nichtdeterministischer Algorithmus, 44 nichtdeterministischer Schaltkreis, 226 nichtdeterministische Turingmaschine, 44 nichtuniforme Turingmaschine, 218 Nick' s Class, 287 nondeterministic algorithm, 44 nondeterministic polynomial time , 44 NP,44 NP-aquivalent, 73 NP-complete in the strong sense, 100 Nl--vollstandig, 73, 79 NP j poly, 226 NP C, 136 NPI,136 NPO,119 Nf'Ovvollstandig, 120 NPSPACE ,196 NT A PE (s(n )), 196 number-SAT,209 number problem , 99 OBDD,284 oblivious, 78 offentliche Zufallsbits, 254 one-sided err or, 33 one-way function, 165 Optimierungsproblem , 14 optimization problem , 14 OR-Nichtdeterminismus, 246 oracle , 49 Orakel, 49 , 138 ordered BDD , 284 P , 30 P j poly, 226 paarweise unabhangig, 302 padding t echnique, 201 pairwise independent , 302 PAR, 275 , 280 , 288 parallel computation hypothesis, 206 , 216 Paritatsfunktion, 275 parity, 275 PARTITION, 17, 57 , 86 , 87 , 95 Partitionsproblern , 17 PCP, 169 PCP(r(n) , q(n)) , 170

319

PCP-Theorem, 172 perfect zero-knowledge proof, 164 perfektes Matching, 209 perfekte Zero-Knowledge Eigenschaft , 164 permanent, 210 P ermanente, 210 Pfadfunktion, 131 PH ,141 platzkonstruierbar, 202 polylogarithmisch, 298 polynomial-t ime approximat ion scheme, 108 polynomial-time reducible, 65 polynomially self-reducible, 228 polynomiell, 298 polynomielle Hier archie, 135 , 141 polynomielles Approximationsschema, 108 polynomiell klein, 299 polynomiell reduzierbar, 65 polynomiell selbstreduzierbar, 228 PP,38 primality t esting, 20 PRIMES , 20, 75, 99, 136 , 166 Primzahltest, 20 private coins, 254 private Zufallsbits, 254 probabilistically checkable proofs, 169 probabilistic method, 255 probabilistische Methode, 255 , 276 probability amplification, 36 probability distribution, 299 probability space, 302 Problem des Handlungsreisenden, 15 Probleme auf groBen Zahlen , 99 Problem mit klein en Losungswerten, 114 Projektion , 287 protocol tree, 232 Protokollbaum, 232 prover , 154 pseudo-polynomial, 101 ps eudoboolesche Funktion , 96 pseudoboolesches Polynom, 96 ps eudopolynomiell , 101 PSPACE, 155, 196 PSPACE-complet e , 199 PSPACE-vollstandig, 199 P TAS,108 P TAS-Reduktion, 116 P'I'Afl-vollstandig, 120 public coins, 254

320

Sachverzeichnis

quadratisch, 298 Quadrieren, 288 quantified boolean formula, 199 quantifizierte boolesche Formel, 199 quasilinear, 298 quasipolynomiell, 298 random access machine, 21 randomisierter Algorithmus, 31 randomisierter Beweisverifizierer, 170 randomisierter Protokollbaum, 245 randomisierte Suchheuristik, 123 , 124 randomisierte Turingmaschine, 31 randomisiert verifizierbare Beweise, 169 randomized algorithm, 31 random polynomial time with one-sided error, 37 random variable, 302 Rangmethode, 240 rank lower bound method, 240 rate und verifiziere, 75 read-once projection, 287 Rechteck, 236 Rechteckreduktion, 241 rectangle, 236 rectangular reduction, 241 Registermaschine, 21 restriction, 57 Restriktion, 57 RP,37 RP*, 37 Rucksackproblem, 17 Rundreiseproblem , 15 SAT , 19, 55, 61, 74, 78 , 79 , 228 SAT3IR ' 146 , 199 SATcIR , 19, 140 , 146 SATcF ,19 SATDF ,19 satisfiability problem, 19 satisfiable, 19 Satz von der totalen Wahrscheinlichkeit , 301 SC ,91 Schach,201 Schaltkreis, 213 Schaltkreisgrofie, 213, 267, 274 Schaltkreistiefe, 214, 269 scheduling problem , 17 Schichtentiefe, 284 schwarzer Kasten, 124 Schwellwertfunktion, 267 search problem , 14

Selbstverbesserung, 185 self-improvability, 185 sequencing with intervals, 87 set cover, 91 SI ,88 Skalarprodukt, 239 solution, 105 space constructible, 202 Sprache, 15 SQU, 288 squaring, 288 SSS , 85 , 95 , 101 stark NP-schwierig, 115 stark NP-volisUindig, 100 state space, 24 stereotyp, 78 stopping state, 24 Stundenplanproblem, 17 Subfunktion , 267 subgraph isomorphism, 88 subset sum problem, 85 Suchbaum, 129 Suchproblem , 14 SWI, 87 , 102 switching lemma, 276

TCO,d, 280 Teilgraphenisomorphieproblem, 88 Teilsummenproblem, 85 Theorem von Cook, 79 Theorem von Immerman und Szelepcsenyi, 204 Theorem von Savitch, 202 threshold circuit , 279 Thresholdfunktion, 267 Thresholdschaltkreis, 279 Tiefensuche, 208 Transformation mit verbundenen Komponenten , 61 traveling salesman problem , 15 traveling salesperson problem, 15 tschebyscheffsche Ungleichung, 308 TSP, 15, 52, 74, 95, 100, 113 TSp N , 16,53 TSpd-Euklid , 16 TSp 2 ,6 ,sym, 53 TSpsym 16 53 TSP 6 , 16,53 turingaquivalent, 49 Turing machine, 23 Turingmaschine, 23 turingreduziert , 49 two-person zero-sum game, 127

Sachverzeichnis

two-sided error, 33 Uberwachungsproblem, 17 unabhangige Menge, 18 Unab ha ngigkeit von Ereignissen, 301 Unabhangigkeit von Zufallsvariablen , 302 unbounded-error probabilistic polynomial time, 38 uniform, 215 uniform cost model, 22 unimodale Funktion, 124 value, 105 Variablenordnung, 284 variance, 305 Varianz, 305 vo , 17, 57 , 74 , 96 verifier, 154 Verifiziererin, 154 Verlangerungstechnik, 201 Versagenswahrscheinlichkeit, 33 verteilungsbezogene Kommunikationskomplexitat , 256 vertex cove r , 17 Verwirrmenge, 239 Verzweigungsprogramm, 222 vollstandig unabhangig, 301 , 302

321

Wachstumsgeschwindigkeit, 295 Wahrscheinlichkeitsraum , 302 Wahrscheinlichkeitsverteilung, 299 WeSL ,201 Wert, 105 Wert des Spi els, 128 Wertproblem , 14 working tape, 196 worst-case approximation ratio, 106 worst-case expected runtime, 31 worst-case runtime, 25 Wortproblem, 15 Wortproblem fur kontextsensitive Grammatiken,201 zentrales Moment, 305 zero- error probabilistic polynomial time, 36 zero-knowledge proof, 164 ZPP, 36 ZPP* , 36 Zufallsvariable, 302 zulassige Losung, 105 Zustandsmenge, 24 Zweipersonen-Nullsummen-Spiel, 127 , 257 zweis eitiger Feh ler , 33