Lernende Systeme I

Lernende Systeme Teil I Symbolische Methoden

Michael M. Richter und Oliver Wendel Kaiserslautern

Seite 2

Lernende Systeme

Inhalt

0.

Vorwort........................................................ 5

1.

Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.

Historische Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2.1. Die subsymbolische Phase (1950-1965) .......................... 11 2.2. Die symbolische Phase (1962-1975) .............................. 12 2.3. Wissensintensive Lernsysteme (1976-1988) ..................... 13 2.4. Integrierte Systeme (1988 -...?).................................... 14

3.

Begriffsbestimmungen und erste Einteilungen . . . . . . . . . . . . 1 5 3.1. Der Begriff Lernen in der Psychologie ............................ 15 3.2. Der Begriff Lernen in der Kybernetik ............................. 16 3.3. Der Begriff Maschinelles Lernen in der KI ....................... 17 3.4. Klassifikation lernender Systeme .................................. 20 3.4.1. Das Szenario .............................................. 20 3.4.2. Die Rollen des Lehrers................................... 22 3.4.3. Lernen ohne Lehrer....................................... 24 3.4.4. Lerngegenstand und Lernvorgang...................... 25 3.4.5. Die Umwelt................................................ 28

4.

Ein formales Lernmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 4.1. Der informelle Zugang............................................... 30 4.2. Der formale Ansatz................................................... 33

5.

Die Wissensbasis R..........................................3 8 5.1. Die Form der Wissensbasis......................................... 39 5.1.1. Merkmalsvektoren........................................ 39 5.1.2. Parameter in algebraischen Ausdrücken ............... 40 5.1.3. Weitere Repräsentationsformalismen................... 40 5.2. Inhalt der Wissensbasis ............................................. 42 5.3. Das Lernziel........................................................... 43 5.3.1. Klassifikatoren und Lernen von Klassifikationen . . . . 44 5.3.2. Konzeptlernen............................................. 45 5.3.3. Begriffliches Gruppieren ................................ 47 5.3.4. Qualitatives und quantitatives Entdecken .............. 48 5.3.5. Lernen von Problemlösungen........................... 49 5.3.6. Lernen von Grammatiken................................ 51 5.4. Das Domänenwissen................................................. 51 5.5. Das Metawissen ...................................................... 52 5.6. Die Hypothesen ...................................................... 53 5.7. Wechsel der Repräsentation......................................... 53

Lernende Systeme

Seite 3

6.

Die 6.1. 6.2. 6.3.

Lernfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 6 Korrektheit und Vertrauen .......................................... 56 Lernmächtigkeit, Korrektheit und Vertrauen ..................... 57 Nichtmonotonie und Vergessen.................................... 58

7.

Die Erfahrungen und der Erfahrungsgenerator............ 6 1 7.1. Die Erfahrungen...................................................... 61 7.1.1. Art der Erfahrungen...................................... 61 7.1.2. Qualität der Erfahrungen................................. 62 7.1.3. Abstraktionsgrad der Erfahrungen ..................... 63 7.1.4. Repräsentationsformalismus ............................ 64 7.2. Der Erfahrungsgenerator............................................ 64 7.2.1. Inkrementalität ............................................ 64 7.2.2. Externer Lehrer und Orakel ............................. 66

8.

Die Evaluationsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 8 8.1. Kontrollstrategie ..................................................... 68 8.2. Erfolgskriterium...................................................... 68 8.2.1. Korrektheit ................................................ 69 8.2.2. Effizienz ................................................... 69 8.2.3. Abstraktionsebene........................................ 70 8.3. Lehrer und Orakel.................................................... 70

9.

Die Umwelt und das Performanzelement . . . . . . . . . . . . . . . . . . 7 1 9.1. Der Lehrer ............................................................ 71 9.2. Das Performanzelement ............................................. 72

1 0 . Synthetische Lernverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 4 10.1. Lernen eines Konzeptes............................................ 75 10.1.1. Antiunifikation............................................ 77 10.1.2. Die Versionsraummethode .............................. 81 10.2. Lernen von mehreren Konzepten ................................. 87 10.2.1. Die Star-Methode und der AQ-Algorithmus........... 88 10.2.2. TDIDT-Algorithmen ..................................... 90 10.2.3. Der CN2-Algorithmus ................................... 97 1 1 . Analytische Lernverfahren................................. 1 0 2 11.1. Erklärungsbasiertes Lernen....................................... 103 1 2 . Analoge Lernverfahren.....................................1 0 9 12.1. Allgemeines......................................................... 109 12.2. Ähnlichkeit.......................................................... 111 12.2.1. Grundlegende Begriffe ................................. 111 12.2.2. Einige Ähnlichkeitsmaße ............................... 117 12.2.2. Taxonomien.............................................. 122 12.3. Analogieschlüsse und analoges Lernen ......................... 124 12.3.1. Transformational Analogy.............................. 124 12.3.2. Derivational Analogy.................................... 126 12.4. Fallbasiertes Schließen ............................................ 128 12.4.1. Allgemeines .............................................. 128 12.4.2. Fallbasiertes Schließen und Klassifikation ........... 130 12.4.3. Der euklidische Fall ..................................... 131 12.4.4. Das PATDEX - System................................. 136 12.4.4.1. Allgemeine Beschreibung ................. 136

Seite 4

Lernende Systeme

12.4.4.2. Grundbegriffe der Diagnostik.............137 12.4.4.3. Erfahrungswissen ..........................138 12.4.4.4. Ähnlichkeit ..................................140 12.4.4.5. Die Vorgehensweise........................142 12.4.5. PATDEX/2 ...............................................145 12.4.6. Ein erster Vergleich von fallbasiertem und induktivem7Schließen ..................................148 1 3 . Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 0

Lernende Systeme

0.

Seite 5

Vorwort

Diese Ausarbeitung ist der erste Teil eines Manuskriptes zur Vorlesung "Lernende Systeme" im Wintersemester 1990/91, er wurde mehrfach aktualisiert. Er befaßt sich mit dem Maschinellen Lernen, wie es als Zweig der Künstlichen Intelligenz entwickelt wurde. Der zweite, unabhängige Teil trägt den Titel "Konnektionismus" und behandelt die Thematik der neuronalen Netze, deren Schwerpunkt ebenfalls im Bereich des Lernens liegt. Naturgemäß haben beide Teile einen recht vorläufigen Charakter. In vieler Hinsicht besteht der Unterschied zwischen der "symbolischen" Sicht des traditionellen Maschinellen Lernens und der "subsymbolischen" Sicht des Konnektionismus darin, daß dieselben Grundideen auf verschiedene Weise realisiert oder implementiert werden. Es bleibt ferner festzuhalten, daß in beiden Fällen oft auch Begriffe und Algorithmen entstanden, die auch in anderen Teilen der Informatik und Mathematik, zum Teil in anderer Terminologie, eine Rolle spielen. Diese Ausarbeitung beruht ganz wesentlich auf der Arbeit [Wendel 90] von Oliver Wendel. Dort wurde zum einen der formale Ansatz entwickelt, nach dem die Lernverfahren diskutiert und eingeordnet werden. Größere Teile sind auch wörtlich aus dieser Arbeit übernommen worden, ohne daß dies jeweils kenntlich gemacht wurde. Ein Ziel dieses Manuskriptes ist es, die Vielfalt und Breite des Gebietes deutlich zu machen; oft wird ihr die Behandlung mit wenigen Schlagwörtern nicht gerecht. Es wird auch auf viele Entwicklungen hingewiesen, die selbst nicht oder nicht ausführlich behandelt werden. Dabei stand ihre systematische Einordnung im Vordergrund. Wer sich zuerst an Beispielalgorithmen orientieren möchte, kann frühzeitig in die Kapitel 10, 11 und 12 hereinschauen. Die wichtigsten sonstigen Literaturquellen, aus denen auch Beispiele entnommen wurden, sind [Michalski, Carbonell, Mitchell 86] und [Cohen, Feigenbaum 82].

Seite 6

1.

Lernende Systeme

Einführung

Der umgangssprachliche Begriff des Lernens ist wie die meisten solcher Konzepte sehr allgemein und umfaßt eine große Vielfalt von Ausprägungen, die je nach Lage und Intention ganz verschieden ausfallen können. Traditionell hat sich mit dem Lernbegriff die Pädagogik und die Psychologie beschäftigt, bis in den letzten Jahrzehnten auch die Kognitionstheorie Beiträge lieferte. Bei allen Variationen des Lernbegriffes gab es jedoch stets eine konstante Größe, ohne die Lernen nicht denkbar war: Es muß wenigstens ein Schüler vorhanden sein. Dieser und dazu das "Etwas", welches gelernt wird, scheinen aber wohl das einzige wiederkehrende Element zu sein. Der Schüler ist herkömmlich ein Mensch. Das Aufkommen intelligenter Systeme führte zu dem Gedanken, daß auch künstliche Gebilde lernen können, was wiederum der Ausgangspunkt des Maschinellen Lernens ist. Wenn wir unter einem "System" ganz allgemein etwas verstehen wollen, in dem in einer bestimmten wohldefinierten Sprache gewisse Einträge stehen, die sowohl extern manipuliert werden können (durch Löschen und Modifizieren alter Einträge, durch Hinzufügen neuer Einträge) als auch auf dieselbe Weise intern mit Mitteln des Systems verändert werden können (dies nennt man im allgemeinen einen Inferenzprozeß), so kann man sich also fragen, ob und wann ein solches System die Fähigkeit zum Lernen besitzt. Eine nicht ganz befriedigende Antwort wäre, daß eine jede der soeben erwähnten Manipulationen einen Lernprozeß beinhalten. Hier würde man sich etwa auf den Standpunkt stellen, daß ein Eintrag einer Null an einer bestimmten Stelle bedeutet, daß das System eben diese Null "gelernt" hat. Man ist deshalb unzufrieden mit einer solchen Auslegung des Lernbegriffes, weil man sich hierunter doch eine höhere intellektuelle Tätigkeit vorstellt und nicht ein einfaches Memorieren von Daten. Nun ist auch wiederum nicht ganz klar, was eine "höhere intellektuelle Fähigkeit" ist, aber jedenfalls verlangt man, daß sie auch im logischen Sinne von "höherer Stufe" ist. Es muß sich also wenigstens einmal um Sachverhalte handeln, die über andere Daten oder Sachverhalte oder Methoden oder Sachverhalte von Sachverhalten usw. reden. Ganz unberührt hiervon bleibt, daß solche höheren Sachverhalte auch selber wieder als Daten repräsentiert werden können oder müssen. Werden solche Sachverhalte dem System von außen eingegeben, so könnte man sagen, daß es diese "gelehrt" wurde, hat es dieselben selbst inferiert, so könnte man von einem Erkenntnisprozeß sprechen. Aus unserer menschlichen Erfahrung wissen wir, daß Lernen zum geringsten Teil aus bloßem Memorieren besteht, ja daß das Lernen sogar um so ineffektiver wird, je mehr letzteres überhand nimmt. Der größere Teil des Lernprozesses besteht vielmehr in dem Erlernen von adäquaten Wissensstrukturen, welches in der Regel zu Anfang nur durch kleinere Beispiele aufgefüllt wird. Die pädagogische Erfahrung lehrt dabei, daß der Term "adäquat" verschieden interpretiert werden kann und nicht nur von den gerade behandelten Details des Wissens abhängt. Maßgebend ist vielmehr die Gesamtfähigkeit, die das System am Ende des Lernprozesses haben soll; diese wird im allgemeinen in einem sogenannten Lerngegenstand und Lernziel zusammengefaßt. Verschiedene Lernziele begegnen uns im Studium häufig, ein Mediziner etwa lernt Physik anders als ein Mathematiker. Charakteristisch ist hierbei, daß umfassendere Lernziele mehr Strukturierung und vor allem höhere Abstraktionsstu-

Lernende Systeme

Seite 7

fen verlangen als weniger anspruchsvolle Lernziele. Dies ist eine klare Folge dessen, daß ein hochgestecktes Lernziel die Anwendung des erworbenen Wissens in vielen und eventuell schwierig zu behandelnden Situationen verlangt. Kommen hingegen nur ein oder zwei Beispiele in Frage, so lernt man einfacher diese beiden Beispiele auswendig als daß man versucht, das dahinterstehende Prinzip zu begreifen. Ein System externen Belehrungen zugänglich zu machen würde also bedeuten, es zunächst mit denjenigen Strukturen zu versehen, die nachher die intendierte Benutzung und Verwendung des einzugebenden Wissens in optimaler Weise ermöglichen. Diese Sicht vereinfacht aber die Lage auf eine etwas zu simple Weise. Es ist nämlich im Allgemeinen so, daß Lernziele häufig nicht von Anfang an feststehen, sondern schrittweise erweitert werden. Das hat dann zur Folge, daß einzelne Beispiele später durch Prinzipien erklärt werden und diese wieder gegebenenfalls durch höhere Prinzipien usw. Möglicherweise müssen dabei sogar Erklärungen revidiert werden. Wir wollen hier den Fall, daß Grundprinzipien in fundamentaler Weise erschüttert werden, außer Acht lassen. Vom Standpunkt des Knowledge Engineering bedeutet dies die Errichtung eines Systems von flexiblen Strukturen auf verschiedenen Abstraktionsgraden, welche sich sowohl horizontal (d.h. auf derselben Ebene) als auch vertikal (d.h. durch Einführung von höheren oder auch Zwischenschichten) erweitern lassen. Das Eingeben der einzelnen Daten selber, d.h. also das reine Memorieren, wird dann eine Tätigkeit von untergeordneter Bedeutung. Mit der Ausnahme einiger weniger experimenteller Programme, die im Rahmen von Forschungsarbeiten auf dem Gebiet des Maschinellen Lernens entwickelt wurden, verfügen bisherige KI-Systeme über sehr beschränkte bzw. gar keine Lernfähigkeiten, was bedeutet, daß das gesamte nötige Wissen in die Systeme eben doch "hineinprogrammiert" werden muß. Wurden dabei Fehler gemacht, können diese Systeme die Fehler bei Erkennung etwaiger Inkonsistenzen nicht selbständig korrigieren. Sie sind auch nicht in der Lage, ihr Verhalten über einen gewissen Zeitraum hinweg durch gemachte Erfahrungen zu verbessern oder neues Wissen über das Anwendungsgebiet selbständig zu erwerben. Sie können auch nur sehr eingeschränkt die verwendeten Algorithmen automatisch an sich ändernde Bedingungen adaptieren, neue Abstraktionen formulieren oder neue Problemlösungen durch Analogieschlüsse oder durch zielgerichtetes Experimentieren und Explorieren entdecken. Wegen der engen Verbindung von Lernfähigkeit und intelligentem Verhalten und wegen der Vorstellung, daß die Künstliche Intelligenz Einblicke in menschliches intelligentes Verhalten gewährt und Methoden und Techniken liefert, dieses Verhalten nachzubilden, postulieren viele Wissenschaftler das Verstehen von Lernvorgängen und die Konstruktion lernfähiger Computersysteme als neues, zentrales Ziel der Künstlichen - Intelligenz - Forschung. Die auftretende Frage nach der Realisierbarkeit eines solchen Vorhabens muß beantwortet werden und dies wirft sofort das Problem auf, allgemeine Kriterien zu formulieren, die bestimmen, wann ein Computersystem oder eine Maschine denn nun eigentlich als intelligent oder als lernfähig bezeichnet werden darf und wann ein solches Prädikat nicht gerechtfertigt ist. Allen verschiedenartigen Vorstellungen in dieser Richtung ist gemeinsam, daß Lernen den Zustand eines Systems verändert — sei dieses System nun eine Maschine oder ein Mensch — und zwar so ändert, daß das System nach dem Lernen "besser" geworden ist.

Seite 8

Lernende Systeme

Neben diesen grundsätzlichen Fragestellungen gibt es auch praktische Motive für die Entwicklung von Lernmethoden. Die Entwicklung von Methoden und Techniken, die es Computersystemen ermöglichen sollen, selbständig neues Wissen und neue Fertigkeiten zu erwerben ist von großem kommerziellen Interesse. Die Akquisition und kohärente Einbettung des Expertenwissens in die Wissensbasen von Expertensystemen stellt heutzutage immer noch einen Flaschenhals dar, den zu überwinden mit der Hilfe lernfähiger Systeme versucht wird. An anderen Stellen ist explizit formuliertes Wissen nicht vorhanden; an manchen Stellen ist nicht klar, ob sich das Wissen überhaupt in einfacher Form explizit formulieren läßt. Eine typische Wissensform dieser Art ist "Wissen", das Menschen oder Tiere im Laufe der Evolutionsentwicklung erworben haben. Hier können Lernverfahren unter Umständen das einzige Mittel zur Wissensakquisition sein. Ein Beispiel dafür ist etwa, wenn man einem Roboter das Gehen oder Sprechen beibringen will. Wir kennen längst nicht alle Prinzipien, die hinter diesen Fähigkeiten stecken, aber wir könnten sehr wohl Trainingspartner in einem Lernprozeß sein. Auf dem Gebiet des Maschinellen Lernens (Machine Learning, abgekürzt: ML) hat es in den letzten Jahren einige Ansätze zur vereinheitlichenden Sichtweise von verschiedenen ML-Systemen und Verfahren gegeben, die den meist ad-hoc entstandenen implementierten Systemen eine einheitliche und genügend abstrakte Terminologie liefern sollten, um sie deskriptiven, analytischen und auch vergleichenden Betrachtungen zugänglich zu machen. Viele dieser sogenannten Frameworks oder Unifying Views schränkten sich aber letztendlich doch nur auf eine bestimmte Familie von Lernsystemen oder -methoden ein, für die sie dann einen einheitlichen Betrachtungsrahmen darstellten, so daß der mit den beiden Begriffen intendierte Anspruch stark relativiert werden mußte. Aufgrund ständigen Wachstums und zunehmender Diversifizierung ergibt sich die Notwendigkeit eines allgemeinen und klaren Beschreibungsrahmens. Die Beschreibungen können auf drei Ebenen erfolgen; 1)

Die kognitive oder informelle Ebene: Hier wird der Sachverhalt in Termini der Umgangssprache beschrieben. Auf dieser Ebene kann man z.B. schon sagen, ob mit oder ohne Lehrer gelernt wird. Man sollte aber nicht in das Extrem verfallen, auf dieser Ebene unnötige Definitionen zu geben (z.B. was Wissen ist).

2)

Die formale Ebene: Hier haben die Definitionen in einer formal-logischen Weise zu erfolgen. Das bedeutet insbesondere, daß ein abgeschlossener Begriffskomplex vorliegt, der nicht je nach Problemlage durch ständig neue Begriffe und Methoden erweitert werden darf.

3)

Die Ebene der Implementierung und Datenstrukturen. Hier müssen die Begriffe und Vorstellungen der formalen Ebene in operative, auf heutigen Rechnern ausführbare Methoden umgesetzt werden.

Lernende Systeme

Seite 9

Kognitive Ebene

Repr sentationsebene

Implementationsebene

Jede Ebene kann als Realisierung der nächst höheren Ebene angesehen werden und für jede Ebene kann es mehrere Realisierungen auf den tieferen Ebenen geben. Im Bereich des ML ist noch viel Arbeit auf der obersten Ebene zu leisten. Dazu gehört erst einmal, die für die Beurteilung und den Vergleich von ML-Systemen relevanten Eigenschaften solcher Systeme explizit zu machen. Der Ansatz soll dann eine Menge von Klassifikationsdimensionen liefern, mit denen Lernsysteme beschrieben und klassifiziert werden können. Bereiche in dem durch diese Dimensionen aufgespannten Beschreibungsraum spiegeln konkrete Eigenschaften oder Komponenten von ML-Systemen wider. Allgemein kann man drei Ansätze zur Untersuchung von ML-Systemen unterscheiden: empirische, analytische und deskriptive Untersuchungen. Sie lassen sich teils auf der kognitiven und teils auf der formalen Ebene ansiedeln; es bestehen auch fließende Übergänge zwischen ihnen. 1) Empirische Untersuchungen. Mit Hilfe empirischer Untersuchungen wird allgemein zunächst eine möglichst detaillierte Beschreibung der Objekte und Zusammenhänge des betreffenden Untersuchungsbereichs angestrebt. Bei der Untersuchung von ML-Systemen werden daher spezifische Aufgaben und Anforderungen an ein spezifisches Lernsystem definiert und das Verhalten und die Performanz dieses spezifischen Systems bei der Erfüllung der vorgegebenen spezifischen Aufgabe beobachtet. Gelegentlich werden auch verschiedene Systeme anhand der empirisch ermittelten Daten verglichen. Dies ist bei weitem die häufigste Art der Untersuchung die in der Literatur zu finden ist und viele Aufgaben und Anwendungsbereiche, anhand derer implementierte Systeme untersucht wurden, sind in der Vergangenheit identifiziert worden. Empirische Erkenntnisse ergeben sich also als Resultat von Beobachtung und experimenteller Untersuchung von ML-Systemen. Die so gewonnenen Ergebnisse konstatieren aber lediglich systemspezifische Sachverhalte und lassen nur in seltenen Fällen direkte Vergleiche zwischen verschiedenen Systemen und Methoden zu. Es wird häufig nicht klar, was in den einzelnen Systemen für welchen positiven oder negativen Effekt verantwortlich war, auch findet man Beschreibungselemente aus allen drei Ebenen in bunter Reihe durcheinander. 2)Analytische Untersuchungen. Analytische Untersuchungen lassen sich nochmals in formale und informale Ansätze aufteilen. Formale analytische Untersuchungen definieren zunächst die Lernaufgabe bzw. das Lernziel des zu untersuchenden Systems und analysieren dann, ob ein Algorithmus existiert, der der Aufgabe gerecht wird oder sie analysieren einen bekannten Lernalgorithmus hinsichtlich seiner Berechnungskomplexi-

Seite 10

Lernende Systeme

tät, seiner Korrektheitsvoraussetzungen oder seiner Korrektheit. In einigen Fällen lassen sich schon strenge mathematische Beweise führen. Informale analytische Methoden versuchen allgemeine Erklärungen beobachteter Phänomene zu geben und allgemeine Prinzipien und Techniken aus den empirischen Resultaten zu extrahieren. Diese Vorgehensweise erwies sich teilweise als recht erfolglos. Die vorgeschlagenen, angeblich Gültigkeit besitzenden Prinzipien wie "Modellgetriebene Lernsysteme sind gegen Rauschen unempfindlicher als datengetriebene Lernsysteme" oder "Die Schwierigkeit einer Lernaufgabe wächst mit der Zahl möglicher Hypothesen" sind ungenau formuliert, oft Allgemeinplätze oder sogar unter gewissen Umständen nachweisbar falsch. Die Vorteile des informalen analytischen Ansatzes liegen in der Identifizierung von pragmatischen Aspekten des Untersuchungsgegenstands "Lernsystem", wie etwa Effizienz des Verfahrens und Relevanz der Domänen-Theorie, sowie der genaueren Beschreibung von aus empirischen Untersuchungen gewonnenen Erkenntnissen. Ein wesentlicher daraus resultierender Vorteil ist die Möglichkeit des Systemvergleichs. Informale analytische Untersuchungen finden sich in [Bundy, Silver, Plummer 85], [Lenat, Brown 84] und [Dietterich, Michalski 81]. 3)Deskriptive Untersuchungen. Deskriptive Untersuchungen erzeugen einen allgemeinen Rahmen — der wiederum formal oder informal sein kann — zur Beschreibung von ML-Systemen. Ein solcher Ansatz strebt eine einheitliche und klare Standardterminologie auf hinreichend abstrakter Ebene statt implementierungsabhängiger Beschreibungen an. Die einheitliche Beschreibungssprache erlaubt auch die einheitliche Beschreibung verschiedener Systeme. Wichtige Beziehungen zwischen verschiedenen Systemen, die durch Unterschiede auf der implementierungsnahen Ebene verborgen bleiben, können somit zum Vorschein kommen. Ein Problem ist allerdings die Vielfalt und Diversität existierender ML-Systeme. Viele sogenannte Ansätze beschränken sich daher auf bestimmte Typen und Familien von ML-Systemen (z.B. Konzeptlernsysteme), innerhalb derer sie eine vereinheitlichende Sicht erlauben. Auf andere Systeme lassen sie sich dann oft jedoch nicht "natürlich" anwenden. Einige Ansätze greifen auch lediglich bestimmte Aspekte des Lernens heraus. Deskriptive formale Ansätze werden z.B. in [Haralick 78], [Haralick, Kartus 78] und [Holland 75] vorgestellt. Deskriptive informale Ansätze sind in u.a. [Barto, Sutton 81], [Buchanan, Mitchell, Smith, Johnson 77], [Michalski 83] und [Mitchell 82] zu finden. Die Lernmodelle auf der kognitiven Ebene können auf sehr verschiedene Weisen formalisiert und implementiert werden. Eine Möglichkeit ist durch die neuronalen Netze und konnektionistischen Ansätze gegeben. Sie werden in diesem Teil der Ausarbeitung nicht weiter berücksichtigt, weil sie ausführlich in einem eigenen Teil erörtert werden.

Lernende Systeme

2.

Seite 11

Historische Entwicklung

Maschinelles Lernen als Forschungsgebiet innerhalb der KI und ihren Vorläufern hat eine bereits relativ lange Geschichte. Seit den Ursprüngen in der Kybernetik und dem eigentlichen Beginn Anfang der sechziger Jahre erfuhr es über die Jahre hinweg bis heute eine verschieden starke Forschungsintensität und eine Verschiebung in der Akzentsetzung. Es lassen sich vier Hauptphasen identifizieren: 1)

Die subsymbolische Phase (1950-1965): Neuronale Modellierung und Techniken aus der Entscheidungstheorie

2)

Die symbolische Phase (1962-1975): Symbolisches Konzeptlernen

3)

Wissensintensive Lernsysteme (1976-1988)

4)

Integrierte Lernsysteme (1988-...?)

2 . 1 . Die subsymbolische Phase (1950-1965) Haupterkennungsmerkmal der sehr optimistisch und mit viel Euphorie begonnenen subsymbolischen Phase der ML-Forschung war das Interesse, Lernsysteme für einen allgemeinen Verwendungszweck zu konstruieren, die gar keine oder nur sehr wenig Initialstruktur und problembezogenes Initialwissen besaßen und die durch eine Menge auf sie von außen einwirkender Stimuli, eine Möglichkeit der Rückkopplung und durch genügend Freiheitsgrade zur Selbstmodifikation ihrer Struktur sich selbst in Richtung auf ein Optimum reorganisieren und adaptieren würden. Hauptergebnisse dieser Richtung, deren Wurzeln in der Kybernetik lagen, war die Konstruktion einer Vielzahl von auf neuronalen Modellen basierenden Maschinen mit zufälliger oder teilweise zufälliger Initialstruktur. Systeme dieser Art, deren Lernaktivität darin bestand, ihre Struktur sukzessive zu verändern, wurden als neuronale Netze oder selbstorganisierende Systeme bezeichnet. Strukturveränderungen konstituierten sich dabei aus inkrementellen Änderungen der Wahrscheinlichkeiten, daß die Neuronalen Einheiten — typischerweise Schwellwertelemente — ein Signal weiterleiten oder nicht. Wegen der recht primitiven Computertechnologie zu jener Zeit waren die meisten Arbeiten entweder theoretischer Natur oder beschäftigten sich mit der Konstruktion spezieller experimenteller Hardwaresysteme, wie z.B. dem Perceptron (dem Analogon eines Neurons (vgl. [Rosenblatt 58]), dem Pandemonium (vgl. [Selfridge 59]) und Adelaine (vgl. [Widrow 62]). Die Grundlage für die Arbeiten auf diesem Gebiet legten in den vierziger Jahren Rashevsky im Bereich der mathematischen Biophysik (vgl. [Rashevsky 48]) sowie McCulloch und Pitts, die die Anwendbarkeit der symbolischen Logik zur Modellierung von Aktivitäten des Nervensystems beschrieben (vgl. [McCulloch, Pitts 43]). Weitere Arbeiten in dieser Richtung sind in [Rosenblatt 62], [Yovits, Jacobi, Goldstein 62], [Culberson 63] und [Minsky, Papert 69] zu finden.

Seite 12

Lernende Systeme

Ein den neuronalen Netzen verwandtes Forschungsgebiet, das evolutionäre Lernen, untersuchte die Simulation von Evolutionsprozessen, die durch zufällige Mutation und natürliche Selektion Systeme mit intelligentem Verhalten generieren wollte. Siehe hierzu unter anderem [Friedberg 58], [Friedberg, Dunham, North 59] und für neuere Resultate in dieser Richtung [Holland 80]. Parallel zu Forschungen über neuronale Modellierung und Techniken der Entscheidungstheorie entwickelten Wissenschaftler aus dem Gebiet der Kontrolltheorie adaptive Kontrollsysteme, die automatisch ihre Parameter ändern und sich somit veränderten oder gestörten Umgebungsbedingungen anpassen konnten um insgesamt ein stabiles Verhalten zu zeigen. Diese Techniken griffen wiederum auf die lange Entwicklungsgeschichte der Regelungstechnik zurück. Aus dem Forschungsansatz adaptives Lernen spalteten sich die neuen Disziplinen der Mustererkennung und der Kontrolltheorie ab, die einen entscheidungstheoretischen Ansatz für Maschinelles Lernen begründeten und (bisher) nicht mehr zur KI gezählt werden. Lernen wird hierbei gleichgesetzt mit dem Erwerb linearer, polynomialer oder verwandter Formen von Diskriminierungsfunktionen für eine gegebene Menge von Trainingsinstanzen (vgl. [Nilsson 65], [Koford, Groner 66], [Uhr 66], [Highleyman 67]). Das bekannteste und erfolgreichste Lernsystem, das diese Technik benutzte, ist Samuels Dame-Programm Checkers [Samuel 59], [Samuel 63]). Es sei hier hervorgehoben, daß eine Vielzahl mathematischer Verfahren sich unter einer anderen Terminologie mit diesem Thema beschäftigt. Die Verfahren fallen zumeist in die Bereiche numerische lineare Algebra, Approximationstheorie und Stochastik. Die praktischen Ergebnisse der neuronalen Modellierung und des entscheidungstheoretischen Ansatzes waren relativ bescheiden und die gestellten hohen Erwartungen wurden nicht erfüllt, so daß sich die Aktivitäten auf diesem Gebiet zusehends reduzierten. Minsky und Papert zeigten in einer Studie ([Minsky,Papert 69]), daß die Perceptron-ähnlichen Lernsysteme starken prinzipiellen Beschränkungen hinsichtlich potentiell möglicher Lernerfolge unterworfen sind. Das ließ aber die spätere Erkenntnis unberücksichtigt, daß das Perceptron nur eine sehr eingeschränkte Form neuronaler Netze ist. Nichtsdestoweniger setzte sich die (vernünftige) Meinung durch, daß Methoden ohne Wissen (tabula rasa-Methoden) kein guter Ansatzpunkt zur Konstruktion lernfähiger Systeme sein können; gewisse Initialstrukturen und initiales Wissen müssen vorhanden sein, soll überhaupt etwas gelernt werden können. Weitere Hinweise über die subsymbolische Phase stehen in der Ausarbeitung "Konnektionismus".

2.2. Die symbolische Phase (1962-1975) To acquire knowledge one needs knowledge.

In den frühen sechziger Jahren wurde das Gebiet des Maschinellen Lernens stark von Arbeiten in der Psychologie und der frühen KI-Forschung beeinflußt, die sich mit wissensbasiertem Problemlösen, dem Verstehen natürlicher Sprache und Modellen des menschlichen Lernprozesses beschäftigte (vgl. [Hunt, Hovland 63], [Hunt, Marin, Stone 66], und [Sussman 75]). Der Term "symbolisch" ist eng verwandt mit dem Term "explizit" für Wissensdarstellungen in der KI. Es bedeutet, daß die Interpretation des

Lernende Systeme

Seite 13

dargestellten einzig und allein aufgrund des tatsächlich Hingeschriebenen und einer allgemeinen Sprachregelung erfolgt; sie ist nicht abhängig von impliziten Vereinbarungen. Das schließt insbesondere aus, daß die Bedeutung des Textes durch Verhaltensweisen festgelegt wird. Das Beispiel der Beherrschung des Laufens macht dies klar: Explizit oder symbolisch heißt, daß der Bewegungsapparat vollständig axiomatisiert ist; es genügt nicht, daß man einfach laufen kann. Das neue Paradigma des symbolischen Konzeptlernens verwendete anstelle statistischer oder numerischer Methoden nun logische oder GraphenstrukturRepräsentationen, ging also von der subsymbolischen auf die symbolische Ebene der Repräsentation über. (Für eine detailliertere Diskussion der Unterscheidung zwischen symbolischer und subsymbolischer Repräsentation vgl. das Skript über Konnektionismus). Die Systeme lernten nun symbolische Beschreibungen, die Wissen auf höherem Abstraktionsniveau repräsentierten und machten starke strukturelle Annahmen über die zu erwerbenden Konzepte. Beispiele für Arbeiten innerhalb dieses Paradigmas sind Forschungen über den menschlichen Erwerb von Konzepten und verschiedene angewandte Mustererkennungssysteme. Eine der einflußreichsten Arbeiten innerhalb des Paradigmas symbolischen Lernens war Winston's Arch-System zum Lernen struktureller Beschreibungen (engl arch = Torbogen; man sollte zu erkennen lernen, wann eine Konstellation von Klötzchen einen "Torbogen" darstellte, vgl. [Winston 75]). Die Auffassung, daß Lernen und Wissenserwerb ohne ein gewisses Anfangswissen nur in sehr beschränktem Maße möglich ist, war nun allgemein akzeptiert. Man hatte den zu lernenden Sachverhalt "fast" schon zu kennen. Aufgabenorientierte Systeme zum Wissenserwerb im Kontext konkreter praktischer Probleme wurden konstruiert, wie etwa in [Buchanan, Mitchell 78] das System Metadendral, das Regeln zur Erklärung von Massenspektrometer-Daten generiert, wie sie im Dendral-System (s. [Buchanan, Feigenbaum, Lederberg 71]) verwendet werden. Jedem der implementierten Lernsysteme wurde beträchtliche Aufmerksamkeit zuteil, doch war jedes für sich genommen relativ speziell, zeigte jeweils interessante Aspekte eines Problems auf, lieferte aber keine Basis für eine zusammenhängende, kohärente Theorie des Gebietes Maschinelles Lernen. Im Gegensatz dazu war eine Theorie des Beweisens in der mathematischen Logik längst etabliert und wurde zur selben Zeit bereits in große Computersysteme umgesetzt.

2.3. Wissensintensive Lernsysteme (1976-1988) "Nil posse creari de nilo." (Lucretius: ‘De rerum natura’) "Von nichts kommt nichts." (Volksmund)

Die nächste Periode in der ML-Forschung, die Mitte der siebziger Jahre ihren Anfang hatte und bis etwa in das Jahr 1988 reichte, hat als charakteristische Merkmale die Beschäftigung mit wissensintensivem Lernen und die Untersuchung verschiedener Lernstrategien. Das Interesse gilt nicht mehr primär Systemen, die isoliert einfache Konzepte aus Beispielen lernen können, sondern allgemein einem ganzen Spektrum verschiedener Lernmethoden und Lernstrategien, die meist auf umfangreichem Wissen basieren und die tiefgehend untersucht wurden. Andere Wissenschaftler konstruierten Systeme, die sehr umfangreiches Domänenwissen inkorporierten und so in

Seite 14

Lernende Systeme

der Lage waren, höhere Konzepte zu erlernen. Hier ist vor allem das Programm AM ([Lenat 83]) zu nennen. D. Lenat hat in anderem Zusammenhang (u.a. Projekt CYC) seinen Standpunkt zum Lernen klargemacht. Trägt man den Lernerfolg als Kurve in Abhängigkeit zum bereits vorhandenen Wissen auf, dann steigt diese Kurve sehr langsam an. Eine Konsequenz daraus ist, das System zuerst mit sehr viel Wissen zu versehen, ehe man überhaupt mit dem Lernen anfängt. So hat das gegenwärtig laufende CYC-Projekt (MCC; Austin/Texas) zum Ziel, das System mit etwa 100 Millionen Tatsachen aus dem Bereich des "Common Sense" zu versehen. Die Etablierung des Gebietes Maschinelles Lernen als eigenständige Forschungsrichtung manifestiert sich in der Entstehung der ersten ML-Konferenzen und ML-Workshops (1980: CMU, 1983: Univ. of Illinois, 1985: Rutgers, 1987: UC Irvine, 1988: Ann Arbor, 1989: Ithaca).

2.4. Integrierte Systeme (1988 -...?) Aktuelle Schwerpunkte der Forschungsaktivitäten sind wissensintensive, verschiedene Lernstrategien integrierende Systeme und experimentelle Vergleiche von implementierten Systemen. ML wird nicht mehr als isoliertes Gebiet angesehen, das sich mit kleinen Beispielproblemen aus eingeschränkten Domänen beschäftigt, sondern seine Relevanz für Nachbargebiete innerhalb der KI wie etwa Problemlösen, Theorembeweisen, Planen, Verarbeitung natürlicher Sprache, Robotik und Expertensysteme ist allgemein erkannt und akzeptiert. Frühere Forschungsergebnisse des Maschinellen Lernens, wie beispielsweise die Arbeiten über Perceptrons, waren lange Zeit dem Vergessen anheim gefallen, nachdem gewisse theoretische Beschränkungen (eingeschränkter Formen) dieser Methoden aufgezeigt worden waren und sind erst in jüngerer Zeit im Zusammenhang mit lernfähigen konnektionistischen Netzwerken wieder ins Licht des Interesses gerückt. Ein aktueller Forschungsschwerpunkt ist das Erklärungsbasierte Lernen ("ExplanationBased Learning", EBL).

Lernende Systeme

3.

Seite 15

Begriffsbestimmungen und erste Einteilungen

Es wurde bereits mehrfach bemerkt, daß Lernen ein sehr allgemeiner Begriff zur Bezeichnung von Vorgängen und Prozessen ist, durch die Menschen (und Computersysteme) ihr Wissen vergrößern sowie Fertigkeiten erwerben und verfeinern können. Zu diesem Begriff haben verschiedene Wissenschaftszweige etwas zu sagen. In dieser Ausarbeitung konzentrieren wir uns auf die Fragestellungen und Lösungsansätze, die für die Informatik von Bedeutung sind. Es ist jedoch zweckmäßig, den Begriff "Lernen" wenigstens ganz kurz aus der Sichtweise der Disziplinen Psychologie und Kybernetik zu betrachten. Die bei der Diskussion verwendeten Begriffe entstammen dem Sprachgebrauch der jeweiligen Disziplin und werden hier nicht formal definiert oder vereinheitlicht. Es soll lediglich eine Annäherung an den Begriff von verschiedenen Standorten aus versucht und ein Gefühl für seine Komplexität und die Diversität möglicher Sichtweisen gegeben werden. Vieles davon wird später wieder aufgegriffen und präzisiert.

3.1. Der Begriff Lernen in der Psychologie In der Psychologie ist der Begriff Lernen eine allgemeine und umfassende Bezeichnung für das Erwerben oder Verändern von Reaktionen (Verhaltensänderungen) unter bekannten oder kontrollierten Bedingungen, sofern die Veränderungen relativ überdauernd ausfallen. Lernen kann auch ohne ein bewußtes Wiedererinnern stattfinden, z.B. bei dem Erwerb motorischer Fertigkeiten und wird daher vom Gedächtnis unterschieden. Die Psychologen Hilgard und Bower definieren Lernen als einen "Prozeß, durch den eine Aktivität über ein Reagieren auf eine angetroffene Situation begründet oder verändert wird, vorausgesetzt, daß die Eigenheiten der Veränderung nicht aufgrund angeborener Reaktionstendenzen, Reifung, oder vorübergehende Organismuszustände (z.B. Ermüdung, Drogen usw.) erklärt werden können" (vgl. [Hilgard, Bower 66]). In dieser Begriffsbestimmung erscheint Lernen als eine intervenierende Variable zwischen Ereignissen wie Übung und den daraus resultierenden Verhaltensänderungen. In der psychologischen Forschung wird ein begrifflich faßbares Element oder Merkmal möglicherweise veränderlicher Größe als Variable bezeichnet, sofern es beobachtbar ist oder beobachtbar gemacht werden kann (z.B. durch ein Verfahren oder einen Test) und sofern das Ergebnis der Beobachtung im Sinne einer Messung ausfällt. Als intervenierende Variable werden solche Variable bezeichnet, die sich mit den vom Experimentator hergestellten oder vorgefundenen Bedingungen, von denen ein Geschehen (eine Reaktion) ausgeht, mit ins Spiel setzen, die jedoch hinsichtlich des Umfangs ihres Einflusses (noch) nicht kontrolliert werden konnten. Je nach theoretischer Auffassung schwanken die Definitionen des Lernens in der Psychologie zwischen rein kognitiven und neurophysiologischen Erklärungsversuchen.

Seite 16

Lernende Systeme

Kognitive Lerntheorien gehen von der Auffassung aus, daß nicht Reiz-Reaktionsfolgen, sondern kognitive Strukturen erlernt werden. Kognitive Struktur oder kognitives Schema ist eine Bezeichnung für ein durch Erfahrung und/oder Prägung und/oder Reifung zustandegekommenes Bezugssystem, in dessen Rahmen sich Entitäten und deren Relationen untereinander in bezug auf eine bestimmte Klasse von Handlungen, Erscheinungen oder Operationen darstellen lassen und die somit Ordnungstendenzen repräsentieren. Hierunter fällt z.B. Lernen als eine Umgestaltung des kognitiven Feldes. Lernen wird danach als jede situations- und umgebungsbezogene Verhaltensänderung bezeichnet, die als Folge einer individuellen Informationsverarbeitung oder Problemlösung eintritt. Die Folge ist eine verbesserte Anpassung an die bestehenden Umwelteigenschaften oder deren Änderungen. Mit der Verhaltensänderung ist auch eine Korrektur der Gedächtnisstrukturen verbunden. Lernen kann somit als Ausbildung und Korrektur individuellen Gedächtnisbesitzes definiert werden. Neurophysiologische Lerntheorien beschäftigen sich mit der Funktionsanalyse des Nervensystems bzw. den chemisch-elektrischen Grundlagen des Lernprozesses, z.B. Lernen "als Prozeß des Herausbildens relativ überdauernder neuronaler Leitungsbögen durch simultane Aktivität der den Bogen konstituierenden neuronalen Elemente, so daß mit fortschreitender Veränderung der Zellstrukturen eine schnellere Aktivierung des gesamten Bogens dann erfolgen kann, wenn nur eines der neuronalen Elemente gereizt (aktiviert) wird" (vgl. [Bugelski 56]). Die das Lernen wesentlich beeinflussenden sozialen Komponenten werden lediglich in der Psychologie und Soziologie untersucht und unter dem Begriff Sozialisierung (Sozialisation) zusammengefaßt. Der soziale Kontext in dem Lernen stattfindet und die soziale Interaktion des Lerners mit seiner Umwelt sowie andere pragmatische Aspekte spielen beim Maschinellen Lernen (noch) keine Rolle, obwohl sie unbestritten entscheidend sind für jeglichen Lernprozeß. Der Begriff Lerner wird später formal gefaßt werden. Hier soll er zunächst informal und intuitiv als "Schüler" verstanden werden.

3.2. Der Begriff Lernen in der Kybernetik Kybernetik ist eine von Norbert Wiener (mit)begründete Disziplin, die sich unter Einbeziehung der Informationstheorie mit der Analyse der Struktur von Regelungsvorgängen jedweder Art und deren Nachahmung durch (elektronische) Apparaturen beschäftigt. Dort wird ein lernfähiges System als ein System verstanden, das die Fähigkeit besitzt, sein Verhalten gegenüber der Umwelt dadurch fortgesetzt zu optimieren (z.B. ein bestimmtes Ziel zu erreichen, eine Aufgabe zu lösen u.ä.), daß es früher aufgenommene Informationen bei künftigem Verhalten berücksichtigt. Das kommt oft auch dadurch zum Ausdruck, daß das System die benötigte Information nicht auf einmal, sondern sukzessive erhält, also für ein erfolgreiches Verhalten Lernen muß. Die Kybernetik versucht vor allem, das bei lebenden Systemen in vielfältigen Formen zu beobachtende Lernverhalten durch geeignete Strukturen zu modellieren sowie technisch durch den Entwurf und die Konstruktion lernfähiger Automaten zu imitieren. In einfacheren Fällen wird der Lernprozeß eines

Lernende Systeme

Seite 17

entsprechend aufgebauten Systems dadurch realisiert, daß die Folgen von Einwirkungen auf die Umgebung fortlaufend ausgewertet werden. Das System verhält sich dabei gegenüber seiner Umwelt nach dem Versuch-IrrtumPrinzip. Höhere Formen lernfähiger Systeme besitzen ein internes Modell der Umwelt, das es gestattet, mögliche Folgen von Einwirkungen auf die Umgebung in gewissen Grenzen (die u.a. auch von der Entwicklungshöhe des Systemtyps sowie vom erreichten Stadium des jeweiligen Lernprozesses abhängen) zu testen und damit vorherzusehen. Die Abgrenzung des Begriffs des lernfähigen Systems zu anderen hochentwickelten kybernetischen Systemtypen (insbesondere zu dem des selbstregulierenden und dem des adaptiven Systems) erfolgt in der Literatur nicht einheitlich. So wird z.B. das lernfähige System aus kybernetischer Sicht oft als spezielles adaptives System oder auch als Form eines selbstorganisierenden Systems verstanden. Im Prinzip besteht in der Kybernetik ein Zwiespalt zwischen zwei Ansätzen. Auf der einen Seite haben wir den physiologisch-systemtheoretischen Zugang, dessen Ziel ist, die Funktionsweise organischer Systeme zu analysieren oder zu simulieren. Man interessiert sich dabei für technische Systeme, deren Schaltungselemente und Bauprinzipien Lebewesen nachgebildet sind. Der zweite Zugang ist mathematisch-systemtheoretischer Art. Hier wird eine Problemstellung formalisiert und für die Lösung ein Gütekriterium angegeben. Dieses Kriterium resultiert zwar aus praktischen Anwendungen, ist jedoch für sich genommen rein mathematischer Art. Die Lernalgorithmen unterliegen danach nur noch einem mathematischen Kriterium. Das trägt zwar zur Klarheit bei, birgt aber die Gefahr einer an sich unerwünschten Lösung in sich.

3.3. Der Begriff Maschinelles Lernen in der KI In der Künstlichen Intelligenz existieren ebenfalls verschiedene Definitionsversuche des Begriffs Lernen, oder, wie es da auch heißt: Maschinelles Lernen. Die jeweiligen Akzentsetzungen werden im folgenden betrachtet. Es gibt immer noch Uneinigkeit darüber, was denn nun die "bessere" (man müßte wohl sagen: "die Vorstellungen besser treffende") Definition sei. Da sehr verschiedene Dinge unter dem Begriff Lernen subsumiert werden, kann von einer "richtigen" Definition auch in dem abgeschwächten Sinne keine Rede sein. Es handelt sich in jedem Falle auch nicht um formale Definitionen im mathematischen Sinne, sondern um informelle Begriffsbestimmungen, die in etwa beschreiben sollen, was man meint. Einige solcher Versuche zur Begriffsbestimmung und Ansichten zum Maschinellen Lernen sollen jetzt vorgestellt werden. Dies geschieht ohne den Versuch, die in den jeweiligen Definitionsversuchen verwendeten Begriffe zu vereinheitlichen. Maschinelles Lernen kann zunächst als Bezeichnung für ein Forschungsgebiet und eine Forschungsrichtung innerhalb der KI gesehen werden: "ML - a subfield of AI that deals with techniques for improving the performance of a computational system. It is now distinguished from studies of human learning and from specific knowledge acquisition tools" ([Greiner, Silver, Becker, Gruninger 88]). Wie bereits erwähnt, ist es weitverbreitete und akzeptierte Ansicht, daß Lernen eine Verbesserung des status quo ante bedeutet. (Allerdings muß der Begriff Verbesserung in diesem Zusammenhang eine Präzisierung erfahren. So

Seite 18

Lernende Systeme

wird Wein beispielsweise im Laufe der Zeit auch besser, doch würde niemand auf die Idee kommen, diesen Vorgang als Lernen zu bezeichnen.) Zwei in der KI bekannte Definitionsversuche des Begriffs Maschinelles Lernen, die ebenfalls das Merkmal der Verbesserung betonen, stammen von Herbert A. Simon und Marvin Minsky. Simon sieht Lernen als adaptive Änderungen in einem System, die es in die Lage versetzen, Aufgaben des gleichen Aufgabentyps nach erfolgtem Lernvorgang besser und effizienter zu lösen: "Learning denotes changes in the system that are adaptive in the sense that they enable the system to do the same task or tasks drawn from the same population more efficiently and more effectively the next time" (s. [Simon 83]). Diese Definition nimmt also an, daß das System eine bestimmte Aufgabe zu erfüllen hat. Die Forderung nach Verbesserung der Systemperformanz als wesentlicher Effekt eines Lernvorgangs ist allgemeiner Konsens. Dennoch gibt es als Lernen bezeichenbare Vorgänge, bei denen das Verbesserungskriterium nur schwer anwendbar ist. Dies wird an den weiter unten genannten Beispielen deutlich. Minsky bleibt daher in seiner Charakterisierung wesentlich allgemeiner und fordert, daß die Änderungen lediglich "nützlich" sind: "Learning is making useful changes in the workings of our minds." (s. [Minsky 86]). Der Begriff nützlich bezieht sich dabei natürlich auch auf eine Bewertung, die irgendwann einmal festgelegt werden muß. Ein etwas eingeschränktes Verständnis des Begriffs Lernen und der damit verbundenen Vorgänge stellt die Definition von Lernen als reine Akquisition expliziten Wissens dar. Diese Sichtweise war bei Wissenschaftlern aus dem Gebiet Expertensysteme durchaus verbreitet, sie läßt aber die Tatsache, daß der Erwerb von sogenannten Fertigkeiten motorischer oder mentaler Art durch Praxis und wiederholtes Üben auch eine Form des Lernens darstellt, völlig außer Acht. Anders ausgedrückt vernachlässigt diese Sichtweise den Unterschied zwischen Wissen und Können. Es gibt Dinge, die man kann, ohne zu verstehen, wie sie funktionieren; prominente Beispiele hierfür sind die Fähigkeiten des Sprechens oder Laufens. Ebenso stellt auch die Modifikation bereits bekannten Wissens eine Form von Lernen dar, die durch diese Sichtweise keine Berücksichtigung findet. So ist wieder zu unterscheiden zwischen der Akquisition von Wissen und der Akquisition von Fertigkeiten, die beide jedoch Formen des Lernens darstellen. Einige Autoren machen keine explizite Aussage darüber, in welcher Weise die von ihnen vorgestellten Techniken Lernen konstituieren. Andere versuchen präzisere und spezifischere Definitionen zu geben, aber mit im Endeffekt sehr verschiedenen Begriffen, so daß ein Vergleich wiederum nicht möglich ist. Es lassen sich eben nur vergleichbare Dinge miteinander vergleichen. R. S. Michalski findet Simons und Minskys Definitionen zu informal und redefiniert Lernen als "Learning is constructing or modifying representations of what is being experienced" (vgl. [Michalski 86]). Folglich ist seine Konzeption des Begriffs Lernen sehr stark an der Repräsentationsproblematik orientiert und das bedeutet, daß das Ziel von Lernen die Spezifizierung der Realität und deren adäquate und akkurate Repräsentation ist. Diese Sichtweise hatte nachhaltigen Einfluß in der KI. Der zentrale Aspekt beim Lernen ist hier also die Konstruktion einer angemessenen und genauen Repräsentation der das Lernsystem einbettenden Realität bzw. Umgebung, nicht so sehr die Verbesserung der Performanz.

Lernende Systeme

Seite 19

Performanzverbesserung kann aber als positive Konsequenz eines Lernvorgangs betrachtet werden und ist meist auch der Zweck, weshalb die Repräsentation überhaupt erzeugt oder modifiziert wurde. Aber sie muß im Zusammenhang mit den Zielen des Lerners gesehen werden. Da die meisten Lernvorgänge tatsächlich auch irgendeine Performanzverbesserung bedeuten und weil es einfacher ist, durch gelerntes Wissen bedingte Performanzänderungen zu messen, als das Wissen selbst in seiner Nützlichkeit zu beurteilen, wird Lernen oft mit Performanzverbesserung gleichgesetzt. Trotzdem ist Performanzverbesserung keine unbedingte Voraussetzung für jede Art von (erfolgreichem) Lernen. Es gibt Lernsituationen, wie etwa beim Lernen ästhetischer Werte, in denen dieser Aspekt nicht von so großer Wichtigkeit ist, und auch Lernsituationen, wo sogar eine Verringerung der Performanz aus der Sicht des Lerners durchaus als Lernen im positiven Sinne verstanden werden kann. Man stelle sich einen Beamten (oder einen Repräsentanten eines beliebigen anderen Berufszweiges...) vor, der es versteht, durch immer geschickter werdendes Verhalten nach außen den Eindruck zunehmender oder beständiger Aktivität zu erwecken, im Grunde aber objektiv weniger Arbeitsleistung erbringt. Dieses Beispiel macht deutlich wie wichtig es ist, bei der Beurteilung von Performanzaspekten die Ziele des Lerners zu kennen und zu berücksichtigen. Neues Lernen und damit Entwicklung kann immer dann stattfinden, wenn das Gleichgewicht und die Stabilität zwischen interner Repräsentation der Realität und der Realität selbst gestört sind, wenn also die aktuelle kognitive Struktur oder der epistemologische Zustand des Lerners in Widerspruch gerät zu Phänomenen der Umwelt. J. Doyle rückt vom Primat der Repräsentation ab und versteht Lernen als rationale Interpretation von Erfahrung, die vernünftige Änderungen von mentalen Zuständen bewirkt: "Learning is interpreting experience by making rational changes of mental state or operation" (vgl. [Doyle 88]). Eine noch etwas andere Akzentsetzung stellt die Beschreibung von Lernen als Optimierungsprozeß eines kognitiven Systems dar, wie es etwa J. G. Wolff beschrieben hat: "Learning, by natural or artificial systems, may usefully be seen as the development and refinement of knowledge structures towards a form which is optimally efficient for the several functions to be served." (s. [Wolff 87]). Der gleiche: "Learning may be seen as a process of exploiting the facilities offered by the formalism to develop a knowledge structure which is optimally efficient for one's needs." Neben der Einsicht, daß Lernen immer auch mit Verbesserung und Optimierung eines status quo im Hinblick auf gewisse Ziele zu tun hat, wird in dieser Aussage ebenfalls die Relevanz des zugrundeliegenden Wissensrepräsentationsformalismus erkannt. Paul D. Scott und R. S. Vogt ([Scott, Vogt 83]) diskutieren zwei mögliche Sichtweisen für ML-Systeme, die sie aufgabenorientiertes Lernen nennen für Systeme, die eine wie auch immer definierte Performanzverbesserung erreichen wollen, sowie wissensorientiertes Lernen für Systeme, deren einzige Aufgabe das Ansammeln und organisierte Repräsentieren von Wissen ist. Simons Definition des Lernens als Prozeß, der die Performanz eines Systems verbessert (vgl. [Simon 83]), ist völlig im Einklang mit der erstgenannten Sichtweise. Sie sieht ein lernendes System als ein System, das ständig eine bestimmte Aufgabe ausführt, das Resultat und die Qualität der Ausführung überprüft und daraufhin entsprechende Änderungen in der internen

Seite 20

Lernende Systeme

Repräsentation vornimmt, deren Effekt eine Verbesserung der Performanz des Systems bei der Durchführung der gestellten Aufgabe sein soll. Die Definition von Lernen als Konstruktion einer geordneten Repräsentation von Erfahrungen bietet eine andere Sicht auf ein Lernsystem. Ein solches System würde durch ständige Interaktion mit seiner Umgebung die Erfahrungen aufsammeln, verwerten und so ein internes Modell dieser umgebenden Welt aufbauen.

3.4. Klassifikation lernender Systeme 3.4.1. Das Szenario Um eine Vielfalt vorkommender Systeme zu klassifizieren, gilt es, sie in ihrem Umfang inhaltlich zu erfassen und die wesentlichen Merkmale zur Klassifikation zu extrahieren. Einige der hier interessierenden Klassifikationsmerkmale liegen auf der Hand, andere sind aus den vorangegangenen Diskussionen klar geworden. Eine Methodik zur vollständigen Klassifikation würde die Auflistung von Merkmalen (Dimensionen) erfordern, durch deren jeweilige konkrete Angaben ein vorliegendes System dann in eine Kategorie eingeordnet werden könnte. Dabei ist dann besonders auf taxonomische Aspekte zu achten: Es muß klar werden, welche Form von Lernen eine Unterform welcher anderen Form ist. Dies Programm kann nicht mit letzter Konsequenz durchgeführt werden; soweit die Ausführung erfolgt, reicht sie aber für unsere Zwecke aus. Interessant ist dabei auch die Frage, inwieweit die Dimensionen voneinander abhängig oder unabhängig sind und wie sich etwaige Abhängigkeiten beschreiben lassen. Möglicherweise kann so ein n-dimensionaler Beschreibungsraum zu einem n-k-dimensionalen Raum kollabieren. Manche Merkmale sind oft nur boolesch (z.B. Lehrer vorhanden - Lehrer nicht vorhanden ), andere haben kontinuierliche Wertebereiche oder sogar Intervalle als Wertebereiche. Bisherige Versuche klassifizierten ML-Systeme entlang verschiedener Beschreibungsachsen, die recht willkürlich gewählt waren, (vgl. [Michalski 83] und [Kodratoff, Michalski 89]). Manche Autoren schlugen Ansätze für die Betrachtung bestimmter Familien von ML-Systemen vor (vgl. [Holte 86], [Langley, Gennari, Iba 87]), oder verglichen einfach empirisch zwei oder mehrere Lernalgorithmen (vgl. [Rendell 89], [Kibler, Langley 88]). Yves Kodratoff versucht dagegen in [Kodratoff 89], die Vielfalt existierender MLSysteme mittels einer umfassenden Menge detaillierter, beschreibender Merkmale fragebogenähnlich zu erfassen. Um eine Bewertungs- und Beschreibungsmethode für möglichst viele MLSysteme konstruieren zu können, müssen deren Eigenschaften so generalisiert werden, daß die relevanten strukturellen und funktionalen Komponenten offensichtlich werden. Diese Generalisierung soll im nächsten Abschnitt in Form eines allgemeinen Modells erfolgen, das die allen ML-Systemen gemeinsamen Funktionalitäten und deren Zusammenwirken in einer einheitlichen Terminologie beschreibt. Um überhaupt nützlich sein zu können, muß das Modell ein minimal allgemeines Modell sein, also zwei Anforderungen gerecht werden:

Lernende Systeme

Seite 21

•

Es muß allgemein genug sein, um möglichst viele Systeme und Verfahren zu erfassen und

•

es muß speziell genug sein, um wichtige unterscheidende Merkmale nicht zu unterschlagen.

Als erstes wird ein Szenario dargestellt, in dem die denkbaren Objekte, die bei Lernvorgängen vorkommen können (aber nicht müssen), vorgeführt werden. Es handelt sich um eine Sichtweise, die das Lernen mehr "von außen" betrachtet; das formale Modell wird noch etwas anders aussehen.

Lerner vor dem Lernvorgang

Umwelt

Lehrer

Lernvorgang Vergleich Kritik

spezielle Informationen Erfolgskriterien

Steuerung Korrektur

Rückwirkung

durch Lernen verändert

Lerner nach dem Lernvorgang

Das lernende System wird ganz allgemein ein Lerner genannt. Es wird durch den Lernvorgang verändert. Das, was verändert wird, ist der Lerngegenstand. Die Umwelt wird auch die Lernumgebung genannt. Sie kann den Lerner und den Lernvorgang beeinflussen. Die Erfolgskriterien beinhalten vor allem ein Lernziel und im allgemeinen auch Gütekriterien, die eine Bewertung des Resultates des Lernvorganges erlauben; diese sind eng mit dem Lerngegenstand verknüpft.

Seite 22

Lernende Systeme

In einer sehr groben funktionalen Sicht bewirkt der Lernvorgang eine Transformation der Zustände des Lerners: Transformation

Anfangszustand

Zielzustand

Für das Verständnis von Lernvorgängen ist die Beobachtung zentral, daß Lernen nicht nur passiv ist. Was uns beim Auswendiglernen gerade davon abhielt, es als typisches Lernverfahren zu sehen, war gerade das Fehlen jeglicher Aktivität. Worin kann nun eine solche Aktivität bestehen? In einem formalen System doch nur darin, daß das System selbst Schlußfolgerungen durchführt. In der Tat haben viele Autoren die Stärke der Inferenzmechanismen des Lerners als Klassifikationsmaß benutzt. Dies ist nun aber nicht der einzige uns interessierende Parameter, aber er spielt im folgenden doch eine gewichtige Rolle. Als nächstes werden die auftretenden Begriffe nun in einer ersten Näherung etwas genauer beschrieben und detailliert. Später wird dies noch mehr verfeinert werden. 3.4.2. Die Rollen des Lehrers Zunächst wird nun der Lehrer diskutiert. Er kann in dem Szenario auch fehlen; wenn er vorhanden ist, kann er auf verschiedene Weisen agieren. Lernen mit Lehrer

Auswendiglernen Lernen durch Instruktion

Bewertung

Korrektur

Präsentation von Beispielen

• • • •

Direktes Einsetzen von Wissen Programmierung Konstruktion Abspeichern

im Detail

im Endeffekt

Diskussion: Die ersten drei Möglichkeiten der Aktivität eines Lehrers betreffen die Art der Präsentation des Lernstoffes. Die Einteilung spiegelt den Grad und die Komplexität der zur Herleitung von Wissen nötigen Inferenz wider, die der Lerner selbst durchführen muß. Es können daher zwei Extreme unterschieden werden: Der Lerner muß überhaupt keine Inferenzen durchführen, oder der Lerner muß einen erheblichen Aufwand an inferentiellen Prozessen betreiben. Zwischen diesen beiden Extremen lassen sich nun eine Reihe von Spielarten verschiedener Lernformen identifizieren. Die zunehmende Komplexität der vom Lernsystem durchzuführenden inferentiellen Prozesse und

Lernende Systeme

Seite 23

die damit verbundene zunehmende Unabhängigkeit des Lernsystems von einem eventuell vorhandenen externen Lehrer verschiebt die Verteilung des zu leistenden Aufwandes zwischen Lernsystem und diesem Lehrer und macht dessen Vorhandensein ggf. überflüssig. 1) Auswendiglernen: Dies ist ein Beispiel für das erste Extrem. Hierbei findet keinerlei Inferenz oder irgendwie anders geartete Wissenstransformation seitens des Lerners statt. Es wird das insgesamt dem Lerner zur Verfügung stehende Wissen durch einen Eingriff des Lehrers vergrößert. Der gesamte kognitive Aufwand muß vom Lehrer geleistet werden. Der Lehrer heißt hier zweckmäßigerweise auch Programmierer. Varianten dieser Vorgehensweise sind Lernen durch Programmierung, Konstruktion oder Modifikation und Lernen durch Behalten von Fakten und Daten, in etwa vergleichbar mit dem Laden von Datenbanksystemen. Im Extremfall artet der Lehrer zu einer passiven Informationsquelle aus, von der einfach kopiert wird. Diese Form des Lernens wird uns nicht weiter interessieren. 2) Lernen durch Instruktion: Hierunter wird allgemein der Wissenserwerb mit Hilfe eines Lehrers verstanden. Der Lerner muß das zu lernende Wissen von der Eingabedarstellung in seine interne Repräsentation transformieren und in das bereits vorhandene Wissen integrieren. Obwohl das Lernsystem jetzt selbst einige Inferenzen durchführen kann, obliegt dem Lehrer ein Großteil der Arbeit, denn er muß das Wissen so organisieren und dem Lerner präsentieren, daß dessen Wissen vergrößert wird. 3) Der Lehrer präsentiert Beispiele: Die Beispiele können im Lernprozeß eine unterschiedliche Rolle spielen, je nachdem, was und zu welchem Zwecke gelernt wird. Die Funktion des Lehrers besteht dabei darin, die Beispiele in sinnvoller und für den Lerner hilfreicher Reihenfolge darzubieten, um so eine möglichst schnelle Konvergenz des Lernvorganges zu erreichen. Hier ist der Lerner in großem Maße aktiv beteiligt bis hin zum selbständigen Entdecken neuer Theorien; er muß oft in ganz erheblichem Maß Inferenzen selbst vollziehen. Darauf kommen wir noch ausführlich zurück. Die nächsten beiden Punkte betreffen das Verhalten des Lehrers nach einem Lernvorgang. 4) Bewertung durch den Lehrer: Die Bewertung beschäftigt sich mit dem Lernerfolg und bezieht sich somit auf ein Lernziel und ein Gütekriterium. Sie kann auf zwei Arten erfolgen: 4.1) Im Detail: Hier werden atomare Lernaktionen beurteilt. Oft erfolgen diese Bewertungen auch lokal, d.h. sie betreffen nur einen Aspekt des Lernerfolges. Der Lerner kann diese Art der Bewertung meist ohne komplexe eigene Inferenzen verwenden. 4.2) Im Endresultat: Hier werden die Effekte mehrerer atomarer Lernaktionen zusammengefaßt. Das geschieht häufig dadurch, daß eine auf die Umwelt rückwirkende Aktion durch Verteilung von Lob und Tadel bewertet wird. Es ist dann nicht mehr klar, welcher Teil des Lernvorganges oder der Aktion für Erfolg oder Mißerfolg verantwortlich war. Häufig wird eine solche Bewertung auch von der Umwelt vorgenommen. Beurteilt wird zumeist auch eine Fähigkeit (wie etwa laufen zu können ohne zu stolpern) und kein explizites Wissen. Der Lerner benötigt hier komplexe Inferenzmechanismen, um diese Art der Bewertung zu verwenden.

Seite 24

Lernende Systeme

5. Korrektur durch den Lehrer: Hier greift der Lehrer in den Lernvorgang ein. Das kann auf verschiedene Weise geschehen. Einmal kann direkt etwas am Lernmechanismus geändert werden; zum anderen kann eine Lerneingabe (ein sog. Teaching-Input) in den vorhandenen Mechanismus geschehen. Das ist meist ein Vergleich der im Lerner erfolgten Änderung mit einer erwünschten Änderung und setzt dann eine Bewertung voraus. 3.4.3. Lernen ohne Lehrer Diese Lernform, auch unbeaufsichtigtes Lernen (engl. unsupervised learning) genannt, kommt ohne jegliche Hilfe von oder Interaktion mit einem externen Lehrer aus. Vom Lernsystem wird ein sehr viel höherer Inferenzaufwand als bisher gefordert. Der Lerner ist völlig auf sich selbst gestellt: Weder werden externes Wissen oder Beispiele dargeboten noch erfolgen Bewertungen von außen. An diese Stelle treten eigene Beobachtungen und Entdeckungen, die nach internen Kriterien verarbeitet werden. Lernen durch Beobachten und Entdecken

passives Beobachten

aktives Experimentieren

Das Lernen durch Beobachtung läßt sich wiederum durch den Grad der Interaktion mit der Umgebung subklassifizieren. Die diese Dimension auszeichnenden Extrema sind •

Passive Observation, wo der Lerner Beobachtungen verschiedenster Aspekte seiner Umgebung klassifiziert und taxonomisch anordnet und

•

Aktives Experimentieren, wo der Lerner seine Umgebung aktiv verändert — im Sinne von eigenständiger Generierung von Beispielen — und die Konsequenzen der Veränderungen interpretiert.

Ein Beispiel für den ersten Typ ist das Wettbewerbslernen, das im Teil Konnektionismus besprochen wird. Die im zweiten Typ vom Lerner intendierten Veränderungen der Umgebung können zufälliger Natur sein, sie können von einem bestimmten, allgemeinen Interessantheitsmaß geleitet werden oder durch Beschränkungen (Constraints) der Anwendungsdomäne fokussiert werden. Der Lerner formiert Hypothesen über die beobachteten Phänomene seiner Umwelt und verwendet sein bisheriges Wissen, um evtl. selbst Beispiele zu generieren, die zur Stützung oder zur Verwerfung von Hypothesen führen können.

Lernende Systeme

Seite 25

3.4.4. Lerngegenstand und Lernvorgang Das Ergebnis des Lernvorgangs ist eine Veränderung eines Teils des Lerners, etwa seiner Informationen oder Fähigkeiten. Der Lerngegenstand ist das Resultat der Veränderung. Ein Maßstab für die Veränderung ist das Ausmaß der Änderungen in den Datenstrukturen: Werden nur Parameter geändert oder auch Strukturen? Das sagt insofern nicht viel über die Natur des Gelernten aus, als in Parameter sehr viel implizit hineinkodiert sein kann. Deshalb interessieren wir uns hier für strukturelle Änderungen; dabei werden allenfalls auswendig gelernte Fakten schlecht berücksichtigt. Um den Gegenstand des Lernprozesses zu beschreiben, ist es wie erwähnt nützlich, sich einen Lernvorgang als Inferenzprozeß zu denken, der von der Umwelt und eventuell einem Lehrer mehr oder weniger unterstützt wird. In dieser Sichtweise unterscheiden wir drei Arten von solchen Prozessen: Lernen als Inferenzprozeß

Synthetisches Lernen

Analytisches Lernen

Lernen durch Analogie

Um diese Begriffe zu diskutieren, erinnern wir zunächst an die korrespondierenden Arten logischer Schlüsse. Sie haben syntaktisch alle dieselbe Form P 1 ,...,P n µ K. Die Pi sind die Voraussetzungen (Prämissen) des Schlusses und K ist die Konklusion. Die Semantik dieser Schlüsse ist jedoch sehr unterschiedlich. a)

Deduktive Schlüsse: Hier wird nur gefordert, daß die Konklusion wahr ist, falls alle Voraussetzungen wahr sind. Deduktive Schlüsse sind in der formalen Logik weitgehend untersucht, es existieren viele formale Kalküle, über deren Tragweite genaue Vorstellungen existieren (vgl. z.B. [Richter 78]). Sind die Prämissen eines deduktiven Schlusses nicht wahr, sondern nur (in welchem Sinne auch immer) "wahrscheinlich", dann muß natürlich die Konklusion auch nicht stimmen; man spricht dann auch von einem approximierenden deduktiven Schluß.

b)

Induktive Schlüsse: Hier muß die Wahrheit der Voraussetzungen die der Konklusion nicht unbedingt nach sich ziehen, die Konklusion soll jedoch (normalerweise) umgekehrt die Voraussetzungen deduktiv implizieren. Darüberhinaus soll die Konklusion eine Reihe von Nützlichkeitskriterien erfüllen, die je nach Anforderungen etwas variieren können; solche Kriterien können optimal oder suboptimal erfüllt werden, wodurch es sinnvoll wird, auch Approximationen zu betrachten. Die Grundvorstellung ist dabei stets, daß die Konklusion

Seite 26

Lernende Systeme

K die allgemeine Beschreibung eines gesetzmäßigen Zusammenhanges ist. Dies kann ein allgemeiner Begriff, eine Relation oder auch ein funktionaler Zusammenhang sein. Weil die Voraussetzungen das betrachtete Universum i.a. nur unvollständig beschreiben, hat der induktive Schluß auch grundsätzlich nur den Charakter einer Hypothese. Während für deduktive Schlüsse weitgehend formale Kalküle existieren, ist dies bei induktiven Schlüssen nicht der Fall. (Näheres über induktive Schlüsse findet man in [Richter 89].) c)

Analogieschlüsse: Analogieschlüsse zählen an und für sich nicht unter die traditionellen Schlüsse, obwohl sie im täglichen Leben sehr häufig auftreten. Sie haben mit induktiven Schlüssen gemeinsam, daß die Konklusion auch bei wahren Voraussetzungen nicht richtig sein muß. Es wird jedoch keine allgemeine Beschreibung oder ein Oberbegriff generiert, sondern die Konklusion steht gewissermaßen wieder auf derselben Stufe wie die Voraussetzungen. Grundlegend ist ein Ähnlichkeitsbegriff, denn die Analogie wird nur zu ähnlichen Sachverhalten gezogen.

An die induktiven Schlüsse stellt man stets die Minimalforderung, daß die Konklusion die Prämissen impliziert (also in gewissem Sinne erklärt). An diesen logischen Grundformen orientieren sich die Lernverfahren, aber sie gehen über die Tragweite der logischen Schlüsse hinaus. Insbesondere spielt sich das Lernen nicht nur in logischen Kalkülen ab, sondern meist in sehr komplexen Kontexten; nur wenn man Glück hat oder sehr einschränkende Bedingungen vorliegen, kann man sich unter Umständen auf einen Kalkül zurückziehen. Auf der anderen Seite kann man häufig eine Parallele zu mathematischen Algorithmen ziehen oder sogar diese direkt anwenden. 1) Synthetisches Lernen: Synthetische Lernverfahren basieren hauptsächlich auf induktiver Inferenz und sind charakterisiert durch die Generierung allgemeiner Regeln oder Hypothesen aus (meist multiplen) Beispielen. Oft werden synthetische Lernverfahren auch einfach als induktive oder empirische Lernverfahren bezeichnet, ohne auf die existierenden Unterschiede zu achten (vgl. [Dietterich 87]). Gelernt werden können dabei die verschiedensten Dinge, z.B.: •

Oberbegriffe (Konzepte), die vorgelegte Beispiele umfassen,

•

Funktionen, von denen nur einige Ein-/Ausgaberelationen bekannt sind,

•

Wahrscheinlichkeiten für das Auftreten gewisser Ereignisse.

Die Lernverfahren dieser Art sind sehr reichhaltig. Allein von der Art her, die Beispiele zu behandeln, ergeben sich viele Möglichkeiten. Ausgehend von einer Menge von Beispielen und Gegenbeispielen eines Konzepts besteht die Aufgabe des Lerners darin, eine allgemeine Konzeptbeschreibung zu finden. Ein Unterscheidungsmerkmal ist die Art der dem Lerner verfügbaren Beispiele. Diese können nur positiv, nur negativ (d.h. Gegenbeispiele) oder sowohl positiv als auch negativ sein. Sind nur positive Beispiele verfügbar, so liefern diese keine Informationen, um eine Übergeneralisierung bei der Hypothesengenerierung zu vermeiden. Daher sollten in diesem Fall entweder nur die minimal notwendigen Generalisierungen betrachtet oder eventuelles

Lernende Systeme

Seite 27

Domänenwissen zur Beschränkung der möglichen Konzeptbeschreibungen eingesetzt werden. Sind positive und negative Instanzen des zu lernenden Konzepts vorhanden, so können die positiven Instanzen zu Generalisierungen, die negativen Instanzen zur Vermeidung von Übergeneralisierungen verwendet werden, denn die gelernte Konzeptbeschreibung darf niemals auch negative Instanzen erfassen. Die Komplexität der durchgeführten Inferenz ist sehr viel größer als beim Lernen durch Instruktion, da keine allgemeinen Konzepte durch einen Lehrer vorgegeben werden, und ist auch etwas größer als beim Lernen durch Analogie (s.u.), da keine ähnlichen Konzepte als Ausgangspunkte für neue Konzepte vorgegeben werden. Die Strategie des Lernens aus Beispielen wird nun nochmals nach der Quelle der Beispiele subklassifiziert: (i)

Die Quelle kann der Lerner selbst sein, der mittels seines Wissensstandes aber nicht genau über das zu lernende Konzept "Bescheid weiß". So kann der Lerner selbst Instanzen des Konzepts generieren und von einem Lehrer als positive oder negative Beispiele klassifizieren lassen.

(ii)

Die Quelle ist der Lehrer.

(iii) Die Quelle ist die allgemeine Umgebung des Lernsystems. In diesem Fall ist die Erzeugung und Darbietung der Beispiele zufällig, denn der Lerner muß sich auf durch ihn relativ unkontrollierbare Beobachtungen verlassen. Schließlich kann Lernen aus Beispielen noch nach der Art der Darbietung von Beispielen subklassifiziert werden. Die Beispiele können alle auf einmal vorgelegt werden oder aber der Reihe nach. Im letzteren Fall muß das System Hypothesen über das zu lernende Konzept sukzessive nach Analyse weiterer Beispiele verfeinern und mit den bisherigen Beobachtungen und dem bisherigen Wissen konsistent halten. Diese inkrementelle Vorgehensweise scheint dem menschlichen Lernen sehr nahe zu kommen und erlaubt es dem Lerner, partiell gelernte Konzepte zu benutzen. Andererseits können schlecht gewählte initiale Trainingsbeispiele das System in die Irre führen, wenn sie nicht gleich von Anfang an auf die wesentlichen Aspekte des zu lernenden Konzepts fokussieren. Zusammenfassend erhalten wir bezüglich der Verwendung von Beispielen folgendes Bild:

Seite 28

Lernende Systeme

Lernen durch Beispiele

Quelle der Beíspiele

Lerner

Lehrer

Art der Beispiele

Umgebung positiv

Darbietung der Beispiele

positiv einmalig und negativ

inkrementell

Daneben gibt es aber noch weitere Kriterien zur Feinklassifikation dieser Art zu lernen. Wie synthetisches Lernen über rein logische Kalküle hinausgeht wird z.B. deutlich am Erkennen von Bildern. Man bekommt eine Unzahl von Pixeln vorgesetzt und lernt, ein Bild zu synthetisieren (etwa in grauer Vorzeit einen Löwen auszumachen, vor dem man sich besser in Acht nahm; dieser Lernvorgang hatte eine recht hohe Konvergenzgeschwindigkeit). 2) Analytisches Lernen: Das Ziel beim analytischen Lernen ist die Restrukturierung des bereits vorhandenen Wissens in eine nützlichere und effektivere Form, sodaß durchaus von Lernen im Sinne von Verbessern der Performanzfähigkeiten eines Systems gesprochen werden kann. Hierbei überwiegt also der Performanzverbesserungsaspekt gegenüber dem Erwerb gänzlich neuen Wissens. Beim analytischen Lernen ist die maßgebliche Inferenzstrategie die deduktive Inferenz auf (in der Regel reichhaltig) vorhandenem Wissen — speziell Domänenwissen — und der (in der Regel) singulären Erfahrung. Die deduktive Vorgehensweise bewirkt, daß der Effekt des Lernens nicht in Hypothesen besteht, sondern in wahren Aussagen, die nur unterschiedlich nützlich sein können. 3) Lernen durch Analogie: Lernen durch Analogie ist eine Lernstrategie, die existierendes Wissen über bekannte Sachverhalte mit starker Ähnlichkeit zu neu zu lernenden Sachverhalten in effektiver Weise transformiert und damit der neuen Situation anpaßt. Beispielsweise kann Wissen über ein bereits gelöstes Problem und über dessen Lösung für die Lösung eines neuen Problems verwendet werden, wenn es dem alten hinreichend ähnlich ist. Es ist dann nicht mehr erforderlich, für das neue Problem eine komplett neue Lösung zu finden, sondern es genügt, die alte Lösung entsprechend zu modifizieren, was sehr viel günstiger sein kann. Wichtig ist, daß keine allgemeinen Begriffe involviert sind (wie beim synthetischen Lernen); das Lernen spielt sich rein auf der Ebene der Beispiele ab. Man lernt von einem Beispiel für ein anderes, ohne sich über den gemeinsamen Hintergrund Gedanken zu machen. 3.4.5. Die Umwelt Die Umwelt kann im Prinzip beliebig komplex sein. Sie kann von Aktionen des Lerners beeinflußt werden, den Lerngegenstand, das Lernziel und Erfolgskriterien vorgeben. Das Lernziel eines Lernsystems hat maßgeblichen Einfluß auf das gesamte Systemverhalten. Die Festlegung des Lernziels und der Erfolgskriterien kann unterschiedlich erfolgen:

Lernende Systeme

Seite 29

Vorgabe von Lernziel und Erfolgskriterien

explizit

Konkrete Vorgabe des Lernziels

implizit

Güte- und Qualitätskriterien

In den Algorithmen verborgen

Der Verwendung von Gütekriterien liegt die Vorstellung vom Lernen als Suchprozeß zugrunde, wobei das Suchen im Bergsteigermodell (engl.: hillclimbing) gemeint ist. Ist das Lernziel erreicht oder hinreichend gut approximiert, können die Lernvorgänge abgebrochen werden. Auch der impliziten Vorgabe der Kriterien liegt meist diese Vorstellung zugrunde. Bei der konkreten Vorgabe des Lernziels hat man aber oft nicht die Option, das Lernziel zu approximieren. Die Bewertung, d.h. der Vergleich mit den Kriterien kann direkt erfolgen (durch Beobachtung des Lerners) oder auf dem Umweg über Rückkopplungen des Lerners mit der Umwelt; dann werden Handlungen bewertet, die der Lerner auf der Basis des Gelernten vollzieht.

Seite 30

4.

Lernende Systeme

Ein formales Lernmodell

Im ersten Abschnitt dieses Kapitels wird schrittweise ein Lernmodell für Maschinelles Lernen entwickelt. Die dort im Zusammenhang mit dem vorgestellten Modell eingeführte Terminologie wird zunächst anschaulich und intuitiv motiviert, um dann im zweiten Abschnitt wieder aufgegriffen und formal definiert zu werden. Das liefert die Grundlage für die nachfolgenden Kapitel, in denen die einzelnen Komponenten des Lernmodells und ihre möglichen Ausprägungen nochmals detaillierter diskutiert werden.

4.1. Der informelle Zugang Die Gesamtheit der bei einem Lernvorgang beteiligten Objekte (wie sie etwa im Szenario des letzten Abschnitts vorgestellt wurden), nennen wir auch das Lernsystem, die formale Beschreibung des Lernsystems ist das Lernmodell. Im folgenden wird der Versuch unternommen, ein minimal allgemeines Modell eines lernfähigen Systems schrittweise zu entwickeln und zu verfeinern. Die Arbeiten [Scott, Shalin, Wisniewski, Levi 88] und [Bisson, Laublet 89] haben das hier vorgestellte Modell beeinflußt. Das hier entwickelte Modell mit seinen verschiedenen strukturellen und funktionalen Komponenten und die im Zusammenhang mit dem Modell eingeführte Terminologie werden die Grundlage für die weiteren Untersuchungen sein. Sie konstituieren einen allgemeinen Ansatz für die Analyse der verschiedenen Lernverfahren und Methoden. Wir orientieren uns dabei an dem Szenario des letzten Abschnittes. Im Gegensatz zu der gewissermaßen naiven Sicht von 3.4.1 interessieren uns aber jetzt mehr interne Merkmale des Lerners. Ausgangspunkt ist die funktionale Sicht, die einen Lernvorgang als eine Zustandstransformation des Lerners sieht. Der Anfangszustand des Lerners ist in der Regel gekennzeichnet durch die Vorgabe eines Lernziels und dem eventuellen Vorhandensein gewissen Anfangswissens, etwa spezielles Wissen über das Anwendungsgebiet (sogenanntes Domänenwissen) und Metaoder Kontrollwissen. Der Zielzustand wird idealerweise nach einer Reihe von Transformationen erreicht und repräsentiert den gewünschten Zustand des Lerners nach Abschluß des Lernprozesses im Hinblick auf das Lernziel. Lernen soll dabei zunächst ganz allgemein und informal als Transformation von Erfahrungen in Hypothesen verstanden werden, die in der Regel die Anpassung, Verfeinerung, Erweiterung und Optimierung von Systemfähigkeiten im Hinblick auf eine zu lösende Aufgabe oder einen zu lösenden Aufgabentyp zur Folge hat. Diese Aufgabe kann auch im Ansammeln und Verfeinern von Wissen bestehen, ohne daß dabei ein (wie auch immer definierter) Performanzaspekt eine Rolle spielt. Mit dem Begriff Hypothese sollen auch die von einem Lernsystem erlernbaren sicheren Tatsachen subsumiert werden.

Lernende Systeme

Seite 31

Daß diese Änderungen der Systemfähigkeiten durch Änderungen der kognitiven Struktur bzw. des epistemologischen Zustandes in Form von Änderungen der Repräsentation erfolgen, wird an späterer Stelle noch zu sehen sein. Das folgende detailliertere Modell des Lernens soll als Ausgangspunkt für die Beschreibung der verschiedenen existierenden Lernansätze dienen. Zunächst werden die einzelnen funktionalen und repräsentationalen Komponenten des Modells beschrieben. Hierzu ein Schaubild: Umwelt U

Lerner L ν

Verwenden von Wissen zur Generierung von Erfahrungen

Verwenden von Wissen Evaluation der Erfahrungen

Generieren von Erfahrungen γ

Modifikation von (Kontroll-)Wissen

R G

B

M

Performanzelement P

E Verwenden alter Erfahrungen

Verwenden von Erfahrungen

D

H Verwenden von Wissen λ

Erzeugen von Hypothesen

Lernmodell

Die hier vorkommenden Bezeichnungen sollen jetzt erklärt werden. Rechtecke bedeuten in einer bestimmten Repräsentationsform dargestelltes Wissen und deklarative Informationen wie etwa Beispiele eines Konzeptes, Fakten, Objektbeschreibungen und Regeln etc., die im folgenden als repräsentationale Komponenten des Lerners bezeichnet werden. Kreise bzw. Ovale bezeichnen Funktionen bzw. funktionale Komponenten des Lerners und Pfeile geben den vorherrschenden Fluß von Daten und Informationen innerhalb des Modells wieder. Neben dem Lerner L selbst und der Umwelt U fällt im Modell noch der Performanzmodul P auf, der das gelernte Wissen des Lernsystems nutzen soll, um seine Aufgabe effektiver durchführen zu können. Für einzelne konkrete Lernverfahren wird die vorgestellte Modellierung entsprechend detailliert oder modifiziert werden. Die drei funktionalen Komponenten des Lerners sind: •

Die Lernfunktion λ, die aus Erfahrungen E und unter eventueller Verwendung bereits bekannten Wissens (D, M) neues Wissen H in

Seite 32

Lernende Systeme

Form von — zunächst Hypothesen — erlernt. Die Lernfunktion λ ist ein zentrales Charakteristikum eines jeden Lerners. Sie reflektiert die verwendete Inferenzstrategie (Induktion, Deduktion, Analogie, ...) und ihre Aufgabe ist die Erweiterung und/oder Modifikation des dem System verfügbaren Wissens. •

Der Erfahrungsgenerator γ, der im Hinblick auf das Lernziel G unter eventueller Verwendung bereits gelernten Wissens neue Erfahrungen E für die Lernfunktion λ erzeugen, oder bereits erzeugte Erfahrungen geeignet modifizieren kann.

•

Der Evaluator ν, der das erworbene Wissen (die erreichte Repräsentation) im Hinblick auf das Lernziel G bewertet, steuernd in Richtung auf eine gute Repräsentation wirkt und das Kriterium für erfolgreiches Lernen überprüft.

Die beiden repräsentationalen Komponenten des Lerners sind: •

Der Beschreibungsraum der Erfahrungen E, die von dem Erfahrungsgenerator γ erzeugt werden und der die zur Beschreibung der Beispiele gewählte Repräsentation charakterisiert. Dies kann bei symbolischen Konzeptlernsystemen beispielsweise eine Menge möglicherweise vorklassifizierter Trainingsbeispiele sein, die in einem ähnlichen Repräsentationsformalismus wie das Wissen in der Wissensbasis repräsentiert sein können, aber nicht müssen.

•

Die Wissensbasis R. Sie enthält: - Den Hypothesenraum H; - Die Basis B des Hintergrundwissens, das sich wie folgt aufteilt: • Die repräsentationale Komponente D enthält dabei das dem System über die Anwendungsdomäne bekannte Wissen in einer geeigneten Repräsentationssprache. Die Systeme unterscheiden sich hier hauptsächlich darin, ob solches Wissen überhaupt vorhanden ist und — sofern dies der Fall ist — im Umfang des Domänenwissens und im verwendeten Repräsentationsformalismus. • Die Komponente M korrespondiert mit vorhandenem Metawissen und allgemeinen Heuristiken zur Steuerung und zur Kontrolle des Lernens in Richtung auf eine akkurate Repräsentation des Wissens. Auch der noch zu besprechende Bias eines Lernsystems kann als (implizites) Metawissen aufgefaßt und hierunter gezählt werden. • Mit dem Lernziel G schließlich wird die zu bewältigende Lernaufgabe des Systems beschrieben.

Die eben eingeführten funktionalen und repräsentationalen Komponenten des Lernsystems beschreiben seine statischen Eigenschaften, ohne das dynamische Verhalten während des Lernens zu berücksichtigen. Dieser dynamische Aspekt wird durch die im Modell eingeführten Pfeile dargestellt, die die einzelnen Komponenten miteinander verbinden. Wie sich zeigen wird, unterscheiden sich viele der existierenden Lernverfahren auch im Vorhandensein bzw. Nichtvorhandensein einiger dieser Verbindungen.

Lernende Systeme

Seite 33

Die Umwelt U des Lernsystems spielt eine besondere Rolle für ein Lernsystem, da sie die Rolle der eben dargestellten drei funktionalen Komponenten übernehmen kann. In der Umgebung kann dabei vor allem ein externer Lehrer (in der Literatur oft auch "Orakel" genannt) vorkommen, der mit dem Lerner interagieren kann, indem er die Erfahrungen E für das Lernsystem L liefert (Übernahme der Funktion γ), das erlernte Wissen bewertet (Übernahme der Funktion ν) oder aber dem Lernsystem einfach neues Wissen mitteilt (Übernahme der Funktion λ). Die drei funktionalen Komponenten λ, γ und ν des Lernsystems stellen somit Schnittstellen zur Umwelt dar und der Grad, zu welchem diese Funktionen vom Lernsystem selbst bzw. von einem externen Lehrer übernommen werden, erweist sich als wichtiges unterscheidendes Merkmal für die verschiedenen Lernverfahren. Das Performanzelement P (auch als Ausführungselement bezeichnet) verwendet das vom Lernsystem gelernte Wissen, um seine Aufgabe effizienter durchzuführen. Es spielt insofern eine wichtige Rolle im Zusammenhang mit einem Lernsystem, als es in der Regel die Aktionen des mit dem Lernsystem gekoppelten Performanzelements sind, die durch Lernvorgänge verbessert werden sollen.

4.2. Der formale Ansatz Die informell eingeführten Begriffe werden jetzt formalisiert, wobei wir zum Teil bereits benutzte Bezeichnungen in entsprechender Weise verwenden. In den folgenden Definitionen handelt es sich mehr um Bezeichnungen, die in den nachfolgenden Abschnitten (teilweise auf verschiedene Weise) näher spezifiziert werden. Da wir uns noch nicht auf eine konkrete Repräsentationsform des Wissens festlegen wollen, gehen wir von einer nicht näher spezifizierten Repräsentationsform aus.

Definition: R sei die Menge allen Wissens, das in der gegebenen Repräsentationsform dargestellt werden kann.

R beschreibt damit den potentiellen Erkenntnisraum des Lerners.

Definition: R enthält folgende Teilmengen: (i) Die Hypothesenmenge H;

Seite 34

Lernende Systeme

(ii) (iii) (iv) (v) (vi) (vii)

das Domänenwissen D; das Metawissen M; das Erfahrungswissen E; die Lernziele G; das Hintergrundwissen B=D ˙ M ˙ G; das aktuale Gesamtwissen des Systems R=B ˙ H.

Die Repräsentationsform des Erfahrungswissens muß nicht notwendigerweise mit der des Domänen- oder Metawissens übereinstimmen. Die Erfahrungen E werden dynamisch erzeugt, sie können auch unsicher oder mit Rauschen behaftet sein. Ein Element g  G ist ein einzelnes, spezielles Lernziel. Analog dazu ist e  E eine einzelne Erfahrung, z.B. ein (Trainings-)Beispiel. Das gesamte Wissen R des Systems zerfällt in einen statischen und einen dynamischen Teil. In vereinfachter Form sieht die Aufteilung so aus: •

Der statische, d.h. im Lernprozeß nicht veränderte Teil besteht aus dem Hintergrundwissen B;

•

Der dynamische, d.h. im Lernprozeß veränderliche Teil besteht aus den Hypothesen H. Die allgemeinere Bezeichnung Hypothesen anstelle etwa der Formulierung "neu gelerntes Wissen" soll den tentativen und revidierfähigen Charakter des erworbenen Wissens hervorheben.

Das Hintergrundwissen B setzt sich aus dem anwendungsspezifischen Bereichs- bzw. Domänenwissen D und dem allgemeines Wissen und Heuristiken enthaltenden Metawissen M, sowie den Lernzielen G zusammen. Zu Beginn des Lernens ist R=B, d.h. es ist H=∅ . Diese Aufteilung trifft aber den richtigen Sachverhalt aus zwei Gründen nicht genau. Zum einen kann dynamisches Wissen durchaus zu statischem Wissen werden, nämlich dann, wenn die Hypothesen gesicherte Fakten sind oder (etwa durch die Hilfe eines Lehrers oder eines Beweises) zu solchen gemacht werden konnten. Zum anderen stimmt die Aussage, daß das Hintergrundwissen B zum statischen, unveränderlichen Teil eines Lernprozesses gehört, nur bedingt, denn es gibt Systeme deren dedizierte Aufgabe gerade das Erlernen und Modifizieren von Domänenwissen ist (vgl. Lenats AM oder das BACON-System); und dieses ist Teil des Hintergrundwissens. Um diesen Gesichtspunkten gerecht zu werden, muß der bis jetzt noch informelle Begriff des Lernprozesses so formalisiert werden, daß auch die Einteilung in statisches und dynamisches Wissen im Laufe der Zeit verändert werden kann. In gewissen kleinen Einheiten des Lernens sollte die Einteilung fest sein, zwischen solchen Einheiten sollten Änderungen erlaubt sein. Die folgende Beschreibung der Erzeugungsprozesse trägt dem Rechnung.

Definition:

Lernende Systeme

Seite 35

Der Erfahrungsgenerator γ ist eine Funktion γ: E×RµE.

Die Funktion γ soll neue Erfahrungen im Hinblick auf die zu lösende Lernaufgabe G und das bereits bekannte Wissen R generieren. Möglicherweise kann sie auch bereits erzeugte Erfahrungen E verwenden, indem sie sie leicht abändert.

Definition: Eine Erfahrungssequenz ist eine Folge E1, E2, ..., Ef mit E i ∑ E.

Jede Darbietung von Erfahrung kann — und hat es in der Regel auch — eine Modifikation der Wissensbasis des Lerners zur Folge haben, die sich in einer Änderung seiner Repräsentation der Realität bemerkbar macht. Änderungen können dabei das Hinzufügen von Hypothesen, die Änderung des Domänenwissens oder aber auch Modifikation des Metawissens sein. Dieser Sachverhalt wird mit dem Begriff Lernsequenz erfaßt.

Definition: Eine Lernsequenz ist eine Folge R0, R1, ..., Ri, Ri+1, ..., Rf (mit Ri∑R für alle i) von Repräsentationen, wobei R0 die initiale Repräsentation und damit das Initialwissen und Rf die finale Repräsentation, das Finalwissen ist.

Die Repräsentationen Ri spiegeln das momentane Wissen des Systems zum Zeitpunkt i über seine Umwelt wider, sie setzen sich aus dem Hintergrundwissen B und den erzeugten Hypothesen H zusammen und stellen die epistemologischen Zustände des Lernsystems dar. Hier wird der Zusammenhang zwischen Repräsentation, Zustand des Systems, Abbild der Welt und Wissen über die Welt deutlich. Bei einem Konzeptlernsystem beispielsweise entspräche die finale Repräsentation Rf dann der Repräsentation des gelernten Konzepts, die alle positiven, aber keins der negativen Beispiele des Konzepts erfaßt.

Seite 36

Lernende Systeme

Definition: Erfolgreiches Lernen liegt vor, wenn Rf=G ist.

Das Wissen des Systems stellt dann im Hinblick auf die zu erfüllende Lernaufgabe G eine akkurate und adäquate Repräsentation der Realität dar.

Definition: Ein Erfolgs- oder auch Qualitätskriterium ist ein Kriterium, das die erfolgreiche Lösung der Lernaufgabe durch das System definiert und mißt.

Ein Lernvorgang Ri µ Ri+1 ist der aufgrund der Interpretation der Erfahrung Ei+1 erfolgende Übergang von einer Repräsentation Ri zur Repräsentation Ri+1 (mit Ri, Ri+1∑R für alle i).

Definition: Die Lernfunktion λ ist eine Funktion λ: E×R µ H.

Die Lernfunktion verwendet Erfahrungen und bereits bekanntes Wissen zur Generierung neuer Hypothesen, die in die bestehende Wissensbasis eingebettet werden oder die Änderungen von bereits bekanntem Wissen bewirken. Wie noch gezeigt wird, ist eine Möglichkeit zur Klassifikation von Systemen die Frage, welches Wissen konkret zur Generierung der Hypothesen verwendet wird; Beim closed-loop learning wird nicht nur das Meta- und Domänenwissen, sondern ebenso bereits gelerntes Wissen (also bisher erzeugte Hypothesen) benutzt.

Definition: Der Evaluator ν ist eine Funktion: ν: E×Rµ Q.

Diese Evaluations- oder Qualitätsfunktion soll die Qualität der erzeugten Repräsentationen in Bezug auf das Lernziel bewerten. Q ist dabei eine Menge von die Repräsentation (d.h. das Wissen des Systems) beschreibenden Qualitätsmerkmalen und Bewertungen, im einfachsten Fall nur aus den Prädikaten {gut, schlecht} bestehend.

Lernende Systeme

Seite 37

Die Funktion ν macht eine Aussage darüber, ob eine zufriedenstellende Repräsentation der Realität gefunden wurde und dient somit — vermittels der Erfahrungsfunktion γ — der Steuerung in Richtung auf eine solche akkurate Repräsentation. Mit der bis hierhin eingeführten Terminologie und den Definitionen der Komponenten eines Lernsystems läßt sich der Begriff Lernsystem selbst jetzt formal beschreiben:

Definition: Ein Lernsystem L ist ein 5-Tupel (λ, γ, ν, R, E). Es besteht aus drei funktionalen Komponenten: der Lernfunktion λ zur Generierung von Hypothesen, sowie den Funktionen γ zur Generierung von Erfahrungen und ν zur Evaluation der Repräsentation sowie den repräsentationalen Komponenten E und R.

Um die Umgebung U und das Performanzelement P des Lernsystems mit einzubeziehen wird noch der Begriff der Lernstruktur eingeführt:

Definition: Eine Lernstruktur ist ein Tripel (U, L, P), wobei U eine Umwelt, L ein Lernsystem und P ein das Wissen des Lernsystems verwendendes Performanzelement ist.

Die möglichen Ausprägungen der funktionalen und repräsentationalen Komponenten eines Lernsystems bzw. einer Lernstruktur werden in den folgenden Kapiteln untersucht. Jeder Komponente ist dabei ein eigenes Kapitel gewidmet.

Seite 38

5.

Lernende Systeme

Die Wissensbasis R

Weil Lernvorgänge die Wissensbasis manipulieren, spielt ihre Struktur für ein erfolgreiches und effizientes Lernen eine zentrale Rolle. Wissensbasis und Lernmechanismus sind eng miteinander verzahnt, man kann nicht einfach zu einer Wissensbasis eine beliebige Lernkomponente additiv hinzufügen. Die Wissensbasis R eines Lernsystems setzt sich aus den drei repräsentationalen Komponenten Domänenwissen D, Metawissen M, Lernziel G sowie den von der Lernfunktion erzeugten Hypothesen H zusammen. Sie kann durch zwei wesentliche Aspekte charakterisiert werden: •

Ihre Form, also der jeweils verwendete Repräsentationsformalismus und

•

ihr Inhalt, d.h. die Art des in der Wissensbasis repräsentierten Wissens.

Die Form der Wissensbasis kann (vgl. etwa [Cohen, Feigenbaum 82]) selbst wieder an den folgenden Dimensionen ausgerichtet werden: 1)Ausdruckskraft der Repräsentation: Für jedes KI-System ist es von Bedeutung, ob ihm ein Repräsentationsformalismus zur Verfügung steht, mit dem das relevante Wissen einfach ausgedrückt werden kann. Relativ primitiv sind Merkmalsvektoren, sie eignen sich beispielsweise zur Beschreibung von Objekten ohne innere Struktur. Sie beschreiben Objekte mittels einer festgelegten Menge von Attributen (wie Größe, Farbe, Form etc.) und möglicher Ausprägungen dieser Attribute (wie klein/groß, rot/grün, rund/rechteckig). Logische Sprachen oder Framesysteme andererseits erlauben die Beschreibung strukturierter Objekte und von Relationen zwischen diesen Objekten. 2)Einfachheit der Inferenzmechanismen: Der zur Durchführung von Inferenzen erforderliche Berechnungsaufwand ist ein weiteres wichtiges Merkmal eines Repräsentationsformalismus. Eine in Lernsystemen häufig vorkommende Operation ist der Vergleich und die Unifikation zweier Beschreibungen um zu bestimmen, ob sie gleich sind oder durch eine Substitution gleich zu machen sind. Ein solcher Test ist bei Merkmalsvektoren sehr einfach durchzuführen, bei reichhaltigeren Beschreibungsverfahren aber aufwendiger. 3)Modifizierbarkeit der Repräsentation: Lernsysteme müssen das neu erlernte Wissen konsistent in die Wissensbasis integrieren und altes Wissen möglicherweise revidieren können. Bei Lernsystemen, die Repräsentationen wie Merkmalsvektoren oder Produktionsregeln verwenden, ist das Hinzufügen neuen Wissens relativ einfach, die dabei auftretenden Effekte sind aber nicht unproblematisch. Schwierigkeiten können auftreten, wenn das Lernsystem zeit- oder zustandsabhängiges Wissen erwirbt, das später eventuell revidiert werden muß, weil es in Widerspruch

Lernende Systeme

Seite 39

zu neuem Wissen gerät. Auch ist es möglich, daß Default-Annahmen im Lichte neuer Erkenntnis des Lernsystems hinfällig werden und zurückgezogen werden müssen (nichtmonotone Inferenzen). 4)Erweiterbarkeit der Repräsentation: Die Mächtigkeit des Repräsentationsformalismus reflektiert seine generative Struktur, d.h. das, was das Lernsystem potentiell zu repräsentieren und damit zu lernen in der Lage ist: Der Formalismus legt den potentiell erfaßbaren Kandidaten- oder Beschreibungsraum fest. Für diese Einschränkung des von einem Lernsystem Erlernbaren und der dadurch bewirkten Gerichtetheit auf das Erlernen nur ganz bestimmter, in der Repräsentationssprache ausdrückbarer Sachverhalte, wird in der Literatur oft auch der Begriff representational bias verwendet. Das Problem der eingeschränkten Ausdrucksmächtigkeit eines Repräsentationsformalismus wirft oft die Frage nach möglichen Erweiterungen des Formalismus und der Einführung neuer Begriffe auf. Um die Repräsentationssprache automatisch erweitern zu können, muß jedoch erst einmal der Mangel an Ausdrucksmächtigkeit als solcher vom System erkannt und danach eine geeignete Erweiterung durchgeführt werden (vgl. [Wrobel 88]). Vor diesem Hintergrund muß auch ein eventueller Wechsel des Repräsentationsformalismus während der Lernvorgänge (engl. representational shift) oder die Darstellung des Wissens in multiplen, gleichzeitig vorhandenen Repräsentationen gesehen werden (engl. multiple representation oder co-representation). Dies wird im Abschnitt "Repräsentationswechsel" genauer beschrieben. Der oder die verwendeten Wissensrepräsentationsformalismen legen fest, welche Prozesse darauf effizient arbeiten können und sie bestimmen in gewisser Hinsicht auch die potentiellen Grenzen des Erlernbaren, den potentiellen Erkenntnisraum des Lernsystems. Eine Repräsentation kann als Abbildung zwischen abstrakten Objekten oder Ereignissen und konkreten Objekten wie zum Beispiel eines Strings in einer formalen Sprache oder einem anderen Repräsentationsmechanismus gesehen werden. ML-Systeme können beispielsweise Parameter eines technischen Prozesses, algebraische Ausdrücke, strukturelle oder funktionale Beschreibungen physikalischer Objekte, Klassifikationstaxonomien, Planungsregeln, Problemlöseheuristiken, Handlungssequenzen für Roboteraktionen oder ähnliches lernen. Warnung: Trotz partieller Übereinstimmungen in den Bezeichnungen sind die verwendeten Formalismen zur Repräsentation des gelernten Wissens von den Lernzielen zu unterscheiden. Die Palette an verfügbaren Wissensrepräsentationsformalismen sei im folgenden (sehr kurz) skizziert. Sie stellt ein weiteres Klassifikationskriterium für ML-Systeme dar.

5.1. Die Form der Wissensbasis 5.1.1. Merkmalsvektoren Merkmalsvektoren (engl. feature vectors) beschreiben Objekte durch (meist numerische) Tupel einer festen und geordneten Anzahl von Merkmalsausprä-

Seite 40

Lernende Systeme

gungen. Die Merkmale können nur Werte aus einem bestimmten Wertebereich annehmen, der wiederum diskret oder kontinuierlich sein kann. Im Unterschied zu sog. symbolischen Repräsentationen wie etwa (color block23 red) oder (name: Flash Gordon), die Prädikate, Attribute und ähnliches in einer formalen Sprache explizit verwenden und entsprechende Inferenzmechanismen (z.B. Deduktion) zur Verfügung stellen, kodieren Merkmalsvektoren solche Informationen nur. Das Verständnis eines Merkmalsvektors setzt daher eine vorher getroffene Verabredung voraus; diese Verabredung kann für verschiedene Teile eines Programmes ganz unterschiedlich sein. So könnte etwa die geometrische Form eines Objektes ein Viertupel sein, das in der gegebenen Reihenfolge die Höhe, Breite, Tiefe und Rundheit (z.B. von 0 bis 7) des Objektes angibt. beschreibt dann z.B. einen kleinen Würfel, ein großes, flaches Oval. Da die Vektoren feste Längen haben und die möglichen Werte vordefiniert sind, lassen sie sich einfach durch Konkatenation ihrer Bitrepräsentation in Bitstrings überführen, im Beispiel ergibt dies 0 0 1 0 0 1 0 0 1 0 0 0 und 101111000111. In einem anderen Zusammenhang können diese Strings aber etwas ganz anderes kodieren; eine feste sprachliche Verabredung für die Bedeutung von Bitstrings existiert nicht, und deshalb kann man auch keine allgemeinen Inferenzmechanismen formulieren. Die Vorteile solcher Repräsentationen sind ihre leichte Manipulierbarkeit. Die Nachteile liegen in der bescheidenen Mächtigkeit der Repräsentation und der Tatsache, daß die Kodierung stets neu vorgenommen werden muß. Die strukturelle Einfachheit der Merkmalsvektoren bedingt, daß komplexe Strukturen nicht adäquat, d.h. für den Benutzer verständlich wiedergegeben werden können. Für manche Anwendungen, wie etwa digitalisierte Bilder oder Geräusche, sind Bitstrings aber geradezu prädestiniert, denn dort liegen die Informationen bereits als Bitfolgen vor. 5.1.2. Parameter in algebraischen Ausdrücken Parameter in algebraischen Ausdrücken sind normalerweise Zahlen oder (gewichtete) Koeffizienten in Formeln bekannter Struktur und werden vorzugsweise zur Repräsentation numerischen Wissens verwendet. Lernen in diesem Kontext kann als Finden und Optimieren numerischer Parameter und Koeffizienten zur Erfüllung eines Gütekriteriums (z.B. in der adaptiven Regelung) gesehen werden. Werden nicht nur Parameter in bereits bekannten, strukturell festen algebraischen Ausdrücken, sondern auch die Struktur der algebraischen Ausdrücke als Formeln von Funktionen selbst erlernt, so spiegelt sich hierin Wissen über die Abhängigkeit zwischen Eingangsgrößen und Funktionswert wider. Beispiele für parametrisches Lernen sind das Optimieren von Regelkreisen sowie das Optimieren und die Adaption von Trajektorien in der Robotik. Auch eines der bekanntesten klassischen Lernsysteme, Samuels CHECKERS Programm (s.[Samuel 59]), verwendete algebraische Ausdrücke und Parameterjustierung zur Evaluation von Brettkonfigurationen beim Damespiel. 5.1.3. Weitere Repräsentationsformalismen Auf die üblichen in der KI verwendeten Repräsentationsformalismen soll nur andeutungsweise eingegangen werden. Ihre Kenntnis wird hier vorausge-

Lernende Systeme

Seite 41

setzt; wir interessieren uns nur für den Zusammenhang mit Lernvorgängen und werden einige Formalismen in dieser Beziehung kurz andiskutieren. Assoziierte Paare von Eingangsvariablen und Ausgangsvariablen: Tabellen aus Paaren von Eingangs- und Ausgangsvariablen (Attribut-WertePaare) repräsentieren diskretes, statisches Wissen über den Zusammenhang von Variablen. Lernen konstituiert sich hier als Zuordnung von Eingangsvariablen zu Ausgangsvariablen in Form von Zustandstafeln, wobei ein kausaler Zusammenhang und eine innere Struktur der dadurch beschriebenen Objekte nicht berücksichtigt wird. Entscheidungsbäume: Entscheidungsbäume sind Bäume, deren Knoten mit relevanten Attributen von Objekten oder Situationen korrespondieren und somit Entscheidungen repräsentieren, wobei Nicht-Terminalknoten Fragen oder Auswahlmöglichkeiten darstellen. Von den Knoten wegführende Kanten sind mit alternativen Werten dieser Attribute, also mit Antworten assoziiert. Blätter des Entscheidungsbaums entsprechen Mengen von Objekten oder Situationen der gleichen Klasse. Hauptverwendungszweck von Entscheidungsbäumen ist die Erkennung und Zuordnung von Objekten und Situationen zu Klassen. Gelernt werden können gute oder optimale Pfade durch den Baum. Grammatiken in formalen Sprachen: Solche Grammatiken werden hauptsächlich beim Erlernen von Sprachen verwendet. Produktionsregeln: Die Verwendung von Produktionsregeln stellten ein verbreitetes, einfaches und auch im Maschinellen Lernen oft verwendetes Verfahren zur Repräsentation von Wissen dar. Neben der Konstruktion neuer Regeln durch die Lernfunktion können im wesentlichen drei weitere Grundoperationen unterschieden werden: •

Generalisierung einer Produktionsregel: Der Bedingungsteil der Produktionsregel wird weniger restriktiv ausgelegt, so daß die Regel bei einer größeren Situationsmenge feuern kann. Dies kann beispielsweise durch Weglassen eines Konjunkts bei konjunktiv verknüpften Bedingungen oder durch Ersetzen von Konstanten durch Variable erreicht werden.

•

Spezialisierung einer Produktionsregel: In den Bedingungsteil der Produktionsregel werden zusätzliche Bedingungen eingeführt, so daß die Regel weniger häufig feuern kann, weil sie nur noch einen kleineren Teil der Situationen erfaßt.

•

Komposition von Produktionsregeln: Mehrere Produktionsregeln werden zu einer komplexen Regel zusammengefaßt. Dadurch lassen sich redundante Bedingungen oder Aktionen vermeiden.

Logische Sprachen: Ausdrücke und Formalismen von (klassischen und nichtklassischen) logischen Sprachen verwenden in der Regel eine der Syntax der Aussagen- oder Prädikatenlogik verwandte Form und haben eine damit verbundene

Seite 42

Lernende Systeme

wohldefinierte Semantik. Sie beschreiben strukturierte Objekte, Situationen und Konzepte mit formalen logischen Ausdrücken, die aus Prädikaten, Variablen und Restriktionen über Variablen zusammengesetzt sind. Gelernt werden kann eine Vielzahl von Dingen wie allgemeine Begriffe, spezielle Zusammenhänge etc. Graphen, Netzwerke, Semantische Netze: Auch hier sind generell keine speziellen Lernvorgänge favorisiert. Ist die Darstellung mehr von den Graphen dominiert, dann überwiegen Lernmechanismen, wie sie bei Entscheidungsbäumen vorkommen. Ein häufiger Fall sind gewichtete Kanten; die Gewichte stellen wichtige Inhalte des Netzes dar und sind der Lerngegenstand vieler Lernverfahren (besonders bei konnektionistischen Ansätzen). Auf Graphen und Netzen operierende Lernverfahren verwenden oft Methoden wie Graphtransformation und Graphmatching, um Ähnlichkeits- und Vergleichsoperationen durchzuführen. Frames: Dies sind so allgemeine Formalismen, daß man mit ihnen keine speziellen Lernvorgänge assoziieren kann. Prozeduren und Funktionen: Die Darstellung von Wissen durch Prozeduren oder Funktionen ist besonders für Aktionssequenzen geeignet, wie sie etwa beim Erlernen von Bewegungstrajektorien eines Fertigungsroboters vorkommen.

5.2. Inhalt der Wissensbasis Der Inhalt der Wissensbasis ist ein zentraler Aspekt bei der Klassifikation von Lernsystemen. Kein Lernsystem ist in der Lage, von absolut gar keinem Anfangswissen ausgehend neues Wissen zu erzeugen. Eine gewisse Menge anfänglich vorhandenen Initialwissens muß zum Verständnis und zur Interpretation der vom Erfahrungsgenerator γ des Lernsystems gelieferten Information immer vorhanden sein. Dieses Initialwissen — in der eingeführten Terminologie als R0 in der Lernsequenz bezeichnet — kann anwendungsspezifisches Wissen über die Domänen oder auch Metawissen in Form von allgemeinen Problemlöseheuristiken oder Kontrollwissen oder beides sein. Im Lichte dieses Wissens und der dem Lernsystem dargebotenen Erfahrungen sowie unter Berücksichtigung des Lernziels G, das ebenfalls zum Initialwissen gehört, müssen dann auch die vom Lernsystem erzeugten Hypothesen evaluiert und ggf. verfeinert werden, die als neues Wissen in die Wissensbasis integriert werden. Nicht alle ML-Systeme verfügen jedoch über ein Initialwissen, das auch Wissen über die Domänen enthält. Hier ergibt sich eine Unterscheidungsmöglichkeit in Systeme mit und Systeme ohne Domänentheorie. Als das dem Lernsystem verfügbare Wissen R wurden bereits eingeführt: •

das Hintergrundwissen B (von engl. background knowledge), das - das Lernziel G,

Lernende Systeme

Seite 43

- das Domänenwissen D und - das Metawissen M umfaßt, •

sowie neues, von der Lernfunktion λ generiertes Wissen, in der eingeführten Terminologie also die Hypothesen H .

Die Aufteilung des im Lernsystem insgesamt vorkommenden Wissens in genau diese Komponenten ist inhaltlich motiviert. Das Initialwissen R0 ist das dem System zu Beginn des Lernens initial mitgeteilte Lernziel G, das eventuell vorhandene Domänenwissen D sowie das Metawissen M : R 0 =G ∪ D ∪ M Unter dem Hintergrundwissen B wird dann das dem Lernsystem insgesamt während eines jeden Lernschrittes Ri µ Ri+1 zur Verfügung stehende Wissen in der Wissensbasis R verstanden. Dieses Hintergrundwissen umfaßt damit das bereits anfangs vorhandene Initialwissen G ∪ D ∪ M. Die von der Lernfunktion λ generierten Hypothesen H, modifiziertes bzw. erweitertes Domänenwissen oder eventuell aufbewahrte Erfahrungen E sind dabei nicht einbezogen. Bemerkung: In der ML-Literatur wird der Begriff Hintergrundwissen gelegentlich mit dem Begriff Domänenwissen oder dem Begriff Metawissen gleichgesetzt. Eine Bemerkung zum Verhältnis von Hintergrundwissen zu analytischen und empirischen (bzw. synthetischen) Methoden sei hier an dieser Stelle bereits erwähnt: Der Unterschied besteht nicht so sehr in der Menge des vorhandenen Hintergrundwissens, sondern in der Art, wie es verwendet wird. Analytisches Lernen verwendet es zur Entdeckung von Eigenschaften innerhalb eines Beispiels (Intra-Beispiel Eigenschaften), empirisches Lernen kann es zur Entdeckung von Eigenschaften zwischen mehreren Beispielen benutzen (Inter-Beispiel Eigenschaften).

5.3. Das Lernziel Das Lernziel G (von engl. goal of learning) eines Lernsystems bestimmt die vom Erfahrungsgenerator γ zu erzeugenden Erfahrungen und die Evaluationsfunktion ν des Lernsystems verwendet das Lernziel G zur Überprüfung, ob die bisher erreichte Repräsentation akkurat genug ist, ob also das Lernziel erreicht und die Lernvorgänge daher abgebrochen werden können. Das Lernziel beinhaltet auch den Lerngegenstand. Seine genaue Festlegung kann •

explizit anhand von Güte- oder Qualitätskriterien,

•

durch konkrete initiale Vorgabe des Lernziels, oder auch

•

implizit durch die beim Lernen Verwendung findenden Algorithmen erfolgen.

Seite 44

Lernende Systeme

Einige der typischen Lernaufgaben und Lernziele von ML-Systemen sollen im folgenden vorgestellt werden; teilweise werden diese und andere noch gesondert ausführlich diskutiert. 5.3.1. Klassifikatoren und Lernen von Klassifikationen Ausgehend von einer Grundmenge M ist es das Ziel einer Klassifikation, die Elemente von M vorgegebenen Klassen zuzuordnen, die die Menge M partitionieren. Klassifikationen werden durch Klassifikatoren vorgenommen:

Definition: (i) Ein Klassifikator für eine Menge M ist eine Abbildung f:M µ I wobei I eine Menge ist, die Indexmenge genannt wird. (ii) Wenn I = { 0,1}, dann heißt P = {x | f(x) = 1} die Menge der positiven und N = {x | f(x) = 0} die Menge der negativen Elemente.

Die Menge I indiziert also die einzelnen Klassen. In einer Lernsituation ist diese Zuordnung normalerweise durch Beispiele vorgegeben und soll auf dieser Basis für alle Elemente gelernt werden. Zu den Standardaufgaben der Klassifikation gehören die meisten Probleme der Mustererkennung. Auf sie wird noch ausführlich im Teil "Konnektionismus" eingegangen. In vielen Fällen kann man die Klassifikationsaufgabe auch mit einer Diagnoseaufgabe gleichsetzen. Ein Klassifikator ( also die Funktion f ) ist ein mathematisches Objekt und insofern streng von einer möglichen Beschreibung zu unterscheiden. Klassifikatorbeschreibungen können auf sehr unterschiedliche Weise geschehen. So ist z. B. eine prädikatenlogische Formel P(x) eine Klassifikatorbeschreibung, die die Grundmenge in zwei Klassen einteilt (je nachdem, ob die Elemente die Formel erfüllen oder nicht, gehören sie zu P oder N). Wichtig ist. a) Eine Klassifikatorbeschreibung definiert einen eindeutig bestimmten Klassifikator; b) Zwei Klassifikatorbeschreibungeg können denselben Klassifikator definieren.

5.3.2. Konzeptlernen Konzpte sind als Klassifikatorbeschreibungen gedacht (in der Form von Verallgemeinerungen prädikatenlogischer Formeln), werden aber oft auch mit den Klassifikatoren selbst identifiziert. Das Lernen von Konzepten (in der

Lernende Systeme

Seite 45

englischsprachigen Literatur mit concept learning, concept acquisition, concept identification oder auch concept formation bezeichnet) ist sozusagen die prototypische und klassische Aufgabe des Maschinellen Lernens. Die Aufgabe lautet: Ausgehend von Beispielen (positive Beispiele) und/oder Gegenbeispielen (negative Beispiele) eines Konzepts über einer Menge M, finde eine Konzeptbeschreibung, die alle positiven, aber keins der negativen Elemente erfaßt; gelernt werden soll also das (unbekannte) Konzept. In der objektorientierten Repräsentation haben wir folgende Entsprechungen: •

Klasse ∫ Konzept und

•

Instanz der Klasse ∫ Beispiel des Konzepts.

Beim Konzeptlernen ist ein Lehrer vorhanden. Die dem Lernsystem dargebotenen Beispiele sind nämlich vom Lehrer als "positiv" oder "negativ" vorklassifiziert. Gesucht ist eine Konzepterkennungsfunktion:

positive Beispiele P

negative Beispiele N

Konzept K(X) Konzepterkennungsfunktion

Genauer: Es sei B ∑ M eine Menge von Beispielen und K eine Menge von einstelligen Prädikaten ("Konzepten") über der Menge M.

Definition: (i) Eine Beispieldarbietung ist ein Paar (P,N) mit P ∪ N ∑ B; die Elemente von P heißen positive und die von N negative Beispiele. (ii) Eine Konzepterkennungsfunktion eine Abbildung KE : {(P,N)| (P,N) Beispieldarbietung} µ K sodaß für Q(x)=KE (P,N) gilt: (a) Q(b) gilt für alle b  P (b) ¬Q(b) gilt für alle b  N

Seite 46

Lernende Systeme

Eine Konzepterkennungsfunktion generiert also aus Beispielen eine Klassifikatorbeschreibung. (ii) (a) heißt auch die Vollständigkeitsforderung (Erkennen aller positiven Beispiele eines Konzepts) und (b) heißt die Konsistenzforderung (Zurückweisung aller negativen Beispiele). Eine Konzepterkennungsfunktion realisiert einen induktiven Schluß. Im Bild: Vollständig, aber nicht konsistent:

+

-

Konsistent, aber nicht vollständig

+

-

Ein wichtiges Ziel ist natürlich daß das generierte Konzept nicht nur für die vorgelegten Beispiele sondern auch für die unbekannten Elemente von M vollständig und korrekt ist. Im allgemeinen wird es für eine Beispieldarbietung viele im obigen Sinne korrekte Konzepte geben:

+

-

Ein Optimierungskriterium für die Konzepterkennung kann dann sein, für eine bestimmte Klasse von Beispieldarbietungen minimale korrekte Konzepte zu generieren. Daneben gibt es aber gewöhnlich noch andere Kriterien. Im allgemeinen ist das Finden von Konzepterkennungsfunktionen ein mehrdimensionales Optimierungsproblem. Die Pragmatik der Konzepterkennung besteht natürlich darin, die Klassenzugehörigkeit weiterer Instanzen als nur der am Lernvorgang beteiligten zu entscheiden. Über die Art der Prädikate, die die Konzepte beschreiben, ist im allgemeinen nichts ausgesagt. Die Konzeptbeschreibungen können sowohl strukturelle als auch funktionale Beschreibungen sein. Oft können die Konzepte in Form konjunktiv verknüpfter Aussagen beschrieben werden. Diese Aussagen spezifizieren •

Eigenschaften und Attributwerte von das gegebene Konzept repräsentierenden Objekten,

•

Relationen zwischen Teilen von Objekten und

•

Eigenschaften dieser Objektteile.

Lernende Systeme

Seite 47

Ein spezielles Problem beim Konzeptlernen ist das Lernen von Konzepten, deren Beschreibung variabel und zeitlichen Veränderungen unterworfen ist. Solche Konzepte werden auch drifting concepts genannt. Beispielsweise können Klimaveränderungen in einer Umgebung Änderungen an Objekten in dieser Umgebung bewirken, deren Beschreibung oder Verhalten dann ebenfalls anders ist oder verändert wird. 5.3.3. Begriffliches Gruppieren Es handelt sich hierbei um eine Erweiterung bzw. Variation sowohl des Konzeptlernens wie auch der Klassifikation. Unter der Aufgabe des Gruppierens (engl. clustering) wird das Zusammenfassen von Erfahrungen (Beobachtungen, Objekten, Fakten usw.) in bestimmte Klassen verstanden. Beim begrifflichen Gruppieren (conceptual clustering) sollen diese Klassen mit bestimmten deskriptiven Konzepten der vorhandenen sprachlichen Ausdrucksmöglichkeiten korrespondieren. Im Unterschied zur Klassifikationsaufgabe aus 5.3.1 sind hier die Klassen (auch ihre Anzahl) nicht vorgegeben, sondern müssen erst entdeckt werden. Anmerkung: Die Terminologie ist hier in der Literatur nicht einheitlich! Eine generelle Möglichkeit zur Gruppenbildung ist wieder die Verwendung eines Ähnlichkeitsmaßes. Ein Ähnlichkeitsmaß kann auf mehrere Weisen zur Gruppenbildung verwendet werden. Eine Möglichkeit ist, die Gruppen so zu bilden, daß für jedes xM und jede Gruppe G gilt: xG

∫

(æy) (y  G å y ≠ x å µ(x,y) > α) √ ((Æ y) (µ(x,y) ≤ α) å G={x}),

dabei ist α ein fester Schwellwert, 0