Kapitel 4

Anwendung des überwachten Lernens

Wann ist das überwachte Lernen sinnvoll?

Ein Algorithmus zum überwachten Lernen nimmt also einen bekannten Eingabedatensatz (den Trainingssatz) und bekannte Reaktionen auf die Daten (Ausgabe) und trainiert damit ein Modell, um begründete Vorhersagen für die Reaktion auf neue Eingabedaten zu erstellen. Das überwachte Lernen wird empfohlen, wenn die Daten für die zu prognostizierende Ausgabe bekannt sind.

Alle Techniken des überwachten Lernens stellen eine Form der Klassifizierung oder Regression dar.

Klassifizierungstechniken ermöglichen die Vorhersage diskreter Reaktionen – etwa ob eine E-Mail authentisch oder Spam ist oder ob ein Tumor klein, mittel oder groß ist. Klassifizierungsmodelle werden trainiert, um Daten in Kategorien zu klassifizieren. Zu den Anwendungsmöglichkeiten gehören beispielsweise die medizinische Bildgebung, Spracherkennung und Bonitätsprüfungen.

Regressionsverfahren sagen kontinuierliche Reaktionen voraus, z. B. Temperaturänderungen oder Schwankungen des Strombedarfs. Zu den Anwendungsmöglichkeiten gehören die Vorhersage von Aktienkursen, die Handschrifterkennung und die Verarbeitung akustischer Signale.

Auswahl des richtigen Algorithmus

Wie wir in Kapitel 1 gesehen haben, ist die Auswahl eines Machine-Learning-Algorithmus mit einer Reihe von Versuchen und Misserfolgen verbunden. Sie ist außerdem ein Kompromiss zwischen bestimmten Charakteristiken der Algorithmen, wie z. B.

  • Trainingsgeschwindigkeit
  • Speichernutzung 
  • Vorhersagegenauigkeit bei neuen Daten
  • Transparenz oder Interpretierbarkeit (wie leicht man die Gründe verstehen kann, warum ein Algorithmus seine Vorhersagen macht)

Gängige Klassifizierungsalgorithmen

  • Logistische Regression

    SO FUNKTIONIERT'S
    Passt ein Modell an, das die Wahrscheinlichkeit vorhersagen kann, dass eine binäre Antwort zu der einen oder anderen Klasse gehört. Aufgrund ihrer Einfachheit wird die logistische Regression häufig als Ausgangspunkt für binäre Klassifizierungsprobleme verwendet.

    AM BESTEN IST ES, ...

    • ... wenn Daten eindeutig durch eine einzige, lineare Grenze getrennt werden können
    • ... wenn dies als Grundlage für die Bewertung komplexerer Klassifizierungsmethoden dient
    Generische Grafik einer logistischen Regression

  • k-Nächster Nachbar (kNN)

    SO FUNKTIONIERT'S
    kNN kategorisiert Objekte auf der Grundlage der Klassen ihrer nächsten Nachbarn im Datensatz. kNN-Vorhersagen gehen davon aus, dass nahe beieinander liegende Objekte einander ähneln. Abstandsmetriken wie Euklidischer Abstand, Stadtblock, Kosinus und Tschebyscheff werden verwendet, um den nächsten Nachbarn zu finden.

    AM BESTEN IST ES, ...

    • ... wenn man einen einfachen Algorithmus zur Festlegung von Benchmark-Lernregeln benötigt
    • ... wenn die Speichernutzung des trainierten Modells eine geringere Rolle spielt
    • ... wenn die Vorhersagegeschwindigkeit des trainierten Modells eine untergeordnete Rolle spielt
    Generische Grafik eines k-nächsten Nachbarn

  • Support-Vektor-Maschine (SVM)

    SO FUNKTIONIERT'S
    Klassifiziert Daten, indem es die lineare Entscheidungsgrenze (Hyperebene) findet, die alle Datenpunkte einer Klasse von denen der anderen Klasse trennt. Die beste Hyperebene für eine SVM ist diejenige, die den größten Abstand zwischen den beiden Klassen aufweist, wenn die Daten linear trennbar sind. Wenn die Daten nicht linear trennbar sind, wird eine Verlustfunktion verwendet, um Punkte auf der falschen Seite der Hyperebene zu bestrafen. In manchen Fällen verwenden SVMs eine Kernel-Transformation, um nichtlinear trennbare Daten in höhere Dimensionen zu transformieren, in denen eine lineare Entscheidungsgrenze gefunden werden kann.

    AM BESTEN IST ES, ...

    • ... wenn es für Daten verwendet wird, die genau zwei Klassen haben (man kann sie ebenfalls für die Multiklassenklassifizierung mit einer Technik namens fehlerkorrigierende Ausgabecodes verwenden)
    • ... wenn es für hochdimensionale, nichtlinear separierbare Daten verwendet wird
    • ... wenn ein einfacher, leicht zu interpretierender und genauer Klassifikator benötigt wird
    Übersicht über eine Support-Vektor-Maschine

  • Neuronale Netze

    SO FUNKTIONIERT'S
    Ein neuronales Netz, das dem menschlichen Gehirn nachempfunden ist, besteht aus hochgradig vernetzten Neuronen, die die Eingaben mit den gewünschten Ausgaben verbinden. Das Netz wird trainiert, indem die Stärke der Verbindungen iterativ so verändert wird, dass die gegebenen Eingaben die richtige Reaktion hervorrufen.

    AM BESTEN IST ES, ...

    • ... wenn es zur Modellierung von hochgradig nichtlinearen Systemen verwendet wird
    • ... wenn die Daten inkrementell verfügbar sind und das Modell regelmäßig aktualisiert werden soll
    • ... wenn es unerwartete Änderungen in den Eingangsdaten geben könnte
    • ... wenn die Interpretierbarkeit des Modells kein entscheidendes Kriterium ist
    Übersicht über ein neuronales Netz

  • Naive Bayes

    SO FUNKTIONIERT'S
    Ein naiver Bayes-Klassifikator setzt voraus, dass das Vorhandensein eines bestimmten Merkmals in einer Klasse in keinem Zusammenhang mit dem Vorhandensein eines anderen Merkmals steht. Dabei werden neue Daten auf der Grundlage der höchsten Wahrscheinlichkeit ihrer Zugehörigkeit zu einer bestimmten Klasse klassifiziert.

    AM BESTEN IST ES, ...

    • ... bei einem kleinen Datensatz mit vielen Parametern
    • ... wenn ein leicht zu interpretierender Klassifikator benötigt wird
    • ... wenn das Modell auf Szenarien stößt, die nicht in den Trainingsdaten enthalten waren, wie es bei vielen Finanz- und Medizinanwendungen der Fall ist
    Übersicht über ein naives Bayes-Modell

  • Diskriminanzanalyse

    SO FUNKTIONIERT'S
    Die Diskriminanzanalyse klassifiziert Daten, indem sie lineare Kombinationen von Merkmalen findet. Bei der Diskriminanzanalyse wird davon ausgegangen, dass verschiedene Klassen Daten auf der Grundlage von Gaußverteilungen erzeugen. Das Training eines Diskriminanzanalysemodells beinhaltet die Ermittlung der Parameter für eine Gaußverteilung für jede Klasse. Die Verteilungsparameter werden zur Berechnung der Grenzen verwendet, bei denen es sich um lineare oder quadratische Funktionen handeln kann. Diese Grenzen werden verwendet, um die Klasse der neuen Daten zu bestimmen.

    AM BESTEN IST ES, ...

    • ... wenn man ein einfaches und leicht zu interpretierendes Modell wünscht
    • ... wenn die Speichernutzung während des Trainings ein Problem darstellt
    • ... wenn ein Modell benötigt wird, das schnelle Vorhersagen ermöglicht
    Übersicht über ein Diskriminanzanalysemodell

  • Entscheidungsbaum

    SO FUNKTIONIERT'S
    Mit einem Entscheidungsbaum lassen sich Reaktionen auf Daten vorhersagen, indem man die Entscheidungen im Baum von der Wurzel (dem Anfang) bis hinunter zu einem Blattknoten verfolgt. Ein Baum besteht aus mehreren Verzweigungsbedingungen, bei denen der Wert eines Prädiktors mit einem trainierten Gewicht verglichen wird. Die Anzahl der Verzweigungen und die Werte der Gewichte werden im Trainingsprozess festgelegt. Zur Vereinfachung des Modells können zusätzliche Modifikationen (Pruning) vorgenommen werden.

    AM BESTEN IST ES, ...

    • ... wenn ein Algorithmus gefragt ist, der einfach zu interpretieren und schnell anzupassen ist
    • ... wenn es zur Minimierung der Speichernutzung verwendet wird
    • ... wenn eine hohe Vorhersagegenauigkeit keine Anforderung ist
    Übersicht über einen Entscheidungsbaum

  • Bootstrap-aggregierte ("bagged") und geboostete Entscheidungsbäume

    SO FUNKTIONIERT'S
    Bei diesen Ensemble-Methoden werden mehrere „schwächere“ Entscheidungsbäume zu einem „stärkeren“ Ensemble zusammengefasst.

    Beim Bootstrap aggregating (Bagging) besteht der Entscheidungsbaum aus Bäumen, die unabhängig voneinander auf Daten trainiert werden, die aus den Eingabedaten erzeugt wurden.

    Beim Boosting wird ein leistungsstarker Lerner erstellt, indem iterativ „schwache“ Lerner hinzugefügt werden und das Gewicht jedes schwachen Lerners angepasst wird, um sich auf falsch klassifizierte Beispiele zu konzentrieren.

    AM BESTEN IST ES, ...

    • ... wenn die Prädiktoren kategorisch (diskret) sind oder sich nichtlinear verhalten
    • ... wenn die Zeit, die zum Trainieren eines Modells benötigt wird, zweitrangig ist
    Übersicht über gepackte und geboostete Entscheidungsbäume

Gängige Regressionsalgorithmen

  • Lineare Regression

    SO FUNKTIONIERT'S
    Die lineare Regression ist eine statistische Modellierungstechnik, mit der eine kontinuierliche Antwortvariable als lineare Funktion einer oder mehrerer Vorhersagevariablen beschrieben werden kann. Da lineare Regressionsmodelle einfach zu interpretieren und leicht zu trainieren sind, sind sie oft das erste Modell, das an einen neuen Datensatz angepasst wird.

    AM BESTEN IST ES, ...

    • ... wenn ein Algorithmus gefragt ist, der einfach zu interpretieren und schnell anzupassen ist
    • ... wenn dies Grundlage für die Bewertung anderer, komplexerer Regressionsmodelle verwendet wird
    Übersicht über eine lineare Regression

  • Nichtlineare Regression

    SO FUNKTIONIERT'S
    Die nichtlineare Regression ist eine statistische Modellierungstechnik, mit der sich nichtlineare Beziehungen in experimentellen Daten beschreiben lassen. Bei nichtlinearen Regressionsmodellen wird in der Regel davon ausgegangen, dass sie parametrisch sind, d. h., das Modell wird als nichtlineare Gleichung beschrieben.

    Dabei bezieht sich „nichtlinear“ auf eine Anpassungsfunktion, die eine nichtlineare Funktion der Parameter ist. Wenn die Anpassungsparameter zum Beispiel b0, b1 und b2 lauten: Die Gleichung y = b0+b1x+b2x2 ist eine lineare Funktion der Anpassungsparameter, während y = (b0xb1)/(x+b2) eine nichtlineare Funktion der Anpassungsparameter ist.

    AM BESTEN IST ES, ...

    • ... wenn die Daten ausgeprägte nichtlineare Trends aufweisen und nicht ohne Weiteres in einen linearen Raum übertragen werden können
    • ... dies zur Anpassung benutzerdefinierter Modelle an Daten zu verwenden
    Übersicht über eine nichtlineare Regression

  • Gauß'sches Prozessregressionsmodell

    SO FUNKTIONIERT'S
    Die Modelle der Gauß‘schen Prozessregression (GPR) sind nichtparametrische Modelle, die für die Vorhersage des Wertes einer kontinuierlichen Antwortvariablen verwendet werden. Sie werden häufig im Bereich der räumlichen Analyse zur Interpolation bei bestehender Ungenauigkeit verwendet. Die GPR wird auch als Kriging bezeichnet.

    AM BESTEN IST ES, ...

    • ... wenn dies zur Interpolation räumlicher Daten, wie z. B. hydrogeologischer Daten zur Verteilung des Grundwassers, verwendet wird
    • ... wenn dies als Ersatzmodell zur leichteren Optimierung komplexer Konstruktionen wie z. B. Automotoren verwendet wird
    Übersicht über ein Gauß‘sches Prozessregressionsmodell

  • SVM-Regression

    SO FUNKTIONIERT'S
    SVM-Regressionsalgorithmen funktionieren wie SVM-Klassifizierungsalgorithmen, sind aber so modifiziert, dass sie eine kontinuierliche Antwort vorhersagen können. Anstatt eine Hyperebene zu finden, die die Daten trennt, finden SVM-Regressionsalgorithmen ein Modell, das von den gemessenen Daten nur um einen kleinen Wert abweicht, wobei die Parameterwerte so klein wie möglich sind (um die Fehleranfälligkeit zu minimieren).

    AM BESTEN IST ES, ...

    • ... wenn es für hochdimensionale Daten (bei denen es eine große Anzahl von Prädiktorvariablen gibt) verwendet wird
    Übersicht über eine SVM-Regression

  • Verallgemeinertes lineares Modell

    SO FUNKTIONIERT'S
    Ein verallgemeinertes lineares Modell ist ein Spezialfall von nichtlinearen Modellen, die lineare Methoden verwenden. Dabei wird eine lineare Kombination der Eingänge an eine nichtlineare Funktion (die Verknüpfungsfunktion) der Ausgänge angepasst.

    AM BESTEN IST ES, ...

    • ... wenn die Antwortvariablen nicht normal verteilt sind, z. B. eine Antwortvariable, von der erwartet wird, dass sie immer positiv ist
    Übersicht über ein verallgemeinertes lineares Modell

  • Regressionsbaum

    SO FUNKTIONIERT'S
    Entscheidungsbäume für die Regression ähneln den Entscheidungsbäumen für die Klassifizierung, sind aber so modifiziert, dass sie kontinuierliche Antworten vorhersagen können.

    AM BESTEN IST ES, ...

    • ... wenn die Prädiktoren kategorisch (diskret) sind oder sich nichtlinear verhalten
    Übersicht über einen Regressionsbaum