{"id":7215,"date":"2021-08-01T14:09:23","date_gmt":"2021-08-01T14:09:23","guid":{"rendered":"https:\/\/rocketloop.de\/?p=7215"},"modified":"2021-09-08T15:51:57","modified_gmt":"2021-09-08T15:51:57","slug":"model-validation-overfitting-underfitting","status":"publish","type":"post","link":"https:\/\/rocketloop.de\/de\/blog\/modellvalidierung-overfitting-underfitting\/","title":{"rendered":"Modellvalidierung: Problembereiche und L\u00f6sungen - Overfitting und Underfitting"},"content":{"rendered":"

Beim Machine Learning<\/a> geht es um die Verwendung und Entwicklung von Computersystemen, die in der Lage sind, zu lernen und sich anzupassen, ohne dabei explizite Anweisungen zu befolgen. Daf\u00fcr verwenden sie Algorithmen und statistische Modelle, um Muster in Daten zu analysieren und daraus eigenst\u00e4ndig R\u00fcckschl\u00fcsse f\u00fcr zuk\u00fcnftige Analysen zu ziehen. Die Ergebnisse eines solchen Modelltrainings k\u00f6nnen in weiterer Folge f\u00fcr die Erstellung von Vorhersagen (mit unbekannten Daten) verwendet werden.<\/p>\n\n\n\n

Ein Modell ist eine destillierte Darstellung dessen, was ein maschinelles Lernsystem gelernt hat. Ein solches ist mit mathematischen Funktionen vergleichbar:<\/p>\n\n\n\n

  1. Es nimmt eine Anfrage in Form von Eingabedaten entgegen,<\/li>
  2. trifft eine Vorhersage zu diesen<\/li>
  3. und liefert aufgrund von dieser wiederum eine Antwort auf eine bestimmte Fragestellung.<\/li><\/ol>\n\n\n\n

    Das Programmieren und Trainieren (mit bekannten Datens\u00e4tzen) des Algorithmus ist dabei der erste wichtige Schritt. Die \u00dcberpr\u00fcfung, ob er auch f\u00fcr unbekannte Datens\u00e4tze - und damit in der Praxis - angewandt werden kann, der zweite. Denn nur durch diese \u00dcberpr\u00fcfung wissen wir anschlie\u00dfend, ob das Modell tats\u00e4chlich funktioniert und wir seinen Vorhersagen vertrauen k\u00f6nnen. Ansonsten k\u00f6nnte es sein, dass der Algorithmus die Daten, mit denen er gef\u00fcttert wird, lediglich auswendig lernt (Overfitting \/ \u00dcberanpassung) und in weiterer Folge nicht in der Lage ist, zuverl\u00e4ssige Vorhersagen f\u00fcr ihm unbekannte Datens\u00e4tze zu treffen.<\/p>\n\n\n\n

    In diesem Beitrag zeigen wir dir zwei der h\u00e4ufigsten Probleme der Modellvalidierung auf: Das Overfitting und Underfitting. Sowie, wie du diese vermeiden kannst.<\/p>\n\n\n\n

    Inhaltsverzeichnis:<\/strong><\/h2>\n\n\n\n
    1. Was ist Modellvalidierung (und zu was dient sie)?<\/a><\/li>
    2. Was bedeutet Overfitting (und Underfitting)?<\/a><\/li>
    3. Wie kann Overfitting und Underfitting reduziert werden?<\/a><\/li>
    4. Welche Methoden zur Modellvalidierung gibt es?<\/a>
      1. Train-Test-Split<\/a><\/li>
      2. k-Fold Cross-Validation (k-Fold CV)<\/a><\/li>
      3. Leave-One-Out Cross-Validation (LOOCV)<\/a><\/li>
      4. Nested Cross-Validation (verschachtelte Kreuzvalidierung)<\/a><\/li><\/ol><\/li><\/ol>\n\n\n\n

        1. Was ist Modellvalidierung (und zu was dient sie)?<\/h2>\n\n\n\n

        Definition: Das Verfahren der Modellvalidierung beschreibt den Vorgang, ein statistisches oder datenanalytisches Modell auf seine Performance hin zu \u00fcberpr\u00fcfen.<\/p>\n\n\n\n

        Sie ist ein wesentlicher Bestandteil des Modellentwicklungsprozesses und hilft dabei, das Modell zu finden, das Deine Daten am besten repr\u00e4sentiert. Au\u00dferdem dient sie dazu abzusch\u00e4tzen, wie gut dieses in der Zukunft funktionieren wird. Diese Bewertung, mit den f\u00fcr das Training verwendeten Datens\u00e4tzen durchzuf\u00fchren, ist nicht zielf\u00fchrend, da dadurch leicht \u00fcberoptimistische und \u00fcberangepasste Modelle erzeugt werden k\u00f6nnen (Overfitting).<\/p>\n\n\n\n

        2. Was bedeutet Overfitting (und Underfitting)?<\/strong><\/h2>\n\n\n\n

        Overfitting (deutsch: \u201e\u00dcberanpassung\u201c) bezieht sich auf ein Modell, das die Trainingsdaten zu gut modelliert. Sprich, dass es zu speziell an seinen Trainingsdatensatz angepasst ist.<\/p>\n\n\n\n

        \u00dcberanpassung tritt dann auf, wenn ein Modell die Details und das Rauschen (zuf\u00e4llige Schwankungen) in den Trainingsdaten in einem Ausma\u00df erlernt, das sich negativ auf seine Leistung bei neuen \/ unbekannten Daten auswirkt. Das zeigt sich dadurch, dass das Rauschen aufgegriffen und als Konzept gelernt wird. Das Problem hiermit ist, dass diese Konzepte nicht auf neue Daten zutreffen und sich somit negativ auf die Generalisierungsf\u00e4higkeit (Anwendbarkeit auf jeglichen unbekannten Datensatz) des Modells auswirken.<\/p>\n\n\n\n

        Niedrige Fehlerraten und eine hohe Varianz sind starke Indikatoren f\u00fcr eine \u00dcberanpassung. Sie ist wahrscheinlicher bei nichtparametrischen und nichtlinearen Modellen<\/a>, die beim Lernen einer Zielfunktion mehr Flexibilit\u00e4t haben. Daher enthalten viele nichtparametrische Algorithmen f\u00fcr maschinelles Lernen Parameter oder Techniken, um einzuschr\u00e4nken, wie viele Details das Modell erlernen soll.<\/p>\n\n\n\n

        Entscheidungsbäume sind z. B. ein nichtparametrischer Algorithmus für maschinelles Lernen, der sehr flexibel ist. Bei diesen kommt es deshalb häufig zu einer Überanpassung der Trainingsdaten. Dieses Problem kann jedoch gelöst werden, indem ein Baum nach dem Lernen beschnitten wird, um einen Teil der Details zu entfernen, die er während des Lernprozesses aufgenommen hat.<\/p>\n\n\n\n

        Au\u00dferdem tritt Overfitting h\u00e4ufig dann auf, wenn der Trainingsdatensatz relativ klein und das Modell gleichzeitig relativ komplex ist. Ein zu komplexes Modell kann die Trainingsdaten n\u00e4mlich schnell zu genau abbilden - umgekehrt bildet ein zu simples Modell die Trainingsdaten schnell zu ungenau ab (hier spricht man von Underfitting \/ Unteranpassung).<\/p>\n\n\n\n

        \"Modellvalidierung_Overfitting_und_Underfitting\"
        In dieser Grafik siehst die Probleme, die bei der Modellvalidierung aufgrund von Underfitting und Overfitting im Vergleich zu einem optimalen Modell auftreten.<\/figcaption><\/figure>\n\n\n\n

        Ein zu einfaches Datenmodell ist in der Regel nicht in der Lage, die Beziehung zwischen den Eingabe- und Ausgabevariablen genau zu erfassen. Dadurch entsteht eine hohe Fehlerrate - sowohl mit den Trainingsdaten als genauso mit unbekannten Datens\u00e4tzen. Eine hohe Verzerrung \/ Fehlerrate in Kombination mit einer geringen Varianz sind in weiterer Folge starke Indikatoren f\u00fcr eine Unteranpassung.<\/p>\n\n\n\n

        Da dieses Verhalten schon w\u00e4hrend dem Training gut zu sehen ist, sind unterangepasste Modelle in der Regel leichter zu identifizieren als \u00fcberangepasste. Die L\u00f6sung f\u00fcr das Underfitting kann mehr Trainingszeit, ein Mehr an Eingabefunktionen oder weniger Regularisierung sein - doch dazu mehr im n\u00e4chsten Abschnitt.<\/p>\n\n\n\n

        Sowohl Over- als auch Underfitting f\u00fchren zu einer zu geringen Allgemeing\u00fcltigkeit eines Modells. Falls ein Modell jedoch nicht zuverl\u00e4ssig auf unbekannte Daten angewandt werden kann, dann kann es allerdings genauso wenig f\u00fcr Klassifizierungs- oder Vorhersageaufgaben verwendet werden. Die generalisierte Anwendung eines Modells auf neue Daten ist letztendlich das, was es uns erm\u00f6glicht, Algorithmen f\u00fcr das maschinelle Lernen zu verwenden, um Vorhersagen zu treffen und Daten zu klassifizieren.<\/p>\n\n\n\n

        Die Herausforderung ist es also, das Modell zwar einerseits so einfach wie m\u00f6glich, jedoch andererseits nicht zu einfach, zu halten. Ein perfektes Modell - das hei\u00dft eines, bei dem es weder zu Over- noch zu Underfitting kommt - ist nahezu unm\u00f6glich zu erstellen. Es gibt jedoch verschiedene Methoden und Werkzeuge, mit welchen diese negativen Effekte mit hoher Wahrscheinlichkeit ausgeschlossen werden k\u00f6nnen. Welche das sind, erf\u00e4hrst du im n\u00e4chsten Kapitel.<\/p>\n\n\n\n

        3. Wie kann Overfitting und Underfitting reduziert werden?<\/strong><\/h2>\n\n\n\n

        Um beim Training eines Modells Over- und Underfitting von vornherein m\u00f6glichst weitgehend auszuschlie\u00dfen gibt es verschiedene Methoden. Die wichtigsten von diesen haben wir dir im Folgenden aufgef\u00fchrt.<\/p>\n\n\n\n

        Overfitting beim Machine Learning verhindern:<\/strong><\/h3>\n\n\n\n

        a) K\u00fcrzere Trainingszeit (Early Stopping):<\/strong> Bei dieser Methode brichst du das Training ab, bevor das Modell zu viele Details (inklusive dem Rauschen) des Datensatzes auswendig lernt. Bei diesem Ansatz besteht allerdings die Gefahr, dass der Trainingsprozess zu fr\u00fch gestoppt wird - was wiederum zu dem gegenteiligen Problem der Unteranpassung f\u00fchrt. Den \"Sweet Spot\" zwischen Underfitting und Overfitting zu finden, ist somit das ultimative Ziel.<\/p>\n\n\n\n

        b) Mit mehr Daten trainieren:<\/strong> Das Erweitern des Trainingssatzes um mehr Daten kann die Genauigkeit des Modells erh\u00f6hen, indem es ihm mehr M\u00f6glichkeiten bietet, die ma\u00dfgebliche Beziehung zwischen den Eingabe- und Ausgabevariablen herauszufiltern. Allerdings ist dies nur dann eine effektive Methode, wenn du ausschlie\u00dflich saubere und aussagekr\u00e4ftige Daten einspeist. Andernfalls f\u00fcgst du dem Modell nur ein unn\u00f6tiges Mehr an Komplexit\u00e4t hinzu, was schlussendlich erst Recht zu einer \u00dcberanpassung f\u00fchrt.<\/p>\n\n\n\n

        c) Datenerweiterung:<\/strong> Während es theoretisch das Beste ist, lediglich saubere und aussagekräftige Trainingsdaten anzuwenden, werden manchmal gezielt verrauschte Daten hinzugefügt, um ein Modell stabiler zu machen. Diese Methode sollte jedoch sparsam (sowie vor allem nur von erfahrenen Anwendern) eingesetzt werden.<\/p>\n\n\n\n

        d) Merkmalsauswahl:<\/strong> Dabei identifizierst du die wichtigsten Merkmale der Trainingsdaten, um anschlie\u00dfend die irrelevanten - und damit \u00fcberfl\u00fcssigen - eliminieren zu k\u00f6nnen. Dies wird h\u00e4ufig mit einer Reduzierung der Dimensionen verwechselt, ist aber ein anderer Ansatz.\u00a0 Beide Methoden helfen dir jedoch dabei ein Modell zu vereinfachen, um den dominanten Trend in den Daten zu ermitteln.<\/p>\n\n\n\n

        e) Normalisierung:<\/strong> Diese h\u00e4ngt mit dem vorherigen Punkt der Merkmalsauswahl zusammen, da sie dazu dient, festzulegen, welche Merkmale eliminiert werden sollen. Dazu wendest du eine \"Strafe\" auf die Eingabeparameter mit den gr\u00f6\u00dferen Koeffizienten an, wodurch anschlie\u00dfend die Varianz im Modell begrenzt wird.\u00a0 Es gibt eine Reihe von Normalisierungsmethoden (z. B. L1- und Lasso-Regularisierung oder Dropout) - diese haben jedoch alle dasselbe Ziel: Das Rauschen in den Daten zu identifizieren und zu reduzieren.<\/p>\n\n\n\n

        f) Ensemble-Methoden:<\/strong> Diese bestehen aus einem Satz von Klassifikatoren (wie z. B. Entscheidungsb\u00e4umen). Deren Vorhersagen fasst du zusammen, um das g\u00fcnstigste Ergebnis zu ermitteln. Die bekanntesten Ensemble-Methoden sind Bagging und Boosting.<\/p>\n\n\n\n

        Overfitting beim Machine Learning verhindern:<\/strong><\/h3>\n\n\n\n

        a) Längere Trainingszeit:<\/strong> So wie eine Verkürzung der Trainingsphase das Overfitting reduziert, reduziert ihre Verlängerung das Underfitting. Wie bereits erwähnt liegt die Herausforderung deshalb darin, die optimale Dauer des Modelltrainings auszuwählen.<\/p>\n\n\n\n

        b) Merkmalsauswahl:<\/strong> Falls nicht gen\u00fcgend pr\u00e4diktive Merkmale vorhanden sind, f\u00fcgst du mehr von diesen - oder welche mit st\u00e4rkerer Bedeutung - ein. In einem neuronalen Netzwerk<\/a> k\u00f6nntest du zum Beispiel mehr versteckte Neuronen hinzuf\u00fcgen. Und in einem Wald mehr B\u00e4ume. Dadurch verleihst du dem Modell mehr Komplexit\u00e4t, was zu besseren Trainingsergebnissen f\u00fchrt - allerdings nur zu dem Punkt, an welchem wiederum das Overfitting beginnt.<\/p>\n\n\n\n

        c) Normalisierung abschw\u00e4chen:<\/strong> Falls du die Methoden zur Normalisierung der Trainingsdaten zu streng anwendest, kann das dazu f\u00fchren, dass die Merkmale zu einheitlich werden. Dadurch ist das Modell nicht mehr in der Lage, den dominanten Trend zu identifizieren, was zu einem Underfitting f\u00fchrt. Durch die Verringerung der Regulierung kannst du wieder mehr Komplexit\u00e4t und Variation einbringen.<\/p>\n\n\n\n

        Wie du sehen kannst, gleicht es der Wanderung auf einem schmalen Grat, den Mittelweg zwischen Under- und Overfitting zu finden. Um sicherzugehen, dass bei Deinem Modell keines der beiden Probleme vorliegt, musst du dieses validieren. Es gibt verschiedene Methoden zur Evaluierung von Modellen in der Datenwissenschaft: Die bekannteste davon ist sicherlich die k-fold Cross Validation. Diese - und noch ein paar weitere - wollen wir dir im Folgenden vorstellen.\u00a0<\/p>\n\n\n\n

        4. Welche Methoden zur Modellvalidierung gibt es?<\/strong><\/h2>\n\n\n\n

        Modellbewertungsmethoden werden verwendet, um<\/p>\n\n\n\n