Ensemble-Methoden sind Techniken, die darauf abzielen, die Genauigkeit der Ergebnisse in Modellen zu verbessern, indem mehrere Modelle kombiniert werden, anstatt ein einziges Modell zu verwenden. Die kombinierten Modelle erhöhen die Genauigkeit der Ergebnisse erheblich. Dies hat die Popularität von Ensemble-Methoden beim maschinellen Lernen erhöht.
Kurze Zusammenfassung
- Ensemble-Methoden zielen darauf ab, die Vorhersagbarkeit in Modellen zu verbessern, indem mehrere Modelle zu einem sehr zuverlässigen Modell kombiniert werden.
- Die beliebtesten Ensemble-Methoden sind Boosten, Absacken und Stapeln.
- Ensemble-Methoden eignen sich ideal für die Regression und Klassifizierung, da sie Verzerrungen und Varianzen reduzieren, um die Genauigkeit von Modellen zu erhöhen.
Kategorien von Ensemble-Methoden
Ensemble-Methoden lassen sich in zwei große Kategorien einteilen, nämlich sequentielle Ensemble-Techniken und parallele Ensemble-Techniken. Sequentielle Ensemble-Techniken erzeugen Basislerner in einer Sequenz, z. B. Adaptive Boosting (AdaBoost). Die sequentielle Generierung von Basislernenden fördert die Abhängigkeit zwischen den Basislernenden. Die Leistung des Modells wird dann verbessert, indem zuvor falsch dargestellten Lernenden höhere Gewichte zugewiesen werden.
Bei parallelen Ensemble-Techniken werden Basislerner in einem parallelen Format generiert, z. B. Zufallswald Zufälliger Wald Zufälliger Wald ist eine Technik, die zur Modellierung von Vorhersagen und Verhaltensanalysen verwendet wird und auf Entscheidungsbäumen basiert. Ein zufälliger Wald enthält viele Entscheidungsbäume. Parallele Methoden nutzen die parallele Generierung von Basislernenden, um die Unabhängigkeit zwischen den Basislernenden zu fördern. Die Unabhängigkeit der Basislerner reduziert den Fehler aufgrund der Anwendung von Durchschnittswerten erheblich.
Die meisten Ensemble-Techniken wenden beim Basislernen einen einzigen Algorithmus an, der bei allen Basislernern zu Homogenität führt. Homogene Basislerner beziehen sich auf Basislerner des gleichen Typs mit ähnlichen Qualitäten. Andere Methoden wenden heterogene Basislerner an, wodurch heterogene Ensembles entstehen. Heterogene Basislerner sind Lernende unterschiedlicher Typen.
Haupttypen von Ensemble-Methoden
1. Absacken
Bagging, die Kurzform für die Bootstrap-Aggregation, wird hauptsächlich bei der Klassifizierung und Regression verwendet. Regressionsanalyse Die Regressionsanalyse ist eine Reihe statistischer Methoden zur Schätzung der Beziehungen zwischen einer abhängigen Variablen und einer oder mehreren unabhängigen Variablen. Es kann verwendet werden, um die Stärke der Beziehung zwischen Variablen zu bewerten und die zukünftige Beziehung zwischen ihnen zu modellieren. . Es erhöht die Genauigkeit von Modellen durch die Verwendung von Entscheidungsbäumen, wodurch die Varianz weitgehend reduziert wird. Die Verringerung der Varianz erhöht die Genauigkeit und eliminiert somit die Überanpassung, was für viele Vorhersagemodelle eine Herausforderung darstellt.
Das Absacken wird in zwei Typen eingeteilt, nämlich Bootstrapping und Aggregation. Bootstrapping ist eine Stichprobenmethode, bei der Stichproben mithilfe des Ersetzungsverfahrens aus der gesamten Grundgesamtheit (Menge) abgeleitet werden. Die Stichprobe mit Ersatzmethode hilft dabei, das Auswahlverfahren randomisiert zu gestalten. Der Basislernalgorithmus wird an den Proben ausgeführt, um die Prozedur abzuschließen.
Die Aggregation beim Absacken erfolgt, um alle möglichen Ergebnisse der Vorhersage zu berücksichtigen und das Ergebnis zu randomisieren. Ohne Aggregation sind Vorhersagen nicht genau, da nicht alle Ergebnisse berücksichtigt werden. Die Aggregation basiert daher auf den Wahrscheinlichkeits-Bootstrapping-Verfahren oder auf der Grundlage aller Ergebnisse der Vorhersagemodelle.
Das Absacken ist vorteilhaft, da schwache Basislerner zu einem einzigen starken Lernenden kombiniert werden, der stabiler ist als einzelne Lernende. Außerdem werden Abweichungen beseitigt, wodurch die Überanpassung von Modellen verringert wird. Eine Einschränkung des Absackens besteht darin, dass es rechenintensiv ist. Daher kann es bei Modellen zu einer stärkeren Verzerrung kommen, wenn das ordnungsgemäße Verfahren des Absackens ignoriert wird.
2. Boosten
Boosting ist eine Ensemble-Technik, die aus früheren Prädiktorfehlern lernt, um in Zukunft bessere Vorhersagen zu treffen. Die Technik kombiniert mehrere schwache Basislerner zu einem starken Lernenden, wodurch die Vorhersagbarkeit von Modellen erheblich verbessert wird. Boosting funktioniert, indem schwache Lernende in einer Sequenz angeordnet werden, sodass schwache Lernende vom nächsten Lernenden in der Sequenz lernen, um bessere Vorhersagemodelle zu erstellen.
Boosting hat viele Formen, einschließlich Gradienten-Boosting, Adaptive Boosting (AdaBoost) und XGBoost (Extreme Gradient Boosting). AdaBoost verwendet schwache Lernende in Form von Entscheidungsbäumen, die meist eine Aufteilung enthalten, die im Volksmund als Entscheidungsstümpfe bezeichnet wird. Der Hauptentscheidungsstumpf von AdaBoost umfasst Beobachtungen mit ähnlichen Gewichten.
Gradientenverstärkung Gradientenverstärkung Die Gradientenverstärkung ist eine Technik, mit der Modelle für die Vorhersage erstellt werden. Die Technik wird hauptsächlich in Regressions- und Klassifizierungsverfahren verwendet. Fügt dem Ensemble nacheinander Prädiktoren hinzu, wobei vorhergehende Prädiktoren ihre Nachfolger korrigieren und dadurch die Genauigkeit des Modells erhöhen. Neue Prädiktoren sind geeignet, um den Auswirkungen von Fehlern in den vorherigen Prädiktoren entgegenzuwirken. Der Gradient des Abstiegs hilft dem Gradientenverstärker, Probleme in den Vorhersagen der Lernenden zu identifizieren und ihnen entsprechend entgegenzuwirken.
XGBoost verwendet Entscheidungsbäume mit erhöhtem Gradienten und bietet so eine verbesserte Geschwindigkeit und Leistung. Es hängt stark von der Rechengeschwindigkeit und der Leistung des Zielmodells ab. Das Modelltraining sollte einer Sequenz folgen, wodurch die Implementierung von Maschinen mit Gradientenverstärkung langsam wird.
3. Stapeln
Das Stapeln, eine andere Ensemble-Methode, wird oft als gestapelte Generalisierung bezeichnet. Diese Technik ermöglicht es einem Trainingsalgorithmus, mehrere andere ähnliche Vorhersagen für Lernalgorithmen zusammenzustellen. Das Stapeln wurde erfolgreich in Regression, Dichteschätzungen, Fernunterricht und Klassifikationen implementiert. Es kann auch verwendet werden, um die Fehlerrate beim Absacken zu messen.
Varianzreduzierung
Ensemble-Methoden sind ideal, um die Varianz in Modellen zu verringern und dadurch die Genauigkeit von Vorhersagen zu erhöhen. Die Varianz wird eliminiert, wenn mehrere Modelle kombiniert werden, um eine einzige Vorhersage zu bilden, die aus allen anderen möglichen Vorhersagen aus den kombinierten Modellen ausgewählt wird. Ein Ensemble von Modellen ist der Vorgang des Kombinierens verschiedener Modelle, um sicherzustellen, dass die resultierende Vorhersage auf der Grundlage der Berücksichtigung aller Vorhersagen die bestmögliche ist.
Zusätzliche Ressourcen
Finance ist der offizielle Anbieter der globalen CBCA-Zertifizierung (Certified Banking & Credit Analyst). Die CBCA-Akkreditierung (Certified Banking & Credit Analyst) ist ein globaler Standard für Kreditanalysten, der Finanzen, Rechnungswesen, Kreditanalyse und Cashflow-Analyse umfasst , Covenant-Modellierung, Kreditrückzahlungen und mehr. Zertifizierungsprogramm, das jedem helfen soll, ein erstklassiger Finanzanalyst zu werden. Um Ihre Karriere weiter voranzutreiben, sind die folgenden zusätzlichen Finanzressourcen hilfreich:
- Elastisches Netz Elastisches Netz Das elastische Netz verwendet linear die Strafen sowohl der Lasso- als auch der Ridge-Technik, um Regressionsmodelle zu regulieren. Die Technik kombiniert sowohl das Lasso als auch
- Überanpassung Überanpassung Überanpassung ist ein Begriff, der in Statistiken verwendet wird und sich auf einen Modellierungsfehler bezieht, der auftritt, wenn eine Funktion einem bestimmten Datensatz zu genau entspricht
- Skalierbarkeit Skalierbarkeit Die Skalierbarkeit kann sowohl im Kontext der Finanz- als auch der Geschäftsstrategie fallen. In beiden Fällen steht es für die Fähigkeit des Unternehmens, dem Druck von standzuhalten
- Spoofing Spoofing Spoofing ist eine disruptive algorithmische Handelspraxis, bei der Gebote zum Kauf oder Angebot zum Verkauf von Terminkontrakten abgegeben und die Gebote oder Angebote vor der Ausführung des Geschäfts storniert werden. Die Praxis beabsichtigt, ein falsches Bild der Nachfrage oder des falschen Pessimismus auf dem Markt zu erzeugen.
