Page tree
Skip to end of metadata
Go to start of metadata

Regressions-Metriken


Metrik
Interpretationshinweise
1MSEMittlere quadratische Fehler. Das quadrierte Bit bedeutet, je größer der Fehler ist, desto mehr wird es bestraft. Wenn Ihre korrekten Antworten 2,3,4 sind und Ihr Algorithmus 1,4,3 schätzt, ist der absolute Fehler auf jedem genau 1, also ist der quadratische Fehler auch 1, und der MSE ist 1. Aber wenn Ihr Algorithmus 2 rät, 3,6, die Fehler sind 0,0,2, die Fehler im Quadrat sind 0,0,4 und der MSE ist höher 1,333.
2Mittlerer absoluter Fehler (MAE)

MAE misst die durchschnittliche Größe der Fehler in einer Reihe von Vorhersagen, ohne deren Richtung zu berücksichtigen. Es ist der Durchschnitt der absoluten Unterschiede zwischen der Vorhersage und der tatsächlichen Beobachtung, bei der alle individuellen Unterschiede gleich gewichtet sind.

Wenn der absolute Wert nicht genommen wird (die Vorzeichen der Fehler werden nicht entfernt), wird der durchschnittliche Fehler der mittlere Fehler des mittleren Fehlers (Mean Bias Error, MBE) und soll normalerweise die durchschnittliche Modellabweichung messen. MBE kann nützliche Informationen vermitteln, sollte aber vorsichtig interpretiert werden, da sich positive und negative Fehler aufheben.

Mittlerer absoluter Fehler. Ausgehend von dem MSE-Beispiel hat eine Schätzung von 1,4,3 absolute Fehler von 1, so dass der MAE 1 ist. Aber 2,3,6 hat absolute Fehler von 0,0,2, so dass der MAE 0,667 ist. Wie bei RMSE entsprechen die Einheiten Ihrer Antwortvariablen.


3Quadratischer Mittelwertfehler (RMSE)

RMSE ist eine quadratische Bewertungsregel, die auch die durchschnittliche Größe des Fehlers misst. Es ist die Quadratwurzel des Durchschnitts der quadrierten Differenzen zwischen Vorhersage und tatsächlicher Beobachtung.

Die Quadratwurzel von MSE. Wenn Ihre variablen Antworteinheiten Dollars sind, ist die Einheit von MSE Dollar-Quadrat, aber RMSE ist wieder in Dollar.

Die Quadratwurzel der durchschnittlichen quadratischen Fehler hat einige interessante Auswirkungen auf RMSE. Da die Fehler quadriert werden, bevor sie gemittelt werden, gibt der RMSE großen Fehlern ein relativ hohes Gewicht. Dies bedeutet, dass der RMSE nützlicher sein sollte, wenn große Fehler besonders unerwünscht sind.

Konzentriert man sich auf die obere Schranke, bedeutet dies, dass RMSE tendenziell größer wird als MAE, wenn die Größe der Teststichprobe zunimmt. Dies kann problematisch sein, wenn RMSE-Ergebnisse verglichen werden, die auf unterschiedlich großen Testproben berechnet wurden, was bei der realen Modellierung häufig der Fall ist.

4R2

R-Quadrat, auch als R2 geschrieben und auch als Bestimmtheitsmaß bekannt. Dies war früher als Option für stopping_metric verfügbar, ist aber in Ungnade gefallen.1 RMSLE Die einprägsame Abkürzung für Root Mean Squared Logarithmic Error. Ziehen Sie dies RMSE vor, wenn eine Untervorhersage schlechter als eine Übervorhersage ist.


Klassifikationsmetriken


MetrikInterpretationshinweise
1Logarithmic loss (LogLoss)

Der logarithmische Verlust (bezogen auf die Kreuz-Entropie) misst die Leistung eines Klassifikationsmodells, bei dem die Vorhersageeingabe ein Wahrscheinlichkeitswert zwischen 0 und 1 ist. Das Ziel unserer Maschinenlernmodelle ist es, diesen Wert zu minimieren. Ein perfektes Modell hätte einen logarithmischen Verlust von 0. Der logarithmische Verlust steigt an, wenn die vorhergesagte Wahrscheinlichkeit von der tatsächlichen Marke abweicht.

Die H2O-Algorithmen erraten nicht nur die Kategorie, sie geben auch eine Wahrscheinlichkeit für die Antwort jeder Kategorie. Die Vertrauenswürdigkeit, die der korrekten Kategorie zugewiesen ist, wird zur Berechnung von Logloss (und MSE) verwendet. Logloss straft unverhältnismäßig niedrige Zahlen, was eine andere Möglichkeit ist, zu sagen, dass ein hohes Vertrauen in die falsche Antwort schlecht ist.

Warum das negative Zeichen?
Log Loss verwendet das negative Protokoll, um eine einfache Metrik für den Vergleich bereitzustellen. Es verwendet diesen Ansatz, weil der positive Logarithmus der Zahlen <1 negative Werte zurückgibt, was beim Vergleich der Leistung zweier Modelle verwirrend ist.

LogLoss ist im Standard die beste Wahl!

  • No labels