Bestimmtheitsmaß

Studium

R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}

Voraussetzung: $n \geq 2,$ $nicht alle$ $y_i$ $gleich$ $,$ $\hat{y}_i$ $aus einer Kleinste-Quadrate-Regression mit Achsenabschnitt$

$R^2$: Bestimmtheitsmaß, Anteil der durch das Modell erklärten Streuung
$y_i$: beobachtete Werte
$\hat{y}_i$: vom Regressionsmodell vorhergesagte Werte
$\bar{y}$: Mittelwert der beobachteten Werte
$n$: Anzahl der Datenpunkte

Das Bestimmtheitsmaß R² gibt an, welcher Anteil der Streuung der Daten durch das Regressionsmodell erklärt wird.

Erklärung

Das Bestimmtheitsmaß beurteilt, wie gut ein Regressionsmodell (z.B. eine Regressionsgerade) die Daten beschreibt. Grundlage ist die Streuungszerlegung: Die Gesamtstreuung der $y_i$ um ihren Mittelwert teilt sich in einen erklärten Teil und die Reststreuung der Residuen.

\underbrace{\sum (y_i - \bar{y})^2}_{\text{gesamt}} = \underbrace{\sum (\hat{y}_i - \bar{y})^2}_{\text{erklärt}} + \underbrace{\sum (y_i - \hat{y}_i)^2}_{\text{Rest}}

$R^2$ ist der erklärte Anteil, also $R^2 = \frac{\text{erklärt}}{\text{gesamt}} = 1 - \frac{\text{Rest}}{\text{gesamt}}$ . Für eine Kleinste-Quadrate-Regression mit Achsenabschnitt gilt $0 \leq R^2 \leq 1$ :

$R^2 = 1$ : Alle Punkte liegen exakt auf der Regressionskurve.
$R^2 = 0$ : Das Modell erklärt nichts, es ist nicht besser als der Mittelwert $\bar{y}$ .

Bei der einfachen linearen Regression ist $R^2$ das Quadrat des Korrelationskoeffizienten: $R^2 = r^2$ .

Bei mehreren Einflussgrößen wird $R^2$ mit jeder zusätzlichen Variable nie kleiner, auch wenn sie nutzlos ist. Deshalb verwendet man dort oft das korrigierte $R^2$ .

Beispiele

Datenpunkte $(1;\,2)$ , $(2;\,3)$ , $(3;\,5)$ , $(4;\,4)$ , $(5;\,6)$ mit $\bar{x} = 3$ und $\bar{y} = 4$ . Die Regressionsgerade hat die Steigung $m = \frac{9}{10} = 0{,}9$ und den Achsenabschnitt $b = 4 - 0{,}9 \cdot 3 = 1{,}3$ . Die vorhergesagten Werte sind $2{,}2$ ; $3{,}1$ ; $4{,}0$ ; $4{,}9$ ; $5{,}8$ .

\sum (y_i - \hat{y}_i)^2 = 0{,}04 + 0{,}01 + 1 + 0{,}81 + 0{,}04 = 1{,}9

\sum (y_i - \bar{y})^2 = 4 + 1 + 1 + 0 + 4 = 10

R^2 = 1 - \frac{1{,}9}{10} = 0{,}81

Die Gerade erklärt $81\,\%$ der Streuung. Probe über die Zerlegung: Die erklärte Streuung ist $\sum (\hat{y}_i - \bar{y})^2 = 8{,}1$ , und $8{,}1 + 1{,}9 = 10$ . Der Korrelationskoeffizient ist $r = \frac{9}{\sqrt{10 \cdot 10}} = 0{,}9$ , also $r^2 = 0{,}81$ .

Typische Fehler

Ein hohes $R^2$ als Beleg für einen kausalen Zusammenhang oder für ein richtiges Modell werten. Auch ein falsches Modell (z.B. linear statt quadratisch) kann ein hohes $R^2$ haben.
$R^2$ mit $r$ verwechseln. Bei $r = 0{,}9$ ist $R^2 = 0{,}81$ , nicht $0{,}9$ .
Im Nenner die Summe der Residuenquadrate und im Zähler die Gesamtstreuung vertauschen.
Modelle mit unterschiedlich vielen Variablen allein nach $R^2$ vergleichen. Dafür ist das korrigierte $R^2$ gedacht.

Bestimmtheitsmaß