Regressionsgerade

Studium

y = m x + b \quad \text{mit} \quad m = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n} (x_i - \bar{x})^2},\quad b = \bar{y} - m \bar{x}

Voraussetzung: $n \geq 2,$ $nicht alle$ $x_i$ $gleich$

$m$: Steigung der Regressionsgeraden
$b$: y-Achsenabschnitt der Regressionsgeraden
$(x_i, y_i)$: die Datenpaare
$\bar{x}, \bar{y}$: arithmetische Mittel der x- und der y-Werte
$n$: Anzahl der Datenpaare
$i$: Laufindex von 1 bis n

Die Regressionsgerade ist die Gerade, bei der die Summe der quadrierten senkrechten Abstände zu den Datenpunkten minimal ist.

Erklärung

Liegen Datenpunkte $(x_i, y_i)$ ungefähr auf einer Geraden, sucht man die Gerade, die am besten passt. Die Methode der kleinsten Quadrate wählt $m$ und $b$ so, dass die Summe der quadrierten Residuen (senkrechte Abstände)

Q(m, b) = \sum_{i=1}^{n} \big(y_i - (m x_i + b)\big)^2

minimal wird. Nullsetzen der partiellen Ableitungen nach $m$ und $b$ liefert genau die Formeln oben.

Eigenschaften:

Die Gerade geht immer durch den Schwerpunkt $(\bar{x}, \bar{y})$ .
Die Residuen summieren sich zu $0$ .
Die Steigung lässt sich auch als $m = \frac{s_{xy}}{s_x^2} = r \cdot \frac{s_y}{s_x}$ schreiben. Sie hat also dasselbe Vorzeichen wie der Korrelationskoeffizient $r$ .

Die Gerade sagt $y$ aus $x$ vorher. Sie ist nur innerhalb des Datenbereichs verlässlich.

Beispiele

Datenpaare $(1, 2)$ , $(2, 4)$ , $(3, 5)$ mit $\bar{x} = 2$ , $\bar{y} = \frac{11}{3}$ . Zähler $3$ , Nenner $2$ :

m = \frac{3}{2} = 1{,}5, \qquad b = \frac{11}{3} - 1{,}5 \cdot 2 = \frac{2}{3}

Die Regressionsgerade ist $y = 1{,}5\,x + \frac{2}{3}$ . Die Residuen sind $-\frac{1}{6}$ , $\frac{1}{3}$ , $-\frac{1}{6}$ , ihre Summe ist $0$ , ihre Quadratsumme $\frac{1}{6}$ . Zum Vergleich: Die Gerade $y = 2x - \frac{1}{3}$ geht ebenfalls durch den Schwerpunkt, hat aber die Quadratsumme $\frac{2}{3}$ .

Vorhersage für $x = 4$ : $y = 1{,}5 \cdot 4 + \frac{2}{3} = \frac{20}{3} \approx 6{,}67$ .

Typische Fehler

$x$ und $y$ vertauschen. Die Regression von $x$ auf $y$ hat (umgerechnet) die Steigung $\frac{14/3}{3} = \frac{14}{9} \approx 1{,}56$ , nicht $1{,}5$ . Beide Geraden stimmen nur bei $|r| = 1$ überein.
$b$ mit $\bar{y} + m\bar{x}$ berechnen. Richtig ist $b = \bar{y} - m\bar{x}$ .
Weit außerhalb der Daten extrapolieren, z.B. für $x = 100$ .
Eine Regressionsgerade durch Daten legen, die offensichtlich nicht linear verlaufen. Ein Blick auf das Streudiagramm und auf $r$ gehört dazu.

Regressionsgerade