Maximum-Likelihood-Schätzer

Studium

\hat{\theta} = \arg\max_{\theta} L(\theta), \quad L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)

Voraussetzung: $x_1, \ldots, x_n$ $Realisierungen unabhängiger, identisch verteilter$ $X_i,$ $Maximum existiert$

$\hat{\theta}$: Maximum-Likelihood-Schätzwert für den Parameter
$\theta$: unbekannter Parameter der Verteilung (auch mehrere Parameter)
$L(\theta)$: Likelihood-Funktion, Plausibilität des Parameters bei gegebenen Daten
$f(x_i; \theta)$: Wahrscheinlichkeitsfunktion (diskret) oder Dichte (stetig) am Datenpunkt x_i
$x_i$: beobachtete Werte der Stichprobe
$n$: Stichprobenumfang

Der Maximum-Likelihood-Schätzer wählt den Parameterwert, unter dem die beobachteten Daten am wahrscheinlichsten sind.

Erklärung

Gegeben sind Daten $x_1, \ldots, x_n$ und ein Verteilungsmodell mit unbekanntem Parameter $\theta$ . Die Likelihood-Funktion $L(\theta)$ gibt an, wie wahrscheinlich (bzw. bei stetigen Verteilungen: wie dicht) die beobachteten Daten unter dem Parameter $\theta$ sind. Der Maximum-Likelihood-Schätzer ist der Parameter, der $L$ maximiert.

Vorgehen in der Praxis:

$L(\theta)$ als Produkt der Einzelwahrscheinlichkeiten bzw. Dichten aufstellen.
Logarithmieren: $\ell(\theta) = \ln L(\theta) = \sum_{i=1}^{n} \ln f(x_i; \theta)$ . Da $\ln$ streng monoton wächst, hat $\ell$ dasselbe Maximum, und aus dem Produkt wird eine Summe.
Ableiten und null setzen: $\ell'(\theta) = 0$ (Likelihood-Gleichung).
Prüfen, dass wirklich ein Maximum vorliegt (zweite Ableitung oder Randverhalten).

Wichtige Ergebnisse:

Bernoulli bzw. Binomial: $\hat{p} = \frac{k}{n}$ (relative Trefferhäufigkeit)
Poisson: $\hat{\lambda} = \bar{x}$
Exponentialverteilung: $\hat{\lambda} = \frac{1}{\bar{x}}$
Normalverteilung: $\hat{\mu} = \bar{x}$ , $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2$

ML-Schätzer sind unter milden Voraussetzungen konsistent und asymptotisch normalverteilt, aber nicht immer erwartungstreu.

Beispiele

In $n = 20$ Versuchen gibt es $k = 7$ Treffer. Die Log-Likelihood ist $\ell(p) = 7 \ln p + 13 \ln(1 - p)$ , also

\ell'(p) = \frac{7}{p} - \frac{13}{1 - p} = 0 \quad \Rightarrow \quad \hat{p} = \frac{7}{20} = 0{,}35

Probe: $\frac{7}{0{,}35} - \frac{13}{0{,}65} = 20 - 20 = 0$ .

Drei Bauteile halten $2$ , $5$ und $8$ Jahre, angenommen wird eine Exponentialverteilung. Dann ist $\ell(\lambda) = 3 \ln \lambda - \lambda \cdot (2 + 5 + 8)$ und

\ell'(\lambda) = \frac{3}{\lambda} - 15 = 0 \quad \Rightarrow \quad \hat{\lambda} = \frac{1}{5} = 0{,}2

Unter Normalverteilungsannahme ergäben dieselben Daten $\hat{\mu} = 5$ und $\hat{\sigma}^2 = \frac{9 + 0 + 9}{3} = 6$ , während die korrigierte Stichprobenvarianz $\frac{18}{2} = 9$ ist.

Typische Fehler

Die Likelihood als Wahrscheinlichkeit für $\theta$ lesen. $L(\theta)$ ist eine Funktion des Parameters, aber keine Verteilung über $\theta$ .
Nach dem Logarithmieren Produkte falsch in Summen umwandeln, z.B. $\ln(\lambda e^{-\lambda x}) = \ln \lambda - \lambda x$ , nicht $\ln \lambda \cdot (-\lambda x)$ .
Annehmen, der ML-Schätzer sei immer erwartungstreu. $\hat{\sigma}^2$ mit Nenner $n$ unterschätzt $\sigma^2$ im Mittel.
Die Nullstelle der Ableitung ungeprüft übernehmen. Liegt das Maximum am Rand (z.B. $k = 0$ ), hat $\ell'$ keine Nullstelle im Inneren.

Maximum-Likelihood-Schätzer