Likelihood-Quotienten-Test

Vorlage:Belege Der Likelihood-Quotienten-Test (kurz LQT), auch Plausibilitätsquotiententest (Vorlage:EnS likelihood-ratio test), ist ein statistischer Test, der zu den typischen Hypothesentests in parametrischen Modellen gehört. Viele klassische Tests wie der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test lassen sich als Beispiele für Likelihood-Quotienten-Tests interpretieren. Einfachstes Beispiel eines Likelihood-Quotienten-Tests ist der Neyman-Pearson-Test.

Definition

Formal betrachtet man das typische parametrische Testproblem: Gegeben ist eine Grundmenge von Wahrscheinlichkeitsverteilungen $P_{\theta }$, abhängig von einem unbekannten Parameter $\theta$, der aus einer bekannten Grundmenge $\mathrm{\Theta }$ stammt. Als Nullhypothese $H_0$ soll getestet werden, ob der Parameter zu einer echten Teilmenge ${\mathrm{\Theta }}_0$ gehört. Also:

$H_0:\theta \in {\mathrm{\Theta }}_0$.

Die Alternative $H_1$ lautet entsprechend:

$H_1:\theta \in {\mathrm{\Theta }}_1$,

wobei ${\mathrm{\Theta }}_1$ das Komplement zu ${\mathrm{\Theta }}_0$ in $\mathrm{\Theta }$ bezeichnet.

Die beobachteten Daten sind Realisierungen von Zufallsvariablen $X_1,\dots ,X_n$, die jeweils die (unbekannte) Verteilung $P_{\theta }$ besitzen und stochastisch unabhängig sind.

Der Begriff des Likelihood-Quotienten-Tests suggeriert bereits, dass die Entscheidung des Tests auf der Bildung eines Likelihood-Quotienten bzw. Plausibilitätsquotienten (Quotient zweier Likelihood-Funktionen bzw. Plausibilitätsfunktionen) beruht. Man geht dabei so vor, dass man ausgehend von den Daten $x=(x_1,\dots ,x_n)$ und den zu den einzelnen Parametern gehörenden Dichtefunktionen $f^{X_1,\dots ,X_n}(\cdot ;\theta )$ den folgenden Ausdruck berechnet:

$\mathrm{\Lambda }(x):=\frac{\underset{\theta \in {\mathrm{\Theta }}_0}{\sup }{f}^{X_1,\dots ,X_n}(x_1,\dots ,x_n;\theta )}{\underset{\theta \in \mathrm{\Theta }}{\sup }{f}^{X_1,\dots ,X_n}(x_1,\dots ,x_n;\theta )}$.

Heuristisch gesprochen: Man bestimmt anhand der Daten zunächst den Parameter aus der gegebenen Grundmenge, der die größte Wahrscheinlichkeit dafür liefert, dass die gefundenen Daten gemäß der Verteilung $P_{\theta }$ realisiert worden sind. Der Wert der Dichtefunktion bezüglich dieses Parameters wird dann als repräsentativ für die gesamte Menge gesetzt. Im Zähler betrachtet man als Grundmenge den Raum der Nullhypothese, also ${\mathrm{\Theta }}_0$; für den Nenner betrachtet man die gesamte Grundmenge $\mathrm{\Theta }$.

Es lässt sich intuitiv schließen: Je größer der Quotient ist, desto schwächer ist die Evidenz gegen $H_0$. Ein Wert von $\mathrm{\Lambda }(x)$ in der Nähe von Eins bedeutet, dass anhand der Daten kein großer Unterschied zwischen den beiden Parametermengen $\mathrm{\Theta }$ und ${\mathrm{\Theta }}_0$ zu erkennen ist. Die Nullhypothese sollte in solchen Fällen also nicht verworfen werden.

Demnach wird bei einem Likelihood-Quotienten-Test die Hypothese $H_0$ zum Niveau $\alpha$ abgelehnt, falls

$\mathrm{\Lambda }(x)<k_{\alpha }^{*}$

gilt. Hierbei ist der kritische Wert $k_{\alpha }^{*}$ so zu wählen, dass $\underset{\theta \in {\mathrm{\Theta }}_0}{\sup }{P}_{\theta }(\mathrm{\Lambda }(X)<k_{\alpha }^{*})=\alpha$ gilt.

Die konkrete Bestimmung dieses kritischen Werts ist in der Regel problematisch.

Beispiel 1

Für unabhängige Zufallsvariablen $X_1,\dots ,X_n$, die jeweils eine Normalverteilung mit bekannter Varianz ${\sigma }^2$ und unbekanntem Erwartungswert $\mu$ besitzen, ergibt sich für das Testproblem $H_0:\mu ={\mu }_0$ gegen $H_1:\mu ={\mu }_1$ mit ${\mu }_0<{\mu }_1$ der folgende Likelihood-Quotient:

$\mathrm{\Lambda }(X)=\exp \left(\frac{1}{{\sigma }^2}\sum _{l=1}^n{X}_l({\mu }_1-{\mu }_0)\right)k({\mu }_0,{\mu }_1,{\sigma }^2)$

mit der von den konkreten Daten unabhängigen Konstanten $k({\mu }_0,{\mu }_1,{\sigma }^2)=\exp (-\frac{n}{2{\sigma }^2}({\mu }_1^2-{\mu }_0^2))$. Man erhält dann, dass $\mathrm{\Lambda }(X)>\tilde{c}$ äquivalent zur Ungleichung

$\frac{1}{n}\sum _{i=1}^n{X}_i>c$

ist. Dies liefert als Resultat den bekannten Gauß-Test; man wählt $c={\mu }_0+\frac{\sigma }{\sqrt{n}}{u}_{1-a}$, wobei $u_{1-a}$ das $(1-\alpha )$-Quantil einer Standardnormalverteilung bezeichnet.

Approximation der Likelihood-Quotienten-Funktion durch eine Chi-Quadrat-Verteilung

Unter bestimmten Voraussetzungen lässt sich die im Allgemeinen schwierig zu betrachtende Teststatistik $\mathrm{\Lambda }(X)$ durch Chi-Quadrat-verteilte Zufallsvariablen annähern, so dass sich vergleichsweise leicht asymptotische Tests herleiten lassen. In der Regel ist das möglich, wenn die Nullhypothese sich durch eine lineare Parameter-Transformation als ein Spezialfall der Alternativ-Hypothese darstellen lässt, wie im unten genannten Beispiel des Münzwurfes. Präzise formuliert ist neben eher technischen Annahmen an die Verteilungsfamilie $P_{\theta }$ die folgende Annahme einer „Parametrisierbarkeit der Nullhypothese“ fundamental:

Es seien der Parameterraum der Alternative $\mathrm{\Theta }\subset {ℝ}^d$ und der Nullhypothese $\mathrm{\Delta }\subset {ℝ}^c$ gegeben, beide Mengen seien offen und es gelte: $c<d$. Zudem existiere eine zweimal stetig differenzierbare Abbildung $h:\mathrm{\Delta }\to \mathrm{\Theta }$ mit $h(\mathrm{\Delta })={\mathrm{\Theta }}_0$, deren Jacobi-Matrix $h^{\prime }(\eta )$ für jedes $\eta \in \mathrm{\Delta }$ vollen Rang besitzt.

Dann gilt:

$T_n:=-2\log \mathrm{\Lambda }(X)\to {\chi }_{d-c}^2$,

wobei die Zufallsvariablen in Verteilung konvergieren.

Die Beweisidee beruht auf einer Aussage über die Existenz von Maximum-Likelihood-Schätzern in allgemeinen parametrischen Familien und ihrer Konvergenz gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Beispiel 2: Münzwurf

Ein Beispiel ist der Vergleich, ob zwei Münzen die gleiche Wahrscheinlichkeit haben, Kopf als Ergebnis zu erhalten (Nullhypothese). Wird die erste Münze $N$-mal geworfen mit $n$ Kopfwürfen und die zweite Münze $M$-mal geworfen mit $m$ Kopfwürfen, dann ergibt sich die Kontingenztabelle unter Beobachtungen. Unter Gültigkeit der Nullhypothese ($p=q$) und der Alternativhypothese ($p\ne q$) ergeben sich die Wahrscheinlichkeiten wie unter Alternativhypothese und Nullhypothese.

	Beobachtungen		Alternativhypothese (H1)		Nullhypothese (H0)
	Münze 1	Münze 2	Münze 1	Münze 2	Münze 1	Münze 2
Kopf	$n$	$m$	$p$	$q$	$r$	$r$
Zahl	$N-n$	$M-m$	$1-p$	$1-q$	$1-r$	$1-r$

Unter Gültigkeit der Nullhypothese ergibt sich die Likelihood-Funktion als

$L_{H0}(n,m)=r^n(1-r{)}^{N-n}{r}^m(1-r{)}^{M-m}=r^{n+m}(1-r{)}^{N-n+M-m}$

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzung $\hat{r}=(n+m)/(N+M)$.

Unter Gültigkeit der Alternativhypothese ergibt sich die Likelihood-Funktion als

$L_{H1}(n,m)=p^n(1-p{)}^{N-n}{q}^m(1-q{)}^{M-m}$

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzungen $\hat{p}=n/N$ bzw. $\hat{q}=m/M$.

Damit ergibt sich $\mathrm{\Lambda }$ als

$\mathrm{\Lambda }(n,m)=\frac{{\left(\frac{n+m}{N+M}\right)}^{n+m}{(1-\frac{n+m}{N+M})}^{N-n+M-m}}{{\left(\frac{n}{N}\right)}^n{(1-\frac{n}{N})}^{N-n}{\left(\frac{m}{M}\right)}^m{(1-\frac{m}{M})}^{M-m}}$

und als Prüfwert

$-2\log (\mathrm{\Lambda }(m,n))$,

der mit einem vorgegebenen kritischen Wert aus der ${\chi }_1^2$-Verteilung verglichen wird. Da wir in der Alternativhypothese zwei Parameter ($p$, $q$) und in der Nullhypothese einen Parameter ($r$) haben, ergibt sich die Anzahl der Freiheitsgrade als $2-1=1$.

Literatur

P. J. Bickel, K. Doksum: Mathematical statistics. Holden-Day.