M-Schätzer

M-Schätzer, auch maximum-likelihood-artige Schätzer stellen eine Klasse von Schätzfunktionen dar, die als Verallgemeinerung der Maximum-Likelihood-Methode angesehen werden können. M-Schätzer sind im Vergleich zu anderen Schätzern wie z. B. den Maximum-Likelihood-Schätzern robuster gegen Ausreißer.

Dieser Artikel behandelt M-Schätzer zur Ermittlung des Lageparameters.

Herleitung durch Verallgemeinerung der Maximum-Likelihood-Methode

Das Prinzip von Maximum-Likelihood-Schätzern beruht darauf, die Funktion

$\sum _{i=1}^n-\ln f_{X_i}(x_i;\mathrm{\Theta })$

mit entsprechender Dichte- bzw. Wahrscheinlichkeitsfunktion $f_X(x)$ in Abhängigkeit von $\mathrm{\Theta }$ zu minimieren.

Die Idee bei M-Schätzern ist, die Funktion $-\ln f_{X_i}(x_i;\mathrm{\Theta })$ durch eine Funktion $\rho (x;\mathrm{\Theta })$ zu ersetzen, welche weniger empfindlich auf Ausreißer reagiert. Aufgabe ist es, den Ausdruck

$\sum _{i=1}^n\rho (x_i;\mathrm{\Theta })$

in Abhängigkeit von $\mathrm{\Theta }$ zu minimieren, bzw. die Gleichung

$\sum \psi (x_i;\mathrm{\Theta })=0$

mit

$\psi (x_i;\mathrm{\Theta })=\frac{\partial \rho }{\partial \mathrm{\Theta }}(x_i;\mathrm{\Theta })$

zu lösen.

Jede Lösung dieser Gleichung wird M-Schätzer genannt.

Implizite Definition

Sei $F$ eine beliebige Verteilungsfunktion und $\psi$ eine ungerade und monoton wachsende Funktion ungleich 0. Dann ist ${\mu }_{\psi }(F)$ definiert als die Lösung $\mu ={\mu }_{\psi }(F)$ der Gleichung

$\mathrm{E}(\psi (x-\mu ))=\int \psi (x-\mu )dF(x)=0$

Beachtet werden muss, dass abhängig von der Wahl von $\psi$ und $F$ es entweder keine, eine oder mehrere Lösungen geben kann. Im Falle einer konkreten Stichprobe wird $\mu ={\mu }_{\psi }(F_n)$, die Lösung von

$\frac{1}{n}\sum _{i=1}^n\psi (x_i-\mu )=\int \psi (x-\mu )d{F}_n(x)=0$

M-Schätzer genannt.

Geeignete Funktionen ρ

Im Folgenden sind die $x_i$ gemäß

$z_i=\frac{x_i-\mathrm{\Theta }}{S_n}$

standardisiert, um Skaleninvarianz zu erreichen. $S_n$ stellt hierbei einen Streuungschätzer dar, für den meist der MAD (Median Absolute Deviation) verwendet wird.

Methode	$\rho (z)$	$\psi (z)$	$w(z)$
Kleinste-Quadrate-Methode	${\rho }_{LS}(z)=\frac{z^2}{2}$	${\psi }_{LS}(z)=z$	$w_{LS}(z)=1$
Huber-k-Schätzer	${\rho }_H(z)=\{\begin{array}{cc}\frac{z^2}{2}& |z|\le k\\ k|z|-\frac{1}{2}{k}^2& |z|>k\end{array}$	${\psi }_H(z)=\{\begin{array}{cc}z& |z|\le k\\ k\mathrm{sgn}(z)& |z|>k\end{array}$	$w_H(z)=\{\begin{array}{cc}1& |z|\le k\\ \frac{k}{|z|}& |z|>k\end{array}$
Hampel-Schätzer	${\rho }_{Ha}(z)=\{\begin{array}{cc}\frac{z^2}{2}& |z|\le a\\ a|z|-\frac{a^2}{2}& a<|z|\le b\\ ab-\frac{a^2}{2}+(c-b)\frac{a}{2}(1-{\left(\frac{c-|z|}{c-b}\right)}^2)& b<|z|\le c\\ ab-\frac{a^2}{2}+(c-b)\frac{a}{2}& |z|>c\end{array}$	${\psi }_{Ha}(z)=\{\begin{array}{cc}z& |z|\le a\\ a\mathrm{sgn}(z)& a<|z|\le b\\ a\frac{c-|z|}{c-b}\mathrm{sgn}(z)& b<|z|\le c\\ 0& |z|>c\end{array}$	$w_{Ha}(z)=\{\begin{array}{cc}1& |z|\le a\\ a\frac{1}{|z|}& a<|z|\le b\\ a\frac{c-|z|}{c-b}\frac{1}{|z|}& b<|z|\le c\\ 0& |z|>c\end{array}$
Andrews wave	${\rho }_{Aw}(z)=\{\begin{array}{cc}\frac{a^2}{{\pi }^2}(1-\cos \left(\frac{\pi z}{a}\right))& |z|\le a\\ \frac{2a^2}{{\pi }^2}& |z|>a\end{array}$	${\psi }_{Aw}(z)=\{\begin{array}{cc}\frac{a}{\pi }\sin \left(\frac{\pi z}{a}\right)& |z|\le a\\ 0& |z|>a\end{array}$	$w_{Aw}(z)=\{\begin{array}{cc}\frac{a}{\pi z}\sin \left(\frac{\pi z}{a}\right)& |z|\le a\\ 0& |z|>a\end{array}$
Tukey's biweight	${\rho }_{Tb}(z)=\{\begin{array}{cc}\frac{a^2}{6}(1-{(1-\frac{z^2}{a^2})}^3)& |z|\le a\\ \frac{a^2}{6}& |z|>a\end{array}$	${\psi }_{Tb}(z)=\{\begin{array}{cc}z{(1-\frac{z^2}{a^2})}^2& |z|\le a\\ 0& |z|>a\end{array}$	$w_{Tb}(z)=\{\begin{array}{cc}{(1-\frac{z^2}{a^2})}^2& |z|\le a\\ 0& |z|>a\end{array}$

Die Gewichtsfunktionen im folgenden Bild zeigen die Unterschiede zwischen den Schätzern auf: bei Huber-k haben auch extreme Beobachtungen ein geringes Gewicht, beim Hampel-, Andrews wave- und Tukey's biweight-Schätzer wird extremen Beobachtungen das Gewicht Null zugeordnet.

Datei:Mest weightfunc.jpg

Gewichtsfunktionen w(z) für verschiedene M-Schätzer. Die Parameterwerte entsprechen den Standardwerten von SPSS.

Robustheit

Bei geeigneter Wahl von $\psi$ (ungerade, beschränkt und monoton steigend) haben M-Schätzer einen Bruchpunkt von ${ϵ}^{*}=0,5$.

Numerische Lösungsmethode

Für viele Funktionen $\rho$ lässt sich keine explizite Lösung angeben, sie muss daher numerisch berechnet werden. Wie üblich zur Berechnung von Nullstellenproblemen bietet sich auch hier das Newton-Raphson-Verfahren an, und es ergibt sich folgende Iterationsvorschrift, wobei wiederum $z_i=\frac{x_i-\mu }{S_n}$ :

${\mu }_{k+1}={\mu }_k+\frac{S_n\sum _{i=1}^n\psi (z_i)}{\sum _{i=1}^n{\psi }^{\prime }(z_i)}$

Als geeigneter Startwert ${\mu }_0$ wird meist der Median verwendet. Dieses Iterationsverfahren konvergiert sehr schnell, meist sind zwei bis drei Iterationsschritte ausreichend.

W-Schätzer

W-Schätzer sind M-Schätzern sehr ähnlich und liefern im Normalfall gleiche Ergebnisse. Der einzige Unterschied liegt in der Lösung des Minimierungsproblems. W-Schätzer werden meist bei der robusten Regression eingesetzt.

Es wird die Wichtungsfunktion

$w(z)=\frac{\psi (z)}{z}$

mit

$\psi (x_i;\mathrm{\Theta })=\frac{\partial \rho }{\partial \mathrm{\Theta }}(x_i;\mathrm{\Theta })$

eingeführt, mit deren Hilfe das Minimierungsproblem umgeschrieben werden kann in

$\sum _{i=1}^n{z}_{i}w(z_i)=0$

Einsetzen der Definition von $z_i$, ausmultiplizieren und umstellen ergibt schließlich über die Fixpunktgleichung

$\mathrm{\Theta }=\frac{\sum _{i=1}^n{x}_{i}w(\frac{x_i-\mathrm{\Theta }}{S_n})}{\sum _{i=1}^{n}w(\frac{x_i-\mathrm{\Theta }}{S_n})}$

die Iterationsvorschrift

${\mathrm{\Theta }}_{t+1}=\frac{\sum _{i=1}^n{x}_{i}w(\frac{x_i-{\mathrm{\Theta }}_t}{S_n})}{\sum _{i=1}^{n}w(\frac{x_i-{\mathrm{\Theta }}_t}{S_n})}$

Siehe auch

• Sogenannte RANSAC-Algorithmen

Literatur

• Vorlage:Literatur
• Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
• Rand R. Wilcox: Introduction to robust estimation and hypothesis testing. Academic Press, San Diego Cal 1997. ISBN 0-12-751545-3