Cook-Abstand

In der Statistik, insbesondere in der Regressionsdiagnostik, ist der Cook-Abstand, die Cook-Maßzahl, oder auch Cook'sche Distanz genannt, die wichtigste Maßzahl zur Bestimmung sogenannter einflussreicher Beobachtungen, wenn eine Kleinste-Quadrate-Regression durchgeführt wurde. Der Cook-Abstand ist nach dem amerikanischen Statistiker R. Dennis Cook benannt, der das Konzept 1977 vorstellte.

Definition

Datenpunkte mit großen Residuen (Ausreißern) und/oder großen „Hebelwerten“ könnten das Ergebnis und die Präzision einer Regression beeinflussen. Der Cook-Abstand misst den Effekt der Auslassung einer gegebenen Beobachtung. Datenpunkte mit einem großen Cook-Abstand sollte man bei der Datenanalyse näher betrachten. Es sei das multiple lineare Regressionsmodell in Vektor-Matrix-Form:

$\underset{n\times 1}{𝐲}=\underset{n\times p}{𝐗}\underset{p\times 1}{\mathit{\beta }}+\underset{n\times 1}{\mathit{\epsilon }}$,

wobei der Störgrößenvektor einer mehrdimensionalen Normalverteilung folgt $\mathit{\epsilon }\sim 𝒩(\mathrm{𝟎},{\sigma }^2𝐈)$ und $\mathit{\beta }={({\beta }_0{\beta }_1,\dots ,{\beta }_k)}^{\mathrm{\top }}$ der Vektor der Regressionskoeffizienten ist (hierbei ist $p=k+1$ die Anzahl der zu schätzenden unbekannten Parameter und $k$ die Anzahl der erklärenden Variablen), und $𝐗$ die Datenmatrix. Der Kleinste-Quadrate-Schätzvektor lautet dann $\hat{\mathit{\beta }}={\left({𝐗}^{\mathrm{\top }}𝐗\right)}^{-1}{𝐗}^{\mathrm{\top }}𝐲$, woraus folgt, dass sich der Schätzvektor der abhängigen Variablen wie folgt ergibt:

$\widehat{𝐲}=𝐗\hat{\mathit{\beta }}=\underset{=𝐏}{\underbrace{𝐗{\left({𝐗}^{\mathrm{\top }}𝐗\right)}^{-1}{𝐗}^{\mathrm{\top }}}}𝐲=𝐏𝐲$,

wobei $𝐏\equiv 𝐗{\left({𝐗}^{\mathrm{\top }}𝐗\right)}^{-1}{𝐗}^{\mathrm{\top }}$ die Prädiktionsmatrix darstellt. Das $i$te Diagonalelement von $𝐏$ ist gegeben durch $p_{ii}\equiv {𝐱}_i^{\mathrm{\top }}{\left({𝐗}^{\mathrm{\top }}𝐗\right)}^{-1}{𝐱}_i$, wobei ${𝐱}_i^{\mathrm{\top }}$ die $i$-te Zeile der Datenmatrix $𝐗$ ist. Die Werte werden auch als „Hebelwerte“ der $i$ten Beobachtung bezeichnet. Um den Einfluss eines Punktes $(y_i,{𝐱}_i^{\mathrm{\top }})$ zu formalisieren betrachtet man den Effekt der Auslassung des Punktes auf $\mathit{\beta }$ und $\widehat{𝐲}=𝐗\hat{\mathit{\beta }}$. Der Schätzer von $\mathit{\beta }$, der dadurch gewonnen wird, dass die $i$te Beobachtung $(y_i,{𝐱}_i^{\mathrm{\top }})$ ausgelassen wird, ist gegeben durch ${\hat{\mathit{\beta }}}_{(i)}=({𝐗}_{(i)}^{\mathrm{\top }}{𝐗}_{(i)}{)}^{-1}{𝐗}_{(i)}^{\mathrm{\top }}{𝐲}_{(i)}$. Man kann ${\hat{\mathit{\beta }}}_{(i)}$ mit $\hat{\mathit{\beta }}$ mittels dem Cook-Abstand vergleichen, der definiert ist durch:

$D_i=\frac{({\hat{\mathit{\beta }}}_{(i)}-\hat{\mathit{\beta }}{)}^{\mathrm{\top }}({𝐗}^{\mathrm{\top }}𝐗)({\hat{\mathit{\beta }}}_{(i)}-\hat{\mathit{\beta }})}{(k+1)s^2}=\frac{(𝐗{\hat{\mathit{\beta }}}_{(i)}-𝐗\hat{\mathit{\beta }}{)}^{\mathrm{\top }}(𝐗{\hat{\mathit{\beta }}}_{(i)}-𝐗\hat{\mathit{\beta }})}{(k+1)s^2}=\frac{({\widehat{𝐲}}_{(i)}-\widehat{𝐲}{)}^{\mathrm{\top }}({\widehat{𝐲}}_{(i)}-\widehat{𝐲})}{(k+1)s^2}$,

wobei $s^2$ die erwartungstreue Schätzung der Varianz der Störgrößen darstellt. Das Maß $D_i$ ist proportional zum gewöhnlichen euklidischen Abstand zwischen ${\widehat{𝐲}}_{(i)}$ und $\widehat{𝐲}$. Daher ist $D_i$ groß, wenn die Beobachtung $(y_i,{𝐱}_i^{\mathrm{\top }})$ eine substantiellen Einfluss auf sowohl $\hat{\mathit{\beta }}$, als auch $\widehat{𝐲}$ hat.

Eine numerisch einfachere Darstellung von $D_i$ ist gegeben durch:

$D_i=\frac{t_i^2}{k+1}\left(\frac{p_{ii}}{1-p_{ii}}\right)$,

wobei $t_i$ die studentisierten Residuen $t_i=\frac{{\hat{\epsilon }}_i}{s_{(i)}^2\sqrt{1-p_{ii}}}$ darstellen.

Erkennen von stark einflussreichen Beobachtungen

Es gibt unterschiedliche Ansätze zur Bestimmung der Grenzen, was stark einflussreiche Beobachtungen sein sollen. Es wurde die einfache Daumenregel $D_i>1$ vorgeschlagen. Andere Autoren haben $D_i>4/n$ vorgeschlagen, wobei $n$ die Anzahl der Beobachtungen ist.

Siehe auch

• Mahalanobis-Abstand

Literatur

• Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008