Mallows’ Cp-Statistik

Vorlage:Belege Mallows’ C_p-Statistik, benannt nach Colin Lingwood Mallows, ist ein globales Gütemaß, das die Güte der Anpassung einer Regression bewertet. Es wird vor allem im Kontext einer Modellselektion beziehungsweise einer Variablenselektion verwendet, bei der es Ziel ist, die beste Untermenge der gesamten Prädiktoren zu finden, die die beste Vorhersage liefern. Ein kleiner Wert von $C_p$ bedeutet, dass das Model relativ präzise ist.

Im Spezialfall einer linearen Regression ist Mallows’ $C_p$-Statistik äquivalent zum AIC (Akaike-Informationskriterium).

Definition und Eigenschaften

Mallows’ $C_p$-Statistik adressiert das Problem der Überanpassung eines Modells, bei der die Residuenquadratsumme immer kleiner wird, je mehr Variablen man zu dem Modell hinzufügt. Möchte man also das Modell auswählen, welches die kleinste Residuenquadratsumme besitzt, wird man immer das Modell mit allen Variablen wählen.

Mallows’ $C_p$-Statistik nutzt stattdessen den mittleren quadratischen Prognosefehler (Vorlage:EnS mean squared prediction error, kurz: MSPE):

$\mathrm{E}\sum _j{({\hat{Y}}_j-\mathrm{E}(Y_j\mid X_j))}^2/{\sigma }^2$,

wobei ${\hat{Y}}_j$ der angepasste Wert aus einem Regressionsmodell mit j Variablen, $\mathrm{E}(Y_j\mid X_j)$ der Erwartungswert dieses Falls und ${\sigma }^2$ die Varianz der Fehlerterme ist. Der mittlere quadratische Prognosefehler wird nicht automatisch kleiner, je mehr Variablen man zum Modell hinzufügt.

Werden $p$ Prädiktoren aus einer Gesamtmenge von $K>p$ ausgewählt, dann ist die $C_p$-Statistik für diese Prädiktoren für gewöhnlich definiert als:

$C_p=\frac{SQ{R}_p}{S^2}-N+2p$,

wobei

• $SQ{R}_p=\sum _{i=1}^N(Y_i-{\hat{Y}}_p{)}^2$ die Residuenquadratsumme für ein Modell mit $p$ Prädiktoren,

• ${\hat{Y}}_p$der vorhergesagte Wert der $i$-ten Beobachtung mit $p$ Prädiktoren,

• $S^2$ die Mittlere quadratische Abweichung nach einer Regressionsanalyse auf dem vollständigen Datensatz mit $K$ Prädiktoren,

• und $N$ die Anzahl der Beobachtungen ist.