Multipler Korrelationskoeffizient

Der multiple Korrelationskoeffizient ist in der multivariaten Statistik ein Korrelationskoeffizient, welcher die lineare Abhängigkeit zwischen einer Zufallsvariable und einer Menge anderer Zufallsvariablen misst. Konkret bedeutet das für einen Zufallsvektor $(X_1,\dots ,X_n{)}^{\mathrm{T}}$, dass der multiple Korrelationskoeffizient die maximale Korrelation zwischen einer Zufallsvariable $X_i$ für $i\le k$ und jeder beliebigen linearen Funktion von $X_{k+1},\dots ,X_n$ ist. Als Spezialfall erhält man den multiplen Korrelationskoeffizient zwischen $X_1$ und $X_2,\dots ,X_n$. Im Gegensatz zu den gewöhnlichen Korrelationskoeffizienten liegt der multiple Korrelationskoeffizient zwischen $0$ und $1$. Der multiple Korrelationskoeffizient wird mit ${\bar{R}}_{i\cdot (k+1\cdots n)}$ notiert.

Der multiple Korrelationskoeffizient wurde 1896 von Karl Pearson für drei Variablen eingeführt und 1897 von George Udny Yule erweitert.

Definition

Sei $𝐗=(X_1,X_2,\dots ,X_n{)}^{\mathrm{T}}$ ein Zufallsvektor mit positiv definiter Kovarianzmatrix $\mathrm{\Sigma }$ und $1\le i\le k<n$.

Wir machen folgende Zerlegung

$𝐗=\left(\begin{array}{c}{𝐗}_1\\ {𝐗}_2\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}{\mathrm{\Sigma }}_{11}& {\mathrm{\Sigma }}_{12}\\ {\mathrm{\Sigma }}_{21}& {\mathrm{\Sigma }}_{22}\end{array}\right),{𝐗}_{\mathrm{𝟏}}=(X_1,\dots ,X_k{)}^{\mathrm{T}},{𝐗}_{\mathrm{𝟐}}=(X_{k+1},\dots ,X_n{)}^{\mathrm{T}}.$

Der multiple Korrelationskoeffizient ${\bar{R}}_{i\cdot (k+1\cdots n)}$ zwischen $X_i$ und $X_{k+1},\dots ,X_n$ ist die maximale Korrelation zwischen $X_i$ und jeder linearen Funktion ${\mathit{\alpha }}^{\mathrm{T}}{𝐗}_{\mathrm{𝟐}}$.

In mathematischen Formeln ausgedrückt

${\bar{R}}_{i\cdot (k+1\cdots n)}:=\max {\mathrm{\backslash limits}}_{\mathit{\alpha }}\frac{\mathrm{Cov}(X_i,{\mathit{\alpha }}^{\mathrm{T}}{𝐗}_{\mathrm{𝟐}})}{{(\mathrm{Var}(X_i)\mathrm{Var}({\mathit{\alpha }}^{\mathrm{T}}{𝐗}_{\mathrm{𝟐}}))}^{1/2}}=\max {\mathrm{\backslash limits}}_{\mathit{\alpha }}\frac{{\mathit{\alpha }}^{\mathrm{T}}{\mathit{\sigma }}_i}{({\sigma }_{ii}{\mathit{\alpha }}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}\mathit{\alpha }{)}^{1/2}},$

wobei ${\mathit{\sigma }}_i^{\mathrm{T}}$ die $i$-te Reihe von ${\mathrm{\Sigma }}_{12}$ ist und $\mathrm{Var}(X_i)={\sigma }_{ii}$.

Wendet man die Cauchy-Schwarz-Ungleichung an

$\frac{{\mathit{\alpha }}^{\mathrm{T}}{\mathit{\sigma }}_i}{({\sigma }_{ii}{\mathit{\alpha }}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}\mathit{\alpha }{)}^{1/2}}=\frac{{\mathit{\alpha }}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}^{1/2}{\mathrm{\Sigma }}_{22}^{-1/2}{\mathit{\sigma }}_i}{({\sigma }_{ii}{\mathit{\alpha }}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}\mathit{\alpha }{)}^{1/2}}\le \frac{{\left({\mathit{\alpha }}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}\mathit{\alpha }\right)}^{1/2}{\left({\mathit{\sigma }}_i^{\mathrm{T}}{\mathrm{\Sigma }}_{22}^{-1}{\mathit{\sigma }}_i\right)}^{1/2}}{({\sigma }_{ii}{\mathit{\alpha }}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}\mathit{\alpha }{)}^{1/2}}={\left(\frac{{\mathit{\sigma }}_i^{\mathrm{T}}{\mathrm{\Sigma }}_{22}^{-1}{\mathit{\sigma }}_i}{{\sigma }_{ii}}\right)}^{1/2},$

so erhält man eine Obergrenze, die erreicht wird, wenn $\mathit{\alpha }={\mathrm{\Sigma }}_{22}^{-1}{\mathit{\sigma }}_i$.

Daraus folgt

${\bar{R}}_{i\cdot (k+1\cdots n)}={\left(\frac{{\mathit{\sigma }}_i^{\mathrm{T}}{\mathrm{\Sigma }}_{22}^{-1}{\mathit{\sigma }}_i}{{\sigma }_{ii}}\right)}^{1/2}.$

Eigenschaften

• Es gilt

$0\le {\bar{R}}_{i\cdot (k+1\cdots n)}\le 1$

und ${\bar{R}}_{i\cdot (k+1\cdots n)}=0⟺{\mathrm{\Sigma }}_{12}=\mathrm{𝟎}$.

• Man kann zeigen, dass wenn die Regressionsfunktion $𝔼[X_i\mid {𝐗}_{\mathrm{𝟐}}]$ eine lineare Funktion ist, dann ist der multiple Korrelationskoeffizient gerade der Korrelationskoeffizient zwischen $X_i$ und $𝔼[X_i\mid {𝐗}_{\mathrm{𝟐}}]$.
• Es gilt

$1-{\bar{R}}_{i\cdot (k+1\cdots n)}^2=\frac{\det ({\mathrm{\Sigma }}_i)}{{\sigma }_{ii}\det ({\mathrm{\Sigma }}_{22})},$ wobei ${\mathrm{\Sigma }}_i:=\left(\begin{array}{cc}{\sigma }_{ii}& {\mathit{\sigma }}_i^{\mathrm{T}}\\ {\mathit{\sigma }}_i& {\mathrm{\Sigma }}_{ii}\end{array}\right).$

Spezialfall X₁ und X₂,...,X_n

Möchten wir ${\bar{R}}_{1\cdot (2\cdots n)}$ herleiten, das heißt den multiplen Korrelationskoeffizient zwischen $X_1$ und $X_2,\dots ,X_n$, dann machen wir folgende Zerlegung

$𝐗=\left(\begin{array}{c}{X}_1\\ {𝐗}_2\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}{\sigma }_{11}& {\mathit{\sigma }}_{12}^{\mathrm{T}}\\ {\mathit{\sigma }}_{12}& {\mathrm{\Sigma }}_{22}\end{array}\right),$

da ${\mathit{\sigma }}_{12}$ ein $(n-1)\times 1$-dimensionaler Vektor ist, verzichten wir auf die Notation ${\mathrm{\Sigma }}_{12}$.

Es gilt dann

${\bar{R}}_{1\cdot (2\cdots n)}={\left(\frac{{\mathit{\sigma }}_{12}^{\mathrm{T}}{\mathrm{\Sigma }}_{22}^{-1}{\mathit{\sigma }}_{12}}{{\sigma }_{11}}\right)}^{1/2}.$

Multipler Korrelationskoeffizient für eine Stichprobe

Seien ${𝐗}_1,\dots ,{𝐗}_N$ unabhängige Stichproben von $𝐗$ und

$𝐒=\frac{1}{(N-1)}\sum _{i=1}^N({𝐗}_i-\overline{𝐗})({𝐗}_i-\overline{𝐗}{)}^{\mathrm{T}}$

die korrigierte Stichprobenkovarianzmatrix. Dann machen wir folgende Zerlegung

$𝐒=\left(\begin{array}{cc}{𝐒}_{11}& {𝐒}_{12}\\ {𝐒}_{21}& {𝐒}_{22}\end{array}\right)$

und der multiple Korrelationskoeffizient einer Stichprobe ist dann

$R_{i\cdot (k+1\cdots n)}={\left(\frac{{𝐬}_i^{\mathrm{T}}{𝑺}_{22}^{-1}{𝐬}_i}{s_{ii}}\right)}^{1/2},$

wobei ${𝐬}_i^{\mathrm{T}}$ die $i$-te Reihe von ${𝐒}_{12}$ ist.

Wenn eine Normalverteilung zugrunde liegt, dann ist $R_{i\cdot (k+1\cdots n)}$ der Maximum-Likelihood-Schätzer von ${\bar{R}}_{i\cdot (k+1\cdots n)}$.

Literatur

• Vorlage:Literatur
• Vorlage:Literatur