Wishart-Verteilung

Namensgeber der Wishart-Verteilung - John Wishart (1898-1856)

Die Wishart-Verteilung ist eine Wahrscheinlichkeitsverteilung und zwar die matrixvariate Entsprechung der χ²-Verteilung. Sie wurde nach dem schottischen Statistiker John Wishart benannt.

Die Wishart-Verteilung spielt eine zentrale Rolle in der Theorie der Zufallsmatrizen und in der multivariaten Statistik.

Wishart Ensemble

In der Theorie der Zufallsmatrizen bezeichnet das Wishart Ensemble den Raum der Wishart-Matrizen. Analog zu Dysons $\beta$-Gaußschem Ensemble spricht man auch vom $\beta$-Wishart Ensemble für (reell) Wishart, komplex Wishart und Quaternion Wishart. Häufig verwendet man aber auch die technische Bezeichnung Laguerre, somit erhält man die $\beta$-Ensembles LOE, LUE und LSE, benannt nach der Invarianz des Maßes unter der entsprechenden kompakten Lie-Gruppen-Konjugation.

Definition

Formale Definition

Sei $M$ eine $m\times m$-Zufallsmatrix. Das Wahrscheinlichkeitsmaß

$W_m(n,\mathrm{\Sigma }):=\frac{1}{{𝒲}_{n,m,\mathrm{\Sigma }}}(\det M{)}^{(n-m-1)/2}{e}^{-\frac{1}{2}\mathrm{tr}({\mathrm{\Sigma }}^{-1}M)}\mathrm{d}M,$

wobei

${𝒲}_{n,m,\mathrm{\Sigma }}:=2^{nm/2}{\mathrm{\Gamma }}_m(n/2)(\det \mathrm{\Sigma }{)}^{n/2},$

definiert die zentrierte Wishart-Verteilung mit $n\ge m$ Freiheitsgraden auf dem Raum der symmetrischen positiv definiten Matrizen ($x^{T}Mx>0$).

Mit ${\mathrm{\Gamma }}_m(n/2)$ bezeichnet man die multivariate Gammafunktion:

${\mathrm{\Gamma }}_m\left(\frac{n}{2}\right)={\pi }^{m(m-1)/4}\prod _{j=1}^m\mathrm{\Gamma }(\frac{n}{2}-\frac{j-1}{2}).$

Eine Zufallsmatrix $M\sim W_m(n,\mathrm{\Sigma })$ nennt man zentrierte Wishart-Matrix.

Im Fall $n<m$ erhält man singuläre Wishart-Matrizen.

Einleitung

Sei $X$ eine $m\times n$-dimensionale Zufallsmatrix, die der zentrierten matrixvariaten Normalverteilung ${𝒩}_{n,m}(0,\mathrm{\Sigma },\mathrm{Id})$ folgt. Dann ist

$W=X{X}^{\prime }$

Wishart-verteilt. Das heißt, eine $m\times m$-Wishart-Matrix besteht aus $\frac{1}{2}m(m+1)$ sich nicht wiederholenden Elementen. Falls $𝔼[X]=0_{n,m},$ spricht man von einer zentrierten Wishart-Matrix.

Wenn allerdings $X$ nicht zentriert ist, d. h. $X\sim {𝒩}_{n,m}(\mu ,\mathrm{\Sigma },\mathrm{Id})$, dann spricht man von einer nicht-zentrierten Wishart-Matrix, geschrieben $M\sim W_m(n,\mathrm{\Sigma },M)$ (siehe Abschnitt Nicht-zentrierte Wishart-Verteilung). Explizite Formeln sind für diese Matrix in hoher Dimension äußerst kompliziert. Man kann jedoch die charakteristische Funktion angeben.

Falls $X$ einer komplexen matrixvariaten Normalverteilung folgt, dann ist $W$ komplex Wishart-verteilt.

Eigenwertdichte

Sei $M\sim W_m(n,\mathrm{\Sigma })$ und ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_m$ die geordneten Eigenwerte. Weiter sei $\mathrm{d}Q$ das normalisierte Haarsche Maß über der orthogonalen Gruppe ${𝕆}_m$ und $\mathrm{\Lambda }=\mathrm{diag}({\lambda }_1,\dots ,{\lambda }_m)$, dann ist die Eigenwertdichte

${\mathbb{P}}_{m,n}({\lambda }_1,\dots ,{\lambda }_m)=C_{m,n}\frac{1}{(\det \mathrm{\Sigma }{)}^{n/2}}\prod _i{\lambda }_i^{\frac{n-m-1}{2}}\prod _{i<j}({\lambda }_i-{\lambda }_j)\underset{{𝕆}_m}{\int }{e}^{-\frac{1}{2}\mathrm{tr}({\mathrm{\Sigma }}^{-1}Q\mathrm{\Lambda }{Q}^t)}\mathrm{d}Q$,

wobei $C_{m,n}:=\frac{{\pi }^{m^2/2}}{2^{mn/2}{\mathrm{\Gamma }}_m(m/2){\mathrm{\Gamma }}_m(n/2)}$.

Für das Integral über der orthogonalen Gruppe gibt es keine bekannte geschlossene Formel. Allerdings kann man mit Hilfe der Theorie der zonalen Polynome eine unendliche Reihenentwicklung für das Integral finden.

Für komplexe Wishart-Matrizen geht das Integral über die unitäre Gruppe ${𝕌}_m$, welches man mittels dem Harish-Chandra-Itzykson-Zuber-Integral berechnen kann.

$\det (\mathrm{\Sigma })$ wird auch als verallgemeinerte Varianz bezeichnet.

Nicht-zentrierte Wishart-Verteilung

Eine symmetrische positive $p\times p$-Zufallsmatrix $M$ folgt der nicht-zentrierten Wishart-Verteilung, geschrieben $M\sim W_p(n,\mathrm{\Sigma },\mathrm{\Xi })$, falls sie folgende Wahrscheinlichkeitsdichte besitzt:

Für $M>0,n\ge p$ gilt

$f(M)=\{2^{\frac{1}{2}np}{\mathrm{\Gamma }}_p\left(\frac{1}{2}n\right)\det (\mathrm{\Sigma }{)}^{\frac{1}{2}n}{\}}^{-1}\exp (\mathrm{tr}(-\frac{1}{2}\mathrm{\Xi }))\exp (\mathrm{tr}(-\frac{1}{2}{\mathrm{\Sigma }}^{-1}M))\det (M{)}^{\frac{1}{2}(n-p-1)}{}_0{F}_1(\frac{1}{2}n;\frac{1}{4}\mathrm{\Xi }{\mathrm{\Sigma }}^{-1}M),$

wobei ${}_0{F}_1$ die verallgemeinerte hypergeometrische Funktion mit Matrizen-Argument ist.

Wishart-Prozess

Der Wishart-Prozess bzw. dessen Eigenwertprozess ist das Analogon zu Dysons brownscher Bewegung für Kovarianzmatrizen. Sei $S_n^{+}$ der Raum der semidefiniten reellen $n\times n$-Matrizen, $S_0\in S_n^{+}$ und $B_t$ eine $n\times n$-Matrix-Brownsche-Bewegung. Weiter sei $Q\in {\mathrm{GL}}_n(ℝ)$ und $M\in {\mathrm{Mat}}_n(ℝ)$ sowie $\alpha >n-1$ ein Parameter. Der Wishart-Prozess ist die starke Lösung folgender stochastischen Differentialgleichung:

$\mathrm{d}{S}_t=\sqrt{S_t}\mathrm{d}{B}_{t}Q+Q^T\mathrm{d}{B}_t^T{\sqrt{S}}_t+(M{S}_t+S_t{M}^T+\alpha Q{Q}^T)\mathrm{d}t,t\ge 0$

Betrachtet man das Wishartsche unitäre Ensemble, so wird der Prozess auch häufig Laguerre-Prozess genannt.

Finanzmodelle mit multivariater wishartschen stochastischen Volatilität haben mehr Flexibilität als das klassische Black-Scholes-Modell.

Asymptotisches Spektralmaß

Für unendlich große Standard-Wishart-Matrizen (sowie auch für allgemeinere Formen) gilt für die Eigenwerte das Marchenko-Pastur-Gesetz.

Marchenko-Pastur-Gesetz

Sei $M_m\sim W_m(n,{\mathrm{Id}}_m),M=M_m/n$ und $m,n\to \mathrm{\infty },$ so dass $m/n\to \alpha \in (0,\mathrm{\infty })$, dann konvergiert das empirische Spektralmaß von $M$ auf $[{\lambda }_{-},{\lambda }_{+}]:=[(1-\sqrt{\alpha }{)}^2,(1+\sqrt{\alpha }{)}^2]$ schwach nach

${\mathrm{mp}}_{\alpha }(\mathrm{d}x,\omega ):={(1-\frac{1}{\alpha })}^{+}{\delta }_0+\frac{\sqrt{(x-{\lambda }_{-})({\lambda }_{+}-x)}}{2\pi x\alpha }{1}_{x\in [{\lambda }_{-},{\lambda }_{+}]}\mathrm{d}x\text{fast sicher.}$

Tracy-Widom-Gesetz

Vorlage:Hauptartikel Der größte Eigenwert einer normalisierten Wishart-Matrix folgt dem Tracy-Widom-Gesetz.

Eigenschaften

Die Wishart-Verteilung hat folgende Eigenschaften:

1. Sei $M\sim W_m(n,\mathrm{\Sigma })$ und $C$ eine $q\times m$-Matrix mit Rang $q$, dann gilt $CM{C}^t\sim W_m(n,C\mathrm{\Sigma }{C}^t)$.
2. Aus (1.) folgt somit ${\mathrm{\Sigma }}^{-\frac{1}{2}}M{\mathrm{\Sigma }}^{-\frac{1}{2}}\sim W_m(n,\mathrm{I}{\mathrm{d}}_{\mathrm{m}})$.
3. Seien $(M_i)\sim W_m(n_i,\mathrm{\Sigma })$ $k$ unabhängige Wishart-Matrizen. Dann ist $M=\sum _{i=1}^k{M}_i\sim W_m(n_1+\cdots +n_k,\mathrm{\Sigma })$ (Reproduktivität).
4. Sei $M\sim W_m(n,\mathrm{\Sigma })$, dann $𝔼[W_m]=n\mathrm{\Sigma }.$

Für nicht-zentralisierte Wishart-Matrizen gilt

1. Seien $M_i\sim W_m(n_i,\mathrm{\Sigma },{\mathrm{\Xi }}_i)$ und $i=1,\dots ,k$ und unabhängig, dann ist $M=\sum _{i=1}^k{M}_i\sim W_m(\sum _{i=1}^k{n}_i,\mathrm{\Sigma },\sum _{i=1}^k{\mathrm{\Xi }}_i)$ (Reproduktivität).

Herleitung

Seien $X_1,\dots ,X_m\sim 𝒩(0,1)$ (standardnormalverteilte Zufallsvariablen). Summiert man die Quadrate der $X_i,$ erhält man eine Chi-Quadrat-verteilte Zufallsvariable mit $m$ Freiheitsgraden:

$Y=\sum _{i=1}^m{X}_i^2\sim {\chi }^2(m)$

Diese Summe lässt sich aber auch als das Produkt eines $m$-variaten Zufallsvektors mit seiner Transponierten auffassen:

$Y=Z{Z}^{\prime },$

wobei $Z=(X_1,\dots ,X_m)\sim {𝒩}_m(0,\mathrm{\Sigma })$.

Hat man nun $n$ unabhängige Zufallsvektoren $Z_1,\dots ,Z_n\sim {𝒩}_m(0,\mathrm{\Sigma })$, fasst man diese in einer $m\times n$-Zufallsmatrix zusammen:

$𝐗=\left(\begin{array}{cccc}|& |& |& |\\ {Z_1}^{\prime }& {Z_2}^{\prime }& \dots & {Z_n}^{\prime }\\ |& |& |& |\end{array}\right)=\left(\begin{array}{cccc}{Z}_1^{(1)}& Z_1^{(2)}& \cdots & Z_1^{(n)}\\ Z_2^{(1)}& Z_2^{(2)}& \cdots & Z_2^{(n)}\\ ⋮& ⋮& \cdots & ⋮\\ Z_m^{(1)}& Z_m^{(2)}& \cdots & Z_m^{(n)}\end{array}\right)$.

Multipliziert man $𝐗$ mit ihrer Transponierten, erhält man eine (symmetrische) $m\times m$-Zufallsmatrix, die der Wishart-Verteilung mit $n$ Freiheitsgraden folgt:

$\mathbf{\text{W}}=𝐗{𝐗}^{\prime }=\sum _{i=1}^n{Z_i}^{\prime }{Z}_i$

mit $\mathbf{\text{W}}\sim W_m(n,\mathrm{\Sigma })$.

Erläuterungen

Betrachte $n=10$ Observationen mit $2$ Parametern $Z_1,Z_2,\dots ,Z_{10}\sim {𝒩}_2(0,\mathrm{\Sigma })$. Sei $Z_1=(z_1^{(1)},z_2^{(1)}),Z_2=(z_1^{(2)},z_2^{(2)}),\dots ,Z_{10}=(z_1^{(10)},z_2^{(10)})$, dann ist

$\begin{array}{cc}\mathbf{\text{W}}=\sum _{i=1}^{10}{Z_i}^{\prime }{Z}_i& =\left(\begin{array}{cc}{\left(z_1^{(1)}\right)}^2& z_1^{(1)}{z}_2^{(1)}\\ z_1^{(1)}{z}_2^{(1)}& {\left(z_2^{(1)}\right)}^2\end{array}\right)+\left(\begin{array}{cc}{\left(z_1^{(2)}\right)}^2& z_1^{(2)}{z}_2^{(2)}\\ z_1^{(2)}{z}_2^{(2)}& {\left(z_2^{(2)}\right)}^2\end{array}\right)+\cdots +\left(\begin{array}{cc}{\left(z_1^{(10)}\right)}^2& z_1^{(10)}{z}_2^{(10)}\\ z_1^{(10)}{z}_2^{(10)}& {\left(z_2^{(10)}\right)}^2\end{array}\right)\\ & =\left(\begin{array}{cc}{\left(z_1^{(1)}\right)}^2+{\left(z_1^{(2)}\right)}^2+\cdots +{\left(z_1^{(10)}\right)}^2& z_1^{(1)}{z}_2^{(1)}+z_1^{(2)}{z}_2^{(2)}+\cdots +z_1^{(10)}{z}_2^{(10)}\\ z_1^{(1)}{z}_2^{(1)}+z_1^{(2)}{z}_2^{(2)}+\cdots +z_1^{(10)}{z}_2^{(10)}& {\left(z_2^{(1)}\right)}^2+{\left(z_2^{(2)}\right)}^2+\cdots +{\left(z_2^{(10)}\right)}^2\end{array}\right)\end{array}$.

Das heißt, die Wishart-Matrix ist in diesem Beispiel die Summe aus zehn verschiedenen Matrizen.

Statistisches Beispiel

Seien $X_1,\dots ,X_n$ i.i.d. $p$-dimensionale Zufallsvektoren mit Verteilung ${𝒩}_p(\mu ,\mathrm{\Sigma })$. Definiere die Schätzfunktionen für den Erwartungswert und die Varianz

$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$

$S=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^t$

Dann gilt

$(n-1)S\sim W_p(n-1,\mathrm{\Sigma }).$

Erläuterung

Das heißt, die unnormalisierte Kovarianzmatrix der Zufallsstichprobe aus einer multivariaten Normalverteilung folgt der Wishart-Verteilung. Für den Maximum-Likelihood-Schätzer für die Kovarianzmatrix gilt:

${\hat{\mathrm{\Sigma }}}_{ML}=\frac{(n-1)}{n}S$

Weblinks

• Vorlage:EoM

• Vorlage:MathWorld

Literatur

• Vorlage:Literatur