Stochastisch unabhängige Zufallsvariablen

Die stochastische Unabhängigkeit von Zufallsvariablen ist ein zentrales Konzept der Wahrscheinlichkeitstheorie und der Statistik, das die stochastische Unabhängigkeit von Ereignissen und die Unabhängigkeit von Mengensystemen verallgemeinert. Die stochastische Unabhängigkeit von Zufallsvariablen wird beispielsweise bei der Formulierung des Zentralen Grenzwertsatzes benötigt.

Definition für zwei Zufallsvariablen

Gegeben seien ein Wahrscheinlichkeitsraum $(\mathrm{\Omega },𝒜,P)$ sowie zwei Messräume $(E_1,{\mathrm{\Sigma }}_1)$ und $(E_2,{\mathrm{\Sigma }}_2)$ und zwei Zufallsvariablen

$X_1:(\mathrm{\Omega },𝒜,P)\to (E_1,{\mathrm{\Sigma }}_1)$

und

$X_2:(\mathrm{\Omega },𝒜,P)\to (E_2,{\mathrm{\Sigma }}_2)$.

Die beiden Zufallsvariablen heißen stochastisch unabhängig oder einfacher unabhängig, wenn für jedes $B_1\in {\mathrm{\Sigma }}_1$ und jedes $B_2\in {\mathrm{\Sigma }}_2$ gilt, dass

$P(\{\omega \in \mathrm{\Omega }:X_1(\omega )\in B_1\text{und}{X}_2(\omega )\in B_2\})=P(\{\omega \in \mathrm{\Omega }:X_1(\omega )\in B_1\})\cdot P(\{\omega \in \mathrm{\Omega }:X_2(\omega )\in B_2\})$.

Meist werden die Mengen kompakter notiert, indem man anstelle von $\{\omega \in \mathrm{\Omega }:X_2(\omega )\in B_2\}$ einfach $\{X_2\in B_2\}$ schreibt. Dann lautet die Definition

$P(\{X_1\in B_1,X_2\in B_2\})=P(\{X_1\in B_1\})\cdot P(\{X_2\in B_2\})$

für alle $B_1\in {\mathrm{\Sigma }}_1,B_2\in {\mathrm{\Sigma }}_2$. Außerdem werden – weiter vereinfachend – häufig die Mengenklammern weggelassen, so dass die Notation

$P(X_1\in B_1,X_2\in B_2)=P(X_1\in B_1)\cdot P(X_2\in B_2),$

resultiert, die auch im Folgenden verwendet wird.

Eine alternative Definition wird durch die stochastische Unabhängigkeit von Ereignissen ermöglicht. Man definiert dann

$A_{B_1}^1=\{\omega \in \mathrm{\Omega }:X_1(\omega )\in B_1\}$

$A_{B_2}^2=\{\omega \in \mathrm{\Omega }:X_2(\omega )\in B_2\}$.

Die Zufallsvariablen $X_1,X_2$ heißen dann stochastisch unabhängig, wenn für alle $B_1\in {\mathrm{\Sigma }}_1,B_2\in {\mathrm{\Sigma }}_2$ gilt, dass die $A_{B_1}^1$ und $A_{B_2}^2$ stochastisch unabhängige Ereignisse sind, also

$P(A_{B_1}^1\cap A_{B_2}^2)=P(A_{B_1}^1)P(A_{B_2}^2)$

gilt.

Beispiel

Wir betrachten den Wahrscheinlichkeitsraum $(\mathrm{\Omega },𝒜,P)$ mit Grundmenge $\mathrm{\Omega }=\{1,2,3,4\}$, σ-Algebra $𝒜=𝒫(\mathrm{\Omega })$ und als Wahrscheinlichkeitsmaß die Gleichverteilung auf der Grundmenge. Sei $E_1=E_2=\{0,1\}$ und ${\mathrm{\Sigma }}_1={\mathrm{\Sigma }}_2=𝒫(\{0,1\})$. Die Zufallsvariablen sind definiert als

$X_1(\omega )=\{\begin{array}{cc}1& \text{ falls }\omega \in \{1,2\}\\ 0& \text{ falls }\omega \in \{3,4\}\end{array}$

$X_2(\omega )=\{\begin{array}{cc}1& \text{ falls }\omega \in \{2,3\}\\ 0& \text{ falls }\omega \in \{1,4\}\end{array}$.

Jede der σ-Algebren hat 4 Elemente: $\mathrm{\varnothing },\{0\},\{1\},\{0,1\}$. Demnach wären 16 Kombinationen zu überprüfen. Die Fälle, in denen eine der beteiligten Mengen die Obermenge oder die leere Menge ist, können jedoch ausgeschlossen werden, da jede Menge von diesen beiden unabhängig ist. Demnach bleiben nur 4 Fälle übrig: $B_1=\{0\}$ oder $B_1=\{1\}$ kombiniert mit $B_2=\{0\}$ oder $B_2=\{1\}$

1. Sei $B_1=B_2=\{0\}$. Dann ist $A_{B_1}^1=\{3,4\}$ und $A_{B_2}^2=\{1,4\}$ sowie $A_{B_1}^1\cap A_{B_2}^2=\{4\}$. Diese Ereignisse sind unabhängig, denn es ist $P(\{4\})=\frac{1}{4}=P(\{3,4\})P(\{1,4\})$.
2. Sei $B_1=B_2=\{1\}$. Dann ist $A_{B_1}^1=\{1,2\}$ und $A_{B_2}^2=\{2,3\}$ sowie $A_{B_1}^1\cap A_{B_2}^2=\{2\}$. Diese Ereignisse sind unabhängig, denn es ist $P(\{2\})=\frac{1}{4}=P(\{1,2\})P(\{2,3\})$.
3. Sei $B_1=\{1\}$ und $B_2=\{0\}$. Dann ist $A_{B_1}^1=\{1,2\}$ und $A_{B_2}^2=\{1,4\}$ sowie $A_{B_1}^1\cap A_{B_2}^2=\{1\}$. Diese Ereignisse sind unabhängig, denn es ist $P(\{1\})=\frac{1}{4}=P(\{1,2\})P(\{1,4\})$.
4. Sei $B_1=\{0\}$ und $B_2=\{1\}$. Dann ist $A_{B_1}^1=\{3,4\}$ und $A_{B_2}^2=\{2,3\}$ sowie $A_{B_1}^1\cap A_{B_2}^2=\{3\}$. Diese Ereignisse sind unabhängig, denn es ist $P(\{3\})=\frac{1}{4}=P(\{3,4\})P(\{2,3\})$.

Somit sind alle Ereignisse unabhängig und demnach auch die Zufallsvariablen.

Allgemeine Definition

Die Familie von Zufallsvariablen $X_i:(\mathrm{\Omega },𝒜,P)\to (E_i,{\mathrm{\Sigma }}_i)$, $i\in I$ für eine beliebige Indexmenge $I$ heißt stochastisch unabhängig, falls für jede endliche Teilmenge $J$ von $I$ gilt, dass

$P(\bigcap _{j\in J}\{X_j\in B_j\})=\prod _{j\in J}P(X_j\in B_j)$

für alle $B_j\in {\mathrm{\Sigma }}_j$ gilt.

Mit der Unabhängigkeit für Mengensysteme wird die stochastische Unabhängigkeit von Zufallsvariablen auch wie folgt definiert: Eine Familie von Zufallsvariablen ist genau dann stochastisch unabhängig, wenn ihre Initial-σ-Algebren voneinander unabhängig sind.

Diese Definition kann äquivalent auf Zufallsvektoren, also auf ${ℝ}^n$-wertige Zufallsvariablen, angewandt werden. An die Unabhängigkeit der Komponentenabbildungen sind dabei keine weiteren Forderungen gestellt.

Kriterien für Unabhängigkeit

Erzeugendensysteme

Die Anzahl der auf Unabhängigkeit zu überprüfenden Mengen lässt sich reduzieren, wenn ein Erzeuger bekannt ist. Existiert zu jeder σ-Algebra ${\mathrm{\Sigma }}_i$ ein durchschnittsstabiler Erzeuger ${ℰ}_i$, gilt also $\sigma ({ℰ}_i)={\mathrm{\Sigma }}_i$, so genügt es, die Unabhängigkeit auf den Erzeugern zu überprüfen. Das Kriterium reduziert sich dann zu

$P(\bigcap _{j\in J}\{X_j\in B_j\})=\prod _{j\in J}P(X_j\in B_j)$

für alle $B_j\in {ℰ}_j$ und alle endlichen Teilmengen $J$ von $I$. Für diskrete Wahrscheinlichkeitsräume wählt man als Erzeuger meist die Punktmengen $\{x_k\}$, für reelle Zufallsvariablen die halboffenen Intervalle als Erzeuger der Borelsche σ-Algebra.

Endliche Familien

Ist die Familie von Zufallsvariablen und damit auch die Indexmenge endlich, zum Beispiel mit Indexmenge $I=\{1,\dots ,n\}$, so genügt es

$P(\bigcap _{i\in I}\{X_i\in B_i\})=\prod _{i\in I}P(X_i\in B_i)$

für alle $B_i\in {\mathrm{\Sigma }}_i$ zu überprüfen. Auf die Überprüfung der Teilmengen $J\subset I$ kann verzichtet werden. Dies folgt daraus, dass $\{X_i\in E_i\}=\mathrm{\Omega }$ ist. Der Fall mit $J⫋I$ folgt dann automatisch aus dem obigen Fall, man setzt für $i\in I\setminus J$ dann $B_i=E_i$ und erhält daraus die Aussage für die kleinere Indexmenge.

Für endliche Familien diskreter Zufallsvariablen

Beide oben genannten Kriterien lassen sich für eine endliche Familie von Zufallsvariablen, die Werte in einem diskreten Messraum annehmen zusammenfassen. Sei $I=\{1,\dots ,n\}$ und seien die $X_i$ Zufallsvariablen von $(\mathrm{\Omega },𝒜,P)$ nach $(E_i,{\mathrm{\Sigma }}_i)$ und sei $E_i$ diskret, also endlich oder abzählbar unendlich. Dann sind die Zufallsvariablen genau dann unabhängig, wenn

$P(X_1=x_1,\dots ,X_n=x_n)=\prod _{i=1}^{n}P(X_i=x_i)$

für alle $x_i\in E_i$ gilt.

Für endliche Familien reeller Zufallsvariablen

Für endliche Familien reellwertiger Zufallsvariablen ergibt sich folgendes Kriterium: Die Zufallsvariablen $(X_i{)}_{i\in I}$ sind genau dann stochastisch unabhängig, wenn

$P(X_1\le x_1,\dots ,X_n\le x_n)=\prod _{i=1}^{n}P(X_i\le x_i)$

für alle $x_1,\dots ,x_n\in ℝ$ gilt. Sind also $F_{X_i}(x)=P(X_i\le x)$ die Verteilungsfunktionen der $X_i$ sowie $F_I(x_1,\dots ,x_n):=P(X_1\le x_1,\dots ,X_n\le x_n)$ die gemeinsame Verteilungsfunktion, dann sind die $X_i$ genau dann stochastisch unabhängig, wenn

$F_I(x_1,\dots ,x_n)=\prod _{i=1}^n{F}_{X_i}(x_i)$

gilt. Falls die $X_i$ eine gemeinsame Dichtefunktion $f_I$ besitzen, so sind sie genau dann stochastisch unabhängig, wenn

$f_I(x_1,\dots ,x_n)=\prod _{i=1}^n{f}_{X_i}(x_i)$

gilt. Dabei bezeichnet $f_{X_i}$ die Randdichte von $X_i$.

Existenz unabhängiger Zufallsvariablen

Für abzählbar unendliche Familien von Zufallsvariablen stellt sich die Frage, ob überhaupt ein „genügend großer“ Wahrscheinlichkeitsraum existiert, so dass die gesamte Familie auf diesem Wahrscheinlichkeitsraum unabhängig ist. Es ist nicht offensichtlich, dass dies möglich ist, alternativ könnte die Unabhängigkeit eine zu starke Forderung sein, da die Initial-σ-Algebren bei vielen Zufallsvariablen immer zwangsläufig abhängig sind.

Tatsächlich lässt sich die Frage aber mittels des Produktmaßes positiv beantworten. Betrachtet man das unendliche Produktmodell

$(\prod _{i=1}^{\mathrm{\infty }}{\mathrm{\Omega }}_i,\underset{i=1}{\overset{\mathrm{\infty }}{⨂}}{𝒜}_i,\underset{i=1}{\overset{\mathrm{\infty }}{⨂}}{P}_i)$

und definiert als Familie von Zufallsvariablen genau die Projektionen auf die i-ten Komponenten $(X_i{)}_{i\in \mathbb{N}}=({\pi }_i{)}_{i\in \mathbb{N}}$, so ist diese Familie per Definition des Produktmodells und des Produktmaßes unabhängig und die Projektionen ${\pi }_i$ haben genau die Verteilung $P_i$ auf dem Ereignisraum $({\mathrm{\Omega }}_i,{𝒜}_i)$. Das Produktmodell ist also groß genug, um eine unabhängige Familie von Zufallsvariablen zu enthalten. Andererseits wird dadurch das Problem der Existenz von unendlich vielen unabhängigen Zufallsvariablen auf die Existenz eines unendlichen Produktmaßes zurückgeführt, was nicht selbstverständlich ist. Diese Existenzfrage wird beispielsweise durch den Satz von Andersen-Jessen für beliebige Indexmengen positiv beantwortet, kann aber auch für abzählbare Indexmengen über den Satz von Ionescu-Tulcea oder für Borel’sche Räume über den Erweiterungssatz von Kolmogorov erfolgen.

Unkorreliertheit und Unabhängigkeit

Zwei Zufallsvariablen $X,Y$ heißen unkorreliert, wenn ihre Kovarianz $\mathrm{Cov}(X,Y)$ gleich null ist. Diese Definition der Unkorreliertheit setzt nicht voraus, dass der Korrelationskoeffizient existiert und damit die Varianzen beider Zufallsvariablen positiv sind.

Aus Unabhängigkeit der Zufallsvariablen $X,Y$ folgt ihre Unkorreliertheit, falls die Erwartungswerte $\mathrm{E}(XY)$, $\mathrm{E}(Y)$ und $\mathrm{E}(Y)$ endlich sind. Sind nämlich die Zufallsvariablen unabhängig, so gilt $\mathrm{E}(XY)=\mathrm{E}(X)\mathrm{E}(Y)$ und demnach

$\mathrm{Cov}(X,Y)=\mathrm{E}(XY)-\mathrm{E}(X)\mathrm{E}(Y)=\mathrm{E}(X)\mathrm{E}(Y)-\mathrm{E}(X)\mathrm{E}(Y)=0$.

Dabei folgt die erste Gleichheit aus dem Verschiebungssatz für die Kovarianz und die zweite aus der Unabhängigkeit der Zufallsvariablen und der obigen Folgerung für den Erwartungswert.

Aus der Unkorreliertheit folgt nicht stochastische Unabhängigkeit. Ein Beispiel dafür sind die Zufallsvariable $X$, die gleichverteilt auf $[-1,1]$ ist und $Y=X^2$. Es gilt dann

$\mathrm{Cov}(X,Y)=\mathrm{E}(X^3)-\mathrm{E}(X)\mathrm{E}(X^2)=0-0\cdot \mathrm{E}(X^2)=0$,

die Zufallsvariablen sind also unkorreliert. Sie sind aber nicht unabhängig, denn es ist zum Beispiel

$P(\{X\in [0,\frac{1}{2}],Y\in [0,\frac{1}{9}]\})=P([0,\frac{1}{2}]\cap [-\frac{1}{3},\frac{1}{3}])=\frac{1}{6}$

und

$P(\{X\in [0,\frac{1}{2}]\})=P([0,\frac{1}{2}])=\frac{1}{4}\text{ und }P(\{Y\in [0,\frac{1}{9}]\})=P([-\frac{1}{3},\frac{1}{3}])=\frac{1}{3}$.

Die Abhängigkeit folgt dann aus $\frac{1}{4}\cdot \frac{1}{3}\ne \frac{1}{6}$.

Analyse auf Abhängigkeit

Für die Analyse auf Abhängigkeit zweier Zufallsvariablen kann man auch testen, ob der Korrelationskoeffizient Null ist. Wenn die Hypothese abgelehnt wird, geht man davon aus, dass diese Variablen stochastisch abhängig sind. Der Umkehrschluss ist allerdings nicht zulässig, denn es können Abhängigkeitsstrukturen vorliegen, die der Korrelationskoeffizient nicht erfassen kann. Jedoch sind beispielsweise unkorrelierte, gemeinsam normalverteilte Zufallsvariablen auch stochastisch unabhängig.

Unabhängigkeit von Zufallsvariablen und Mengensystemen

Im Rahmen des bedingten Erwartungswertes wird teilweise auch von der Unabhängigkeit einer Zufallsvariable $X$ und eines Mengensystems $ℰ$ gesprochen. Die Zufallsvariable und das Mengensystem heißen unabhängig, wenn das Mengensystem $ℰ$ und die Initial-σ-Algebra $\sigma (X)$ der Zufallsvariable unabhängige Mengensysteme sind.

Verallgemeinerungen

Mittels des bedingten Erwartungswertes lässt sich sowohl die Unabhängigkeit von Mengensystemen als auch die Unabhängigkeit von Zufallsvariablen zur bedingten Unabhängigkeit erweitern.

Literatur

• Vorlage:Literatur
• Vorlage:Literatur
• Vorlage:Literatur
• Vorlage:Literatur

• A. M. Prochorow: Independence. In: Michiel Hazewinkel (Hrsg.): Encyclopaedia of Mathematics, Kluwer Academic Publishers, 2001, ISBN 978-1-55608-010-4 (online).