Bernstein-Ungleichung (Stochastik)

Die Bernstein-Ungleichung ist eine Abschätzung aus der Wahrscheinlichkeitstheorie und wurde von Sergei Bernstein (1880–1968) bewiesen. Sie ist eine Erweiterung der Hoeffding-Ungleichung, deren Abschätzung durch eine zusätzliche Voraussetzung an die Varianz der Zufallsvariablen verbessert werden kann.

Die Ungleichung gilt für beliebig verteilte beschränkte Zufallsvariablen mit verschwindendem Erwartungswert und beschränkter Varianz.

Satz

Sei $(\mathrm{\Omega },𝒜,𝒫)$ ein Wahrscheinlichkeitsraum. Seien $B,𝒯$ und $\sigma$ positive reelle Zahlen und $n$ eine natürliche Zahl. $X_1,\dots ,X_n:\mathrm{\Omega }\to ℝ$ seien unabhängig verteilte Zufallsvariablen mit $\text{E}{X}_i=0,\Vert X_i{\Vert }_{\mathrm{\infty }}⩽B$ und $\text{E}(X_i^2)⩽{\sigma }^2$ für alle $i=1,\dots ,n$.

Dann gilt:

$\text{P}[\frac{1}{n}\sum _{i=1}^n{X}_i⩾\sqrt{\frac{2{\sigma }^2𝒯}{n}}+\frac{2B𝒯}{3n}]⩽e^{-𝒯}$

Lemma

Für alle $x>-1$ gilt:

$x-(1+x)\ln (1+x)⩽-\frac{3x^2}{2(x+3)}$

Ein Beweis des Lemmas und ein ausführlicherer Beweis des Satzes befinden sich im Beweisarchiv.

Beweis (Satz)

Dieser Beweis folgt dem Ansatz aus "Support Vector Machines" (siehe Literatur).

Zur Vereinfachung definiere man $ϵ=\frac{\sqrt{18𝒯n{\sigma }^2+{𝒯}^2{B}^2}+𝒯B}{3n}$

Nach $𝒯$ umgestellt, ergibt sich: $𝒯=\frac{3n{ϵ}^2}{2ϵB+6{\sigma }^2}$

Nun wird die Ungleichung gezeigt. Man wende die Markow-Ungleichung an mit $X=\frac{1}{n}\sum _{i=1}^n{X}_i$ und $f(ϵ)=e^{tϵn}$ für ein $t>0$ (t wird später noch speziell gewählt):

$\text{P}[\frac{1}{n}\sum _{i=1}^n{X}_i⩾\sqrt{\frac{2{\sigma }^2𝒯}{n}}+\frac{2B𝒯}{3n}]⩽\text{P}[\frac{1}{n}\sum _{i=1}^n{X}_i⩾ϵ]⩽e^{-tϵn}\text{E}(\prod _{i=1}^n\exp (t{X}_i))$

Da die Zufallsvariablen nach Voraussetzung unabhängig sind, können Produkt und Erwartungswert vertauscht werden. Aus der Exponentialfunktion bilde man eine unendliche Exponentialreihe. Diese ist durch die integrierbare Majorante $e^{tB}$ beschränkt. Also können Erwartungswert und Summe vertauscht werden. Mit $X_i^0=1$ und der Voraussetzung $\text{E}{X}_i=0$ folgt:

$e^{-tϵn}\text{E}(\prod _{i=1}^n\exp (t{X}_i))=e^{-tϵn}\prod _{i=1}^n\text{E}\left(\sum _{k=0}^{\mathrm{\infty }}\frac{t^k}{k!}{X}_i^k\right)=e^{-tϵn}\prod _{i=1}^n\left(\sum _{k=0}^{\mathrm{\infty }}\frac{t^k}{k!}\text{E}{X}_i^k\right)=e^{-tϵn}\prod _{i=1}^n(1+\sum _{k=2}^{\mathrm{\infty }}\frac{t^k}{k!}\text{E}{X}_i^k)$

Mit der Abschätzung $\text{E}{X}_i^k⩽\text{E}{X}_i^2{B}^{k-2}⩽{\sigma }^2{B}^{k-2}$ folgt:

$e^{-tϵn}\prod _{i=1}^n(1+\sum _{k=2}^{\mathrm{\infty }}\frac{t^k}{k!}\text{E}{X}_i^k)⩽e^{-tϵn}\prod _{i=1}^n(1+\sum _{k=2}^{\mathrm{\infty }}\frac{t^k}{k!}{\sigma }^2{B}^{k-2})=e^{-tϵn}{(1+\frac{{\sigma }^2}{B^2}\sum _{k=2}^{\mathrm{\infty }}\frac{(tB{)}^k}{k!})}^n$

Durch die Ungleichung $(1+x{)}^n⩽\exp (nx)$ für $x⩾0$ erhält man mit $x=\frac{{\sigma }^2}{B^2}(e^{tB}-tB-1)$:

$e^{-tϵn}{(1+\frac{{\sigma }^2}{B^2}\sum _{k=2}^{\mathrm{\infty }}\frac{(tB{)}^k}{k!})}^n=e^{-tϵn}{(1+\frac{{\sigma }^2}{B^2}(e^{tB}-tB-1))}^n⩽e^{-tϵn}\exp (\frac{n{\sigma }^2}{B^2}(e^{tB}-tB-1))$

Man setze $t=\frac{1}{B}\ln (1+\frac{ϵB}{\sigma })$:

$e^{-tϵn}\exp (\frac{n{\sigma }^2}{B^2}(e^{tB}-tB-1))=\exp \left[\frac{n{\sigma }^2}{B^2}(-\frac{ϵB}{{\sigma }^2}\ln (1+\frac{ϵB}{{\sigma }^2})+\frac{ϵB}{{\sigma }^2}-\ln (1+\frac{ϵB}{{\sigma }^2}))\right]$

Aus dem Lemma (oben) folgt mit $x=\frac{ϵB}{{\sigma }^2}$.

$\exp \left[\frac{n{\sigma }^2}{B^2}(-\frac{ϵB}{{\sigma }^2}\ln (1+\frac{ϵB}{{\sigma }^2})+\frac{ϵB}{{\sigma }^2}-\ln (1+\frac{ϵB}{{\sigma }^2}))\right]⩽\exp [-\frac{3n{ϵ}^2}{2ϵB+6{\sigma }^2}]=e^{-𝒯}$

$\Rightarrow \text{P}[\frac{1}{n}\sum _{i=1}^n{X}_i⩾\sqrt{\frac{2{\sigma }^2𝒯}{n}}+\frac{2B𝒯}{3n}]⩽e^{-𝒯}$

Anwendung

Problem 1

Angenommen $n,B$ und $\sigma$ sind bekannt.

Wie groß ist die Wahrscheinlichkeit höchstens, dass der Mittelwert einen gegebenen Wert k übersteigt?

Löse $k=\sqrt{\frac{2{\sigma }^2𝒯}{n}}+\frac{2B𝒯}{3n}$ nach $𝒯$ auf.

Die Wahrscheinlichkeit, dass der Mittelwert den Wert k übersteigt, ist höchstens $e^{-𝒯}$.

Problem 2

Weiterhin seien $B$ und $\sigma$ bekannt.

Es soll gelten: $\text{P}[\frac{1}{n}\sum _{i=1}^n{X}_i⩾k]⩽0,1$

Berechne k mit Hilfe der Bernstein-Ungleichung.

$e^{-𝒯}=0,1$

$\Rightarrow 𝒯=\ln 10$

$\Rightarrow k=\sqrt{\frac{2{\sigma }^2\ln 10}{n}}+\frac{2B\ln 10}{3n}$

Problem 3

Seien $B$ und $\sigma$ bekannt.

Wie viele Realisierungen werden mindestens benötigt, sodass für gegebene Werte $k$ und $𝒯$ gilt, dass

$\text{P}[\frac{1}{n}\sum _{i=1}^n{X}_i⩾k]⩽e^{-𝒯}$ ?

Man benötigt mindestens $n^{*}=\min \{n\in \mathbb{N}|k⩾\sqrt{\frac{2{\sigma }^2𝒯}{n}}+\frac{2B𝒯}{3n}\}$ Realisierungen.

Beispiel

Als Zufallsvariable betrachte man eine Münze. Den i-ten Münzwurf bezeichnen wir mit $X_i$. Dabei gelte bei Kopf $X_i=-1$ und bei Zahl $X_i=1$.

Wie groß ist die Wahrscheinlichkeit, dass der Mittelwert nach $n$ Würfen den Wert $\frac{16}{75}$ übersteigt?

Da die Wahrscheinlichkeit für Kopf und Zahl jeweils 50 % sind, ist der Erwartungswert 0. Da die Zufallsvariablen nur die Werte −1 und 1 annehmen können, kann $B=1$ gewählt werden.

$X_i^2=1\Rightarrow \text{E}{X}_i^2=1$. Also kann $\sigma =1$ gewählt werden.

Nun wähle noch $𝒯=\frac{n}{50}$. Dabei ist $n$ die Anzahl der Münzwürfe. Nach der Bernstein-Ungleichung gilt dann:

$\text{P}[\frac{1}{n}\sum _{i=1}^n{X}_i⩾\frac{16}{75}]⩽e^{-\frac{n}{50}}$

Also gilt zum Beispiel bei 50 Würfen:

$\text{P}[\frac{1}{50}\sum _{i=1}^{50}{X}_i⩾\frac{16}{75}]⩽\frac{1}{e}$

Damit der Mittelwert $\frac{16}{75}$ übersteigt, müsste man bei 50 Würfen 31-mal Kopf werfen.

$\frac{31\cdot 1+19\cdot (-1)}{50}=\frac{12}{50}=\frac{18}{75}⩾\frac{16}{75}$

Das heißt, die Wahrscheinlichkeit, in 50 Würfen 31 Kopf zu erhalten, ist kleiner als $\frac{1}{e}\approx 0,367879441$

Siehe auch

• Tschebyschow-Ungleichung

Literatur

• Ingo Steinwart, Andreas Christmann: Support Vector Machines. Information Science and Statistics. 1. Auflage. Springer, Berlin 2008

Weblinks

• Bernstein iequality in der Encyclopaedia of Mathematics