Generator (Markow-Prozesse)

Der Erzeuger, Generator, infinitesimale Erzeuger oder infinitesimale Generator der Übergangshalbgruppe eines zeithomogenen Markow-Prozesses in stetiger Zeit ist ein Operator, welcher das stochastische Verhalten des Prozesses in infinitesimaler Zeit erfasst. Aufgrund der Markow-Eigenschaft und der zeitlichen Homogenität wird der Prozess unter bestimmten Voraussetzungen durch seinen infinitesimalen Erzeuger bestimmt bzw. generiert.

Allgemeiner Fall (nach Breiman)

Gegeben sei ein zeithomogener Markow-Prozess $(M_t{)}_{t\ge 0}$ auf einem Zustandsraum $(E,𝔈)$ mit Übergangshalbgruppe $(P^t{)}_{t\ge 0}$, das heißt für alle $t\in {ℝ}_{\ge 0}$ ist $P^t$ der entsprechende Übergangskern. Ferner sei $X$ der Raum der beschränkten, borelmessbaren Funktionen $f:E\to ℝ$, dann kann jeder Übergangskern als Abbildung $P^t:X\to X$ aufgefasst werden.

Der infinitesimale Erzeuger $A$ des Prozesses ist der Operator mit Definitionsbereich

$𝒟(A):=\{f\in X|\mathrm{\forall }x\in E\text{ existiert }\underset{t\downarrow 0}{\lim }\frac{P^{t}f(x)-f(x)}{t}\}$,

der für alle $f\in 𝒟(A)$ gegeben ist durch

$Af=\underset{t\downarrow 0}{\lim }\frac{P^{t}f-f}{t}$.

Ausführlich bedeutet das, dass für alle $x\in E$ gilt

$Af(x)=\underset{t\downarrow 0}{\lim }\frac{P^{t}f(x)-f(x)}{t}=\underset{t\downarrow 0}{\lim }\frac{{\mathrm{E}}_x[f(M_t)]-f(x)}{t}$

mit

$P^{t}f(x)=\int f(y)P^t(x,dy)=\int f(y){\mathrm{P}}_x^{M_t}(dy)={\mathrm{E}}_x[f(M_t)]$.

Dabei bezeichnet ${\mathrm{P}}_x^{M_t}$ die Verteilung von $M_t$ und ${\mathrm{E}}_x$ den Erwartungswert bedingt auf den Startwert $M_0=x\in E$.

Spezialfall abzählbarer Zustandsraum

Sei $(M_t{)}_{t\ge 0}$ ein zeitlich homogener Markow-Prozess mit kontinuierlicher Zeit, diskretem Zustandsraum $E$ und Übergangshalbgruppe $(P^t{)}_{t\ge 0}$ mit Übergangsmatrix $P^t:=(p_{ij}(t){)}_{(i,j)\in E^2}$ für alle $t\ge 0$.

Halbgruppe, Intensitätsmatrix, Q-Matrix

Die Übergangsfunktion bzw. Übergangsmatrizen $(P^t{)}_{t\ge 0}$ bilden wegen der Chapman-Kolmogorow-Gleichungen eine Halbgruppe. Sie können wie oben aufgefasst werden als Abbildungen $P^t:X\to X$ wobei $X$ den Raum der beschränkten, borelmessbaren Funktionen $f:E\to ℝ$ bezeichnet.

$(P^t{)}_{t\ge 0}$ besitzt die Standard-Eigenschaft bzw. wird Standard-Übergangsfunktion genannt, wenn

$\underset{t\downarrow 0}{\lim }{p}_{ij}(t)=p_{ij}(0)\mathrm{\forall }(i,j)\in E^2$

bzw. kurz

$\underset{t\downarrow 0}{\lim }{P}^t=I$

mit der Einheitsmatrix $I$.

Besitzt $(P^t{)}_{t\ge 0}$ die Standard-Eigenschaft, so gilt für alle $(i,j)\in E^2$:
Die Abbildungen $t\mapsto p_{ij}(t)$ sind gleichmäßig stetig, für alle $t>0$ differenzierbar und besitzen im Punkt 0 die rechtsseitige Ableitung

$q_{ij}:=\underset{t\downarrow 0}{\lim }\frac{p_{ij}(t)-p_{ij}(0)}{t}\mathrm{\forall }(i,j)\in E^2.$

Kurz geschrieben, definiert man dies durch

$Q:=\underset{t\downarrow 0}{\lim }\frac{P^t-I}{t}.$

$Q=(q_{ij}{)}_{ij}$ heißt Intensitätsmatrix oder einfach Q-Matrix.

Für alle $i\in E$ gilt $q_{ii}\in [-\mathrm{\infty },0]$, und für alle $i,j\in E$ mit $i\ne j$ gilt $q_{ij}\in [0,\mathrm{\infty }[$.

Ein Zustand $i\in E$ heißt stabil, wenn $q_{ii}>-\mathrm{\infty }$, sonst augenblicklich.

Die Übergangsfunktion $(P^t{)}_{t\ge 0}$ heißt stabil, wenn alle Zustände stabil sind; in diesem Fall sind alle Einträge der zugehörigen Intensitätsmatrix endlich.

Ein Zustand $i\in E$ heißt absorbierend, wenn $q_{ii}=0$ gilt, was genau dann der Fall ist, wenn $p_{ii}(t)=1$ für alle $t\ge 0$ gilt.

Die Matrix $Q$ und der zugehörige Markov-Prozess werden als konservativ bezeichnet, wenn alle Zeilensummen von $Q$ null sind; dies ist genau dann der Fall, wenn $\sum _{i\ne j}{q}_{ij}=-q_{ii}<\mathrm{\infty }$ für alle $i\in E$ gilt.

Ist $Q$ konservativ, der Prozess stabil und divergiert die Folge der Sprungzeiten vor Erreichen eines absorbierenden Zustands fast sicher, so wird der Prozess als regulär bezeichnet.

Die Einträge $q_{ij}$ lassen sich wie folgt interpretieren:

• Betrachtet man den zu $P_t$ gehörigen Prozess, kann man mit Hilfe von $q_{ii}$ die Verweilzeit in einem Zustand $i\in E$ angeben. Diese ist exponentialverteilt mit Erwartungswert $-\frac{1}{q_{ii}}$, das heißt für $t,h>0,q_{ii}>-\mathrm{\infty }$ gilt $P(X_s=i,\mathrm{\forall }s:t<s<t+h\mid X_t=i)=e^{h{q}_{ii}}$. Ein absorbierender Zustand hat dann entsprechend eine unendliche Verweilzeit.
• Es gilt $p_{ij}(h)=q_{ij}h+o(h)$, der Prozess ist also „lokal poisson“ und $q_{ij}$ gibt für kleine $h>0$ die Rate an, mit der Prozess aus $i$ in den Zustand $j$ springt ($i,j\in E,i\ne j$).

Über diese Interpretation ist es in der Praxis oft leichter, eine geeignete Q-Matrix aus den Modellannahmen herzuleiten, als $P_t$ direkt anzugeben, zum Beispiel bei M/M/1/∞-Systemen.

Gleichmäßig stetige Halbgruppe mit infinitesimalem Erzeuger

Ist die Übergangsfunktion $(P^t{)}_{t\ge 0}$ stabil, so ist sie eine gleichmäßig stetige Halbgruppe deren infinitesimaler Erzeuger $Q$ ist.
Dann kann aus dem Verhalten in infinitesimaler Zeit $Q$ das langfristige Verhalten zurückgewonnen werden:

$P(t)=e^{tQ}\text{für alle}t\ge 0$,

wobei $e$ das Matrixexponential bezeichnet. Dies ist zum Beispiel der Fall für endliche Zustandsräume. Die stationäre Verteilung $\pi$ von $(P^t{)}_{t\ge 0}$ lässt sich dann als Lösung des folgenden Gleichungssystems

$\pi \cdot Q=\overrightarrow{0}$

bestimmen, wobei $\pi$ als Zeilenvektor aufgefasst wird.

Generatoren von Feller-Prozessen

Feller-Prozesse sind Markow-Prozesse, bei denen die Übergangswahrscheinlichkeiten $P^t(x,A)$ qua $(P^{t}f)(x):=\int P^t(x,dy)f(y)={\mathrm{E}}_{x}f(M_t)$ einer stark stetigen Halbgruppe auf dem Raum $C_0(E)$ der stetigen, im Unendlichen verschwindenden Funktionen entsprechen. In diesem Fall kann der Generator der entsprechenden Halbgruppe

$Af=\underset{t\downarrow 0}{\mathrm{s-lim}}\frac{P^{t}f-f}{t}$

(definiert für alle $f\in C_0(E)$ für die der Grenzwert bezüglich der Supremumsnorm existiert) betrachtet und der Satz von Hille-Yosida angewendet werden.

Dynkins charakteristischer Operator

Der charakteristische Operator ist eine probabilistische Entsprechung des analytischen Generators $A$, mit dem oft leichter zu arbeiten ist. Während in obiger Definition der Erwartungswert von $f(X_t)$ zu einem festen Zeitpunkt $t$ gebildet wird (und anschließend $t$ gegen 0 geht), wird hier der Erwartungswert von $f(X_{\tau })$ an den unterschiedlichen (zufälligen) Zeitpunkten $\tau =\tau (B)$ gebildet, zu denen der Prozess einen festgelegten räumlichen Bereich $B$, zum Beispiel eine Kugel $B_{\nu ,x}$ um $x=X_0$ mit Radius $\nu$, verlässt. Für nicht absorbierendes $x$ setzt man

$(Uf)(x):=\underset{\nu \to 0}{\lim }\frac{{\mathrm{E}}_x[f(X_{\tau (B_{\nu ,x})})]-f(x)}{{\mathrm{E}}_x[\tau (B_{\nu ,x})]},$

für absorbierendes $x$ setzt man $(Uf)(x)=0$. Für große Klasse von Feller-Prozessen gilt $Af=Uf$ für stetige, im Unendlichen verschwindende Funktionen $f$ aufgrund von Dynkins Maximum-Prinzip.

Die Definition und der genannte Zusammenhang gehen auf eine Arbeit von E. B. Dynkin aus dem Jahr 1955 zurück.

Literatur

• Leo Breiman: Probability. Addison-Wesley Publishing Company, Reading, Massachusetts 1968, ISBN 0-89871-296-3.
• Bernt Øksendal: Stochastic Differential Equations. An Introduction with Applications. Springer Berlin 2003, ISBN 3-540-04758-1.
• Daniel Revuz, Marc Yor: Continuous Martingales and Brownian Motion. Springer 2001, ISBN 3-540-64325-7.
• Manuela Schmitz, Quasi-Stationarität in einem epidemiologischen Modell, 2006, Kapitel 1.1 (PDF-Datei; 418 kB).