Evidence lower bound

Die Evidence lower bound (kurz ELBO), ist eine untere Schranke der Log-Likelihood-Funktion beobachteter Daten (X) und nützlich bei der Variational Inference.

Definition

Seien $X$ und $Z$ Zufallsvariablen, dann gilt $p_{\theta }(X)=\int p_{\theta }(X,Z=z)p(Z=z)dz.$ Unter Einführung von $q_{\varphi }(Z=z)$ als einfach zu verwendender Stichproben-Vorschlags-Verteilung gilt: $p_{\theta }(X)=\int p_{\theta }(X,Z=z)\frac{p(Z=z)}{q_{\varphi }(Z=z)}{q}_{\varphi }(Z=z)dz=E_{z\sim q_{\varphi }}[p_{\theta }(X,Z=z)\frac{p(Z=z)}{q_{\varphi }(Z=z)}].$

Somit gilt für die Log-Likelihood aufgrund der Jensen-Ungleichung: $\log (p_{\theta }(X))=\log \left(E_{z\sim q_{\varphi }}[p_{\theta }(X,Z=z)\frac{p(Z=z)}{q_{\varphi }(Z=z)}]\right)\ge E_{z\sim q_{\varphi }}[\log (p_{\theta }(X,Z=z)\frac{p(Z=z)}{q_{\varphi }(Z=z)})].$

$E_{z\sim q_{\varphi }}[\log (p_{\theta }(X,Z=z)\frac{p(Z=z)}{q_{\varphi }(Z=z)})]$ wird als ELBO bezeichnet.

Durch Schätzen der ELBO unter Verwendung des Stichprobenmittelwertes ist: ${\hat{E}}_{z\sim q_{\varphi }}[\log (p_{\theta }(X,Z=z)\frac{p(Z=z)}{q_{\varphi }(Z=z)})]=\frac{1}{N}\sum _{i=1}^N\log (p_{\theta }(X,Z=z_i)\frac{p(Z=z_i)}{q_{\varphi }(Z=z_i)})$

Anwendung

Die Minimierung der Kullback-Leibler-Divergenz ist äquivalent zur Maximierung der Evidence lower bound. Die evidence lower bound wird bei der variational inference optimiert.