Verbundentropie

Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.

Definition

Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:^[1]

H (X Y) : = - \sum_{y \in Y} \sum_{x \in X} P r {X = x, Y = y} \log_{2} (P r {X = x, Y = y}) [\frac{bit}{Symbolpaar}]

Hierbei sind $x$ und $y$ jeweils einzelne Symbole aus den Quellenalphabeten $X$ und $Y$ .

Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt

P r {X = x_{i}, Y = y_{j}} = P r {X = x_{i}} \cdot P r {y = y_{j}}

und somit

H (X Y) = H (X) + H (Y)

.

Für mehr als zwei Quellen ergibt sich:

H (X_{1}, \dots, X_{n}) = - \sum_{x_{1}} \dots \sum_{x_{n}} P r {x_{1}, \dots, x_{n}} \log_{2} (P r {x_{1}, \dots, x_{n}})

Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
Peter Bocker: Datenübertragung. Band I – Grundlagen. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.

↑ T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9