Entropierate

Die Entropierate (Vorlage:EnS) ermöglicht in der Informationstheorie unabhängig von der Länge einer Nachricht eine Messung der Entropie bezogen auf ein Zeichen.

Formal lässt sie sich folgendermaßen definieren:

$H_{\mathrm{R}\mathrm{a}\mathrm{t}\mathrm{e}}=\frac{1}{n}H(X_1,...,X_n)$ $=-\frac{1}{n}\sum _{x_1,...,x_n}p(x_1,...,x_n)\log p(x_1,...,x_n)$.

Hierbei ist $n$ die Anzahl der Zeichen der Nachricht bzw. die Anzahl der Zufallsvariablen.

Die Entropierate ermöglicht einen Vergleich der Entropien von Nachrichten unterschiedlicher Länge.

Literatur

• Peter Adam Höher: Grundlagen der digitalen Informationsübertragung. Von der Theorie zu Mobilfunkanwendungen, 2. Auflage, Springer Vieweg, Wiesbaden 2013, ISBN 978-3-8348-1784-6.

Weblinks

• Informationstheorie - (P)Review (abgerufen am 12. Februar 2018)
• Stochastische Prozesse (abgerufen am 12. Februar 2018)
• Universelle Kodierungen und Lempel-Ziv-Kodierung (abgerufen am 12. Februar 2018)
• Information und Kommunikation (abgerufen am 12. Februar 2018)