Statistische Definition von Information nach Shannon

p(i): Wahrscheinlichkeit, mit der das i-te Zeichen eines Alphabets von N Zeichen auftritt

H : Erwartungswert des Informationsgehalts = beseitigte Ungewissheit := Entropie

     Maß für den mittleren Informationsgehalt pro Zeichen einer Quelle

ld: Logarithmus dualis

Analogie zur statistischen Thermodynamik:

Entropie S = k * ln Ω

k : Boltzmann Konstante k = 1,3806504 * 10 exp (-23) Ws/K

Ω : Zahl der möglichen Mikrozustände eines Systems