Statistische Definition von Information nach Shannon

                 

p(i): Wahrscheinlichkeit, mit der das i-te Zeichen eines Alphabets von N Zeichen auftritt

H : Erwartungswert des Informationsgehalts = beseitigte Ungewissheit := Entropie

     Maß für den mittleren Informationsgehalt pro Zeichen einer Quelle

ld: Logarithmus dualis


weiter