Shannon entropisi

Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.

Bilgi entropisi (bit cinsinden), olası sonuçların sayısının logaritması-2'dir. İki madeni paranın dört sonucu vardır: HH-HT-TH-TT ve entropi iki bittir.

Tanım

Ayrık bir rassal değişken X'in entropisi

${\displaystyle \mathrm {H} (X):=-\sum _{x}\Pr[X=x]\lg \Pr[X=x]}$

olarak tanımlanır.

Burada bir x için Pr[X=x]=0 ise,

${\displaystyle \Pr[X=x]\lg \Pr[X=x]=0}$

varsayılır. Bu varsayım

${\displaystyle \lim _{p\to 0^{+}}p\lg p=0}$

limiti ile tutarlıdır.