Entropie informațională

În teoria informației, entropia Shannon sau entropia informațională măsoară incertitudinea asociată cu o variabilă aleatoare. Această măsură indică și cantitatea de informație conținută într-un mesaj, exprimată de obicei în biți sau în biți pe simbol. Când este exprimată în biți, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informația.

Ea mai reprezintă și o limită absolută a celei mai bune compresii fără pierderi aplicabilă unor date comunicate: tratând un mesaj ca pe o serie de simboluri, cea mai scurtă reprezentare posibilă a mesajului are lungimea egală cu entropia Shannon în biți pe simbol înmulțită cu numărul de simboluri din mesajul original.

O aruncare a monezii are entropia de un bit. Dar, dacă moneda nu este echilibrată, atunci incertitudinea este mai mică (se știe că există o probabilitate mai mare ca ea să cadă cu o anume parte a ei în sus), și astfel entropia Shannon este mai mică. Un șir lung de caractere repetate au entropia 0, deoarece fiecare caracter este previzibil. Entropia unui text în limba engleză este de 1,0 până la 1,5 biți pe literă. Echivalent, entropia Shannon măsoară media de conținut informațional pe care receptorul o pierde atunci când nu cunoaște valoarea variabilei aleatoare.

Conceptul a fost introdus de Claude Shannon în lucrarea sa din 1948 „O teorie matematică a comunicației”.

Definiție

Entropia H a unei variabile discrete X cu valorile x₁, ..., x_n și funcția de probabilitate p este

$H(X)=-\mathbb {E} (\log _{b}p(X))=-\sum _{i=1}^{n}{p(x_{i})\log _{b}p(x_{i})},$

unde b este o bază pentru logaritmi, reală și supraunitară (de obicei 2, caz în care unitatea de măsură a informației se numește bit, sau e, caz în care ea se numește nat).

Entropia Shannon nu este definită pentru variabile continui. Prin analogie cu variabile discrete, se definește entropia diferențială astfel:

$H(X)=-\int \limits _{-\infty }^{\infty }f(x)\log _{b}(f(x))\,dx$

unde f este densitatea de repartiție lui X. Însă, entropia diferențială unei variabile continui nu are aceleași proprietăți ca entropia Shannon unei variabile discrete. Spre exemplu, poate fi negativă.

Exemplu

Presupunem evenimentul aruncării unui zar cu 6 fețe. Valorile variabilei X sunt {1,2,3,4,5,6} iar probabilitățile obținerii oricărei valori sunt egale. Entropia este: $H(X)=-\sum _{i=1}^{6}{{\frac {1}{6}}\log _{2}\left({\frac {1}{6}}\right)}=-{6\cdot {\frac {1}{6}}\log _{2}\left({\frac {1}{6}}\right)}=-{log_{2}\left({\frac {1}{6}}\right)}=2.58$.

Pentru o populație discretă cu valorile {1,2,3,4,5,6} cu probabilitățile respectiv {3%,16%,31%,31%,16%,3%} (aproximativ o distribuție binomială cu p=50%) entropia calculată este: H(X) = 2.2. Incertitudinea s-a diminuat față de exemplul precendent.

Proprietăți

Aditivitate

Logaritmul este folosit în calculul entropiei pentru a permite adunarea incertitudinii unor variabile independente.

De exemplu, considerând X și Y doua evenimente independente, distribuite uniform, cu $n\,$ respectiv $m\,$ posibile rezultate perechea (X,Y) va avea $mn\,$ rezultate echiprobabile $\left\{x_{i}y_{j}:i=1,\cdots ,n,j=1,\cdots ,m\right\}$. Entropia perechii (X,Y) se calculează:

$\displaystyle H(X,Y)=\log _{2}(nm)=\log _{2}(n)+\log _{2}(m)=H(X)+H(Y).$

(2)

Astfel, entropia perechii este egală cu suma entropiei celor două evenimente luate separat. Proprietatea aditivității implică faptul că entropia se menține constantă indiferent dacă mulțimea rezultatelor/procesul este privit ca întreg sau ca sumă a unor submulțimi / procese.

Schimbarea de bază

Entropia poate fi calculată folosind diferite baze ale logaritmului. Înmulțirea logaritmilor are proprietatea: $\displaystyle \log _{a}(p)=\log _{a}(b)*\log _{b}(p).$.

Entropia calculată in baza $a\,$ va fi egală cu $\ log_{a}(2)$ inmulțită cu entropia calculată cu logaritm in baza 2.

Continuitate

Entropia este o funcție continuă. Unei modificari infinitezimale a probabilităților corespunde o modificare asemănătoare a entropiei.

Simetrie

Valoarea entropiei rămâne neschimbată daca se schimbă ordinea variabilelor x_i.

$H_{n}\left(p_{1},p_{2},\ldots \right)=H_{n}\left(p_{2},p_{1},\ldots \right)$ etc.

Maximum

Entropia, incertitudinea atinge o valoare maximă dacă evenimentele sunt echiprobabile.

$H_{n}(p_{1},\ldots ,p_{n})\leq H_{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right).$

Pentru evenimente independente și echiprobabile entropia crește cu numărul posibil de rezultate.

$H_{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<H_{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.$

Bibliografie

• Silviu Guiașu, Radu Theodorescu Teoria matematică a informației, Editura Academiei RSR, 1966
• Shigeru Furuichi, Flavia-Corina Mitroi-Symeonidis, Eleutherius Symeonidis, On some properties of Tsallis hypoentropies and hypodivergences, Entropy, 16(10) (2014), 5377-5399; DOI:10.3390/e16105377
• Shigeru Furuichi, Flavia-Corina Mitroi, Mathematical inequalities for some divergences, Physica A 391 (2012), pp. 388-400, DOI:10.1016/j.physa.2011.07.052; ISSN: 0378-4371
• Shigeru Furuichi, Nicușor Minculete, Flavia-Corina Mitroi, Some inequalities on generalized entropies, J. Inequal. Appl., 2012, 2012:226. DOI: 10.1186/1029-242X-2012-226

Legături externe

• Teoria matematică a comunicației C.E. Shannon Arhivat în 31 ianuarie 1998, la Wayback Machine.