Shannon (mértékegység)

A shannon (szimbóluma: Sh; Claude Shannon, az információelmélet megalapozójának emlékére, tiszteletére) az információ, illetve az entrópia – ISO 80000-13 által meghatározott – egysége.

Mivel az információ tárolása és továbbítása binárisan és rögzített szerkezetben történik, ezért a hétköznapokban nem okoz különösebb problémát, hogy az információ mértékegységeként voltaképpen tévesen a bitet használják.

A két kifejezés közötti elméleti különbség leginkább az adattömörítéssel kapcsolatosan jelenik meg, ami az informatikának egy viszonylag szűk és a felhasznált elmélet tekintetében is elkülönülő területe. (Információrögzítésnél, -tárolásnál, illetve a szűkös adatátviteli kapacitások miatt modemekben, valamint faxkészülékekben alkalmaztak adatátviteli tömörítést is.)

Egy shannon az információtartalma egy olyan eseménynek, amelynek bekövetkezési valószínűsége ½. Ez egy olyan rendszer entrópiája is, amelynek két azonos valószínűségű állapota van. Ha egy adott számú bitből álló sorozatot tartalmazó üzenetet veszünk, ahol az összes lehetséges bit karakterlánc egyformán valószínű, akkor az üzenetek információs tartalma shannonban kifejezve megegyezik a sorban lévő bitek számával. Emiatt és történelmi okok miatt a shannon helyett a bit kifejezést használják. Bevezetésekor a shannon fogalmánál kifejezetten megkülönböztették a információ mennyiségét és az adatok reprezentálására használható adatok mennyiségét. Az IEEE Std 260.1-2004 még mindig a bitet határozza meg egységként erre a jelentésre anélkül, hogy a shannont megemlítené.

Meghatározása

Egy shannon (1 Sh) az üzenetben lévő információ mennyiségének egysége. Az üzenetet egy karakterkészlet képviseli. $Z=\{z_{1},z_{2},\dots ,z_{S}\}$, valamint ${p_{i}}$ a valószínűségeket, amellyel az egyes karakterek megjelennek az üzenetben ($P=\{p_{1},p_{2},p_{3},\dots \}$). Ekkor egy ilyen üzenet definíció szerint a következő információtartalommal rendelkezik shannonban megadvaː

$\mathrm {H} =-\sum _{i}{p_{i}\cdot \log _{2}p_{i}}\quad [{\text{Sh}}]$

A shannonban megadott érték átszámítható más információs egységekreː

1 Sh = 1 bit ≈ 0,693 nat ≈ 0,301 Hart

Szabványosítás

Az információelméletben a döntési tartalmi egységek meghatározása megtalálható az IEC 60027-3 és az ISO 2382-16 nemzetközi szabványokban. Itt a kettes alapú logaritmuson alapuló shannon egységen kívül a Hartley-t (az egységszimbólum: Hart) a tízes alapú logaritmus alapján, valamint a természetes információs egységet a természetes alapú logaritmus alapján (az egységszimbólum: nat) vezették be.

„A Nemzetközi Szabványügyi Szervezet (ISO) 1975-ös kísérlete a bit egység lecserélésére a shannon egységre [...] utólag visszatekintve nem volt túl sikeres.” (Walter Umstätter)

Példák

• A legegyszerűbb példa: egy üzenet, amely a $Z=\{0,1\}$ karakterkészletből áll, ahol mindkét karakter 0,5-es valószínűséggel fordul elő, a következő információtartalommal rendelkezik:

$-{\frac {1}{2}}\;\log _{2}\!\left({\frac {1}{2}}\right)-{\frac {1}{2}}\;\log _{2}\!\left({\frac {1}{2}}\right)=-\log _{2}\!\left({\frac {1}{2}}\right)=\log _{2}(2)=1\,{\text{Sh}}$.

• Ha a karakterkészlet a következő tíz karakterből áll: $\{0,1,2,3,4,5,6,7,8,9\}$, és minden karakter azonos valószínűséggel fordul elő, akkor az információtartalom

$-\log _{2}\left({\frac {1}{10}}\right)=\log _{2}(10)\approx 3{,}322\ \mathrm {Sh}$

Ezt úgy lehet értelmezni, hogy a négybites kódolás feltétlenül elegendő az ilyen üzenetek karaktereinek továbbításához (ezt például a BCD-kódolás valósítja meg), de ilyenkor mindig van redundancia (többletesség). A BCD-kódolásnál ez a redundancia abból adódik, hogy a 16 különböző karakter közül, amelyet ezzel a kóddal lehetne ábrázolni, csak 10 fordul elő. (Szemben a hexadecimálissal, amelyben ilyen redundancia nincs.)

Következmények a köznapi életben

Néhány megértést segítő hétköznapi példa:

• Speciális, kedvező esetben egy tökéletesen tömörített fájl bitjeinek száma megegyezik a shannonban megadott értékével. Más esetben a bitek száma nagyobb.

• Tökéletesen véletlen, például fehérzajból előállított véletlen sorozatok esetén a tömörített sorozat nagyobb, mint az eredeti.

• Megfelelő minőségű tömörítővel tömörített állomány statisztikai jellemzői a fehérzajéra emlékeztetnek.

• Megfelelő minőségű tömörítővel tömörített állomány ismételt tömörítésére nagyobb fájl kapunk, mint az előző tömörített fájl volt.

Források

• IEC 80000-13:2008 International Organization for Standardization. Megtekintés: 2013. július 21.
• How Many? A Dictionary of Units of Measurement (angolul) shannon (Sh) szócikk, Russ Rowlett and the University of North Carolina. Megtekintés: 2016. március 4.

Lásd még

• trit (hármas számrendszerbeli számjegy)
• Kvantumbit (qubit)