Entrópia

Az entrópia a tudomány (elsősorban a hőtan és az informatika) fontos fogalma, egy rendszer rendezetlenségi fokát jellemzi.

Az entrópia műszót Rudolph Clausius (1822—1888) találta ki, és ezzel jellemezte a termodinamikában az anyagi rendszerek molekuláris rendezetlenségét, illetve termodinamikai valószínűségének a mértékét. Ebből következtetni lehet a maguktól végbemenő folyamatok irányára: a természetben egyre valószínűbb állapotok következnek be. Például a hő a melegebb testről a hidegebb test felé áramlik. Tehát, minden spontán folyamatnál bizonyos munka kárba vész, hővé alakul át. Emiatt, a természetben a spontán folyamatok visszafordíthatatlanok. A munka, de bármely energiafajta is maradéktalanul hővé alakítható, míg a hő csak részben alakítható át másfajta energiává (ezért tartják alacsonyabb rendű energiának). Az entrópia és a rendezetlenség egyenértékűsége elvben még a termodinamikában felbukkan, de végleg Erwin Schrödinger az életjelenségek kapcsán tisztázta. Később – a formai hasonlóság alapján – Neumann János javasolta Shannonnak, hogy képletét nevezze entrópiának. De, minthogy negatív előjel szerepelt a képlet előtt, negentrópia lett a neve (régen antientrópia is), ami a rendszerek rendezettségének mértékét fejezi ki.

Hőtani értelmezés

A termodinamikában (amely a fizika egyik ága), az entrópia (szimbóluma: S) egy extenzív állapotjelző, amelynek megváltozása a test két állapota között reverzibilis folyamat során felvett redukált hőmennyiségek előjeles összegével egyenlő.

Egy zárt termodinamikai rendszer a különböző állapotait meghatározott valószínűséggel veszi fel. A lehetséges állapotok összességét jellemzi az állapothalmaz: $S=\{x_{1},x_{2},x_{3},\dots \}$.

Az állapotok termodinamikai valószínűsége (hagyományosan) $\Omega=\{\omega_{1},\omega_{2},\omega_{3},\dots \}$.

A rendszer entrópiája az $x_{i}$ állapotban

$S_{i}=-k\cdot \ln \omega_{i}$,

ahol k a Boltzmann-állandó. A termodinamikai entrópia fogalmát Clausius vezette be.

Az entrópianövekedés és entrópiamaximum elve

Ha egy rendszer adiabatikusan zárt (vagyis a környezetéből nem vesz fel hőt), akkor a rendszerben lejátszódó spontán folyamatok során a rendszer entrópiája mindaddig nő, amíg be nem áll az egyensúlyi állapot. Egyensúlyi állapotban a rendszer entrópiája maximális. Azonban nyílt rendszer egyensúlyának nem feltétele az entrópiamaximum, mivel az entrópianövekedés a külvilágnak leadott hővel kompenzálható, sőt, az entrópia akár csökkenhet is.

Az entrópia és a fekete lyukak

A fekete lyukak olyan szingularitások, amelyek elnyelik az anyagot úgy, hogy onnan még a fény sem tud kiszabadulni. Kezdetben úgy tűnt, hogy a fekete lyukak léte sérti azt az elfogadott elvet, miszerint a világegyetem entrópiája növekedik. Stephen Hawkingnak sikerült bebizonyítania, hogy ez korántsem igaz.

"A kilépő sugárzás pozitív energiáját a fekete lyukba áramló negatív energiájú részecskék árama egyenlíti ki. Einstein nevezetes egyenlete értelmében az energia arányos a tömeggel: E=mc² (ahol E az energia, m a tömeg, c pedig a fénysebesség). A beáramló negatív energia tehát csökkenti a fekete lyuk tömegét. A tömeg csökkenése következtében csökken az eseményhorizont területe. Az ebből eredő entrópiacsökkenést (a lyuk belsejében) bőven meghaladja a kibocsátott sugárzás okozta entrópianövekedés, úgyhogy szó sincs a második főtétel megsértéséről.

Minél kisebb a fekete lyuk tömege, annál magasabb a hőmérséklete. Ahogy tehát fogy a fekete lyuk tömege, egyre nő a hőmérséklete és részecskekibocsátása, azaz egyre gyorsabban veszíti tömegét. Nem teljesen tisztázott még, mi történik akkor, ha a fekete lyuk végül rettenetesen kicsivé válik. Legésszerűbbnek az a feltevés látszik, hogy hatalmas végső részecskekibocsátás közepette teljesen megsemmisül; a hatás több millió H-bomba egyidejű fölrobbantásával egyenértékű.",

Informatikai értelmezés

A kommunikációs kapcsolatban a hírforrás mint sztochasztikus (véletlenszerű) kibernetikai rendszer működik. Állapotait véletlenszerűen veszi fel, s az eseményekről tudósító híreket véletlenszerűen sugározza (küldi). A forrás hírkészlete: $H=\{h_{1},h_{2},h_{3},\dots \}$, és a rendszer állapothalmaza (l. fent) között természetes az egy-egy értelmű megfeleltetés, ami ezért a hírkészlet és az állapot-valószínűségek $P=\{p_{1},p_{2},p_{3},\dots \}$ között is fennáll. A forrás egy hírének az entrópiája:

$\eta (h_{i})=-p_{i}\cdot \log _{2} p_{i}$.

A rendszer entrópiája ezek összegezésével adódik: $H(S)=-\sum p_{i}\log _{2}p_{i}$.

Az entrópia lehetséges értékei

A rendszer entrópiája a következő értékeket veheti fel: $0 \leq H(S) \leq \log _{2}n$, ahol $n$ a lehetséges hírek darabszámát jelenti.

• Az entrópia akkor a legkisebb (0), ha a hírforrás biztosan mindig ugyanazt a hírt sugározza: ekkor a $p_{i}$ valószínűségek egyike 1 (amelyiket sugározza), a többié 0, és így az összeg is nulla, mivel azok a tagok 0-val egyenlőek, amelyikben $p_{i} = 0$ (az egyik tényező), az egyetlen maradék tagban (ahol $p_{i} = 1$) pedig a $\log _{2}p_{i}$ tényező nulla. Ekkor a bizonytalanságunk nulla, vagyis teljesen biztosak lehetünk benne, hogy az adott hír fog érkezni.

• Az entrópia akkor a legnagyobb ($\log _{2}n$), ha az összes hír valószínűsége egyenlő ($p_{i} = \log _{2}\frac{1}{n}$). Ekkor a bizonytalanságunk a legnagyobb, hiszen bármelyik hír ugyanakkora valószínűséggel érkezhet.

A forrás-entrópia a híreinek átlagos hírértéke. A fizikai entrópia formulájához való hasonlóság nyomán "keresztelte el" Shannon.