O SOUVISLOSTI MEZI ENTROPIÍ A INFORMACÍ

MILAN KUNZ

Jurkovičova 13, 63800 Brno

Napsáno 1997

Shodou okolností byly v Chemických Listech publikovány dva články1-2, které spolu úzce souvisí.

Vzpomínka1 na 100 let slavné Boltzmannovy rovnice spojující entropii S s pravděpodobností W se snad týká určité publikace, Boltzmann však základní ideu uveřejnil mnohem dříve3 a nepochopení vztahu

S = k ln W

stále trvá. Dnes má podobu nahrazování Boltzmannova vztahu informační entropií. O tom svědčí i výtečný článek Malijevského2, kde se píše: "Existuje souvislost mezi entropií a informací. Nulová entropie je maximální informací, maximální entropie je šumem, absencí informace."

Míra informace zavedená Shannonem4 je spojena s indexováním objektů binárním kódem. Pro indexování m částic (symbolů) indexem i je potřebí minimálně m log2m číslic5 (například pro 8 částic 24 číslic: 000, 001, 010, 011, 100, 101, 110 a 111). Pokud máme informaci o částicích, potřebný počet číslic klesá. Jestliže částice patří k n druhům (index j, například aaaabbcd) pak je potřebí  S mj log2mj číslic (a00, a01, a10, a11, b0, b1, c, d, pro 8 částic jen 10 číslic). Rozdíl vztažený na počet částic m je mírou informace, kterou máme o soustavě: Hm = (S  mj log2mj -  m log2m)/m (v daném příkladě Hm = -1,75. Entropie Hm je maximální, když všechny částice mají stejnou frekvenci (například aabbccdd, Hm = -2, pro řetězec abcdefgh Hm = -3, pro řetězec aaaaaaaa Hm = 0). Entropie H je též přibližně logaritmickou mírou počtu permutací řetězce symbolů. Počet permutací lze stanovit pomocí polynomického koeficientu pro m permutace m!/P mj! = m!/P mk!nk (8!/4!2!1!1! nebo 8!/2!2!2!2!).

Pokud ztotožníme frekvenci symbolů s energií, potom podle termodynamické úvahy jsou symboly se stejnou frekvencí v textu ve stejném stavu a entropie S je minimální. Vypočte se pomocí polynomického koeficientu pro n permutace n!/P nk!, kde nk je počet částic ve stejném stavu (4!/2!1!1! nebo 4!/4!). Boltzmann výslovně spojil entropii S s polynomickým koeficientem pro m permutace3.

Oba typy permutací mohou působit současně5-7 a potom jsou additivní:

  (n!/P nk!)(m!/P mj!) = nm (1)

kde součet se provádí přes všechny rozklady čísla m na n sčítanců mj (hodnota 0 povolena jako mk).

Pro termodynamiku je nepředstavitelné, aby částice (symbol) byla rozptýlena v celé soustavě, je celistvá. To omezuje m permutace, nikoliv však rozdíl mezi oběma typy permutací.

Celoživotní Boltzmannovo úsilí dokázat správnost svých názorů nebyla úspěšná. Okolnost, že Newtonův vzorec (1) v této formě není dosud obvyklý, patří k největší enigmatům dvacátého století.

Zkušenost mne naučila, že je zbytečné upozorňovat na omyl, ke kterému došlo při nadšené transformaci teorie komunikace na teorii informace. Pokud jsou recenzenti vědomi významu problému, článek je nepublikovatelný, případně jen v okleštěné formě8. V případě7 jsem využil slavnostní číslo časopisu, které uniklo recenzi. Kafkovským případem je časopis MATCH. Recenzent namítal Maxwellova démona. I když jsem ukázal na nejednoznačnost mezi prací démona a entropií9 (stejná činnost entropii zvyšuje i snižuje, pokud démon míchá rozdělené molekuly), matematická práce zveřejněna nebyla.

LITERATURA

1. Vavruch I.: Chem. Listy, 91, 502 (1997).

2. Malijevský A.: Chem. Listy, 91, 502 (1997).

3. Boltzmann L.: Wiener Ber., 76, 373 (1877).

4. Shannon C.E.: Bell System Tech. J., 27, 379, 623 (1948),.

5. Kunz M.: Coll. Czech. Chem. Commun., 51 1856 (1986).

6. Kunz M.: J. Chem. Inform. Comput. Sci., 33, 193 (1993).

7. Kunz M.: Chem. průmysl, 33/58, 542 (1983).

8. Kunz M.: Czech. J. Phys., B 36 81 (1986).

9. Kunz M.: Comm. Math. Chem. (MATCH), 23, 3 (1988).