Dále: “Zdá se, že tento způsob rozdělení prvků, dosud známý pouze v kvantové fyzice, je univerzální i v jiných náhodných systémech. Právě to je úplně nové světlo, které jsem do problematiky vnesli.”

Při hodech mincí jsou prakticky možné dva výsledky, podle císařské tradice hlava nebo orel, při zápisu výhodně 0 a 1. Zanedbává se možnost, že mince zůstane stát na hraně, jako kdyby mince měla nulovou tloušťku, takže ji trochu idealizujeme. Představme si několik výsledků experimentu se stejným počtem 12 hodů:

Takové tabulky se dají sestavovat od jednoho do nekonečného počtu hodů. Počty výsledků tvoří Pascalův trojúhelník. Tady je sestaven pro výsledek 1, stejná tabulka je i pro výsledek 0, trojúhelník je symetrický. Všimněte si, že součty jsou mocniny čísla dvě. Tabulka je doplněna i o nultou mocninu, což je jedna a případ žádného hodu, kdy nemůže jednotka zásadně padnout, protože se hod vůbec neuskuteční.

S počtem hodů bychom mohli jít do nekonečna. V tom případě se stávají absolutní počty možných výsledků nesmyslně velké a pohodlněji počítáme s relativními čísly, poměry počtu příznivých případů ke všem možným. Místo binomického rozdělení dostaneme normální rozdělení, které odvodil Gauss, když se zabýval chybami astronomických měření.

My jsme však začali autobusy, tak se držme tohoto příkladu. Prázdná zastávka, to je zřejmě 0, autobus na zastávce 1. Pokud budeme zaznamenávat v pravidelných intervalech, výsledkem bude binární sekvence. Nejprve si zanalyzujeme model. V příkladu

čekáme v prvém případě na prvý autobus 7 intervalů, pak vždy jen 1 interval, v druhém případě je přestávka vždy 2 intervaly, autobusy jezdí zcela pravidelně, a v třetím případě čekáme postupně 3, 4, 1, 1, 2, 1 intervaly.

Pokud si dáme práci a spočítáme vzdálenosti mezi stejnými výsledky všech binárních řadách, dostaneme tabulku podobnou Pascalu trojúhelníku. Tato tabulka je základem negativně binomiálního rozdělení, což je jakási inversní forma binomiálního rozdělení.

Možná to ani není potřeba. Podle mých zkušeností negativně polynomiální rozdělení lze modelovat sérií negativně binomiálních rozdělení.

Představte si, že v tomto textu studujeme vzdálenosti mezi písmeny a. Všechna ostatní písmena (případně i interpunkci) nahradíme jedním neutrálním znakem. Dostaneme tak binomiální rozdělení, které bychom mohli modelovat jakousi falešnou mincí, u které jedna strana bude pravidelně padat mnohem častěji než druhá. Takovou minci bychom si mohli představit jako kuličku s vypilovanou ploškou, kde poměry ploch by odpovídaly poměru četnosti daného znaku ke znakům ostatním.

Po prostudování vlastností jednoho rozdělení postoupíme k dalšímu písmenu a dostaneme tak soubor pro všechna písmena abecedy. Tady existuje ještě možnost rozlišovat malá a velká písmena. Než k přistoupíme k praktickým příkladům, musíme ještě absolvovat historický úvod.

Musím se přiznat, že jsem zaskočil sám sebe otázkou, kde začít s historií problému statistických studií informace. Prehistorii problému jsem nestudoval, bývá spojována s počítáním slov v Bibli. Osobně bych přiznal prvenství Gutenbergovi, který asi brzo zjistil při sazbě Bible, že některých liter potřebuje mít v tiskařské kase mnohem více než jiných, protože se často v textu opakují. Ani nevím, kdo určil obecně přijímané frekvence písmen v jednotlivých jazycích.

Prvý kořen, který se však téměř úplně odlomil, byl ruský matematik Markov (toho by fyzikové měli znát. Z jeho zájmu, podle jakých pravidel se střídají hlásky se samohláskami v Puškinově Evženu Oněginovi vyrostl samostatný obor matematiky.

Třetím zdrojem je další Američan Lotka, který si dal práci se statistikou produktivity autorů v desetiletém indexu Chemical Abstracts, kolik kdo má publikací. Našel rozdělení podobné Zipfovu, jenomže pozorovanému z opačného konce. Logaritmus počtu autorů s n publikacemi koreloval proti logaritmu počtu jejich publikací. Na 10000 autorů s 1 publikací připadne přibližně 10 autorů s 10 publikacemi a jen 1 autor se 100 publikacemi.

Měl bych zmínit i nositele Nobelovy ceny za fyziku Shockleyho, který se zajímal o počty publikací svých podřízených a chtěl je podle toho i odměňovat. Ten použil jednoduše logaritmicko normální rozdělení. Když jsme u toho odměňování, rozdělení bohatství mezi lidmi, které studoval už v předminulém století Pareto, je stejného typu.

Tady by historický úvod mohl končit, protože pak se problému začíná věnovat příliš mnoho vědců. Ještě bych ještě zmínil lingvistku Těšitelovou, která pečlivě počítala slova v knihách českých autorů, a zběhlého fyzika Vlachého, který s neobyčejnou pílí opakoval lotkovské studie na všech souborech,které mu přišly pod ruku.

Kolega Vlachý si všimnul mé české publikace a doporučil mi publikovat v časopise Scientometrics. Tam tehdy uplatnil sérii článků Rus Haitun, který s apoštolským zanícením zdůrazňoval specifičnost extrémně kosých rozdělení jako zvláštnost informace. Tak jsem se pustil do polemiky, protože třeba rozdělení chemických prvků ve Vesmíru, nebo vesmírných těles je velmi kosé.

Existují celé teorie týkající se Zipfova a Lotkova rozdělení, jejich matematických vlastností. Obě rozdělení se zpracovávaly zcela odděleně, ačkoliv se jedná o popis dvou konců jednoho jevu. Tak jsem ukázal, že lze Lotkovy výsledky korelovat hlava proti konci (ocasu), jako když se had zakousne do svého ocasu. Dostanou se většinou přijatelné přímky.

Já jsem měl v patentové rešerši vedle počtů přihlášek také údaje o datech jejich podání. Když se data významných přihlašovatelů s mnoha desítkami přihlášek vynesla na časovou osu, podobala se čárovým spektrům chemických sloučenin. Data nebyla rozdělena rovnoměrně, ale vyskytovala se ve shlucích, v jakých jezdí autobusy. Tak jsem dostal nápad studovat intervaly mezi jednotlivými přihláškami.

Už tehdy jsem si uvědomoval možnosti podobných studií pro jiné řady, jako jsou texty, iracionální čísla nebo genetická informace. To však muselo počkat, až jsem byl v penzi a měl doma počítač.

Kolega RNDr Z. Rádl CSc mi vypracoval programy, které umožňují analýzovat vzdálenosti mezi znaky v ASCII souborech různých typů. Nyní stačí vzít text vhodné délky, zadat symbol, a dostane se výpis vzdáleností mezi daným symbolem, který lze studovat pomocí vhodného programu, třeba lze získat jeho charakteristiku pomocí Fourierovy analýzy.

Lidská řeč je fascinující fenomén. Vyjma několika řídkých výjimek většinu z nás stojí mnoho úsilí vyjadřovat se jasně a zřetelně, neotřele, bez opakování. Zásady dobrého stylu vyžadují, abychom neopakovali slova příliš často. Na druhé straně, když o něčem mluvíme, potom je nutné klíčová slova opakovat, aby bylo zřejmé, o čem je řeč. V některých případech se může stát opakování celých frází stylistickým prostředkem, třeba refrény v písních a rýmy v poesii.

V některých slovech se hlásky opakují, příkladem může být slovo “plavala”. V češtině se prakticky nevyskytují dvě stejné hlásky po sobě, pokud vyloučíme spojení typu “brašna a aktovka”, zatím co v psané angličtině jsou některá zdvojená písmena (ll, nn) poměrně častá.

Začněme u klasiky. Na internetu je k dispozici celé Shakespearovo dílo, z kterého jsem si vybral Sonety. Když jsem nahradil čísla sonetů jednotným znakem a studoval rozdělení tohoto znaku, dostal jsem délku sonetů vyjádřenou počtem znaků včetně interpunkčních znamének a nadbytečných úhozů.

Normální rozdělení. Průměr: 649.47, standardní deviace 22.1.

Rozdělení je lehce bimodální, mezi dvěma vrcholy existuje údolí, sonetů dlouhých asi 660 znaků je méně a dlouhých asi 670 znaků je více, než by se mělo v ideálním případě očekávat. Rozdíl odpovídá asi dvěma slovům.

Vzdálenosti mezi mezerníky určují rozdělení délky slov (počet písmen ve slově)

Počet slov dané délky a typ rozdělení

Nejčastěji se vyskytujícící slova se vyskytují v textu podle negativně binomiálního rozdělení, jako kdyby autor si házel kostkou. Pokud začneme podrobnější rozbor výsledků jednohláskovými slovy, korelace se zdá špatná. Avšak 45,9 % hodnoty chisquare tvoří rozdíl 9 slov (21 proti 12 očekávaným) ve vzdálenostech 51-60, lehce větších než je průměrná délka verše. podobné odchylky jsou i u dalších slov.

Slov délky 4 bylo příliš mnoho, program pro vyhodnocení selhal, takže jsem tato slova musel pro vyhodnocení rozdělit na dvě části. Zde jsou:

Chisquare hodnota je dost nízká. Když si však prohlédneme tabulku, zjistíme, že je tu jen 49 vzdáleností 10 a 11 mezi slovy se čtyřmi písmeny proti 77.3 očekávaným a 25 vzdáleností 14 mezi slovy se čtyřmi písmeny proti 15.8 očekávaným. Tyto dva rozdíly tvoří jen jedno procento všech vzdáleností, avšak 66.3 % chisquare hodnoty.

Druhá polovina těchto slov dala jiný výsledek:

Dalším rozdělením je interpunkční znaménko tečka. Vzdálenosti mezi nimi odpovídají délce souvětí.

Vzdálenosti mezi tečkami. Negativně binomiální rozdělení.

Průměrná vzdálenost mezi tečkami je 174.62. To odpovídá čtyř veršům. Ostatní odchylky jsou u násobků délky veršů. Jednotlivé verše nejčastěji oddělují čárky:

Vzdálenosti mezi čárkami. Negativně binomiální rozdělení.

Vzdálenostní analýza jednotlivých písmen dala velmi rozdílné výsledky, které jsou shrnuty v následující tabulce (hvězdičky označují příliš málo dat pro statistické testy, čísla jsou hodnoty chisquare).

Nejčastěji se uplatnilo exponenciální rozdělení, pak negativně binomiální rozdělení a logaritmicko normálního rozdělení. Weilbullovo rozdělení bylo nejlepší jen v jednom případě.

Několik poznámek k jednotlivým písmenům. U velkého A se pozoroval velký rozdíl odpovídající délce verše (90 případů proti 75.8 očekávaným). To je stylistická schválnost, v sonetu číslo 66 téměř všechny verše začínají slovem And. Takové opakování u dvojice veršů se vyskytuje i jinde.

Velký počet samohlásek si vynutil rozdělení souboru na několik stejných částí (podle počtu vzdáleností). Při statistickém zpracování se ukázalo, že tyto části dávají statisticky významně odlišné výsledky (údaj v závorkách). V následujícím příkladě třetí část se liší od 1., 2. a 4. části, pak se liší dvě poslední části.

Další interpunkční znaménko středník je používáno podle Weilbullova rozdělení. V studované části textu je 179 středníků, chisquare = 7.291 se 7 stupni volnosti. Hladina významnosti = 0.399. Také závorky uvozující četné poznámky, jsou v textu rozděleny podle Weilbullova rozdělení.

Vzdálenosti mezi mezerníky opět určují rozdělení délky slov (počtu písmen ve slově):

Slova délky 2 následují po sobě mnohem častěji, než by se mělo očekávat podle Weibullova rozdělení (234 výskytů proti 76.9 očekávaným). Tento rozdíl činí 87.8 % hodnoty chi-square. Také slova délky 5 příliš často jdou bezprostředně po sobě (206 výskytů proti 70.7 očekávaným), 71 % hodnoty chi-square. Podobně lze analýzovat delší slova.

Weibullovo rozdělení je nejlepší u 17 písmen, lognormalní rozdělení koreluje 25 případů, exponenciální rozdělení je nejlepší v 18 provedených testech a negativně binomialní rozdělení je nejlepší u 8 písmen.

Pro porovnání výsledů lexikální analýzy by bylo dobré mít srovnávací materiál. Jednou možností by byl nějaký generátor náhodných čísel. Nevýhodou náhodných číselje nereprodukovatelnost. Jako výhodnější jsem považoval analýzu čísla e = 2,718281828.... Toto číslo je výsledek algoritmu sečítajícího inversní faktoriály

Jednotlivé číslice se v čísle e vyskytují náhodně (i když začátek čísla tomu neodpovídá). J. Ventluka publikoval číslo e vypočtené na 100000 decimálních míst. Rozdělení vzdálenosti mezi číslicemi je korelováno nejlépe negativně binomiálním rozdělením.

Zde je příklad korelace pro číslici 6 v dekadickém zápisu jako příklad špatné korelace:

Shoda je téměř dokonalá. Vysvětlení rozdílu je v dekadické bázi čísla. Pokud zapíšeme číslo třeba v dvojkové soustavě, dostaneme zcela jiné výsledky.

Je zřejmé, že nejhorší korelace je téměř vždy uprostřed řady, případně se střídá v zápisu více horších a lepších výsledků.

Po tomto vulgárním úvodu si můžeme ukázat výsledky vzdálenostní analýzy jednoho obávaného lidského genu, označovaného v odborné literatuře jako fragment FRAXGE 52 seq. Počátek zápisu má tvar:

Tato tajná řeč lidského těla má své statistické vlastnosti. Každý znak odpovídá aminokyselině s výjimkou koncových symbolů (G, F, J), které oddělují proteiny, případně jejich zlomky.