Neuronové sítě

Neuron

mozková buňka, která má za úkol sběr, zpracovávání a šíření signálů
mozek
- 10^{11} neuronů, více než 20 typů, 10^{14} synapsí
- 1ms - 10ms cyklus nosiče informace
  - signály = výkyvy elektrických potenciálů (se šumem)

Počítačový model

matematický model neuronu (McCulloch & Pitts, 1943)
při spojení do neuronové sítě mají schopnost tolerovat šum ve vstupu a učit se
jednotky v neuronové síti (units)
- propojeny vazbami (links)
- vazba z jednotky j do i propaguje aktivaci a_j jednotky j
- každá vazba má číselnou váhu W_{j,i} (síla + znaménko)
účel aktivační funkce
- jednotka má být aktivní (\approx +1) pro pozitivní příklady, jinak neaktivní \approx 0
- aktivace musí být nelineární, jinak by celá síť byla lineární
kombinacemi těchto jednotek do sítě můžeme implementovat libovolnou Booleovskou funkci

Struktury neuronových sítí

Sítě s předním vstupem

necyklické
implementují funkce
nemají vnitřní paměť
příklad
- síť 5-ti jednotek - 2 vstupní, 1 skrytá vrstva (2 jednotky), 1 výstupní jednotka
= parametrizovaná nelineární funkce vstupu

Rekurentní sítě

cyklické
vlastní výstup si berou opět na vstup
složitější a schopnější
výstup má (zpožděný) vliv na aktivaci (= paměť)
Hopfieldovy sítě
- symetrické obousměrné vazby; fungují jako asociativní paměť
Boltzmannovy stroje
- pravděpodobnostní aktivační funkce

Perceptron

nejjednodušší model neuronové sítě s učením s učitelem
- pouze jedna vstupní jednotka
- nízká vyjadřovací síla
- pro složitější klasifikaci - více výstupních jednotek
- dokáže reprezentovat hodně Bool. funkcí - AND, OR, NOT, ...
výhody
- existuje jednoduchý učící algoritmus pro libovolnou lineárně separabilní funkci
učení perceptronu
- upravování vah, aby se snížila chyba na trénovací sadě
- učící pravidlo pro perceptron konverguje ke správné funkci pro libovolnou lineárně separabilní množinu dat
limity jednoduchého perceptronu
- algoritmus je konečný právě tehdy, když je množina (učící) lineárně separovatelná a pokud existuje řešení

Vícevrstvé neuronové sítě

vrstvy jsou obvykle úplně propojené
počet skrytých jednotek je obvykle volen experimentálně
dostatečná vyjadřovací síla
- s jednou skrytou vrstvou - všechny spojité funkce
- se dvěma skrytými vrstvami - všechny funkce
- těžko se ovšem pro konkrétní síť zjišťuje její prostor reprezentovatelných funkcí
učení
- pravidla pro úpravu vah
  - výstupní vrstva - stejné jako u perceptronu
  - skryté vrstvy - zpětné šíření (back-propagation) chyby z výstupní vrstvy
- problémy učení
  - dosažení lokálního minima chyby
  - příliš pomalá konvergencce
  - přílišné upnutí na příklady -> neschopnost generalizovat