3 KiB
3 KiB
Neuronové sítě
Neuron
- mozková buňka, která má za úkol sběr, zpracovávání a šíření signálů
- mozek
10^{11}
neuronů, více než 20 typů,10^{14}
synapsí- 1ms - 10ms cyklus nosiče informace
- signály = výkyvy elektrických potenciálů (se šumem)
Počítačový model
- matematický model neuronu (McCulloch & Pitts, 1943)
- při spojení do neuronové sítě mají schopnost tolerovat šum ve vstupu a učit se
- jednotky v neuronové síti (units)
- propojeny vazbami (links)
- vazba z jednotky
j
doi
propaguje aktivacia_j
jednotkyj
- každá vazba má číselnou váhu
W_{j,i}
(síla + znaménko)
- účel aktivační funkce
- jednotka má být aktivní (
\approx +1
) pro pozitivní příklady, jinak neaktivní\approx 0
- aktivace musí být nelineární, jinak by celá síť byla lineární
- jednotka má být aktivní (
- kombinacemi těchto jednotek do sítě můžeme implementovat libovolnou Booleovskou funkci
Struktury neuronových sítí
Sítě s předním vstupem
- necyklické
- implementují funkce
- nemají vnitřní paměť
- příklad
- síť 5-ti jednotek - 2 vstupní, 1 skrytá vrstva (2 jednotky), 1 výstupní jednotka
- = parametrizovaná nelineární funkce vstupu
Rekurentní sítě
- cyklické
- vlastní výstup si berou opět na vstup
- složitější a schopnější
- výstup má (zpožděný) vliv na aktivaci (= paměť)
- Hopfieldovy sítě
- symetrické obousměrné vazby; fungují jako asociativní paměť
- Boltzmannovy stroje
- pravděpodobnostní aktivační funkce
Perceptron
- nejjednodušší model neuronové sítě s učením s učitelem
- pouze jedna vstupní jednotka
- nízká vyjadřovací síla
- pro složitější klasifikaci - více výstupních jednotek
- dokáže reprezentovat hodně Bool. funkcí - AND, OR, NOT, ...
- výhody
- existuje jednoduchý učící algoritmus pro libovolnou lineárně separabilní funkci
- učení perceptronu
- upravování vah, aby se snížila chyba na trénovací sadě
- učící pravidlo pro perceptron konverguje ke správné funkci pro libovolnou lineárně separabilní množinu dat
- limity jednoduchého perceptronu
- algoritmus je konečný právě tehdy, když je množina (učící) lineárně separovatelná a pokud existuje řešení
Vícevrstvé neuronové sítě
- vrstvy jsou obvykle úplně propojené
- počet skrytých jednotek je obvykle volen experimentálně
- dostatečná vyjadřovací síla
- s jednou skrytou vrstvou - všechny spojité funkce
- se dvěma skrytými vrstvami - všechny funkce
- těžko se ovšem pro konkrétní síť zjišťuje její prostor reprezentovatelných funkcí
- učení
- pravidla pro úpravu vah
- výstupní vrstva - stejné jako u perceptronu
- skryté vrstvy - zpětné šíření (back-propagation) chyby z výstupní vrstvy
- problémy učení
- dosažení lokálního minima chyby
- příliš pomalá konvergencce
- přílišné upnutí na příklady -> neschopnost generalizovat
- pravidla pro úpravu vah