Hluboká neuronová síť

Druh výsledku
software
Popis

Navržený algoritmus hluboké neuronové sítě je zobecněním učícího algoritmu zpětného šíření chyby (BPA) na větší počet skrytých vrstev neuronové sítě (hloubka sítě), doplněný zároveň o algoritmus dopředného předučení (hloubkové učení) neuronové sítě na základě nad sebou vrstvených autokodérů. Hloubka sítě je v řádu desítek a více vrstev, pro trénování se používá algoritmus zpětného šíření chyby. Trénování probíhá ve dvou fázích, tj. nejprve předučení sítě dopředným směrem, např. pomocí autoenkodérů (učení bez učitele), a poté doučení sítě zpětným směrem (učení s učitelem), eliminuje se tak tlumení zpětného šíření chyby. Síť bude použita k odhadu spolehlivosti energetických zařízení.

Parametrizace DNN
Parametrizace architektury hluboké neuronové sítě

Test algoritmu byl proveden na hluboké neuronové síti o deseti vrstvách s deseti neurony ve vrstvě, pouze ve výstupní vrstvě byly jen 3 neurony. Účelem sítě měla být klasifikace objektů, popsaných deseti atributy, z hlediska tří kategorií.
Samotný algoritmus probíhal výše uvedeným postupem. Nejprve se síť adaptovala zobecněným učícím algoritmem zpětného šíření chyby (BPA). Následovaly fáze hloubkového učení: předučení a doučení. Nejprve došlo k přeučení jednotlivých vrstev vah od 1. do 4. vrstvy, od 1. do 5. vrstvy atd. až od 1. do 9. vrstvy, a to na autoasociativní funkci sítě o dvou vrstvách vah, z nichž první vrstva byla vždy příslušná skutečná vrstva původní sítě a druhá vrstva byla vždy dodatečně přidaná fiktivní vrstva z důvodu zkompletování příslušných postupně nad sebe řazených dvouvrstvých autokodérů. Následné doučení probíhalo stejným postupem.
Výsledky ukazují, že optimálním, z hlediska minimalizace počtu předučovaných vrstev vah, se jeví předučení první až páté vrstvy vah, od které se váhy směrem k poslední deváté vrstvě pak již dostatečně mění.

Ke stažení:

Výsledek vznikl za finanční podpory Technologické agentury České republiky v rámci projektu č. TK04020003.

Klíčová slova
Energetické zařízení; Spolehlivost; Umělá neuronová síť; Hluboká neuronová síť