Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions
ČlánekOtevřený přístuppeer-reviewedpostprintdc.contributor.author | Doležel, Petr | cze |
dc.contributor.author | Škrabánek, Pavel | cze |
dc.contributor.author | Gago, Lumír | cze |
dc.date.accessioned | 2017-05-11T11:16:45Z | |
dc.date.available | 2017-05-11T11:16:45Z | |
dc.date.issued | 2016 | eng |
dc.description.abstract | Initial weight choice is an important aspect of the training mechanism for feedforward neural networks. This paper deals with a particular topology of a feedforward neural network, where symmetric linear saturated activation functions are used in a hidden layer. Training of such a topology is a tricky procedure, since the activation functions are not fully differentiable. Thus, a proper initialization method for that case is even more important, than dealing with neural networks with sigmoid activation functions. Therefore, several initialization possibilities are examined and tested here. As a result, particular initialization methods are recommended for application, according to the class of the task to be solved. | eng |
dc.description.abstract-translated | Výběr algoritmu počátečního nastavení vah je důležitým aspektem při trénování neuronové sítě. V tomto článku je řešeno trénování jedné konkrétní topologie - dopředné vícevrstvé umělé neuronové sítě s lineárními saturovanými aktivačními funkcemi. Trénovaní takových topologií je netriviální úkol, protože řečené aktivační funkce nejsou hladké. Proto je úvodní inicializace vah ještě důležitější, než při použití hladkých aktivačních funkcí. V rámci článku je tedy testována množina známých inicializačních procedur a výsledkem je doporučení jednotlivých algoritmů v závislosti na typu řešené úlohy. | cze |
dc.event | 14th IFAC Conference on Programmable Devices and Embedded Systems PDES 2016 (05.10.2016 - 07.10.2016) | eng |
dc.format | p. 49–54 | eng |
dc.identifier.doi | 10.1016/j.ifacol.2016.12.009 | |
dc.identifier.issn | 2405-8963 | eng |
dc.identifier.obd | 39877888 | eng |
dc.identifier.scopus | 2-s2.0-85006964860 | |
dc.identifier.uri | https://hdl.handle.net/10195/67665 | |
dc.identifier.wos | 000401255800009 | |
dc.language.iso | eng | eng |
dc.peerreviewed | yes | eng |
dc.project.ID | SGS_2016_019/Speciální topologie umělé neuronové sítě jako aproximátor a klasifikátor | eng |
dc.publicationstatus | postprint | eng |
dc.publisher | Elsevier Science BV | eng |
dc.relation.ispartof | IFAC Papersonline, volume 49, issue: 25 | eng |
dc.rights | open access | eng |
dc.subject | artificial neural network | eng |
dc.subject | initialization | eng |
dc.subject | linear-saturated activation function | eng |
dc.subject | linearization | eng |
dc.subject | umělá neuronová síť | cze |
dc.subject | inicializace | cze |
dc.subject | lineární saturovaná aktivační funkce | cze |
dc.subject | linearizace | cze |
dc.title | Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions | eng |
dc.title.alternative | Možnosti inicializace vah při trénování dopředné neuronové sítě s lineárními saturovanými aktivačními funkcemi | cze |
dc.type | Article | eng |
Soubory
Původní svazek
1 - 1 z 1
- Název:
- ifacconf-1.pdf
- Velikost:
- 537.08 KB
- Formát:
- Adobe Portable Document Format
- Popis: