Digitální knihovnaUPCE
 

Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions

ČlánekOtevřený přístuppeer-reviewedpostprint
dc.contributor.authorDoležel, Petrcze
dc.contributor.authorŠkrabánek, Pavelcze
dc.contributor.authorGago, Lumírcze
dc.date.accessioned2017-05-11T11:16:45Z
dc.date.available2017-05-11T11:16:45Z
dc.date.issued2016eng
dc.description.abstractInitial weight choice is an important aspect of the training mechanism for feedforward neural networks. This paper deals with a particular topology of a feedforward neural network, where symmetric linear saturated activation functions are used in a hidden layer. Training of such a topology is a tricky procedure, since the activation functions are not fully differentiable. Thus, a proper initialization method for that case is even more important, than dealing with neural networks with sigmoid activation functions. Therefore, several initialization possibilities are examined and tested here. As a result, particular initialization methods are recommended for application, according to the class of the task to be solved.eng
dc.description.abstract-translatedVýběr algoritmu počátečního nastavení vah je důležitým aspektem při trénování neuronové sítě. V tomto článku je řešeno trénování jedné konkrétní topologie - dopředné vícevrstvé umělé neuronové sítě s lineárními saturovanými aktivačními funkcemi. Trénovaní takových topologií je netriviální úkol, protože řečené aktivační funkce nejsou hladké. Proto je úvodní inicializace vah ještě důležitější, než při použití hladkých aktivačních funkcí. V rámci článku je tedy testována množina známých inicializačních procedur a výsledkem je doporučení jednotlivých algoritmů v závislosti na typu řešené úlohy.cze
dc.event14th IFAC Conference on Programmable Devices and Embedded Systems PDES 2016 (05.10.2016 - 07.10.2016)eng
dc.formatp. 49–54eng
dc.identifier.doi10.1016/j.ifacol.2016.12.009
dc.identifier.issn2405-8963eng
dc.identifier.obd39877888eng
dc.identifier.scopus2-s2.0-85006964860
dc.identifier.urihttps://hdl.handle.net/10195/67665
dc.identifier.wos000401255800009
dc.language.isoengeng
dc.peerreviewedyeseng
dc.project.IDSGS_2016_019/Speciální topologie umělé neuronové sítě jako aproximátor a klasifikátoreng
dc.publicationstatuspostprinteng
dc.publisherElsevier Science BVeng
dc.relation.ispartofIFAC Papersonline, volume 49, issue: 25eng
dc.rightsopen accesseng
dc.subjectartificial neural networkeng
dc.subjectinitializationeng
dc.subjectlinear-saturated activation functioneng
dc.subjectlinearizationeng
dc.subjectumělá neuronová síťcze
dc.subjectinicializacecze
dc.subjectlineární saturovaná aktivační funkcecze
dc.subjectlinearizacecze
dc.titleWeight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functionseng
dc.title.alternativeMožnosti inicializace vah při trénování dopředné neuronové sítě s lineárními saturovanými aktivačními funkcemicze
dc.typeArticleeng

Soubory

Původní svazek

Nyní se zobrazuje 1 - 1 z 1
Náhled
Název:
ifacconf-1.pdf
Velikost:
537.08 KB
Formát:
Adobe Portable Document Format
Popis: