Digitální knihovnaUPCE
 

Weight Initialization Possibilities for Feedforward Neural Network with Linear Saturated Activation Functions

ČlánekOtevřený přístuppeer-reviewedpostprint
Náhled

Datum publikování

2016

Vedoucí práce

Oponent

Název časopisu

Název svazku

Vydavatel

Elsevier Science BV

Abstrakt

Initial weight choice is an important aspect of the training mechanism for feedforward neural networks. This paper deals with a particular topology of a feedforward neural network, where symmetric linear saturated activation functions are used in a hidden layer. Training of such a topology is a tricky procedure, since the activation functions are not fully differentiable. Thus, a proper initialization method for that case is even more important, than dealing with neural networks with sigmoid activation functions. Therefore, several initialization possibilities are examined and tested here. As a result, particular initialization methods are recommended for application, according to the class of the task to be solved.

Rozsah stran

p. 49–54

ISSN

2405-8963

Trvalý odkaz na tento záznam

Projekt

SGS_2016_019/Speciální topologie umělé neuronové sítě jako aproximátor a klasifikátor

Zdrojový dokument

IFAC Papersonline, volume 49, issue: 25

Vydavatelská verze

Přístup k e-verzi

open access

Název akce

14th IFAC Conference on Programmable Devices and Embedded Systems PDES 2016 (05.10.2016 - 07.10.2016)

ISBN

Studijní obor

Studijní program

Signatura tištěné verze

Umístění tištěné verze

Přístup k tištěné verzi

Klíčová slova

artificial neural network, initialization, linear-saturated activation function, linearization, umělá neuronová síť, inicializace, lineární saturovaná aktivační funkce, linearizace

Endorsement

Review

item.page.supplemented

item.page.referenced