深度學(xué)習(xí)中的激活函數(shù)與梯度消失

轉(zhuǎn)載請(qǐng)注明出處：http://www.cnblogs.com/willnote/p/6912798.html

前言

深度學(xué)習(xí)的基本原理是基于人工神經(jīng)網(wǎng)絡(luò)，信號(hào)從一個(gè)神經(jīng)元進(jìn)入，經(jīng)過非線性的激活函數(shù)，傳入到下一層神經(jīng)元；再經(jīng)過該層神經(jīng)元的激活，繼續(xù)往下傳遞，如此循環(huán)往復(fù)，直到輸出層。正是由于這些非線性函數(shù)的反復(fù)疊加，才使得神經(jīng)網(wǎng)絡(luò)有足夠的能力來抓取復(fù)雜的模式，在各個(gè)領(lǐng)域取得不俗的表現(xiàn)。顯而易見，激活函數(shù)在深度學(xué)習(xí)中舉足輕重，也是很活躍的研究領(lǐng)域之一。目前來講，選擇怎樣的激活函數(shù)不在于它能否模擬真正的神經(jīng)元，而在于能否便于優(yōu)化整個(gè)深度神經(jīng)網(wǎng)絡(luò)。

本文首先著重對(duì)Sigmoid函數(shù)的特點(diǎn)與其存在的梯度消失問題進(jìn)行說明，之后再對(duì)其他常用的一些激活函數(shù)的特點(diǎn)進(jìn)行對(duì)比介紹。

Sigmoid函數(shù)

Sigmoid函數(shù)是深度學(xué)習(xí)領(lǐng)域開始時(shí)使用頻率最高的激活函數(shù)。

函數(shù)形式

網(wǎng)友評(píng)論