轉(zhuǎn)載請注明出處：http://www.cnblogs.com/willnote/p/6912798.html
前言
深度學(xué)習(xí)的基本原理是基于人工神經(jīng)網(wǎng)絡(luò)，信號從一個神經(jīng)元進(jìn)入，經(jīng)過非線性的激活函數(shù)，傳入到下一層神經(jīng)元；再經(jīng)過該層神經(jīng)元的激活，繼續(xù)往下傳遞，如此循環(huán)往復(fù)，直到輸出層。正是由于這些非線性函數(shù)的反復(fù)疊加，才使得神經(jīng)網(wǎng)絡(luò)有足夠的能力來抓取復(fù)雜的模式，在各個領(lǐng)域取得不俗的表現(xiàn)。顯而易見，激活函數(shù)在深度學(xué)習(xí)中舉足輕重，也是很活躍的研究領(lǐng)域之一。目前來講，選擇怎樣的激活函數(shù)不在于它能否模擬真正的神經(jīng)元，而在于能否便于優(yōu)化整個深度神經(jīng)網(wǎng)絡(luò)。
本文首先著重對Sigmoid函數(shù)的特點(diǎn)與其存在的梯度消失問題進(jìn)行說明，之后再對其他常用的一些激活函數(shù)的特點(diǎn)進(jìn)行對比介紹。
Sigmoid函數(shù)
Sigmoid函數(shù)是深度學(xué)習(xí)領(lǐng)域開始時使用頻率最高的激活函數(shù)。
函數(shù)形式
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式