激活函数总结

ReLU及其变种

RELU

$${f{ \left( {x} \right) } =max{ \left( {0,x} \right) } }$$

RELU6

$${f{ \left( {x} \right) } =min{ \left( {max{ \left( {0,x} \right) } ,6} \right) } }$$

为啥是6呢，很玄学。

ELU

$${f{ \left( {x} \right) } =max{ \left( {0,x} \right) } +min{ \left( {0, \alpha { \left( {e\mathop{ {} } \nolimits^{ {x} } -1} \right) } } \right) } }$$

在负数范围内的操作1。

PReLU

$${f{ \left( {x} \right) } =max{ \left( {0,x} \right) } +a∙min{ \left( {0,x} \right) } }$$

学习a，在负数范围内的操作2。

LeakyRELU

$${f{ \left( {x} \right) } =max{ \left( {0,x} \right) } + \beta ∙min{ \left( {0,x} \right) } }$$

β不变，在负数范围内的操作3。

Threshold

$${f{ \left( {x} \right) } =max{ \left( {x,threshold} \right) } }$$

tanh及其变种

Hardtanh

$${f{ \left( {x} \right) } ={ \left\{ \begin{array} {*{20} {l} } {-1,x < -1} \\ {x,-1 \le x \le 1} \\ {1,x > 1} \end{array} \right. } }$$

tanh

$${f{ \left( {x} \right) } =\frac{ {e\mathop{ {} } \nolimits^{ {x} } -e\mathop{ {} } \nolimits^{ {-x} } } } { {e\mathop{ {} } \nolimits^{ {x} } +e\mathop{ {} } \nolimits^{ {-x} } } } }$$

sigmoid及其变种

sigmoid用作二元分类问题，softmax用作k元分类问题。

Sigmoid

$${f{ \left( {x} \right) } =\frac{ {1} } { {1+e\mathop{ {} } \nolimits^{ {-x} } } } }$$

Softmax

$${f{ \left( {x} \right) } =\frac{ {\mathop{ {e} } \nolimits^{ {x\mathop{ {} } \nolimits_{ {i} } } } } } { { {\mathop{ \sum } \nolimits_{ {j} } {e\mathop{ {} } \nolimits^{ {x\mathop{ {} } \nolimits_{ {j} } } } } } } } }$$

LogSigmoid

$${f{ \left( {x} \right) } =log{ \left( {\frac{ {1} } { {1+e\mathop{ {} } \nolimits^{ {-x} } } } } \right) } }$$

LogSoftmax

$${f{ \left( {x} \right) } =log{ \left( {\frac{ {\mathop{ {e} } \nolimits^{ {x\mathop{ {} } \nolimits_{ {i} } } } } } { { {\mathop{ \sum } \nolimits_{ {j} } {e\mathop{ {} } \nolimits^{ {x\mathop{ {} } \nolimits_{ {j} } } } } } } } } \right) } }$$

其他

Softplus

$${f{ \left( {x} \right) } =\frac{ {1} } { { \beta } } log{ \left( {1+e\mathop{ {} } \nolimits^{ { \beta x} } } \right) } }$$

Softplus函数是ReLU函数的平滑逼近，Softplus函数可以使得输出值限定为正数。
为了保证数值稳定性，线性函数的转换可以使输出大于某个值。

Softshrink

$${f{ \left( {x} \right) } ={ \left\{ \begin{array} {*{20} {l} } {-x+ \lambda ,x < - \lambda } \\ {0,- \lambda \le x \le \lambda } \\ {x- \lambda ,x > \lambda } \end{array} \right. } }$$

Softsign

$${f{ \left( {x} \right) } =\frac{ {x} } { {1-{ \left| {x} \right| } } } }$$

Tanhshrink

$${f{ \left( {x} \right) } =x-\frac{ {e\mathop{ {} } \nolimits^{ {x} } -e\mathop{ {} } \nolimits^{ {-x} } } } { {e\mathop{ {} } \nolimits^{ {x} } +e\mathop{ {} } \nolimits^{ {-x} } } } }$$