mathjax

2017年12月31日日曜日

「深層学習」にとりかかる。


正誤表:深層学習 | 書籍情報 | 株式会社 講談社サイエンティフィク


2.2 活性化関数


定義域 値域
ロジスティックシグモイド関数
ロジスティック関数
(logistic sigmoid function)
$f(u)=\displaystyle\frac{1}{1+e^{-u}}$ 実数全体
$(-\infty, \infty)$
$(0,1)$
双曲線正接関数 $\begin{eqnarray}f(u)&=&\tanh(u)\\
&=&\displaystyle\frac{e^u-e^{-u}}{e^u+e^{-u}}\end{eqnarray}$
実数全体
$(-\infty, \infty)$
$(-1,1)$
正規化線形関数 ReLU
(rectified linear function)
$f(u)=\max(u,0)$

線形写像


恒等写像 $f(u)=u$

ソフトマックス関数
(softmax function)
$y_k\equiv z_k^{(L)}=\frac{\exp (u_k^{(L)})}{\sum_{j=1}^K\exp(u_j^{(L)})}$

0 件のコメント:

コメントを投稿