Neuron Saturation

Una delle cause del vanishing gradient è la saturazione del neurone.

$${\mathbf{\delta }}^{\ell }=\left({\left({\mathbf{W}}^{(\ell +1)}\right)}^T{\mathbf{\delta }}^{(\ell +1)}\right)\odot f^{\prime }\left({\mathbf{z}}^{\ell }\right)\text{\hspace{1em}(BP2)}$$ $$\frac{\partial C}{\partial w_{jk}^{\ell }}=a_k^{(\ell -1)}{\delta }_j^{\ell }\text{\hspace{1em}(BP3)}$$ $$\frac{\partial C}{\partial b_j^{\ell }}={\delta }_j^{\ell }\text{\hspace{1em}(BP4)}$$

Infatti, stante la $\text{BP2}$, qualora l’input netto del neurone $z$ sia tale da saturare il neurone, ossia cada nelle regioni estreme della funzione di attivazione dove $f^{\prime }(z)\approx 0$, la componente del gradiente relativa ai parametri di quel neurone si pressoché annulla ($\text{BP3},\text{BP4}$), contribuendo al fenomeno del vanishing gradient.

Le funzioni di attivazione limitate, come la sigmoide $\sigma (z)$ e la tangente iperbolica $\tanh (z)$,
soffrono del problema della saturazione dei neuroni allorché l’input $z$ cada nelle regioni dei rispettivi domini dove $f^{\prime }(z)\approx 0$.

La peculiarità della tangente iperbolica è di esibire una derivata più steep rispetto a quella della sigmoide, il che si traduce in una maggiore sensibilità ai cambiamenti dell’input nella regione centrale.
Tuttavia, essendo comunque una funzione limitata, anche la $\tanh (z)$ soffre di saturazione
quando $z$ assume valori molto positivi o molto negativi, portando nuovamente a $f^{\prime }(z)\approx 0$
e, di conseguenza, al rischio di vanishing gradient.