Xavier

Soluzione al learning slowdown indotto dall’inizializzazione gaussiana dei parametri della rete neurale

Si supponga di avere un neurone $z$, del primo hidden layer $h_1$, con $n_{in}$ pesi di ingresso (si vedano i due layer verdi nella figura precedente).

Important

Si inizializza ciascun peso $w_{kj}^{h_1}$ cosicché:

$$w_{kj}^{h_1}\sim \mathcal{N}\left(0,\frac{1}{n_{\text{in}}}\right)\text{i.i.d.}j=1,\dots ,n_{\text{in}}$$

La ratio è quella di comprimere la gaussiana proporzionalmente al numero di ingressi $n_{in}$: ${\sigma }_G^2=\frac{1}{n_{in}}$

In altre parole, si comprimono le gaussiane, rendendo meno probabile che il neurone saturi. Inoltre, si continua a scegliere il bias $b$ come una variabile aleatoria gaussiana con media $0$ e deviazione standard $1$.

Con tali scelte, l’input netto al neurone $z={\sum }_j{w}_j{x}_j+b$ è nuovamente una variabile aleatoria gaussiana (since gaussian random variables are closed under linear transformations) con media $0$, ma è molto più concentrata (ovvero, con varianza più piccola) rispetto al caso precedente.

Important

Un neurone con parametri inizializzati in tal modo ha molte meno probabilità di saturare e, di conseguenza, è molto meno soggetto a problemi di learning slowdown.

Note

Il bias è ancora inizializzato $b\sim \mathcal{N}(0,1)$. Tale approccio è accettabile, poiché non aumenta significativamente la probabilità che i neuroni vadano in saturazione. In realtà, il modo in cui si inizializzano i bias non è particolarmente critico, a condizione che si eviti il problema della saturazione. Alcuni arrivano persino a inizializzare tutti i bias a $0$, affidandosi poi alla discesa del gradiente per apprendere valori adeguati. Tuttavia, poiché la scelta dell’inizializzazione ha un impatto trascurabile, si inizializza $b\sim \mathcal{N}(0,1)$

---

Esempio

Si supponga, come fatto in precedenza, che $500$ degli ingressi siano zero e $500$ siano uno. Allora è facile dimostrare che $z\sim \mathcal{N}(0,\frac{3}{2})$ (si veda la dimostrazione a seguire) .

Come si può osservare, la distribuzione dell’input netto $z$ del neurone considerato risulta molto più “piccata” rispetto a prima, al punto che persino il grafico riportato qui sotto non rende appieno la situazione, poiché si è reso necessario un riscalamento dell’asse verticale rispetto al grafico precedente.

Dimostrazione rigorosa ${\sigma }_G^2=\frac{3}{2}$

Ipotesi chiave: I pesi $w_{kj}^{h_1}$ e il bias $b$ sono variabili aleatorie i.i.d..

1. Contributo dei pesi attivi ($x_j=1$):

   • Per i 500 input attivi, la somma parziale è ${\sum }_{j=1}^{500}{w}_{kj}^{h_1}$.
   • Poiché i $w_{kj}^{h_1}\sim \mathcal{N}\left(0,\frac{1}{1000}\right)$ sono i.i.d.: $$\text{Var}\left(\sum _{j=1}^{500}{w}_{kj}^{h_1}\right)=\sum _{j=1}^{500}\text{Var}(w_{kj}^{h_1})=500\cdot \left(\frac{1}{1000}\right)=\frac{1}{2}$$

2. Contributo del bias $b\sim \mathcal{N}(0,1)$:

   $$\text{Var}(b)=1$$

3. Varianza totale di $z$ (per indipendenza tra pesi e bias):

   $${\sigma }_G^2=\text{Var}(z)=\text{Var}\left(\sum _{j=1}^{500}{w}_{kj}^{h_1}\right)+\text{Var}(b)=\frac{1}{2}+1=\frac{3}{2}$$

La proprietà fondamentale è l’additività delle varianze sotto indipendenza, applicata sia ai pesi che al bias.

---

La rete neurale, in fase di addestramento, si usa anche da destra verso sinistra in virtù della back-propagation.

È legittimo dunque riguardare quello che era il primo hidden layer come layer di “input”, e quello che era layer di input come primo hidden layer (si veda la seguente figura).

Seguendo la medesima ratio discussa precedentemente (e riguardando la rete da destra verso sinistra), si può inizializzare ciascun peso associato alle connessioni di output del neurone $z_1$ come segue:

$$w_{kj}^{h_1}\sim \mathcal{N}\left(0,\frac{1}{n_{\text{out}}}\right)\text{i.i.d.}j=1,\dots ,n_{\text{out}}$$

dove $n_{out}$ è il numero di connessioni di output (vedi nota seguente) del neurone $z_1$ nella seguente figura.

Note

La dizione connessioni di uscita del neurone $z_1$ implica la “lettura” della rete neurale da sinistra verso destra, in chiave feed-forward. In maniera del tutto equivalente alla suddetta dizione, si potrebbe adottare la dizione connessioni in entrata del neurone $z_1$ che implica però la “lettura” della rete neurale da destra verso sinistra, in chiave back-propagation.

🔄

Nella trattazione precedente si è disaccoppiata l’analisi del problema dell’inizializzazione dei pesi nella fase di feedforward (da sinistra verso destra) da quella del medesimo problema nella fase di ** backpropagation** (da destra verso sinistra), considerando in entrambi gli scenari ** due layer**.

Tuttavia, lo stesso ragionamento si sarebbe potuto applicare mutatis mutandis considerando una rete con tre layer e focalizzandosi, ad esempio, su un neurone del layer intermedio.

---

Xavier (Glorot-Bengio) initialization

L’inizializzazione proposta da Xavier, Glorot e Bengio stabilisce che i pesi siano estratti da una distribuzione normale con:

$$\boxed{w_{kj}^{\ell }\sim \mathcal{N}\left(0,{\sigma }_{\text{Xavier}}^2\right),\text{i.i.d.},{\sigma }_{\text{Xavier}}^2=\frac{2}{n_{\text{in}}+n_{\text{out}}}}$$

✅ Ogni neurone del layer $\ell$ inizializza solamente i pesi delle proprie connessioni in ingresso (cioè quelli provenienti dal layer $\ell -1$), ma la varianza usata per l’inizializzazione tiene conto anche di quante connessioni in uscita (verso il layer $\ell +1$) annoverate da tale neurone.

Nomenclatura usata:

• $n_{\text{in}}$: numero di neuroni nel layer precedente → connessioni entranti al neurone
• $n_{\text{out}}$: numero di neuroni nel layer successivo → connessioni uscenti dal neurone (dal suo punto di vista)

La varianza proposta ${\sigma }_{\text{Xavier}}^2$ è quindi un compromesso che tiene conto di entrambe le connessioni di ingresso e uscita di un neurone

Inoltre, i bias associati a ciascun neurone vengono inizializzati separatamente:

$$b_k^{\ell }\sim \mathcal{N}(0,1)$$

ovvero campionando da una Gaussiana standard, indipendentemente dai pesi.

---

He Initialization (Kaiming Initialization)

While Xavier (or Glorot) initialization is effective for symmetric activation functions that are linear around the origin (such as the hyperbolic tangent or the identity function), it proves inadequate for non-symmetric, non-saturating functions, particularly the Rectified Linear Unit (ReLU).

The ReLU function, defined as $f(x)=\max (0,x)$, sets all negative inputs to zero. This leads to two fundamental statistical consequences that violate Xavier’s assumptions:

1. Non-zero mean: The output of a ReLU always has a positive mean.
2. Variance halving: Assuming zero-centered inputs, ReLU “turns off” roughly half the neurons, drastically reducing the signal variance as it propagates through the network.

Therefore, using Xavier with ReLU leads to a progressive decay of variance (vanishing signal), making the training of deep networks difficult.

The Solution: He Initialization

Proposed by He et al. (2015), this initialization is specifically designed to maintain the variance of activations stable across layers in networks based on ReLU (or variants like Leaky ReLU).

Weights are drawn from a normal distribution with zero mean and a variance calibrated to compensate for the “halving” effect of ReLU:

$$\boxed{w_{kj}^{\ell }\sim \mathcal{N}\left(0,{\sigma }_{\text{He}}^2\right),\text{i.i.d.},{\sigma }_{\text{He}}^2=\frac{2}{n_{\text{in}}}}$$

Rationale behind the variance $\frac{2}{n_{in}}$

• $n_{\text{in}}$: As with Xavier, the variance is inversely proportional to the number of inputs to normalize the weighted sum.
• Factor of 2: This is the crucial adjustment for ReLU. Since ReLU zeroes out half the inputs (reducing variance by a factor of $1/2$), it is necessary to multiply the weight variance by 2 to restore the original signal level.

---

Mathematical Justification

The goal is to preserve activation variance from one layer to the next, i.e., ensuring that $\text{Var}(x^{\ell })\approx \text{Var}(x^{\ell -1})$.

Let’s consider a neuron in layer $\ell$. Its pre-activation input is $y^{\ell }={\sum }_{j=1}^{n_{in}}{w}_j^{\ell }{x}_j^{\ell -1}+b^{\ell }$. We assume:

1. The weights $w$ and inputs $x$ are independent and identically distributed (i.i.d.) random variables.
2. The weights have zero mean ($E[w]=0$) and are symmetric.
3. The bias is initialized to zero ($b=0$).

The variance of the pre-activation output is:

$$\text{Var}(y^{\ell })=n_{\text{in}}\cdot \text{Var}(w^{\ell }{x}^{\ell -1})$$

Since $w$ and $x$ are independent and $E[w]=0$, the variance of the product is the product of the variances:

$$\text{Var}(y^{\ell })=n_{\text{in}}\cdot \text{Var}(w^{\ell })\cdot E[(x^{\ell -1}{)}^2]$$

Here the effect of ReLU comes into play. The input $x^{\ell -1}$ is the output of the previous layer’s ReLU ($x^{\ell -1}=\max (0,y^{\ell -1})$). If we assume that $y^{\ell -1}$ has a symmetric distribution around zero, ReLU suppresses half the values. Therefore, the second moment (signal power) is halved:

$$E[(x^{\ell -1}{)}^2]=\frac{1}{2}\text{Var}(y^{\ell -1})$$

Substituting this relation into the variance equation:

$$\text{Var}(y^{\ell })=n_{\text{in}}\cdot \text{Var}(w^{\ell })\cdot \left(\frac{1}{2}\text{Var}(y^{\ell -1})\right)$$

For the signal not to explode or vanish, we want the variance to be conserved, i.e., $\text{Var}(y^{\ell })=\text{Var}(y^{\ell -1})$. Enforcing this equality:

$$\cancel{\text{Var}(y^{\ell -1})}=\frac{1}{2}{n}_{\text{in}}\text{Var}(w^{\ell })\cdot \cancel{\text{Var}(y^{\ell -1})}$$ $$1=\frac{1}{2}{n}_{\text{in}}\text{Var}(w^{\ell })⟹\text{Var}(w^{\ell })=\frac{2}{n_{\text{in}}}$$

---

Bias Initialization

Unlike the general theoretical case, when using ReLU activations, it is standard practice to initialize biases to zero (or a very small positive constant, e.g., 0.01, to avoid dead neurons, although 0 is the most common default).

$$b_k^{\ell }=0$$

Note on Biases

A Gaussian distribution is not used for biases (e.g., $b\sim \mathcal{N}(0,1)$) as it would add unnecessary variance and risk starting ReLU neurons in an “off” state (dead ReLU) if the initial value were strongly negative.