Forget Gate

Single instance

The Forget Gate is a linear layer which has two inputs:

• ${\mathbf{x}}_t\in {\mathbb{R}}^{n_{\text{inputs}}\times 1}$
• ${\mathbf{h}}_{t-1}\in {\mathbb{R}}^{n_{\text{neurons}}\times 1}$ that is the previous hidden state vector

This linear layer has a sigmoid activation function and a bias ${\mathbf{b}}_f$ (which is a vector).

Sigmoide come funzione vettoriale

La funzione $\sigma$ è una funzione vettoriale a valori vettoriali, applicata element-wise:

$$\sigma :{\mathbb{R}}^h\to {\mathbb{R}}^h$$

dove:

$${\mathbf{W}}_f({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^{\top }+{\mathbf{b}}_f\in {\mathbb{R}}^h$$

è un vettore (uno per ciascuna unità della LSTM), e la sigmoide $\sigma$ viene applicata a ciascun elemento di questo vettore, restituendo un nuovo vettore ${\mathbf{f}}_t\in [0,1{]}^h$

In questo contesto la sigmoide applicata all’input dato dalla trasformazione affine (${\mathbf{W}}_f({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^T+{\mathbf{b}}_f$) (dove ${\mathbf{x}}_t$ è il vettore di dati di input corrente ​ e ${\mathbf{h}}_{t-1}$ è il vettore dello stato nascosto all’iterazione precedente e contenente l’informazioen degli step precedenti) ​, fornisce in output un valore nel range $[0,1]$ per ciascuna componente.

Esempio: calcolo del vettore ${\mathbf{f}}_t$

Si supponga che il risultato del termine lineare a monte della sigmoide sia:

$$\mathbf{z}=[-2.0,0.0,2.0]$$

Applicando la funzione sigmoide elemento per elemento:

$${\mathbf{f}}_t=\sigma (\mathbf{z})=[\sigma (-2.0),\sigma (0.0),\sigma (2.0)]=[0.119,0.5,0.881]$$

Important

Il vettore ${\mathbf{f}}_t$, ottenuto a valle dell’applicazione della sigmoide, fornisce i pesi con cui verranno pesati gli elementi del vettore dello stato della cella precedente ${\mathbf{c}}_{t-1}$:

$${\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}$$

Ogni valore di ${\mathbf{f}}_t$ indica quanto mantenere o dimenticare della corrispondente componente della memoria.

Esempio: Language model predicting the next word form the previous ones

In this case

• the cell state ${\mathbf{C}}_{t-1}$ contains all the info that is flowing freely form the previous layers so it may have a component which encode in a number the gender of the subject: for instance let’s assume that the number encoding the gender component in this vector is the one associated which models the female subject
• $x_t$ is a new sentence that starts with the name of a new person and this vector is converted through the affine transformation defined above into a vector of components f_t that has zero values for the components corresponding to component of the cell state vector c_t-1 which models the gender. SO after the ${\mathbf{f}}_t\odot {\mathbf{C}}_{t-1}$ the gender component of c_t—1 multiplied by zero is forgotten: that’s forgetting the previous state, we are canceling the previous state component by component in this case the gender component

This explains why the name of this gate: it’s a way to de-amplify or even completely canceling the component of the previous cell state vector of the previous iteration C_t-1 which are no longer needed.

The cell state vector is like 100 or 1000 components usually (that’s already too much) and in 1000 numbers is not possible to represent all the book text.

Forma esplicita del forget gate:

Concatenando input e stato precedente in un unico vettore:

$${\mathbf{z}}_t=\left[\begin{array}{c}{\mathbf{x}}_t\\ {\mathbf{h}}_{t-1}\end{array}\right]\in {\mathbb{R}}^{d+h}$$

e definendo una matrice dei pesi combinata:

$${\mathbf{W}}_f=\left[\begin{array}{cc}{\mathbf{W}}_{xf}& {\mathbf{W}}_{hf}\end{array}\right]\in {\mathbb{R}}^{h\times (d+h)}$$

posso riscrivere la formula del forget gate in forma compatta:

$${\mathbf{f}}_t=\sigma \left({\mathbf{W}}_f{\mathbf{z}}_t+{\mathbf{b}}_f\right)$$

oppure, con notazione alternativa (dove la concatenazione è scritta come tupla trasposta):

$${\mathbf{f}}_t=\sigma \left({\mathbf{W}}_f({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^{\top }+{\mathbf{b}}_f\right)$$

🧠 Dalla Forma Esplicita a quella Compatta L’obiettivo è trasformare l’espressione del forget gate, che contiene due distinte moltiplicazioni matrice-vettore, in una forma più sintetica con una sola moltiplicazione. Il punto di partenza è la formula esplicita: ${\mathbf{f}}_t=\sigma \left({\mathbf{W}}_{xf}{\mathbf{x}}_t+{\mathbf{W}}_{hf}{\mathbf{h}}_{t-1}+{\mathbf{b}}_f\right)$ Per compattarla, seguiamo due passaggi chiave: 1. Unione delle Matrici dei Pesi: Le due matrici dei pesi, ${\mathbf{W}}_{xf}$ (per l’input ${\mathbf{x}}_t$) e ${\mathbf{W}}_{hf}$ (per lo stato nascosto ${\mathbf{h}}_{t-1}$ ), vengono concatenate orizzontalmente in un’unica, grande matrice ${\mathbf{W}}_f$. ${\mathbf{W}}_f=\left[\begin{array}{cc}{\mathbf{W}}_{xf}& {\mathbf{W}}_{hf}\end{array}\right]$ 2. Unione dei Vettori di Input: L’input corrente ${\mathbf{x}}_t$ e lo stato nascosto precedente ${\mathbf{h}}_{t-1}$ vengono concatenati verticalmente. La notazione $({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^{\top }$ rappresenta proprio la creazione di un unico vettore colonna a partire dalla tupla dei due vettori. $({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^{\top }\equiv \left[\begin{array}{c}{\mathbf{x}}_t\\ {\mathbf{h}}_{t-1}\end{array}\right]$ Moltiplicando la nuova matrice ${\mathbf{W}}_f$ per il nuovo vettore concatenato, grazie alle regole della moltiplicazione tra matrici a blocchi, otteniamo esattamente la somma originale: ${\mathbf{W}}_f({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^{\top }=\left[\begin{array}{cc}{\mathbf{W}}_{xf}& {\mathbf{W}}_{hf}\end{array}\right]\left[\begin{array}{c}{\mathbf{x}}_t\\ {\mathbf{h}}_{t-1}\end{array}\right]={\mathbf{W}}_{xf}{\mathbf{x}}_t+{\mathbf{W}}_{hf}{\mathbf{h}}_{t-1}$ Questo ci permette di scrivere la formula finale del forget gate in una forma compatta ed elegante: ${\mathbf{f}}_t=\sigma \left({\mathbf{W}}_f({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^{\top }+{\mathbf{b}}_f\right)$ --- ✅ Vantaggi di Questa Notazione * Efficienza: Riduce due operazioni di moltiplicazione separate in una singola operazione, ottimizzando il calcolo specialmente su hardware come le GPU. * Semplicità: Il codice per implementare la rete neurale diventa più pulito e meno ripetitivo. * Standardizzazione: È la notazione più comune nelle implementazioni dei moderni framework di deep learning (come PyTorch e TensorFlow), dove le operazioni vengono vettorializzate al massimo.

Mini - Batch

Nel caso di un minibatch, non elaboriamo più un singolo vettore di input, ma una matrice di input ${\mathbf{X}}_t$, dove ogni colonna rappresenta un esempio del batch. Di conseguenza, anche lo stato nascosto precedente e l’output del gate diventano matrici.

• Matrice di Input ${\mathbf{X}}_t$: Contiene l’intero batch di input. La sua dimensione è ${\mathbb{R}}^{n_{\text{inputs}}\times \text{batch\_size}}$.
• Matrice dello Stato Nascosto ${\mathbf{H}}_{t-1}$: Contiene gli stati nascosti precedenti per ogni esempio nel batch. La sua dimensione è ${\mathbb{R}}^{n_{\text{neurons}}\times \text{batch\_size}}$.

🧠 Pesi e Bias nel Contesto Batch

Un concetto fondamentale è che i parametri del layer (pesi e bias) sono condivisi tra tutti gli esempi del batch.

• Matrici dei Pesi ${\mathbf{W}}_{xf},{\mathbf{W}}_{hf}$: Le loro dimensioni non cambiano. Rimangono ${\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{inputs}}}$ e ${\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{neurons}}}$ rispettivamente. La stessa matrice dei pesi viene usata per trasformare tutti gli input nel batch.
• Vettore di Bias ${\mathbf{b}}_f$: Anche il bias rimane un singolo vettore di dimensione ${\mathbb{R}}^{n_{\text{neurons}}}$. Durante il calcolo, viene aggiunto a ogni colonna della matrice risultante tramite un’operazione chiamata broadcasting.

🚀 La Formula Vettorizzata per il Minibatch

La forma esplicita del forget gate viene generalizzata utilizzando la moltiplicazione di matrici. Usiamo lettere maiuscole per indicare le matrici che rappresentano i batch. ${\mathbf{F}}_t=\sigma \left({\mathbf{W}}_{xf}{\mathbf{X}}_t+{\mathbf{W}}_{hf}{\mathbf{H}}_{t-1}+{\mathbf{b}}_f\right)$ Dove le dimensioni sono ora:

• ${\mathbf{X}}_t\in {\mathbb{R}}^{n_{\text{inputs}}\times \text{batch\_size}}$ è la matrice di input al tempo $t$.
• ${\mathbf{H}}_{t-1}\in {\mathbb{R}}^{n_{\text{neurons}}\times \text{batch\_size}}$ è la matrice degli stati nascosti precedenti.
• ${\mathbf{W}}_{xf}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{inputs}}}$ e ${\mathbf{W}}_{hf}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{neurons}}}$ sono le matrici dei pesi (invariate).
• ${\mathbf{b}}_f\in {\mathbb{R}}^{n_{\text{neurons}}}$ è il vettore di bias (invariato, applicato tramite broadcasting).
• ${\mathbf{F}}_t\in {\mathbb{R}}^{n_{\text{neurons}}\times \text{batch\_size}}$ è la matrice di output del forget gate per l’intero batch. Questa formulazione “vettorizzata” è estremamente efficiente e costituisce la base per l’addestramento delle reti neurali su hardware moderno come le GPU.