Input Gate

The Input Gate is a linear layer which has two inputs:

• ${\mathbf{x}}_t\in {\mathbb{R}}^{n_{\text{inputs}}\times 1}$ that is the current data input
• ${\mathbf{h}}_{t-1}\in {\mathbb{R}}^{n_{\text{neurons}}\times 1}$ that is the previous hidden state vector

Ruolo dello stato nascosto precedente ${\mathbf{h}}_{t-1}$

Poiché lo stato nascosto precedente ${\mathbf{h}}_{t-1}$ viene utilizzato come input in tutte le porte del layer LSTM (forget gate, input gate, output gate e candidata allo stato della cella), esso deve contenere una rappresentazione compatta ma semanticamente ricca dell’informazione accumulata fino al tempo $t-1$.

In altre parole, ${\mathbf{h}}_{t-1}$ funge da riassunto informativo dell’intera sequenza osservata fino a quel momento: è una codifica compressa che mantiene gli aspetti rilevanti del contesto passato, necessari per guidare le decisioni sui meccanismi di memoria della LSTM.

✅ Questa codifica è essenziale affinché la rete sia in grado di decidere quali informazioni dimenticare, aggiornare o trasmettere, in modo coerente con la dinamica sequenziale del dato in input.

Sigmoide come funzione vettoriale

La funzione $\sigma$ è una funzione vettoriale a valori vettoriali, applicata element-wise:

$$\sigma :{\mathbb{R}}^h\to {\mathbb{R}}^h$$

dove:

$${\mathbf{W}}_i({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^T+{\mathbf{b}}_i\in {\mathbb{R}}^h$$

è un vettore (uno per ciascuna unità della LSTM), e la sigmoide $\sigma$ viene applicata a ciascun elemento di questo vettore, restituendo un nuovo vettore ${\mathbf{i}}_t\in [0,1{]}^h$

In questo contesto la sigmoide applicata all’input dato dalla trasformazione affine (${\mathbf{W}}_i({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^T+{\mathbf{b}}_i$) (dove ${\mathbf{x}}_t$ è il vettore di dati di input corrente ​ e ${\mathbf{h}}_{t-1}$ è il vettore dello stato nascosto all’iterazione precedente e contenente l’informazioen degli step precedenti) ​, fornisce in output un valore nel range $[0,1]$ per ciascuna componente.

Inoltre viene calcolato the new candidate vector :

$${\tilde{\mathbf{c}}}_t=\tanh \left({\mathbf{W}}_c{\left(\begin{array}{c}{\mathbf{x}}_t,{\mathbf{h}}_{t-1}\end{array}\right)}^{\top }+{\mathbf{b}}_c\right)$$

Perché si usa la funzione tanh qui?

La funzione tanh viene applicata al termine lineare ${\mathbf{W}}_c({\mathbf{x}}_t,{\mathbf{h}}_{t-1}{)}^T+{\mathbf{b}}_c$ per produrre il vettore candidato ${\tilde{\mathbf{c}}}_t$.

Rispetto alla funzione sigmoide, la tanh ha un range di output compreso tra $[-1,1]$, il che la rende adatta a generare nuovi contenuti informativi con segno:

• Valori positivi indicano nuove informazioni da aggiungere alla memoria.
• Valori negativi indicano informazioni da sottrarre o inibire.

In questo modo, la rete può decidere dinamicamente non solo quanto aggiornare ogni componente del vettore di stato della cella, ma anche in quale direzione (positiva o negativa).

Significato di ${\tilde{\mathbf{c}}}_t$ e ${\mathbf{i}}_t$ nel contesto dell’aggiornamento di ${\mathbf{c}}_t$

• La componente ${\tilde{\mathbf{c}}}_t$ rappresenta un vettore di possibili aggiornamenti per lo stato della cella ${\mathbf{c}}_t$: ciascun elemento di ${\tilde{\mathbf{c}}}_t$, , compreso nell’intervallo $[-1,1]$, propone un nuovo contenuto da scrivere potenzialmente nella corrispondente posizione del vettore ${\mathbf{c}}_t$.

• Il vettore ${\mathbf{i}}_t$, generato dalla funzione sigmoide, fornisce invece i pesi di aggiornamento per ciascuna componente: ogni valore $i_t^{(k)}\in [0,1]$ controlla quanto del corrispondente candidato ${\tilde{c}}_t^{(k)}$ verrà effettivamente scritto nella posizione $k$-esima dello stato della cella.

In sintesi:

• ${\tilde{\mathbf{c}}}_t$ propone cosa scrivere in ciascuna componente del nuovo stato della cella;
• ${\mathbf{i}}_t$ decide se e quanto scriverlo, per ogni singola componente.
• ${\mathbf{i}}_t$ “decide” quali aggiornamenti accettare e con quale peso ciascun valore del vettore candidato ${\tilde{\mathbf{c}}}_t$ andrà a modificare la corrispondente componente dello stato della cella.

✅ Nella formula finale:

$$\boxed{{\mathbf{c}}_t}=\boxed{{\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}}+\boxed{{\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t}$$

Il vettore ${\mathbf{c}}_t$ rappresenta il nuovo stato della cella ed è ottenuto combinando due contributi:

• $\boxed{{\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}}$, corrisponde allo stato della cella precedente ${\mathbf{c}}_{t-1}$ modulato elemento per elemento dal vettore ${\mathbf{f}}_t$, cioè dall’output della forget gate. Ogni componente di ${\mathbf{f}}_t\in [0,1]$ indica quanto della corrispondente informazione passata deve essere mantenuta (valori vicini a 1) o dimenticata (valori vicini a 0).

• $\boxed{{\mathbf{i}}_t\odot {\tilde{\mathbf{c}}}_t}$ rappresenta quindi il contributo dell’informazione nuova, selezionata e modulata componente per componente da ${\mathbf{i}}_t$. Il vettore ${\tilde{\mathbf{c}}}_t$ propone, per ciascuna componente, un possibile aggiornamento con valori compresi nell’intervallo $[-1,1]$, mentre ${\mathbf{i}}_t$, ottenuto tramite una funzione sigmoide, determina quali aggiornamenti accettare e con quale peso ciascun valore candidato debba contribuire allo stato della cella.
  In particolare, ciascun valore $i_t^{(k)}$ di ${\mathbf{i}}_t$ modula quanto del candidato ${\tilde{c}}_t^{(k)}$ viene effettivamente scritto nella componente corrispondente dello stato ${\mathbf{c}}_t$.
  Dunque, ${\mathbf{i}}_t$ agisce da filtro selettivo, regolando componente per componente il contributo informativo di ${\tilde{\mathbf{c}}}_t$ al nuovo stato della cella.

In sintesi, $\boxed{{\mathbf{c}}_t}$ integra il passato filtrato attraverso ${\mathbf{f}}_t$ e il nuovo contenuto attentamente selezionato da ${\mathbf{i}}_t$.

Riprendendo l’esempio del language model, suppose that we have captured a new gender so now the

Forma esplicita del input gate:

$${\tilde{\mathbf{c}}}_{\mathbf{t}}=\tanh \left({\mathbf{W}}_{xc}{\mathbf{x}}_t+{\mathbf{W}}_{hc}{\mathbf{h}}_{t-1}+{\mathbf{b}}_c\right)$$ $${\mathbf{i}}_t=\sigma \left({\mathbf{W}}_{xi}{\mathbf{x}}_t+{\mathbf{W}}_{hi}{\mathbf{h}}_{t-1}+{\mathbf{b}}_i\right)$$

dove:

• ${\mathbf{W}}_{xc},{\mathbf{W}}_{xi}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{inputs}}}$
• ${\mathbf{W}}_{hc},{\mathbf{W}}_{hi}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{neurons}}}$ sono le matrici dei pesi
• ${\mathbf{b}}_c,{\mathbf{b}}_i\in {\mathbb{R}}^{n_{\text{neurons}}}$
• ${\mathbf{x}}_t\in {\mathbb{R}}^{n_{\text{inputs}}\times 1}$ è l’input al tempo $t$
• ${\mathbf{h}}_{t-1}\in {\mathbb{R}}^{n_{\text{neurons}}\times 1}$ è lo stato nascosto precedente

🚀 Estensione al Minibatch: Input Gate e Candidate State

L’elaborazione di un’istanza alla volta è inefficiente. Per questo, le implementazioni moderne delle reti neurali operano su minibatch di dati, processando più input simultaneamente. Estendiamo le formule dell’input gate (${\mathbf{i}}_t$) e del candidate state (${\tilde{\mathbf{C}}}_t$) a questo scenario più realistico e performante.

Il principio chiave è semplice: i vettori di input, di stato e di output diventano matrici, dove ogni colonna rappresenta un’istanza del batch. I parametri (pesi e bias) rimangono invece condivisi.

📦 Dati in Formato Batch

• Matrice di Input ${\mathbf{X}}_t$: Invece di un singolo vettore, ora abbiamo una matrice che contiene l’intero batch di input. La sua dimensione è ${\mathbb{R}}^{n_{\text{inputs}}\times \text{batch\_size}}$.
• Matrice dello Stato Nascosto ${\mathbf{H}}_{t-1}$: Allo stesso modo, questa matrice raggruppa gli stati nascosti di ogni istanza nel batch. La sua dimensione è ${\mathbb{R}}^{n_{\text{neurons}}\times \text{batch\_size}}$.

🧠 Pesi Condivisi e Broadcasting

• Matrici dei Pesi: Le matrici ${\mathbf{W}}_{...}$ non cambiano dimensione. Sono parametri condivisi che vengono applicati a ogni esempio del batch tramite la moltiplicazione di matrici.
• Vettori di Bias: Anche i bias ${\mathbf{b}}_{.}..$ rimangono vettori. Vengono sommati a ogni colonna della matrice intermedia risultante tramite un’operazione chiamata broadcasting.

⚙️ Le Formule Vettorizzate per il Minibatch

Le formule mantengono una struttura quasi identica, ma ora operano su matrici. Usiamo lettere maiuscole per le matrici di dati per chiarezza.

$${\tilde{\mathbf{C}}}_t=\tanh \left({\mathbf{W}}_{xc}{\mathbf{X}}_t+{\mathbf{W}}_{hc}{\mathbf{H}}_{t-1}+{\mathbf{b}}_c\right)$$ $${\mathbf{I}}_t=\sigma \left({\mathbf{W}}_{xi}{\mathbf{X}}_t+{\mathbf{W}}_{hi}{\mathbf{H}}_{t-1}+{\mathbf{b}}_i\right)$$

Dove le dimensioni aggiornate sono:

• ${\mathbf{X}}_t\in {\mathbb{R}}^{n_{\text{inputs}}\times \text{batch\_size}}$: La matrice che contiene l’intero batch di input.
• ${\mathbf{H}}_{t-1}\in {\mathbb{R}}^{n_{\text{neurons}}\times \text{batch\_size}}$: La matrice degli stati nascosti precedenti per il batch.
• ${\mathbf{W}}_{xc},{\mathbf{W}}_{xi}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{inputs}}}$: Matrici dei pesi (invariate).
• ${\mathbf{W}}_{hc},{\mathbf{W}}_{hi}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{neurons}}}$: Matrici dei pesi (invariate).
• ${\mathbf{b}}_c,{\mathbf{b}}_i\in {\mathbb{R}}^{n_{\text{neurons}}}$: Vettori di bias (invariati, applicati con broadcasting).
• ${\tilde{\mathbf{C}}}_t,{\mathbf{I}}_t\in {\mathbb{R}}^{n_{\text{neurons}}\times \text{batch\_size}}$: Le matrici di output per l’intero batch.