BackPropagation Through Time (BPTT)

L’algoritmo di retropropagazione, quando applicato alla versione esplicitamente srotolata (unrolled) di una Rete Neurale Ricorrente (RNN) lungo un numero finito di passi temporali, prende il nome di Backpropagation Through Time (BPTT).

Tale procedura consiste, in sostanza, nell’applicazione dell’algoritmo di backpropagation canonico (nella sua declinazione agli MLP) alla versione srotolata dello strato di RNN, estesa per tutta la sequenza temporale desiderata. La lunghezza di tale sequenza costituisce, a tutti gli effetti, un iperparametro del modello.

Question

Come si procede all’inizializzazione del vettore di stato nascosto relativo al passo temporale precedente all’inzio della sequenza (cioè per $t=–1$)?

Note

Si osservi che al primo passo temporale ($t=0$), non essendo disponibile uno stato precedente, si assume convenzionalmente:

${\mathbf{h}}_{-1}=\vec{0}$

ovvero un vettore nullo. Tale scelta è analoga allo zero-padding utilizzato nelle reti convoluzionali: come in quel contesto si applica uno zero padding ai bordi spaziali, qui mutatis mutandis l’operazione è eseguita al confine temporale della sequenza.

Dunque, la BPTT è concettualmente equivalente alla backpropagation della funzione di loss attraverso un Multi-Layer Perceptron (MLP) molto profondo, che possiede T layer nascosti.

---

Detailed derivation

Per una derivazione esplicita dell’algoritmo di Backpropagation Through Time (BPTT), si adotta una rappresentazione del RNN “srotolata” lungo l’asse temporale più esplicita della versione riportata nella figura precedente.

Componente / Simbolo	Descrizione
$C$	Numero delle classi del task di classificazione in esame
${\mathbf{W}}_{xh}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{inputs}}}$, ${\mathbf{W}}_{hh}\in {\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{neurons}}}$, ${\mathbf{W}}_{yh}\in {\mathbb{R}}^{C\times n_{\text{neurons}}}$	Le Matrici dei Pesi , nonostante siano rappresentate graficamente per ciascun passo temporale, sono in realtà condivise nel tempo (parameters sharing). Tale condivisione riduce il numero complessivo di parametri e riflette la natura ricorrente del modello.
${\mathbf{x}}_t\in {\mathbb{R}}^{n_{\text{inputs}}\times 1}$	Rappresenta il vettore colonna di dati input al passo $t$, con dimensione .
${\mathbf{h}}_t\in {\mathbb{R}}^{n_{\text{neurons}}\times 1}$	Rappresenta lo stato nascosto al passo $t$, con dimensione.
${\mathbf{o}}_t\in {\mathbb{R}}^{C\times 1}$	Rappresenta l’output grezzo (logit) intermedio, con dimensione.
${\hat{\mathbf{y}}}_t\in {\mathbb{R}}^{C\times 1}$	Rappresenta il vettore delle probabilità predette. Tale output ${\hat{\mathbf{y}}}_t$ viene ottenuto applicando la funzione softmax all’output grezzo (logit) ${\mathbf{o}}_t$. Tale funzione è definita, per ogni componente $i$, come: ${\hat{\mathbf{y}}}_t^{(i)}=\frac{e^{{\mathbf{o}}_t^{(i)}}}{{\sum }_{j=1}^C{e}^{{\mathbf{o}}_t^{(j)}}}$dove $C$ è il numero delle classi. Il softmax assicura che ${\hat{\mathbf{y}}}_t$ sia un vettore di probabilità, rendendolo adatto alla classificazione multiclasse e compatibile con l’impiego della cross-entropy come funzione di costo.
$L_t$	È la funzione di costo (loss function).
Fasi di Propagazione	La propagazione avviene in due fasi distinte: - Forward pass, indicata dalle $\text{frecce nere}$, in cui l’input ${\mathbf{x}}_t$​ e lo stato precedente ${\mathbf{h}}_{t-1}$​ vengono combinati per generare il nuovo stato nascosto ${\mathbf{h}}_t$​ e il successivo output. - Backward pass, indicata dalle $\text{frecce rosse}$, in cui il gradiente della loss totale viene retropropagato attraverso gli step temporali, aggiornando i pesi condivisi.

RNN come Sistema Dinamico

Formalmente, una Rete Neurale Ricorrente (RNN) convenzionale può essere riguardata come un sistema dinamico caratterizzato da una funzione di transizione, che aggiorna lo stato interno della rete, e una funzione di output, che produce il risultato finale.

Formulazione per singolo dato sequenziale

Nel caso di singola sequenza tale sistema dinamico, descritto in forma esplicita, è definito dalle seguenti equazioni:

$$\begin{array}{rl}{\mathbf{h}}_t& =f_h({\mathbf{x}}_t,{\mathbf{h}}_{t-1})\\ {\hat{\mathbf{y}}}_t& =f_o({\mathbf{h}}_t)\end{array}$$

Declinando le funzioni di transizione e di output che caratterizzano una Rete Neurale Ricorrente (RNN) convenzionale per una singola istanza (ovvero, un passo temporale $t$), si ottengono le seguenti equazioni:

$$\boxed{\begin{array}{rl}{\mathbf{h}}_t& =f_h({\mathbf{x}}_t,{\mathbf{h}}_{t-1})={\varphi }_h(W_{xh}{\mathbf{x}}_t+W_{hh}{\mathbf{h}}_{t-1}+{\mathbf{b}}_h)\\ {\hat{\mathbf{y}}}_t& =f_o({\mathbf{h}}_t)={\varphi }_o(W_{yh}{\mathbf{h}}_t+{\mathbf{b}}_y)={\varphi }_o({\mathbf{o}}_t)\end{array}}$$

dove le funzioni ${\varphi }_h(\cdot )$ e ${\varphi }_h(\cdot )$, rappresentano funzioni non lineari applicate elemento per elemento (element-wise). In particolare:

• ${\varphi }_h(\cdot )$ è una funzione di attivazione non lineare applicata elemento per elemento (i.e. tanh())
• ${\varphi }_o(\cdot )$ è una softmax. A rigore la funzione di attivazione per il layer di output, ${\varphi }_o(\cdot )$, viene scelta in base al compito task. Nel contesto di problemi di classificazione, essa è generalmente la funzione softmax, poiché il suo output può essere interpretato come una distribuzione di probabilità sulle classi.

Simbolo	Dimensione	Descrizione
${\mathbf{x}}_t$	${\mathbb{R}}^{n_{\text{inputs}}\times 1}$	Vettore di input al tempo $t$.
${\mathbf{h}}_{t-1}$, ${\mathbf{h}}_t$	${\mathbb{R}}^{n_{\text{neurons}}\times 1}$	Stato nascosto precedente / aggiornato al tempo $t$.
${\mathbf{o}}_t$	${\mathbb{R}}^{C\times 1}$	Logit (output grezzo) a monte del softmax.
${\hat{\mathbf{y}}}_t$	${\mathbb{R}}^{C\times 1}$	Vettore di probabilità predette (a valle del softmax).
${\mathbf{W}}_{xh}$	${\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{inputs}}}$	Matrice di Pesi input → hidden.
${\mathbf{W}}_{hh}$	${\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{neurons}}}$	Matrice di Pesi hidden → hidden (ricorrenza).
${\mathbf{W}}_{yh}$	${\mathbb{R}}^{C\times n_{\text{neurons}}}$	Matrice di Pesi hidden → output.
${\mathbf{b}}_h$	${\mathbb{R}}^{n_{\text{neurons}}\times 1}$	Bias del layer nascosto (broadcast sul vettore ${\mathbf{h}}_t$).
${\mathbf{b}}_y$	${\mathbb{R}}^{C\times 1}$	Bias dello strato di output (broadcast sul vettore ${\mathbf{o}}_t$).
${\varphi }_h(\cdot )$	—	Funzione di attivazione non lineare ($\tanh$).
${\varphi }_o(\cdot )$	—	Funzione di output (softmax nei problemi di classificazione).
$L_t$	$\mathbb{R}$	Loss locale al tempo $t$ (scalare).

Formulazione per un Mini-Batch di dati sequenziali

Important

A fini di efficienza computazionale, in fase di addestramento è prassi comune elaborare più sequenze contemporaneamente tramite la usuale gestione per mini-batch. In questo contesto, l’input vettoriale di un singolo passo temporale ${\mathbf{x}}_t\in {\mathbb{R}}^{n_{\text{inputs}}}$​ viene generalizzato a una matrice di input ${\mathbf{X}}_t\in {\mathbb{R}}^{m\times n_{\text{inputs}}}$​, dove $m$ rappresenta la dimensione del mini-batch.

In modo analogo, lo stato nascosto del passo precedente viene aggregato in una matrice ${\mathbf{H}}_{t-1}\in {\mathbb{R}}^{m\times n_{\text{neurons}}}$, dove ogni riga contiene lo stato nascosto associato alla rispettiva sequenza del batch.

L’output del layer ricorrente può quindi essere calcolato per l’intero batch come segue:

dove:

• ${\mathbf{X}}_t\in {\mathbb{R}}^{m\times n_{\text{inputs}}}$​ è la matrice degli input al tempo $t$,

• ${\mathbf{H}}_{t-1}\in {\mathbb{R}}^{m\times n_{\text{neurons}}}$​ è la matrice degli hidden states al passo $t-1$ ,

• ${\mathbf{H}}_t\in {\mathbb{R}}^{m\times n_{\text{neurons}}}$​ contiene i nuovi hidden states calcolati al tempo $t$,

• ${\mathbf{O}}_t\in {\mathbb{R}}^{m\times C}$ sono i logits grezzi per ciascun esempio del batch,

• ${\hat{\mathbf{Y}}}_t\in {\mathbb{R}}^{m\times C}$ rappresenta il vettore delle probabilità predette a valle dell’applicazione del softmax.

Per completezza, si riportano le dimensioni associate ai principali tensori del modello:

Simbolo	Dimensione	Descrizione
${\mathbf{X}}_t$	${\mathbb{R}}^{m\times n_{\text{inputs}}}$	Input del mini-batch al tempo $t$
${\mathbf{H}}_{t-1}$	${\mathbb{R}}^{m\times n_{\text{neurons}}}$	Hidden state del mini-batch al tempo $t-1$
${\mathbf{W}}_{xh}$	${\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{inputs}}}$	Matrice dei pesi input → hidden
${\mathbf{W}}_{hh}$	${\mathbb{R}}^{n_{\text{neurons}}\times n_{\text{neurons}}}$	Matrice dei pesi hidden → hidden
${\mathbf{W}}_{yh}$	${\mathbb{R}}^{C\times n_{\text{neurons}}}$	Matrice dei pesi hidden → output
${\mathbf{b}}_h$	${\mathbb{R}}^{n_{\text{neurons}}\times 1}$ (broadcast implicito a ${\mathbb{R}}^{m\times n_{\text{neurons}}}$)	Bias dello stato nascosto
${\mathbf{b}}_y$	${\mathbb{R}}^{C\times 1}$ (broadcast implicito a ${\mathbb{R}}^{m\times C}$)	Bias dello strato di output
${\hat{\mathbf{Y}}}_t$	${\mathbb{R}}^{m\times C}$	Output predetto per il mini-batch al tempo $t$

Perché compaiono le matrici dei pesi trasposte ${\mathbf{W}}_{xh}^{\top }$ e ${\mathbf{W}}_{hh}^{\top }$?

L’uso della trasposizione è una convenzione implementativa per conciliare la formulazione matematica teorica con l’elaborazione efficiente dei mini-batch.

• Scenario Teorico (Singola Sequenza): L’input ${\mathbf{x}}_t$ è un vettore colonna $[n_{\text{inputs}}\times 1]$. La matrice dei pesi ${\mathbf{W}}_{xh}$ ha dimensione $[n_{\text{neurons}}\times n_{\text{inputs}}]$ e la moltiplicazione è ${\mathbf{W}}_{xh}{\mathbf{x}}_t$, dimensionalmente corretta.    
• Scenario Pratico (Mini-Batch): L’input ${\mathbf{X}}_t$ è una matrice $[m\times n_{\text{inputs}}]$. Un prodotto diretto ${\mathbf{X}}_t{\mathbf{W}}_{xh}$ sarebbe impossibile per incongruenza dimensionale ❌.

Trasponendo la matrice dei pesi, il calcolo ${\mathbf{X}}_t{\mathbf{W}}_{xh}^{\top }$ diventa possibile e restituisce la corretta matrice di output $[m\times n_{\text{neurons}}]$ ✅.

Questa pratica permette di mantenere una definizione coerente dei pesi e di semplificare il codice. Librerie come PyTorch la adottano come standard di design: un layer nn.Linear viene definito con pesi di forma [out_features, in_features], ma il suo calcolo interno per gestire i batch esegue l’operazione come input @ weight.T. Questo meccanismo efficiente è applicato a tutte le matrici di pesi all’interno dei moduli RNN, coniugando chiarezza teorica e performance pratica.

Notazione compatta per input e stato nascosto

In molte implementazioni ottimizzate, è comune accorpare in un’unica matrice l’input al tempo $t$, ossia la matrice ${\mathbf{X}}_t$, e lo stato nascosto precedente ${\mathbf{H}}_{t-1}$. In particolare, si costruisce la matrice concatenata orizzontalmente $[{\mathbf{X}}_t{\mathbf{H}}_{t-1}]\in {\mathbb{R}}^{m\times (n_{\text{inputs}}+n_{\text{neurons}})}$, dove:

• ${\mathbf{X}}_t$ contiene gli input per ciascun elemento del mini‑batch;
• ${\mathbf{H}}_{t-1}$ contiene i rispettivi hidden states al tempo precedente.

A questa concatenazione viene associata un’unica matrice dei pesi estesa $\mathbf{W}\in {\mathbb{R}}^{(n_{\text{inputs}}+n_{\text{neurons}})\times n_{\text{neurons}}}$, ottenuta impilando verticalmente le matrici ${\mathbf{W}}_{xh}$ e ${\mathbf{W}}_{hh}$:

$$\mathbf{W}=\left[\begin{array}{c}{\mathbf{W}}_{xh}\\ {\mathbf{W}}_{hh}\end{array}\right]\in {\mathbb{R}}^{(n_{\text{inputs}}+n_{\text{neurons}})\times n_{\text{neurons}}}$$

In questo modo, l’operazione di transizione ricorrente può essere scritta in forma compatta:

$${\mathbf{H}}_t={\varphi }_h\left([{\mathbf{X}}_t{\mathbf{H}}_{t-1}]\mathbf{W}+{\mathbf{b}}_h\right)$$

Questa notazione semplifica il codice e riduce il numero di operazioni di moltiplicazione, ed è perfettamente compatibile con le librerie tensoriali (e.g. PyTorch, TensorFlow), in cui le operazioni batched sono altamente ottimizzate.

Note

Al primo passo temporale ($t=0$), non essendo ancora definito uno stato nascosto precedente, è consuetudine inizializzare:

\mathbf{H}_{-1} = \mathbf{0}

dove $\mathbf{0} \in \mathbb{R}^{m \times n_\text{neurons}}$​ è una matrice di zeri.

Important

Questa struttura consente, come verrà discusso nelle sezioni successive, una derivazione sistematica e graduale dei gradienti rispetto ai parametri condivisi ${\mathbf{W}}_{xh}$​, ${\mathbf{W}}_{hh}$​, ${\mathbf{W}}_{yh}$​, che costituisce il nucleo del meccanismo BPTT.

---

Derivazione del gradiente: Backpropagation Through Time

Derivazione della BPTT: ritorno alla singola sequenza

Nella fase di forward è stata illustrata sia la formulazione per singolo campione sia quella per mini‑batch usando, in quest’ultimo scenario, matrici quali ${\mathbf{X}}_t\in {\mathbb{R}}^{m\times n_{\text{inputs}}}$ e ${\mathbf{H}}_t\in {\mathbb{R}}^{m\times n_{\text{neurons}}}$, dove ogni riga rappresenta una diversa sequenza.

Tuttavia, durante la derivazione della Backpropagation Through Time (BPTT), la trattazione si concentra su una singola sequenza: i vettori ${\hat{\mathbf{y}}}_t$, ${\mathbf{y}}_t$ e ${\mathbf{h}}_t$ sono intesi come elementi individuali (non matrici), e i gradienti vengono espressi come prodotti tra vettori.

Questo passaggio semplifica la notazione e l’intuizione analitica. La generalizzazione al mini-batch si ottiene infine sommando (o mediando) i gradienti calcolati sulle singole sequenze.

Per poter applicare l’algoritmo di Backpropagation Through Time (BPTT) e addestrare una rete neurale ricorrente (RNN), è necessario innanzitutto definire la funzione di loss complessiva sull’intera sequenza temporale:

$$\begin{array}{rl}\mathcal{L}(\hat{\mathbf{y}},\mathbf{y})& =\sum _{t=1}^T{\mathcal{L}}_t({\hat{\mathbf{y}}}_t,{\mathbf{y}}_t)\\ & =-\sum _{t=1}^T{\mathbf{y}}_t^{\top }\log {\hat{\mathbf{y}}}_t\\ & =-\sum _{t=1}^T{\mathbf{y}}_t^{\top }\log \left[\text{softmax}({\mathbf{o}}_t)\right]\end{array}$$

dove:

• ${\mathbf{y}}_t$ è il vettore one-hot contenente la classe corretta al tempo $t$
• ${\hat{\mathbf{y}}}_t$​ rappresenta la distribuzione predetta dal modello.

🧮 Cross-Entropy Multiclasse: somma implicita sulle classi

Nella formulazione:

$$\mathcal{L}=-\sum _{t=1}^T{\mathbf{y}}_t^{\top }\log {\hat{\mathbf{y}}}_t$$

la somma sulle classi è implicita nel prodotto scalare tra:

• ${\mathbf{y}}_t\in \{0,1{\}}^C$: un vettore one-hot che codifica la classe corretta;
• $\log {\hat{\mathbf{y}}}_t\in {\mathbb{R}}^C$: il vettore dei logaritmi delle probabilità predette dal softmax.

Tale prodotto scalare si espande come:

$${\mathbf{y}}_t^{\top }\log {\hat{\mathbf{y}}}_t=\sum _{c=1}^C{y}_t^{(c)}\log {\hat{y}}_t^{(c)}$$

Ma essendo ${\mathbf{y}}_t$ one-hot, solo una componente è pari a 1, tutte le altre sono nulle.
Di conseguenza:

$${\mathbf{y}}_t^{\top }\log {\hat{\mathbf{y}}}_t=\log {\hat{y}}_t^{(c_{\text{true}})}$$

ovvero, si prende solo il logaritmo della probabilità predetta per la classe corretta.

📌 Questa notazione è compatta e molto usata in letteratura e nei framework (e.g. nn.CrossEntropyLoss di PyTorch).

---

Calcolo gradiente rispetto a ${\mathbf{W}}_{yh}$​ e ${\mathbf{b}}_y$​

Dato che la matrice di pesi ${\mathbf{W}}_{yh}$ è condivisa lungo la sequenza temporale, il gradiente rispetto a tale parametro si ottiene come somma dei contributi per ciascun istante temporale:

$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{yh}}& =\sum _{t=1}^T\frac{\partial {\mathcal{L}}_t}{\partial {\mathbf{W}}_{yh}}\\ & =\sum _{t=1}^T\frac{\partial {\mathcal{L}}_t}{\partial {\hat{\mathbf{y}}}_t}\frac{\partial {\hat{\mathbf{y}}}_t}{\partial {\mathbf{o}}_t}\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{W}}_{yh}}\\ & =\sum _{t=1}^T\left({\hat{\mathbf{y}}}_t-{\mathbf{y}}_t\right)\otimes {\mathbf{h}}_t\end{array}$$

​ dove:

• il simbolo $\otimes$ indica il prodotto esterno tra vettori colonna
• per la derivata della funzione di loss rispetto alla funzione softmax si veda la relativa dimostrazione. Inoltre, si ha che $\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{W}}_{yh}}={\mathbf{h}}_t$​, poiché ${\mathbf{o}}_t={\mathbf{W}}_{yh}{\mathbf{h}}_t+{\mathbf{b}}_y$.

Analogamente, il gradiente rispetto al bias del layer di output è:

$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial {\mathbf{b}}_y}& =\sum _{t=1}^T\frac{\partial {\mathcal{L}}_t}{\partial {\hat{\mathbf{y}}}_t}\frac{\partial {\hat{\mathbf{y}}}_t}{\partial {\mathbf{o}}_t}\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{b}}_y}\\ & =\sum _{t=1}^T({\hat{\mathbf{y}}}_t-{\mathbf{y}}_t)\end{array}$$

Questi risultati discendono dalla derivazione nota del gradiente della cross-entropy combinata con la softmax.

---

Gradiente rispetto a ${\mathbf{W}}_{hh}$​: dipendenza ricorsiva

Si consideri la loss locale associata al passo temporale $t+1$, indicata con:

${\mathcal{L}}_{t+1}=-{\mathbf{y}}_{t+1}^{\top }\log {\hat{\mathbf{y}}}_{t+1}$

dove:

• ${\mathbf{y}}_{t+1}$​ è il vettore one-hot della classe target
• ${\hat{\mathbf{y}}}_{t+1}$ è la distribuzione predetta dal modello al tempo $t+1$, calcolata tramite softmax.

Si procede ora con l’analisi dettagliata necessaria per derivare il gradiente della funzione di loss rispetto alla matrice dei pesi ricorrenti ${\mathbf{W}}_{hh}$​, considerando inizialmente il singolo intervallo temporale (slice temporale) che va da $t$ a $t+1$, ovvero il passaggio:

$t⟶t+1$

Al passo $t+1$, il gradiente della loss locale rispetto a ${\mathbf{W}}_{hh}$​ si esprime inizialmente come:

$\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{hh}}=\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{W}}_{hh}}$​​ Tale espressione considera solo un singolo passo temporale ($t⟶t+1$). Tuttavia, occorre osservare che lo stato nascosto ${\mathbf{h}}_{t+1}$​ dipende ricorsivamente anche dallo stato ${\mathbf{h}}_t$​, secondo la formulazione ricorrente:

${\mathbf{h}}_{t+1}=\tanh \left({\mathbf{W}}_{xh}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_t+{\mathbf{b}}_h\right)$

Pertanto, al time-step $t-1⟶t$, si può ulteriormente espandere la derivata parziale di ${\mathbf{h}}_{t+1}$rispetto a ${\mathbf{W}}_{hh}$​ come segue:

$\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{hh}}=\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_t}\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{hh}}$​​

Si deduce quindi che, al tempo $t+1$, il gradiente può essere calcolato propagando all’indietro l’informazione attraverso i passi temporali precedenti, ossia da $t+1$ fino a $1$, in modo da ottenere il gradiente complessivo rispetto a ${\mathbf{W}}_{hh}$​, ossia:

$$\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{hh}}=\sum _{k=1}^{t+1}\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_k}\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{W}}_{hh}}$$

​​

Note

Il termine $\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_k}$ ​​è esso stesso una catena di derivate.
Ad esempio, per $t+1=3$ e $k=1$, si ha:

$\frac{\partial {\mathbf{h}}_3}{\partial {\mathbf{h}}_1}=\frac{\partial {\mathbf{h}}_3}{\partial {\mathbf{h}}_2}\frac{\partial {\mathbf{h}}_2}{\partial {\mathbf{h}}_1}$​​

Applicazione della chain rule multivariata

La transizione dalla forma:

$$\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{hh}}=\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{W}}_{hh}}$$

alla forma espansa:

$$\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{hh}}=\sum _{k=1}^{t+1}\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_k}\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{W}}_{hh}}$$

è giustificata dall’applicazione della regola della derivata totale (o chain rule multivariata), valida quando una variabile (in questo caso ${\mathbf{W}}_{hh}$) influenza la loss ${\mathcal{L}}_{t+1}$ attraverso più cammini indiretti.

Ogni termine dell’indice $k$ nella sommatoria rappresenta un percorso causale indiretto tra ${\mathbf{W}}_{hh}$ e ${\mathcal{L}}_{t+1}$, tramite uno specifico stato nascosto ${\mathbf{h}}_k$ che ha contribuito a costruire ${\mathbf{h}}_{t+1}$.

In altri termini, anche se la loss ${\mathcal{L}}_{t+1}$ è una funzione scalare, la sua dipendenza da ${\mathbf{W}}_{hh}$ avviene tramite funzioni vettoriali intermedie (gli stati ${\mathbf{h}}_k$), e per questo si rende necessaria la versione multivariata della chain rule.

Inoltre, poiché si sta derivando una funzione vettoriale rispetto a un vettore, il risultato è una matrice Jacobiana, i cui elementi sono le derivate parziali calcolate punto per punto.

Pertanto l’espressione per il gradiente può essere riscritta come segue:

$$\begin{gathered} \frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{hh}}=\sum _{k=1}^{t+1}\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{o}}_{t+1}}\frac{\partial {\mathbf{o}}_{t+1}}{\partial {\mathbf{h}}_{t+1}} \\ \left(\prod _{j=k}^t\frac{\partial {\mathbf{h}}_{j+1}}{\partial {\mathbf{h}}_j}\right)\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{W}}_{hh}} \end{gathered}$$

​​

dove:

${\prod }_{j=k}^t\frac{\partial {\mathbf{h}}_{j+1}}{\partial {\mathbf{h}}_j}=\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_k}=\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_t}\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_{t-1}}\dots \frac{\partial {\mathbf{h}}_{k+1}}{\partial {\mathbf{h}}_k}$

Tale termine prodotto rappresenta il gradiente accumulato lungo la sequenza temporale dal passo temporale $k$ fino al passo $t+1$, delle matrici Jacobiane della funzione ricorrente che definisce l’evoluzione dello stato nascosto.

Note

Ciascun termine $\frac{\partial {\mathbf{h}}_{j+1}}{\partial {\mathbf{h}}_j}$ ​è una matrice Jacobiana, ottenuta derivando la funzione di attivazione (e.g. tanh) applicata allo stato nascosto. Poiché $\tanh (\cdot )$ ha derivate limitate in modulo da $1$, la norma 2 (o spettro-norma) di ciascuna Jacobiana è a sua volta limitata superiormente da 1. Questo fenomeno giustifica l’intuizione per cui i gradienti possono degradarsi nel tempo, causando il cosiddetto problema del gradiente evanescente (vanishing gradient).

Il gradiente complessivo rispetto a ${\mathbf{W}}_{hh}$​, ottenuto aggregando su tutti i passi temporali, è dunque:

$\boxed{\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{hh}}=\sum _{t=1}^T\sum _{k=1}^{t+1}\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{o}}_{t+1}}\frac{\partial {\mathbf{o}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\left(\prod _{j=k}^t\frac{\partial {\mathbf{h}}_{j+1}}{\partial {\mathbf{h}}_j}\right)\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{W}}_{hh}}}$​​

---

Calcolo Gradiente rispetto a ${\mathbf{W}}_{xh}$​

Si procede ora alla derivazione del gradiente rispetto alla matrice dei pesi ${\mathbf{W}}_{xh}$​. In modo analogo al caso precedente, si considera il passo temporale $t+1$, il quale riceve un contributo diretto unicamente dall’input ${\mathbf{x}}_{t+1}$​. Il gradiente della loss al passo $t+1$ rispetto a ${\mathbf{W}}_{xh}$​ si esprime quindi come:

$\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{xh}}=\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{W}}_{xh}}$​​

Tuttavia, poiché ${\mathbf{h}}_t$​ e ${\mathbf{x}}_{t+1}$​ contribuiscono entrambi alla determinazione di ${\mathbf{h}}_{t+1}$​, è necessario propagare il gradiente anche rispetto a ${\mathbf{h}}_t$​.

Considerando tale contributo, il gradiente può essere ulteriormente espanso come segue:

$\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{xh}}=\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{W}}_{xh}}+\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_t}\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{W}}_{xh}}$

Sommando tutti i contributi a partire dal tempo $t+1$ fino all’inizio della sequenza ($t=1$) tramite backpropagation, si ottiene il gradiente al passo temporale $t+1$:

$$\begin{gathered} \frac{\partial {\mathcal{L}}_{t+1}}{\partial {\mathbf{W}}_{xh}}=\sum _{k=1}^{t+1}\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}} \\ \frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_k}\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{W}}_{xh}} \end{gathered}$$

​​

Infine, derivando rispetto a ${\mathbf{W}}_{xh}$ lungo l’intera sequenza temporale, si ottiene:

$\boxed{\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{xh}}=\sum _{t=1}^T\sum _{k=1}^{t+1}\frac{\partial {\mathcal{L}}_{t+1}}{\partial {\hat{\mathbf{y}}}_{t+1}}\frac{\partial {\hat{\mathbf{y}}}_{t+1}}{\partial {\mathbf{h}}_{t+1}}\frac{\partial {\mathbf{h}}_{t+1}}{\partial {\mathbf{h}}_k}\frac{\partial {\mathbf{h}}_k}{\partial {\mathbf{W}}_{xh}}}$​​

Note

Anche in questo caso, nel termine

\frac{\partial \mathbf{h}_{t+1}}{\partial \mathbf{h}_k}

è insita una catena di derivate, esattamente come nel caso della derivazione rispetto a ${\mathbf{W}}_{hh}$​

Conclusione

Questa formulazione esplicita del gradiente rispetto ai pesi ${\mathbf{W}}_{xh}$​ e ${\mathbf{W}}_{hh}$​ costituisce il nucleo del meccanismo BPTT e consente la retropropagazione del segnale d’errore nel tempo. Come sarà discusso nelle sezioni seguenti, tale meccanismo può essere affetto da problemi di stabilità numerica, che hanno motivato l’introduzione di varianti strutturali come LSTM e GRU.