RNN layer

In precedenza è stato introdotto il vanilla RNN layer : si tratta di un layer, tipicamente completamente connesso, il cui output viene reimmesso come input al layer stesso.

Nella la fase di addestramento, ciascun layer RNN, facente parte di una rete neurale, può essere sostituito in modo equivalente dal suo “srotolamento” nel tempo (unrolling), generando un numero di layer pari ai passi temporali richiesti dai dati di addestramento. Poiché tutti i layer “srotolati” sono in realtà istanze del medesimo layer, essi condividono gli stessi parametri, un fatto che comporta conseguenze di notevole importanza.

Nel 1990, un paper di Elman definì formalmente il layer RNN.

Definizione vanilla RNN layer

Si tratta di un layer che, ricevendo in input i dati correnti ${\mathbf{x}}_t$​ e lo stato dell’iterazione precedente ${\mathbf{h}}_{t-1}$, applica a entrambi delle trasformazioni lineari ad hoc, definite da specifiche matrici dei pesi. Si ha quindi una trasformazione lineare specifica per lo stato precedente, una trasformazione lineare specifica per l’input e un termine di bias. A tale combinazione lineare ${\mathbf{W}}_{hh}{\mathbf{h}}_{t-1}+{\mathbf{W}}_{xh}{\mathbf{x}}_t+{\mathbf{b}}_h$ viene poi applicata una funzione di attivazione, che in questo contesto non è la sigmoide, bensì la tangente iperbolica $tanh()$.

Pertanto:

$$\boxed{{\mathbf{h}}_t=\text{tanh}({\mathbf{W}}_{hh}{\mathbf{h}}_{t-1}+{\mathbf{W}}_{xh}{\mathbf{x}}_t+{\mathbf{b}}_h)}\text{\hspace{1em}(state update)}$$

dove:

• ${\mathbf{W}}_{xh}$ è la matrice dei pesi tra lo strato di input e lo strato nascosto.

• ${\mathbf{b}}_h$​ è il vettore di bias dello strato nascosto.

• ${\mathbf{W}}_{hh}$ è la matrice di trasformazione dello stato da nascosto a nascosto, nota anche come matrice dei pesi ricorrenti.

Note

Le matrici dei pesi ${\mathbf{W}}_{xh}$​ e ${\mathbf{W}}_{hh}$​ sono condivise lungo l’intera sequenza dei layer srotolati nel tempo. Pertanto, mentre nella figura seguente in basso a sinistra si osservano due trasformazioni matriciali associate alle rispettive frecce, nell’architettura equivalente srotolata queste due matrici sono condivise, ovvero sono le medesime per tutta la sequenza temporale.