The cell state is the precursor of a Skip Connection because it only has pe- element basic arithmetic operations.
It’s also known as memory state because the information is free to flow
Lungo il percorso associato al cell state si eseguono soltanto operazioni aritmetiche basilari elemento per elemento (cioè addizioni elemento per elemento, moltiplicazioni elemento per elemento).
Important
Lungo tale percorso non sono presenti layer con parametri apprendibili: per questo motivo non si verifica il problema del vanishing gradient lungo la linea nera nella figura sopra. Questo comportamento è molto simile alle Skip Connections: un collegamento diretto lungo il quale l’informazione può fluire liberamente, ma soprattutto in cui il gradiente può propagarsi senza essere attenuato da catene di prodotti matriciali, come invece accade nel caso del BPTT nei Vanilla RNN.