07 - Convolutional Layer

Equazione dell’attivazione convoluzionale (2D, padding simmetrico)

In presenza di un padding simmetrico di ampiezza $P$ (ovvero $P$ elementi aggiunti a ciascun lato del dominio: sopra, sotto, a sinistra e a destra nel caso $2D$), la formula generale che calcola l’attivazione del neurone in posizione $(x,y)$ del layer $\ell +1$ è:

$$\boxed{a_{x,y}^{\ell +1}=f\left(b^{\ell }+\sum _{i=0}^{K-1}\sum _{j=0}^{K-1}{w}_{i,j}^{\ell }\cdot a_{x+j-P,y+i-P}^{\ell }\right)}$$

dove:

• $a_{x+j-P,y+i-P}^{\ell }$ è l’attivazione del layer precedente $\ell$ nella posizione corrispondente al punto $(x,y)$ del local receptive field (l’asse y punta verso il basso mentre l’asse x punta verso destra),
• $w_{i,j}^{\ell }$ è il valore del peso nella posizione $(i,j)$ all’interno della griglia $K\times K$ (con $i$ indice di riga e $j$ indice di colonna),
• $b^{\ell }$ è un bias condiviso da tutti i neuroni del layer, analogamente ai pesi associati al lrf,
• $f$ è la funzione di attivazione (es. ReLU, sigmoid, tanh…).

Note

$P$ tiene conto del fatto che l’input originale è stato esteso simmetricamente con valori nulli, in modo che anche i neuroni situati ai bordi del dominio abbiano un LRF completo.

In tale formula si sta assumendo uno stride pari a 1, cioè il kernel si sposta di una sola posizione per volta, sia in orizzontale che in verticale.

🔎 Come si perviene a questa formula

1. Il neurone in $(x,y)$ del layer $\ell +1$ osserva una finestra quadrata $K\times K$ centrata in $(x,y)$ sull’input paddato.
2. Le attivazioni del layer precedente, all’interno di quella finestra, sono moltiplicate per pesi condivisi e sommati.
3. Si aggiunge un bias costante.
4. Il tutto viene trasformato da una funzione $f$ (es. ReLU, sigmoid, tanh…).

---

Formula compatta layer convoluzionale

La formula compatta del layer convoluzionale è:

$$\boxed{{\mathbf{A}}^{\ell +1}=f\left(b^{\ell }+{\mathbf{W}}^{\ell }\ast {\mathbf{A}}^{\ell }\right)}$$

La suddetta formula descrive il calcolo dell’intero layer convoluzionale in forma matriciale e compatta.

Significato dei termini

• ${\mathbf{A}}^{\ell }$ è la matrice delle attivazioni (o feature map) del layer $\ell$, di dimensione $H_{\text{in}}\times W_{\text{in}}$.
• ${\mathbf{W}}^{\ell }$ è la matrice dei pesi condivisi, detta anche kernel convoluzionale, di dimensione $K\times K$ (o più in generale $K_1\times \cdots \times K_D$).
• $b^{\ell }$ è un termine di bias scalare, condiviso da tutti i neuroni del layer.
• $\ast$ rappresenta l’operazione di convoluzione (o correlazione) tra il kernel ${\mathbf{W}}^{\ell }$ e le attivazioni ${\mathbf{A}}^{\ell }$.
• ${\mathbf{A}}^{\ell +1}$ è la matrice di output del layer $\ell +1$, cioè la nuova feature map.

Dal punto di vista matriciale, la convoluzione restituisce una matrice intermedia:

$${\mathbf{C}}^{\ell }={\mathbf{W}}^{\ell }\ast {\mathbf{A}}^{\ell }$$

A ciascun elemento di ${\mathbf{C}}^{\ell }$ viene sommato il bias scalare $b^{\ell }$, ottenendo:

$${\mathbf{C}}^{\ell }+b^{\ell }$$

La funzione di attivazione $f$ (scalare) viene quindi applicata elemento per elemento:

$${\mathbf{A}}^{\ell +1}=f({\mathbf{C}}^{\ell }+b^{\ell })\text{ossia}{\left[{\mathbf{A}}^{\ell +1}\right]}_{x,y}=f\left({\left[{\mathbf{W}}^{\ell }\ast {\mathbf{A}}^{\ell }\right]}_{x,y}+b^{\ell }\right)$$

📌 Il risultato finale è la matrice delle attivazioni del layer $\ell +1$.

---

Calcolo di un Singolo Elemento di Output $(x,y)$

Per comprendere come viene generata la mappa di attivazione ${\mathbf{A}}^{\ell +1}$, si analizzi il calcolo di un singolo elemento in posizione $(x,y)$.

Tale valore si ottiene dall’applicazione a cascata di una funzione di attivazione scalare non lineare $f$ (e.g. $\text{ReLU}$, $\text{sigmoid}$, $\tanh$) al risultato della convoluzione locale tra il kernel ${\mathbf{W}}^{\ell }$ e l’input ${\mathbf{A}}^{\ell }$:

$$\boxed{{\left[{\mathbf{A}}^{\ell +1}\right]}_{x,y}=f\left(b^{\ell }+{\left[{\mathbf{W}}^{\ell }\ast {\mathbf{A}}^{\ell }\right]}_{x,y}\right)}$$

dove:

• $P$ è il padding,
• ${\left[{\mathbf{W}}^{\ell }\ast {\mathbf{A}}^{\ell }\right]}_{x,y}$ rappresenta la somma pesata delle attivazioni del local receptive field centrato in $(x,y)$,
• $b^{\ell }$ è il bias condiviso da tutti i neuroni del layer

📌 Campo recettivo e attivazione

Sebbene la formula calcoli un singolo valore ${\left[{\mathbf{A}}^{\ell +1}\right]}_{x,y}$, esso dipende da un’intera regione del layer precedente (il campo recettivo).
La convoluzione è un’operazione locale, mentre la funzione di attivazione $f$ è puntuale (agisce solo sul valore convoluto).

📦 Caso 2D

Nel caso bidimensionale con kernel di dimensione $K\times K$ e padding simmetrico $P$, la convoluzione è definita da:

$${\left[{\mathbf{W}}^{\ell }\ast {\mathbf{A}}^{\ell }\right]}_{x,y}=\sum _{i=0}^{K-1}\sum _{j=0}^{K-1}{w}_{i,j}^{\ell }\cdot a_{x+j-P,y+i-P}^{\ell }$$

Questa formula calcola l’output nella posizione $(x,y)$ come somma pesata delle attivazioni del local receptive field centrato in quella posizione.