1. Il punto di partenza: che tipo di variabile stiamo modellando?

Prima di scegliere una matrice, una rete neurale, una distribuzione normale o una funzione softmax bisogna determinare il supporto della variabile casuale, cioè l’insieme dei valori che può assumere.

Una prima distinzione fondamentale è tra:

• variabili categoriche;
• variabili discrete numeriche;
• variabili continue.

2. Variabili categoriche

Una variabile categorica assume uno fra un insieme finito di valori distinti:

Oppure:

Le categorie possono essere codificate tramite numeri:

ma in questo caso tali numeri sono soltanto etichette. Non implica, per esempio, che la categoria \(3\) sia tre volte la categoria \(1\).

Per una variabile categorica con \(K\) valori è naturale utilizzare:

con:

Ogni parametro rappresenta:

3. Variabili discrete numeriche

Non tutte le variabili discrete sono categoriche. Consideriamo:

Se \(O\) rappresenta il numero di telefonate, eventi, guasti o accessi, il valore possiede un significato quantitativo.

Quattro eventi sono effettivamente uno in più di tre. Una possibile distribuzione è:

Non è quindi sempre appropriato trattare ogni possibile conteggio come una categoria indipendente.

4. Variabili continue

Una variabile continua può assumere idealmente un numero infinito di valori all’interno di un intervallo.

Temperatura, posizione, velocità, pressione, tensione elettrica, altezza e durata sono esempi tipici.

Per esempio:

Qui la distanza tra valori ha un significato quantitativo.

5. Probabilità discreta e densità continua

Per una variabile discreta possiamo assegnare probabilità positiva a un singolo valore:

Per una variabile propriamente continua, invece:

Si usa quindi una densità:

La probabilità di un intervallo è:

È per questo che spesso si usa \(P\) per probabilità discrete e \(p\) per densità continue.

6. Il concetto fondamentale è la distribuzione condizionata

Supponiamo che esista uno stato \(S\) e un’osservazione \(O\). Il problema centrale consiste nel descrivere:

Se il sistema si trova nello stato \(S\), quali osservazioni sono possibili e con quale probabilità o densità?

La distribuzione \(P(O\mid S)\) è l’oggetto probabilistico fondamentale. Una matrice, una funzione analitica o una rete neurale sono differenti modi di rappresentarla o di determinarne i parametri.

7. Quando una matrice è la rappresentazione naturale

Se \(S\) e \(O\) sono discreti e relativamente piccoli, tutte le probabilità possono essere rappresentate esplicitamente mediante una tabella.

Definiamo:

Per esempio:

Ogni colonna è una distribuzione categorica completa.

Quindi:

8. Le matrici A e B nell’Active Inference discreta

8.1 Matrice A

\(A\) specifica come gli stati nascosti producono osservazioni.

8.2 Matrice B

Se non esistono azioni:

Anche qui:

\(A\) e \(B\) sono quindi rappresentazioni tabellari di distribuzioni condizionate.

9. Quando conviene utilizzare una matrice

• le variabili sono discrete;
• il numero di stati è piccolo;
• il numero di osservazioni è piccolo;
• si desidera elevata interpretabilità;
• si vuole mantenere una probabilità esplicita per ogni combinazione;
• non serve forte generalizzazione verso stati mai osservati.

10. Il limite della rappresentazione tabellare

Consideriamo un’immagine binaria di \(100\times100\) pixel. Il numero di configurazioni possibili è:

Non è realistico costruire una colonna distinta di \(A\) per ogni immagine.

Inoltre una tabella non sfrutta automaticamente la somiglianza tra stati. È qui che diventano utili le funzioni parametriche.

11. Che cosa significa utilizzare una funzione parametrica

\(\theta\) rappresenta l’insieme dei parametri del modello.

Una funzione parametrica può essere:

• lineare;
• logistica;
• polinomiale;
• esponenziale;
• una rete neurale;
• un altro modello parametrico.

Una rete neurale è quindi un caso importante, ma non l’unico.

12. Una funzione parametrica non è necessariamente una probabilità

Per tre categorie potremmo ottenere:

Questi valori possono essere negativi e non devono sommare a uno: non sono probabilità.

In una classificazione vengono spesso chiamati logits.

13. Osservazioni categoriche: la softmax

La funzione produce:

La softmax definisce:

Per costruzione:

Quindi:

14. Come entrano S, O e θ nella costruzione di P(O|S)

\(S\) entra come input della funzione. \(\theta\) determina la trasformazione. Una specifica categoria \(O=o_k\) identifica la componente della distribuzione che vogliamo valutare:

15. Caso lineare generale

Supponiamo che lo stato abbia \(d\) componenti:

Le categorie possibili di \(O\) siano \(K\).

Introduciamo:

e:

Il modello lineare è:

Le dimensioni sono:

16. Struttura della matrice W

Ogni riga è associata a una categoria:

Con:

Il logit della categoria \(k\) è:

Cioè:

Ogni peso \(W_{kj}\) collega quindi la componente \(S_j\) al logit della categoria \(k\).

17. Esempio numerico completo

Calcoliamo:

Quindi:

18. Dai logits alla distribuzione P(O|S)

Nel nostro esempio:

Otteniamo:

19. Dove entra concretamente O?

Durante la previsione, \(O\) non è ancora noto. Il modello costruisce l’intera distribuzione:

Se successivamente osserviamo \(O=o_2\), selezioniamo:

20. La formula che contiene esplicitamente S, O e θ

Quindi:

Qui \(S\) è lo stato, \(o_k\) la categoria considerata e \(\theta\) contiene tutti i pesi e i bias:

21. Scrivere il modello come fθ(S,O)

È possibile definire una funzione di compatibilità:

Allora:

Il numeratore misura la compatibilità tra \(S\) e una specifica osservazione. Il denominatore confronta quella compatibilità con tutte le alternative.

22. Rappresentazione one-hot dell’osservazione

Una variabile categorica può essere rappresentata tramite vettore one-hot.

Se \(O=o_2\):

La likelihood categorica è:

Per esempio:

L’esponente \(o_k\) agisce quindi come selettore: tutte le categorie non osservate hanno esponente zero e contribuiscono con \(1\); la categoria osservata ha esponente uno.

23. Dalla likelihood alla log-likelihood

Usando la forma one-hot:

Poiché:

e:

otteniamo:

L’esponente della likelihood diventa quindi un coefficiente moltiplicativo nella log-likelihood.

24. Softmax e likelihood contengono esponenziali con ruoli diversi

Nella softmax compare:

Questo serve a trasformare i logits in quantità positive e normalizzabili.

Nella likelihood compare invece:

Qui l’esponente \(o_k\) seleziona la categoria osservata.

25. Derivata della log-likelihood rispetto ai logits

Partiamo da:

Con:

Abbiamo:

Quindi:

Poiché:

otteniamo:

Derivando rispetto a \(z_k\):

Ma:

Pertanto:

Vettorialmente:

26. Negative log-likelihood e cross-entropy

Nel machine learning è comune minimizzare:

Quindi:

Questa è la cross-entropy categorica.

Il gradiente rispetto ai logits è:

27. Derivare il gradiente rispetto alla matrice dei pesi W

Torniamo alla trasformazione:

Le dimensioni sono:

Poiché \(L\) è uno scalare, il gradiente rispetto a \(W\) deve avere la stessa forma di \(W\):

28. Derivata rispetto a un singolo peso Wkj

Il logit \(k\)-esimo è:

Consideriamo un singolo peso \(W_{kj}\).

La derivata locale è:

Applicando la regola della catena:

Sostituendo:

29. Interpretazione di ogni singola derivata

La modifica di un peso è determinata da due fattori:

• quanto la probabilità della categoria \(k\) differisce dal target;
• quanto la componente \(S_j\) è attiva.

Se:

allora:

Quell’esempio non modifica quel particolare peso.

30. Dalle derivate scalari alla matrice del gradiente

Per la prima riga:

Per tutte le categorie:

31. Il gradiente come prodotto esterno tra due vettori

Definiamo:

Le dimensioni sono:

Inoltre:

Il prodotto:

ha dimensione:

Quindi:

Si tratta di un prodotto esterno, non di un prodotto scalare.

32. Perché serve il prodotto esterno

Il gradiente rispetto a \(W\) deve contenere una derivata per ciascun peso:

Per questo serve:

Il prodotto esterno genera esattamente una matrice con la stessa forma della matrice dei pesi.

33. Gradiente rispetto al bias

Per ogni categoria:

Quindi:

Per la regola della catena:

Pertanto:

Vettorialmente:

Le dimensioni sono:

34. Riassunto dimensionale completo

Forward:

Backward:

35. Aggiornamento dei pesi massimizzando la log-likelihood

Se definiamo:

vogliamo massimizzare \(L\). Con gradient ascent:

Quindi:

Elemento per elemento:

Per il bias:

Elemento per elemento:

36. Aggiornamento minimizzando la negative log-likelihood

Più comunemente si definisce:

Allora:

Con gradient descent:

Poiché:

si ottiene lo stesso aggiornamento della massimizzazione della log-likelihood.

37. Che cosa accade alla categoria corretta?

Se la categoria osservata è \(c\):

Quindi:

La riga corrispondente di \(W\) viene aggiornata:

Essa viene spostata nella direzione dello stato \(S\), aumentando tendenzialmente:

quindi:

e infine:

38. Che cosa accade alle categorie errate?

Per \(k\neq c\):

Quindi:

L’aggiornamento diventa:

La riga associata alla categoria sbagliata viene spostata nella direzione opposta rispetto a \(S\).

Più alta era erroneamente \(\pi_k\), maggiore sarà la correzione.

39. Esempio numerico del gradiente rispetto a W

Riprendiamo:

e supponiamo che la categoria osservata sia la seconda:

Allora:

Poiché:

otteniamo:

40. Esempio numerico dell’aggiornamento di W

Supponiamo:

Con:

abbiamo:

Quindi:

La seconda riga, associata alla categoria corretta, è stata rafforzata nella direzione dello stato osservato.

41. Esempio numerico dell’aggiornamento del bias

Con:

e \(\eta=0.1\):

Quindi:

42. La struttura completa del forward e backward pass

Forward:

Backward:

Questa struttura è il cuore matematico dell’ultimo strato lineare più softmax di una rete neurale.

43. Confronto diretto con la matrice A

Nel caso tabellare:

Nel caso parametrico:

Possiamo pensare alla funzione parametrica come a una macchina che costruisce dinamicamente l’equivalente della colonna di \(A\):

44. Se anche S è categorico

Supponiamo:

Se \(S=s_2\), possiamo usare:

Allora:

Quindi:

In questo caso il collegamento tra matrice tabellare e matrice di logits è quasi letterale.

45. Se fθ è una rete neurale

Una rete neurale sostituisce la singola trasformazione lineare con una composizione:

Con:

Il principio rimane invariato: l’ultimo strato produce logits, la softmax produce probabilità, la loss produce gradienti, e la backpropagation propaga tali gradienti verso tutti i parametri precedenti.

46. Perché una funzione parametrica generalizza

In una matrice tabellare ogni relazione ha una voce propria:

In un modello parametrico, invece, molte previsioni condividono gli stessi parametri:

Modificando \(\theta\), un singolo esempio può influenzare il comportamento del modello per molti stati simili.

Questo è uno dei meccanismi fondamentali della generalizzazione.

47. Apprendimento tabellare tramite Dirichlet

Nell’Active Inference discreta è comune utilizzare parametri di concentrazione:

La distribuzione normalizzata può essere ricavata tramite:

L’apprendimento può essere schematicamente scritto:

Se lo stato non è conosciuto con certezza, il conteggio può essere un conteggio atteso e non necessariamente intero.

48. Apprendimento parametrico e apprendimento tabellare

Tabellare

Parametrico

Nel primo caso l’informazione modifica parametri locali della tabella. Nel secondo modifica parametri condivisi.

49. Quando O è continua: la softmax non è appropriata

Se:

non possiamo avere un’uscita softmax per ogni possibile valore reale.

Possiamo invece scegliere una famiglia continua, per esempio:

La funzione produce:

Quindi:

50. Quando utilizzare una distribuzione normale

Una normale è ragionevole quando, dato lo stato, l’osservazione tende a distribuirsi attorno a un valore centrale con errori approssimativamente simmetrici.

La densità è:

51. Media e varianza possono dipendere dallo stato

Modello con varianza costante:

Modello con varianza dipendente dallo stato:

Poiché \(\sigma>0\), si può trasformare un output libero \(r\) mediante:

oppure:

52. Osservazioni multidimensionali

Possiamo utilizzare:

\(\boldsymbol{\mu}(S)\) è il vettore delle medie; \(\Sigma(S)\) è la matrice di covarianza.

Gli elementi diagonali di \(\Sigma\) rappresentano le varianze, mentre quelli fuori diagonale rappresentano le covarianze tra componenti.

53. La normale non è appropriata per ogni variabile continua

Variabili positive

Possibili modelli:

oppure:

Proporzioni continue

54. Tabella pratica per scegliere la distribuzione

55. La scelta della distribuzione è un’ipotesi sul mondo

Scrivere:

significa assumere una struttura gaussiana dell’incertezza.

Scrivere:

significa assumere che l’osservazione appartenga a un insieme finito di alternative.

Scrivere:

significa assumere una specifica struttura probabilistica per un processo di conteggio.

56. Il principio generale: la funzione produce i parametri della distribuzione

Per una Categorical:

Per una normale:

Per una Poisson:

Per una Beta:

Per una normale multivariata:

57. Trasformazioni diverse per vincoli diversi

58. Active Inference continua: generalizzazione della matrice A

Nel caso discreto:

Nel caso continuo possiamo avere:

Quindi:

Se \(g=g_\theta\):

59. Anche B può essere reso parametrico

Nel modello discreto:

Nel caso continuo:

Quindi:

60. Matrice o funzione parametrica?

61. Distribuzione e parametrizzazione sono scelte differenti

Prima si sceglie una famiglia probabilistica coerente con la variabile. Poi si decide come determinarne i parametri.

I parametri possono essere:

• fissati manualmente;
• memorizzati in una tabella;
• stimati tramite conteggi;
• inferiti in modo bayesiano;
• prodotti da una funzione analitica;
• prodotti da una rete neurale.

62. Un procedimento sistematico per scegliere il modello

Passo 1: determinare il supporto

Passo 2: determinare il tipo di variabile

Categorica, discreta numerica, continua scalare o continua multidimensionale.

Passo 3: caratterizzare l’incertezza

• simmetrica o asimmetrica;
• limitata o illimitata;
• unimodale o multimodale;
• con code leggere o pesanti;
• con varianza costante o dipendente dallo stato.

Passo 4: scegliere una distribuzione compatibile

Passo 5: valutare la dimensione dello spazio degli stati

Spazio piccolo: tabella possibile. Spazio grande o continuo: funzione parametrica.

Passo 6: valutare la necessità di generalizzazione

Se stati simili devono condividere informazione, una parametrizzazione condivisa è particolarmente utile.

Passo 7: determinare i parametri da produrre

Passo 8: imporre i vincoli corretti

63. Tre esempi completi

63.1 Sensore con tre segnali

Se esistono pochi stati:

63.2 Classificazione di immagini

Se \(S\) è un’immagine:

63.3 Sensore continuo

64. Previsione puntuale e previsione probabilistica

Previsione puntuale:

Per esempio:

Previsione probabilistica:

La seconda descrive anche l’incertezza.

65. Matrice, funzione e distribuzione non sono equivalenti

Distribuzione

Descrive l’incertezza.

Matrice

È una rappresentazione tabellare.

Funzione parametrica

Determina i parametri della distribuzione.

66. Una visione unificata

Nel caso tabellare:

Nel caso categorico parametrico:

Nel caso gaussiano:

Nel caso Poisson:

67. Il caso categorico riassunto

Se il modello è lineare:

Durante la previsione:

Durante l’apprendimento:

68. Il gradiente del caso categorico riassunto

Forward:

Log-likelihood:

Gradiente sui logits:

Gradiente sui pesi:

Elemento per elemento:

Gradiente sui bias:

Con negative log-likelihood:

69. Regola pratica finale

Se stati e osservazioni sono discreti, finiti e poco numerosi, matrici come \(A\) e \(B\) possono rappresentare direttamente le distribuzioni condizionate.

Se lo spazio degli stati è grande, strutturato o continuo, una funzione parametrica evita l’enumerazione completa e consente la condivisione dell’informazione tra stati differenti.

Se l’osservazione è categorica:

Se l’osservazione è continua:

Nel caso categorico lineare, l’apprendimento può essere condensato in:

se si massimizza la log-likelihood, oppure:

se si minimizza la negative log-likelihood.

Questa formula mostra in modo concreto come stato, osservazione, probabilità predetta e parametri si incontrino durante l’apprendimento:

In ultima analisi, matrici, funzioni parametriche e distribuzioni non sono concetti concorrenti, ma livelli differenti dello stesso modello: la distribuzione definisce l’incertezza, la parametrizzazione definisce come tale distribuzione viene costruita e l’apprendimento definisce come i parametri cambiano alla luce dei dati.

1. Il parallelismo tra S, O e X, Y

Dal punto di vista matematico possiamo costruire il parallelismo:

e:

Di conseguenza:

Esiste però una distinzione concettuale importante. Nell’Active Inference \(S\) rappresenta spesso uno stato latente, cioè una causa del mondo che non osserviamo necessariamente in modo diretto.

Nel supervised learning, invece, \(X\) è generalmente un input direttamente disponibile:

• un’immagine;
• un vettore di caratteristiche;
• un segnale;
• un testo;
• una serie temporale;
• un insieme di misure.

Il ruolo matematico nella distribuzione condizionata è però analogo:

2. Il problema fondamentale diventa P(Y|X)

Nel supervised learning probabilistico vogliamo quindi modellare:

La domanda è:

Dato un particolare input \(X=x\), quali valori di \(Y\) sono plausibili e con quale probabilità?

I parametri:

vengono appresi dai dati.

3. La rete non sceglie necessariamente da sola la famiglia di distribuzione

È importante distinguere due problemi.

Il primo è scegliere quale famiglia probabilistica sia appropriata per \(Y\).

Il secondo è imparare i parametri di quella distribuzione.

In genere la famiglia viene scelta dal progettista in base alla natura della variabile \(Y\).

Se \(Y\) è categorica:

Se \(Y\) è continua e una distribuzione normale è appropriata:

La rete apprende quindi tipicamente i parametri della distribuzione condizionata.

4. Caso categorico

Supponiamo che:

Vogliamo costruire:

Cioè il vettore:

Deve valere:

e:

5. Il modello lineare: z = WX + b

Nel caso più semplice introduciamo una trasformazione lineare:

Supponiamo che l’input abbia \(d\) componenti:

La matrice dei pesi è:

Il bias è:

Quindi:

6. Che cosa rappresenta z?

Il vettore:

non contiene ancora probabilità.

Le sue componenti sono chiamate:

• score;
• oppure, nel contesto della softmax, logits.

Il logit della categoria \(k\) è:

Qui \(w_k^T\) è la riga \(k\)-esima della matrice \(W\).

Esplicitamente:

Possiamo interpretare \(z_k\) come uno score di compatibilità tra l’input \(X\) e la categoria \(Y=k\).

7. Gli score non sono ancora probabilità

I valori:

possono essere positivi, negativi o arbitrariamente grandi.

Per esempio:

Non possiamo interpretarli direttamente come:

Per ottenere probabilità dobbiamo trasformarli.

8. La softmax trasforma gli score in probabilità

Definiamo:

Poiché:

possiamo scrivere direttamente:

Questa formula mostra in modo esplicito come l’input \(X\) e i parametri \(W,b\) determinino la probabilità di ciascun possibile valore di \(Y\).

9. La distribuzione completa P(Y|X)

La rete non produce soltanto la probabilità di una classe. Produce simultaneamente:

In forma compatta:

La struttura fondamentale è quindi:

10. Interpretazione dei diversi passaggi

Più precisamente:

• \(X\) contiene l’informazione disponibile;
• \(W\) e \(b\) sono parametri appresi;
• \(z_k\) è lo score associato alla categoria \(k\);
• la softmax confronta simultaneamente tutti gli score;
• \(\pi_k\) è la probabilità condizionata \(P_\theta(Y=k\mid X)\).

11. Durante la previsione Y non è ancora noto

Un punto fondamentale è che la rete non utilizza il valore vero di \(Y\) per produrre la previsione.

Durante il forward pass conosciamo:

e i parametri:

Da questi costruiamo:

Il valore vero di \(Y\) entra successivamente, quando dobbiamo valutare la qualità della previsione.

12. Il target Y come vettore one-hot

Se la classe corretta è \(c\), possiamo rappresentare il target come:

Con:

e:

Per esempio, se \(K=3\) e la classe corretta è la seconda:

13. Likelihood categorica

Se:

la likelihood della categoria effettivamente osservata può essere scritta:

Gli esponenti \(y_k\) agiscono come selettori.

Se la classe corretta è \(c\):

14. Log-likelihood

Prendendo il logaritmo:

Otteniamo:

Poiché il target è one-hot:

Massimizzare la log-likelihood significa quindi aumentare la probabilità assegnata dalla rete alla classe effettivamente osservata.

15. Negative log-likelihood e cross-entropy

In machine learning si minimizza più frequentemente:

Quindi:

Questa è la cross-entropy categorica.

16. Gradiente rispetto agli score z

Per la log-likelihood:

Vettorialmente:

Per la negative log-likelihood:

17. Gradiente rispetto alla matrice W

Ricordiamo:

Per ogni singolo peso:

Quindi:

Applicando la regola della catena:

Otteniamo:

18. Gradiente di W in forma matriciale

Abbiamo:

e:

Il loro prodotto esterno è:

Quindi:

Per la loss da minimizzare:

19. Gradiente rispetto al bias

Poiché:

abbiamo:

Pertanto:

Vettorialmente:

Per la negative log-likelihood:

20. Aggiornamento dei parametri

Se massimizziamo la log-likelihood:

Se invece minimizziamo la negative log-likelihood:

Le due formulazioni sono equivalenti.

21. Significato dell’aggiornamento di ogni peso

Per un singolo peso:

La modifica dipende quindi da:

Se \(X_j=0\), quel particolare input non contribuisce all’aggiornamento di \(W_{kj}\) per quell’esempio.

22. Struttura completa del forward e backward pass

Il forward pass è:

Una volta noto il target \(Y\):

Il backward pass è:

23. Il caso di una rete neurale profonda

In una vera rete neurale, l’espressione:

può rappresentare direttamente un classificatore lineare, oppure soltanto l’ultimo strato della rete.

Gli strati precedenti costruiscono una rappresentazione:

L’ultimo strato calcola:

Poi:

Quindi:

Gli strati nascosti imparano una rappresentazione dell’input; l’ultimo strato associa alla rappresentazione uno score per ciascuna categoria.

24. Dalla classificazione alla formulazione probabilistica generale

Il principio generale non dipende dalla variabile categorica.

Possiamo scrivere:

dove \(\eta(X)\) rappresenta i parametri della distribuzione scelta.

Nel caso categorico:

Nel caso normale:

Nel caso Poisson:

25. Se Y è continua

Supponiamo che:

Se assumiamo una distribuzione normale:

La rete non produce più \(K\) probabilità tramite softmax. Produce invece i parametri:

e:

La struttura diventa:

26. Confronto con la formulazione S → P(O|S)

Nella formulazione generativa precedente avevamo:

Nel supervised learning probabilistico abbiamo:

Il parallelismo strutturale è:

Ma il significato delle variabili può essere differente: \(S\) può essere latente, mentre \(X\) è normalmente osservato.

27. La rete non restituisce necessariamente soltanto una previsione puntuale

Una visione semplificata della rete è:

Una formulazione probabilistica più generale è invece:

In questo modo il modello non specifica soltanto quale risultato considera più probabile, ma può descrivere anche l’incertezza associata agli output.

28. Schema riassuntivo del caso categorico

Input:

Parametri:

Score:

Singolo score:

Probabilità:

Distribuzione completa:

Target:

Log-likelihood:

Gradiente rispetto agli score:

Gradiente rispetto ai pesi:

Gradiente rispetto al bias:

29. Visione finale

La struttura fondamentale del supervised learning probabilistico è:

Nel caso categorico con un ultimo strato lineare:

Qui:

• \(X\) è l’input;
• \(W\) e \(b\) sono parametri appresi;
• \(z\) contiene score o logits;
• la softmax trasforma gli score in probabilità;
• \(P_\theta(Y\mid X)\) è la distribuzione condizionata cercata;
• \(Y\) osservato permette di valutare la previsione e aggiornare i parametri.

Il ciclo completo di apprendimento è quindi:

Questo è il corrispettivo, nel linguaggio delle reti neurali supervisionate, della relazione generativa:

La differenza essenziale è quindi soprattutto nel significato assegnato alle variabili, mentre la struttura matematica della distribuzione condizionata rimane profondamente analoga.