Dagli stati nascosti all’energia libera
Dagli stati nascosti all’energia libera: inferenza, meccanica statistica, machine learning e Active Inference
Molti problemi dell’intelligenza, naturale o artificiale, cominciano da una difficoltà apparentemente banale: un agente non osserva direttamente il mondo così com’è, ma soltanto gli effetti che il mondo produce sui suoi sensori.
Un robot non “vede” direttamente la posizione reale di un oggetto: riceve valori prodotti da una telecamera. Un animale non dispone direttamente della distanza di un predatore: riceve fotoni, pressioni sonore, odori e segnali propriocettivi. Un algoritmo che analizza un’immagine non riceve “un gatto”, ma una matrice di numeri. Persino uno strumento scientifico non ci consegna direttamente la grandezza fisica ideale che vorremmo conoscere: produce una misura affetta da rumore, risoluzione limitata e trasformazioni strumentali.
Questa separazione fra stato del mondo e osservazione è la premessa comune di una grande parte della statistica bayesiana, dei modelli a variabili latenti, del controllo sotto osservabilità parziale, del predictive coding, dei Variational Autoencoder e dell’Active Inference.
È anche il punto da cui diventa possibile comprendere perché, in questi campi, compaiano concetti apparentemente presi dalla fisica come energia, entropia, temperatura ed energia libera. La somiglianza non è soltanto linguistica: esiste una precisa identità matematica fra il principio variazionale della meccanica statistica e quello utilizzato nell’inferenza variazionale. Ma questa identità matematica non autorizza automaticamente a identificare una quantità informazionale con un’energia fisica misurata in joule.
1. Il problema fondamentale: ciò che osserviamo non coincide con ciò che vogliamo conoscere
Indichiamo con \(s\) uno stato nascosto e con \(o\) una osservazione.
Lo stato \(s\) può essere la posizione reale di un robot, la presenza di una sorgente, l’identità di un oggetto, la configurazione microscopica di un sistema, una causa nascosta o, più generalmente, una variabile del modello che serve a spiegare i dati. L’osservazione \(o\) è invece ciò che arriva effettivamente al sistema.
È importante non attribuire necessariamente a \(s\) un significato metafisico. Uno stato latente è innanzitutto una variabile di un modello. In certi casi corrisponde molto direttamente a una grandezza fisica — per esempio la posizione di un veicolo — mentre in altri può essere una rappresentazione astratta appresa da una rete neurale.
Un esempio: il robot nel corridoio
Immaginiamo un robot che possa trovarsi in tre zone:
- \(s_1\): vicino alla porta;
- \(s_2\): al centro del corridoio;
- \(s_3\): vicino alla finestra.
Il robot non possiede però un sensore perfetto della posizione. Riceve soltanto una lettura luminosa:
- \(o_1\): buio;
- \(o_2\): luminosità media;
- \(o_3\): molta luce.
La lettura \(o_3\) rende plausibile lo stato \(s_3\), ma non lo determina con certezza: una lampada accesa vicino alla porta potrebbe produrre una lettura simile.
Il problema dell’agente diventa quindi:
\[ \boxed{\text{dato ciò che osservo, quali stati nascosti sono plausibili?}} \]In termini probabilistici:
\[ \boxed{p(s\mid o)} \]Questa distribuzione è il posterior: la credenza sugli stati nascosti dopo aver osservato il dato.
2. Il modello generativo: dal mondo possibile alle osservazioni possibili
Per inferire uno stato nascosto a partire da un’osservazione occorre sapere, almeno approssimativamente, come gli stati nascosti producono osservazioni.
Introduciamo quindi:
\[ p(s) \]che rappresenta il prior, cioè ciò che riteniamo plausibile prima dell’osservazione, e
\[ p(o\mid s) \]che rappresenta la likelihood, cioè il modello di come uno stato produce un’osservazione.
I due oggetti definiscono il modello congiunto:
\[ \boxed{p(o,s)=p(o\mid s)p(s)} \]Lo si chiama spesso modello generativo perché descrive una direzione concettuale del tipo:
\[ s \longrightarrow o. \]Prima immaginiamo uno stato del mondo, poi chiediamo quali dati esso produrrebbe.
L’inferenza deve effettuare il problema inverso:
\[ o \longrightarrow s. \]Dai dati osservati dobbiamo risalire alle cause che potrebbero averli generati.
Da dove vengono concretamente \(p(s)\) e \(p(o\mid s)\)?
Non vengono forniti dalla matematica. Sono parte della costruzione o dell’apprendimento del modello. Possono essere ottenuti da:
- conoscenza fisica del sistema;
- calibrazione sperimentale di un sensore;
- frequenze osservate nei dati;
- parametri stimati statisticamente;
- una rete neurale;
- simulazioni;
- conoscenze precedenti codificate dal progettista.
Per esempio, un modello continuo molto comune è:
\[ o=g_\theta(s)+\varepsilon, \qquad \varepsilon\sim\mathcal N(0,\Sigma_o). \]Qui \(g_\theta(s)\) descrive ciò che il sensore dovrebbe osservare se lo stato fosse \(s\), mentre \(\varepsilon\) rappresenta il rumore.
Ne segue una likelihood gaussiana:
\[ p_\theta(o\mid s) = \mathcal N\!\left(o;g_\theta(s),\Sigma_o\right). \]Il problema dell’inferenza è allora trovare quali valori di \(s\) rendono plausibile l’osservazione effettivamente ottenuta.
3. Bayes: invertire il modello generativo
La regola di Bayes permette di passare dal modello causale \(p(o\mid s)\) al posterior:
\[ \boxed{ p(s\mid o)=\frac{p(o\mid s)p(s)}{p(o)} } \]oppure, usando il modello congiunto:
\[ \boxed{ p(s\mid o)=\frac{p(o,s)}{p(o)}. } \]Il denominatore
\[ p(o)=\int p(o,s)\,ds \]nel caso continuo, oppure
\[ p(o)=\sum_s p(o,s) \]nel caso discreto, è chiamato evidenza o marginal likelihood.
Serve a normalizzare la distribuzione: dopo aver pesato ciascuno stato secondo \(p(o,s)\), dobbiamo dividere per la probabilità complessiva dell’osservazione affinché le probabilità posteriori sommino a uno.
Un piccolo esempio numerico
Supponiamo che uno stato possa essere:
\[ s\in\{\text{pioggia},\text{sereno}\} \]e che osserviamo una persona con un ombrello.
Assumiamo:
\[ p(\text{pioggia})=0.3, \qquad p(\text{sereno})=0.7, \] \[ p(\text{ombrello}\mid\text{pioggia})=0.9, \] \[ p(\text{ombrello}\mid\text{sereno})=0.2. \]Otteniamo:
\[ p(\text{ombrello},\text{pioggia}) = 0.9\cdot0.3 = 0.27, \] \[ p(\text{ombrello},\text{sereno}) = 0.2\cdot0.7 = 0.14. \]L’evidenza è:
\[ p(\text{ombrello})=0.27+0.14=0.41. \]Quindi:
\[ p(\text{pioggia}\mid\text{ombrello}) = \frac{0.27}{0.41} \approx0.659. \]L’osservazione non ci ha dato certezza, ma ha trasformato il prior del \(30\%\) in una credenza posteriore di circa il \(66\%\).
4. Perché Bayes diventa difficile nei problemi reali
Nell’esempio precedente l’evidenza richiedeva la somma di due numeri. In un modello reale lo stato nascosto può invece contenere milioni di variabili.
Se
\[ s=(s_1,s_2,\ldots,s_N), \]l’evidenza diventa:
\[ p(o) = \int p(o,s_1,\ldots,s_N) \,ds_1\cdots ds_N. \]Questa marginalizzazione può diventare analiticamente insolubile o computazionalmente proibitiva.
Ed emerge un problema apparentemente circolare:
\[ p(s\mid o) = \frac{p(o,s)}{p(o)}, \]ma proprio \(p(o)\), necessario per normalizzare il posterior, è spesso ciò che non sappiamo calcolare efficientemente.
Questo è uno dei motivi fondamentali per cui nasce l’inferenza variazionale.
5. Dall’inferenza esatta all’inferenza variazionale
Invece di calcolare esattamente il posterior \(p(s\mid o)\), introduciamo una distribuzione più semplice:
\[ q_\phi(s). \]I parametri \(\phi\) possono essere, per esempio, la media e la varianza di una gaussiana:
\[ q_\phi(s) = \mathcal N(s;\mu,\Sigma). \]Il problema originario
\[ \text{calcolare un’intera distribuzione complicata} \]viene trasformato nel problema:
\[ \boxed{ \text{trovare i parametri }\phi \text{ che rendono }q_\phi(s) \text{ simile a }p(s\mid o). } \]È il significato della parola variazionale: non stiamo variando una singola coordinata fisica, ma una funzione — o, nella pratica, una famiglia parametrica di distribuzioni — alla ricerca di quella che ottimizza un funzionale.
6. Perché compare la divergenza di Kullback-Leibler
Dobbiamo ora definire matematicamente cosa significhi che due distribuzioni sono “vicine”.
Una quantità particolarmente utile è:
\[ \boxed{ D_{\mathrm{KL}} \left[q(s)\Vert p(s\mid o)\right] = \int q(s) \ln \frac{q(s)}{p(s\mid o)} \,ds } \]Essa soddisfa:
\[ D_{\mathrm{KL}}\geq0 \]e diventa zero quando le due distribuzioni coincidono quasi ovunque:
\[ D_{\mathrm{KL}}=0 \quad\Longleftrightarrow\quad q(s)=p(s\mid o). \]La KL non è una distanza geometrica ordinaria: non è in generale simmetrica e non soddisfa tutte le proprietà di una metrica. È però perfetta per formulare un problema di approssimazione:
\[ \boxed{ \min_q D_{\mathrm{KL}} [q(s)\Vert p(s\mid o)]. } \]Concettualmente abbiamo risolto il problema. Vorremmo semplicemente trovare il \(q\) più vicino al posterior.
Computazionalmente, però, rimane una difficoltà: nella formula compare proprio \(p(s\mid o)\), cioè la distribuzione che non sappiamo normalizzare.
7. La Variational Free Energy: lo stesso problema scritto in forma calcolabile
Introduciamo:
\[ \boxed{ F[q] = \mathbb E_{q(s)} \left[ \ln q(s)-\ln p(o,s) \right]. } \]Questa è la Variational Free Energy.
Per capire perché sia utile basta applicare Bayes:
\[ p(o,s)=p(s\mid o)p(o). \]Prendendo il logaritmo:
\[ \ln p(o,s) = \ln p(s\mid o)+\ln p(o). \]Inseriamolo nella definizione di \(F\):
\[ F[q] = \mathbb E_q \left[ \ln q(s) – \ln p(s\mid o) – \ln p(o) \right]. \]Poiché \(p(o)\) non dipende da \(s\):
\[ F[q] = \mathbb E_q \left[ \ln q(s)-\ln p(s\mid o) \right] – \ln p(o). \]Il primo termine è una KL:
\[ \boxed{ F[q] = D_{\mathrm{KL}} [q(s)\Vert p(s\mid o)] – \ln p(o). } \]Questa equazione è il cuore dell’intero formalismo.
8. Perché minimizzare \(F\) invece della KL?
La risposta rigorosa è: non perché abbia un minimo migliore.
Rispetto a \(q\), le due ottimizzazioni sono equivalenti.
Infatti:
\[ F[q] = D_{\mathrm{KL}} [q\Vert p(s\mid o)] – \ln p(o). \]Durante l’ottimizzazione di \(q\), l’osservazione \(o\) è fissata e quindi:
\[ -\ln p(o) \]è soltanto una costante.
Di conseguenza:
\[ \boxed{ \arg\min_q F[q] = \arg\min_q D_{\mathrm{KL}} [q(s)\Vert p(s\mid o)]. } \]Anche i gradienti rispetto ai parametri di \(q\) sono gli stessi:
\[ \nabla_\phi F = \nabla_\phi D_{\mathrm{KL}} [q_\phi\Vert p(s\mid o)]. \]La differenza fondamentale è operativa.
La KL scritta direttamente contro il posterior contiene:
\[ p(s\mid o), \]che richiede la normalizzazione \(p(o)\).
\(F\), invece, richiede:
\[ q(s) \quad\text{e}\quad p(o,s), \]cioè la distribuzione approssimata che controlliamo e il modello generativo congiunto che normalmente sappiamo valutare almeno fino ai suoi parametri.
Si può quindi riassumere così:
La KL esprime in modo trasparente ciò che vorremmo ottenere: avvicinare \(q\) al posterior. La Variational Free Energy riscrive lo stesso obiettivo in una forma che evita di dover calcolare direttamente l’evidenza.
9. Free Energy, evidenza ed ELBO
Poiché:
\[ D_{\mathrm{KL}}\geq0, \]abbiamo:
\[ \boxed{ F[q]\geq-\ln p(o). } \]Il termine:
\[ -\ln p(o) \]è il surprisal dell’osservazione secondo il modello.
Quando \(q\) coincide esattamente con il posterior:
\[ q^*(s)=p(s\mid o), \]la KL diventa zero e quindi:
\[ \boxed{ F_{\min}=-\ln p(o). } \]Dunque minimizzare \(F\) rende la free energy un limite superiore al surprisal.
Nel machine learning si usa frequentemente la quantità opposta:
\[ \mathrm{ELBO} = -F. \]Infatti:
\[ \ln p(o) = \mathrm{ELBO} + D_{\mathrm{KL}} [q(s)\Vert p(s\mid o)]. \]Poiché la KL è non negativa:
\[ \boxed{ \mathrm{ELBO}\leq\ln p(o). } \]Massimizzare l’ELBO e minimizzare la Variational Free Energy sono quindi la stessa operazione con segno opposto.
10. Perché compare la parola “energia”?
Riprendiamo:
\[ F[q] = \mathbb E_q[\ln q(s)-\ln p(o,s)]. \]L’entropia di Shannon di \(q\) è:
\[ H[q] = -\mathbb E_q[\ln q(s)]. \]Quindi:
\[ \boxed{ F[q] = \mathbb E_q[-\ln p(o,s)] – H[q]. } \]Definiamo allora una quantità:
\[ \boxed{ \mathcal E(o,s) = -\ln p(o,s). } \]Otteniamo:
\[ \boxed{ F[q] = \mathbb E_q[\mathcal E(o,s)] – H[q]. } \]La struttura è dunque:
\[ \boxed{ \text{free energy} = \text{energia media} – \text{entropia}. } \]Ma \(\mathcal E=-\ln p\) non è, in generale, energia fisica. È una energia informazionale o, più precisamente, una funzione che svolge matematicamente il ruolo di un’energia.
Se una configurazione è molto probabile:
\[ p(o,s)\text{ grande} \quad\Longrightarrow\quad -\ln p(o,s)\text{ piccolo}. \]Se è molto improbabile:
\[ p(o,s)\text{ piccolo} \quad\Longrightarrow\quad -\ln p(o,s)\text{ grande}. \]Per esempio:
\[ -\ln(0.8)\approx0.22, \]mentre:
\[ -\ln(0.001)\approx6.91. \]Configurazioni probabili hanno quindi “energia” bassa e configurazioni improbabili “energia” alta. È precisamente la struttura che ritroveremo nella distribuzione di Boltzmann.
11. Entriamo nella fisica: microstati, energia ed entropia
Consideriamo adesso un sistema fisico in equilibrio termico con un ambiente a temperatura \(T\).
Indichiamo un suo microstato con \(x\). A ogni microstato è associata una vera energia fisica:
\[ E_{\mathrm{phys}}(x). \]Questa volta stiamo parlando realmente di energia, misurabile per esempio in joule.
Se il sistema è descritto da una distribuzione \(q(x)\), la sua energia interna media è:
\[ \boxed{ U[q] = \langle E_{\mathrm{phys}}\rangle_q = \sum_x q(x)E_{\mathrm{phys}}(x). } \]Nel caso continuo la somma viene sostituita da un integrale.
L’entropia di Gibbs è:
\[ \boxed{ S[q] = -k_B \sum_x q(x)\ln q(x), } \]dove \(k_B\) è la costante di Boltzmann.
L’energia libera di Helmholtz associata alla distribuzione è allora:
\[ \boxed{ \mathcal F_{\mathrm{phys}}[q] = U[q]-TS[q]. } \]Esplicitando:
\[ \mathcal F_{\mathrm{phys}}[q] = \sum_xq(x)E_{\mathrm{phys}}(x) + k_BT \sum_xq(x)\ln q(x). \]Qui vediamo già la stessa forma matematica incontrata nell’inferenza:
\[ \text{energia media} – T\times\text{entropia}. \]12. Che cosa significa fisicamente \(U-TS\)?
In termodinamica è comune dire intuitivamente che l’energia libera è la parte di energia disponibile per compiere lavoro nelle opportune condizioni, mentre il termine \(TS\) rappresenta il costo associato all’entropia.
Questa intuizione è utile, purché non immaginiamo \(TS\) come un serbatoio materiale separato all’interno del sistema. \(U\) e \(TS\) non sono due contenitori fisicamente distinti. La decomposizione esprime piuttosto il fatto che non tutta l’energia interna può essere convertita arbitrariamente in lavoro utile quando esistono vincoli termodinamici.
Dal punto di vista della meccanica statistica il significato diventa particolarmente chiaro:
- \(U\) favorisce microstati a bassa energia;
- \(S\) favorisce distribuzioni che occupano molti microstati;
- \(T\) determina quanto pesa il vantaggio entropico rispetto a quello energetico.
L’equilibrio non corrisponde quindi necessariamente al singolo microstato con energia minima.
Corrisponde al miglior compromesso fra:
\[ \boxed{\text{bassa energia}} \qquad\text{e}\qquad \boxed{\text{grande molteplicità di possibilità}}. \]13. Un esempio fisico: uno stato perfetto contro mille stati quasi perfetti
Supponiamo che un sistema possa trovarsi in due macrostati.
Macrostato A
Possiede un solo microstato e quell’unico microstato ha energia:
\[ E_A=0. \]La sua molteplicità è:
\[ \Omega_A=1. \]Macrostato B
Possiede invece mille microstati, ciascuno con energia leggermente maggiore:
\[ E_B=\varepsilon. \]La sua molteplicità è:
\[ \Omega_B=1000. \]Se guardassimo soltanto l’energia, A vincerebbe sempre.
Ma l’entropia di Boltzmann associata alla molteplicità è:
\[ S=k_B\ln\Omega. \]Quindi:
\[ S_A=0, \] \[ S_B=k_B\ln1000. \]Le energie libere sono:
\[ F_A=0 \]e
\[ F_B = \varepsilon-k_BT\ln1000. \]Il macro-stato B diventa favorito quando:
\[ \boxed{ \varepsilon < k_BT\ln1000. } \]Cioè: un enorme numero di configurazioni leggermente meno favorevoli energeticamente può battere una singola configurazione energeticamente perfetta.
Questa è una delle intuizioni più importanti della meccanica statistica: l’equilibrio non ottimizza soltanto l’energia; tiene conto anche di quanti modi esistono di realizzare una certa condizione.
14. La distribuzione di Boltzmann emerge dalla minimizzazione dell’energia libera
Nel sistema canonico la distribuzione di equilibrio è:
\[ \boxed{ p_{\mathrm{eq}}(x) = \frac{e^{-\beta E_{\mathrm{phys}}(x)}}{Z}, } \]con:
\[ \beta=\frac{1}{k_BT}, \]e:
\[ \boxed{ Z = \sum_xe^{-\beta E_{\mathrm{phys}}(x)} } \]chiamata funzione di partizione.
Il significato è immediato:
\[ E_{\mathrm{phys}}\uparrow \quad\Longrightarrow\quad p_{\mathrm{eq}}\downarrow. \]Ma l’effetto della temperatura è altrettanto importante.
A temperatura bassa, \(\beta\) è grande e piccole differenze di energia producono grandi differenze di probabilità. Il sistema tende a concentrarsi sui minimi energetici.
A temperatura elevata, \(\beta\) è piccola e la distribuzione diventa più piatta: vengono occupati in misura rilevante anche stati di energia superiore.
15. La relazione esatta fra KL ed energia libera fisica
Qui emerge il ponte matematico decisivo.
Consideriamo una distribuzione arbitraria \(q(x)\) e confrontiamola con la distribuzione canonica:
\[ p_{\mathrm{eq}}(x) = \frac{e^{-\beta E_{\mathrm{phys}}(x)}}{Z}. \]Calcoliamo:
\[ D_{\mathrm{KL}} [q\Vert p_{\mathrm{eq}}] = \sum_x q(x) \ln \frac{q(x)}{p_{\mathrm{eq}}(x)}. \]Poiché:
\[ \ln p_{\mathrm{eq}}(x) = -\beta E_{\mathrm{phys}}(x)-\ln Z, \]otteniamo:
\[ D_{\mathrm{KL}} = \sum_xq(x)\ln q(x) + \beta \sum_xq(x)E_{\mathrm{phys}}(x) + \ln Z. \]Moltiplichiamo tutto per \(k_BT\):
\[ k_BT D_{\mathrm{KL}} = k_BT\sum_xq(x)\ln q(x) + U[q] + k_BT\ln Z. \]Ma:
\[ k_BT\sum_xq(x)\ln q(x) = -TS[q]. \]Quindi:
\[ k_BT D_{\mathrm{KL}} = U[q]-TS[q]+k_BT\ln Z. \]Poiché:
\[ \mathcal F_{\mathrm{phys}}[q] = U[q]-TS[q], \]e l’energia libera di equilibrio vale:
\[ \boxed{ F_{\mathrm{eq}} = -k_BT\ln Z, } \]arriviamo all’identità:
\[ \boxed{ \mathcal F_{\mathrm{phys}}[q] = F_{\mathrm{eq}} + k_BT D_{\mathrm{KL}} [q\Vert p_{\mathrm{eq}}]. } \]Questa formula dice che ogni distribuzione diversa dall’equilibrio possiede una free energy superiore al valore di equilibrio di una quantità proporzionale alla KL che la separa dalla distribuzione canonica.
Siccome:
\[ D_{\mathrm{KL}}\geq0, \]segue:
\[ \boxed{ \mathcal F_{\mathrm{phys}}[q] \geq F_{\mathrm{eq}}. } \]Il minimo viene raggiunto quando:
\[ q(x)=p_{\mathrm{eq}}(x). \]16. Ora confrontiamo direttamente fisica e inferenza
Nell’inferenza variazionale avevamo:
\[ \boxed{ F_{\mathrm{var}}[q] = -\ln p(o) + D_{\mathrm{KL}} [q(s)\Vert p(s\mid o)]. } \]In meccanica statistica abbiamo appena ottenuto:
\[ \boxed{ \mathcal F_{\mathrm{phys}}[q] = F_{\mathrm{eq}} + k_BT D_{\mathrm{KL}} [q(x)\Vert p_{\mathrm{eq}}(x)]. } \]Dividiamo la seconda equazione per \(k_BT\):
\[ \boxed{ \beta\mathcal F_{\mathrm{phys}}[q] = \beta F_{\mathrm{eq}} + D_{\mathrm{KL}} [q(x)\Vert p_{\mathrm{eq}}(x)]. } \]Siccome:
\[ \beta F_{\mathrm{eq}} = -\ln Z, \]abbiamo:
\[ \boxed{ \beta\mathcal F_{\mathrm{phys}}[q] = -\ln Z + D_{\mathrm{KL}} [q(x)\Vert p_{\mathrm{eq}}(x)]. } \]Le due espressioni sono quindi formalmente parallele:
| Meccanica statistica | Inferenza variazionale |
|---|---|
| \(x\): microstato | \(s\): stato latente |
| \(p_{\mathrm{eq}}(x)\) | \(p(s\mid o)\) |
| \(\beta E_{\mathrm{phys}}(x)\) | \(-\ln p(o,s)\) |
| \(Z\) | \(p(o)\) |
| \(-\ln Z\) | \(-\ln p(o)\) |
| \(q(x)\) | \(q(s)\) |
| \(\beta\mathcal F_{\mathrm{phys}}[q]\) | \(F_{\mathrm{var}}[q]\) |
| \(D_{\mathrm{KL}}[q\Vert p_{\mathrm{eq}}]\) | \(D_{\mathrm{KL}}[q\Vert p(s\mid o)]\) |
Questa è la relazione matematica essenziale fra le due energie libere.
Non sono semplicemente due concetti che “si assomigliano”. Dopo aver reso adimensionale l’energia libera fisica dividendola per \(k_BT\), entrambe assumono la struttura:
\[ \boxed{ \text{valore minimo} + D_{\mathrm{KL}} (\text{distribuzione corrente} \Vert \text{distribuzione ottimale}). } \]17. Un modo ancora più diretto di vedere la corrispondenza
Definiamo in fisica l’energia adimensionale:
\[ \mathcal E_{\mathrm{phys}}(x) = \beta E_{\mathrm{phys}}(x). \]Allora:
\[ p_{\mathrm{eq}}(x) = \frac{e^{-\mathcal E_{\mathrm{phys}}(x)}}{Z}. \]Nell’inferenza definiamo:
\[ \mathcal E_{\mathrm{inf}}(s,o) = -\ln p(o,s). \]Quindi:
\[ e^{-\mathcal E_{\mathrm{inf}}(s,o)} = p(o,s). \]Se manteniamo \(o\) fissato e normalizziamo rispetto a \(s\):
\[ \frac{ e^{-\mathcal E_{\mathrm{inf}}(s,o)} }{ \int e^{-\mathcal E_{\mathrm{inf}}(s,o)} ds } = p(s\mid o). \]Ma:
\[ \int e^{-\mathcal E_{\mathrm{inf}}(s,o)} ds = \int p(o,s)\,ds = p(o). \]Perciò:
\[ \boxed{ p(s\mid o) = \frac{ e^{-\mathcal E_{\mathrm{inf}}(s,o)} }{ p(o) }. } \]Questa formula ha esattamente la forma della distribuzione canonica:
\[ p_{\mathrm{eq}}(x) = \frac{ e^{-\mathcal E_{\mathrm{phys}}(x)} }{ Z }. \]Nell’analogia matematica:
\[ \boxed{ Z \longleftrightarrow p(o). } \]L’evidenza bayesiana svolge quindi il ruolo matematico di una funzione di partizione per la distribuzione posteriore.
18. Ma la Variational Free Energy è davvero energia fisica?
In generale, no.
La distinzione delle unità è sufficiente a mostrarlo.
L’energia libera fisica:
\[ \mathcal F_{\mathrm{phys}} \]ha unità di energia.
La Variational Free Energy:
\[ F_{\mathrm{var}} = \mathbb E_q[\ln q-\ln p] \]è invece costruita da logaritmi di probabilità ed è normalmente una quantità adimensionale espressa in nat quando si usa il logaritmo naturale.
Il parallelo diretto è pertanto con:
\[ \boxed{ \beta\mathcal F_{\mathrm{phys}} = \frac{\mathcal F_{\mathrm{phys}}}{k_BT}, } \]non con \(\mathcal F_{\mathrm{phys}}\) presa direttamente in joule.
Possiamo sempre moltiplicare una free energy informazionale per una scala energetica, ma questo non le conferisce automaticamente un significato termodinamico fisico.
La relazione è quindi:
stessa struttura matematica, non necessariamente stessa grandezza fisica.
19. Energia contro entropia: qual è davvero il “compromesso”?
Nella forma inferenziale:
\[ F[q] = \underbrace{ \mathbb E_q[-\ln p(o,s)] }_{\text{termine energetico}} – \underbrace{ H[q] }_{\text{termine entropico}}. \]Il primo termine favorisce valori di \(s\) che rendono grande \(p(o,s)\), cioè stati compatibili con il modello e con l’osservazione.
Il secondo favorisce, a parità del resto, distribuzioni meno concentrate.
È allettante descrivere tutto questo come:
“aderenza perfetta al modello contro incertezza”.
Ma una formulazione più precisa è:
trovare la distribuzione maggiormente compatibile con i dati e con il modello, senza introdurre una concentrazione di probabilità maggiore di quella giustificata.
L’entropia non è inserita perché “essere incerti è un bene”. Serve perché una soluzione eccessivamente concentrata rappresenterebbe un’affermazione informativa molto forte.
Se i dati non giustificano tale sicurezza, una distribuzione più ampia è la rappresentazione corretta dell’informazione disponibile.
20. L’analogia con lo stato fisico “perfetto” e i molti stati quasi equivalenti
Torniamo all’esempio della meccanica statistica.
Avevamo:
- un unico microstato di energia perfetta;
- mille microstati di energia leggermente superiore.
In inferenza possiamo avere una situazione formalmente analoga:
- una spiegazione estremamente specifica che rende i dati leggermente più probabili;
- una grande famiglia di spiegazioni quasi altrettanto compatibili.
Un criterio che considerasse soltanto il miglior fit potrebbe collassare immediatamente sulla prima spiegazione.
Il termine entropico tiene conto invece dell’intera distribuzione delle possibilità.
La corrispondenza concettuale è:
| Fisica | Inferenza |
|---|---|
| bassa energia | alta compatibilità probabilistica |
| molti microstati accessibili | molte ipotesi ancora plausibili |
| entropia | dispersione/incertezza della distribuzione |
| free energy minima | posterior ottimale |
È un’analogia molto forte a livello matematico, ma la seconda colonna possiede esplicitamente un significato inferenziale che la prima non è obbligata ad avere.
21. Esiste un significato epistemologico in meccanica statistica?
Sì, esiste una lettura importante della meccanica statistica in questo senso, associata soprattutto a Edwin T. Jaynes.
L’idea di fondo è la seguente.
Immaginiamo di non conoscere il microstato preciso di un sistema, ma di conoscere soltanto alcune grandezze macroscopiche, per esempio l’energia media:
\[ \sum_xq(x)E(x)=U. \]Naturalmente imponiamo anche:
\[ \sum_xq(x)=1. \]Esistono moltissime distribuzioni compatibili con queste informazioni. Quale dobbiamo scegliere?
Il principio di massima entropia suggerisce di scegliere quella che massimizza:
\[ H[q] = -\sum_xq(x)\ln q(x) \]compatibilmente con ciò che sappiamo.
L’intuizione epistemologica è:
non introdurre nel modello informazione aggiuntiva che i vincoli disponibili non giustificano.
Applicando il principio di massima entropia sotto il vincolo di energia media, mediante moltiplicatori di Lagrange, si ottiene:
\[ q(x) \propto e^{-\beta E(x)}, \]cioè proprio la distribuzione canonica.
In questa prospettiva la meccanica statistica può essere vista, almeno in parte, come una teoria dell’inferenza razionale sotto informazione incompleta.
22. Entropia fisica ed ignoranza non sono però sinonimi obbligatori
È importante non trasformare la lettura epistemologica in un’identità filosofica obbligatoria.
Dire:
\[ S=-k_B\sum_xp_x\ln p_x \]non obbliga da solo a concludere che l’entropia termodinamica sia semplicemente “ignoranza nella mente di un osservatore”.
In meccanica statistica esistono diverse letture delle probabilità e dell’entropia: ensemble, tipicità, conteggio dei microstati, descrizioni coarse-grained, interpretazioni inferenziali e altre impostazioni fondazionali.
La posizione di Jaynes è particolarmente rilevante per il nostro discorso perché mette in primo piano il carattere inferenziale della distribuzione statistica. Ma non è necessario adottarla integralmente per utilizzare la meccanica statistica.
Conviene quindi distinguere:
- identità matematica: Shannon/Gibbs, KL e distribuzioni esponenziali sono realmente connesse;
- interpretazione epistemologica: la probabilità rappresenta ciò che possiamo razionalmente affermare date informazioni incomplete;
- tesi ontologica: l’entropia sarebbe soltanto ignoranza soggettiva. Quest’ultima non segue automaticamente dalle equazioni.
23. La temperatura come peso del compromesso energia-entropia
Nella meccanica statistica:
\[ F=U-TS. \]La temperatura \(T\) controlla il peso dell’entropia.
Se:
\[ T\rightarrow0, \]il termine \(TS\) diventa relativamente poco importante e il sistema concentra maggiormente la probabilità sugli stati a bassa energia.
Se \(T\) aumenta, il vantaggio entropico diventa più importante.
Equivalentemente:
\[ p(x) \propto e^{-\beta E(x)}, \qquad \beta=\frac{1}{k_BT}. \]Una grande \(\beta\) rende la distribuzione selettiva; una piccola \(\beta\) la rende più piatta.
Questo stesso formalismo compare continuamente nel machine learning sotto i nomi di temperature, inverse temperature e, in certi contesti, precision.
Per esempio:
\[ p_i = \frac{e^{z_i/\tau}} {\sum_j e^{z_j/\tau}}. \]Se la temperatura \(\tau\) è piccola, la softmax diventa molto concentrata sul massimo. Se \(\tau\) è grande, diventa più uniforme.
Ancora una volta, ciò non significa che \(\tau\) sia necessariamente una vera temperatura termodinamica: è lo stesso parametro matematico di scala applicato in un contesto diverso.
24. Il legame con i modelli di apprendimento automatico
Tutto ciò che abbiamo descritto non è specifico dell’Active Inference. È parte centrale del moderno machine learning probabilistico.
Consideriamo un generico modello a variabili latenti:
\[ p_\theta(o,s) = p_\theta(o\mid s)p(s). \]Il parametro \(\theta\) descrive il modello generativo.
Dato un dato \(o\), vorremmo inferire:
\[ p_\theta(s\mid o). \]Se il posterior è intrattabile, introduciamo:
\[ q_\phi(s\mid o). \]Qui \(\phi\) parametrizza il modello di inferenza.
L’obiettivo diventa:
\[ \min_{\phi} F(\theta,\phi;o) \]oppure, equivalentemente:
\[ \max_\phi \mathrm{ELBO}(\theta,\phi;o). \]Possiamo inoltre aggiornare \(\theta\), cioè imparare il modello generativo stesso dai dati:
\[ \max_{\theta,\phi} \mathrm{ELBO}(\theta,\phi;o). \]Abbiamo così due processi concettualmente distinti:
- inferenza: trovare quali stati latenti spiegano un dato;
- apprendimento: modificare il modello generativo affinché spieghi meglio l’insieme dei dati.
25. Il Variational Autoencoder come esempio concreto
Un Variational Autoencoder, o VAE, rende questa struttura particolarmente evidente.
Possiamo schematizzarlo come:
\[ o \xrightarrow{\text{encoder}} q_\phi(s\mid o) \xrightarrow{\text{campionamento}} s \xrightarrow{\text{decoder}} p_\theta(o\mid s). \]L’encoder produce una distribuzione approssimata sugli stati latenti:
\[ q_\phi(s\mid o). \]Il decoder è il modello generativo:
\[ p_\theta(o\mid s). \]Tipicamente esiste anche un prior:
\[ p(s). \]L’ELBO può essere scritta:
\[ \mathrm{ELBO} = \mathbb E_{q_\phi(s\mid o)} [\ln p_\theta(o\mid s)] – D_{\mathrm{KL}} [q_\phi(s\mid o)\Vert p(s)]. \]Il primo termine premia una buona ricostruzione o spiegazione del dato. Il secondo impedisce che la rappresentazione latente si allontani arbitrariamente dal prior.
Poiché:
\[ F=-\mathrm{ELBO}, \]addestrare un VAE significa, in questa terminologia, minimizzare una Variational Free Energy.
Non perché il computer stia dissipando necessariamente una particolare energia termodinamica, ma perché l’obiettivo di ottimizzazione possiede la medesima struttura variazionale probabilistica.
26. Energy-Based Models: il ponte con Boltzmann è ancora più esplicito
Un altro importante insieme di modelli di machine learning è costituito dagli Energy-Based Models.
Si definisce una funzione di energia:
\[ E_\theta(x) \]e una distribuzione:
\[ \boxed{ p_\theta(x) = \frac{ e^{-E_\theta(x)} }{ Z_\theta }. } \]con:
\[ Z_\theta = \int e^{-E_\theta(x)}dx. \]La parentela con la distribuzione di Boltzmann è immediata.
Il modello apprende una superficie energetica:
- dati plausibili ricevono energia bassa;
- dati implausibili ricevono energia alta.
Anche qui la funzione di partizione può diventare computazionalmente difficile, esattamente come la marginalizzazione dell’evidenza è difficile nei modelli bayesiani complessi.
Una parte considerevole del machine learning probabilistico può essere vista, da questo punto di vista, come lo studio di modi efficienti per lavorare con distribuzioni normalizzate o non normalizzate senza calcolare ingenuamente somme e integrali astronomici.
27. Dal machine learning all’Active Inference
L’Active Inference parte dallo stesso nucleo inferenziale, ma aggiunge un elemento decisivo: l’agente può agire sul mondo e quindi modificare le osservazioni future che riceverà.
In un problema temporale il modello generativo può assumere una forma come:
\[ p(o_{1:T},s_{1:T},\pi) = p(\pi) p(s_1) \prod_{t=1}^{T} p(o_t\mid s_t) \prod_{t=1}^{T-1} p(s_{t+1}\mid s_t,a_t). \]Qui:
- \(s_t\) è lo stato nascosto;
- \(o_t\) è l’osservazione;
- \(a_t\) è l’azione;
- \(\pi\) indica una politica o sequenza di azioni;
- \(p(o_t\mid s_t)\) è il modello osservativo;
- \(p(s_{t+1}\mid s_t,a_t)\) è il modello dinamico.
L’agente non deve soltanto rispondere:
\[ \text{“dove sono?”} \]ma anche:
\[ \text{“che cosa accadrà se faccio questo?”} \]e:
\[ \text{“quale azione mi procurerà osservazioni utili?”} \]28. Percezione come inferenza: correggere la credenza
Supponiamo nuovamente:
\[ o=g(s)+\omega, \qquad \omega\sim\mathcal N(0,\Sigma). \]Se l’agente mantiene una stima \(\mu\) dello stato, la previsione sensoriale è:
\[ \hat o=g(\mu). \]Il prediction error è:
\[ \epsilon_o=o-g(\mu). \]Per una likelihood gaussiana, il negativo del logaritmo contiene un termine:
\[ \frac{1}{2} \epsilon_o^T \Sigma^{-1} \epsilon_o. \]La matrice:
\[ \Pi=\Sigma^{-1} \]viene chiamata precisione.
Un errore proveniente da un sensore molto affidabile — piccola varianza, grande precisione — deve pesare più di un errore proveniente da un sensore rumoroso.
Sotto opportune approssimazioni, minimizzare la free energy rispetto alla credenza equivale quindi a correggere lo stato inferito in modo da ridurre prediction errors opportunamente pesati per la loro affidabilità.
\[ \dot\mu = -\kappa_\mu \frac{\partial F}{\partial\mu}. \]In forma intuitiva:
\[ \boxed{ \text{predizione} \rightarrow \text{confronto con il dato} \rightarrow \text{errore} \rightarrow \text{correzione della credenza}. } \]29. Active Inference: non soltanto cambiare la credenza, ma anche agire
Se una previsione sensoriale non coincide con ciò che osserviamo, esistono almeno due modi di diminuire la discrepanza.
Possiamo cambiare la nostra credenza:
\[ \mu\rightarrow\mu’, \]oppure possiamo compiere un’azione che modifichi le osservazioni:
\[ a\rightarrow a’. \]Un semplice esempio è il seguente.
Credo che una tazza si trovi alla mia destra. Posso:
- aggiornare la credenza quando guardando davanti a me non la vedo;
- girare la testa verso destra per ottenere un’osservazione che metta alla prova la predizione.
Per questo l’Active Inference lega percezione e azione all’interno dello stesso modello generativo.
Tuttavia non basta dire che l’agente “riduce prediction error”. Se fosse questo l’unico criterio, un agente potrebbe cercare soltanto situazioni banali e prevedibili. Per scegliere fra futuri possibili occorre rappresentare anche preferenze e valore informativo delle osservazioni.
30. Expected Free Energy: preferenze e informazione futura
La Variational Free Energy \(F\) riguarda principalmente l’inferenza su osservazioni presenti o già ricevute.
Per scegliere azioni future, l’Active Inference introduce invece una quantità prospettica, normalmente indicata con:
\[ G(\pi). \]L’idea essenziale è valutare una politica considerando almeno due aspetti:
- valore pragmatico: conduce a esiti compatibili con le preferenze dell’agente?
- valore epistemico: conduce a osservazioni che ridurranno l’incertezza sugli stati nascosti?
Una rappresentazione delle preferenze può essere:
\[ p_{\mathrm{pref}}(o). \]Un outcome preferito possiede probabilità elevata sotto questa distribuzione e quindi basso costo:
\[ -\ln p_{\mathrm{pref}}(o). \]Il valore informativo di una futura osservazione può invece essere misurato dal cambiamento della credenza:
\[ D_{\mathrm{KL}} \left[ q(s\mid o,\pi) \Vert q(s\mid\pi) \right]. \]Se l’osservazione prevista cambierà molto ciò che l’agente sa sullo stato, questa quantità è grande: l’azione possiede valore epistemico.
In termini intuitivi, l’Active Inference cerca quindi politiche che combinino:
\[ \boxed{ \text{ottenere risultati desiderabili} + \text{ottenere informazione utile}. } \]31. Esempio: due porte
Un agente deve scegliere fra due porte.
Dietro una delle due si trova una ricompensa. L’agente non sa quale. Prima di scegliere può guardare un indicatore luminoso che fornisce informazione probabilistica sulla posizione della ricompensa.
Un agente che considera soltanto il beneficio immediato potrebbe aprire subito una porta.
Un agente che considera anche il valore epistemico può prima osservare l’indicatore, acquisire informazione e solo successivamente scegliere.
L’azione “guardare l’indicatore” non produce direttamente il risultato desiderato, ma modifica:
\[ q(s) \longrightarrow q(s\mid o), \]riducendo l’incertezza e migliorando le decisioni successive.
Questo è un punto importante: nell’Active Inference l’esplorazione non viene necessariamente aggiunta come rumore arbitrario. Può emergere perché alcune azioni sono desiderabili precisamente in quanto informative.
32. Come si costruisce concretamente un modello di Active Inference?
Nel caso discreto vengono spesso introdotti oggetti indicati con \(A,B,C,D\).
Matrice \(A\): modello osservativo
\[ \boxed{ A_{ij} = p(o=i\mid s=j). } \]Dice quali osservazioni sono probabili per ciascuno stato.
Matrice \(B\): dinamica
\[ \boxed{ B^{(a)}_{ij} = p(s_{t+1}=i\mid s_t=j,a_t=a). } \]Descrive come le azioni modificano probabilisticamente lo stato.
Vettore \(D\): prior iniziale
\[ \boxed{ D_j=p(s_1=j). } \]Preferenze \(C\)
Possono codificare quali outcome vengono considerati preferibili, per esempio mediante una distribuzione:
\[ p_{\mathrm{pref}}(o). \]Questi oggetti possono essere specificati a priori, misurati sperimentalmente oppure appresi dai dati.
Nel caso continuo, matrici e tabelle vengono sostituite da funzioni, modelli probabilistici o reti neurali:
\[ o_t = g_\theta(s_t)+\varepsilon_t, \] \[ s_{t+1} = f_\theta(s_t,a_t)+\eta_t. \]Il principio rimane lo stesso.
33. Active Inference e Reinforcement Learning non sono la stessa cosa
Nel Reinforcement Learning tradizionale viene normalmente specificato un reward:
\[ r(s,a,s’). \]L’agente cerca una policy che massimizzi il ritorno atteso:
\[ \mathbb E \left[ \sum_t\gamma^t r_t \right]. \]Nell’Active Inference, invece, il problema viene formulato attraverso un modello generativo, distribuzioni di credenza, preferenze sugli outcome e inferenza sulle politiche.
Le due famiglie possono produrre formulazioni matematicamente vicine in alcuni casi, ma la loro organizzazione concettuale è differente.
Nel RL:
\[ \boxed{\text{azione}\rightarrow\text{massimizzazione del valore}} \]mentre nell’Active Inference:
\[ \boxed{ \text{azione} \rightarrow \text{inferenza su futuri compatibili con preferenze e informazione}. } \]34. Maximum-Entropy Reinforcement Learning e temperatura
Esiste tuttavia un ponte particolarmente interessante con il Maximum-Entropy Reinforcement Learning.
Si può ottimizzare:
\[ \boxed{ J(\pi) = \mathbb E_\pi[Q(s,a)] + \alpha H[\pi(\cdot\mid s)]. } \]Qui il primo termine favorisce azioni di alto valore mentre il secondo impedisce alla policy di diventare immediatamente deterministica.
La soluzione assume una forma di Boltzmann:
\[ \boxed{ \pi^*(a\mid s) = \frac{ e^{Q(s,a)/\alpha} }{ \sum_b e^{Q(s,b)/\alpha} }. } \]Il parametro \(\alpha\) svolge il ruolo matematico di una temperatura:
\[ \alpha\downarrow \quad\Longrightarrow\quad \text{policy più concentrata}, \] \[ \alpha\uparrow \quad\Longrightarrow\quad \text{policy più distribuita}. \]Anche qui troviamo quindi il medesimo schema:
\[ \boxed{ \text{valore} + \text{entropia}. } \]Non bisogna però confondere automaticamente l’entropia della policy con il valore epistemico dell’Active Inference. Una policy casuale è molto entropica, ma non per questo raccoglie informazione utile sul mondo.
35. Il filo comune: ottimizzare sotto informazione incompleta
A questo punto possiamo vedere un tema comune che attraversa discipline molto diverse.
In meccanica statistica
Non conosciamo la traiettoria dettagliata di \(10^{23}\) particelle. Conosciamo grandezze macroscopiche e lavoriamo con distribuzioni sui microstati compatibili.
In statistica bayesiana
Non conosciamo il valore della variabile nascosta. Disponiamo di dati rumorosi e inferiamo una distribuzione posteriore.
Nel machine learning
Non conosciamo la struttura latente che genera i dati e impariamo simultaneamente rappresentazioni e modelli generativi.
Nell’Active Inference
L’agente non conosce completamente lo stato del mondo né le conseguenze future delle azioni. Mantiene credenze, genera predizioni, acquisisce dati e modifica attivamente ciò che potrà osservare.
Il nucleo comune può essere espresso così:
\[ \boxed{ \text{vincoli disponibili} + \text{incertezza residua} \longrightarrow \text{distribuzione ottimale}. } \]36. Perché l’entropia non significa semplicemente “caos”
Nel linguaggio comune l’entropia viene spesso identificata con disordine. È un’intuizione talvolta utile, ma insufficiente.
Nel formalismo probabilistico:
\[ H[p] = -\sum_xp(x)\ln p(x) \]misura quanto la distribuzione è dispersa fra possibilità alternative.
Se:
\[ p(x_1)=1, \]l’entropia è zero: non vi è incertezza sulla variabile.
Se invece \(N\) stati sono equiprobabili:
\[ p(x_i)=\frac1N, \]allora:
\[ H=\ln N. \]L’entropia esprime quindi il numero effettivo di alternative distribuite nella probabilità. In meccanica statistica questo si collega alla molteplicità dei microstati; nell’inferenza si collega all’incertezza della credenza.
37. Un’importante differenza: realtà esterna e rappresentazione interna
Tornando al problema iniziale, dobbiamo distinguere almeno tre livelli:
- stato fisico esterno: ciò che accade nel sistema o nell’ambiente;
- osservazione: ciò che raggiunge i sensori;
- stato latente del modello: la variabile utilizzata dall’agente per spiegare le osservazioni.
Il terzo non deve necessariamente essere una copia perfetta del primo.
Due modelli diversi possono spiegare gli stessi dati mediante rappresentazioni latenti differenti. Ciò introduce questioni di identificabilità: dai dati osservati non sempre è possibile ricostruire un’unica struttura nascosta.
Di conseguenza, quando nell’Active Inference diciamo che un agente “inferisce gli stati del mondo”, una formulazione epistemologicamente più prudente è:
l’agente inferisce gli stati latenti del proprio modello generativo che meglio spiegano le osservazioni ricevute.
Il successo del modello dipende poi da quanto tali stati consentono di predire, controllare e interagire efficacemente con il sistema reale.
38. Tre livelli che non bisogna confondere
A questo punto è essenziale separare tre affermazioni di forza molto diversa.
Livello 1: inferenza variazionale
L’identità:
\[ F[q] = -\ln p(o) + D_{\mathrm{KL}} [q(s)\Vert p(s\mid o)] \]è un risultato matematico standard.
Livello 2: Active Inference come modello computazionale
Possiamo costruire agenti che rappresentano stati nascosti, minimizzano obiettivi variazionali e valutano politiche mediante expected free energy.
Questa è una specifica famiglia di modelli per percezione, apprendimento e controllo.
Livello 3: Free Energy Principle generale
Una tesi più ampia sostiene che certi sistemi persistenti e auto-organizzanti possano, sotto specifiche ipotesi sulla loro dinamica e sulle indipendenze statistiche, essere descritti tramite un formalismo variazionale che ammette un’interpretazione inferenziale.
Quest’ultima affermazione è teoricamente molto più impegnativa.
Non segue dalla sola identità matematica fra KL e free energy che ogni sistema fisico “faccia Bayes”, possieda credenze nel senso psicologico o costruisca consapevolmente rappresentazioni.
39. Dove si colloca il significato epistemologico dell’Active Inference?
Nell’inferenza bayesiana il significato epistemologico è esplicito.
\(q(s)\) rappresenta ciò che un agente o un modello attribuisce come plausibilità agli stati nascosti.
Quando arriva un’osservazione:
\[ q_{\mathrm{prima}}(s) \longrightarrow q_{\mathrm{dopo}}(s\mid o), \]cambia la distribuzione di credenza.
L’information gain:
\[ D_{\mathrm{KL}} [ q_{\mathrm{dopo}} \Vert q_{\mathrm{prima}} ] \]misura quanto l’osservazione ha modificato questa credenza.
Nell’Active Inference un agente può preferire azioni che aumentino proprio tale guadagno informativo.
Per questo il termine “epistemico” è più letterale qui che nella meccanica statistica: si riferisce direttamente a un cambiamento della distribuzione sugli stati nascosti rappresentati dal modello.
40. La corrispondenza più profonda in una sola derivazione
Tutto il percorso può essere condensato in due righe parallele.
Fisica
\[ p_{\mathrm{eq}}(x) = \frac{ e^{-\beta E_{\mathrm{phys}}(x)} }{ Z } \]implica:
\[ \boxed{ \beta\mathcal F_{\mathrm{phys}}[q] = -\ln Z + D_{\mathrm{KL}} [q\Vert p_{\mathrm{eq}}]. } \]Inferenza
\[ p(s\mid o) = \frac{ e^{-[-\ln p(o,s)]} }{ p(o) } \]implica:
\[ \boxed{ F_{\mathrm{var}}[q] = -\ln p(o) + D_{\mathrm{KL}} [q\Vert p(s\mid o)]. } \]Il dizionario matematico è quindi:
\[ \boxed{ \beta E_{\mathrm{phys}} \longleftrightarrow -\ln p(o,s) } \] \[ \boxed{ Z \longleftrightarrow p(o) } \] \[ \boxed{ p_{\mathrm{eq}}(x) \longleftrightarrow p(s\mid o) } \] \[ \boxed{ \beta\mathcal F_{\mathrm{phys}} \longleftrightarrow F_{\mathrm{var}}. } \]Questa è la ragione rigorosa per cui il termine free energy non è una semplice metafora.
Al tempo stesso, la presenza di questa equivalenza formale non rende automaticamente la Variational Free Energy una quantità termodinamica fisica.
41. La lezione epistemologica: sapere significa distribuire possibilità
Il punto di partenza era una semplice distinzione:
\[ \boxed{ \text{mondo} \neq \text{osservazione del mondo}. } \]Da questa distinzione nasce la necessità di rappresentare non soltanto valori, ma distribuzioni di possibilità.
Un agente razionale non deve sempre rispondere:
“lo stato è \(s_1\)”.
Può dover rispondere:
“\(s_1\) è probabile al 60%, \(s_2\) al 35% e \(s_3\) al 5%”.
Questa distribuzione non è una debolezza del modello. È una rappresentazione esplicita dei limiti imposti dall’informazione disponibile.
Da questo punto di vista l’entropia misura quanta pluralità di possibilità rimane, mentre il termine energetico misura quanto ciascuna possibilità sia compatibile con i vincoli o con il modello generativo.
L’energia libera bilancia precisamente questi due aspetti.
42. Schema riassuntivo dell’intero percorso
Possiamo ora seguire la catena completa:
\[ \boxed{ \begin{aligned} &\text{1. Esiste uno stato che non osserviamo direttamente} \\[3pt] &s \\[6pt] &\downarrow \\[6pt] &\text{2. Il mondo produce osservazioni} \\[3pt] &p(o\mid s) \\[6pt] &\downarrow \\[6pt] &\text{3. Costruiamo un modello generativo} \\[3pt] &p(o,s)=p(o\mid s)p(s) \\[6pt] &\downarrow \\[6pt] &\text{4. Vorremmo invertire il modello con Bayes} \\[3pt] &p(s\mid o)=\frac{p(o,s)}{p(o)} \\[6pt] &\downarrow \\[6pt] &\text{5. Ma l’evidenza può essere intrattabile} \\[3pt] &p(o)=\int p(o,s)\,ds \\[6pt] &\downarrow \\[6pt] &\text{6. Introduciamo una distribuzione approssimata} \\[3pt] &q(s) \\[6pt] &\downarrow \\[6pt] &\text{7. Vorremmo minimizzare} \\[3pt] &D_{\mathrm{KL}}[q\Vert p(s\mid o)] \\[6pt] &\downarrow \\[6pt] &\text{8. Riscriviamo lo stesso problema come} \\[3pt] &F[q]=\mathbb E_q[\ln q-\ln p(o,s)] \\[6pt] &\downarrow \\[6pt] &\text{9. Otteniamo} \\[3pt] &F=-\ln p(o)+D_{\mathrm{KL}}[q\Vert p(s\mid o)] \\[6pt] &\downarrow \\[6pt] &\text{10. E riconosciamo la forma energia-entropia} \\[3pt] &F=\mathbb E_q[-\ln p(o,s)]-H[q]. \end{aligned} } \]La meccanica statistica presenta la struttura parallela:
\[ \boxed{ \begin{aligned} &E_{\mathrm{phys}}(x) \\[3pt] &\downarrow \\[3pt] &p_{\mathrm{eq}}(x) = \frac{e^{-\beta E_{\mathrm{phys}}(x)}}{Z} \\[6pt] &\downarrow \\[3pt] &\mathcal F_{\mathrm{phys}}[q] = U[q]-TS[q] \\[6pt] &\downarrow \\[3pt] &\beta\mathcal F_{\mathrm{phys}}[q] = -\ln Z + D_{\mathrm{KL}} [q\Vert p_{\mathrm{eq}}]. \end{aligned} } \]43. Conclusione
L’Active Inference può sembrare inizialmente costruito attraverso una successione poco intuitiva di probabilità, divergenze KL, entropie ed energie libere. In realtà questi concetti emergono uno dopo l’altro da un problema molto concreto.
Un agente non possiede direttamente lo stato del mondo. Possiede osservazioni. Per interpretarle ha bisogno di un modello generativo. Per invertire quel modello usa Bayes. Quando il posterior bayesiano è troppo difficile da calcolare, introduce una distribuzione approssimata \(q\). Per stabilire quanto \(q\) sia buona utilizza la KL. Per evitare di calcolare il posterior normalizzato riscrive l’obiettivo come Variational Free Energy.
A quel punto emerge una forma:
\[ F = \text{energia media} – \text{entropia}. \]Questa forma coincide matematicamente con il principio variazionale della meccanica statistica, una volta che l’energia fisica viene espressa in unità di \(k_BT\).
In fisica, l’energia favorisce microstati energeticamente convenienti mentre l’entropia favorisce la molteplicità delle configurazioni accessibili. Nell’inferenza, il negativo del logaritmo della probabilità favorisce spiegazioni compatibili con modello e dati, mentre l’entropia rappresenta la pluralità residua delle ipotesi.
Il legame può essere espresso nelle due identità:
\[ \boxed{ \beta\mathcal F_{\mathrm{phys}}[q] = -\ln Z + D_{\mathrm{KL}} [q\Vert p_{\mathrm{eq}}] } \]e:
\[ \boxed{ F_{\mathrm{var}}[q] = -\ln p(o) + D_{\mathrm{KL}} [q\Vert p(s\mid o)]. } \]È questa, più di ogni analogia verbale, la ragione profonda della terminologia.
La lettura epistemologica aggiunge poi un ulteriore livello: una distribuzione probabilistica può rappresentare ciò che è razionalmente inferibile sulla base di informazioni incomplete. Il principio di massima entropia di Jaynes rende particolarmente esplicita questa interpretazione della meccanica statistica.
Il machine learning contemporaneo utilizza la stessa architettura matematica: variabili latenti, modelli generativi, posterior intrattabili, distribuzioni approssimate, ELBO, energy-based models e obiettivi regolarizzati dall’entropia.
L’Active Inference aggiunge infine un passaggio decisivo: l’agente non è soltanto uno spettatore che aggiorna le proprie credenze. Può agire per modificare le osservazioni future, perseguire outcome preferiti e ottenere nuova informazione.
Il filo conduttore che collega statistica, fisica, apprendimento automatico e Active Inference può quindi essere riassunto in una frase:
quando non conosciamo direttamente lo stato di un sistema, dobbiamo distribuire la nostra descrizione fra possibilità alternative; energia, entropia e principi variazionali forniscono un linguaggio matematico per stabilire quali distribuzioni siano compatibili con i vincoli, con i dati e con le dinamiche disponibili.
Riferimenti essenziali
- E. T. Jaynes, Information Theory and Statistical Mechanics, Physical Review 106, 620–630 (1957). Testo dell’articolo .
- E. T. Jaynes, Information Theory and Statistical Mechanics II, Physical Review 108 (1957). Testo dell’articolo .
- D. M. Blei, A. Kucukelbir, J. D. McAuliffe, Variational Inference: A Review for Statisticians, Journal of the American Statistical Association 112 (2017). arXiv .
- D. P. Kingma, M. Welling, Auto-Encoding Variational Bayes. arXiv .
- K. Friston, L. Da Costa, N. Sajid, C. Heins, K. Ueltzhöffer, G. A. Pavliotis, T. Parr, The Free Energy Principle Made Simpler but Not Too Simple. arXiv .
- N. Sajid, L. Da Costa, T. Parr, K. Friston, Active Inference, Bayesian Optimal Design, and Expected Utility. arXiv .
- T. Haarnoja, A. Zhou, P. Abbeel, S. Levine, Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. arXiv .
- Approfondimento di partenza: Reinforcement Learning, Active Inference e Auto-organizzazione. HUMAI .