La divergenza di Kullback-Leibler: significato, proprietà, esempi e usi

Condividi con i tuoi amici...

La divergenza di Kullback-Leibler, spesso abbreviata in KL, è una delle grandezze fondamentali della teoria dell’informazione, della statistica, del machine learning e dell’inferenza bayesiana. Non misura semplicemente quanto due distribuzioni siano “diverse”. Misura qualcosa di più preciso: il costo informativo medio che si paga quando si usa una distribuzione probabilistica \(Q\) al posto della distribuzione vera \(P\).

Intuitivamente, \(D_{KL}(P\Vert Q)\) risponde alla domanda: quanto spreco, in media, se il mondo segue \(P\), ma io ragiono come se seguisse \(Q\)?

Questa interpretazione spiega perché la KL non è una distanza ordinaria: la frase “uso \(Q\) quando la realtà è \(P\)” non è simmetrica. Usare un modello sbagliato in una direzione non ha lo stesso costo che usarlo nella direzione opposta.

1. Origine storica e finalità della KL

La divergenza di Kullback-Leibler nasce nel 1951 con Solomon Kullback e Richard Leibler, nell’articolo On Information and Sufficiency. Il contesto era quello della statistica matematica e della teoria dell’informazione. Lo scopo originario non era definire una distanza geometrica tra distribuzioni, ma quantificare l’informazione per discriminare tra due ipotesi probabilistiche.

Se una distribuzione \(P\) rappresenta l’ipotesi vera e \(Q\) un’ipotesi alternativa, la KL misura quanta evidenza media un’osservazione generata da \(P\) fornisce contro \(Q\). Per questo motivo la KL appare naturalmente nei test statistici, nel rapporto di verosimiglianza, nella sufficienza statistica e nell’inferenza.

Il legame con Claude Shannon è profondo. Shannon, nel 1948, aveva introdotto l’entropia come misura dell’incertezza media di una sorgente informativa. La KL può essere vista come una generalizzazione relativa dell’entropia: non misura soltanto l’incertezza di una distribuzione, ma la perdita informativa dovuta all’uso di una distribuzione al posto di un’altra.

2. Definizione discreta

Siano \(P\) e \(Q\) due distribuzioni di probabilità su uno stesso spazio discreto \(\mathcal{X}\). La divergenza di Kullback-Leibler di \(Q\) da \(P\) è:

\[ D_{KL}(P\Vert Q) = \sum_{x\in\mathcal{X}} P(x)\log\frac{P(x)}{Q(x)}. \]

Equivalentemente:

\[ D_{KL}(P\Vert Q) = \mathbb{E}_{X\sim P} \left[ \log\frac{P(X)}{Q(X)} \right]. \]

La media è fatta rispetto a \(P\). Questo è cruciale: la KL valuta l’errore del modello \(Q\) pesando gli eventi secondo quanto sono probabili nella realtà \(P\).

Se il logaritmo è in base \(2\), la KL si misura in bit. Se il logaritmo è naturale, si misura in nat.

3. Definizione continua

Se \(P\) e \(Q\) hanno densità \(p(x)\) e \(q(x)\) rispetto a una stessa misura di riferimento, allora:

\[ D_{KL}(P\Vert Q) = \int p(x)\log\frac{p(x)}{q(x)}\,dx. \]

Anche nel caso continuo:

\[ D_{KL}(P\Vert Q) = \mathbb{E}_{P} \left[ \log\frac{p(X)}{q(X)} \right]. \]

Nel continuo bisogna ricordare che \(p(x)\) e \(q(x)\) sono densità, non probabilità puntuali. La KL resta però interpretabile come valore medio del log-rapporto tra la densità vera e quella approssimata.

4. Condizione di supporto e divergenza infinita

Una proprietà essenziale riguarda gli eventi ai quali \(Q\) assegna probabilità nulla. Se esiste un evento \(x\) tale che:

\[ P(x)>0, \qquad Q(x)=0, \]

allora:

\[ D_{KL}(P\Vert Q)=+\infty. \]

Il motivo è semplice: il modello \(Q\) considera impossibile un evento che invece può accadere secondo la realtà \(P\). Dal punto di vista informativo, questo è un errore catastrofico.

Se la realtà può produrre un evento, un buon modello non deve assegnargli probabilità zero. La KL forward punisce duramente questo tipo di errore.

5. Interpretazione tramite codifica

Una delle interpretazioni più importanti della KL viene dalla teoria della codifica. Se una sorgente produce simboli secondo \(P\), il codice ottimale assegna a un simbolo \(x\) una lunghezza approssimativa:

\[ -\log P(x). \]

La lunghezza media ottimale è l’entropia di Shannon:

\[ H(P) = -\sum_x P(x)\log P(x). \]

Se però si usa un codice costruito credendo che la distribuzione sia \(Q\), la lunghezza assegnata a \(x\) diventa:

\[ -\log Q(x). \]

La lunghezza media diventa la cross-entropy:

\[ H(P,Q) = -\sum_x P(x)\log Q(x). \]

La KL è la differenza tra la lunghezza media ottenuta usando il codice sbagliato e quella ottimale:

\[ D_{KL}(P\Vert Q) = H(P,Q)-H(P). \]

Quindi la KL è il numero medio di bit, o nat, in più che servono per codificare dati generati da \(P\) usando un codice ottimizzato per \(Q\).

6. Relazione con Shannon

Shannon introduce l’entropia:

\[ H(P) = -\sum_x P(x)\log P(x). \]

L’entropia misura l’incertezza media interna a una distribuzione. La KL misura invece una discrepanza informativa tra due distribuzioni:

\[ D_{KL}(P\Vert Q) = \sum_x P(x)\log\frac{P(x)}{Q(x)}. \]

Riscrivendo:

\[ D_{KL}(P\Vert Q) = \sum_x P(x)\log P(x) – \sum_x P(x)\log Q(x), \]

si ottiene:

\[ D_{KL}(P\Vert Q) = H(P,Q)-H(P). \]

Shannon misura quanta informazione media contiene una sorgente. Kullback-Leibler misura quanto costa descrivere, stimare o prevedere quella sorgente usando una distribuzione diversa da quella vera.

7. Esempio numerico: moneta truccata

Supponiamo che la vera distribuzione di una moneta sia:

\[ P(T)=0.8, \qquad P(C)=0.2. \]

Ma il modello \(Q\) la considera equa:

\[ Q(T)=0.5, \qquad Q(C)=0.5. \]

Allora:

\[ D_{KL}(P\Vert Q) = 0.8\log_2\frac{0.8}{0.5} + 0.2\log_2\frac{0.2}{0.5}. \]

Poiché:

\[ \log_2(1.6)\approx 0.6781, \qquad \log_2(0.4)\approx -1.3219, \]

otteniamo:

\[ D_{KL}(P\Vert Q) = 0.8(0.6781)+0.2(-1.3219) \approx 0.2781 \text{ bit}. \]

Interpretazione: usando il modello della moneta equa quando la moneta vera produce testa con probabilità \(0.8\), si sprecano in media circa \(0.2781\) bit per lancio.

8. La KL non è simmetrica

In generale:

\[ D_{KL}(P\Vert Q) \neq D_{KL}(Q\Vert P). \]

Nell’esempio precedente:

\[ P=(0.8,0.2), \qquad Q=(0.5,0.5). \]

Abbiamo:

\[ D_{KL}(P\Vert Q)\approx 0.2781. \]

Invece:

\[ D_{KL}(Q\Vert P) = 0.5\log_2\frac{0.5}{0.8} + 0.5\log_2\frac{0.5}{0.2} \approx 0.3219. \]

Le due domande sono diverse:

\(D_{KL}(P\Vert Q)\): quanto costa usare \(Q\) quando la realtà è \(P\)?
\(D_{KL}(Q\Vert P)\): quanto costa usare \(P\) quando la realtà è \(Q\)?

9. Proprietà fondamentali

9.1 Non negatività

La divergenza KL soddisfa:

\[ D_{KL}(P\Vert Q)\geq 0. \]

Inoltre:

\[ D_{KL}(P\Vert Q)=0 \quad\Longleftrightarrow\quad P=Q \]

quasi ovunque. Questa proprietà deriva dalla disuguaglianza di Gibbs, o equivalentemente dalla convessità della funzione logaritmica.

9.2 Non è una metrica

La KL non è una distanza metrica perché:

non è simmetrica;
non soddisfa in generale la disuguaglianza triangolare;
può essere infinita.

Per questo si chiama divergenza, non distanza.

9.3 Additività per variabili indipendenti

Se:

\[ P(x,y)=P_1(x)P_2(y), \qquad Q(x,y)=Q_1(x)Q_2(y), \]

allora:

\[ D_{KL}(P_1P_2\Vert Q_1Q_2) = D_{KL}(P_1\Vert Q_1) + D_{KL}(P_2\Vert Q_2). \]

L’errore informativo totale di due componenti indipendenti è la somma degli errori informativi separati.

9.4 Convessità

La KL è congiuntamente convessa:

\[ D_{KL} \left( \lambda P_1+(1-\lambda)P_2 \Vert \lambda Q_1+(1-\lambda)Q_2 \right) \] \[ \leq \lambda D_{KL}(P_1\Vert Q_1) + (1-\lambda)D_{KL}(P_2\Vert Q_2). \]

Questa proprietà è importante in ottimizzazione, machine learning, teoria dell’informazione e inferenza variazionale.

10. Relazione con la mutua informazione

La mutua informazione tra due variabili casuali \(X\) e \(Y\) misura quanta informazione \(X\) contiene su \(Y\), e viceversa. Si definisce tramite la KL:

\[ I(X;Y) = D_{KL}(P_{X,Y}\Vert P_XP_Y). \]

Qui \(P_{X,Y}\) è la distribuzione congiunta reale, mentre \(P_XP_Y\) è la distribuzione che si avrebbe se \(X\) e \(Y\) fossero indipendenti.

La mutua informazione misura quanto la distribuzione congiunta reale si discosta dall’indipendenza.

Se \(X\) e \(Y\) sono indipendenti:

\[ P_{X,Y}=P_XP_Y, \]

quindi:

\[ I(X;Y)=0. \]

Sono equivalenti anche le formule:

\[ I(X;Y)=H(X)+H(Y)-H(X,Y), \] \[ I(X;Y)=H(X)-H(X\mid Y), \] \[ I(X;Y)=H(Y)-H(Y\mid X). \]

Quindi la mutua informazione è anche la riduzione media dell’incertezza su una variabile quando si conosce l’altra.

11. Esempio numerico di mutua informazione

Consideriamo due variabili binarie con distribuzione congiunta:

	\(Y=0\)	\(Y=1\)
\(X=0\)	0.4	0.1
\(X=1\)	0.1	0.4

Le marginali sono:

\[ P_X(0)=P_X(1)=0.5, \qquad P_Y(0)=P_Y(1)=0.5. \]

Se fossero indipendenti, ogni cella varrebbe \(0.25\). La mutua informazione è:

\[ I(X;Y) = \sum_{x,y}P(x,y) \log_2\frac{P(x,y)}{P_X(x)P_Y(y)}. \]

Quindi:

\[ I(X;Y) = 2\cdot 0.4\log_2(1.6) + 2\cdot 0.1\log_2(0.4) \approx 0.2781\text{ bit}. \]

Conoscere \(X\) riduce l’incertezza media su \(Y\) di circa \(0.2781\) bit.

12. KL e statistica: confronto tra modelli

In statistica si immagina spesso che i dati siano generati da una distribuzione vera \(P\), mentre noi proponiamo una famiglia parametrica:

\[ \{Q_\theta:\theta\in\Theta\}. \]

Il miglior parametro, nel senso KL, è:

\[ \theta^\ast = \arg\min_\theta D_{KL}(P\Vert Q_\theta). \]

Poiché:

\[ D_{KL}(P\Vert Q_\theta) = \mathbb{E}_P[\log P(X)] – \mathbb{E}_P[\log Q_\theta(X)], \]

e il primo termine non dipende da \(\theta\), minimizzare la KL equivale a massimizzare:

\[ \mathbb{E}_P[\log Q_\theta(X)]. \]

Se abbiamo dati osservati \(x_1,\dots,x_n\), stimiamo questa quantità con:

\[ \frac1n\sum_{i=1}^{n}\log Q_\theta(x_i). \]

Massimizzare questa somma è il principio della massima verosimiglianza. Dunque, asintoticamente, la massima verosimiglianza cerca il modello parametrico che minimizza la KL dalla distribuzione vera al modello.

13. Esempio statistico: Bernoulli

Sia:

\[ P=\operatorname{Bern}(p), \qquad Q=\operatorname{Bern}(\theta). \]

Allora:

\[ D_{KL}(\operatorname{Bern}(p)\Vert \operatorname{Bern}(\theta)) = p\log\frac{p}{\theta} + (1-p)\log\frac{1-p}{1-\theta}. \]

Se \(p=0.7\) e \(\theta=0.5\), usando logaritmi in base \(2\):

\[ D_{KL} = 0.7\log_2(1.4) + 0.3\log_2(0.6) \approx 0.1187\text{ bit}. \]

Se invece \(\theta=0.65\):

\[ D_{KL} = 0.7\log_2\frac{0.7}{0.65} + 0.3\log_2\frac{0.3}{0.35} \approx 0.0081\text{ bit}. \]

Il modello con \(\theta=0.65\) è molto più vicino alla vera distribuzione \(\operatorname{Bern}(0.7)\).

14. KL tra due gaussiane

Se:

\[ P=\mathcal{N}(\mu_0,\sigma_0^2), \qquad Q=\mathcal{N}(\mu_1,\sigma_1^2), \]

allora:

\[ D_{KL}(P\Vert Q) = \log\frac{\sigma_1}{\sigma_0} + \frac{\sigma_0^2+(\mu_0-\mu_1)^2}{2\sigma_1^2} – \frac12. \]

Per esempio:

\[ P=\mathcal{N}(0,1), \qquad Q=\mathcal{N}(1,1). \]

Allora:

\[ D_{KL}(P\Vert Q) = 0+ \frac{1+(0-1)^2}{2} – \frac12 = \frac12. \]

Quindi la perdita è \(0.5\) nat per osservazione.

15. KL, trasformazioni e principio di sufficienza

Uno dei temi centrali del lavoro originario di Kullback e Leibler riguarda la sufficienza statistica. Supponiamo di osservare una variabile \(X\), ma poi di conservarne solo una trasformazione:

\[ T=f(X). \]

Le distribuzioni \(P_X\) e \(Q_X\) inducono distribuzioni \(P_T\) e \(Q_T\). La data processing inequality per la KL dice:

\[ D_{KL}(P_X\Vert Q_X) \geq D_{KL}(P_T\Vert Q_T). \]

Cioè: trasformare o comprimere i dati non può aumentare l’informazione disponibile per distinguere \(P\) da \(Q\).

15.1 Trasformazioni iniettive

Se \(f\) è iniettiva, allora valori diversi di \(X\) producono valori diversi di \(T\). Sapendo \(T\), si può ricostruire \(X\). In tal caso:

\[ D_{KL}(P_X\Vert Q_X) = D_{KL}(P_T\Vert Q_T). \]

Non si perde informazione.

15.2 Trasformazioni non iniettive

Se \(f\) è non iniettiva, più valori di \(X\) vengono fusi nello stesso valore di \(T\). In generale questo produce perdita informativa.

La decomposizione precisa è:

\[ D_{KL}(P_X\Vert Q_X) = D_{KL}(P_T\Vert Q_T) + \mathbb{E}_{t\sim P_T} \left[ D_{KL} \left( P_{X\mid T=t} \Vert Q_{X\mid T=t} \right) \right]. \]

Il secondo termine misura la KL che si perde dentro le fibre della trasformazione, cioè dentro gli insiemi di valori di \(X\) che vengono fusi nello stesso \(t\).

La trasformazione non perde informazione discriminante se e solo se: \[ P_{X\mid T=t}=Q_{X\mid T=t} \] per quasi ogni \(t\). In parole semplici: una volta noto \(T\), \(P\) e \(Q\) distribuiscono allo stesso modo i valori originari di \(X\) dentro ogni gruppo fuso.

15.3 Esempio di perdita totale

Sia:

\[ P_X=(0.4,0.1,0.1,0.4), \qquad Q_X=(0.25,0.25,0.25,0.25). \]

Si calcola:

\[ D_{KL}(P_X\Vert Q_X)\approx 0.2781\text{ bit}. \]

Ora definiamo una trasformazione non iniettiva:

\[ f(1)=A,\quad f(2)=A, \qquad f(3)=B,\quad f(4)=B. \]

Allora:

\[ P_T(A)=0.5,\quad P_T(B)=0.5, \] \[ Q_T(A)=0.5,\quad Q_T(B)=0.5. \]

Quindi:

\[ D_{KL}(P_T\Vert Q_T)=0. \]

La trasformazione ha cancellato tutta l’informazione che permetteva di distinguere \(P\) da \(Q\).

15.4 Sufficienza: esempio Bernoulli

Siano:

\[ X_1,\dots,X_n\sim \operatorname{Bernoulli}(\theta) \]

indipendenti. La statistica:

\[ T(X)=\sum_{i=1}^{n}X_i \]

conta il numero di successi. È una trasformazione non iniettiva, perché molte sequenze diverse hanno lo stesso numero di successi. Per esempio:

\[ (1,0,0),\quad (0,1,0),\quad (0,0,1) \]

hanno tutte \(T=1\). Tuttavia \(T\) è sufficiente per \(\theta\). Infatti:

\[ P_\theta(x) = \theta^{\sum_i x_i}(1-\theta)^{n-\sum_i x_i}, \]

che dipende dai dati solo tramite \(\sum_i x_i\).

Inoltre, dato \(T=k\), tutte le sequenze con \(k\) successi hanno probabilità:

\[ P_\theta(X=x\mid T=k)=\frac{1}{\binom{n}{k}}, \]

indipendente da \(\theta\). Quindi, per ogni \(\theta_1,\theta_2\):

\[ D_{KL}(P_{\theta_1,X}\Vert P_{\theta_2,X}) = D_{KL}(P_{\theta_1,T}\Vert P_{\theta_2,T}). \]

La statistica \(T\), pur essendo non iniettiva, non perde informazione sul parametro.

16. Forward KL e reverse KL

La direzione della KL è fondamentale. La forward KL è:

\[ D_{KL}(P\Vert Q) = \mathbb{E}_{P} \left[ \log\frac{P(X)}{Q(X)} \right]. \]

La reverse KL è:

\[ D_{KL}(Q\Vert P) = \mathbb{E}_{Q} \left[ \log\frac{Q(X)}{P(X)} \right]. \]

16.1 Forward KL: penalizza \(Q\to 0\) dove \(P>0\)

Se:

\[ P(x)>0, \qquad Q(x)\to 0, \]

allora:

\[ \log\frac{P(x)}{Q(x)}\to +\infty. \]

Quindi \(D_{KL}(P\Vert Q)\) punisce duramente un modello \(Q\) che assegna probabilità molto bassa, o nulla, a eventi possibili secondo \(P\).

Questo comportamento è detto mode-covering: \(Q\) è spinto a coprire tutte le regioni dove \(P\) ha massa.

16.2 Quando scegliere la forward KL

La forward KL si sceglie quando è grave ignorare eventi reali. È naturale in:

massima verosimiglianza;
classificazione supervisionata;
cross-entropy loss;
modelli generativi che devono coprire la diversità dei dati;
previsione di eventi rari ma importanti;
rischio finanziario, medicina, sicurezza, anomalie industriali.

Se i dati vengono da \(P\) e il modello è \(Q_\theta\), minimizzare:

\[ D_{KL}(P\Vert Q_\theta) \]

equivale a dare probabilità alta a ciò che si osserva realmente.

16.3 Reverse KL: penalizza \(P\to 0\) dove \(Q>0\)

Nella reverse KL:

\[ D_{KL}(Q\Vert P) = \sum_x Q(x)\log\frac{Q(x)}{P(x)}. \]

Se:

\[ Q(x)>0, \qquad P(x)\to 0, \]

allora la divergenza esplode. Quindi la reverse KL punisce un’approssimazione \(Q\) che mette massa dove il target \(P\) non ne mette.

Questo comportamento è detto mode-seeking: \(Q\) tende a concentrarsi su regioni altamente plausibili secondo \(P\), anche a costo di ignorare altri modi.

16.4 Quando scegliere la reverse KL

La reverse KL è naturale quando:

si vuole un’approssimazione compatta di una distribuzione complicata;
si può campionare da \(Q\);
si può valutare \(P\) almeno fino a costante;
è grave mettere massa in regioni impossibili o altamente improbabili;
si fa inferenza variazionale bayesiana.

16.5 Esempio intuitivo: distribuzione bimodale

Supponiamo:

\[ P = \frac12\mathcal{N}(-5,1) + \frac12\mathcal{N}(5,1). \]

Quindi \(P\) ha due picchi. Supponiamo però che \(Q\) debba essere una sola gaussiana:

\[ Q=\mathcal{N}(\mu,\sigma^2). \]

Minimizzare \(D_{KL}(P\Vert Q)\) tende a scegliere una gaussiana larga, centrata circa in \(0\), che copra entrambi i modi. Questo è mode-covering.

Minimizzare \(D_{KL}(Q\Vert P)\) tende invece a scegliere uno solo dei due picchi, per esempio \(\mu\approx -5\) oppure \(\mu\approx 5\). Questo è mode-seeking.

17. Cross-entropy e machine learning

Nel machine learning, specialmente nella classificazione, il modello predice una distribuzione:

\[ Q_\theta(y\mid x). \]

La distribuzione vera delle etichette è:

\[ P(y\mid x). \]

La cross-entropy è:

\[ H(P,Q_\theta) = -\sum_y P(y\mid x)\log Q_\theta(y\mid x). \]

Poiché:

\[ H(P,Q_\theta) = H(P)+D_{KL}(P\Vert Q_\theta), \]

minimizzare la cross-entropy equivale a minimizzare la forward KL, dato che \(H(P)\) non dipende dal modello.

Nel caso one-hot, se la classe vera è \(y=3\), allora \(P(y=3)=1\) e:

\[ H(P,Q_\theta) = -\log Q_\theta(y=3\mid x). \]

Il modello viene punito molto se assegna probabilità bassa alla classe corretta.

18. KL locale e informazione di Fisher

Un legame profondo della KL è con l’informazione di Fisher. Consideriamo una famiglia parametrica liscia:

\[ p_\theta(x), \qquad \theta\in\mathbb{R}^d. \]

Se confrontiamo due parametri vicini, \(\theta\) e \(\theta+\delta\), allora:

\[ D_{KL}(p_\theta\Vert p_{\theta+\delta}) \approx \frac12\delta^T I(\theta)\delta. \]

Qui \(I(\theta)\) è la matrice di informazione di Fisher.

18.1 Score function

La score function è:

\[ s_\theta(x) = \nabla_\theta \log p_\theta(x). \]

Nel caso scalare:

\[ s_\theta(x) = \frac{\partial}{\partial\theta}\log p_\theta(x). \]

18.2 Definizione di Fisher information

La matrice di Fisher è:

\[ I(\theta) = \mathbb{E}_{p_\theta} \left[ s_\theta(X)s_\theta(X)^T \right]. \]

Nel caso scalare:

\[ I(\theta) = \mathbb{E}_{p_\theta} \left[ \left( \frac{\partial}{\partial\theta}\log p_\theta(X) \right)^2 \right]. \]

Sotto condizioni regolari:

\[ I(\theta) = – \mathbb{E}_{p_\theta} \left[ \nabla_\theta^2\log p_\theta(X) \right]. \]

La Fisher information misura quanto la distribuzione cambia al variare del parametro. Se un piccolo cambiamento di \(\theta\) cambia molto la distribuzione, la Fisher è grande.

18.3 Derivazione della relazione locale

Partiamo da:

\[ D_{KL}(p_\theta\Vert p_{\theta+\delta}) = \mathbb{E}_{p_\theta} \left[ \log p_\theta(X)-\log p_{\theta+\delta}(X) \right]. \]

Espandiamo \(\log p_{\theta+\delta}(x)\) intorno a \(\theta\):

\[ \log p_{\theta+\delta}(x) = \log p_\theta(x) + \delta^T\nabla_\theta\log p_\theta(x) + \frac12\delta^T \nabla_\theta^2\log p_\theta(x) \delta + o(\|\delta\|^2). \]

Sostituendo nella KL e prendendo l’attesa sotto \(p_\theta\), il termine lineare scompare perché:

\[ \mathbb{E}_{p_\theta} [ \nabla_\theta\log p_\theta(X) ] = 0. \]

Rimane:

\[ D_{KL}(p_\theta\Vert p_{\theta+\delta}) = \frac12\delta^T I(\theta)\delta + o(\|\delta\|^2). \]

Dunque la Fisher information è la geometria locale della KL nello spazio dei modelli.

18.4 Esempio Fisher: Bernoulli

Sia:

\[ X\sim \operatorname{Bernoulli}(\theta). \]

La probabilità è:

\[ p_\theta(x) = \theta^x(1-\theta)^{1-x}. \]

La log-verosimiglianza è:

\[ \log p_\theta(x) = x\log\theta+(1-x)\log(1-\theta). \]

La score è:

\[ \frac{\partial}{\partial\theta}\log p_\theta(x) = \frac{x}{\theta} – \frac{1-x}{1-\theta}. \]

Quindi:

\[ I(\theta) = \theta\left(\frac1\theta\right)^2 + (1-\theta)\left(\frac1{1-\theta}\right)^2 = \frac1{\theta(1-\theta)}. \]

Per piccoli \(\delta\):

\[ D_{KL} ( \operatorname{Bern}(\theta) \Vert \operatorname{Bern}(\theta+\delta) ) \approx \frac12 \frac{\delta^2}{\theta(1-\theta)}. \]

Se \(\theta=0.5\) e \(\delta=0.1\):

\[ D_{KL} \approx \frac12 \frac{0.01}{0.25} = 0.02 \]

nat. La KL esatta è circa \(0.0204\) nat, quindi l’approssimazione locale è molto buona.

18.5 Fisher e limite di Cramér-Rao

Per \(n\) osservazioni indipendenti:

\[ I_n(\theta)=nI(\theta). \]

Il limite di Cramér-Rao dice che, per uno stimatore non distorto \(\hat{\theta}\):

\[ \operatorname{Var}(\hat{\theta}) \geq \frac1{I_n(\theta)}. \]

Nel caso Bernoulli:

\[ I_n(\theta) = \frac{n}{\theta(1-\theta)}, \]

quindi:

\[ \operatorname{Var}(\hat{\theta}) \geq \frac{\theta(1-\theta)}{n}. \]

Lo stimatore campionario:

\[ \hat{\theta}=\frac1n\sum_{i=1}^{n}X_i \]

ha proprio questa varianza.

19. KL e test statistici

Nel confronto tra due ipotesi:

\[ H_0:X\sim Q, \qquad H_1:X\sim P, \]

il log-likelihood ratio è:

\[ \log\frac{P(X)}{Q(X)}. \]

La sua media sotto \(P\) è:

\[ \mathbb{E}_{P} \left[ \log\frac{P(X)}{Q(X)} \right] = D_{KL}(P\Vert Q). \]

Quindi la KL misura il tasso medio con cui i dati generati da \(P\) accumulano evidenza contro \(Q\).

Per osservazioni indipendenti:

\[ D_{KL}(P^{\otimes n}\Vert Q^{\otimes n}) = nD_{KL}(P\Vert Q). \]

L’evidenza media cresce linearmente con il numero di osservazioni.

20. Bayes variazionale: \(Q\) approssima la posterior vera \(P\)

In inferenza bayesiana abbiamo dati osservati \(x\), variabili latenti o parametri \(z\), una prior \(p(z)\), una likelihood \(p(x\mid z)\), e una posterior:

\[ p(z\mid x) = \frac{p(x,z)}{p(x)}. \]

Dove:

\[ p(x,z)=p(x\mid z)p(z), \qquad p(x)=\int p(x,z)\,dz. \]

Spesso l’evidenza \(p(x)\) è intrattabile. Il Bayes variazionale introduce una famiglia semplice di distribuzioni:

\[ \mathcal{Q}=\{q_\phi(z):\phi\in\Phi\}. \]

Qui:

\(P=p(z\mid x)\) è la posterior vera;
\(Q=q_\phi(z)\) è l’approssimazione trattabile.

La VI classica cerca:

\[ \phi^\ast = \arg\min_\phi D_{KL}(q_\phi(z)\Vert p(z\mid x)). \]

Questa è una reverse KL.

20.1 Perché compare l’ELBO

Scriviamo:

\[ D_{KL}(q_\phi(z)\Vert p(z\mid x)) = \mathbb{E}_{q_\phi} \left[ \log\frac{q_\phi(z)}{p(z\mid x)} \right]. \]

Poiché:

\[ \log p(z\mid x) = \log p(x,z)-\log p(x), \]

otteniamo:

\[ D_{KL}(q_\phi(z)\Vert p(z\mid x)) = \mathbb{E}_{q_\phi} [ \log q_\phi(z)-\log p(x,z) ] + \log p(x). \]

Definiamo l’ELBO:

\[ \mathcal{L}(\phi) = \mathbb{E}_{q_\phi} [ \log p(x,z)-\log q_\phi(z) ]. \]

Allora:

\[ \log p(x) = \mathcal{L}(\phi) + D_{KL}(q_\phi(z)\Vert p(z\mid x)). \]

Poiché la KL è non negativa:

\[ \mathcal{L}(\phi)\leq \log p(x). \]

Massimizzare l’ELBO equivale quindi a minimizzare la reverse KL tra approssimazione variazionale e posterior vera.

20.2 Interpretazione dell’ELBO

Usando:

\[ p(x,z)=p(x\mid z)p(z), \]

l’ELBO diventa:

\[ \mathcal{L}(\phi) = \mathbb{E}_{q_\phi} [ \log p(x\mid z) ] – D_{KL}(q_\phi(z)\Vert p(z)). \]

Il primo termine premia valori di \(z\) che spiegano bene i dati. Il secondo penalizza approssimazioni posteriori troppo lontane dalla prior.

L’ELBO bilancia accuratezza e complessità: spiegare bene i dati, ma senza allontanarsi inutilmente dalla prior.

20.3 Conseguenza della reverse KL in VI

Poiché la VI classica minimizza:

\[ D_{KL}(q_\phi\Vert p), \]

tende a evitare regioni dove la posterior vera \(p\) è bassa. Se la posterior è multimodale e \(q_\phi\) è troppo semplice, per esempio una sola gaussiana, l’approssimazione può concentrarsi su un solo modo e ignorare gli altri.

Vantaggio:

approssimazione efficiente;
concentrazione in regioni plausibili;
ottimizzazione spesso trattabile.

Svantaggio:

possibile sottostima dell’incertezza;
possibile perdita di modi posteriori alternativi;
rappresentazione troppo concentrata della posterior.

21. Forward KL in Bayes e metodi alternativi

Si potrebbe voler minimizzare:

\[ D_{KL}(p(z\mid x)\Vert q_\phi(z)). \]

Questa è una forward KL, o inclusive KL, perché spinge \(q_\phi\) a coprire tutte le regioni in cui la posterior vera ha massa.

Il problema è che richiede aspettative sotto \(p(z\mid x)\), proprio la distribuzione difficile da calcolare. Per questo la reverse KL è molto comune nella VI classica.

Direzione	Formula	Comportamento	Rischio
Forward KL	\(D_{KL}(P\Vert Q)\)	Copre i modi di \(P\)	Mette massa anche in zone intermedie poco probabili
Reverse KL	\(D_{KL}(Q\Vert P)\)	Cerca regioni ad alta densità di \(P\)	Può ignorare modi e sottostimare l’incertezza

22. Quando si usa la KL

La divergenza KL è usata in molti contesti:

Teoria dell’informazione: misura inefficienza di codifica, informazione per discriminare distribuzioni, mutua informazione.
Statistica: confronto tra modelli, massima verosimiglianza, test di ipotesi, sufficienza.
Machine learning: cross-entropy, classificazione, modelli generativi, distillazione, regolarizzazione.
Inferenza bayesiana: approssimazione della posterior, ELBO, inferenza variazionale.
Geometria dell’informazione: relazione locale con la Fisher information.
Reinforcement learning: vincoli KL tra politiche, controllo della distanza tra policy vecchie e nuove.

23. Schema concettuale conclusivo

La divergenza di Kullback-Leibler è:

\[ D_{KL}(P\Vert Q) = \mathbb{E}_P \left[ \log\frac{P(X)}{Q(X)} \right]. \]

Le sue interpretazioni principali sono:

Codifica: bit medi extra usando un codice ottimizzato per \(Q\) quando la sorgente è \(P\).
Statistica: discrepanza tra distribuzione vera e modello.
Inferenza: criterio per scegliere il modello più vicino alla realtà.
Test: evidenza media accumulata a favore di \(P\) contro \(Q\).
Informazione: base della mutua informazione e della sufficienza.
Geometria: localmente induce la metrica di Fisher.

Il legame con Shannon è:

\[ D_{KL}(P\Vert Q) = H(P,Q)-H(P). \]

Il legame con la mutua informazione è:

\[ I(X;Y) = D_{KL}(P_{X,Y}\Vert P_XP_Y). \]

Il legame con la sufficienza è:

\[ D_{KL}(P_X\Vert Q_X) = D_{KL}(P_T\Vert Q_T) + \mathbb{E}_{P_T} \left[ D_{KL}(P_{X\mid T}\Vert Q_{X\mid T}) \right]. \]

Il legame con Fisher è:

\[ D_{KL}(p_\theta\Vert p_{\theta+\delta}) \approx \frac12\delta^T I(\theta)\delta. \]

Il legame con il Bayes variazionale è:

\[ \log p(x) = \mathcal{L}(\phi) + D_{KL}(q_\phi(z)\Vert p(z\mid x)). \]

In definitiva, la KL non è una semplice distanza. È una misura direzionale di perdita informativa. Dice quanto costa descrivere, prevedere, comprimere, stimare o inferire usando una distribuzione al posto di un’altra.