Probabilità congiunta, entropia e mutua informazione
1. Introduzione
La teoria dell’informazione costruisce un ponte preciso fra tre idee: la fattorizzazione di una distribuzione di probabilità, la scomposizione dell’incertezza e la quantità di informazione condivisa fra variabili aleatorie. Il punto di partenza è una semplice identità della probabilità condizionata:
\[ p(x,y)=p(x\mid y)p(y). \]Questa identità diventa, per più variabili, la regola della catena della probabilità. Applicando il logaritmo, i prodotti diventano somme; prendendo poi il valore atteso negativo, tali somme diventano entropie condizionate. Da questa trasformazione nasce la regola della catena dell’entropia.
La mutua informazione, a sua volta, è definita come una differenza di entropie. Perciò anche essa eredita una regola della catena. Il legame fondamentale può essere sintetizzato così:
2. La regola della catena per la probabilità
2.1 Due variabili
Dalla definizione di probabilità condizionata,
\[ p(x\mid y)=\frac{p(x,y)}{p(y)}, \]si ricava immediatamente
\[ p(x,y)=p(x\mid y)p(y). \]Scambiando il ruolo delle due variabili si ha anche
\[ p(x,y)=p(y\mid x)p(x). \]2.2 Tre variabili
Consideriamo la probabilità congiunta \(p(x,y,z)\). Separando \(x\) dalla coppia \((y,z)\),
\[ p(x,y,z)=p(x\mid y,z)p(y,z). \]La distribuzione residua si fattorizza ancora:
\[ p(y,z)=p(y\mid z)p(z). \]Quindi
\[ \boxed{ p(x,y,z)=p(x\mid y,z)p(y\mid z)p(z) }. \]La stessa distribuzione può essere fattorizzata in un altro ordine:
\[ \boxed{ p(x,y,z)=p(x)p(y\mid x)p(z\mid x,y) }. \]L’ordine cambia i singoli fattori, ma non il loro prodotto.
2.3 Quattro variabili
\[ \begin{aligned} p(x_1,x_2,x_3,x_4) &= p(x_1)\, p(x_2\mid x_1)\, p(x_3\mid x_1,x_2)\\ &\qquad\cdot p(x_4\mid x_1,x_2,x_3). \end{aligned} \]2.4 Il caso generale
Per \(n\) variabili aleatorie \(X_1,\ldots,X_n\), la regola della catena è
\[ \boxed{ p(x_1,\ldots,x_n) = \prod_{i=1}^{n} p(x_i\mid x_1,\ldots,x_{i-1}) }. \]Per \(i=1\), il termine condizionato va interpretato semplicemente come \(p(x_1)\). In forma esplicita:
\[ \begin{aligned} p(x_1,\ldots,x_n) &= p(x_1) p(x_2\mid x_1) p(x_3\mid x_1,x_2) \cdots\\ &\qquad\cdot p(x_n\mid x_1,\ldots,x_{n-1}). \end{aligned} \]Per una qualsiasi permutazione \(\pi\) degli indici,
\[ p(x_1,\ldots,x_n) = \prod_{i=1}^{n} p\!\left( x_{\pi(i)} \mid x_{\pi(1)},\ldots,x_{\pi(i-1)} \right). \]3. La regola della catena per l’entropia
3.1 Entropia congiunta di due variabili
\[ H(X,Y) = -\sum_{x,y}p(x,y)\log p(x,y). \]Sostituendo \(p(x,y)=p(x\mid y)p(y)\),
\[ \begin{aligned} H(X,Y) &= -\sum_{x,y}p(x,y) \log\!\left[p(x\mid y)p(y)\right]\\ &= -\sum_{x,y}p(x,y)\log p(x\mid y) – \sum_{x,y}p(x,y)\log p(y). \end{aligned} \]Il primo termine è l’entropia condizionata
\[ H(X\mid Y) = -\sum_{x,y}p(x,y)\log p(x\mid y). \]Nel secondo termine si somma rispetto a \(x\):
\[ \begin{aligned} -\sum_{x,y}p(x,y)\log p(y) &= -\sum_y \left(\sum_x p(x,y)\right)\log p(y)\\ &= -\sum_y p(y)\log p(y)\\ &=H(Y). \end{aligned} \]Ne segue
\[ \boxed{H(X,Y)=H(Y)+H(X\mid Y)}. \]Simmetricamente,
\[ \boxed{H(X,Y)=H(X)+H(Y\mid X)}. \]Pertanto
\[ H(X)+H(Y\mid X) = H(Y)+H(X\mid Y). \]3.2 Tre variabili
Dalla fattorizzazione
\[ p(x,y,z)=p(x)p(y\mid x)p(z\mid x,y), \]si ottiene
\[ \begin{aligned} \log p(x,y,z) &= \log p(x) +\log p(y\mid x) +\log p(z\mid x,y). \end{aligned} \]Moltiplicando per \(-p(x,y,z)\), sommando su tutti i valori e riconoscendo le definizioni di entropia:
\[ \boxed{ H(X,Y,Z) = H(X)+H(Y\mid X)+H(Z\mid X,Y) }. \]Usando l’ordine inverso si ottiene ugualmente
\[ \boxed{ H(X,Y,Z) = H(Z)+H(Y\mid Z)+H(X\mid Y,Z) }. \]3.3 Derivazione ricorsiva
La coppia \((X,Y)\) può essere trattata come una singola variabile:
\[ H(X,Y,Z)=H(X,Y)+H(Z\mid X,Y). \]Poiché
\[ H(X,Y)=H(X)+H(Y\mid X), \]segue
\[ H(X,Y,Z) = H(X)+H(Y\mid X)+H(Z\mid X,Y). \]3.4 Quattro variabili
\[ \boxed{ \begin{aligned} H(X_1,X_2,X_3,X_4) &= H(X_1) +H(X_2\mid X_1)\\ &\quad+ H(X_3\mid X_1,X_2)\\ &\quad+ H(X_4\mid X_1,X_2,X_3). \end{aligned} } \]3.5 Il caso generale
\[ \boxed{ H(X_1,\ldots,X_n) = \sum_{i=1}^{n} H(X_i\mid X_1,\ldots,X_{i-1}) }. \]In forma esplicita,
\[ \begin{aligned} H(X_1,\ldots,X_n) &= H(X_1) +H(X_2\mid X_1) +H(X_3\mid X_1,X_2)\\ &\quad+\cdots+ H(X_n\mid X_1,\ldots,X_{n-1}). \end{aligned} \]La forma ricorsiva equivalente è
\[ \boxed{ H(X_1,\ldots,X_n) = H(X_1,\ldots,X_{n-1}) + H(X_n\mid X_1,\ldots,X_{n-1}) }. \]Per una qualsiasi permutazione \(\pi\),
\[ H(X_1,\ldots,X_n) = \sum_{i=1}^{n} H\!\left( X_{\pi(i)} \mid X_{\pi(1)},\ldots,X_{\pi(i-1)} \right). \]3.6 Subadditività
Poiché il condizionamento non aumenta l’entropia,
\[ H(X_i\mid X_1,\ldots,X_{i-1})\le H(X_i), \]dalla regola della catena segue
\[ \boxed{ H(X_1,\ldots,X_n)\le \sum_{i=1}^{n}H(X_i) }. \]L’uguaglianza vale quando le variabili sono mutuamente indipendenti:
\[ p(x_1,\ldots,x_n)=\prod_{i=1}^{n}p(x_i). \]In tal caso,
\[ H(X_i\mid X_1,\ldots,X_{i-1})=H(X_i), \]e quindi
\[ H(X_1,\ldots,X_n)=\sum_{i=1}^{n}H(X_i). \]4. La mutua informazione
La mutua informazione \(I(X;Y)\) misura quanto la conoscenza di una variabile riduce l’incertezza sull’altra. È definita da
\[ \boxed{ I(X;Y)=H(X)-H(X\mid Y) }. \]Per simmetria,
\[ \boxed{ I(X;Y)=H(Y)-H(Y\mid X) }. \]Usando la regola della catena dell’entropia,
\[ H(X,Y)=H(X)+H(Y\mid X), \]si ottiene la forma simmetrica
\[ \boxed{ I(X;Y)=H(X)+H(Y)-H(X,Y) }. \]La stessa quantità può essere scritta direttamente in termini di probabilità:
\[ \boxed{ I(X;Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)} }. \]Questa formula mostra che \(I(X;Y)\) confronta la distribuzione congiunta reale con quella che si avrebbe se \(X\) e \(Y\) fossero indipendenti. Infatti,
\[ I(X;Y)=D_{\mathrm{KL}}\!\left( p(x,y)\,\middle\|\,p(x)p(y) \right)\ge 0. \]Inoltre,
\[ I(X;Y)=0 \quad\Longleftrightarrow\quad p(x,y)=p(x)p(y), \]cioè \(X\) e \(Y\) sono indipendenti.
4.1 Mutua informazione condizionata
La mutua informazione condizionata fra \(X\) e \(Y\), dato \(Z\), è
\[ \boxed{ I(X;Y\mid Z) = H(X\mid Z)-H(X\mid Y,Z) }. \]Equivalentemente,
\[ I(X;Y\mid Z) = H(Y\mid Z)-H(Y\mid X,Z), \]oppure
\[ \boxed{ I(X;Y\mid Z) = H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z) }. \]In termini di entropie congiunte,
\[ \boxed{ I(X;Y\mid Z) = H(X,Z)+H(Y,Z)-H(Z)-H(X,Y,Z) }. \]5. La regola della catena per la mutua informazione
5.1 Una coppia di variabili osservate
Consideriamo l’informazione che la coppia \((Y_1,Y_2)\) fornisce su \(X\):
\[ I(X;Y_1,Y_2) = H(X)-H(X\mid Y_1,Y_2). \]Inseriamo e sottraiamo \(H(X\mid Y_1)\):
\[ \begin{aligned} I(X;Y_1,Y_2) &= H(X)-H(X\mid Y_1)\\ &\quad+ H(X\mid Y_1)-H(X\mid Y_1,Y_2). \end{aligned} \]I due termini sono, rispettivamente,
\[ I(X;Y_1) \]e
\[ I(X;Y_2\mid Y_1). \]Quindi
\[ \boxed{ I(X;Y_1,Y_2) = I(X;Y_1)+I(X;Y_2\mid Y_1) }. \]Invertendo l’ordine,
\[ \boxed{ I(X;Y_1,Y_2) = I(X;Y_2)+I(X;Y_1\mid Y_2) }. \]La quantità totale resta invariata, ma la ripartizione fra il primo contributo e l’informazione aggiuntiva dipende dall’ordine.
5.2 Tre variabili osservate
\[ \boxed{ \begin{aligned} I(X;Y_1,Y_2,Y_3) &= I(X;Y_1)\\ &\quad+ I(X;Y_2\mid Y_1)\\ &\quad+ I(X;Y_3\mid Y_1,Y_2). \end{aligned} } \]La derivazione è telescopica:
\[ \begin{aligned} I(X;Y_1) &=H(X)-H(X\mid Y_1),\\ I(X;Y_2\mid Y_1) &=H(X\mid Y_1)-H(X\mid Y_1,Y_2),\\ I(X;Y_3\mid Y_1,Y_2) &=H(X\mid Y_1,Y_2)-H(X\mid Y_1,Y_2,Y_3). \end{aligned} \]Sommando, i termini intermedi si cancellano e rimane
\[ H(X)-H(X\mid Y_1,Y_2,Y_3) = I(X;Y_1,Y_2,Y_3). \]5.3 Il caso generale
Indicando con
\[ Y^{i-1}=(Y_1,\ldots,Y_{i-1}), \]la regola della catena assume la forma compatta
\[ \boxed{ I(X;Y_1,\ldots,Y_n) = \sum_{i=1}^{n} I(X;Y_i\mid Y^{i-1}) }. \]Esplicitamente,
\[ \begin{aligned} I(X;Y_1,\ldots,Y_n) &= I(X;Y_1) +I(X;Y_2\mid Y_1)\\ &\quad+ I(X;Y_3\mid Y_1,Y_2) +\cdots\\ &\quad+ I(X;Y_n\mid Y_1,\ldots,Y_{n-1}). \end{aligned} \]5.4 Dimostrazione telescopica generale
Ogni addendo è
\[ I(X;Y_i\mid Y^{i-1}) = H(X\mid Y^{i-1})-H(X\mid Y^i), \]dove \(Y^i=(Y_1,\ldots,Y_i)\). Pertanto
\[ \begin{aligned} \sum_{i=1}^{n}I(X;Y_i\mid Y^{i-1}) &= \sum_{i=1}^{n} \left[ H(X\mid Y^{i-1})-H(X\mid Y^i) \right]\\ &= H(X)-H(X\mid Y^n)\\ &= I(X;Y^n). \end{aligned} \]La regola della catena della mutua informazione è dunque una conseguenza diretta della definizione di informazione come riduzione di entropia.
6. Vettori di variabili e forma condizionata
6.1 Forma condizionata generale
Se tutte le informazioni sono valutate condizionatamente a una variabile \(Z\), allora
\[ \boxed{ I(X;Y_1,\ldots,Y_n\mid Z) = \sum_{i=1}^{n} I(X;Y_i\mid Z,Y_1,\ldots,Y_{i-1}) }. \]Per due variabili,
\[ \boxed{ I(X;Y_1,Y_2\mid Z) = I(X;Y_1\mid Z) + I(X;Y_2\mid Y_1,Z) }. \]6.2 Espansione del primo argomento
Anche un vettore \(X^m=(X_1,\ldots,X_m)\) può essere espanso:
\[ \boxed{ I(X_1,\ldots,X_m;Y) = \sum_{j=1}^{m} I(X_j;Y\mid X_1,\ldots,X_{j-1}) }. \]6.3 Due vettori
Per \(X^m=(X_1,\ldots,X_m)\) e \(Y^n=(Y_1,\ldots,Y_n)\),
\[ \boxed{ I(X^m;Y^n) = \sum_{i=1}^{n} I(X^m;Y_i\mid Y^{i-1}) }. \]Ciascun termine può essere ulteriormente scomposto rispetto alle componenti di \(X^m\):
\[ \boxed{ I(X^m;Y^n) = \sum_{i=1}^{n} \sum_{j=1}^{m} I\!\left( X_j;Y_i \mid X_1,\ldots,X_{j-1}, Y_1,\ldots,Y_{i-1} \right) }. \]Questa doppia espansione va interpretata come una scelta ordinata: prima si aggiungono progressivamente le componenti di \(Y^n\), e dentro ciascun termine si espandono le componenti di \(X^m\).
7. Indipendenza, ridondanza e sinergia
7.1 La mutua informazione non è in generale additiva
In generale,
\[ \boxed{ I(X;Y_1,Y_2) \ne I(X;Y_1)+I(X;Y_2) }. \]La relazione corretta è
\[ I(X;Y_1,Y_2) = I(X;Y_1)+I(X;Y_2\mid Y_1). \]Il secondo termine misura l’informazione nuova fornita da \(Y_2\) dopo che \(Y_1\) è già noto. Non coincide necessariamente con \(I(X;Y_2)\), perché parte dell’informazione di \(Y_2\) può essere già contenuta in \(Y_1\).
7.2 Ridondanza
Se \(Y_2=Y_1\), allora conoscere \(Y_2\) dopo \(Y_1\) non aggiunge nulla:
\[ I(X;Y_2\mid Y_1)=0. \]Quindi
\[ I(X;Y_1,Y_2)=I(X;Y_1). \]7.3 Informazione complementare o sinergica
Può accadere che una variabile, considerata isolatamente, fornisca poca o nessuna informazione su \(X\), ma che ne fornisca molta quando è combinata con un’altra variabile. Un esempio classico è il caso XOR. Se
\[ X=Y_1\oplus Y_2, \]con \(Y_1\) e \(Y_2\) bit indipendenti e uniformi, allora
\[ I(X;Y_1)=0, \qquad I(X;Y_2)=0, \]ma
\[ I(X;Y_1,Y_2)=H(X)=1\text{ bit}. \]L’informazione emerge dalla coppia, non dalle singole variabili prese separatamente.
7.4 Quando vale la somma semplice
L’identità
\[ I(X;Y_1,\ldots,Y_n) = \sum_{i=1}^{n}I(X;Y_i) \]richiede che, nell’ordine scelto,
\[ I(X;Y_i\mid Y_1,\ldots,Y_{i-1}) = I(X;Y_i) \]per ogni \(i\). Non basta, in generale, che le variabili \(Y_i\) siano marginalmente indipendenti.
8. Il quadro matematico unitario
Le tre regole della catena non sono risultati separati, ma manifestazioni successive della stessa struttura.
| Oggetto | Regola della catena | Significato |
|---|---|---|
| Probabilità | \[ p(x_1,\ldots,x_n) = \prod_{i=1}^{n} p(x_i\mid x_1,\ldots,x_{i-1}) \] | La distribuzione congiunta è costruita mediante probabilità condizionate successive. |
| Entropia | \[ H(X_1,\ldots,X_n) = \sum_{i=1}^{n} H(X_i\mid X_1,\ldots,X_{i-1}) \] | L’incertezza totale è la somma delle incertezze residue successive. |
| Mutua informazione | \[ I(X;Y_1,\ldots,Y_n) = \sum_{i=1}^{n} I(X;Y_i\mid Y_1,\ldots,Y_{i-1}) \] | L’informazione totale su \(X\) è la somma dei contributi informativi incrementali. |
8.1 Dal prodotto alla somma
La probabilità congiunta è un prodotto:
\[ p(x_1,\ldots,x_n) = \prod_{i=1}^{n} p(x_i\mid x_1,\ldots,x_{i-1}). \]Il logaritmo trasforma il prodotto in una somma:
\[ \log p(x_1,\ldots,x_n) = \sum_{i=1}^{n} \log p(x_i\mid x_1,\ldots,x_{i-1}). \]Applicando il valore atteso negativo,
\[ H(X_1,\ldots,X_n) = -\mathbb{E}\log p(X_1,\ldots,X_n), \]si ottiene
\[ H(X_1,\ldots,X_n) = \sum_{i=1}^{n} H(X_i\mid X_1,\ldots,X_{i-1}). \]8.2 Dalla somma delle entropie alla somma delle informazioni
La mutua informazione è una differenza di entropie:
\[ I(X;Y^n)=H(X)-H(X\mid Y^n). \]Introducendo le entropie condizionate intermedie,
\[ \begin{aligned} H(X) &- H(X\mid Y_1) + H(X\mid Y_1) – H(X\mid Y_1,Y_2)\\ &+\cdots+ H(X\mid Y^{n-1}) – H(X\mid Y^n), \end{aligned} \]si produce una somma telescopica. Ogni differenza è una mutua informazione condizionata:
\[ H(X\mid Y^{i-1})-H(X\mid Y^i) = I(X;Y_i\mid Y^{i-1}). \]Di conseguenza,
\[ I(X;Y^n) = \sum_{i=1}^{n} I(X;Y_i\mid Y^{i-1}). \]8.3 Interpretazione operativa
Le tre formule descrivono lo stesso processo visto a tre livelli:
- Probabilità: si costruisce la distribuzione congiunta aggiungendo una variabile alla volta.
- Entropia: si costruisce l’incertezza totale aggiungendo l’incertezza residua di ogni nuova variabile.
- Mutua informazione: si costruisce l’informazione totale aggiungendo il contributo informativo nuovo di ogni osservazione.
Conclusione
La regola della catena della probabilità esprime una distribuzione congiunta come prodotto di distribuzioni condizionate. Il logaritmo trasforma questa struttura moltiplicativa in una struttura additiva; il valore atteso negativo identifica ciascun addendo con un’entropia condizionata. La mutua informazione, essendo una riduzione di entropia, eredita infine una propria regola della catena, nella quale ogni termine misura l’informazione incrementale fornita da una nuova variabile dopo che le precedenti sono già note.
In questo modo probabilità, entropia e mutua informazione risultano matematicamente armonizzate: la prima descrive come si compone una legge congiunta, la seconda come si compone l’incertezza e la terza come si compone la conoscenza ottenuta attraverso osservazioni successive.