Mutua informazione multivariata e Partial Information Decomposition (PID)
Introduzione
La teoria dell’informazione di Shannon offre un linguaggio matematico per quantificare l’incertezza e la dipendenza statistica. Nel caso di due variabili, il concetto centrale è l’informazione mutua: quanta incertezza su una variabile viene eliminata osservando l’altra. Quando le variabili diventano tre o più, tuttavia, compaiono strutture che non possono essere descritte da un singolo numero.
Due sorgenti \(X_1\) e \(X_2\) possono fornire informazione su un bersaglio \(Y\) in modi qualitativamente differenti. Possono ripetere la stessa informazione, portare contributi distinti oppure diventare informative soltanto quando vengono considerate congiuntamente. La Partial Information Decomposition (PID), sistematizzata da Paul L. Williams e Randall D. Beer, nasce per separare queste componenti.
1. Variabili casuali, distribuzioni e notazione
Consideriamo inizialmente variabili casuali discrete. Una variabile casuale \(X\) assume valori in un insieme finito o numerabile \(\mathcal X\). La sua distribuzione è descritta dalla funzione di massa di probabilità
\[ p_X(x)=\Pr(X=x). \]Quando non vi è ambiguità scriveremo semplicemente \(p(x)\). Per due variabili \(X,Y\), la distribuzione congiunta è
\[ p(x,y)=\Pr(X=x,Y=y). \]Le distribuzioni marginali si ottengono sommando la congiunta:
\[ p(x)=\sum_y p(x,y), \qquad p(y)=\sum_x p(x,y). \]La probabilità condizionata, per \(p(y)>0\), è
\[ p(x\mid y)=\frac{p(x,y)}{p(y)}. \]Ne segue la fattorizzazione fondamentale
\[ p(x,y)=p(y)p(x\mid y)=p(x)p(y\mid x). \]Per tre variabili:
\[ p(x_1,x_2,y) = p(y)\,p(x_1\mid y)\,p(x_2\mid x_1,y), \]e, più in generale, la regola del prodotto consente qualunque ordinamento coerente:
\[ p(x_1,x_2,y) = p(x_1)\,p(x_2\mid x_1)\,p(y\mid x_1,x_2). \]1.1 Virgola e punto e virgola
Per esempio:
\[ I(Y;X_1,X_2) = I\!\left(Y;(X_1,X_2)\right), \] \[ I(X_1,X_2;Y) = I\!\left((X_1,X_2);Y\right). \]Per la simmetria dell’informazione mutua, queste due quantità sono uguali:
\[ I(Y;X_1,X_2)=I(X_1,X_2;Y). \]La scrittura
\[ I(X_1;X_2;X_3) \]ha invece un significato diverso: indica di solito la co-informazione a tre variabili, non un’informazione mutua ordinaria fra due blocchi.
2. Entropia di Shannon
Se il logaritmo è in base \(2\), l’unità è il bit; con il logaritmo naturale, l’unità è il nat. Adotteremo la base \(2\).
2.1 Informazione puntuale
La quantità
\[ h(x)=-\log p(x) \]è detta surprisal o autoinformazione dell’esito \(x\). Un esito raro è più sorprendente e porta più informazione di un esito frequente. L’entropia è la media del surprisal:
\[ H(X)=\mathbb E[-\log p(X)]. \]2.2 Proprietà essenziali
Poiché \(0\le p(x)\le1\), si ha \(-\log p(x)\ge0\), dunque
\[ H(X)\ge0. \]Se \(X\) è deterministica, esiste \(x_0\) con \(p(x_0)=1\), e quindi
\[ H(X)=0. \]Se \(X\) assume \(m\) valori, l’entropia è massima per la distribuzione uniforme:
\[ H(X)\le \log m. \]Nel caso di un bit equiprobabile:
\[ H(X) = -\frac12\log_2\frac12-\frac12\log_2\frac12 =1. \]3. Entropia condizionata
L’entropia condizionata misura quanta incertezza su \(X\) rimane dopo aver osservato \(Y\).
3.1 Lettura intuitiva
Per ogni possibile osservazione \(Y=y\), calcoliamo l’incertezza residua sulla distribuzione condizionata di \(X\); poi facciamo la media rispetto alla probabilità dei diversi valori di \(y\).
Se \(X\) è una funzione deterministica di \(Y\), allora conoscere \(Y\) determina \(X\), e
\[ H(X\mid Y)=0. \]Se \(X\) e \(Y\) sono indipendenti, allora \(p(x\mid y)=p(x)\), perciò
\[ H(X\mid Y)=H(X). \]3.2 Il condizionamento non aumenta l’entropia
\[ H(X\mid Y)\le H(X). \]Una dimostrazione elegante deriva dalla non negatività dell’informazione mutua, che dimostreremo più avanti. Intuitivamente, osservare \(Y\) può essere inutile, ma in media non può renderci meno informati su \(X\).
4. Entropia congiunta e regola della catena
4.1 Dimostrazione della regola della catena per l’entropia
Dimostrazione
Partiamo dalla definizione:
\[ H(X,Y)=-\sum_{x,y}p(x,y)\log p(x,y). \]Usiamo la fattorizzazione \(p(x,y)=p(y)p(x\mid y)\):
\[ H(X,Y) = -\sum_{x,y}p(x,y)\log\!\left[p(y)p(x\mid y)\right]. \]Poiché \(\log(ab)=\log a+\log b\):
\[ H(X,Y) = -\sum_{x,y}p(x,y)\log p(y) -\sum_{x,y}p(x,y)\log p(x\mid y). \]Nel primo termine sommiamo rispetto a \(x\):
\[ -\sum_y\left(\sum_xp(x,y)\right)\log p(y) = -\sum_yp(y)\log p(y) = H(Y). \]Il secondo termine è, per definizione, \(H(X\mid Y)\). Dunque
\[ \boxed{H(X,Y)=H(Y)+H(X\mid Y)}. \]4.2 Tre variabili
Applicando ripetutamente la regola:
\[ H(X_1,X_2,Y) = H(X_1)+H(X_2\mid X_1)+H(Y\mid X_1,X_2). \]Qualunque ordine è valido:
\[ H(X_1,X_2,Y) = H(Y)+H(X_1\mid Y)+H(X_2\mid X_1,Y). \]In generale:
\[ H(X_1,\dots,X_n) = \sum_{i=1}^{n}H(X_i\mid X_1,\dots,X_{i-1}). \]5. Informazione mutua
Misura la riduzione media dell’incertezza su \(X\) ottenuta osservando \(Y\). Per simmetria:
\[ I(X;Y)=H(Y)-H(Y\mid X). \]5.1 Dimostrazione delle forme equivalenti
Dalla regola della catena:
\[ H(X,Y)=H(Y)+H(X\mid Y), \]quindi
\[ H(X\mid Y)=H(X,Y)-H(Y). \]Sostituendo nella definizione:
\[ I(X;Y) = H(X)-H(X,Y)+H(Y), \]ossia
\[ \boxed{I(X;Y)=H(X)+H(Y)-H(X,Y)}. \]L’espressione è manifestamente simmetrica in \(X,Y\), quindi
\[ I(X;Y)=I(Y;X). \]5.2 Forma probabilistica
Espandiamo le entropie:
\[ \begin{aligned} I(X;Y) &= -\sum_xp(x)\log p(x) -\sum_yp(y)\log p(y) +\sum_{x,y}p(x,y)\log p(x,y). \end{aligned} \]Riscrivendo le somme marginali come somme congiunte:
\[ -\sum_xp(x)\log p(x) = -\sum_{x,y}p(x,y)\log p(x), \] \[ -\sum_yp(y)\log p(y) = -\sum_{x,y}p(x,y)\log p(y). \]Otteniamo:
\[ \boxed{ I(X;Y) = \sum_{x,y}p(x,y) \log\frac{p(x,y)}{p(x)p(y)} }. \]5.3 Informazione mutua come divergenza
La divergenza di Kullback–Leibler è
\[ D_{\mathrm{KL}}(P\Vert Q) = \sum_zP(z)\log\frac{P(z)}{Q(z)}. \]Quindi:
\[ I(X;Y) = D_{\mathrm{KL}}\!\left( p(x,y)\,\Vert\,p(x)p(y) \right). \]Poiché la divergenza KL è non negativa:
\[ I(X;Y)\ge0. \]Inoltre \(I(X;Y)=0\) se e solo se
\[ p(x,y)=p(x)p(y) \]per tutti gli esiti con probabilità positiva, cioè se e solo se \(X\) e \(Y\) sono indipendenti.
5.4 Informazione mutua condizionata
Equivalentemente:
\[ I(X;Y\mid Z) = H(X,Z)+H(Y,Z)-H(Z)-H(X,Y,Z). \]E in forma probabilistica:
\[ I(X;Y\mid Z) = \sum_{x,y,z}p(x,y,z) \log \frac{p(x,y\mid z)}{p(x\mid z)p(y\mid z)}. \]È la dipendenza media fra \(X\) e \(Y\) all’interno delle distribuzioni condizionate determinate da \(Z\).
6. Regola della catena per l’informazione mutua
6.1 Prima dimostrazione, tramite entropie condizionate
Partiamo dalla definizione:
\[ I(Y;X_1,X_2) = H(Y)-H(Y\mid X_1,X_2). \]Aggiungiamo e sottraiamo \(H(Y\mid X_1)\):
\[ \begin{aligned} I(Y;X_1,X_2) &= H(Y)-H(Y\mid X_1)\\ &\quad+H(Y\mid X_1)-H(Y\mid X_1,X_2). \end{aligned} \]Il primo gruppo è \(I(Y;X_1)\); il secondo è \(I(Y;X_2\mid X_1)\). Pertanto
\[ \boxed{ I(Y;X_1,X_2) = I(Y;X_1)+I(Y;X_2\mid X_1) }. \]6.2 Seconda dimostrazione, tramite entropia congiunta
Usando la regola della catena:
\[ H(X_1,X_2) = H(X_1)+H(X_2\mid X_1), \] \[ H(X_1,X_2\mid Y) = H(X_1\mid Y)+H(X_2\mid X_1,Y). \]Sottraendo:
\[ \begin{aligned} I(Y;X_1,X_2) &= [H(X_1)-H(X_1\mid Y)]\\ &\quad+ [H(X_2\mid X_1)-H(X_2\mid X_1,Y)]\\ &= I(Y;X_1)+I(Y;X_2\mid X_1). \end{aligned} \]6.3 Forma simmetrica
Scambiando l’ordine:
\[ I(Y;X_1,X_2) = I(Y;X_2)+I(Y;X_1\mid X_2). \]Le due decomposizioni sono uguali, ma i termini intermedi dipendono dall’ordine.
6.4 Generalizzazione
\[ I(Y;X_1,\dots,X_n) = \sum_{i=1}^{n} I\!\left( Y;X_i\mid X_1,\dots,X_{i-1} \right). \]7. Tre variabili e diverse combinazioni notazionali
7.1 \(I(Y;X_1,X_2)\)
\[ I(Y;X_1,X_2) = I\!\left(Y;(X_1,X_2)\right). \]È l’informazione mutua fra il bersaglio \(Y\) e la variabile congiunta \((X_1,X_2)\):
\[ I(Y;X_1,X_2) = H(Y)-H(Y\mid X_1,X_2). \]Equivalentemente:
\[ I(Y;X_1,X_2) = H(Y)+H(X_1,X_2)-H(Y,X_1,X_2). \]Questa è la quantità che la PID bivariata decompone.
7.2 \(I(X_1,X_2;Y)\)
\[ I(X_1,X_2;Y) = I\!\left((X_1,X_2);Y\right). \]Per simmetria:
\[ \boxed{ I(X_1,X_2;Y)=I(Y;X_1,X_2) }. \]Il significato è identico: cambia soltanto l’ordine grafico dei due argomenti.
7.3 \(I(Y,X_1;X_2)\)
\[ I(Y,X_1;X_2) = I\!\left((Y,X_1);X_2\right). \]Misura quanta informazione \(X_2\) contiene sulla coppia \((Y,X_1)\):
\[ I(Y,X_1;X_2) = H(Y,X_1)-H(Y,X_1\mid X_2). \]Per la regola della catena:
\[ \boxed{ I(Y,X_1;X_2) = I(X_1;X_2)+I(Y;X_2\mid X_1) }. \]Oppure, scegliendo prima \(Y\):
\[ \boxed{ I(Y,X_1;X_2) = I(Y;X_2)+I(X_1;X_2\mid Y) }. \]7.4 Confronto fra \(I(Y;X_1,X_2)\) e \(I(Y,X_1;X_2)\)
Usando le rispettive regole della catena:
\[ I(Y;X_1,X_2) = I(Y;X_1)+I(Y;X_2\mid X_1), \] \[ I(Y,X_1;X_2) = I(X_1;X_2)+I(Y;X_2\mid X_1). \]Sottraendo:
\[ \boxed{ I(Y;X_1,X_2)-I(Y,X_1;X_2) = I(Y;X_1)-I(X_1;X_2) }. \]Non esiste dunque un’uguaglianza generale fra le due quantità.
7.5 Tabella riepilogativa
| Notazione | Tipo di quantità | Domanda | Segno |
|---|---|---|---|
| \(I(Y;X_1,X_2)\) | Informazione mutua fra due blocchi | Quanto la coppia \((X_1,X_2)\) informa su \(Y\)? | \(\ge0\) |
| \(I(X_1,X_2;Y)\) | La stessa informazione mutua, per simmetria | Quanto \(Y\) informa sulla coppia? | \(\ge0\) |
| \(I(Y,X_1;X_2)\) | Informazione mutua fra \((Y,X_1)\) e \(X_2\) | Quanto \(X_2\) informa sull’intera coppia \((Y,X_1)\)? | \(\ge0\) |
| \(I(X_1;X_2;X_3)\) | Co-informazione ternaria | Come la terza variabile modifica l’informazione condivisa fra le altre due? | Può essere positiva, nulla o negativa |
8. Co-informazione e interaction information
Per tre variabili, una definizione comune della co-informazione è
\[ I(X_1;X_2;X_3) = I(X_1;X_2)-I(X_1;X_2\mid X_3). \]Grazie alle identità entropiche, la quantità è simmetrica:
\[ \begin{aligned} I(X_1;X_2;X_3) &= I(X_1;X_3)-I(X_1;X_3\mid X_2)\\ &= I(X_2;X_3)-I(X_2;X_3\mid X_1). \end{aligned} \]8.1 Espansione in entropie
Partiamo da
\[ I(X_1;X_2) = H(X_1)+H(X_2)-H(X_1,X_2). \]Inoltre:
\[ I(X_1;X_2\mid X_3) = H(X_1\mid X_3)+H(X_2\mid X_3)-H(X_1,X_2\mid X_3). \]Usando
\[ H(X_1\mid X_3)=H(X_1,X_3)-H(X_3), \]e analogamente per gli altri termini, otteniamo:
\[ \boxed{ \begin{aligned} I(X_1;X_2;X_3) ={}&H(X_1)+H(X_2)+H(X_3)\\ &-H(X_1,X_2)-H(X_1,X_3)-H(X_2,X_3)\\ &+H(X_1,X_2,X_3). \end{aligned} } \]8.2 Collegamento con l’informazione congiunta
Dalla regola della catena:
\[ I(Y;X_1,X_2) = I(Y;X_1)+I(Y;X_2\mid X_1). \]Dalla definizione di co-informazione:
\[ I(Y;X_1;X_2) = I(Y;X_2)-I(Y;X_2\mid X_1). \]Quindi:
\[ I(Y;X_2\mid X_1) = I(Y;X_2)-I(Y;X_1;X_2), \]e pertanto:
\[ \boxed{ I(Y;X_1,X_2) = I(Y;X_1)+I(Y;X_2)-I(Y;X_1;X_2) }. \]8.3 Perché può essere negativa
L’informazione mutua ordinaria è una divergenza KL e non può essere negativa. La co-informazione è invece una differenza fra due informazioni mutue:
\[ I(X_1;X_2;X_3) = I(X_1;X_2)-I(X_1;X_2\mid X_3). \]Se il condizionamento su \(X_3\) rende \(X_1\) e \(X_2\) più dipendenti, il secondo termine supera il primo e la co-informazione è negativa.
9. Esempi canonici
9.1 Copia ridondante
Sia \(Y\) un bit uniforme e
\[ X_1=Y,\qquad X_2=Y. \]Allora:
\[ H(Y)=1,\qquad H(Y\mid X_1)=H(Y\mid X_2)=0. \]Quindi:
\[ I(Y;X_1)=I(Y;X_2)=1. \]La coppia non aggiunge un secondo bit:
\[ I(Y;X_1,X_2)=1. \]La co-informazione è:
\[ I(Y;X_1;X_2) = I(Y;X_1)-I(Y;X_1\mid X_2) = 1-0 = 1. \]L’informazione è interamente ridondante.
9.2 Informazione unica
Siano \(X_1\) e \(X_2\) bit indipendenti e sia
\[ Y=X_1. \]Allora:
\[ I(Y;X_1)=1,\qquad I(Y;X_2)=0, \] \[ I(Y;X_1,X_2)=1. \]Il bit è esclusivamente in \(X_1\).
9.3 XOR: sinergia pura
Siano \(X_1,X_2\) bit uniformi indipendenti e
\[ Y=X_1\oplus X_2. \]| \(X_1\) | \(X_2\) | \(Y\) |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
Conoscendo solo \(X_1\), \(Y\) resta uniforme:
\[ H(Y\mid X_1)=1, \qquad I(Y;X_1)=0. \]Analogamente:
\[ I(Y;X_2)=0. \]Ma la coppia determina \(Y\):
\[ H(Y\mid X_1,X_2)=0, \] \[ I(Y;X_1,X_2)=1. \]La co-informazione vale:
\[ I(Y;X_1;X_2) = I(Y;X_1)-I(Y;X_1\mid X_2) = 0-1=-1. \]Il segno negativo segnala che il condizionamento su una sorgente rende l’altra informativa sul bersaglio.
9.4 Coppia-copia: due bit unici
Siano \(X_1,X_2\) bit indipendenti e
\[ Y=(X_1,X_2). \]Allora:
\[ I(Y;X_1)=1,\qquad I(Y;X_2)=1, \] \[ I(Y;X_1,X_2)=2. \]L’interpretazione naturale è che \(X_1\) comunichi la prima coordinata e \(X_2\) la seconda: due contributi unici distinti, senza ridondanza né sinergia. Questo esempio, detto spesso two-bit copy, è cruciale perché alcune misure PID originali lo trattano in modo controverso.
9.5 \(I(Y,X_1;X_2)\) può essere positivo senza informazione su \(Y\)
Sia \(Y\) indipendente da \(X_1\), e sia \(X_2=X_1\), con \(X_1\) bit uniforme. Allora:
\[ I(Y;X_1,X_2)=0, \]perché nessuna sorgente informa su \(Y\). Tuttavia:
\[ I(Y,X_1;X_2) = I(X_1;X_2)+I(Y;X_2\mid X_1) = 1+0=1. \]\(X_2\) informa sulla coppia \((Y,X_1)\) grazie alla componente \(X_1\), anche se non dice nulla su \(Y\).
10. Partial Information Decomposition
10.1 Motivazione
Le quantità
\[ I(Y;X_1),\qquad I(Y;X_2),\qquad I(Y;X_1,X_2) \]non distinguono completamente quattro fenomeni:
- informazione presente in entrambe le sorgenti;
- informazione esclusiva di \(X_1\);
- informazione esclusiva di \(X_2\);
- informazione disponibile soltanto dalla coppia.
La PID introduce quattro atomi:
\[ R,\qquad U_1,\qquad U_2,\qquad S, \]dove \(R\) è la ridondanza, \(U_1,U_2\) sono le informazioni uniche e \(S\) è la sinergia.
10.2 Equazioni della PID bivariata
\[ \boxed{ I(Y;X_1)=R+U_1 } \] \[ \boxed{ I(Y;X_2)=R+U_2 } \] \[ \boxed{ I(Y;X_1,X_2)=R+U_1+U_2+S } \]Unicità: una parte del contenuto è accessibile soltanto da una sorgente.
Sinergia: una parte del contenuto diventa accessibile soltanto osservando la combinazione.
10.3 Relazione con le informazioni condizionate
Dalla regola della catena:
\[ I(Y;X_1,X_2) = I(Y;X_1)+I(Y;X_2\mid X_1). \]Sostituendo la PID:
\[ R+U_1+U_2+S = R+U_1+I(Y;X_2\mid X_1). \]Quindi:
\[ \boxed{ I(Y;X_2\mid X_1)=U_2+S }. \]Analogamente:
\[ \boxed{ I(Y;X_1\mid X_2)=U_1+S }. \]L’informazione condizionata combina dunque un contributo unico e uno sinergico.
10.4 Relazione con la co-informazione
\[ \begin{aligned} I(Y;X_1;X_2) &= I(Y;X_1)-I(Y;X_1\mid X_2)\\ &= (R+U_1)-(U_1+S)\\ &= R-S. \end{aligned} \]Pertanto:
\[ \boxed{ I(Y;X_1;X_2)=R-S }. \]10.5 Perché le equazioni non bastano
Abbiamo quattro incognite \(R,U_1,U_2,S\), ma soltanto tre equazioni indipendenti. Occorre definire una componente, tipicamente la ridondanza. Scelta \(R\), le altre seguono:
\[ U_1=I(Y;X_1)-R, \] \[ U_2=I(Y;X_2)-R, \] \[ S = I(Y;X_1,X_2)-I(Y;X_1)-I(Y;X_2)+R. \]La PID è quindi un quadro strutturale, non una singola misura universalmente determinata.
11. Il reticolo di ridondanza di Williams e Beer
Il contributo sistematico di Williams e Beer consiste nell’organizzare le forme di accessibilità informativa mediante un insieme parzialmente ordinato.
11.1 Sorgenti composte
Con \(n\) sorgenti elementari \(X_1,\dots,X_n\), ogni sottoinsieme non vuoto
\[ A\subseteq\{1,\dots,n\} \]identifica la sorgente congiunta
\[ X_A=(X_i)_{i\in A}. \]Una collezione
\[ \alpha=\{A_1,\dots,A_k\} \]rappresenta informazione accessibile da ciascuno dei gruppi \(X_{A_1},\dots,X_{A_k}\).
11.2 Anticatene
Si considerano anticatene: collezioni in cui nessun insieme è contenuto in un altro. Se \(A\subset B\), infatti, dichiarare che un’informazione è accessibile sia da \(X_A\) sia da \(X_B\) è ridondante, perché conoscere \(X_B\) include già \(X_A\).
11.3 Ordine parziale
Per due anticatene \(\alpha,\beta\):
\[ \alpha\preceq\beta \quad\Longleftrightarrow\quad \forall B\in\beta\;\exists A\in\alpha:\ A\subseteq B. \]L’ordine esprime che il modo di accesso descritto da \(\alpha\) è almeno altrettanto elementare di quello descritto da \(\beta\).
11.4 Caso di due sorgenti
I quattro nodi sono:
\[ \{\{1\},\{2\}\}, \qquad \{\{1\}\}, \qquad \{\{2\}\}, \qquad \{\{1,2\}\}. \]Essi corrispondono rispettivamente a:
- informazione accessibile da \(X_1\) e da \(X_2\): ridondanza;
- informazione accessibile da \(X_1\): ridondanza più unicità di \(X_1\);
- informazione accessibile da \(X_2\): ridondanza più unicità di \(X_2\);
- informazione accessibile dalla coppia: informazione totale.
11.5 Funzione cumulativa e atomi
La funzione di ridondanza cumulativa \(I_\cap(Y;\alpha)\) è legata agli atomi parziali \(\Pi(Y;\beta)\) da
\[ I_\cap(Y;\alpha) = \sum_{\beta\preceq\alpha}\Pi(Y;\beta). \]Gli atomi si recuperano tramite inversione di Möbius:
\[ \Pi(Y;\alpha) = \sum_{\beta\preceq\alpha} \mu(\beta,\alpha)I_\cap(Y;\beta), \]dove \(\mu\) è la funzione di Möbius del reticolo.
11.6 Tre sorgenti
Con tre sorgenti, la classificazione diventa molto più ricca. Per esempio:
\[ \{\{1,2\},\{1,3\},\{2,3\}\} \]rappresenta informazione accessibile da ogni coppia, ma non necessariamente da una sorgente singola. Il nodo
\[ \{\{1\},\{2,3\}\} \]rappresenta invece informazione disponibile sia da \(X_1\) da sola, sia dalla coppia \((X_2,X_3)\). Non esiste dunque una sola “sinergia a tre”: vi sono molte forme di accessibilità congiunta.
12. Il problema della misura di ridondanza
12.1 La proposta originale \(I_{\min}\)
Williams e Beer definiscono l’informazione specifica fornita da \(X\) su un particolare esito \(Y=y\):
\[ I_{\mathrm{spec}}(Y=y;X) = \sum_xp(x\mid y) \log\frac{p(y\mid x)}{p(y)}. \]Usando Bayes:
\[ \frac{p(y\mid x)}{p(y)} = \frac{p(x\mid y)}{p(x)}, \]quindi:
\[ I_{\mathrm{spec}}(Y=y;X) = D_{\mathrm{KL}}\!\left( p(X\mid y)\Vert p(X) \right) \ge0. \]L’informazione mutua è la media:
\[ I(Y;X) = \sum_yp(y)I_{\mathrm{spec}}(Y=y;X). \]La ridondanza originale è:
\[ I_{\min}(Y;X_1,\dots,X_n) = \sum_yp(y) \min_i I_{\mathrm{spec}}(Y=y;X_i). \]L’idea è prendere, per ciascun esito del bersaglio, la quantità di informazione disponibile presso tutte le sorgenti, limitata dalla sorgente meno informativa.
12.2 Il problema del contenuto informativo
Nel caso \(Y=(X_1,X_2)\) con bit indipendenti, ciascuna sorgente fornisce un bit su ogni esito di \(Y\), ma i due bit riguardano coordinate differenti. \(I_{\min}\) tende tuttavia a considerarli ridondanti perché confronta la quantità di informazione specifica, non necessariamente il suo contenuto.
12.3 Assiomi tipici
Una misura di ridondanza può essere valutata rispetto a proprietà quali:
- simmetria: l’ordine delle sorgenti non conta;
- auto-ridondanza: \(I_\cap(Y;X)=I(Y;X)\);
- monotonia: aggiungere una sorgente non aumenta ciò che è comune a tutte;
- non negatività locale: gli atomi PID non sono negativi;
- identity property: nel problema copia, informazioni su coordinate diverse non devono essere scambiate per ridondanza;
- interpretazione operativa: gli atomi devono corrispondere a compiti decisionali o comunicativi definiti.
Non tutte le proprietà desiderabili sono simultaneamente compatibili in ogni generalizzazione. Per questo esistono molte PID concorrenti.
12.4 Famiglie alternative
Fra le principali linee di sviluppo:
- misure basate sull’ordine di Blackwell e su problemi decisionali;
- definizioni dell’informazione unica tramite ottimizzazione su distribuzioni con marginali fissate;
- approcci a massima entropia;
- decomposizioni puntuali dell’informazione;
- formulazioni geometriche e basate su proiezioni informative;
- PID gaussiane e modelli per variabili continue;
- estensioni dinamiche e temporali.
Il reticolo resta il linguaggio organizzativo; cambia il criterio con cui si assegna il contenuto informativo ai nodi.
13. Applicazioni della PID
13.1 Neuroscienze
Le sorgenti possono essere neuroni, popolazioni o regioni cerebrali; il bersaglio può essere uno stimolo, una risposta comportamentale o l’attività futura di un’altra regione.
La PID distingue:
- codifica ridondante: più unità rappresentano lo stesso aspetto, aumentando robustezza;
- codifica unica: una regione contiene una rappresentazione specializzata;
- codifica sinergica: il contenuto è nel pattern congiunto e non nelle singole unità.
Ciò consente di analizzare integrazione, flusso informativo, gerarchie corticali e calcolo distribuito.
13.2 Machine learning
Nella selezione delle feature, valutare soltanto \(I(Y;X_i)\) può essere fuorviante. Nell’XOR:
\[ I(Y;X_1)=I(Y;X_2)=0, \]ma la coppia predice perfettamente il bersaglio. Una PID può identificare feature marginalmente inutili ma sinergicamente indispensabili.
In interpretabilità, la PID distingue importanza:
- duplicata fra feature;
- esclusiva di una feature;
- emergente da interazioni.
13.3 Biologia e genetica
Le sorgenti possono essere geni, fattori di trascrizione o segnali molecolari; il bersaglio può essere un fenotipo o l’espressione di un gene. La ridondanza può indicare vie compensatorie; la sinergia, regolazione combinatoria.
13.4 Sistemi complessi
La PID è usata per studiare reti, automi cellulari, sistemi dinamici e agenti. Può separare informazione immagazzinata localmente, trasferita fra componenti e integrata congiuntamente.
13.5 Equità algoritmica
Variabili apparentemente innocue possono rivelare un attributo sensibile soltanto in combinazione. La sinergia consente di formalizzare forme di informazione proxy invisibili alle sole analisi marginali.
13.6 Climatologia, scienze sociali e sistemi economici
Quando più fattori concorrono a un risultato, la PID può distinguere segnali duplicati, contributi specifici e interazioni non additive. L’interpretazione deve però restare statistica, a meno che non siano introdotte ipotesi causali.
14. Limiti, stima e interpretazione
14.1 PID non significa causalità
La PID standard dipende dalla distribuzione osservazionale
\[ p(y,x_1,\dots,x_n). \]Una sinergia positiva non dimostra che le sorgenti causino congiuntamente il bersaglio. Confondenti, selezione, feedback o cause comuni possono produrre la stessa struttura statistica.
14.2 Dipendenza dal bersaglio
Ridondanza e sinergia sono definite rispetto a un bersaglio preciso:
\[ R(Y;X_1,X_2),\qquad S(Y;X_1,X_2). \]Le stesse sorgenti possono essere ridondanti rispetto a \(Y\) e sinergiche rispetto a un altro bersaglio \(Z\).
14.3 Non è decomposizione della varianza
L’informazione mutua rileva dipendenze non lineari e non richiede un modello di regressione. Non coincide con correlazione, coefficiente di determinazione o termini d’interazione parametrici.
14.4 Dati finiti
Per calcolare entropie e informazioni da dati si deve stimare una distribuzione. Il bias cresce con la cardinalità e il numero di variabili. La sinergia, dipendendo da distribuzioni congiunte di ordine elevato, è particolarmente sensibile alla scarsità dei campioni.
14.5 Variabili continue
Per variabili continue si usa l’entropia differenziale:
\[ h(X)=-\int f(x)\log f(x)\,dx. \]A differenza dell’entropia discreta, \(h(X)\) può essere negativa e dipende dalla parametrizzazione. L’informazione mutua continua resta invece una divergenza KL e quindi non negativa:
\[ I(X;Y) = \int f(x,y) \log\frac{f(x,y)}{f(x)f(y)} \,dx\,dy. \]Le PID continue richiedono quindi definizioni e stimatori appropriati.
14.6 Esplosione combinatoria
Il numero di nodi del reticolo cresce rapidamente con il numero delle sorgenti. La PID completa diventa presto difficile sia da calcolare sia da interpretare. Nelle applicazioni si ricorre spesso a decomposizioni bivariate, approssimazioni o aggregazioni per ordine sinergico.
15. Conclusioni
La costruzione logica può essere riassunta in cinque passaggi.
- L’entropia \(H(X)\) misura l’incertezza media di una variabile.
- L’entropia condizionata \(H(X\mid Y)\) misura l’incertezza residua dopo aver osservato \(Y\).
- L’informazione mutua \[ I(X;Y)=H(X)-H(X\mid Y) \] misura la riduzione media d’incertezza ed è una divergenza dalla condizione di indipendenza.
- Nel caso multivariato, la regola della catena \[ I(Y;X_1,X_2)=I(Y;X_1)+I(Y;X_2\mid X_1) \] fornisce una decomposizione sequenziale, ma non separa informazione unica e sinergica.
- La PID decompone \[ I(Y;X_1,X_2)=R+U_1+U_2+S, \] distinguendo duplicazione, specializzazione e integrazione.
La distinzione notazionale fondamentale è:
\[ \boxed{ I(Y;X_1,X_2) = I\!\left(Y;(X_1,X_2)\right) } \] \[ \boxed{ I(X_1,X_2;Y) = I\!\left((X_1,X_2);Y\right) = I(Y;X_1,X_2) } \] \[ \boxed{ I(Y,X_1;X_2) = I\!\left((Y,X_1);X_2\right) } \] \[ \boxed{ I(X_1;X_2;X_3) = I(X_1;X_2)-I(X_1;X_2\mid X_3) } \]Le prime tre sono informazioni mutue fra due blocchi e sono non negative. L’ultima è una co-informazione ternaria e può avere qualunque segno.
La PID affronta infine una domanda che la teoria bivariata lascia aperta: non soltanto quanti bit le sorgenti contengano sul bersaglio, ma dove tali bit siano accessibili. La struttura proposta da Williams e Beer rimane il riferimento concettuale, mentre la definizione quantitativa di “stessa informazione” è ancora oggetto di ricerca.
Riferimenti essenziali
- C. E. Shannon, “A Mathematical Theory of Communication”, Bell System Technical Journal, 1948.
- R. W. Yeung, A First Course in Information Theory, Springer.
- T. M. Cover, J. A. Thomas, Elements of Information Theory, Wiley.
- P. L. Williams, R. D. Beer, “Nonnegative Decomposition of Multivariate Information”, 2010, arXiv:1004.2515.
- N. Bertschinger, J. Rauh, E. Olbrich, J. Jost, N. Ay, “Quantifying Unique Information”, Entropy, 2014, arXiv:1311.2852.
- M. Wibral et al., “Partial information decomposition as a unified approach to the specification of neural goal functions”, Brain and Cognition, 2017.
- A. I. Luppi et al., “Information decomposition and the informational architecture of the brain”, 2024.
- A. Liardi et al., “The mathematical landscape of partial information decomposition: A comprehensive review of properties and measures”, 2026
Le definizioni PID non sono univoche. Quando si applica una PID a dati reali è necessario indicare esplicitamente la misura di ridondanza, lo stimatore e le assunzioni adottate.