Correlazione, contenuto informativo e rappresentatività del campione
1. Introduzione
La statistica classica e la teoria dell’informazione studiano spesso la stessa questione da due punti di vista diversi: come descrivere, misurare e interpretare la dipendenza tra variabili.
La statistica classica usa strumenti come media, varianza, covarianza, correlazione, regressione, campionamento e rappresentatività. La teoria dell’informazione usa invece concetti come entropia, entropia condizionata, mutua informazione e divergenza dalla distribuzione che si avrebbe in caso di indipendenza.
Questi due linguaggi sono profondamente collegati. La covarianza misura una particolare forma di dipendenza: il co-movimento lineare. La mutua informazione misura invece una forma più generale di dipendenza: quanto la conoscenza di una variabile riduce l’incertezza sull’altra.
L’idea centrale è questa:
Questo legame diventa particolarmente importante nella teoria del campionamento. Un campione è utile quando è rappresentativo della popolazione. In termini informativi, ciò significa che il fatto di essere stati inclusi nel campione non dovrebbe rivelare informazione rilevante sulla variabile che vogliamo stimare.
2. Covarianza e correlazione
Siano \(X\) e \(Y\) due variabili aleatorie reali. La covarianza è definita come:
Essa misura se \(X\) e \(Y\) tendono a scostarsi dalle rispettive medie nella stessa direzione oppure in direzioni opposte. Se quando \(X\) è sopra la sua media anche \(Y\) tende a essere sopra la sua media, la covarianza è positiva. Se quando \(X\) è sopra la sua media \(Y\) tende a essere sotto la propria, la covarianza è negativa.
La correlazione è la covarianza normalizzata:
Essa assume valori tra \(-1\) e \(1\). Una correlazione vicina a \(1\) indica una forte relazione lineare positiva. Una correlazione vicina a \(-1\) indica una forte relazione lineare negativa. Una correlazione vicina a \(0\) indica assenza di relazione lineare.
Il punto decisivo è che la correlazione misura soltanto la dipendenza lineare. Se la relazione tra due variabili è non lineare, la correlazione può essere nulla anche in presenza di una dipendenza molto forte.
3. Mutua informazione
La mutua informazione misura quanta informazione una variabile contiene sull’altra. Per variabili discrete, è definita come:
Questa formula confronta la distribuzione congiunta reale \(p(x,y)\) con la distribuzione \(p(x)p(y)\) che avremmo se \(X\) e \(Y\) fossero indipendenti.
In forma compatta:
Dunque la mutua informazione misura quanto la distribuzione reale si discosta dalla distribuzione indipendente. Se le due distribuzioni coincidono, non c’è informazione reciproca. Se sono molto diverse, una variabile contiene molta informazione sull’altra.
La mutua informazione può anche essere scritta come:
Qui \(H(X)\) è l’incertezza iniziale su \(X\), mentre \(H(X\mid Y)\) è l’incertezza residua su \(X\) dopo aver osservato \(Y\). Quindi \(I(X;Y)\) misura la riduzione di incertezza su \(X\) ottenuta conoscendo \(Y\).
La covarianza chiede:
quando \(X\) cresce, \(Y\) tende linearmente a crescere o diminuire?
La mutua informazione chiede:
sapere \(Y\) cambia ciò che so su \(X\)?
4. Relazione matematica tra covarianza e mutua informazione
La proprietà fondamentale della mutua informazione è:
La covarianza soddisfa invece una proprietà più debole:
Ma il contrario non vale in generale:
Quindi l’indipendenza implica covarianza nulla, ma la covarianza nulla non implica indipendenza. Al contrario, mutua informazione nulla e indipendenza sono equivalenti.
Questo mostra che la mutua informazione è una misura più generale della dipendenza statistica.
5. Esempio: covarianza nulla ma informazione positiva
Consideriamo:
La variabile \(Y\) è completamente determinata da \(X\). Se conosco \(X\), conosco esattamente \(Y\). Quindi c’è una dipendenza fortissima.
Tuttavia la covarianza è nulla:
Poiché \(X\) è simmetrica intorno a zero:
Dunque:
Ma \(X\) e \(Y\) non sono indipendenti, perché \(Y=X^2\). Quindi:
La covarianza non vede la dipendenza perché la relazione è non lineare e simmetrica. La mutua informazione invece la vede, perché misura la dipendenza distribuzionale complessiva.
6. Il caso gaussiano
Esiste però un caso speciale in cui correlazione e mutua informazione sono strettamente collegate: il caso gaussiano.
Se \(X\) e \(Y\) sono gaussiane congiunte con correlazione \(\rho\), allora:
In questo caso la mutua informazione dipende soltanto dalla correlazione. Inoltre:
Per dipendenze deboli, usando l’approssimazione \(-\log(1-u)\approx u\), si ottiene:
Nel mondo gaussiano, la dipendenza è completamente descritta dalla correlazione. Fuori dal mondo gaussiano, invece, la correlazione può perdere molta informazione.
7. Covarianza come traccia parziale dell’indipendenza
La covarianza può essere riscritta così:
Il primo termine è il valore atteso di \(XY\) sotto la distribuzione congiunta reale. Il secondo è il valore atteso di \(XY\) sotto la distribuzione che avremmo se \(X\) e \(Y\) fossero indipendenti.
Dunque la covarianza misura una particolare deviazione dall’indipendenza: quella visibile attraverso la funzione \(XY\). La mutua informazione misura invece la deviazione complessiva dall’indipendenza.
8. Rappresentatività del campione
Passiamo ora al campionamento. Sia \(X\) una variabile di interesse nella popolazione: reddito, altezza, voto politico, spesa media, rendimento scolastico, produttività o altro.
La media vera della popolazione è:
Da un campione di ampiezza \(n\), osserviamo:
La media campionaria è:
Il campionamento statistico è utile perché, sotto condizioni opportune, la media campionaria si avvicina alla media della popolazione:
Ma questo richiede che il campione non sia sistematicamente distorto. In termini semplici, la distribuzione di \(X\) nel campione deve assomigliare alla distribuzione di \(X\) nella popolazione:
9. Gruppi e variabile \(G\)
Supponiamo che la popolazione sia divisa in gruppi. Indichiamo con \(G\) la variabile che identifica il gruppo. Per esempio, \(G\) può rappresentare area geografica, età, categoria professionale, titolo di studio o fascia di reddito.
Ogni gruppo può avere una distribuzione diversa di \(X\):
La distribuzione complessiva nella popolazione è:
Se sapere il gruppo cambia la distribuzione attesa di \(X\), allora \(G\) contiene informazione su \(X\). Formalmente:
Se:
allora \(X\) e \(G\) sono indipendenti:
Se invece:
allora sapere il gruppo riduce l’incertezza su \(X\). Il gruppo è statisticamente rilevante.
10. Se un gruppo informa su \(X\), è un cattivo campione?
Non necessariamente. Bisogna distinguere tra rappresentatività rispetto alla media e rappresentatività rispetto all’intera distribuzione.
Se campioniamo soltanto dal gruppo \(G=g\), stimiamo naturalmente:
non necessariamente:
Il bias rispetto alla media è:
Quindi un gruppo è cattivo per stimare la media se la sua media condizionata è diversa dalla media della popolazione.
Ma \(I(X;G)>0\) dice qualcosa di più generale: dice che la distribuzione di \(X\) cambia sapendo \(G\). Può accadere che le medie siano uguali, ma le distribuzioni diverse.
Quindi \(I(X;G)>0\) non significa automaticamente che un gruppo sia un cattivo campione per stimare la media. Significa però che il gruppo è rilevante per descrivere la distribuzione di \(X\).
11. Esempio: gruppo informativo e bias sulla media
Supponiamo una popolazione divisa in due gruppi:
Nel gruppo \(A\), \(X=0\). Nel gruppo \(B\), \(X=100\). Allora:
Se campioniamo solo da \(A\), stimiamo \(0\). Se campioniamo solo da \(B\), stimiamo \(100\). In questo caso il gruppo è molto informativo su \(X\), e un singolo gruppo è un cattivo campione dell’intera popolazione per stimare la media.
Poiché \(G\) determina \(X\), si ha:
12. Esempio: informazione positiva senza bias sulla media
Consideriamo ora due gruppi con la stessa media ma dispersione diversa.
Nel gruppo \(A\):
con uguale probabilità. Nel gruppo \(B\):
sempre con uguale probabilità.
In entrambi i gruppi:
Quindi la media non cambia. Tuttavia le distribuzioni sono molto diverse: nel gruppo \(A\) i valori sono piccoli, nel gruppo \(B\) sono estremi. Perciò:
Il gruppo non informa sulla media, ma informa sulla varianza, sulla scala e sulla forma della distribuzione.
13. Il campionamento come variabile di selezione \(S\)
Per collegare campionamento e mutua informazione, introduciamo una variabile \(S\):
La distribuzione nella popolazione è \(p(x)\). La distribuzione nel campione è:
Il campione è rappresentativo rispetto all’intera distribuzione di \(X\) se:
Questa è precisamente una condizione di indipendenza:
In termini di mutua informazione:
Un campione è informativamente rappresentativo rispetto a \(X\) quando sapere che un individuo è stato incluso nel campione non dà informazione su \(X\).
Se invece:
allora il processo di selezione è informativo su \(X\). Questo segnala una possibile distorsione del campione.
14. Gruppi e composizione campionaria
Supponiamo che nella popolazione i gruppi abbiano pesi \(p(g)\), mentre nel campione abbiano pesi \(q(g)\). La distribuzione della popolazione è:
La distribuzione del campione diventa:
Se \(X\) e \(G\) sono indipendenti, allora \(p(x\mid g)=p(x)\). Quindi:
In questo caso sbagliare le proporzioni dei gruppi non cambia la distribuzione di \(X\).
Ma se \(I(X;G)>0\), allora i gruppi hanno distribuzioni diverse di \(X\), e quindi cambiare i pesi dei gruppi può cambiare la distribuzione campionaria.
15. Campionamento stratificato
La teoria classica del campionamento affronta questo problema con il campionamento stratificato. Se la popolazione è divisa in gruppi, possiamo stimare la media totale pesando correttamente le medie dei gruppi.
Siano:
Allora:
Nel campionamento stratificato si stima:
dove \(\bar X_g\) è la media campionaria osservata nello strato \(g\).
Se \(I(X;G)>0\), allora \(G\) è un buon candidato per stratificare o ponderare il campione. Il problema non è che \(G\) sia “cattivo”: il problema è ignorare \(G\) quando \(G\) è informativo su \(X\).
16. La decomposizione della varianza
Una formula centrale della statistica è:
Questa formula dice che la variabilità totale di \(X\) è la somma di due componenti:
- la variabilità media dentro i gruppi;
- la variabilità tra le medie dei gruppi.
Il primo termine:
misura quanto \(X\) varia mediamente all’interno dei gruppi.
Il secondo termine:
misura quanto sono diverse tra loro le medie dei gruppi.
Dimostrazione
Definiamo:
Allora:
Elevando al quadrato:
Prendiamo il valore atteso:
Il termine misto è nullo. Infatti:
Poiché \(m(G)-\mu\) dipende solo da \(G\), segue che:
Inoltre:
E, poiché \(\mathbb{E}[m(G)]=\mathbb{E}[X]=\mu\):
Quindi:
17. Il parallelo con l’entropia
Alla decomposizione della varianza corrisponde una decomposizione dell’entropia:
Questa formula dice che l’incertezza totale su \(X\) è la somma di:
- incertezza residua su \(X\) dopo aver conosciuto \(G\);
- informazione su \(X\) fornita da \(G\).
| Statistica classica | Teoria dell’informazione |
|---|---|
| \(\operatorname{Var}(X)\) | \(H(X)\) |
| Variabilità totale | Incertezza totale |
| \(\mathbb{E}[\operatorname{Var}(X\mid G)]\) | \(H(X\mid G)\) |
| Variabilità residua dentro i gruppi | Incertezza residua sapendo il gruppo |
| \(\operatorname{Var}(\mathbb{E}[X\mid G])\) | \(I(X;G)\) |
| Variabilità spiegata dai gruppi | Informazione fornita dai gruppi |
Il parallelismo è forte, ma non identico. La varianza misura dispersione quadratica intorno alla media. L’entropia misura incertezza distribuzionale. La varianza spiegata dai gruppi riguarda soprattutto le differenze tra medie condizionate. La mutua informazione riguarda invece tutta la distribuzione condizionata.
18. Media, varianza e distribuzione
La statistica classica può dire che i gruppi sono importanti se cambiano le medie:
Oppure se cambiano le varianze:
La mutua informazione, invece, considera l’intera distribuzione:
Per questo può accadere che:
Ciò accade quando i gruppi hanno la stessa media ma distribuzioni diverse.
La teoria basata su medie, varianze e covarianze vede una parte della dipendenza. La teoria dell’informazione vede la dipendenza distribuzionale complessiva.
19. Regressione, covarianza e mutua informazione
Anche la regressione lineare si collega a questo discorso. Nel modello:
il coefficiente \(\beta\) è:
Quindi la regressione lineare è fondata sulla covarianza. Essa cerca la migliore approssimazione lineare di \(Y\) in funzione di \(X\).
Ma se la relazione è non lineare, la covarianza può essere nulla anche quando \(X\) è molto utile per prevedere \(Y\). In questi casi la mutua informazione è più adatta a misurare il contenuto predittivo generale.
può essere interpretata come la quantità di informazione che la variabile \(X_j\) contiene sull’obiettivo \(Y\).
20. Rappresentatività rispetto alla media e rispetto alla distribuzione
Possiamo ora distinguere due nozioni di rappresentatività.
Rappresentatività rispetto alla media
Il campione è rappresentativo rispetto alla media di \(X\) se:
Questa condizione garantisce assenza di bias sulla media, ma non garantisce che l’intera distribuzione sia rappresentata correttamente.
Rappresentatività rispetto alla distribuzione
Il campione è rappresentativo rispetto alla distribuzione di \(X\) se:
Questa è una condizione più forte. In termini informativi:
Quindi la mutua informazione fornisce un linguaggio preciso per parlare di rappresentatività distribuzionale.
21. Sintesi finale
| Concetto | Statistica classica | Teoria dell’informazione |
|---|---|---|
| Incertezza | \(\operatorname{Var}(X)\) | \(H(X)\) |
| Dipendenza | \(\operatorname{Cov}(X,Y)\), \(\rho\) | \(I(X;Y)\) |
| Dipendenza nulla | Covarianza nulla: solo assenza di dipendenza lineare | Mutua informazione nulla: indipendenza |
| Gruppo rilevante | Medie o varianze diverse tra gruppi | \(I(X;G)>0\) |
| Campione rappresentativo | \(\mathbb{E}[X\mid S=1]\approx \mathbb{E}[X]\) | \(I(X;S)\approx 0\) |
Conclusione
La covarianza e la correlazione misurano una forma importante ma limitata di dipendenza: la dipendenza lineare. Sono strumenti centrali nella statistica classica, nella regressione e nella teoria del campionamento, ma non esauriscono il concetto di relazione tra variabili.
La mutua informazione misura invece il contenuto informativo complessivo: quanto conoscere una variabile riduce l’incertezza sull’altra. Per questo:
Nel campionamento, questa idea permette di riformulare la rappresentatività. Se \(S\) indica l’inclusione nel campione, allora un campione è rappresentativo rispetto alla distribuzione di \(X\) quando:
Se invece la popolazione è divisa in gruppi \(G\), la quantità \(I(X;G)\) misura quanto i gruppi siano rilevanti per descrivere \(X\). Se \(I(X;G)>0\), allora ignorare la composizione del campione rispetto a \(G\) può produrre distorsioni. Non significa che ogni gruppo sia automaticamente un cattivo campione, ma significa che il gruppo contiene informazione su \(X\).
Il ponte concettuale più elegante tra statistica classica e teoria dell’informazione è dato dalle due formule:
La prima formula divide la variabilità totale in variabilità interna ai gruppi e variabilità tra gruppi. La seconda divide l’incertezza totale in incertezza residua e informazione fornita dal gruppo.
In questo senso, la mutua informazione può essere vista come l’analogo informativo della varianza spiegata, ma con una portata più ampia: non guarda soltanto alle medie o alle relazioni lineari, bensì all’intera struttura probabilistica delle variabili.
Alvise Giubelli – HumAI.it©