Probabilità condizionata, spazio degli eventi e geometria della misura

Le relazioni tra \(P(A)\), \(P(B)\), \(P(A \cap B)\), \(P(A \mid B)\) e \(P(B \mid A)\) costituiscono il nucleo elementare, ma profondissimo, del calcolo delle probabilità. Esse mostrano che la probabilità non è soltanto un numero assegnato a un evento, ma una misura di regioni dentro uno spazio logico di possibilità. In questa prospettiva, gli eventi sono insiemi, le probabilità sono misure di insiemi, e le probabilità condizionate sono misure relative, cioè misure ricalcolate dopo avere ristretto lo spazio di riferimento.

L’idea centrale è semplice: se \(\Omega\) è lo spazio degli eventi possibili, allora un evento \(A\) è una regione di \(\Omega\), un evento \(B\) è un’altra regione, e \(A \cap B\), spesso scritto anche \(AB\), è la regione comune ai due eventi. La probabilità \(P(A)\) misura quanto è grande \(A\) rispetto a tutto \(\Omega\); la probabilità \(P(B)\) misura quanto è grande \(B\) rispetto a tutto \(\Omega\); la probabilità \(P(A \cap B)\) misura quanto è grande la loro sovrapposizione rispetto a tutto \(\Omega\).

1. Lo spazio degli eventi come spazio misurato

In termini rigorosi, un modello probabilistico elementare può essere pensato come una terna:

\[ (\Omega, \mathcal{F}, P) \]

dove:

• \(\Omega\) è lo spazio campionario, cioè l’insieme di tutti gli esiti possibili;
• \(\mathcal{F}\) è una famiglia di sottoinsiemi di \(\Omega\), cioè gli eventi a cui si può assegnare probabilità;
• \(P\) è una misura di probabilità, cioè una funzione che assegna a ogni evento un numero tra \(0\) e \(1\).

Dire che \(P\) è una misura significa che essa si comporta in modo analogo a una lunghezza, a un’area o a un volume, anche se non necessariamente coincide con una misura geometrica ordinaria. In uno spazio continuo, per esempio, la probabilità può essere rappresentata da un’area sotto una curva o da una densità distribuita nello spazio. In uno spazio discreto, può essere rappresentata da masse assegnate ai singoli punti.

In ogni caso, l’intuizione geometrica rimane utile: se \(\Omega\) è il rettangolo totale, \(P(A)\) è la misura della regione \(A\), \(P(B)\) è la misura della regione \(B\), e \(P(A \cap B)\) è la misura della zona in cui le due regioni si sovrappongono.

2. Probabilità marginali e probabilità congiunta

Le probabilità \(P(A)\) e \(P(B)\) vengono dette, in molti contesti, probabilità marginali. Esse misurano ciascun evento senza condizionare su altri eventi. La probabilità \(P(A)\) comprende sia la parte di \(A\) che sta dentro \(B\), sia la parte di \(A\) che resta fuori da \(B\). Analogamente, \(P(B)\) comprende sia la parte di \(B\) che sta dentro \(A\), sia la parte di \(B\) che resta fuori da \(A\).

Formalmente:

\[ P(A) = P(A \cap B) + P(A \cap B^c) \] \[ P(B) = P(A \cap B) + P(A^c \cap B) \]

dove \(A^c\) indica il complemento di \(A\), cioè il verificarsi di “non \(A\)”, e \(B^c\) indica il complemento di \(B\), cioè il verificarsi di “non \(B\)”.

La probabilità \(P(A \cap B)\), invece, è la probabilità congiunta dei due eventi. Essa risponde alla domanda: qual è la probabilità che accadano insieme \(A\) e \(B\)?

\[ P(AB) = P(A \cap B) \]

Questa regione comune è cruciale perché costituisce il numeratore delle due principali probabilità condizionate:

\[ P(A \mid B) \qquad \text{e} \qquad P(B \mid A) \]

3. Che cos’è \(P(A \mid B)\)

La probabilità condizionata \(P(A \mid B)\) si legge “probabilità di \(A\) dato \(B\)”. Essa indica la probabilità che \(A\) sia vero sapendo che \(B\) è vero.

La definizione è:

\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)} \]

con la condizione che \(P(B) > 0\).

Geometricamente, questa formula ha un significato molto chiaro. Invece di misurare \(A \cap B\) rispetto a tutto \(\Omega\), lo si misura rispetto a \(B\). In altre parole, \(B\) diventa il nuovo spazio totale. La domanda non è più: quanto è grande \(A \cap B\) rispetto a tutto lo spazio? La domanda diventa: quanto è grande \(A \cap B\) rispetto alla regione \(B\)?

Dal punto di vista della misura, la probabilità condizionata corrisponde a una nuova misura \(P_B\) definita sugli eventi \(E\) nel modo seguente:

\[ P_B(E) = P(E \mid B) = \frac{P(E \cap B)}{P(B)} \]

Questa nuova misura assegna probabilità \(1\) a \(B\):

\[ P_B(B) = P(B \mid B) = \frac{P(B \cap B)}{P(B)} = \frac{P(B)}{P(B)} = 1 \]

Dunque, una volta condizionato su \(B\), tutto ciò che è fuori da \(B\) non conta più:

\[ P_B(B^c) = P(B^c \mid B) = 0 \]

4. Che cos’è \(P(B \mid A)\)

La probabilità \(P(B \mid A)\) si legge “probabilità di \(B\) dato \(A\)”. Essa indica la probabilità che \(B\) sia vero sapendo che \(A\) è vero.

La definizione è:

\[ P(B \mid A) = \frac{P(A \cap B)}{P(A)} \]

con la condizione che \(P(A) > 0\).

Anche qui la regione comune \(A \cap B\) è la stessa. Cambia però il denominatore, cioè cambia lo spazio rispetto al quale misuriamo quella regione. Nel caso di \(P(A \mid B)\), la regione comune viene confrontata con \(B\). Nel caso di \(P(B \mid A)\), viene confrontata con \(A\).

Probabilità	Significato geometrico	Formula
\(P(A)\)	Misura di \(A\) rispetto a \(\Omega\)	\(P(A)\)
\(P(B)\)	Misura di \(B\) rispetto a \(\Omega\)	\(P(B)\)
\(P(A \cap B)\)	Misura della sovrapposizione rispetto a \(\Omega\)	\(P(AB)\)
\(P(A \mid B)\)	Misura della sovrapposizione rispetto a \(B\)	\(\frac{P(A \cap B)}{P(B)}\)
\(P(B \mid A)\)	Misura della sovrapposizione rispetto ad \(A\)	\(\frac{P(A \cap B)}{P(A)}\)

5. Perché \(P(A \mid B)\) e \(P(B \mid A)\) sono diverse

Un errore molto comune consiste nel confondere \(P(A \mid B)\) con \(P(B \mid A)\). La confusione nasce dal fatto che entrambe le quantità coinvolgono la stessa intersezione \(A \cap B\). Tuttavia, il denominatore è diverso.

\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)} \] \[ P(B \mid A) = \frac{P(A \cap B)}{P(A)} \]

La regione comune è identica, ma cambia la regione rispetto a cui essa viene valutata. Se \(B\) è piccolo e \(A \cap B\) occupa una grande parte di \(B\), allora \(P(A \mid B)\) può essere alta. Ma se \(A\) è molto grande, quella stessa intersezione può occupare una piccola parte di \(A\), e allora \(P(B \mid A)\) può essere bassa.

Supponiamo, per esempio:

\[ P(A) = 0.8, \qquad P(B) = 0.2, \qquad P(A \cap B) = 0.1 \]

Allora:

\[ P(A \mid B) = \frac{0.1}{0.2} = 0.5 \]

mentre:

\[ P(B \mid A) = \frac{0.1}{0.8} = 0.125 \]

La stessa intersezione rappresenta il \(50\%\) di \(B\), ma solo il \(12.5\%\) di \(A\). Questo mostra chiaramente che la probabilità condizionata non riguarda soltanto l’intersezione, ma anche la regione assunta come nuovo universo di riferimento.

6. La relazione fondamentale e il teorema di Bayes

Dalle due definizioni si ottengono immediatamente due formule equivalenti per la probabilità dell’intersezione:

\[ P(A \cap B) = P(A \mid B)P(B) \] \[ P(A \cap B) = P(B \mid A)P(A) \]

Quindi:

\[ P(A \mid B)P(B) = P(B \mid A)P(A) \]

Da questa identità segue il teorema di Bayes:

\[ P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)} \]

Bayes non è una formula misteriosa, ma una conseguenza della doppia lettura geometrica della stessa intersezione. La regione \(A \cap B\) può essere ottenuta partendo da \(B\) e prendendone la parte che è anche \(A\), oppure partendo da \(A\) e prendendone la parte che è anche \(B\).

In altre parole:

\[ \text{intersezione} = \text{base } B \times \text{quota di } B \text{ che cade in } A \] \[ \text{intersezione} = \text{base } A \times \text{quota di } A \text{ che cade in } B \]

cioè:

\[ P(A \cap B) = P(B)P(A \mid B) \] \[ P(A \cap B) = P(A)P(B \mid A) \]

7. Condizionare significa rinormalizzare la misura

Il passaggio da \(P(A)\) a \(P(A \mid B)\) è un’operazione di rinormalizzazione. Originariamente, la misura totale dello spazio è:

\[ P(\Omega) = 1 \]

Se però sappiamo che \(B\) è accaduto, allora gli esiti fuori da \(B\) diventano impossibili rispetto alla nuova informazione. Dunque si considera \(B\) come nuovo spazio totale. Poiché in origine \(P(B)\) poteva essere minore di \(1\), per trasformarlo nel nuovo totale bisogna dividere per \(P(B)\).

Questa è la ragione profonda della formula:

\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)} \]

Il numeratore seleziona la parte di \(A\) compatibile con \(B\); il denominatore riporta la misura di \(B\) a \(1\). Condizionare, quindi, significa:

• eliminare gli esiti incompatibili con l’informazione ricevuta;
• conservare solo la regione compatibile;
• ricalibrare le probabilità affinché la nuova regione totale abbia misura \(1\).

8. Il rapporto con la geometria degli insiemi

Il linguaggio geometrico non è soltanto una metafora didattica. In molte situazioni, la probabilità è effettivamente una misura geometrica. Se un punto è scelto a caso uniformemente in un quadrato, la probabilità che cada in una regione è proporzionale all’area di quella regione. Se il quadrato ha area \(1\), allora la probabilità coincide direttamente con l’area.

In tal caso:

\[ P(A) = \text{area}(A) \] \[ P(B) = \text{area}(B) \] \[ P(A \cap B) = \text{area}(A \cap B) \]

e:

\[ P(A \mid B) = \frac{\text{area}(A \cap B)}{\text{area}(B)} \]

Tuttavia, in generale, la probabilità non deve essere confusa con l’area geometrica ordinaria. Una regione può avere una certa estensione geometrica, ma essere più o meno probabile a seconda della distribuzione di probabilità. Se la densità non è uniforme, alcune zone dello spazio pesano di più di altre.

Per esempio, in uno spazio continuo con densità \(f(x)\), la probabilità di un evento \(A\) non è semplicemente la sua lunghezza o area, ma l’integrale della densità su quella regione:

\[ P(A) = \int_A f(x)\,dx \]

Analogamente:

\[ P(A \cap B) = \int_{A \cap B} f(x)\,dx \]

e la probabilità condizionata diventa:

\[ P(A \mid B) = \frac{\int_{A \cap B} f(x)\,dx}{\int_B f(x)\,dx} \]

La geometria resta quindi presente, ma come geometria misurata: ciò che conta non è soltanto l’estensione della regione, ma la quantità di misura probabilistica che cade in essa.

9. Indipendenza: quando l’intersezione non dice nulla di nuovo

Due eventi \(A\) e \(B\) sono indipendenti quando sapere che uno dei due è accaduto non modifica la probabilità dell’altro. Formalmente:

\[ P(A \mid B) = P(A) \]

se \(P(B)>0\), e in modo equivalente:

\[ P(B \mid A) = P(B) \]

se \(P(A)>0\).

In questo caso la probabilità dell’intersezione si fattorizza:

\[ P(A \cap B) = P(A)P(B) \]

Questa formula non è vera in generale: è vera solo se gli eventi sono indipendenti. Geometricamente, l’indipendenza significa che la quota di \(B\) occupata da \(A\) è uguale alla quota di tutto lo spazio occupata da \(A\). In altri termini, restringere lo spazio a \(B\) non cambia la proporzione di \(A\).

10. Dipendenza e informazione

Quando invece:

\[ P(A \mid B) \neq P(A) \]

allora \(B\) contiene informazione su \(A\). Sapere che \(B\) è accaduto modifica la probabilità attribuita ad \(A\). Questo è il collegamento naturale tra probabilità condizionata e informazione.

Si può dire che \(B\) è informativo rispetto ad \(A\) se la misura relativa di \(A\) dentro \(B\) è diversa dalla misura di \(A\) nello spazio totale:

\[ P(A \mid B) \neq P(A) \]

Se invece:

\[ P(A \mid B) = P(A) \]

allora sapere \(B\) non cambia nulla riguardo ad \(A\), e \(B\) non fornisce informazione su \(A\).

11. Dalla probabilità condizionata alla mutua informazione

La mutua informazione misura precisamente quanto la conoscenza di una variabile riduce l’incertezza sull’altra. Nel caso di due variabili aleatorie discrete \(X\) e \(Y\), la mutua informazione è definita come:

\[ I(X;Y) = \sum_x \sum_y p(x,y) \log \frac{p(x,y)}{p(x)p(y)} \]

Questa formula confronta la probabilità congiunta effettiva \(p(x,y)\) con la probabilità congiunta che ci sarebbe se \(X\) e \(Y\) fossero indipendenti, cioè:

\[ p(x)p(y) \]

Il rapporto:

\[ \frac{p(x,y)}{p(x)p(y)} \]

indica quanto la co-occorrenza di \(x\) e \(y\) si discosta da ciò che ci si aspetterebbe in caso di indipendenza. Se:

\[ p(x,y) = p(x)p(y) \]

allora quel termine non segnala alcuna dipendenza. Se invece \(p(x,y)\) è maggiore o minore del prodotto \(p(x)p(y)\), allora esiste una struttura informativa: sapere qualcosa su una variabile cambia la distribuzione probabile dell’altra.

Usando le probabilità condizionate, la stessa formula può essere scritta così:

\[ I(X;Y) = \sum_x \sum_y p(x,y) \log \frac{p(x \mid y)}{p(x)} \]

oppure simmetricamente:

\[ I(X;Y) = \sum_x \sum_y p(x,y) \log \frac{p(y \mid x)}{p(y)} \]

Queste forme rendono esplicito il legame con la probabilità condizionata. La mutua informazione misura quanto, in media, la distribuzione condizionata differisce dalla distribuzione marginale. Se conoscere \(Y=y\) non cambia la probabilità di \(X=x\), allora:

\[ p(x \mid y) = p(x) \]

e il rapporto:

\[ \frac{p(x \mid y)}{p(x)} \]

vale \(1\). Poiché \(\log 1 = 0\), quel caso non contribuisce alla mutua informazione.

12. Interpretazione geometrica della mutua informazione

La mutua informazione può essere vista come una misura globale dello scostamento tra due geometrie probabilistiche:

• la geometria della distribuzione congiunta reale \(p(x,y)\);
• la geometria che si avrebbe in caso di indipendenza \(p(x)p(y)\).

Se \(X\) e \(Y\) fossero indipendenti, lo spazio congiunto sarebbe organizzato come un prodotto semplice: la probabilità di ogni coppia \((x,y)\) sarebbe data dal prodotto delle probabilità marginali. Ma quando esiste dipendenza, alcune celle dello spazio congiunto hanno più massa probabilistica di quanto previsto dall’indipendenza, mentre altre ne hanno meno.

La mutua informazione misura proprio questa deformazione della misura congiunta rispetto alla misura prodotto. In forma compatta:

\[ I(X;Y) = D_{\mathrm{KL}} \bigl( p(x,y) \,\Vert\, p(x)p(y) \bigr) \]

dove \(D_{\mathrm{KL}}\) è la divergenza di Kullback-Leibler. Questa notazione dice che la mutua informazione è la distanza informativa tra la distribuzione congiunta effettiva e la distribuzione congiunta che ci sarebbe se le variabili fossero indipendenti.

Non è una distanza geometrica ordinaria, perché non è simmetrica nel caso generale della divergenza di Kullback-Leibler. Tuttavia, nel caso della mutua informazione, il risultato è simmetrico rispetto a \(X\) e \(Y\):

\[ I(X;Y) = I(Y;X) \]

Questo riflette il fatto che l’informazione condivisa è reciproca: se \(X\) informa su \(Y\), allora \(Y\) informa su \(X\), anche se le probabilità condizionate \(p(x \mid y)\) e \(p(y \mid x)\) non sono in generale uguali.

13. Eventi singoli e informazione puntuale

Per due eventi \(A\) e \(B\), si può considerare una quantità analoga, detta talvolta informazione mutua puntuale:

\[ \operatorname{pmi}(A,B) = \log \frac{P(A \cap B)}{P(A)P(B)} \]

Essa misura quanto l’intersezione effettiva di \(A\) e \(B\) differisce dall’intersezione che ci si aspetterebbe se \(A\) e \(B\) fossero indipendenti.

Se:

\[ P(A \cap B) = P(A)P(B) \]

allora:

\[ \operatorname{pmi}(A,B) = \log 1 = 0 \]

e non c’è informazione associativa tra \(A\) e \(B\). Se invece:

\[ P(A \cap B) > P(A)P(B) \]

allora \(A\) e \(B\) co-occorrono più spesso di quanto previsto dall’indipendenza, e la loro associazione è positiva. Se invece:

\[ P(A \cap B) < P(A)P(B) \]

allora co-occorrono meno spesso di quanto previsto, e l’associazione è negativa.

14. Probabilità condizionata e informazione come cambiamento di misura

Il collegamento profondo è dunque questo: la probabilità condizionata descrive come cambia la misura di un evento quando si restringe lo spazio degli eventi; la mutua informazione misura quanto questi cambiamenti siano sistematici.

Se, per tutti i valori rilevanti, condizionare non cambia nulla, allora non c’è informazione:

\[ p(x \mid y) = p(x) \]

In questo caso:

\[ I(X;Y) = 0 \]

Se invece la distribuzione condizionata differisce dalla distribuzione marginale, allora conoscere \(Y\) modifica le probabilità di \(X\), e c’è informazione condivisa:

\[ p(x \mid y) \neq p(x) \]

In generale:

\[ I(X;Y) > 0 \]

La mutua informazione è quindi una misura media della distanza tra ciò che si credeva prima di conoscere \(Y\) e ciò che si crede dopo aver conosciuto \(Y\).

15. Esempio con tabella \(2 \times 2\)

Supponiamo di avere due eventi:

• \(A\): una persona fuma;
• \(B\): una persona ha una certa patologia.

Lo spazio degli eventi può essere diviso in quattro regioni:

	\(B\)	\(B^c\)	Totale
\(A\)	\(P(A \cap B)\)	\(P(A \cap B^c)\)	\(P(A)\)
\(A^c\)	\(P(A^c \cap B)\)	\(P(A^c \cap B^c)\)	\(P(A^c)\)
Totale	\(P(B)\)	\(P(B^c)\)	\(1\)

Questa tabella è una rappresentazione discreta dello spazio degli eventi. Ogni cella rappresenta una regione. Le probabilità marginali sono ottenute sommando lungo righe o colonne; le probabilità condizionate sono ottenute dividendo una cella per il totale della riga o della colonna pertinente.

Per esempio:

\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)} \]

significa: tra tutti quelli che stanno nella colonna \(B\), quale quota sta anche nella riga \(A\)?

Invece:

\[ P(B \mid A) = \frac{P(A \cap B)}{P(A)} \]

significa: tra tutti quelli che stanno nella riga \(A\), quale quota sta anche nella colonna \(B\)?

La mutua informazione, in questo caso, valuta quanto l’intera tabella si discosta da una tabella costruita come prodotto delle marginali. Se la tabella osservata coincide con quella che ci si aspetterebbe in caso di indipendenza, la mutua informazione è nulla. Se invece alcune celle sono sovra-rappresentate o sotto-rappresentate, allora vi è dipendenza informativa.

16. Sintesi finale

La probabilità \(P(A)\) misura la grandezza dell’evento \(A\) nello spazio totale \(\Omega\). La probabilità \(P(B)\) misura la grandezza dell’evento \(B\) nello stesso spazio. La probabilità \(P(A \cap B)\) misura la loro sovrapposizione. Le probabilità condizionate \(P(A \mid B)\) e \(P(B \mid A)\) misurano invece la stessa sovrapposizione da due punti di vista diversi: nel primo caso rispetto a \(B\), nel secondo rispetto ad \(A\).

Il punto essenziale è che la probabilità condizionata modifica lo spazio di riferimento. Condizionare su \(B\) significa assumere \(B\) come nuovo universo e rinormalizzare la misura al suo interno. Per questo:

\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)} \]

e:

\[ P(B \mid A) = \frac{P(A \cap B)}{P(A)} \]

La geometria degli insiemi fornisce una rappresentazione intuitiva potente: eventi come regioni, intersezioni come sovrapposizioni, probabilità come misure, condizionamenti come restrizioni e rinormalizzazioni dello spazio. Ma questa geometria deve essere intesa in senso misurale: ciò che conta non è sempre l’area ordinaria, bensì la misura probabilistica distribuita sulle regioni.

La mutua informazione generalizza questa intuizione. Essa misura quanto la probabilità congiunta reale differisce dalla probabilità congiunta che si avrebbe in caso di indipendenza. In altri termini, misura quanto la conoscenza di una variabile cambia la misura probabilistica dell’altra. Se condizionare non cambia nulla, non c’è informazione. Se condizionare modifica sistematicamente le probabilità, allora c’è dipendenza, struttura e informazione condivisa.

Il legame tra probabilità condizionata, geometria degli eventi e mutua informazione può dunque essere riassunto così: la probabilità condizionata è il modo locale in cui la misura cambia quando restringiamo lo spazio; la mutua informazione è la misura globale di quanto questi cambiamenti rivelino una dipendenza tra le variabili.