Probabilità bayesiana, distribuzione Beta e teorema di de Finetti

La probabilità bayesiana nasce da un’idea semplice ma molto profonda: quando osserviamo nuovi dati, non dobbiamo limitarci a registrarli; dobbiamo usarli per aggiornare razionalmente le nostre credenze. In questo quadro, una probabilità non è soltanto una frequenza osservata nel lungo periodo, ma anche una misura coerente dell’incertezza.

Supponiamo di avere diverse ipotesi possibili su un fenomeno. Prima dei dati assegniamo a ciascuna ipotesi una probabilità iniziale, detta prior. Poi osserviamo dei dati. Alcune ipotesi spiegano bene quei dati, altre li spiegano male. La formula di Bayes dice come trasformare le probabilità iniziali in probabilità aggiornate, dette posterior.

Se le ipotesi possibili sono \(H_1,H_2,\dots,H_m\), mutuamente esclusive ed esaustive, allora:

\[ \begin{aligned} P(D) &= \sum_{j=1}^{m}P(D\mid H_j)P(H_j). \end{aligned} \]

Quindi:

\[ \begin{aligned} P(H_i\mid D) &= \frac{P(D\mid H_i)P(H_i)} {\sum_{j=1}^{m}P(D\mid H_j)P(H_j)}. \end{aligned} \]

In forma intuitiva:

\[ \text{posterior}\\ \propto\\ \text{prior}\times \text{verosimiglianza}. \]

Cioè: una credenza iniziale viene rafforzata se l’ipotesi spiega bene i dati, e indebolita se li spiega male.

---

1. Un primo esempio: una moneta scelta da una scatola

Immaginiamo una scatola con tre monete. Ogni moneta ha una diversa probabilità di dare testa:

• moneta \(A\): \(P(T\mid A)=0.2\);
• moneta \(B\): \(P(T\mid B)=0.5\);
• moneta \(C\): \(P(T\mid C)=0.8\).

Non sappiamo quale moneta sia stata scelta. Assegniamo i prior:

\[ P(A)=0.25,\qquad P(B)=0.50,\qquad P(C)=0.25. \]

Prima di osservare qualunque lancio, la probabilità soggettiva di testa è:

\[ \begin{aligned} P(X_1=1) &= 0.25\cdot 0.2 + 0.50\cdot 0.5 + 0.25\cdot 0.8 \\ &= 0.50. \end{aligned} \]

Ora osserviamo una testa:

\[ X_1=1. \]

Questa osservazione modifica la nostra opinione sulla moneta scelta. Applichiamo Bayes:

\[ \begin{aligned} P(A\mid X_1=1) &= \frac{P(X_1=1\mid A)P(A)}{P(X_1=1)} \\ &= \frac{0.2\cdot 0.25}{0.50} \\ &= 0.10. \end{aligned} \] \[ \begin{aligned} P(B\mid X_1=1) &= \frac{0.5\cdot 0.50}{0.50} \\ &= 0.50. \end{aligned} \] \[ \begin{aligned} P(C\mid X_1=1) &= \frac{0.8\cdot 0.25}{0.50} \\ &= 0.40. \end{aligned} \]

Dopo aver visto una testa, la moneta \(C\), che era quella più propensa a dare testa, diventa più probabile. La moneta \(A\), che dava testa raramente, diventa meno probabile.

La probabilità che il secondo lancio sia testa diventa:

\[ \begin{aligned} P(X_2=1\mid X_1=1) &= 0.10\cdot 0.2 + 0.50\cdot 0.5 + 0.40\cdot 0.8. \end{aligned} \] \[ \begin{aligned} P(X_2=1\mid X_1=1) &= 0.02+0.25+0.32 \\ &= 0.59. \end{aligned} \]

Prima del dato la probabilità di testa era \(0.50\). Dopo aver osservato una testa, diventa \(0.59\). Dunque:

\[ P(X_2=1\mid X_1=1)\neq P(X_2=1). \]

I lanci non sono indipendenti marginalmente. Tuttavia sono indipendenti condizionatamente alla moneta scelta. Se sapessimo quale moneta stiamo usando, il risultato del primo lancio non influenzerebbe il secondo. Ma poiché non sappiamo quale moneta è stata scelta, il primo lancio ci dà informazione sulla moneta, e quindi modifica la previsione del secondo lancio.

---

2. Da dove viene la formula predittiva?

Nell’esempio precedente abbiamo usato una formula del tipo:

\[ \begin{aligned} P(X_{\text{next}}=1\mid D) &= \sum_i P(X_{\text{next}}=1\mid H_i) P(H_i\mid D). \end{aligned} \]

Questa formula deriva dalla legge della probabilità totale, applicata dopo aver osservato i dati \(D\).

Supponiamo che le ipotesi \(H_1,\dots,H_m\) siano mutuamente esclusive ed esaustive. Allora:

\[ \begin{aligned} P(X_{\text{next}}=1\mid D) &= \sum_i P(X_{\text{next}}=1,H_i\mid D). \end{aligned} \]

Per la regola del prodotto:

\[ \begin{aligned} P(X_{\text{next}}=1,H_i\mid D) &= P(X_{\text{next}}=1\mid H_i,D)P(H_i\mid D). \end{aligned} \]

Quindi:

\[ \begin{aligned} P(X_{\text{next}}=1\mid D) &= \sum_i P(X_{\text{next}}=1\mid H_i,D)P(H_i\mid D). \end{aligned} \]

Se, una volta nota l’ipotesi \(H_i\), i dati passati non aggiungono più informazione sulla prossima osservazione, allora:

\[ \begin{aligned} P(X_{\text{next}}=1\mid H_i,D) &= P(X_{\text{next}}=1\mid H_i). \end{aligned} \]

Otteniamo così:

\[ \begin{aligned} P(X_{\text{next}}=1\mid D) &= \sum_i P(X_{\text{next}}=1\mid H_i)P(H_i\mid D). \end{aligned} \]

In parole: la previsione futura è una media delle previsioni dei singoli modelli, pesata per quanto crediamo in ciascun modello dopo i dati.

---

3. Esempio: due monete possibili

Consideriamo due monete:

\[ M_1: P(T)=0.4,\\ \qquad\\ M_2: P(T)=0.7. \]

Prima dei dati:

\[ P(M_1)=0.6,\\ \qquad\\ P(M_2)=0.4. \]

Osserviamo tre lanci:

\[ D=(T,T,C). \]

Se fosse stata scelta \(M_1\):

\[ \begin{aligned} P(D\mid M_1) &= 0.4\cdot 0.4\cdot 0.6 \\ &= 0.096. \end{aligned} \]

Se fosse stata scelta \(M_2\):

\[ \begin{aligned} P(D\mid M_2) &= 0.7\cdot 0.7\cdot 0.3 \\ &= 0.147. \end{aligned} \]

Moltiplichiamo per i prior:

\[ \begin{aligned} P(D\mid M_1)P(M_1) &= 0.096\cdot 0.6 \\ &= 0.0576. \end{aligned} \] \[ \begin{aligned} P(D\mid M_2)P(M_2) &= 0.147\cdot 0.4 \\ &= 0.0588. \end{aligned} \]

Il denominatore è:

\[ \begin{aligned} P(D) &= 0.0576+0.0588 \\ &= 0.1164. \end{aligned} \]

Quindi:

\[ \begin{aligned} P(M_1\mid D) &= \frac{0.0576}{0.1164} \approx 0.495. \end{aligned} \] \[ \begin{aligned} P(M_2\mid D) &= \frac{0.0588}{0.1164} \approx 0.505. \end{aligned} \]

Le due ipotesi diventano quasi ugualmente probabili. La probabilità che il prossimo lancio sia testa è:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= P(T_{\text{next}}\mid M_1)P(M_1\mid D) + P(T_{\text{next}}\mid M_2)P(M_2\mid D). \end{aligned} \]

Sostituendo:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= 0.4\cdot 0.495 + 0.7\cdot 0.505. \end{aligned} \] \[ \begin{aligned} P(T_{\text{next}}\mid D) &= 0.198+0.3535 \\ &= 0.5515. \end{aligned} \]

Quindi:

\[ P(T_{\text{next}}\mid D)\approx 0.552. \]

Non scegliamo semplicemente il modello più probabile. Facciamo una media delle previsioni di tutti i modelli, usando le probabilità posteriori come pesi.

---

4. Esempio: test medico e aggiornamento sequenziale

Supponiamo che una malattia abbia prevalenza:

\[ P(M)=0.01,\\ \qquad\\ P(\neg M)=0.99. \]

Un test ha sensibilità:

\[ P(+\mid M)=0.95, \]

e probabilità di falso positivo:

\[ P(+\mid \neg M)=0.05. \]

Se il test è positivo, la probabilità di essere malati è:

\[ \begin{aligned} P(M\mid +) &= \frac{P(+\mid M)P(M)} {P(+\mid M)P(M)+P(+\mid \neg M)P(\neg M)}. \end{aligned} \] \[ \begin{aligned} P(M\mid +) &= \frac{0.95\cdot 0.01} {0.95\cdot 0.01+0.05\cdot 0.99}. \end{aligned} \] \[ \begin{aligned} P(M\mid +) &= \frac{0.0095}{0.0095+0.0495} \\ &= \frac{0.0095}{0.059} \approx 0.161. \end{aligned} \]

Anche dopo un test positivo, la probabilità è circa \(16.1\%\). Questo accade perché la malattia è rara: tra i molti sani ci sono comunque diversi falsi positivi.

Se facciamo un secondo test indipendente, con le stesse caratteristiche, e anche questo risulta positivo, allora:

\[ \begin{aligned} P(M\mid +,+) &= \frac{0.95^2\cdot 0.01} {0.95^2\cdot 0.01+0.05^2\cdot 0.99}. \end{aligned} \] \[ \begin{aligned} P(M\mid +,+) &= \frac{0.9025\cdot 0.01} {0.9025\cdot 0.01+0.0025\cdot 0.99}. \end{aligned} \] \[ \begin{aligned} P(M\mid +,+) &= \frac{0.009025}{0.009025+0.002475} \\ &= \frac{0.009025}{0.0115} \approx 0.785. \end{aligned} \]

Dopo due positivi, la probabilità sale a circa \(78.5\%\). Un singolo positivo può essere un falso positivo; due positivi consecutivi sono molto meno facilmente spiegabili se il soggetto è sano.

---

5. Esempio: macchina difettosa in una fabbrica

Una fabbrica ha tre macchine:

\[ A,\qquad B,\qquad C. \]

Producono quantità diverse:

\[ P(A)=0.50,\\ \qquad\\ P(B)=0.30,\\ \qquad\\ P(C)=0.20. \]

Le probabilità di produrre un pezzo difettoso sono:

\[ P(D\mid A)=0.01,\\ \qquad\\ P(D\mid B)=0.03,\\ \qquad\\ P(D\mid C)=0.08. \]

Prendiamo un pezzo a caso e scopriamo che è difettoso. Qual è la probabilità che provenga dalla macchina \(C\)?

\[ \begin{aligned} P(C\mid D) &= \frac{P(D\mid C)P(C)} {P(D\mid A)P(A)+P(D\mid B)P(B)+P(D\mid C)P(C)}. \end{aligned} \] \[ \begin{aligned} P(C\mid D) &= \frac{0.08\cdot 0.20} {0.01\cdot 0.50+0.03\cdot 0.30+0.08\cdot 0.20}. \end{aligned} \] \[ \begin{aligned} P(C\mid D) &= \frac{0.016}{0.005+0.009+0.016} \\ &= \frac{0.016}{0.030} \approx 0.533. \end{aligned} \]

Anche se la macchina \(C\) produce solo il \(20\%\) dei pezzi, tra i pezzi difettosi è responsabile di circa il \(53.3\%\). Il dato osservato seleziona le ipotesi che lo spiegano meglio.

---

6. Esempio: classificazione di email con Naive Bayes

Supponiamo di voler classificare una email come spam oppure non spam.

\[ S=\text{spam},\\ \qquad\\ N=\text{non spam}. \]

Prima di leggere l’email:

\[ P(S)=0.30,\\ \qquad\\ P(N)=0.70. \]

Nell’email compaiono tre parole:

\[ D={\text{gratis},\text{offerta},\text{urgente}}. \]

Supponiamo:

\[ P(\text{gratis}\mid S)=0.40,\\ \quad\\ P(\text{offerta}\mid S)=0.50,\\ \quad\\ P(\text{urgente}\mid S)=0.30. \] \[ P(\text{gratis}\mid N)=0.05,\\ \quad\\ P(\text{offerta}\mid N)=0.10,\\ \quad\\ P(\text{urgente}\mid N)=0.02. \]

Il modello Naive Bayes assume, in modo semplificato, che le parole siano indipendenti condizionatamente alla classe. Quindi:

\[ \begin{aligned} P(D\mid S) &= 0.40\cdot 0.50\cdot 0.30 \\ &= 0.060. \end{aligned} \] \[ \begin{aligned} P(D\mid N) &= 0.05\cdot 0.10\cdot 0.02 \\ &= 0.0001. \end{aligned} \]

Per Bayes:

\[ \begin{aligned} P(S\mid D) &= \frac{P(D\mid S)P(S)} {P(D\mid S)P(S)+P(D\mid N)P(N)}. \end{aligned} \] \[ \begin{aligned} P(S\mid D) &= \frac{0.060\cdot 0.30} {0.060\cdot 0.30+0.0001\cdot 0.70}. \end{aligned} \] \[ \begin{aligned} P(S\mid D) &= \frac{0.018}{0.018+0.00007} \\ &= \frac{0.018}{0.01807} \approx 0.996. \end{aligned} \]

L’email viene classificata come spam con probabilità circa \(99.6\%\). Il modello è semplice e l’ipotesi di indipendenza non è sempre realistica, ma spesso funziona bene perché cattura segnali forti nella distribuzione delle parole.

---

7. Confronto tra modelli: moneta equa o moneta truccata?

Bayes può essere usato non solo per stimare un parametro, ma anche per confrontare modelli.

Consideriamo due ipotesi:

\[ H_0=\text{moneta equa}, \] \[ H_1=\text{moneta truccata con }P(T)=0.8. \]

Assegniamo:

\[ P(H_0)=0.8,\\ \qquad\\ P(H_1)=0.2. \]

Osserviamo 10 lanci, con 8 teste e 2 croci.

Sotto \(H_0\):

\[ \begin{aligned} P(D\mid H_0) &= \binom{10}{8}0.5^8 0.5^2 \\ &= \binom{10}{8}0.5^{10}. \end{aligned} \] \[ \begin{aligned} P(D\mid H_0) &= 45\cdot \frac{1}{1024} \approx 0.0439. \end{aligned} \]

Sotto \(H_1\):

\[ \begin{aligned} P(D\mid H_1) &= \binom{10}{8}0.8^8 0.2^2. \end{aligned} \] \[ P(D\mid H_1)\\ \approx\\ 45\cdot 0.1678\cdot 0.04\\ \approx\\ 0.302. \]

Quindi:

\[ \begin{aligned} P(H_1\mid D) &= \frac{P(D\mid H_1)P(H_1)} {P(D\mid H_0)P(H_0)+P(D\mid H_1)P(H_1)}. \end{aligned} \] \[ \begin{aligned} P(H_1\mid D) &= \frac{0.302\cdot 0.2} {0.0439\cdot 0.8+0.302\cdot 0.2}. \end{aligned} \] \[ \begin{aligned} P(H_1\mid D) &= \frac{0.0604}{0.03512+0.0604} \\ &= \frac{0.0604}{0.09552} \approx 0.632. \end{aligned} \]

La probabilità della moneta truccata passa dal \(20\%\) a circa il \(63.2\%\).

Il fattore di Bayes

Possiamo misurare quanto i dati favoriscono un modello rispetto all’altro con il fattore di Bayes:

\[ \begin{aligned} BF_{10} &= \frac{P(D\mid H_1)}{P(D\mid H_0)}. \end{aligned} \] \[ \begin{aligned} BF_{10} &= \frac{0.302}{0.0439} \approx 6.88. \end{aligned} \]

I dati sono circa \(6.88\) volte più probabili sotto \(H_1\) che sotto \(H_0\).

Le odds posteriori sono:

\[ \begin{aligned} \frac{P(H_1\mid D)}{P(H_0\mid D)} &= \frac{P(H_1)}{P(H_0)} \cdot BF_{10}. \end{aligned} \]

Le odds iniziali erano:

\[ \frac{0.2}{0.8}=0.25. \]

Dopo i dati:

\[ 0.25\cdot 6.88=1.72. \]

Quindi \(H_1\) diventa più probabile di \(H_0\).

---

8. Il caso discreto generale: \(n\) monete e \(m\) aggiornamenti

Gli esempi precedenti si possono generalizzare in modo naturale. Supponiamo di avere \(n\) possibili monete, o più in generale \(n\) possibili modelli:

\[ M_1,M_2,\dots,M_n. \]

Ogni moneta \(M_i\) ha una propria probabilità di dare testa:

\[ P(T\mid M_i)=\theta_i, \qquad 0\leq \theta_i\leq 1. \]

Indichiamo con \(\pi_i^{(0)}\) la probabilità iniziale della moneta \(M_i\):

\[ \pi_i^{(0)}=P(M_i). \]

Dopo la prima osservazione, aggiorniamo la probabilità della moneta \(M_i\) con Bayes. Dopo la seconda osservazione, aggiorniamo di nuovo. Dopo \(m\) osservazioni, abbiamo eseguito \(m\) aggiornamenti successivi.

Se l’osservazione al passo \(t\) è \(x_t\), dove:

\[ x_t=1 \quad \text{significa testa}, \qquad x_t=0 \quad \text{significa croce}, \]

allora la verosimiglianza della singola osservazione, sotto la moneta \(M_i\), è:

\[ P(x_t\mid M_i) = \theta_i^{x_t}(1-\theta_i)^{1-x_t}. \]

L’aggiornamento ricorsivo è:

Questa formula dice che, a ogni nuovo dato, prendiamo la probabilità precedente del modello e la moltiplichiamo per quanto bene quel modello spiega il nuovo dato. Poi normalizziamo dividendo per la somma su tutti i modelli.

Scriviamo ora tutti i dati osservati come:

\[ D_m=(x_1,\dots,x_m). \]

Se nei \(m\) lanci osserviamo \(s\) teste e \(m-s\) croci, cioè:

\[ s=\sum_{t=1}^{m}x_t, \]

allora la verosimiglianza complessiva sotto \(M_i\) è:

\[ P(D_m\mid M_i) = \theta_i^s(1-\theta_i)^{m-s}. \]

La probabilità aggiornata della moneta \(M_i\), dopo tutti gli \(m\) dati, è quindi:

Questa è la formula generale del caso discreto: abbiamo \(n\) possibili monete e aggiorniamo le loro probabilità dopo \(m\) osservazioni.

La probabilità predittiva della prossima testa si ottiene facendo la media delle probabilità \(\theta_i\), pesata con le probabilità posteriori dei modelli:

Sostituendo la formula del posterior, otteniamo la forma esplicita:

\[ P(X_{m+1}=1\mid D_m) = \sum_{i=1}^{n} \theta_i \frac{ \theta_i^s(1-\theta_i)^{m-s}P(M_i) }{ \sum_{j=1}^{n} \theta_j^s(1-\theta_j)^{m-s}P(M_j) }. \]

Questa sezione è il ponte tra il caso con poche monete e il caso continuo. Nel caso discreto sommiamo su \(n\) possibili valori \(\theta_1,\dots,\theta_n\). Nel caso continuo, invece, il parametro \(\theta\) può assumere tutti i valori dell’intervallo \([0,1]\), e la somma viene sostituita da un integrale.

---

9. La distribuzione Beta

Finora abbiamo considerato casi in cui le ipotesi erano finite: due monete, tre monete, tre macchine. Ma spesso il parametro ignoto può assumere infiniti valori.

Per esempio, la probabilità di testa di una moneta può essere:

\[ \theta=P(T),\\ \qquad\\ \theta\in[0,1]. \]

Non vogliamo limitarci a dire che \(\theta\) vale \(0.4\), \(0.5\) o \(0.7\). Vogliamo permettere qualsiasi valore tra 0 e 1. In questi casi è naturale usare una distribuzione di probabilità su \([0,1]\). Una delle più importanti è la distribuzione Beta.

Forma della distribuzione Beta

Scriviamo:

\[ \theta\sim \operatorname{Beta}(\alpha,\beta), \]

con:

\[ \alpha>0,\\ \qquad\\ \beta>0. \]

La densità è:

\[ \begin{aligned} p(\theta) &= \frac{1}{B(\alpha,\beta)} \theta^{\alpha-1}(1-\theta)^{\beta-1}, \qquad 0\leq \theta\leq 1. \end{aligned} \]

La costante \(B(\alpha,\beta)\) serve a normalizzare:

\[ \begin{aligned} B(\alpha,\beta) &= \int_0^1 \theta^{\alpha-1}(1-\theta)^{\beta-1} d\theta. \end{aligned} \]

Così:

\[ \int_0^1 p(\theta)d\theta=1. \]

Media, varianza e moda

Se:

\[ \theta\sim \operatorname{Beta}(\alpha,\beta), \]

allora:

\[ \begin{aligned} E[\theta] &= \frac{\alpha}{\alpha+\beta}. \end{aligned} \]

La varianza è:

\[ \begin{aligned} \operatorname{Var}(\theta) &= \frac{\alpha\beta} {(\alpha+\beta)^2(\alpha+\beta+1)}. \end{aligned} \]

Se \(\alpha>1\) e \(\beta>1\), la moda è:

\[ \frac{\alpha-1}{\alpha+\beta-2}. \]

Interpretazione dei parametri

Il parametro \(\alpha\) spinge la distribuzione verso il successo, cioè verso \(\theta=1\). Il parametro \(\beta\) la spinge verso l’insuccesso, cioè verso \(\theta=0\).

Una utile interpretazione è:

\[ \alpha\approx \text{successi iniziali},\\ \qquad\\ \beta\approx \text{fallimenti iniziali}. \]

Più precisamente, \(\alpha\) e \(\beta\) si comportano come pseudo-conteggi.

Distribuzione	Interpretazione intuitiva
\(\operatorname{Beta}(1,1)\)	Uniforme: tutti i valori di \(\theta\) sono inizialmente ugualmente plausibili.
\(\operatorname{Beta}(2,2)\)	Debole preferenza per valori vicini a \(0.5\).
\(\operatorname{Beta}(10,10)\)	Forte concentrazione attorno a \(0.5\).
\(\operatorname{Beta}(8,2)\)	Credenza iniziale orientata verso valori alti di \(\theta\).
\(\operatorname{Beta}(2,8)\)	Credenza iniziale orientata verso valori bassi di \(\theta\).
\(\operatorname{Beta}(0.5,0.5)\)	Distribuzione a U: preferisce valori estremi, vicini a 0 o 1.

---

10. Perché la Beta si usa con Bernoulli e Binomiale?

La ragione principale è che la Beta è il prior coniugato della Bernoulli e della Binomiale.

Questo significa:

\[ \begin{aligned} \text{Beta prima dei dati} + \text{dati successo/fallimento} &= \text{Beta dopo i dati}. \end{aligned} \]

Supponiamo:

\[ X_i\mid \theta\sim \operatorname{Bernoulli}(\theta), \]

cioè:

\[ P(X_i=1\mid \theta)=\theta,\\ \qquad\\ P(X_i=0\mid \theta)=1-\theta. \]

Partiamo da:

\[ \theta\sim \operatorname{Beta}(\alpha,\beta). \]

Osserviamo \(s\) successi e \(f\) fallimenti. La verosimiglianza è:

\[ \begin{aligned} P(D\mid \theta) &= \theta^s(1-\theta)^f. \end{aligned} \]

Il prior è:

\[ p(\theta)\\ \propto\\ \theta^{\alpha-1}(1-\theta)^{\beta-1}. \]

Per Bayes:

\[ p(\theta\mid D)\\ \propto\\ P(D\mid \theta)p(\theta). \]

Quindi:

\[ p(\theta\mid D)\\ \propto\\ \theta^s(1-\theta)^f\\ \theta^{\alpha-1}(1-\theta)^{\beta-1}. \] \[ p(\theta\mid D)\\ \propto\\ \theta^{\alpha+s-1}\\ (1-\theta)^{\beta+f-1}. \]

Questa è ancora una Beta:

\[ \theta\mid D\\ \sim\\ \operatorname{Beta}(\alpha+s,\beta+f). \]

Esempio: moneta con parametro ignoto

Supponiamo:

\[ \theta=P(T). \]

Prima dei dati:

\[ \theta\sim \operatorname{Beta}(2,2). \]

La media prior è:

\[ \begin{aligned} E[\theta] &= \frac{2}{2+2} \\ &= 0.5. \end{aligned} \]

Osserviamo 10 lanci:

\[ 8 \text{ teste},\qquad 2 \text{ croci}. \]

Quindi:

\[ s=8,\\ \qquad\\ f=2. \]

Il posterior è:

\[ \begin{aligned} \theta\mid D \sim \operatorname{Beta}(2+8,2+2) &= \operatorname{Beta}(10,4). \end{aligned} \]

La media posterior è:

\[ \begin{aligned} E[\theta\mid D] &= \frac{10}{10+4} \\ &= \frac{10}{14} \approx 0.714. \end{aligned} \]

La frequenza osservata è:

\[ \frac{8}{10}=0.8. \]

La media posterior non arriva a \(0.8\), perché il prior \(\operatorname{Beta}(2,2)\) tira ancora verso \(0.5\). È come se avessimo iniziato con due teste e due croci immaginarie, e poi avessimo aggiunto gli otto successi e i due fallimenti osservati.

Probabilità predittiva

La probabilità che il prossimo lancio sia testa è:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= \int_0^1 P(T_{\text{next}}\mid \theta)p(\theta\mid D) d\theta. \end{aligned} \]

Poiché:

\[ P(T_{\text{next}}\mid \theta)=\theta, \]

otteniamo:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= \int_0^1 \theta p(\theta\mid D) d\theta \\ &= E[\theta\mid D]. \end{aligned} \]

Nel caso Beta-Bernoulli:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= \frac{\alpha+s}{\alpha+\beta+s+f}. \end{aligned} \]

Nell’esempio:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= \frac{10}{14} \approx 0.714. \end{aligned} \]

---

11. La media posterior come compromesso tra prior e dati

Supponiamo di osservare \(s\) successi su \(n\) prove. La frequenza osservata è:

\[ \begin{aligned} \hat{\theta} &= \frac{s}{n}. \end{aligned} \]

La media prior è:

\[ \begin{aligned} m_0 &= \frac{\alpha}{\alpha+\beta}. \end{aligned} \]

La media posterior è:

\[ \begin{aligned} E[\theta\mid D] &= \frac{\alpha+s}{\alpha+\beta+n}. \end{aligned} \]

Questa si può riscrivere come:

\[ \begin{aligned} E[\theta\mid D] &= \frac{\alpha+\beta}{\alpha+\beta+n}m_0 + \frac{n}{\alpha+\beta+n}\hat{\theta}. \end{aligned} \]

Quindi la stima bayesiana è una media pesata tra la credenza iniziale e la frequenza osservata.

Quando \(n\) è piccolo, il prior conta molto. Quando \(n\) è grande, i dati dominano.

Esempio con prior forte

Se:

\[ \theta\sim \operatorname{Beta}(100,100), \]

la media è:

\[ E[\theta]=0.5. \]

Osserviamo ancora 8 teste e 2 croci. Il posterior diventa:

\[ \theta\mid D\\ \sim\\ \operatorname{Beta}(108,102). \]

La media posterior è:

\[ \begin{aligned} E[\theta\mid D] &= \frac{108}{210} \approx 0.514. \end{aligned} \]

Anche se la frequenza osservata è \(0.8\), il posterior resta vicino a \(0.5\), perché il prior era molto forte.

Esempio con prior debole

Se invece:

\[ \theta\sim \operatorname{Beta}(1,1), \]

dopo 8 teste e 2 croci abbiamo:

\[ \theta\mid D\\ \sim\\ \operatorname{Beta}(9,3). \]

La media posterior è:

\[ \begin{aligned} E[\theta\mid D] &= \frac{9}{12} \\ &= 0.75. \end{aligned} \]

Qui i dati contano molto di più.

---

12. Urne: dal caso discreto al caso continuo

Nel problema dell’urna discreta possiamo avere 10 palline totali e ipotesi:

\[ H_k=\\ \text{“ci sono }k\text{ palline rosse e }10-k\text{ blu”}, \]

con:

\[ k=0,1,2,\dots,10. \]

Se osserviamo 4 rosse e 1 blu con reinserimento, allora:

\[ \begin{aligned} P(D\mid H_k) &= \binom{5}{4} \left(\frac{k}{10}\right)^4 \left(1-\frac{k}{10}\right). \end{aligned} \]

Con prior uniforme:

\[ P(H_k)=\frac{1}{11}. \]

Il posterior è:

\[ \begin{aligned} P(H_k\mid D) &= \frac{P(D\mid H_k)P(H_k)} {\sum_{j=0}^{10}P(D\mid H_j)P(H_j)}. \end{aligned} \]

La probabilità predittiva della prossima pallina rossa è:

\[ \begin{aligned} P(R_{\text{next}}\mid D) &= \sum_{k=0}^{10} P(R_{\text{next}}\mid H_k)P(H_k\mid D). \end{aligned} \]

Poiché:

\[ P(R_{\text{next}}\mid H_k)=\frac{k}{10}, \]

abbiamo:

\[ \begin{aligned} P(R_{\text{next}}\mid D) &= \sum_{k=0}^{10} \frac{k}{10}P(H_k\mid D). \end{aligned} \]

Questa è una media pesata delle probabilità di rossa sotto ciascuna possibile composizione dell’urna.

Nel caso continuo, invece di avere:

\[ \theta\in \left\{ 0,\frac{1}{10},\frac{2}{10},\dots,1 \right\}, \]

abbiamo:

\[ \theta\in[0,1]. \]

La somma diventa un integrale:

\[ \begin{aligned} P(R_{\text{next}}\mid D) &= \int_0^1 P(R_{\text{next}}\mid \theta)p(\theta\mid D) d\theta. \end{aligned} \]

Poiché \(P(R_{\text{next}}\mid \theta)=\theta\), otteniamo:

\[ \begin{aligned} P(R_{\text{next}}\mid D) &= \int_0^1 \theta p(\theta\mid D)d\theta \\ &= E[\theta\mid D]. \end{aligned} \]

La distribuzione Beta è quindi la versione continua e flessibile del ragionamento sulle urne discrete.

---

13. Il collegamento con il teorema di de Finetti

La formula:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= P(T_{\text{next}}\mid M_1)P(M_1\mid D) + P(T_{\text{next}}\mid M_2)P(M_2\mid D) \end{aligned} \]

contiene il nucleo intuitivo del teorema di de Finetti.

Il senso è questo: non conosciamo direttamente la probabilità del prossimo lancio. La otteniamo mediando sulle possibili cause o sui possibili parametri nascosti, pesati secondo la loro probabilità posterior.

Scambiabilità

Consideriamo una sequenza:

\[ X_1,X_2,X_3,\dots \]

dove:

\[ X_i=1 \]

significa testa, e:

\[ X_i=0 \]

significa croce.

La sequenza è scambiabile se la probabilità di una configurazione dipende solo dal numero totale di teste e croci, non dall’ordine.

Per esempio:

\[ P(T,T,C)=P(T,C,T)=P(C,T,T). \]

Scambiabilità non significa indipendenza. Significa solo che l’ordine non conta.

Il teorema di de Finetti

In forma intuitiva, il teorema di de Finetti dice:

Formalmente:

\[ \begin{aligned} P(X_1=x_1,\dots,X_n=x_n) &= \int_0^1 \theta^s(1-\theta)^{n-s} d\mu(\theta), \end{aligned} \]

dove:

\[ s=x_1+\dots+x_n. \]

La misura \(\mu\) è una distribuzione di probabilità su \([0,1]\). In linguaggio bayesiano, è un prior su \(\theta\).

In altre parole:

\[ \text{scambiabilità}\\ \quad\Longleftrightarrow\quad\\ \text{miscela di Bernoulli i.i.d.} \]

L’interpretazione generativa è:

1. prima si estrae un parametro nascosto \(\theta\) da una distribuzione \(\mu\);
2. dato \(\theta\), le osservazioni sono indipendenti;
3. ogni osservazione ha probabilità di successo \(\theta\);
4. dopo i dati, aggiorniamo la distribuzione su \(\theta\);
5. la previsione futura è una media rispetto al posterior.

Nel caso continuo:

\[ \begin{aligned} P(X_{n+1}=1\mid X_1,\dots,X_n) &= \int_0^1 \theta d\mu(\theta\mid X_1,\dots,X_n). \end{aligned} \]

Nel caso discreto delle due monete, l’integrale diventa una somma:

\[ \begin{aligned} P(T_{\text{next}}\mid D) &= \sum_i P(T_{\text{next}}\mid M_i)P(M_i\mid D). \end{aligned} \]

Quindi la formula delle due monete è una versione finita e concreta dell’idea di de Finetti.

Il significato filosofico

Per de Finetti, la probabilità non è necessariamente una proprietà fisica oggettiva dell’oggetto. È una misura coerente dell’incertezza di un soggetto razionale.

Il teorema mostra che, se le nostre valutazioni sui dati sono scambiabili, allora esse si comportano matematicamente come se esistesse un parametro nascosto \(\theta\). Questo parametro può essere interpretato come una proprietà reale della moneta, ma può anche essere visto come una rappresentazione della nostra incertezza.

---

14. Sintesi concettuale

I vari esempi visti hanno tutti la stessa struttura:

1. esistono più ipotesi o più valori possibili di un parametro;
2. prima dei dati assegniamo una distribuzione di credenza;
3. i dati favoriscono alcune ipotesi e ne sfavoriscono altre;
4. Bayes aggiorna le probabilità;
5. la previsione futura è una media pesata sulle ipotesi posteriori.

Nel caso discreto:

\[ \begin{aligned} P(X_{\text{next}}\mid D) &= \sum_i P(X_{\text{next}}\mid H_i)P(H_i\mid D). \end{aligned} \]

Nel caso continuo:

\[ \begin{aligned} P(X_{\text{next}}\mid D) &= \int P(X_{\text{next}}\mid \theta)p(\theta\mid D)d\theta. \end{aligned} \]

Nel caso Bernoulli-Beta:

\[ \begin{aligned} P(X_{\text{next}}=1\mid D) &= E[\theta\mid D] \\ &= \frac{\alpha+s}{\alpha+\beta+s+f}. \end{aligned} \]

Il messaggio profondo è che il dato osservato non modifica solo la nostra opinione sul passato o sul presente; modifica anche la nostra previsione del futuro.

---

15. Esercizi

---

16. Approfondimento: perché non scegliere solo il modello più probabile?

Una tentazione naturale è usare soltanto l’ipotesi più probabile dopo i dati. Se \(H_2\) ha posterior maggiore di \(H_1\), potremmo dire: “uso \(H_2\) e ignoro tutto il resto”.

Ma il metodo bayesiano completo non fa così. Esso tiene conto dell’incertezza residua. Anche se un modello è il più probabile, gli altri possono avere ancora probabilità non trascurabile.

Per questo la previsione bayesiana è:

\[ \begin{aligned} P(X_{\text{next}}\mid D) &= \sum_i P(X_{\text{next}}\mid H_i)P(H_i\mid D), \end{aligned} \]

non:

\[ P(X_{\text{next}}\mid \widehat{H}), \]

dove \(\widehat{H}\) è il modello più probabile.

Questo principio prende il nome di Bayesian model averaging. È uno degli aspetti più importanti del ragionamento bayesiano: non si ignora l’incertezza sul modello, ma la si propaga nella previsione.

---

17. Conclusione

Il filo conduttore di tutti questi esempi è l’aggiornamento dell’incertezza. Bayes non dice semplicemente come calcolare una probabilità condizionata; fornisce una logica generale dell’apprendimento.

Quando osserviamo un dato, le ipotesi che lo rendevano probabile guadagnano peso; quelle che lo rendevano improbabile perdono peso. Se dobbiamo prevedere il futuro, non siamo costretti a scegliere una sola ipotesi: possiamo mediare su tutte, pesandole per la loro probabilità aggiornata.

La distribuzione Beta mostra come questo schema funzioni elegantemente quando il parametro ignoto è una probabilità continua. Il teorema di de Finetti mostra invece perché, sotto l’ipotesi di scambiabilità, una sequenza di osservazioni può essere rappresentata come una miscela di processi indipendenti condizionatamente a un parametro nascosto.

La formula:

\[ \begin{aligned} P(X_{\text{next}}\mid D) &= \int P(X_{\text{next}}\mid \theta)p(\theta\mid D)d\theta \end{aligned} \]

riassume l’intera idea: il futuro si predice facendo una media su ciò che ancora non sappiamo, usando tutto ciò che abbiamo imparato dai dati.

---

Generalizzazione discreta: variabile con \(r\) valori e aggiornamento ricorsivo

Nei casi precedenti abbiamo spesso usato l’esempio della moneta, in cui la variabile aleatoria può assumere soltanto due valori:

\[ X \in \{0,1\}. \]

Tuttavia il ragionamento bayesiano discreto è più generale. Supponiamo ora che la variabile aleatoria possa assumere \(r\) valori distinti:

\[ X \in \{x_1,x_2,\dots,x_r\}. \]

Supponiamo inoltre di avere \(n\) possibili modelli discreti. Ogni modello è identificato da un vettore di probabilità:

\[ \boldsymbol{\theta}^{(i)} = (\theta_{i1},\theta_{i2},\dots,\theta_{ir}), \qquad i=1,\dots,n. \]

Il termine \(\theta_{ik}\) indica la probabilità che, sotto il modello \(i\), la variabile aleatoria \(X\) assuma il valore \(x_k\):

\[ \theta_{ik} = P(X=x_k\mid \boldsymbol{\theta}^{(i)}). \]

Per ogni modello \(i\), le probabilità associate ai possibili valori di \(X\) devono sommare a \(1\):

\[ \sum_{k=1}^{r}\theta_{ik}=1. \]

In questo modo il modello non è più identificato da un singolo numero, come nel caso Bernoulli, ma da un intero vettore di probabilità. Possiamo quindi scrivere:

\[ \boldsymbol{\theta}^{(i)} = (\theta_{i1},\dots,\theta_{ir}) \]

e intendere questo vettore come il modello discreto \(i\). In altre parole, in questo caso il modello è identificato dalla distribuzione di probabilità che assegna ai valori possibili di \(X\).

Aggiornamento bayesiano dopo \(m\) osservazioni

Supponiamo di osservare una sequenza di dati:

\[ D_m=(X_1,\dots,X_m). \]

Se il valore \(x_k\) compare \(c_k\) volte, abbiamo:

\[ c_k = \#\{\ell:X_\ell=x_k\}, \qquad k=1,\dots,r. \]

Naturalmente:

\[ \sum_{k=1}^{r}c_k=m. \]

Se, condizionatamente al modello \(\boldsymbol{\theta}^{(i)}\), le osservazioni sono indipendenti e identicamente distribuite, allora la verosimiglianza dei dati è proporzionale a:

\[ P(D_m\mid \boldsymbol{\theta}^{(i)}) \propto \prod_{k=1}^{r}\theta_{ik}^{c_k}. \]

Se consideriamo soltanto i conteggi, la distribuzione esatta è multinomiale:

\[ P(c_1,\dots,c_r\mid \boldsymbol{\theta}^{(i)}) = \frac{m!}{c_1!c_2!\cdots c_r!} \prod_{k=1}^{r}\theta_{ik}^{c_k}. \]

Nel confronto bayesiano tra modelli discreti, però, il coefficiente multinomiale è uguale per tutti i modelli e quindi si semplifica nel rapporto di normalizzazione. Perciò la probabilità posterior del modello \(\boldsymbol{\theta}^{(i)}\), dati \(D_m\), è:

\[ \boxed{ P(\boldsymbol{\theta}^{(i)}\mid D_m) = \frac{ P(\boldsymbol{\theta}^{(i)}) \prod_{k=1}^{r}\theta_{ik}^{c_k} }{ \sum_{j=1}^{n} P(\boldsymbol{\theta}^{(j)}) \prod_{k=1}^{r}\theta_{jk}^{c_k} } } \]

Questa è la generalizzazione discreta della formula usata per le monete. Nel caso Bernoulli, infatti, \(r=2\), e il vettore del modello diventa:

\[ \boldsymbol{\theta}^{(i)} = (\theta_i,1-\theta_i). \]

Aggiornamento ricorsivo da \(t\) a \(t+1\)

Possiamo anche scrivere l’aggiornamento in forma ricorsiva. Definiamo:

\[ f_t(\boldsymbol{\theta}^{(i)}) = P(\boldsymbol{\theta}^{(i)}\mid D_t). \]

Questa funzione assegna, al tempo \(t\), una probabilità al modello discreto \(\boldsymbol{\theta}^{(i)}\), dopo aver osservato i dati \(D_t\).

Supponiamo ora che al tempo \(t+1\) arrivi una nuova osservazione:

\[ X_{t+1}=x_q. \]

Sotto il modello \(\boldsymbol{\theta}^{(i)}\), la probabilità di osservare \(x_q\) è:

\[ P(X_{t+1}=x_q\mid \boldsymbol{\theta}^{(i)}) = \theta_{iq}. \]

L’aggiornamento bayesiano ricorsivo è quindi:

\[ \boxed{ f_{t+1}(\boldsymbol{\theta}^{(i)}) = \frac{ \theta_{iq}\,f_t(\boldsymbol{\theta}^{(i)}) }{ \sum_{j=1}^{n} \theta_{jq}\,f_t(\boldsymbol{\theta}^{(j)}) } } \]

Questa formula dice che, quando osserviamo il valore \(x_q\), aumentano di peso i modelli che assegnavano probabilità alta a \(x_q\), mentre diminuiscono di peso i modelli che assegnavano probabilità bassa a \(x_q\).

Se invece osserviamo un blocco di dati \(D_m\), possiamo aggiornare direttamente usando i conteggi:

\[ \boxed{ f_m(\boldsymbol{\theta}^{(i)}) = \frac{ f_0(\boldsymbol{\theta}^{(i)}) \prod_{k=1}^{r}\theta_{ik}^{c_k} }{ \sum_{j=1}^{n} f_0(\boldsymbol{\theta}^{(j)}) \prod_{k=1}^{r}\theta_{jk}^{c_k} } } \]

dove \(f_0(\boldsymbol{\theta}^{(i)})\) è il prior iniziale assegnato al modello \(i\).

Probabilità predittiva del valore successivo

Una volta aggiornati i pesi dei modelli, possiamo calcolare la probabilità che il prossimo valore della variabile aleatoria sia \(x_q\). Per la legge della probabilità totale:

\[ \boxed{ P(X_{m+1}=x_q\mid D_m) = \sum_{i=1}^{n} P(X_{m+1}=x_q\mid \boldsymbol{\theta}^{(i)}) P(\boldsymbol{\theta}^{(i)}\mid D_m) } \]

Poiché:

\[ P(X_{m+1}=x_q\mid \boldsymbol{\theta}^{(i)}) = \theta_{iq}, \]

otteniamo:

\[ \boxed{ P(X_{m+1}=x_q\mid D_m) = \sum_{i=1}^{n} \theta_{iq} f_m(\boldsymbol{\theta}^{(i)}) } \]

In forma completamente esplicita:

\[ \boxed{ P(X_{m+1}=x_q\mid D_m) = \sum_{i=1}^{n} \theta_{iq} \frac{ f_0(\boldsymbol{\theta}^{(i)}) \prod_{k=1}^{r}\theta_{ik}^{c_k} }{ \sum_{j=1}^{n} f_0(\boldsymbol{\theta}^{(j)}) \prod_{k=1}^{r}\theta_{jk}^{c_k} } } \]

Il senso è lo stesso già visto nel caso delle monete: non scegliamo necessariamente un solo modello, ma calcoliamo una media delle previsioni di tutti i modelli, pesata secondo la loro probabilità posterior.

Esempio numerico

Supponiamo che la variabile aleatoria \(X\) possa assumere tre valori:

\[ X\in\{A,B,C\}. \]

Quindi:

\[ r=3. \]

Consideriamo tre modelli possibili:

\[ \boldsymbol{\theta}^{(1)} = (0.60,0.30,0.10), \] \[ \boldsymbol{\theta}^{(2)} = (0.20,0.50,0.30), \] \[ \boldsymbol{\theta}^{(3)} = (0.10,0.20,0.70). \]

Il primo modello favorisce \(A\), il secondo favorisce \(B\), il terzo favorisce \(C\). Assegniamo prior uniformi:

\[ f_0(\boldsymbol{\theta}^{(1)}) = f_0(\boldsymbol{\theta}^{(2)}) = f_0(\boldsymbol{\theta}^{(3)}) = \frac{1}{3}. \]

Osserviamo \(m=5\) dati:

\[ D_5=(A,A,B,C,A). \]

I conteggi sono:

\[ c_A=3, \qquad c_B=1, \qquad c_C=1. \]

Calcoliamo le verosimiglianze, trascurando il coefficiente multinomiale comune:

\[ L_1 = 0.60^3\cdot 0.30^1\cdot 0.10^1 = 0.00648. \] \[ L_2 = 0.20^3\cdot 0.50^1\cdot 0.30^1 = 0.00120. \] \[ L_3 = 0.10^3\cdot 0.20^1\cdot 0.70^1 = 0.00014. \]

Moltiplicando per i prior uniformi:

\[ L_1 f_0(\boldsymbol{\theta}^{(1)}) = 0.00648\cdot \frac{1}{3} = 0.00216. \] \[ L_2 f_0(\boldsymbol{\theta}^{(2)}) = 0.00120\cdot \frac{1}{3} = 0.00040. \] \[ L_3 f_0(\boldsymbol{\theta}^{(3)}) = 0.00014\cdot \frac{1}{3} \approx 0.0000467. \]

Il denominatore di normalizzazione è:

\[ Z = 0.00216+0.00040+0.0000467 = 0.0026067. \]

Quindi le probabilità posterior sono:

\[ f_5(\boldsymbol{\theta}^{(1)}) = \frac{0.00216}{0.0026067} \approx 0.829. \] \[ f_5(\boldsymbol{\theta}^{(2)}) = \frac{0.00040}{0.0026067} \approx 0.153. \] \[ f_5(\boldsymbol{\theta}^{(3)}) = \frac{0.0000467}{0.0026067} \approx 0.018. \]

I dati osservati contenevano molti valori \(A\), quindi il modello \(\boldsymbol{\theta}^{(1)}\), che attribuisce ad \(A\) probabilità \(0.60\), diventa molto più probabile.

Ora vogliamo calcolare la probabilità che il prossimo valore sia \(A\). Usiamo la formula predittiva:

\[ P(X_6=A\mid D_5) = \sum_{i=1}^{3} \theta_{iA} f_5(\boldsymbol{\theta}^{(i)}). \]

Sostituendo:

\[ P(X_6=A\mid D_5) = 0.60\cdot 0.829 + 0.20\cdot 0.153 + 0.10\cdot 0.018. \] \[ P(X_6=A\mid D_5) = 0.4974+0.0306+0.0018 = 0.5298. \]

Quindi:

\[ \boxed{ P(X_6=A\mid D_5) \approx 0.530. } \]

Analogamente, la probabilità predittiva di \(B\) è:

\[ P(X_6=B\mid D_5) = 0.30\cdot 0.829 + 0.50\cdot 0.153 + 0.20\cdot 0.018. \] \[ P(X_6=B\mid D_5) = 0.2487+0.0765+0.0036 = 0.3288. \]

E la probabilità predittiva di \(C\) è:

\[ P(X_6=C\mid D_5) = 0.10\cdot 0.829 + 0.30\cdot 0.153 + 0.70\cdot 0.018. \] \[ P(X_6=C\mid D_5) = 0.0829+0.0459+0.0126 = 0.1414. \]

Le tre probabilità predittive sommano a \(1\), salvo piccoli arrotondamenti:

\[ 0.5298+0.3288+0.1414=1. \]

Questo esempio mostra il significato dell’intero procedimento. I dati non determinano direttamente una sola distribuzione futura; aggiornano prima il peso dei modelli possibili. Poi la previsione del prossimo valore di \(X\) si ottiene come media delle distribuzioni predittive dei modelli, pesata con le probabilità posteriori.