L’incertezza sull’incertezza
Distribuzioni sui parametri, previsione bayesiana, leggi dell’aspettativa e della varianza totale, applicazioni pratiche e significato epistemologico
1. Tre livelli che è necessario distinguere
Sia \(Y\) una quantità osservabile e sia \(\Theta\) un parametro non conosciuto. Il modello \(p(y\mid\theta)\) descrive la variabilità di \(Y\) nel caso ipotetico in cui il valore \(\theta\) fosse noto. A questa prima incertezza se ne aggiunge una seconda, rappresentata da una distribuzione su \(\Theta\).
| Livello | Oggetto dell’incertezza | Rappresentazione tipica |
|---|---|---|
| Esiti | Quale valore assumerà la variabile osservabile? | \(p(y\mid\theta)\) |
| Parametri | Quale valore del parametro governa gli esiti? | \(p(\theta)\) oppure \(p(\theta\mid D)\) |
| Modelli | Quale famiglia di distribuzioni è appropriata? | \(p(M)\) e \(p(M\mid D)\) |
Il primo livello è spesso chiamato incertezza aleatoria: anche conoscendo il parametro, l’esito può rimanere casuale. Il secondo è detto incertezza epistemica o parametrica: dipende dalla limitatezza delle informazioni disponibili. Il terzo riguarda la struttura del modello, le variabili omesse e le ipotesi di fondo.
2. Aggiornamento bayesiano e previsione come miscela
Indichiamo con \(D\) i dati osservati. Prima di osservarli, la nostra informazione sul parametro è descritta dalla distribuzione a priori \(p(\theta)\). La verosimiglianza \(p(D\mid\theta)\) misura quanto i dati sarebbero plausibili sotto ciascun valore del parametro. Il teorema di Bayes fornisce:
Il denominatore \(p(D)\) è l’evidenza marginale. Non dipende dal particolare valore \(\theta\) e normalizza il prodotto fra prior e verosimiglianza.
Per prevedere un nuovo dato \(D’\), non è necessario scegliere un unico valore puntuale \(\widehat\theta\). Si mediano invece le previsioni prodotte da tutti i valori ancora plausibili:
Questa è una miscela di distribuzioni. Ogni \(p(D’\mid\theta)\) è una possibile previsione condizionata; \(p(\theta\mid D)\) ne determina il peso. La previsione bayesiana completa conserva quindi l’incertezza parametrica, invece di cancellarla mediante una stima puntuale.
Il procedimento è un’applicazione della legge della probabilità totale. Nel caso discreto:
\[ P(D’\mid D) = \sum_{\theta} P(D’\mid\Theta=\theta,D)\, P(\Theta=\theta\mid D). \]Nel caso continuo, la somma diventa un integrale rispetto alla distribuzione posteriore.
3. Dalla probabilità totale all’aspettativa totale
La legge dell’aspettativa totale afferma che una media complessiva può essere calcolata facendo prima la media all’interno di ciascuna condizione e poi la media di queste medie:
3.1 Dimostrazione nel caso discreto
La legge della probabilità totale dà:
\[ P(Y=y)=\sum_x P(Y=y\mid X=x)P(X=x). \]Sostituendo questa espressione nella definizione di valore atteso:
\[ \begin{aligned} \mathbb E[Y] &=\sum_y yP(Y=y)\\ &=\sum_y y\sum_x P(Y=y\mid X=x)P(X=x)\\ &=\sum_x P(X=x)\sum_y yP(Y=y\mid X=x)\\ &=\sum_x P(X=x)\mathbb E[Y\mid X=x]\\ &=\mathbb E\!\left[\mathbb E(Y\mid X)\right]. \end{aligned} \]Il passaggio decisivo consiste nello scambiare l’ordine delle somme. Nel caso di variabili integrabili, tale scambio è giustificato dalle usuali proprietà delle serie assolutamente convergenti.
3.2 Dimostrazione nel caso continuo
La densità marginale di \(Y\) è:
\[ f_Y(y)=\int f_{Y\mid X}(y\mid x)f_X(x)\,dx. \]Quindi:
\[ \begin{aligned} \mathbb E[Y] &=\int y f_Y(y)\,dy\\ &=\int y\left[\int f_{Y\mid X}(y\mid x)f_X(x)\,dx\right]dy\\ &=\int\left[\int y f_{Y\mid X}(y\mid x)\,dy\right]f_X(x)\,dx\\ &=\int \mathbb E[Y\mid X=x]f_X(x)\,dx\\ &=\mathbb E_X[\mathbb E(Y\mid X)]. \end{aligned} \]Lo scambio degli integrali è garantito dai teoremi di Tonelli o Fubini, sotto le corrispondenti condizioni di non negatività o integrabilità assoluta.
3.3 Forma bayesiana
Prendendo \(X=\Theta\) e condizionando sui dati \(D\):
\[ \boxed{ \mathbb E[Y’\mid D] = \mathbb E_{\Theta\mid D} \!\left[\mathbb E(Y’\mid\Theta,D)\right]. } \]Se \(Y’\perp D\mid\Theta\):
\[ \mathbb E[Y’\mid D] = \int \mathbb E[Y’\mid\theta]\, p(\theta\mid D)\,d\theta. \]Intuitivamente, si calcola la previsione media sotto ogni possibile valore del parametro e poi si mediano queste previsioni secondo la plausibilità posteriore dei parametri.
4. La decomposizione dell’incertezza: legge della varianza totale
La distribuzione predittiva contiene sia la casualità residua a parametro noto sia l’incertezza sul parametro. La legge della varianza totale separa esattamente queste due componenti.
In ambito predittivo bayesiano:
\[ \boxed{ \operatorname{Var}(Y’\mid D) = \mathbb E_{\Theta\mid D} [\operatorname{Var}(Y’\mid\Theta,D)] + \operatorname{Var}_{\Theta\mid D} [\mathbb E(Y’\mid\Theta,D)]. } \]Se vale l’indipendenza condizionale \(Y’\perp D\mid\Theta\):
\[ \boxed{ \operatorname{Var}(Y’\mid D) = \underbrace{ \mathbb E_{\Theta\mid D}[\operatorname{Var}(Y’\mid\Theta)] }_{\text{variabilità media interna}} + \underbrace{ \operatorname{Var}_{\Theta\mid D}[\mathbb E(Y’\mid\Theta)] }_{\text{incertezza sulle previsioni medie}}. } \]4.1 Interpretazione intuitiva
Per ogni \(\theta\), immaginiamo una sottopopolazione caratterizzata da:
- una media \(m(\theta)=\mathbb E[Y’\mid\Theta=\theta]\);
- una varianza interna \(v(\theta)=\operatorname{Var}(Y’\mid\Theta=\theta)\).
La variabilità totale è la somma di:
- quanto gli esiti oscillano, in media, attorno alla media della propria sottopopolazione;
- quanto le medie delle diverse sottopopolazioni oscillano attorno alla media complessiva.
È la stessa struttura dell’identità “variabilità entro i gruppi + variabilità fra i gruppi”.
4.2 Dimostrazione mediante centratura
Poniamo:
\[ m(X)=\mathbb E[Y\mid X]. \]Scriviamo lo scarto totale come somma di due scarti:
\[ Y-\mathbb E[Y] = \bigl(Y-m(X)\bigr) + \bigl(m(X)-\mathbb E[Y]\bigr). \]Elevando al quadrato:
\[ \begin{aligned} (Y-\mathbb E[Y])^2 ={}&(Y-m(X))^2\\ &+(m(X)-\mathbb E[Y])^2\\ &+2(Y-m(X))(m(X)-\mathbb E[Y]). \end{aligned} \]Il termine incrociato ha aspettativa nulla. Infatti:
\[ \begin{aligned} &\mathbb E[(Y-m(X))(m(X)-\mathbb E[Y])]\\ &= \mathbb E\!\left[ (m(X)-\mathbb E[Y]) \mathbb E[Y-m(X)\mid X] \right] =0, \end{aligned} \]poiché, per definizione:
\[ \mathbb E[Y-m(X)\mid X] = \mathbb E[Y\mid X]-m(X)=0. \]Restano dunque:
\[ \mathbb E[(Y-m(X))^2] = \mathbb E[\operatorname{Var}(Y\mid X)] \]e:
\[ \mathbb E[(m(X)-\mathbb E[Y])^2] = \operatorname{Var}(\mathbb E[Y\mid X]). \]4.3 Dimostrazione mediante i secondi momenti
Partiamo da:
\[ \operatorname{Var}(Y)=\mathbb E[Y^2]-\mathbb E[Y]^2. \]Per l’aspettativa totale:
\[ \mathbb E[Y^2]=\mathbb E[\mathbb E(Y^2\mid X)]. \]Ma:
\[ \mathbb E[Y^2\mid X] = \operatorname{Var}(Y\mid X)+\mathbb E[Y\mid X]^2. \]Quindi:
\[ \begin{aligned} \operatorname{Var}(Y) &= \mathbb E[\operatorname{Var}(Y\mid X)] +\mathbb E[\mathbb E(Y\mid X)^2] -\mathbb E[\mathbb E(Y\mid X)]^2\\ &= \mathbb E[\operatorname{Var}(Y\mid X)] +\operatorname{Var}(\mathbb E[Y\mid X]). \end{aligned} \]Formula della covarianza totale
Siano \(X\) e \(Y\) due variabili aleatorie con momenti secondi finiti e sia \(Z\) una variabile aleatoria rispetto alla quale condizioniamo.
La formula della covarianza totale è:
Dimostrazione con il metodo dei momenti
Partiamo dalla definizione di covarianza:
\[ \operatorname{Cov}(X,Y) = \mathbb{E}[XY] – \mathbb{E}[X]\mathbb{E}[Y]. \]Applicando la legge dell’aspettativa totale al momento misto \(\mathbb{E}[XY]\), otteniamo:
\[ \mathbb{E}[XY] = \mathbb{E}\!\left[ \mathbb{E}[XY\mid Z] \right]. \]Dalla definizione di covarianza condizionata:
\[ \operatorname{Cov}(X,Y\mid Z) = \mathbb{E}[XY\mid Z] – \mathbb{E}[X\mid Z]\mathbb{E}[Y\mid Z]. \]Isolando il momento misto condizionato \(\mathbb{E}[XY\mid Z]\), si ha:
\[ \mathbb{E}[XY\mid Z] = \operatorname{Cov}(X,Y\mid Z) + \mathbb{E}[X\mid Z]\mathbb{E}[Y\mid Z]. \]Prendendo l’aspettativa di entrambi i membri:
\[ \mathbb{E}[XY] = \mathbb{E}\!\left[ \operatorname{Cov}(X,Y\mid Z) \right] + \mathbb{E}\!\left[ \mathbb{E}[X\mid Z] \mathbb{E}[Y\mid Z] \right]. \]Sostituiamo questa espressione nella definizione iniziale della covarianza:
\[ \begin{aligned} \operatorname{Cov}(X,Y) ={}& \mathbb{E}\!\left[ \operatorname{Cov}(X,Y\mid Z) \right] \\ &+ \mathbb{E}\!\left[ \mathbb{E}[X\mid Z] \mathbb{E}[Y\mid Z] \right] – \mathbb{E}[X]\mathbb{E}[Y]. \end{aligned} \]Applicando nuovamente la legge dell’aspettativa totale:
\[ \mathbb{E}[X] = \mathbb{E}\!\left[ \mathbb{E}[X\mid Z] \right], \qquad \mathbb{E}[Y] = \mathbb{E}\!\left[ \mathbb{E}[Y\mid Z] \right]. \]Di conseguenza, gli ultimi tre termini dell’espressione precedente possono essere riscritti come:
\[ \begin{aligned} &\mathbb{E}\!\left[ \mathbb{E}[X\mid Z] \mathbb{E}[Y\mid Z] \right] \\ &\quad – \mathbb{E}\!\left[ \mathbb{E}[X\mid Z] \right] \mathbb{E}\!\left[ \mathbb{E}[Y\mid Z] \right]. \end{aligned} \]Per definizione, questa quantità è la covarianza tra le variabili aleatorie \(\mathbb{E}[X\mid Z]\) e \(\mathbb{E}[Y\mid Z]\):
\[ \operatorname{Cov}\!\left( \mathbb{E}[X\mid Z], \mathbb{E}[Y\mid Z] \right). \]Pertanto otteniamo la formula della covarianza totale:
Interpretazione
Il termine \[ \mathbb{E}\!\left[ \operatorname{Cov}(X,Y\mid Z) \right] \] rappresenta la covarianza media interna ai gruppi determinati da \(Z\).
Il termine \[ \operatorname{Cov}\!\left( \mathbb{E}[X\mid Z], \mathbb{E}[Y\mid Z] \right) \] rappresenta invece la covarianza tra le medie condizionate dei diversi gruppi.
5. Un primo caso fondamentale: Bernoulli con probabilità ignota
Supponiamo che \(Y_i\in\{0,1\}\) indichi insuccesso o successo e che:
\[ Y_i\mid\Theta=\theta\sim\operatorname{Bernoulli}(\theta). \]Anche conoscendo \(\theta\), il singolo esito rimane incerto:
\[ \mathbb E[Y_i\mid\theta]=\theta, \qquad \operatorname{Var}(Y_i\mid\theta)=\theta(1-\theta). \]Riquadro tecnico A — Distribuzione Beta
La distribuzione Beta è definita su \((0,1)\), ed è quindi naturale per una probabilità ignota:
\[ \Theta\sim\operatorname{Beta}(\alpha,\beta), \qquad \alpha,\beta>0. \]La densità è:
\[ f(\theta) = \frac{1}{B(\alpha,\beta)} \theta^{\alpha-1}(1-\theta)^{\beta-1}, \qquad 0<\theta<1, \]dove:
\[ B(\alpha,\beta) = \int_0^1 t^{\alpha-1}(1-t)^{\beta-1}\,dt = \frac{\Gamma(\alpha)\Gamma(\beta)} {\Gamma(\alpha+\beta)}. \]I primi due momenti sono:
\[ \mathbb E[\Theta] = \frac{\alpha}{\alpha+\beta}, \] \[ \operatorname{Var}(\Theta) = \frac{\alpha\beta} {(\alpha+\beta)^2(\alpha+\beta+1)}. \]Una parametrizzazione intuitiva usa la media \(\mu=\alpha/(\alpha+\beta)\) e la concentrazione \(\kappa=\alpha+\beta\). Allora:
\[ \alpha=\mu\kappa, \qquad \beta=(1-\mu)\kappa. \]A parità di media, una concentrazione maggiore rende la distribuzione più stretta: rappresenta una maggiore precisione sul valore di \(\Theta\).
5.1 Aggiornamento Beta–Bernoulli
Supponiamo una prior:
\[ \Theta\sim\operatorname{Beta}(\alpha,\beta). \]Dopo \(s\) successi e \(f\) insuccessi, la verosimiglianza è:
\[ p(D\mid\theta)\propto\theta^s(1-\theta)^f. \]Moltiplicando per la prior:
\[ p(\theta\mid D) \propto \theta^{\alpha+s-1} (1-\theta)^{\beta+f-1}. \]Quindi:
\[ \boxed{ \Theta\mid D \sim \operatorname{Beta}(\alpha+s,\beta+f). } \]La probabilità predittiva di successo alla prova successiva è:
\[ \begin{aligned} P(Y_{n+1}=1\mid D) &= \int_0^1 P(Y_{n+1}=1\mid\theta) p(\theta\mid D)\,d\theta\\ &= \int_0^1\theta\,p(\theta\mid D)\,d\theta\\ &= \mathbb E[\Theta\mid D]\\ &= \frac{\alpha+s}{\alpha+\beta+s+f}. \end{aligned} \]5.2 Decomposizione della varianza
Per una nuova osservazione Bernoulli:
\[ \operatorname{Var}(Y_{n+1}\mid D) = \mathbb E[\Theta(1-\Theta)\mid D] + \operatorname{Var}(\Theta\mid D). \]Il primo termine è la casualità media del singolo esperimento a parametro noto; il secondo è l’incertezza sul parametro. Sviluppando:
\[ \mathbb E[\Theta(1-\Theta)\mid D] = \mathbb E[\Theta\mid D]-\mathbb E[\Theta^2\mid D], \] \[ \operatorname{Var}(\Theta\mid D) = \mathbb E[\Theta^2\mid D] – \mathbb E[\Theta\mid D]^2. \]La somma è:
\[ \operatorname{Var}(Y_{n+1}\mid D) = \mu_D(1-\mu_D), \qquad \mu_D=\mathbb E[\Theta\mid D]. \]Per un singolo esito Bernoulli, distribuzioni posteriori diverse con la stessa media producono la stessa distribuzione predittiva marginale. Tuttavia non producono la stessa previsione per sequenze di osservazioni.
5.3 La dipendenza indotta dall’incertezza comune
Siano \(Y_1’\) e \(Y_2’\) due osservazioni future indipendenti condizionatamente a \(\Theta\):
\[ Y_1′,Y_2’\mid\Theta \overset{\mathrm{ind}}{\sim} \operatorname{Bernoulli}(\Theta). \]La legge della covarianza totale è:
\[ \operatorname{Cov}(Y_1′,Y_2’\mid D) = \mathbb E[ \operatorname{Cov}(Y_1′,Y_2’\mid\Theta,D) \mid D ] + \operatorname{Cov}( \mathbb E[Y_1’\mid\Theta,D], \mathbb E[Y_2’\mid\Theta,D] \mid D ). \]Il primo termine è zero per indipendenza condizionale. Poiché entrambe le medie condizionate sono uguali a \(\Theta\):
\[ \boxed{ \operatorname{Cov}(Y_1′,Y_2’\mid D) = \operatorname{Var}(\Theta\mid D). } \]L’incertezza sul parametro condiviso rende dunque dipendenti le osservazioni future nella distribuzione marginale. Se il primo esito fornisce informazioni su \(\Theta\), esso modifica la previsione del secondo.
6. Conteggi con tasso ignoto: modello Poisson–Gamma
Consideriamo il numero \(Y\) di incidenti, guasti, richieste o arrivi in un intervallo:
\[ Y\mid\Lambda=\lambda \sim\operatorname{Poisson}(\lambda). \]Per la distribuzione di Poisson:
\[ \mathbb E[Y\mid\lambda]=\lambda, \qquad \operatorname{Var}(Y\mid\lambda)=\lambda. \]Riquadro tecnico B — Distribuzione Gamma
Nella parametrizzazione forma–tasso:
\[ \Lambda\sim\operatorname{Gamma}(\alpha,\beta), \qquad \alpha,\beta>0, \]con densità:
\[ f(\lambda) = \frac{\beta^\alpha}{\Gamma(\alpha)} \lambda^{\alpha-1}e^{-\beta\lambda}, \qquad \lambda>0. \]La funzione Gamma è:
\[ \Gamma(\alpha) = \int_0^\infty t^{\alpha-1}e^{-t}\,dt. \]I momenti principali sono:
\[ \mathbb E[\Lambda]=\frac{\alpha}{\beta}, \qquad \operatorname{Var}(\Lambda)=\frac{\alpha}{\beta^2}. \]Alcuni testi usano la parametrizzazione forma–scala, con scala \(s=1/\beta\). In tal caso la media è \(\alpha s\) e la varianza \(\alpha s^2\). È essenziale dichiarare la convenzione adottata.
6.1 Aggiornamento Gamma–Poisson
Con prior:
\[ \Lambda\sim\operatorname{Gamma}(\alpha,\beta) \]e osservazioni indipendenti \(y_1,\ldots,y_n\):
\[ p(D\mid\lambda) \propto \lambda^{\sum_i y_i}e^{-n\lambda}. \]Il posteriore è:
\[ \boxed{ \Lambda\mid D \sim \operatorname{Gamma} \left( \alpha+\sum_{i=1}^n y_i,\, \beta+n \right). } \]6.2 Sovradispersione predittiva
Applicando la varianza totale:
\[ \begin{aligned} \operatorname{Var}(Y’\mid D) &= \mathbb E[\operatorname{Var}(Y’\mid\Lambda)\mid D] + \operatorname{Var}(\mathbb E[Y’\mid\Lambda]\mid D)\\ &= \mathbb E[\Lambda\mid D] + \operatorname{Var}(\Lambda\mid D). \end{aligned} \]Quindi:
\[ \boxed{ \operatorname{Var}(Y’\mid D) > \mathbb E[Y’\mid D] } \]ogni volta che \(\operatorname{Var}(\Lambda\mid D)>0\). La Poisson a parametro noto ha media uguale alla varianza; l’incertezza sul tasso aggiunge dispersione. La distribuzione predittiva risultante è una binomiale negativa, nella parametrizzazione appropriata.
In termini pratici, usare soltanto il tasso stimato \(\widehat\lambda\) può sottostimare le code: il modello completo riconosce che il numero futuro è incerto sia perché gli eventi sono casuali, sia perché il tasso che li genera non è conosciuto con precisione.
7. Un caso trasparente: modello normale con media ignota
Supponiamo:
\[ Y’\mid\mu \sim \mathcal N(\mu,\sigma^2), \]con \(\sigma^2\) nota, e:
\[ \mu\mid D \sim \mathcal N(m_D,s_D^2). \]Poiché:
\[ \mathbb E[Y’\mid\mu]=\mu, \qquad \operatorname{Var}(Y’\mid\mu)=\sigma^2, \]la varianza totale dà:
\[ \boxed{ \operatorname{Var}(Y’\mid D) = \sigma^2+s_D^2. } \]La distribuzione predittiva è:
\[ Y’\mid D \sim \mathcal N(m_D,\sigma^2+s_D^2). \]Il termine \(\sigma^2\) rappresenta la variabilità individuale; \(s_D^2\) rappresenta l’incertezza residua sulla media della popolazione. Inserire semplicemente \(\widehat\mu=m_D\) nel modello produrrebbe \(\mathcal N(m_D,\sigma^2)\), una previsione troppo stretta.
7.1 Media di molte osservazioni future
Per la media di \(m\) nuove osservazioni:
\[ \overline Y_m=\frac{1}{m}\sum_{j=1}^{m}Y_j’, \]si ha:
\[ \operatorname{Var}(\overline Y_m\mid\mu)=\frac{\sigma^2}{m}, \qquad \mathbb E[\overline Y_m\mid\mu]=\mu. \]Pertanto:
\[ \boxed{ \operatorname{Var}(\overline Y_m\mid D) = \frac{\sigma^2}{m} + s_D^2. } \]Aumentare il numero di osservazioni future nella media riduce la variabilità individuale, ma non riduce l’incertezza attuale sulla media \(\mu\). Per ridurre \(s_D^2\) occorre osservare nuovi dati e aggiornare il posteriore.
8. La previsione “plug-in” e il rischio di eccessiva sicurezza
La scorciatoia frequente consiste nell’usare:
\[ p(Y’\mid\widehat\theta) \]al posto di:
\[ p(Y’\mid D) = \int p(Y’\mid\theta)p(\theta\mid D)\,d\theta. \]La prima tratta il parametro stimato come se fosse noto; la seconda integra l’incertezza sul parametro. Le due procedure coincidono soltanto in casi particolari, per esempio quando il posteriore è fortemente concentrato o quando la quantità predetta dipende linearmente dal parametro in modo tale che la sola media sia sufficiente.
In generale:
\[ \mathbb E[g(\Theta)\mid D] \neq g(\mathbb E[\Theta\mid D]). \]La differenza è una conseguenza della non linearità. Per una funzione convessa \(g\), la disuguaglianza di Jensen stabilisce:
\[ g(\mathbb E[\Theta\mid D]) \leq \mathbb E[g(\Theta)\mid D]. \]Ignorare l’incertezza parametrica può quindi alterare medie, varianze, probabilità di coda e decisioni, non soltanto rendere più stretti gli intervalli.
9. Modelli gerarchici: distribuzioni sui parametri delle distribuzioni
L’incertezza sull’incertezza diventa particolarmente esplicita nei modelli gerarchici. Supponiamo di osservare più gruppi, ciascuno con un proprio parametro:
\[ Y_i\mid\theta_i\sim p(y_i\mid\theta_i). \]I parametri locali sono a loro volta descritti da una distribuzione comune:
\[ \theta_i\mid\eta\sim p(\theta_i\mid\eta), \]e anche l’iperparametro \(\eta\) può essere ignoto:
\[ \eta\sim p(\eta). \]La distribuzione congiunta è:
\[ p(D,\theta_{1:m},\eta) = \left[\prod_{i=1}^{m}p(D_i\mid\theta_i)p(\theta_i\mid\eta)\right]p(\eta). \]Il posteriore:
\[ p(\theta_{1:m},\eta\mid D) \propto \left[\prod_{i=1}^{m}p(D_i\mid\theta_i)p(\theta_i\mid\eta)\right]p(\eta). \]La gerarchia distingue la variabilità fra unità dalla nostra incertezza sulla distribuzione di popolazione. In applicazioni a ospedali, scuole, fabbriche o regioni, ciò produce il partial pooling: i gruppi con pochi dati vengono moderatamente avvicinati alla media complessiva, mentre quelli con molti dati dipendono maggiormente dalle proprie osservazioni.
9.1 Il regresso infinito è necessario?
Si potrebbe domandare: se assegniamo una distribuzione a \(\Theta\), non dovremmo essere incerti anche sui parametri di tale distribuzione, e poi sugli ulteriori iperparametri, all’infinito?
Formalmente, una gerarchia finita può sempre essere marginalizzata. Se:
\[ Y\mid\Theta\sim p(y\mid\theta), \quad \Theta\mid\Lambda\sim p(\theta\mid\lambda), \quad \Lambda\sim p(\lambda), \]allora:
\[ p(\theta) = \int p(\theta\mid\lambda)p(\lambda)\,d\lambda, \]e:
\[ p(y) = \iint p(y\mid\theta)p(\theta\mid\lambda)p(\lambda) \,d\theta\,d\lambda = \int p(y\mid\theta)p(\theta)\,d\theta. \]Non è dunque necessaria una logica di “probabilità di ordine infinito”: si tratta di una normale distribuzione congiunta su uno spazio più ampio. Tuttavia la struttura gerarchica conserva informazioni causali e statistiche importanti: mostra quali incertezze sono condivise, quali dati informano quali parametri e come avviene il trasferimento di informazione fra gruppi.
10. Incertezza sul modello e mediazione bayesiana
L’incertezza può riguardare non soltanto il valore di un parametro, ma anche il modello \(M\). Per esempio, tempi di guasto potrebbero essere esponenziali, Weibull o lognormali.
La probabilità posteriore del modello è:
\[ p(M\mid D) = \frac{p(D\mid M)p(M)} {\sum_{M’}p(D\mid M’)p(M’)}, \]dove l’evidenza del modello integra i suoi parametri:
\[ p(D\mid M) = \int p(D\mid\theta_M,M)p(\theta_M\mid M)\,d\theta_M. \]La previsione mediata sui modelli è:
\[ \boxed{ p(D’\mid D) = \sum_M p(M\mid D) \int p(D’\mid\theta_M,M) p(\theta_M\mid D,M)\,d\theta_M. } \]Questa procedura, nota come Bayesian model averaging, incorpora sia l’incertezza interna a ogni modello sia l’incertezza su quale modello sia più adeguato.
11. De Finetti: scambiabilità e significato del parametro
Il teorema di rappresentazione di De Finetti chiarisce perché una distribuzione su un parametro possa emergere anche senza assumere che quel parametro sia una proprietà fisica osservabile.
Una sequenza binaria \(X_1,X_2,\ldots\) è scambiabile se la sua distribuzione congiunta è invariata rispetto a ogni permutazione finita:
\[ P(X_1=x_1,\ldots,X_n=x_n) = P(X_{\pi(1)}=x_1,\ldots,X_{\pi(n)}=x_n). \]Per una sequenza binaria infinitamente scambiabile, esiste una misura \(\mu\) su \([0,1]\) tale che:
\[ \boxed{ P(X_1=x_1,\ldots,X_n=x_n) = \int_0^1 \prod_{i=1}^{n} \theta^{x_i}(1-\theta)^{1-x_i} \,\mu(d\theta). } \]La legge congiunta scambiabile è quindi una miscela di sequenze Bernoulli indipendenti e identicamente distribuite. Condizionatamente a \(\Theta=\theta\), le osservazioni sono indipendenti; marginalmente, sono dipendenti perché condividono lo stesso parametro ignoto.
Il significato epistemologico è decisivo: \(\Theta\) può essere letto realisticamente come una propensione fisica ignota, ma il teorema non obbliga a tale interpretazione. Può essere considerato una variabile di rappresentazione delle previsioni coerenti di un soggetto che giudica gli eventi scambiabili. In questo senso, il parametro esprime la struttura delle aspettative e dell’apprendimento, non necessariamente una “sostanza probabilistica” nascosta.
12. Stessa probabilità, diverso stato di conoscenza
Consideriamo due modelli con la stessa media:
Modello A: probabilità nota
\[ P(\Theta=0.5)=1. \]Modello B: incertezza fra due estremi
\[ P(\Theta=0)=\frac12, \qquad P(\Theta=1)=\frac12. \]In entrambi:
\[ P(Y_1=1)=\mathbb E[\Theta]=0.5. \]Ma per due successi consecutivi:
\[ P(Y_1=1,Y_2=1)=\mathbb E[\Theta^2]. \]Nel modello A:
\[ \mathbb E[\Theta^2]=0.25. \]Nel modello B:
\[ \mathbb E[\Theta^2]=0.5. \]La stessa probabilità predittiva per il prossimo evento può quindi corrispondere a stati epistemici profondamente diversi. La sola media \(\mathbb E[\Theta]\) non dice:
- quanto rapidamente potremo apprendere;
- quanto sono dipendenti gli eventi futuri;
- quanto sono plausibili sequenze estreme;
- quanto sarebbe utile acquisire nuovi dati.
L’incertezza sull’incertezza mostra così che una probabilità puntuale non esaurisce necessariamente l’informazione rilevante per la previsione e la decisione.
13. Rischio, ambiguità e probabilità imprecise
Il bayesianesimo standard rappresenta l’incertezza parametrica mediante una distribuzione precisa \(p(\theta)\). Ma in condizioni di ignoranza profonda potrebbe non esistere una giustificazione sufficiente per una prior completamente determinata.
Una prior uniforme non equivale automaticamente a “assenza di informazione”: l’uniformità dipende dalla parametrizzazione. Una distribuzione uniforme in \(\theta\) non rimane uniforme sotto una trasformazione non lineare \(\phi=g(\theta)\).
Le teorie delle probabilità imprecise rappresentano questa situazione mediante un insieme di distribuzioni:
\[ \mathcal P=\{P_\gamma:\gamma\in\Gamma\}. \]Per un evento futuro \(A\), si definiscono probabilità inferiore e superiore:
\[ \underline P(A\mid D) = \inf_{P_\gamma\in\mathcal P} P_\gamma(A\mid D), \] \[ \overline P(A\mid D) = \sup_{P_\gamma\in\mathcal P} P_\gamma(A\mid D). \]La previsione assume così la forma di un intervallo:
\[ P(A\mid D) \in [\underline P(A\mid D),\overline P(A\mid D)]. \]Concettualmente, una singola distribuzione su \(\Theta\) descrive l’incertezza entro un modello probabilistico preciso; un insieme di distribuzioni descrive anche l’incertezza su quale specificazione probabilistica sia giustificata.
14. Valore dell’informazione
L’incertezza parametrica non è soltanto descrittiva: determina il valore di ulteriori osservazioni. Sia \(a\) un’azione e \(u(a,\theta)\) la sua utilità. Senza nuovi dati si sceglie:
\[ a^* = \arg\max_a \mathbb E_{\Theta\mid D}[u(a,\Theta)]. \]Se prima di decidere fosse possibile osservare un nuovo dato \(Z\), il valore atteso con informazione sarebbe:
\[ \mathbb E_{Z\mid D} \left[ \max_a \mathbb E_{\Theta\mid D,Z}[u(a,\Theta)] \right]. \]Il valore atteso dell’informazione campionaria è:
\[ \operatorname{EVSI} = \mathbb E_{Z\mid D} \left[ \max_a \mathbb E[u(a,\Theta)\mid D,Z] \right] – \max_a \mathbb E[u(a,\Theta)\mid D]. \]Se il parametro fosse noto, osservazioni finalizzate esclusivamente a conoscerlo non avrebbero valore. Se invece l’incertezza su \(\Theta\) può cambiare l’azione ottimale, un esperimento può avere elevato valore economico, clinico o scientifico.
15. Come si presenta nei casi pratici
15.1 Medicina ed epidemiologia
Una prevalenza o un tasso di risposta terapeutica non è noto esattamente. Una distribuzione Beta permette di combinare dati precedenti e nuovi risultati. Nei modelli multicentrici, i tassi dei diversi ospedali sono modellati gerarchicamente. L’incertezza residua incide su intervalli predittivi, pianificazione dei posti letto e valutazione del beneficio atteso.
15.2 Affidabilità industriale
Il tasso di guasto di un componente può essere incerto per scarsità di prove, eterogeneità dei lotti o condizioni operative variabili. Una distribuzione Gamma sul tasso produce previsioni con code più pesanti rispetto a un modello che usa un solo tasso stimato. La distinzione è critica per manutenzione preventiva, scorte di ricambi e valutazioni di sicurezza.
15.3 Assicurazioni e rischio operativo
Frequenza e severità dei sinistri dipendono da parametri stimati. Ignorare l’incertezza parametrica può sottostimare la probabilità di perdite elevate. I modelli gerarchici permettono di condividere informazione fra categorie con pochi dati, mantenendo differenze reali fra portafogli.
15.4 Finanza
Media, volatilità e dipendenze dei rendimenti sono stimate da serie storiche finite e possono cambiare nel tempo. La previsione che condiziona su stime puntuali tende a essere eccessivamente precisa. Modelli bayesiani e a regimi latenti incorporano incertezza sui parametri e sullo stato del mercato, pur restando sensibili alle assunzioni strutturali.
15.5 Intelligenza artificiale
In un modello predittivo, l’incertezza aleatoria riguarda la variabilità dei dati anche a modello noto; l’incertezza epistemica riguarda pesi, funzioni o regioni dello spazio scarsamente osservate. Questa distinzione è importante per active learning, rilevamento di dati fuori distribuzione e decisioni in cui il sistema dovrebbe riconoscere di non disporre di evidenza sufficiente.
15.6 Meta-analisi e studi multicentrici
Gli effetti osservati variano sia per errore campionario sia per differenze reali fra studi. Un modello gerarchico separa l’incertezza sul singolo effetto, l’eterogeneità fra studi e l’incertezza sull’eterogeneità stessa. Il risultato è una previsione per un nuovo contesto, non soltanto una media degli studi passati.
16. Significato epistemologico
16.1 Probabilità dell’esito e qualità della conoscenza
Dire \(P(A)=0.5\) non chiarisce perché il valore sia \(0.5\). Potrebbe derivare da un meccanismo simmetrico ben conosciuto, da dati abbondanti, da una miscela di ipotesi estreme o da una scelta convenzionale in condizioni di ignoranza. Stati conoscitivi differenti possono produrre la stessa previsione puntuale ma diverse reazioni alle nuove evidenze.
16.2 Il parametro come proprietà o come strumento rappresentativo
In una lettura realista, \(\Theta\) è una proprietà del sistema che esiste indipendentemente dall’osservatore. In una lettura soggettivista, la distribuzione su \(\Theta\) rappresenta gradi di credenza coerenti. Il formalismo matematico è compatibile con entrambe le interpretazioni; il teorema di De Finetti mostra però che una rappresentazione parametrica può essere giustificata da proprietà delle previsioni, come la scambiabilità, senza postulare necessariamente una frequenza fisica nascosta.
16.3 Aggiornamento e condizionalità
La posteriorità \(p(\theta\mid D)\) non è una verità assoluta su \(\theta\), ma una valutazione condizionata a dati, modello e prior:
\[ p(\theta\mid D,\mathcal M,\mathcal A), \]dove \(\mathcal M\) rappresenta il modello e \(\mathcal A\) le assunzioni ausiliarie. La trasparenza epistemica richiede quindi di dichiarare non soltanto i dati, ma anche lo spazio dei modelli, la struttura di campionamento, le prior e le ipotesi di misurazione.
16.4 Riducibilità dell’incertezza
In condizioni regolari, nuovi dati possono concentrare il posteriore:
\[ p(\theta\mid D_n)\longrightarrow\delta_{\theta_0}. \]Di conseguenza:
\[ \operatorname{Var}_{\Theta\mid D_n} [\mathbb E(Y’\mid\Theta)] \longrightarrow 0. \]La componente epistemica si riduce, mentre la variabilità condizionata al parametro può restare:
\[ \operatorname{Var}(Y’\mid D_n) \longrightarrow \operatorname{Var}(Y’\mid\Theta=\theta_0). \]Conoscere meglio la legge del fenomeno non significa rendere deterministico il singolo esito.
16.5 I limiti della precisione numerica
Una distribuzione precisa può dare l’impressione di una conoscenza più definita di quella realmente disponibile. L’accuratezza formale dei calcoli non garantisce l’adeguatezza delle ipotesi. Per questo sono importanti analisi di sensibilità, controlli predittivi, confronto fra modelli e, quando opportuno, rappresentazioni robuste o imprecise dell’incertezza.
17. Una sintesi delle identità fondamentali
Probabilità totale
\[ p(y)=\int p(y\mid\theta)p(\theta)\,d\theta. \]Aspettativa totale
\[ \mathbb E[Y] = \mathbb E_{\Theta} [\mathbb E(Y\mid\Theta)]. \]Varianza totale
\[ \operatorname{Var}(Y) = \mathbb E_{\Theta}[\operatorname{Var}(Y\mid\Theta)] + \operatorname{Var}_{\Theta}[\mathbb E(Y\mid\Theta)]. \]Covarianza totale
\[ \operatorname{Cov}(Y,Z) = \mathbb E[\operatorname{Cov}(Y,Z\mid\Theta)] + \operatorname{Cov}( \mathbb E[Y\mid\Theta], \mathbb E[Z\mid\Theta] ). \]Previsione bayesiana
\[ p(Y’\mid D) = \int p(Y’\mid\theta)p(\theta\mid D)\,d\theta. \]Conclusione
L’incertezza sull’incertezza non è un artificio marginale, ma una caratteristica ordinaria della conoscenza empirica. Gli esiti sono incerti e, insieme, sono incerte le leggi o i parametri che li governano. Il calcolo bayesiano rappresenta entrambe le dimensioni mediante una distribuzione congiunta e produce previsioni attraverso la marginalizzazione.
La legge dell’aspettativa totale mostra che la media predittiva è una media delle medie condizionate. La legge della varianza totale mostra che l’incertezza predittiva è composta dalla variabilità che resterebbe a parametro noto e dalla variabilità delle previsioni dovuta al parametro ignoto. La legge della covarianza totale spiega perché osservazioni condizionatamente indipendenti diventino dipendenti quando condividono un parametro non osservato.
Sul piano epistemologico, la lezione principale è che una probabilità puntuale non descrive completamente lo stato della conoscenza. Occorre sapere da quale distribuzione sui parametri deriva, come potrebbe cambiare con nuovi dati, quali assunzioni la sostengono e quali possibilità sono state escluse dal modello. L’incertezza ben rappresentata non è un difetto del ragionamento: è la forma rigorosa con cui il ragionamento riconosce i propri limiti.
Riferimenti essenziali e approfondimenti
- H. Lin, “Bayesian Epistemology”, Stanford Encyclopedia of Philosophy.
- J.-W. Romeijn, “Philosophy of Statistics”, Stanford Encyclopedia of Philosophy.
- “Imprecise Probabilities”, Stanford Encyclopedia of Philosophy.
- W. Kirsch, “An Elementary Proof of de Finetti’s Theorem”.
- MIT OpenCourseWare, Introduction to Probability, materiali su aspettativa e varianza condizionate.
- U. Sahlin, “Treating Epistemic Uncertainty in Bayesian Networks for Risk Assessment”.
- M. C. Galavotti, “The Interpretation of Probability: Still an Open Issue?”.