Dalla Fisher Information alla biologia evolutiva di Fisher e Frank

In questo testo introduciamo in modo rigoroso la Fisher Information in statistica, con formule, dimostrazioni essenziali e spiegazioni intuitive. Poi passiamo alla biologia evolutiva: definiamo alleli, fitness e il modello dinamico di selezione, e mostriamo come Steven A. Frank rilegga il teorema fondamentale della selezione naturale in termini di Fisher Information.

Idea guida. In statistica, la Fisher Information misura quanto una distribuzione cambia al variare di un parametro.

In biologia evolutiva, se il parametro è il tempo evolutivo, la stessa struttura matematica misura quanto rapidamente cambiano le frequenze dei tipi nella popolazione.

1. Che cos’è la Fisher Information

Sia \(X\) una variabile casuale con distribuzione dipendente da un parametro reale \(\theta\), con densità oppure funzione di massa \(f(x;\theta)\). Il parametro \(\theta\) è ignoto e vogliamo capire quanta informazione i dati contengono su di esso.

L’intuizione è la seguente. Se cambiando di poco \(\theta\) la distribuzione dei dati cambia molto, allora i dati distinguono bene valori vicini del parametro. In questo caso la Fisher Information è alta. Se invece la distribuzione cambia poco, l’informazione è bassa.

1.1 Score e definizione

Si definisce score la derivata della log-verosimiglianza:

\[ S(\theta;x)=\frac{\partial}{\partial \theta}\log f(x;\theta) \]

La Fisher Information per una singola osservazione è:

\[ I(\theta)=\mathbb{E}_\theta\!\left[\left(\frac{\partial}{\partial \theta}\log f(X;\theta)\right)^2\right] \]

Questa formula dice che l’informazione è la media del quadrato dello score. In altre parole: misura quanto la log-verosimiglianza è sensibile al parametro.

1.2 Interpretazione geometrica

Se pensi alla funzione \(\log f(x;\theta)\) come a una curva in funzione di \(\theta\), allora una curva molto appuntita indica che piccoli cambiamenti del parametro si sentono molto nei dati. Una curva piatta indica invece che più valori di \(\theta\) producono quasi gli stessi dati.

Perciò una Fisher Information grande corrisponde a una log-verosimiglianza molto “curvata” e dunque a una stima potenzialmente più precisa.

1.3 Prima proprietà: la score ha media zero

Poiché \(f(x;\theta)\) è una densità, per ogni \(\theta\) vale:

\[ \int f(x;\theta)\,dx = 1 \]

Derivando rispetto a \(\theta\):

\[ \int \frac{\partial}{\partial \theta}f(x;\theta)\,dx = 0 \]

Ora usiamo l’identità:

\[ \frac{\partial}{\partial \theta}f(x;\theta) = f(x;\theta)\frac{\partial}{\partial \theta}\log f(x;\theta) \]

quindi:

\[ \int f(x;\theta)\frac{\partial}{\partial \theta}\log f(x;\theta)\,dx = 0 \]

cioè:

\[ \mathbb{E}_\theta[S(\theta;X)] = 0 \]

Questa proprietà è fondamentale: lo score oscilla attorno a zero.

1.4 Seconda proprietà: identità tra le due forme della Fisher Information

Sotto opportune ipotesi di regolarità vale:

\[ I(\theta) = \mathbb{E}_\theta\!\left[\left(\frac{\partial}{\partial \theta}\log f(X;\theta)\right)^2\right] = -\mathbb{E}_\theta\!\left[\frac{\partial^2}{\partial \theta^2}\log f(X;\theta)\right] \]

Quindi la Fisher Information si può leggere in due modi:

come media del quadrato della derivata prima della log-verosimiglianza;
come meno la media della derivata seconda della log-verosimiglianza.

La seconda lettura mostra che l’informazione è collegata alla curvatura media della log-verosimiglianza.

1.5 Dimostrazione dell’identità

Partiamo da

\[ \mathbb{E}_\theta[S(\theta;X)] = \int f(x;\theta)S(\theta;x)\,dx = 0 \]

Deriviamo rispetto a \(\theta\):

\[ 0=\frac{\partial}{\partial \theta}\int f(x;\theta)S(\theta;x)\,dx \]

Scambiando derivata e integrale:

\[ 0= \int \left[ \frac{\partial f}{\partial \theta}S + f\frac{\partial S}{\partial \theta} \right]dx \]

Ma \(\frac{\partial f}{\partial \theta}=fS\), quindi:

\[ 0= \int \left[ fS^2 + f\frac{\partial S}{\partial \theta} \right]dx \]

cioè:

\[ \mathbb{E}_\theta[S(\theta;X)^2] + \mathbb{E}_\theta\!\left[\frac{\partial S}{\partial \theta}(X)\right] =0 \]

Poiché \(S(\theta;x)=\frac{\partial}{\partial\theta}\log f(x;\theta)\), segue:

\[ \frac{\partial S}{\partial \theta}(x) = \frac{\partial^2}{\partial \theta^2}\log f(x;\theta) \]

e dunque:

\[ \mathbb{E}_\theta\!\left[\left(\frac{\partial}{\partial \theta}\log f(X;\theta)\right)^2\right] = -\mathbb{E}_\theta\!\left[\frac{\partial^2}{\partial \theta^2}\log f(X;\theta)\right] \]

1.6 Esempio: normale con varianza nota

Sia

\[ X\sim \mathcal N(\mu,\sigma^2) \]

con \(\sigma^2\) nota e \(\mu\) ignota. La densità è

\[ f(x;\mu)=\frac{1}{\sqrt{2\pi\sigma^2}} \exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]

La log-densità vale

\[ \log f(x;\mu)=\text{costante}-\frac{(x-\mu)^2}{2\sigma^2} \]

La score è

\[ \frac{\partial}{\partial \mu}\log f(x;\mu)=\frac{x-\mu}{\sigma^2} \]

Quindi

\[ I(\mu) = \mathbb E\!\left[\left(\frac{X-\mu}{\sigma^2}\right)^2\right] = \frac{1}{\sigma^4}\mathbb E[(X-\mu)^2] = \frac{1}{\sigma^4}\sigma^2 = \frac{1}{\sigma^2} \]

Per \(n\) osservazioni indipendenti:

\[ I_n(\mu)=\frac{n}{\sigma^2} \]

Più dati osserviamo, più informazione otteniamo. È esattamente ciò che ci aspetteremmo.

1.7 Legame con Cramér-Rao

Se \(T\) è uno stimatore corretto di \(\theta\), sotto ipotesi regolari vale:

\[ \mathrm{Var}_\theta(T)\ge \frac{1}{I(\theta)} \]

Dunque una Fisher Information grande impone un limite inferiore più piccolo alla varianza degli stimatori. Per questo si dice che la Fisher Information misura la precisione teoricamente raggiungibile.

2. Biologia evolutiva: alleli, popolazione e fitness

2.1 Alleli

Un allele è una variante di un gene in un dato locus. In un modello semplice con due alleli, per esempio \(A\) e \(a\), i diversi individui della popolazione portano combinazioni di questi alleli.

In genetica di popolazione, però, è spesso più utile raggruppare gli individui in tipi \(i\): genotipi, fenotipi o classi ereditarie. A ciascun tipo associamo una frequenza \(p_i\).

2.2 Fitness

La fitness misura il successo riproduttivo di un tipo biologico. In termini intuitivi: un tipo con fitness maggiore tende a lasciare più discendenti e quindi a diventare più frequente nella popolazione.

In tempo continuo si usa spesso la Malthusian fitness \(m_i\), che rappresenta il tasso istantaneo di crescita del tipo \(i\).

Se \(n_i(t)\) è l’abbondanza del tipo \(i\), il modello più semplice scrive:

\[ \frac{dn_i}{dt}=m_i n_i \]

Questo significa: più alta è la fitness \(m_i\), più rapidamente cresce il numero di individui di quel tipo.

2.3 Frequenze e fitness media

Se il numero totale degli individui è

\[ N=\sum_i n_i \]

allora la frequenza del tipo \(i\) è

\[ p_i=\frac{n_i}{N} \]

e la fitness media della popolazione è

\[ \bar m=\sum_i p_i m_i \]

La differenza \(m_i-\bar m\) dice quanto il tipo \(i\) sia sopra o sotto la media della popolazione.

3. Il modello dinamico: equazione replicatore

Dalla dinamica sulle abbondanze si ottiene la dinamica sulle frequenze. Partiamo da

\[ p_i=\frac{n_i}{N} \]

e deriviamo rispetto al tempo:

\[ \frac{dp_i}{dt} = \frac{1}{N}\frac{dn_i}{dt} – \frac{n_i}{N^2}\frac{dN}{dt} \]

Poiché

\[ \frac{dn_i}{dt}=m_i n_i \qquad\text{e}\qquad \frac{dN}{dt}=\sum_j m_j n_j=N\bar m \]

segue:

\[ \frac{dp_i}{dt}=p_i(m_i-\bar m) \]

Questa è la replicator equation. Essa dice che la frequenza di un tipo cresce se la sua fitness è sopra la media e diminuisce se è sotto la media.

Definiamo ora

\[ a_i = m_i-\bar m \]

Allora la dinamica diventa

\[ \frac{dp_i}{dt}=p_i a_i \]

e quindi

\[ \frac{1}{p_i}\frac{dp_i}{dt}=a_i \]

ossia

\[ \frac{d}{dt}\log p_i = a_i \]

Questo passaggio è decisivo: la derivata del logaritmo della frequenza coincide con lo scarto di fitness dalla media.

4. Fisher Information della distribuzione evolutiva

Ora non consideriamo più una densità \(f(x;\theta)\) rispetto a un parametro ignoto \(\theta\), ma una famiglia di distribuzioni \(p_i(t)\) indicizzate dal tempo evolutivo \(t\).

La Fisher Information rispetto al parametro \(t\) è:

\[ I(t)=\sum_i p_i(t)\left(\frac{d}{dt}\log p_i(t)\right)^2 \]

Usando la replicator equation otteniamo:

\[ \frac{d}{dt}\log p_i(t)=m_i(t)-\bar m(t) \]

e quindi

\[ I(t)=\sum_i p_i(t)\bigl(m_i(t)-\bar m(t)\bigr)^2 \]

ma il membro di destra è esattamente la varianza della fitness:

\[ I(t)=\mathrm{Var}_{p(t)}(m) \]

Interpretazione semplice.

Se tutti i tipi hanno fitness quasi uguale, le frequenze cambiano lentamente e la Fisher Information è piccola. Se invece alcuni tipi sono molto più adatti di altri, le frequenze cambiano rapidamente e la Fisher Information è grande.

Quindi la Fisher Information misura la velocità con cui la selezione spinge la popolazione nello spazio delle distribuzioni.

5. Il passaggio a Frank

Steven A. Frank osserva che questa identità non è solo un’analogia formale. Essa permette di rileggere il teorema fondamentale della selezione naturale come un teorema sull’acquisizione di informazione da parte della popolazione.

Se definiamo

\[ a_i = m_i-\bar m \]

allora la Fisher Information evolutiva è

\[ I(t)=\sum_i p_i a_i^2 \]

Questa quantità misura quanta differenziazione selettiva c’è nella popolazione. In termini statistici, misura quanto la distribuzione \(p_i(t)\) cambia lungo il parametro \(t\). In termini biologici, misura quanta disparità di fitness guida il cambiamento delle frequenze.

5.1 La scomposizione ereditaria

Non tutta la variabilità di fitness è trasmissibile. Fisher e poi Frank distinguono una parte additiva ereditaria e una parte residua.

Si scrive:

\[ a_i = g_i+\varepsilon_i \]

dove

\(g_i\) è la componente predetta dai fattori ereditari, cioè il valore additivo trasmissibile;
\(\varepsilon_i\) è il residuo non trasmissibile o non spiegato da quella componente additiva.

Se questa è una decomposizione ortogonale in media pesata dalle frequenze, allora il quadrato medio si scompone come:

\[ \sum_i p_i a_i^2 = \sum_i p_i g_i^2 + \sum_i p_i \varepsilon_i^2 \]

cioè

\[ I(t)=G+E \]

con

\[ G=\sum_i p_i g_i^2 \qquad\text{e}\qquad E=\sum_i p_i \varepsilon_i^2 \]

La quantità \(G\) è la parte di Fisher Information effettivamente catturata dalla componente ereditaria additiva.

5.2 Varianza additiva della fitness

In genetica quantitativa, la varianza additiva della fitness è la parte della varianza della fitness dovuta agli effetti medi additivi dei fattori ereditari.

Questa è la parte che la selezione naturale può davvero accumulare nel tempo, perché è la parte che viene trasmessa ai discendenti.

Perciò, nella lettura di Frank, il teorema fondamentale di Fisher assume la forma:

\[ \frac{d\bar m}{dt}\Big|_{\text{sola selezione}} = G \]

dove \(G\) è la componente additiva ereditaria della quantità fisheriana.

Significato intuitivo.

La popolazione non “impara” da tutta la variabilità di fitness, ma solo dalla parte che è ereditabile. Quella parte è la varianza additiva. Frank la interpreta come la parte di Fisher Information che può essere immagazzinata stabilmente nella struttura ereditaria della popolazione.

6. In che senso il parallelismo regge

Il parallelismo tra Fisher Information e varianza additiva della fitness è serio e matematicamente fondato, ma va formulato correttamente.

La Fisher Information statistica misura la sensibilità di una distribuzione al parametro.
Nel caso evolutivo, la distribuzione è \(p_i(t)\) e il parametro è il tempo evolutivo \(t\).
Con la replicator equation, la derivata logaritmica delle frequenze coincide con lo scarto di fitness dalla media.
Quindi la Fisher Information rispetto a \(t\) coincide con la varianza della fitness.
La sua componente additiva ereditaria coincide con la varianza additiva della fitness nel senso fisheriano.

Questo non significa però che “Fisher Information = varianza additiva” in ogni contesto possibile senza ipotesi. L’identità vale dentro questo preciso formalismo dinamico.

7. Riassunto finale

In statistica:

\[ I(\theta) = \mathbb E\!\left[\left(\frac{\partial}{\partial \theta}\log f(X;\theta)\right)^2\right] = -\mathbb E\!\left[\frac{\partial^2}{\partial \theta^2}\log f(X;\theta)\right] \]

In biologia evolutiva, per la distribuzione delle frequenze \(p_i(t)\):

\[ I(t) = \sum_i p_i(t)\left(\frac{d}{dt}\log p_i(t)\right)^2 = \sum_i p_i(t)\bigl(m_i(t)-\bar m(t)\bigr)^2 \]

cioè

\[ I(t)=\mathrm{Var}_{p(t)}(m) \]

Se poi si estrae la parte additiva ereditaria, si ottiene la quantità \(G\), che corrisponde alla varianza additiva della fitness:

\[ G=\sum_i p_i g_i^2 \]

In una frase: la selezione naturale modifica le frequenze dei tipi; la Fisher Information misura la velocità strutturata di questo cambiamento; la sua componente ereditaria additiva è ciò che Fisher e Frank interpretano come il nucleo informativo della selezione.

Leggere anche

Riduzionismo in biologia evolutiva e oltre