1. In che modo dovrebbero essere aggiornate le probabilità alla luce di nuove informazioni e quali sono le implicazioni epistemologiche della distinzione tra probabilità a priori e probabilità a posteriori?
2. È più appropriato adottare una concezione soggettiva (bayesiana) o oggettiva (frequentista) della probabilità nell’analisi dei dati e nell’inferenza scientifica, e quali sono i limiti e i vantaggi di ciascun approccio?
3. Come si possono integrare o confrontare i metodi bayesiani e frequentisti, specialmente nell’ambito dell’intelligenza artificiale e dell’apprendimento automatico, per garantire affidabilità, adattabilità e trasparenza nelle previsioni e nelle decisioni?

---

La gestione dell’incertezza e l’aggiornamento delle conoscenze alla luce di nuove informazioni sono questioni centrali non solo nella statistica e nella teoria della probabilità, ma anche nell’informatica, nell’intelligenza artificiale e nella filosofia della scienza. Come dovremmo aggiornare le nostre credenze quando emergono nuovi dati? È più appropriato adottare una concezione soggettiva o oggettiva della probabilità nell’analisi dei dati e nell’inferenza scientifica? E ancora: come possiamo integrare o confrontare i metodi bayesiani e frequentisti, specialmente nell’ambito dell’intelligenza artificiale e dell’apprendimento automatico, per garantire affidabilità, adattabilità e trasparenza nelle previsioni e nelle decisioni? Queste domande, che toccano aspetti epistemologici, metodologici e pratici, sono al centro di un dibattito che attraversa discipline e scuole di pensiero, e che ha visto il contributo di alcuni dei più grandi studiosi degli ultimi tre secoli.

L’aggiornamento delle probabilità: dal teorema di Bayes a Laplace

Il problema dell’aggiornamento delle probabilità si pone ogni volta che dobbiamo modificare le nostre credenze alla luce di nuove informazioni. Il teorema di Bayes, sviluppato da Thomas Bayes nel XVIII secolo e successivamente formalizzato e generalizzato da Pierre-Simon Laplace, fornisce la risposta matematica più nota a questa esigenza. Il teorema di Bayes stabilisce che la probabilità di un’ipotesi A dato un’evidenza B (P(A|B)) è proporzionale alla probabilità di osservare B se A è vera (P(B|A)), moltiplicata per la probabilità a priori di A (P(A)), e divisa per la probabilità di B (P(B)):

P(A|B) = [P(B|A) * P(A)] / P(B)

Questo teorema consente di “invertire” la probabilità condizionata: se conosciamo quanto sia probabile osservare B se A è vera, possiamo calcolare quanto sia probabile che A sia vera se osserviamo B. Un esempio classico riguarda i test medici: se un test è positivo nel 99% dei casi di malattia (alta sensibilità), ma anche nel 5% dei casi in cui la malattia non è presente (falsi positivi), e se la malattia è rara (ad esempio, colpisce 1 persona su 1000), il teorema di Bayes permette di calcolare la probabilità effettiva che una persona sia malata dato un test positivo, mostrando come la rarità della malattia influisca pesantemente sull’interpretazione dei risultati.

Esempio

Laplace, ampliando il lavoro di Bayes, vide la probabilità come una misura dell’ignoranza umana: se conoscessimo tutte le condizioni iniziali, il mondo sarebbe deterministico, ma la nostra conoscenza è limitata, quindi dobbiamo usare la probabilità per gestire l’incertezza. Laplace introdusse e formalizzò la distinzione tra “probabilità a priori” (il grado di credenza prima dell’osservazione dei dati) e “probabilità a posteriori” (la probabilità aggiornata dopo aver osservato i dati). Ad esempio, se lanciamo una moneta e non sappiamo se sia truccata, possiamo iniziare assumendo che sia equa (prior). Dopo una serie di lanci, aggiorniamo la nostra credenza sulla sua equità (posterior) usando il teorema di Bayes. Laplace applicò questi principi anche all’astronomia, stimando la probabilità dell’esistenza di pianeti sconosciuti sulla base delle perturbazioni osservate nelle orbite planetarie.

La nascita del soggettivismo bayesiano: de Finetti, Savage e Jeffreys

Nel corso del Novecento, la scuola bayesiana si è sviluppata in contrapposizione a quella frequentista, grazie al contributo di studiosi come Bruno de Finetti, Leonard J. Savage e Harold Jeffreys.

Bruno de Finetti fu il principale esponente del soggettivismo probabilistico. Secondo de Finetti, la probabilità non è una proprietà oggettiva degli eventi, ma esprime il grado di credenza soggettiva di un individuo rispetto a un evento. La coerenza delle credenze soggettive è garantita dal principio delle scommesse: un individuo razionale dovrebbe assegnare probabilità in modo che non sia possibile costruire una scommessa che lo porti a una perdita certa (criterio di coerenza o “Dutch Book”). De Finetti sviluppò anche il concetto di “scambio di probabilità” (exchangeability): una sequenza di eventi è scambiabile se la probabilità con cui si verifica una certa sequenza non cambia se si permuta l’ordine degli eventi. In questa visione, se una persona assegna una probabilità del 70% che domani piova, questa probabilità riflette la sua personale opinione, non una frequenza oggettiva. Se un altro individuo ha informazioni diverse, può assegnare una probabilità differente. De Finetti influenzò profondamente la statistica bayesiana moderna, dove i “prior” riflettono le credenze soggettive prima di osservare i dati.

Leonard J. Savage portò il soggettivismo probabilistico nell’ambito della teoria della decisione. Secondo Savage, le scelte razionali in condizioni di incertezza devono essere guidate dalla massimizzazione dell’utilità attesa, dove le probabilità sono soggettive e rappresentano le credenze dell’individuo. La sua teoria si basa su alcuni assiomi di coerenza: se un individuo rispetta questi assiomi, allora il suo comportamento può essere descritto come se stesse massimizzando l’utilità attesa rispetto a una distribuzione di probabilità soggettiva. Un investitore, ad esempio, può scegliere tra diversi titoli azionari assegnando probabilità soggettive alle possibili variazioni di prezzo e valutando l’utilità (il guadagno o la perdita attesa). La scelta ottimale è quella che massimizza l’utilità attesa secondo le sue credenze. Savage fornì così una base rigorosa per l’uso della probabilità soggettiva nelle decisioni pratiche, influenzando l’economia, la finanza e le scienze sociali.

Harold Jeffreys cercò di conciliare il soggettivismo bayesiano con l’oggettività scientifica, proponendo una giustificazione oggettiva dei priors bayesiani. Secondo Jeffreys, in assenza di informazioni specifiche, si dovrebbero usare dei “priori non informativi” o “invarianti”, che riflettano la massima ignoranza possibile e non favoriscano nessuna ipotesi a priori. Jeffreys sviluppò il cosiddetto “prior di Jeffreys”, una regola per costruire priors oggettivi basati sulle proprietà matematiche del modello statistico (in particolare sulla matrice di Fisher dell’informazione). Se si vuole stimare la media di una popolazione senza informazioni precedenti, il prior di Jeffreys suggerisce di usare una distribuzione uniforme, che non favorisca nessun valore specifico. Jeffreys applicò questi principi anche all’inferenza scientifica, sostenendo che il metodo bayesiano, se basato su priors oggettivi, può essere una base rigorosa per la scienza induttiva.

La scuola frequentista: Fisher, Neyman, Pearson e la ricerca dell’oggettività

Le principali argomentazioni contrarie al bayesianesimo sono state sviluppate dalla scuola frequentista, che sostiene una concezione oggettiva della probabilità, intesa come limite relativo della frequenza di un evento in una lunga serie di prove ripetute. Autori come Ronald A. Fisher, Jerzy Neyman ed Egon Pearson hanno criticato l’approccio soggettivo del bayesianesimo, ritenendo che l’assegnazione di probabilità a priori sia arbitraria e non scientifica.

Ronald A. Fisher fu uno dei fondatori della statistica moderna e sviluppò l’approccio frequentista, basato sull’analisi della frequenza relativa degli eventi in ripetuti esperimenti. Fisher introdusse il concetto di verosimiglianza (likelihood): la verosimiglianza di un parametro dato un insieme di dati è la probabilità di osservare quei dati se il parametro ha un certo valore. L’inferenza statistica, secondo Fisher, consiste nel trovare il valore del parametro che massimizza la verosimiglianza (stima di massima verosimiglianza). Fisher introdusse anche il concetto di intervallo di confidenza e il metodo dell’inferenza fiduciale, cercando di fornire criteri oggettivi e ripetibili per l’analisi dei dati, senza ricorrere a credenze soggettive. Ad esempio, se si vuole stimare la media di una popolazione sulla base di un campione, Fisher suggerisce di scegliere il valore che rende più probabile l’osservazione dei dati raccolti (stima di massima verosimiglianza), e di costruire un intervallo di confidenza che, in ripetuti campionamenti, contenga il vero valore con una certa probabilità (ad esempio, il 95% delle volte). Fisher si oppose al bayesianesimo, sostenendo che la probabilità deve essere interpretata come frequenza oggettiva, non come grado di credenza.

Regola

Jerzy Neyman, insieme a Egon Pearson, sviluppò la teoria dei test d’ipotesi e degli intervalli di confidenza, pilastri dell’approccio frequentista. Nel test d’ipotesi, si parte da un’ipotesi nulla (H0) e si valuta la probabilità di osservare dati almeno così estremi come quelli osservati, assumendo che H0 sia vera (p-value). Se questa probabilità è inferiore a una soglia prefissata (livello di significatività, ad esempio 0.05), si rifiuta H0. Neyman introdusse anche il concetto di intervallo di confidenza: un intervallo costruito in modo che, ripetendo l’esperimento molte volte, il vero valore del parametro cada nell’intervallo in una proporzione prefissata di casi (ad esempio, il 95%). In un trial clinico, ad esempio, si vuole testare se un nuovo farmaco è più efficace di un placebo. Si formula l’ipotesi nulla “il farmaco non è più efficace del placebo” e si calcola il p-value. Se il p-value è inferiore a 0.05, si conclude che ci sono evidenze contro l’ipotesi nulla. Neyman e Pearson sottolinearono l’importanza di controllare sia il rischio di errore di primo tipo (rifiutare H0 quando è vera) sia di secondo tipo (non rifiutare H0 quando è falsa), introducendo i concetti di potenza e significatività dei test.

Egon Pearson, collaborando con Neyman, contribuì a formalizzare i criteri di significatività e potenza dei test statistici. La potenza di un test è la probabilità di rifiutare l’ipotesi nulla quando è falsa (cioè di individuare un effetto reale). Pearson e Neyman svilupparono la teoria delle regioni critiche: si definisce una regione dei valori osservati che porta al rifiuto di H0, controllando la probabilità di errore di primo tipo. Ad esempio, se si vuole testare se una moneta è truccata, si stabilisce una regione critica (ad esempio, ottenere almeno 8 teste su 10 lanci) e si calcola la probabilità di ottenere un risultato così estremo se la moneta è equa. Se questa probabilità è molto bassa, si conclude che la moneta è probabilmente truccata. Pearson contribuì così a rendere la statistica una disciplina rigorosa e oggettiva, basata su regole chiare e replicabili.

Il pensiero frequentista si è sviluppato nel contesto della crescente formalizzazione della statistica tra la fine dell’Ottocento e la prima metà del Novecento, in un’epoca in cui la scienza cercava criteri di oggettività e ripetibilità. L’approccio frequentista è stato favorito anche dalla limitata capacità di calcolo disponibile fino agli anni ’60, che rendeva impraticabili i metodi bayesiani per problemi complessi.

Oggettività e soggettività

In realtà anche se l’approccio frequentista non si avvale di una probabilità a priori soggettiva si avvale comunque di una scelta iniziale del modello in cui si può celare una certa arbitrarietà.

la MLE è “più oggettiva”?

Sì, in un senso preciso:

• una volta fissato il modello,
• la MLE è meccanica e unica
• non dipende da preferenze personali

Quindi:

condizionatamente al modello, la MLE è oggettiva

Bayes invece resta soggettivo anche dopo aver fissato il modello.

Il dibattito filosofico: Popper e il falsificazionismo

Altre critiche al bayesianesimo provengono dall’ambito filosofico, in particolare dal falsificazionismo di Karl Popper. Secondo Popper, la scienza progredisce attraverso la falsificazione di ipotesi piuttosto che attraverso l’aggiornamento graduale delle probabilità. Popper ha sostenuto che la probabilità soggettiva rischia di confondere la distinzione tra conoscenza oggettiva e credenze personali. Il falsificazionismo di Popper si basa sull’idea che una teoria è scientifica solo se è falsificabile, cioè se esistono osservazioni o esperimenti che potrebbero dimostrarla falsa. Popper si oppose all’induttivismo, secondo cui la scienza progredisce accumulando conferme. Invece, propose che gli scienziati formulano ipotesi audaci e cercano attivamente di confutarle. Le teorie che sopravvivono a ripetuti tentativi di falsificazione sono provvisoriamente accettate, ma mai definitivamente confermate. L’affermazione “tutti i cigni sono bianchi” è scientifica perché può essere falsificata dall’osservazione di un solo cigno nero. Il falsificazionismo di Popper ha influenzato profondamente la metodologia scientifica, sottolineando l’importanza della critica e della revisione continua delle teorie.

Bayesianesimo e frequentismo nell’informatica e nell’intelligenza artificiale

Nel secondo dopoguerra, la crescita della potenza di calcolo ha permesso l’applicazione pratica dei metodi bayesiani, grazie anche allo sviluppo di algoritmi come Markov Chain Monte Carlo (MCMC). In informatica e intelligenza artificiale, il principio bayesiano è alla base di molti algoritmi di apprendimento automatico, come le reti bayesiane (sviluppate da Judea Pearl), i filtri di Kalman e i modelli di inferenza probabilistica. Questi strumenti sono oggi fondamentali per la previsione in contesti complessi e dinamici, dalla manutenzione predittiva dei prodotti industriali all’analisi delle dinamiche geopolitiche.

Judea Pearl ha rivoluzionato la modellizzazione dell’incertezza nei sistemi intelligenti, sviluppando le reti bayesiane e la teoria dell’inferenza causale. Le reti bayesiane sono modelli grafici che rappresentano insiemi di variabili casuali e le loro dipendenze condizionate tramite un grafo orientato. Ogni nodo rappresenta una variabile, e le frecce rappresentano relazioni di dipendenza. Le reti bayesiane permettono di calcolare la probabilità di eventi complessi combinando informazioni locali (le probabilità condizionate di ciascun nodo rispetto ai suoi genitori). Pearl ha inoltre sviluppato una teoria rigorosa dell’inferenza causale, distinguendo tra correlazione e causalità. Ha introdotto strumenti come i diagrammi causali e il calcolo degli effetti causali tramite “do-calculus”, che permette di rispondere a domande del tipo “Cosa succederebbe se intervenissimo su una variabile?”. In medicina, ad esempio, una rete bayesiana può rappresentare le relazioni tra sintomi, malattie e test diagnostici, permettendo di aggiornare la probabilità di una malattia dato un certo insieme di sintomi osservati. Per la causalità, Pearl ha mostrato come distinguere tra “fumare causa il cancro” e “fumare è solo correlato al cancro”, fornendo strumenti per l’analisi di interventi e politiche.

Lo stato attuale dell’arte vede una crescente integrazione dei metodi bayesiani nei sistemi di intelligenza artificiale, dove l’aggiornamento continuo delle probabilità consente una maggiore adattabilità e robustezza delle previsioni. Un tema centrale è la qualità e l’affidabilità dei dati utilizzati per l’aggiornamento, così come la selezione delle variabili rilevanti (feature selection) su cui concentrare l’analisi, ambiti in cui si stanno sviluppando nuove metodologie sia teoriche che applicative. La riflessione sulla distinzione tra probabilità a priori e probabilità condizionata rimane centrale nella discussione epistemologica e metodologica, con implicazioni che si estendono dalla filosofia della scienza fino alle applicazioni pratiche nei più diversi settori.

Nell’ambito dell’intelligenza artificiale, tuttavia, esistono anche approcci alternativi all’inferenza bayesiana. Tra questi, i metodi deterministici come le reti neurali profonde, che apprendono pattern dai dati senza una modellizzazione esplicita delle probabilità a priori, e metodi basati sulla logica fuzzy o sulle teorie dell’incertezza di Dempster-Shafer. Questi approcci, pur non fondandosi direttamente sulla probabilità bayesiana, affrontano comunque il problema dell’incertezza e della generalizzazione a partire dai dati osservati.

Vantaggi e limiti dei due approcci

La comunità scientifica riconosce oggi sia i punti di forza sia i limiti di ciascun approccio. I metodi bayesiani sono apprezzati per la loro flessibilità e capacità di integrare informazioni pregresse, ma rimangono sensibili alla scelta dei priors e alla qualità dei dati. La possibilità di aggiornare continuamente le probabilità a mano a mano che emergono nuove informazioni rende i metodi bayesiani particolarmente adatti a contesti dinamici e complessi, come quelli dell’intelligenza artificiale e del machine learning. Tuttavia, la soggettività nella scelta dei priors può introdurre arbitrarietà, e la complessità computazionale può diventare un ostacolo in presenza di grandi quantità di dati o di modelli molto complessi.

I metodi frequentisti, invece, sono ancora largamente utilizzati, soprattutto in ambiti dove la ripetibilità sperimentale è garantita e l’oggettività è prioritaria. L’approccio frequentista offre strumenti rigorosi e replicabili per l’analisi dei dati, come i test d’ipotesi, gli intervalli di confidenza e le stime di massima verosimiglianza. Tuttavia, la loro applicabilità può risultare limitata in contesti in cui i dati sono scarsi, non indipendenti o non rappresentativi di una popolazione ben definita, e non consentono di integrare facilmente informazioni pregresse o conoscenze esperte.

Integrazione e confronto tra metodi bayesiani e frequentisti nell’intelligenza artificiale

In intelligenza artificiale e apprendimento automatico, si assiste oggi a una convergenza tra approcci bayesiani e non bayesiani, con lo sviluppo di modelli ibridi che cercano di combinare i vantaggi di entrambi. Ad esempio, le reti neurali bayesiane cercano di integrare la flessibilità delle reti neurali profonde con la capacità di quantificare l’incertezza tipica dei modelli bayesiani. Altri modelli sfruttano la robustezza dei metodi frequentisti nella stima dei parametri e la capacità dei metodi bayesiani di aggiornare le credenze in modo dinamico.

La discussione epistemologica rimane aperta, con una crescente attenzione alle implicazioni pratiche della selezione dei modelli e alla trasparenza delle assunzioni probabilistiche. In particolare, la qualità e l’affidabilità dei dati utilizzati per l’aggiornamento delle probabilità, la selezione delle variabili rilevanti, la gestione dell’incertezza e la spiegabilità delle decisioni automatiche sono temi centrali nella ricerca contemporanea. La riflessione sulla distinzione tra probabilità a priori e probabilità condizionata continua a giocare un ruolo fondamentale, sia nella teoria sia nelle applicazioni pratiche.

Conclusioni e questioni aperte

Il dibattito tra bayesianesimo e frequentismo, tra soggettivismo e oggettivismo nella probabilità, tra aggiornamento graduale delle credenze e falsificazione delle ipotesi, resta uno dei temi più vivi e stimolanti della scienza contemporanea. Le implicazioni di queste scelte metodologiche si estendono ben oltre la statistica e la teoria della probabilità, toccando la filosofia della scienza, l’intelligenza artificiale, la medicina, l’economia e molti altri ambiti.

Restano aperte numerose questioni: come possiamo garantire che la scelta dei priors nei modelli bayesiani sia il più possibile giustificata e trasparente? In quali contesti è più appropriato adottare un approccio frequentista, e in quali invece il bayesianesimo offre vantaggi decisivi? Come possiamo integrare in modo efficace i due approcci, sfruttando la flessibilità dei metodi bayesiani e la robustezza dei metodi frequentisti? In che modo la crescente complessità dei dati e dei modelli nell’intelligenza artificiale influenzerà il futuro della statistica e della teoria della probabilità? E infine: quali saranno le implicazioni epistemologiche e pratiche di queste scelte per la scienza, la tecnologia e la società nel suo complesso?

Queste domande, che richiedono una riflessione interdisciplinare e una continua revisione critica delle nostre assunzioni e metodologie, rappresentano la frontiera della ricerca sulla probabilità, sull’inferenza e sulla gestione dell’incertezza nel mondo moderno.