La teoria della stima nel machine learning

La teoria della stima nel machine learning

Condividi con i tuoi amici...

Il problema fondamentale affrontato dall’intelligenza artificiale supervisionata è un problema di conoscenza indiretta. Esiste una relazione reale tra variabili osservabili, una funzione che associa input a output, ma tale funzione non è direttamente accessibile. Ciò che è disponibile è soltanto un insieme finito di osservazioni, inevitabilmente affette da rumore e incompletezza. L’intero edificio del machine learning nasce come risposta a questa asimmetria tra ciò che esiste e ciò che è osservabile.

Per rendere questa situazione formalmente trattabile, si introduce un modello generativo minimale che separa ciò che è strutturale da ciò che è accidentale. Si assume quindi che gli output osservati siano generati secondo la relazione

Questa espressione non è una scelta tecnica arbitraria, ma un atto epistemologico fondamentale. Essa afferma che esiste una funzione deterministica reale, sconosciuta, che cattura la relazione causale o strutturale tra input e output, e che le deviazioni osservate rispetto a tale relazione sono dovute a fattori non modellati, riassunti nella variabile aleatoria di rumore ε. L’introduzione del rumore non serve a “giustificare l’errore”, ma a rendere coerente il fatto che dati finiti e imperfetti non possono determinare univocamente la funzione reale.


Infatti :

da cui segue:





Infatti


Questo chiarisce anche l’origine del trade-off bias–varianza. Un prior forte restringe lo spazio delle funzioni ammissibili, riducendo la variabilità delle stime ma introducendo un errore sistematico se la funzione reale non appartiene a tale spazio. Un prior debole amplia lo spazio delle funzioni, riducendo il bias ma aumentando la sensibilità ai dati. Il compromesso tra bias e varianza non è un difetto dei modelli, ma una proprietà necessaria della stima sotto informazione finita.

In conclusione, l’apprendimento automatico, sia nella sua forma classica sia in quella bayesiana, è una particolare incarnazione della teoria della stima. Il suo oggetto ultimo è una funzione sconosciuta; i parametri sono strumenti di rappresentazione; i dati aggiornano credenze; la regolarizzazione esprime ipotesi strutturali; il bias–varianza è il riflesso inevitabile della limitatezza informativa. L’intelligenza artificiale non scopre la verità in senso assoluto, ma costruisce le migliori stime possibili date le ipotesi, i dati e i vincoli computazionali disponibili.


Chiarimento concettuale: approccio frequentista vs approccio bayesiano

Nel frequentismo si assume che:

  • la realtà sia fissa
  • i parametri o la funzione vera siano valori determinati ma sconosciuti
  • l’unica fonte di incertezza siano i dati, perché sono un campione casuale

L’idea è:

esiste un unico modello vero; i dati oscillano attorno ad esso.

L’apprendimento consiste nel:

  • scegliere un solo modello che meglio si adatta ai dati
  • usando una regola di ottimizzazione (minimizzare una loss)

Il risultato finale è:

  • una stima puntuale
  • una funzione o un insieme di pesi specifico
  • senza una misura diretta dell’incertezza

In breve:

il frequentista trova “il miglior modello” dato il campione.


Approccio bayesiano

Nel bayesiano si assume che:

  • la funzione o i parametri siano ignoti
  • l’incertezza su di essi venga rappresentata con probabilità
  • la probabilità misura quanto sappiamo, non quanto spesso qualcosa accade

L’idea è:

con dati limitati, più modelli possono essere plausibili.

L’apprendimento consiste nel:

  • partire da ipotesi iniziali (prior)
  • aggiornare tali ipotesi usando i dati (likelihood)
  • ottenere una distribuzione di probabilità sui modelli

Il risultato finale è:

  • una distribuzione di modelli possibili
  • con una misura esplicita di incertezza
  • da cui si possono ricavare stime puntuali (MAP, media) se serve

In breve:

il bayesiano descrive “quanto siamo incerti” su ogni modello possibile.

Il frequentista sceglie un modello; il bayesiano mantiene una distribuzione di modelli.

Per approfondire la differenza tra questi due approcci leggi


Ricorda come avviene l’aggiustamento dei pesi in una rete neurale

Per un approfondimento ulteriore sul trade-off bias-varianza leggi