1. Dallo spazio multidimensionale alla variabile di cluster

Consideriamo un insieme di osservazioni, ciascuna rappresentata da un vettore appartenente a uno spazio a \(d\) dimensioni:

Ogni coordinata \(Y_j\) descrive una caratteristica dell’oggetto osservato. Nel marketing, per esempio, un cliente potrebbe essere rappresentato dal vettore:

Il clustering introduce una nuova variabile:

dove \(Z=k\) significa che l’osservazione è stata assegnata al cluster \(k\). Il passaggio dai dati al cluster può essere deterministico oppure probabilistico.

Nel clustering deterministico si ha:

Per ogni vettore di caratteristiche viene quindi determinata una sola etichetta. È il caso, per esempio, del K-means tradizionale.

Nel clustering probabilistico si stima invece una distribuzione condizionata:

Una stessa osservazione può così appartenere a più cluster con probabilità differenti. È il caso dei Gaussian Mixture Models e di numerosi modelli neurali di clustering morbido.

2. Entropia, incertezza e mutua informazione

L’entropia di una variabile discreta \(Z\) è definita come:

Essa misura l’incertezza media associata alla variabile. Se tutti i dati appartengono allo stesso cluster, l’entropia di \(Z\) è nulla. Se invece le osservazioni sono distribuite in modo uniforme fra diversi cluster, l’entropia è maggiore.

L’entropia condizionata

misura quanta incertezza rimane sull’appartenenza al cluster dopo avere osservato il vettore delle caratteristiche.

La mutua informazione tra \(Z\) e \(Y\) può essere espressa come:

Questa formula mostra che la mutua informazione rappresenta la riduzione media dell’incertezza relativa al cluster ottenuta osservando i dati.

La stessa quantità può essere scritta anche come:

In questa seconda rappresentazione, la mutua informazione indica quanta parte dell’incertezza o della variabilità dei dati venga spiegata conoscendo il cluster.

Le due formulazioni sono equivalenti, ma enfatizzano due prospettive differenti:

• la prima considera quanto i dati rendano prevedibile l’etichetta del cluster;
• la seconda considera quanto il cluster renda prevedibili o meno variabili i dati.

In un buon clustering ci si aspetta generalmente che le osservazioni appartenenti allo stesso gruppo siano simili. La variabilità residua dei dati una volta noto il cluster, rappresentata da \(H(Y\mid Z)\), dovrebbe quindi essere relativamente bassa.

3. La definizione probabilistica della mutua informazione

Per una variabile discreta \(Z\) e un vettore continuo \(Y\), la mutua informazione può essere definita come:

Se \(Z\) e \(Y\) fossero indipendenti, si avrebbe:

e pertanto:

In questo caso conoscere le caratteristiche dell’osservazione non fornirebbe alcuna informazione sul cluster. Una segmentazione del genere sarebbe priva di relazione con la struttura dei dati.

Un’altra espressione fondamentale è:

La divergenza di Kullback-Leibler confronta la distribuzione a priori dei cluster, \(p(Z)\), con la distribuzione a posteriori ottenuta dopo avere osservato un particolare vettore \(Y=y\), cioè \(p(Z\mid Y=y)\).

La mutua informazione è quindi la variazione media delle credenze sul cluster prodotta dall’osservazione dei dati. Se il profilo di un cliente modifica fortemente le probabilità di appartenenza ai segmenti, quell’osservazione contiene molta informazione. Se invece il profilo non permette di distinguere fra i cluster, il suo contributo informativo è basso.

4. Il legame con il K-means

Il K-means è uno dei modelli di clustering più noti. Esso cerca \(K\) centroidi e assegna ogni osservazione al centroide più vicino, minimizzando la somma delle distanze quadratiche interne ai cluster:

dove \(y_i\) è l’osservazione \(i\)-esima, \(z_i\) è il cluster assegnato e \(\mu_{z_i}\) è il centroide del cluster corrispondente.

La funzione obiettivo del K-means sembra inizialmente geometrica e priva di un riferimento esplicito alla teoria dell’informazione. Il collegamento diventa però evidente introducendo un modello probabilistico.

Supponiamo che i dati, condizionatamente al cluster, seguano distribuzioni gaussiane sferiche con la stessa varianza:

Il logaritmo negativo della probabilità condizionata di un’osservazione assume allora la forma:

Minimizzare la distanza quadratica equivale, sotto queste ipotesi, a massimizzare la probabilità dei dati all’interno del cluster assegnato. In termini informazionali, equivale a ridurre il costo medio necessario a descrivere \(Y\) una volta noto \(Z\), cioè a ridurre l’incertezza condizionata:

Poiché:

e poiché \(H(Y)\) dipende dai dati osservati e non dalla particolare partizione scelta, ridurre \(H(Y\mid Z)\) significa, concettualmente, aumentare la quantità di informazione sui dati contenuta nel cluster.

Il K-means può quindi essere interpretato come un metodo che cerca una rappresentazione discreta capace di spiegare la posizione geometrica delle osservazioni attraverso pochi centroidi.

Un limite importante dell’interpretazione

Nel K-means l’assegnazione è deterministica. Una volta osservato \(Y\), il cluster \(Z\) è completamente determinato. Pertanto:

Ne consegue che:

Questo risultato mostra perché la sola mutua informazione fra dati e cluster non possa essere utilizzata ingenuamente come unico criterio di qualità. Una partizione con moltissimi cluster può conservare una grande quantità di informazione semplicemente perché attribuisce etichette estremamente specifiche alle osservazioni.

Nel caso limite, assegnare un cluster distinto a ogni punto permette di conservare quasi interamente l’identità dei dati, ma elimina il valore del clustering come sintesi, generalizzazione e scoperta di strutture ricorrenti.

La qualità di un modello deve pertanto essere valutata bilanciando più elementi:

• informazione conservata;
• compattezza dei cluster;
• separazione fra i gruppi;
• numero di cluster;
• stabilità della partizione;
• capacità di generalizzazione;
• utilità rispetto al problema applicativo.

5. Gaussian Mixture Models e clustering probabilistico

I Gaussian Mixture Models, o GMM, descrivono la distribuzione complessiva dei dati come una miscela di distribuzioni gaussiane:

dove:

• \(\pi_k=p(Z=k)\) è la probabilità a priori del cluster \(k\);
• \(p(y\mid Z=k)\) è la distribuzione dei dati nel cluster;
• in un GMM, \(p(y\mid Z=k)\) è generalmente una gaussiana multivariata.

Per ogni osservazione si calcola la probabilità a posteriori di appartenenza ai diversi cluster:

Per esempio, un cliente potrebbe ricevere il vettore di probabilità:

Il cliente appartiene prevalentemente al primo cluster, ma presenta anche una compatibilità parziale con il secondo.

Nel clustering probabilistico, l’entropia condizionata:

misura direttamente l’ambiguità media delle assegnazioni.

• Se le componenti sono ben separate, le probabilità posteriori sono concentrate e \(H(Z\mid Y)\) è basso.
• Se le componenti si sovrappongono, le probabilità posteriori sono diffuse e \(H(Z\mid Y)\) è alto.
• Se ogni osservazione identifica chiaramente la componente da cui proviene, \(I(Z;Y)\) è elevata.

Nei GMM la mutua informazione assume dunque un significato naturale: misura quanto l’osservazione del vettore multidimensionale permetta di identificare la componente latente che lo ha generato.

6. Il contributo delle singole variabili

Quando i dati sono multidimensionali, è importante comprendere come le diverse caratteristiche contribuiscano all’identificazione dei cluster.

La regola della catena della mutua informazione stabilisce che:

Questa relazione afferma che l’informazione complessiva sul cluster può essere scomposta in una sequenza di contributi incrementali.

La prima variabile fornisce una certa quantità di informazione. La seconda contribuisce soltanto con l’informazione nuova che aggiunge dopo che la prima è già nota. La terza contribuisce con ciò che non era già contenuto nelle prime due, e così via.

Per esempio:

Se reddito e spesa descrivono quasi lo stesso fenomeno, la spesa aggiungerà poca informazione una volta noto il reddito. Se invece due clienti con reddito simile possono avere comportamenti di spesa molto differenti e appartenere a segmenti diversi, il contributo condizionato della spesa sarà elevato.

Questa interpretazione è centrale nella selezione delle caratteristiche. Non è sufficiente scegliere variabili individualmente correlate con i cluster; occorre valutare se esse aggiungano informazione nuova rispetto alle variabili già incluse.

7. Ridondanza, sinergia e interazione

Nello spazio multidimensionale, l’informazione congiunta non coincide in generale con la somma delle informazioni individuali:

La differenza dipende dalla presenza di ridondanza, complementarità o sinergia fra le variabili.

Ridondanza

Due caratteristiche sono ridondanti quando trasmettono in larga parte la stessa informazione sul cluster. Il reddito annuale e il reddito mensile, per esempio, possono distinguere gli stessi segmenti e offrire contributi quasi duplicati.

In questo caso la somma delle informazioni individuali sovrastima l’informazione realmente disponibile nella loro combinazione.

Sinergia

Si parla invece di sinergia quando due variabili diventano informative soprattutto attraverso la loro combinazione. Ciascuna può essere poco utile singolarmente, mentre l’osservazione congiunta permette di identificare una struttura che altrimenti rimarrebbe nascosta.

Può accadere, per esempio, che:

ma che:

Nel marketing, la frequenza delle visite a un sito potrebbe essere poco informativa, così come potrebbe esserlo la presenza di una promozione. Tuttavia, la variazione della frequenza delle visite in corrispondenza delle promozioni può identificare chiaramente un segmento sensibile agli sconti.

La capacità di rilevare queste interazioni è uno dei principali vantaggi del clustering multidimensionale rispetto all’analisi separata delle singole caratteristiche.

8. Il clustering come compressione informativa

Un vettore multidimensionale può contenere decine, centinaia o migliaia di variabili. Il clustering lo sostituisce con una rappresentazione molto più semplice:

Questa trasformazione è una forma di compressione. Invece di conservare tutti i dettagli dell’osservazione, si conserva soltanto l’etichetta del gruppo.

La quantità

misura quanta informazione sui dati originali sopravvive nella rappresentazione compressa.

Con un solo cluster si ha:

La rappresentazione è estremamente compatta, ma non conserva alcuna differenza tra le osservazioni.

All’estremo opposto, assegnando un cluster differente a ogni osservazione, il modello può conservare quasi tutta l’identità dei dati, ma non produce una sintesi utile né una struttura capace di generalizzare.

Il clustering deve quindi trovare un compromesso fra:

Questo compromesso è affine ai problemi di codifica e quantizzazione nella teoria dell’informazione. I centroidi o le distribuzioni dei cluster possono essere interpretati come un insieme limitato di simboli utilizzati per rappresentare uno spazio di dati molto più complesso.

9. Information Bottleneck e clustering orientato al compito

Non tutta l’informazione contenuta nei dati è necessariamente utile. Alcune caratteristiche possono rappresentare rumore, variazioni accidentali o dettagli irrilevanti rispetto allo scopo dell’analisi.

Il principio dell’Information Bottleneck formalizza il problema introducendo tre variabili:

• \(Y\): i dati osservati;
• \(Z\): la rappresentazione compressa o il cluster;
• \(T\): una variabile rilevante per un compito.

Nel marketing, \(T\) potrebbe rappresentare la risposta a una campagna, il rischio di abbandono, il valore futuro del cliente o la probabilità di acquisto.

Una formulazione dell’Information Bottleneck è:

Il primo termine penalizza una rappresentazione che conservi troppi dettagli dei dati originali. Il secondo premia una rappresentazione che conservi informazione utile a prevedere la variabile rilevante.

In forma equivalente, si può scrivere:

Il parametro \(\lambda\), o analogamente \(\beta\), controlla il compromesso tra compressione e rilevanza.

Questa impostazione distingue due concezioni del clustering:

• il clustering puramente descrittivo, che cerca strutture interne ai dati;
• il clustering orientato a un obiettivo, che cerca gruppi informativi rispetto a una variabile futura o a una decisione.

Una segmentazione può essere geometricamente molto compatta ma scarsamente utile per un’azione concreta. Un’altra può presentare una separazione geometrica meno evidente, ma distinguere gruppi con comportamenti futuri profondamente diversi. Nel secondo caso, la quantità decisiva non è soltanto \(I(Z;Y)\), ma soprattutto \(I(Z;T)\).

10. Rappresentazioni latenti e deep clustering

Nei modelli di intelligenza artificiale moderni il clustering viene spesso effettuato non direttamente sui dati originali, ma su una rappresentazione appresa da una rete neurale.

La pipeline assume allora la forma:

dove \(X\) rappresenta l’input originario, \(U\) è un embedding latente e \(Z\) è il cluster.

L’embedding ha il compito di trasformare i dati in uno spazio nel quale le strutture rilevanti risultino più facilmente separabili. La rete può comprimere immagini, testi, segnali, profili di clienti o dati sensoriali in vettori di dimensione inferiore.

La disuguaglianza di elaborazione dei dati stabilisce che, lungo una catena di Markov:

vale:

Ogni trasformazione può perdere informazione. Lo scopo non è evitare qualsiasi perdita, ma eliminare l’informazione irrilevante conservando quella necessaria a rappresentare la struttura utile dei dati.

Molti modelli di deep clustering combinano più funzioni obiettivo:

La perdita di ricostruzione può essere:

Essa impedisce che la rappresentazione latente perda completamente la struttura dell’input.

La perdita di clustering può assumere la forma:

Essa incoraggia le rappresentazioni appartenenti allo stesso gruppo a concentrarsi attorno a un centroide.

Le regolarizzazioni possono invece controllare la distribuzione dei cluster, evitare collassi, favorire assegnazioni bilanciate o limitare la complessità della rappresentazione.

In termini informazionali, il modello cerca un embedding \(U\) che conservi la struttura importante di \(X\), scarti il rumore e renda l’etichetta \(Z\) stabile e significativa.

11. Perché massimizzare soltanto \(I(Z;Y)\) non basta

Una massimizzazione priva di vincoli della mutua informazione fra dati e cluster può produrre soluzioni degeneri.

Un cluster per ogni osservazione

Assegnare un’etichetta diversa a ciascun punto rende \(Z\) estremamente informativo su \(Y\), ma trasforma il clustering in una forma di memorizzazione. Il modello non individua regolarità condivise e non è in grado di generalizzare a nuovi dati.

Cluster fortemente sbilanciati

Una soluzione può includere un cluster enorme e numerosi gruppi minuscoli. Pur conservando informazione, questa partizione può essere instabile o scarsamente utilizzabile.

Memorizzazione del rumore

Un modello molto flessibile può creare cluster sulla base di dettagli casuali, errori di misura o variazioni non ripetibili. L’informazione conservata non coincide necessariamente con l’informazione utile.

Per evitare queste degenerazioni si introducono penalità e vincoli sulla complessità. Una possibile forma concettuale è:

In altri modelli si cerca contemporaneamente di utilizzare tutti i cluster e di rendere poco ambigue le assegnazioni. La mutua informazione può essere riscritta come:

Massimizzare \(H(Z)\) favorisce l’uso di più cluster ed evita che tutte le osservazioni collassino nello stesso gruppo. Minimizzare \(H(Z\mid Y)\) rende invece le assegnazioni più definite.

Anche questo criterio richiede però il controllo del numero di cluster e della capacità del modello, altrimenti può premiare partizioni eccessivamente dettagliate.

12. Dalla distanza alla probabilità

La geometria e la teoria dell’informazione non sono rappresentazioni antagoniste. Il ponte fra i due linguaggi è costituito dalla probabilità.

Una distanza da un centroide può essere trasformata in una probabilità di appartenenza mediante una funzione softmax:

Il parametro \(\tau\) è spesso chiamato temperatura.

• Con una temperatura piccola, le probabilità si concentrano sul centroide più vicino e le assegnazioni diventano quasi rigide.
• Con una temperatura elevata, le probabilità sono più distribuite e le assegnazioni risultano più incerte.

Per ogni osservazione è quindi possibile calcolare:

Mediando questa quantità su tutte le osservazioni si ottiene \(H(Z\mid Y)\). In questo modo le distanze geometriche vengono convertite in probabilità e successivamente in misure informative.

13. Clustering spettrale e struttura dei grafi

Il clustering spettrale non descrive i gruppi principalmente attraverso centroidi. Esso costruisce una matrice di similarità:

e interpreta i dati come un grafo:

• ogni osservazione è un nodo;
• la similarità fra due osservazioni è il peso di un arco;
• i cluster corrispondono a comunità densamente collegate internamente e debolmente collegate fra loro.

Una funzione obiettivo comune è il normalized cut:

Ridurre il normalized cut significa limitare i collegamenti fra gruppi diversi rispetto alla quantità di connessioni interne.

Anche se l’obiettivo non è formulato direttamente come mutua informazione, l’etichetta del cluster conserva informazione sulla struttura locale e relazionale dei dati. Sapere che due punti appartengono allo stesso cluster rende probabile che siano collegati da un percorso denso di similarità.

Nel clustering spettrale, dunque, \(Z\) sintetizza soprattutto la topologia del grafo e non soltanto la distanza da un centro geometrico.

14. Apprendimento contrastivo e clustering

L’apprendimento contrastivo costruisce rappresentazioni confrontando viste differenti dello stesso oggetto.

Si considerino due trasformazioni correlate:

Nel caso di un’immagine, le due viste potrebbero essere ottenute mediante ritagli, variazioni di luminosità, rumore o piccole rotazioni. Una rete neurale produce:

L’addestramento avvicina le rappresentazioni generate dallo stesso oggetto e separa quelle relative a oggetti differenti.

Diverse funzioni di perdita contrastive possono essere interpretate come stime, approssimazioni o limiti inferiori della quantità:

L’obiettivo è conservare nella rappresentazione l’informazione stabile condivisa fra le due viste, eliminando i dettagli accidentali introdotti dalle trasformazioni.

Il clustering applicato successivamente allo spazio latente può così individuare gruppi basati su proprietà robuste anziché su variazioni superficiali.

15. Esempio completo: segmentazione di marketing

Consideriamo un’azienda che descrive ogni cliente mediante cinque variabili:

• \(Y_1\): frequenza mensile degli acquisti;
• \(Y_2\): spesa media;
• \(Y_3\): percentuale di acquisti effettuati in promozione;
• \(Y_4\): giorni trascorsi dall’ultimo acquisto;
• \(Y_5\): numero di categorie acquistate.

Un algoritmo individua quattro segmenti.

Cluster 1: clienti premium fedeli

• frequenza di acquisto elevata;
• spesa media alta;
• bassa dipendenza dagli sconti;
• acquisti recenti.

Cluster 2: clienti sensibili alle promozioni

• acquisti concentrati nei periodi promozionali;
• spesa media;
• frequenza irregolare;
• forte variazione del comportamento in presenza di sconti.

Cluster 3: clienti occasionali

• frequenza bassa;
• carrello medio o basso;
• numero limitato di categorie acquistate;
• interazione sporadica con il marchio.

Cluster 4: clienti a rischio di abbandono

• frequenza storicamente elevata;
• molti giorni trascorsi dall’ultimo acquisto;
• forte riduzione dell’attività recente;
• possibile diminuzione del valore futuro.

La variabile \(Z\) comprime cinque caratteristiche continue o discrete in una sola etichetta di segmento.

Supponiamo, a titolo illustrativo, che:

Se, dopo avere osservato le caratteristiche del cliente, l’incertezza media residua sul cluster è:

allora:

Il profilo multidimensionale del cliente elimina quindi una parte rilevante dell’incertezza sul segmento.

La regola della catena potrebbe produrre, sempre a titolo esemplificativo, la seguente scomposizione:

La somma è:

L’interpretazione operativa è chiara:

• la frequenza degli acquisti fornisce una prima distinzione importante;
• la spesa media aggiunge informazione, ma in parte è correlata con la frequenza;
• la sensibilità agli sconti aggiunge un contributo rilevante e distingue il segmento promozionale;
• la recency è molto informativa per individuare i clienti a rischio;
• il numero di categorie aggiunge poca informazione dopo che le altre variabili sono già note.

16. Segmentazione di marketing orientata alla risposta

Supponiamo ora che l’azienda sia interessata a prevedere:

Consideriamo due possibili segmentazioni.

Segmentazione A

I gruppi vengono formati prevalentemente sulla base di età, reddito e area geografica. I cluster possono risultare geometricamente compatti e la quantità \(I(Z_A;Y)\) può essere elevata. Tuttavia, queste variabili potrebbero avere una relazione debole con la risposta alla campagna.

Segmentazione B

I gruppi vengono formati utilizzando risposta alle campagne precedenti, elasticità allo sconto, frequenza degli acquisti e recency.

Questa segmentazione potrebbe essere meno evidente dal punto di vista puramente demografico, ma distinguere meglio i comportamenti futuri:

La segmentazione B è quindi più utile per decidere quale offerta inviare, anche se la segmentazione A potrebbe apparire più semplice da descrivere.

Questo esempio mostra che la qualità di un cluster non è una proprietà assoluta. Dipende dall’informazione che si desidera conservare e dal tipo di decisione che si intende prendere.

17. Esempio medico

Consideriamo un insieme di pazienti descritti dal vettore:

Un modello non supervisionato può individuare diversi profili metabolici. La mutua informazione:

misura quanto l’etichetta del cluster riassuma il profilo clinico osservato.

Se si introduce una variabile:

la quantità:

misura invece la rilevanza prognostica dei cluster.

Un clustering può essere matematicamente compatto ma separare i pazienti secondo variazioni biologicamente poco importanti. Un’altra partizione può risultare meno regolare geometricamente, ma distinguere gruppi con rischi futuri molto differenti.

In un contesto clinico, la seconda partizione può essere più utile, purché venga validata correttamente e non venga confusa con una diagnosi automatica.

18. Esempio di manutenzione industriale

Per monitorare una macchina industriale si possono raccogliere le variabili:

Un algoritmo può individuare stati latenti come:

La sola temperatura può non essere sufficiente a identificare lo stato della macchina:

può essere moderata. La combinazione di temperatura e vibrazione può invece essere molto più informativa:

Il segnale di guasto può infatti emergere non da un singolo valore anomalo, ma dalla relazione fra più sensori.

In questo caso il clustering multidimensionale permette di rilevare stati operativi latenti, mentre la teoria dell’informazione consente di valutare quali combinazioni di sensori riducano maggiormente l’incertezza su tali stati.

19. Valutazione dei cluster mediante etichette esterne

Quando sono disponibili etichette reali o categorie note, indicate con \(C\), la mutua informazione può essere utilizzata per confrontare la partizione ottenuta con la classificazione di riferimento:

Questa misura è invariata rispetto alla numerazione arbitraria dei cluster. Non importa, per esempio, se una classe reale denominata “premium” corrisponde al cluster 1 o al cluster 4: ciò che conta è la corrispondenza statistica fra le partizioni.

Per rendere il valore confrontabile fra problemi differenti si utilizza spesso la Normalized Mutual Information. Una formulazione comune è:

Un’altra normalizzazione è:

Valori elevati indicano una forte corrispondenza fra cluster e classi note.

La Adjusted Mutual Information corregge invece il valore atteso della mutua informazione ottenibile per effetto del caso:

Questa correzione è importante perché partizioni con molti cluster possono presentare una mutua informazione non nulla anche quando la corrispondenza con le classi reali è in parte casuale.

È inoltre necessario distinguere fra valutazione esterna e valutazione interna. NMI e AMI richiedono etichette di riferimento. Quando tali etichette non esistono, si utilizzano criteri geometrici, probabilistici, di stabilità o di utilità applicativa.

20. Geometria, probabilità e informazione come tre livelli della stessa rappresentazione

I modelli di clustering possono essere interpretati attraverso tre linguaggi complementari.

Livello geometrico

La struttura è descritta mediante:

• distanze;
• centroidi;
• densità;
• covarianze;
• vicinanze;
• connessioni in un grafo.

Livello probabilistico

La stessa struttura viene rappresentata attraverso:

• \(p(y\mid z)\), la distribuzione dei dati all’interno dei cluster;
• \(p(z)\), la frequenza o probabilità a priori dei gruppi;
• \(p(z\mid y)\), l’assegnazione probabilistica di ciascuna osservazione.

Livello informazionale

La struttura viene sintetizzata attraverso:

• \(H(Z)\), diversità delle etichette;
• \(H(Z\mid Y)\), ambiguità delle assegnazioni;
• \(H(Y\mid Z)\), variabilità residua interna ai cluster;
• \(I(Z;Y)\), informazione condivisa fra dati e partizione;
• \(I(Z;T)\), rilevanza del clustering rispetto a un compito.

Questi tre livelli non descrivono modelli separati. Sono differenti rappresentazioni matematiche della stessa operazione: trasformare una popolazione complessa di osservazioni in una struttura più semplice e interpretabile.

21. Una formulazione generale

Il collegamento complessivo può essere rappresentato dalla sequenza:

Il primo passaggio costruisce una regola di assegnazione, deterministica o probabilistica. Il secondo valuta quanta struttura dei dati sia contenuta nelle etichette ottenute.

In una formulazione orientata a un compito si può considerare una funzione obiettivo generale del tipo:

Il termine \(I(Z;T)\) premia i cluster che conservano informazione rilevante per il risultato desiderato. Il termine \(I(Z;Y)\), quando compare come penalità, limita la quantità di dettaglio dell’input conservata nella rappresentazione. Il termine di complessità controlla il numero dei cluster, la flessibilità del modello o il costo della rappresentazione.

In altri contesti si può invece voler massimizzare l’informazione sui dati, ponendo direttamente un vincolo sul numero dei cluster:

La formulazione appropriata dipende dallo scopo: descrizione, compressione, previsione, controllo, diagnosi, personalizzazione o scoperta scientifica.

22. Interpretazione conclusiva

La mutua informazione e il clustering affrontano, da prospettive differenti, lo stesso problema fondamentale: rappresentare una struttura complessa attraverso una forma più semplice senza perdere ciò che è essenziale.

Il clustering costruisce una variabile discreta \(Z\) che riassume il vettore multidimensionale \(Y\). La teoria dell’informazione misura quanto questa sintesi sia legata ai dati, quanto riduca l’incertezza e quanto conservi delle relazioni presenti nello spazio originario.

\[ I(Z;Y_1,\ldots,Y_d) \]

può essere interpretata come la quantità media di struttura multidimensionale catturata dall’etichetta di cluster.

Tuttavia, conservare molta informazione non significa automaticamente produrre un buon modello. Una rappresentazione utile deve essere anche semplice, stabile, generalizzabile e rilevante rispetto all’obiettivo.

I diversi algoritmi realizzano questo equilibrio in modi differenti:

• il K-means comprime i dati attraverso centroidi e minimizza la dispersione interna;
• i Gaussian Mixture Models rappresentano l’incertezza mediante distribuzioni di appartenenza;
• il clustering spettrale conserva la struttura delle relazioni locali;
• il deep clustering apprende uno spazio latente nel quale i gruppi risultano più riconoscibili;
• l’apprendimento contrastivo conserva l’informazione stabile fra viste differenti;
• l’Information Bottleneck seleziona l’informazione rilevante rispetto a un compito.

La prospettiva informazionale permette quindi di unificare metodi apparentemente diversi. Distanze, probabilità, entropie, rappresentazioni latenti e funzioni di perdita possono essere lette come strumenti differenti per controllare quanta informazione venga conservata, eliminata o resa disponibile attraverso l’etichetta del cluster.

In questa prospettiva, l’intelligenza artificiale non si limita a separare punti in uno spazio. Costruisce una rappresentazione compressa della realtà osservata, selezionando regolarità, ridondanze, interazioni e strutture latenti. Il valore del clustering dipende quindi non soltanto dalla forma geometrica dei gruppi, ma dall’informazione che essi rendono accessibile per comprendere, prevedere e decidere.