Clustering illusion: quando il caso sembra avere un disegno

La clustering illusion, o illusione del raggruppamento, è la tendenza umana a vedere schemi, serie, concentrazioni e “momenti caldi” anche quando i dati sono generati da un processo casuale. È un fenomeno centrale nella psicologia del giudizio, ma ha conseguenze molto concrete anche nel marketing, nel gioco d’azzardo, nella finanza, nello sport, nella medicina, nell’analisi dei dati e in qualunque ambito in cui si osservino sequenze di eventi.

Il punto fondamentale è semplice ma controintuitivo: casuale non significa regolare. Molte persone immaginano che una sequenza casuale debba alternare ordinatamente risultati diversi. In realtà, il caso produce spesso serie, ripetizioni, vuoti, picchi e concentrazioni locali. La mente umana, però, è molto sensibile ai pattern: davanti a una serie di successi consecutivi, a un gruppo di conversioni concentrate in poche ore o a una successione di numeri uguali, tende a sospettare una causa, una tendenza o una dipendenza.

Idea intuitiva: la clustering illusion nasce quando confondiamo una fluttuazione casuale con un segnale reale. Il compito della statistica è proprio distinguere i cluster compatibili con il rumore dai cluster che sono troppo estremi per essere spiegati da un modello casuale semplice.

1. Che cosa significa “casuale”?

Un fenomeno casuale è un fenomeno il cui esito non è deterministico. Tuttavia, in statistica non basta dire che qualcosa è “casuale”: bisogna specificare un modello probabilistico. In molti casi si assume che gli eventi siano indipendenti.

Due eventi \(A\) e \(B\) sono indipendenti se il verificarsi di uno non modifica la probabilità dell’altro. Formalmente:

\[ P(A \cap B) = P(A)P(B) \]

Equivalentemente, se \(P(B)>0\):

\[ P(A \mid B) = P(A) \]

Questa formula dice che sapere che \(B\) è accaduto non cambia la probabilità di \(A\). Per esempio, se lanciamo una moneta equilibrata, l’esito del lancio precedente non modifica l’esito del lancio successivo. Anche dopo cinque teste consecutive, la probabilità di testa al lancio successivo resta:

\[ P(\text{testa}) = \frac{1}{2} \]

Pensare che “dopo molte teste debba uscire croce” è una forma della fallacia del giocatore. La serie precedente ci sembra significativa, ma se i lanci sono davvero indipendenti non ha alcuna influenza sul lancio seguente.

Attenzione: indipendenza non significa assenza di cluster. Significa solo che un evento non influenza l’altro. Eventi indipendenti possono comunque capitare vicini, formare sequenze e generare concentrazioni apparenti.

2. La distribuzione di Bernoulli: il mattone elementare

Il modello più semplice è la distribuzione di Bernoulli. Una variabile casuale bernoulliana rappresenta un esperimento con due soli esiti: successo o insuccesso.

Scriviamo:

\[ X \sim \mathrm{Bernoulli}(p) \]

dove:

\(X=1\) indica successo;
\(X=0\) indica insuccesso;
\(p=P(X=1)\) è la probabilità di successo;
\(1-p=P(X=0)\) è la probabilità di insuccesso.

La funzione di probabilità è:

\[ P(X=x)=p^x(1-p)^{1-x}, \qquad x \in \{0,1\} \]

La media e la varianza sono:

\[ \mathbb{E}[X]=p \]

\[ \mathrm{Var}(X)=p(1-p) \]

Nel marketing, una visita può essere modellata come Bernoulli: conversione sì oppure no. Nel gioco, una puntata può essere modellata come Bernoulli: vincita oppure perdita.

3. Dalla Bernoulli alla binomiale

Se ripetiamo \(n\) volte un esperimento di Bernoulli indipendente con la stessa probabilità di successo \(p\), il numero totale di successi segue una distribuzione binomiale.

\[ X \sim \mathrm{Binomiale}(n,p) \]

La probabilità di osservare esattamente \(k\) successi è:

\[ P(X=k)=\binom{n}{k}p^k(1-p)^{n-k} \]

con:

\[ \mathbb{E}[X]=np \]

\[ \mathrm{Var}(X)=np(1-p) \]

La binomiale è utile quando contiamo successi su un numero fisso di prove: ad esempio 100 visitatori, 100 puntate, 100 email inviate, 100 click potenziali.

4. La multinomiale: più categorie

Quando gli esiti possibili sono più di due, la generalizzazione naturale della binomiale è la distribuzione multinomiale. Supponiamo che una variabile \(X\) possa assumere i valori:

\[ x_1, x_2, \ldots, x_k \]

con probabilità:

\[ P(X=x_i)=p_i, \qquad i=1,\ldots,k \]

dove:

\[ p_1+p_2+\cdots+p_k=1 \]

Se osserviamo \(n\) prove indipendenti, e indichiamo con \(O_i\) il numero di osservazioni cadute nella categoria \(i\), allora:

\[ (O_1,\ldots,O_k)\sim \mathrm{Multinomial}(n;p_1,\ldots,p_k) \]

Sotto questo modello:

\[ \mathbb{E}[O_i]=np_i \]

\[ \mathrm{Var}(O_i)=np_i(1-p_i) \]

\[ \mathrm{Cov}(O_i,O_j)=-np_ip_j, \qquad i\neq j \]

La covarianza negativa deriva dal fatto che le frequenze devono sommare a \(n\). Se una categoria riceve più osservazioni, le altre complessivamente devono riceverne meno.

5. La distribuzione di Poisson: eventi nel tempo o nello spazio

La distribuzione di Poisson è centrale per capire la clustering illusion. Essa modella il numero di eventi che accadono in un intervallo fisso di tempo, spazio o opportunità, quando gli eventi sono indipendenti e avvengono con un tasso medio costante.

Scriviamo:

\[ X \sim \mathrm{Poisson}(\lambda) \]

dove \(\lambda\) è il numero medio di eventi nell’intervallo considerato.

La funzione di probabilità è:

\[ P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}, \qquad k=0,1,2,\ldots \]

La proprietà fondamentale della Poisson è:

\[ \mathbb{E}[X]=\lambda \]

\[ \mathrm{Var}(X)=\lambda \]

Questa uguaglianza tra media e varianza è molto importante. Se in media riceviamo 5 ordini all’ora, la Poisson non dice che riceveremo sempre 5 ordini. Dice che il valore medio di lungo periodo è 5, ma i singoli intervalli oscilleranno.

Idea intuitiva: un processo casuale poissoniano non distribuisce gli eventi in modo perfettamente uniforme. Produce naturalmente intervalli vuoti, intervalli medi e intervalli molto pieni. Questi ultimi sono percepiti come cluster.

6. Il caso produce cluster

Supponiamo che una campagna pubblicitaria generi in media:

\[ \lambda = 2 \]

click al minuto. Allora:

\[ X \sim \mathrm{Poisson}(2) \]

Alcune probabilità sono:

\[ P(X=0)=e^{-2}\approx 0{,}135 \]

\[ P(X=1)=e^{-2}\frac{2^1}{1!}\approx 0{,}271 \]

\[ P(X=2)=e^{-2}\frac{2^2}{2!}\approx 0{,}271 \]

\[ P(X=3)\approx 0{,}180 \]

\[ P(X=4)\approx 0{,}090 \]

\[ P(X=5)\approx 0{,}036 \]

Quindi, anche se la media è 2 click al minuto, un minuto con 4 o 5 click non è impossibile. Se osserviamo 100 minuti, è molto probabile trovare alcuni minuti apparentemente eccezionali.

Un marketer potrebbe interpretare quei minuti come prova che un messaggio, un pubblico o un algoritmo abbiano improvvisamente funzionato. Ma prima di concluderlo bisogna chiedersi: quanto è probabile osservare un picco simile anche sotto un modello puramente casuale?

7. Esempio: ordini orari

Immaginiamo un sito che riceve in media:

\[ \lambda = 5 \]

ordini all’ora. Per una Poisson:

\[ \mathbb{E}[X]=5 \]

\[ \mathrm{Var}(X)=5 \]

\[ \sigma=\sqrt{5}\approx 2{,}24 \]

Una giornata potrebbe produrre osservazioni come:

Ora	Ordini
9-10	2
10-11	4
11-12	5
12-13	3
13-14	9
14-15	8
15-16	1
16-17	6

Le ore 13-15 sembrano un cluster. Forse esiste davvero una causa: pausa pranzo, campagna social, newsletter, promozione. Ma forse è solo variabilità casuale. La statistica serve a distinguere queste due possibilità.

8. La clustering illusion nel marketing

Nel marketing la clustering illusion è particolarmente pericolosa perché i dati vengono spesso segmentati, filtrati e osservati in molti modi diversi. Più si cercano pattern, più aumenta la probabilità di trovarne uno per puro caso.

8.1 Segmenti apparentemente vincenti

Supponiamo di dividere il pubblico in molti segmenti:

utenti iOS;
utenti Android;
clienti nuovi;
clienti ricorrenti;
traffico da Instagram;
traffico da Google;
utenti in Lombardia;
utenti nel Lazio;
fasce d’età diverse;
orari diversi della giornata.

Anche se tutti i segmenti avessero la stessa vera probabilità di conversione, alcuni apparirebbero migliori di altri per puro effetto del campionamento. Questo è il problema dei confronti multipli: se guardiamo abbastanza segmenti, troveremo quasi certamente un “vincitore” apparente.

8.2 Giorni fortunati

Una campagna con media:

\[ \lambda=10 \]

conversioni al giorno può produrre alcuni giorni con 18 conversioni senza che vi sia necessariamente un cambiamento strutturale. La domanda corretta non è: “quel giorno è alto?”, ma:

Quanto è improbabile quel giorno sotto il modello casuale?

8.3 A/B test interpretati troppo presto

Nei test A/B, la clustering illusion può portare a fermare un esperimento troppo presto. Se una variante ottiene molte conversioni nei primi minuti, può sembrare vincente. Ma con pochi dati la varianza relativa è elevata. Piccole serie di successi possono verificarsi per caso.

Per questo occorrono dimensioni campionarie adeguate, test statistici, intervalli di confidenza e attenzione al problema dello “sbirciare” continuamente i risultati.

9. La clustering illusion nel gioco

Nel gioco d’azzardo la clustering illusion è alimentata dall’idea che gli esiti recenti contengano informazioni sugli esiti futuri.

9.1 Roulette

Se alla roulette esce rosso molte volte di seguito, molti pensano che il nero sia “dovuto”. Ma se i giri sono indipendenti, la probabilità del rosso o del nero al giro successivo non dipende dalla sequenza precedente.

9.2 Slot machine

Se una slot produce tre piccole vincite ravvicinate, il giocatore può credere che la macchina sia “calda”. Se non paga per molto tempo, può pensare che “debba pagare”. Entrambe le interpretazioni confondono clustering casuale e dipendenza reale.

9.3 Lotterie

I numeri “caldi” e “freddi” sono un altro esempio. In un’estrazione corretta, i numeri usciti in passato non modificano le probabilità future. Una concentrazione recente può essere semplicemente un cluster casuale.

10. Quando il modello casuale potrebbe non essere accettabile?

Il fatto che il caso possa produrre cluster non significa che tutti i cluster siano casuali. Alcuni cluster sono reali. La domanda statistica è:

Il cluster osservato è compatibile con il modello casuale scelto, oppure è troppo estremo?

Per rispondere si formula un test d’ipotesi.

11. Struttura di un test statistico

Un test statistico parte da due ipotesi:

\[ H_0: \text{il modello casuale è valido} \]

\[ H_1: \text{il modello casuale non è valido} \]

Nel caso dei conteggi:

\[ H_0: X_i \sim \mathrm{Poisson}(\lambda) \]

cioè gli eventi nei diversi intervalli seguono una Poisson con tasso costante.

La procedura generale è:

definire il fenomeno osservato;
formulare \(H_0\);
scegliere una statistica test;
determinare la distribuzione della statistica sotto \(H_0\);
calcolare il valore osservato;
calcolare il p-value;
decidere se rifiutare o non rifiutare \(H_0\).

Il p-value è la probabilità, assumendo vera \(H_0\), di osservare un risultato almeno così estremo come quello effettivamente osservato.

\[ p\text{-value}=P(\text{risultato almeno così estremo}\mid H_0) \]

Se il p-value è inferiore a un livello di significatività prefissato, per esempio:

\[ \alpha=0{,}05 \]

allora si rifiuta \(H_0\).

12. Media, varianza e indice di dispersione

Per verificare se una Poisson è plausibile, un primo controllo consiste nel confrontare media e varianza. Supponiamo di osservare:

\[ X_1,X_2,\ldots,X_n \]

La media campionaria è:

\[ \bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i \]

La varianza campionaria è:

\[ s^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2 \]

Per una Poisson, ci aspettiamo:

\[ s^2 \approx \bar{X} \]

L’indice di dispersione è:

\[ D=\frac{s^2}{\bar{X}} \]

Valore di \(D\)	Interpretazione
\(D\approx 1\)	compatibile con Poisson
\(D>1\)	overdispersione, possibili cluster
\(D<1\)	underdispersione, dati più regolari del previsto

Se la varianza è molto più grande della media, il modello Poisson semplice potrebbe non essere accettabile.

13. Test sull’indice di dispersione

Sotto l’ipotesi di una Poisson, una statistica utile è:

\[ T=\frac{(n-1)s^2}{\bar{X}} \]

Approssimativamente:

\[ T \sim \chi^2_{n-1} \]

dove \(\chi^2_{n-1}\) è una distribuzione chi-quadrato con \(n-1\) gradi di libertà.

Esempio

Supponiamo di osservare 10 intervalli con conversioni:

0, 1, 0, 8, 7, 0, 1, 9, 0, 4

La somma è 30, quindi:

\[ \bar{X}=3 \]

I dati hanno molte osservazioni vicine a zero e alcuni picchi elevati. Supponiamo che:

\[ s^2 \approx 14 \]

Allora:

\[ D=\frac{14}{3}\approx 4{,}67 \]

\[ T=\frac{(10-1)14}{3}=42 \]

Sotto \(H_0\), questo valore andrebbe confrontato con una \(\chi^2\) con 9 gradi di libertà. Un valore così alto suggerisce che la varianza osservata sia eccessiva rispetto alla Poisson.

Intuitivamente: la campagna non sembra generare conversioni come una pioggia casuale costante. Sembra generare lunghi silenzi e raffiche intense.

14. La teoria della distribuzione chi-quadrato

La distribuzione chi-quadrato nasce dalla normale standard. Se:

\[ Z \sim N(0,1) \]

allora:

\[ Z^2 \sim \chi^2_1 \]

Più in generale, se \(Z_1,\ldots,Z_\nu\) sono variabili normali standard indipendenti, allora:

\[ \chi^2_\nu=Z_1^2+Z_2^2+\cdots+Z_\nu^2 \]

ha distribuzione chi-quadrato con \(\nu\) gradi di libertà.

Intuizione: una normale standard misura uno scarto standardizzato. Elevando al quadrato eliminiamo il segno e misuriamo una distanza. Sommando quadrati di scarti standardizzati otteniamo una misura complessiva di deviazione dal modello.

15. Distribuzioni campionarie

Una distribuzione campionaria è la distribuzione di una statistica calcolata su un campione. Per esempio:

la media campionaria \(\bar{X}\);
la varianza campionaria \(s^2\);
una proporzione campionaria \(\hat{p}\);
una statistica chi-quadrato \(X^2\).

Anche se l’ipotesi nulla è vera, i dati campionari non coincidono perfettamente con i valori teorici. Un dado equilibrato lanciato 60 volte non darà quasi mai esattamente 10 uscite per ciascuna faccia. La teoria delle distribuzioni campionarie serve a stabilire quali scarti siano normali e quali siano troppo grandi.

16. Test chi-quadrato di bontà dell’adattamento

Il test chi-quadrato di bontà dell’adattamento serve a verificare un’ipotesi del tipo:

\[ H_0: P(X=x_i)=p_i, \qquad i=1,\ldots,k \]

con:

\[ p_1+\cdots+p_k=1 \]

Se osserviamo \(n\) casi, e \(O_i\) è la frequenza osservata nella categoria \(i\), la frequenza attesa sotto \(H_0\) è:

\[ E_i=np_i \]

La statistica di Pearson è:

\[ X^2=\sum_{i=1}^{k}\frac{(O_i-E_i)^2}{E_i} \]

oppure, sostituendo \(E_i=np_i\):

\[ X^2=\sum_{i=1}^{k}\frac{(O_i-np_i)^2}{np_i} \]

Se \(H_0\) è vera e il campione è abbastanza grande:

\[ X^2 \xrightarrow[]{d} \chi^2_{k-1} \]

Il numero di gradi di libertà è \(k-1\) perché le frequenze osservate devono sommare a \(n\). Se conosciamo \(k-1\) frequenze, l’ultima è determinata automaticamente.

17. Caso con parametri stimati

Se le probabilità teoriche dipendono da parametri stimati dai dati, i gradi di libertà diminuiscono. Se stimiamo \(m\) parametri:

\[ \nu=k-1-m \]

Per esempio, se vogliamo testare se alcuni conteggi seguono una Poisson ma non conosciamo \(\lambda\), stimiamo:

\[ \hat{\lambda}=\bar{X} \]

Avendo stimato un parametro, perdiamo un grado di libertà.

18. Esempio: dado equilibrato

Lanciamo un dado 120 volte. L’ipotesi nulla è:

\[ H_0:p_1=p_2=p_3=p_4=p_5=p_6=\frac{1}{6} \]

Le frequenze attese sono:

\[ E_i=120\cdot\frac{1}{6}=20 \]

Supponiamo di osservare:

Faccia	Osservato \(O_i\)	Atteso \(E_i\)
1	12	20
2	18	20
3	17	20
4	21	20
5	25	20
6	27	20

La statistica è:

\[ X^2= \frac{(12-20)^2}{20} +\frac{(18-20)^2}{20} +\frac{(17-20)^2}{20} +\frac{(21-20)^2}{20} +\frac{(25-20)^2}{20} +\frac{(27-20)^2}{20} \]

\[ X^2=7{,}6 \]

I gradi di libertà sono:

\[ \nu=6-1=5 \]

A livello \(5\%\), il valore critico di una \(\chi^2_5\) è circa 11,07. Poiché:

\[ 7{,}6<11{,}07 \]

non rifiutiamo \(H_0\). I dati non dimostrano che il dado sia truccato. Non abbiamo però dimostrato che sia perfetto: abbiamo solo concluso che le osservazioni sono compatibili con l’ipotesi di equilibrio.

19. Esempio marketing: canali di conversione

Supponiamo che le conversioni dovrebbero distribuirsi così:

Canale	Probabilità attesa
Google	0,50
Instagram	0,30
TikTok	0,20

Su 200 conversioni, le frequenze attese sono:

Canale	\(p_i\)	\(E_i=np_i\)
Google	0,50	100
Instagram	0,30	60
TikTok	0,20	40

Supponiamo di osservare:

Canale	Osservato \(O_i\)	Atteso \(E_i\)
Google	80	100
Instagram	70	60
TikTok	50	40

Allora:

\[ X^2=\frac{(80-100)^2}{100} +\frac{(70-60)^2}{60} +\frac{(50-40)^2}{40} \]

\[ X^2=4+1{,}67+2{,}5=8{,}17 \]

I gradi di libertà sono:

\[ \nu=3-1=2 \]

Il valore critico al 5% per \(\chi^2_2\) è circa 5,99. Poiché:

\[ 8{,}17>5{,}99 \]

rifiutiamo \(H_0\). La distribuzione osservata delle conversioni tra canali non sembra compatibile con le quote teoriche 50%-30%-20%.

20. Test di indipendenza chi-quadrato

Un altro uso fondamentale della chi-quadrato riguarda l’indipendenza tra due variabili categoriche. Per esempio, nel marketing potremmo chiederci se il canale di provenienza sia indipendente dall’esito conversione/non conversione.

L’ipotesi nulla è:

\[ H_0:\text{canale ed esito sono indipendenti} \]

In una tabella di contingenza, la frequenza attesa nella cella \(i,j\) è:

\[ E_{ij}= \frac{(\text{totale riga }i)(\text{totale colonna }j)} {\text{totale generale}} \]

La statistica è:

\[ X^2=\sum_{i}\sum_{j}\frac{(O_{ij}-E_{ij})^2}{E_{ij}} \]

Se il valore è grande, significa che la tabella osservata è molto diversa da quella che ci aspetteremmo sotto indipendenza.

21. Test delle runs: sequenze di successi e fallimenti

Quando osserviamo una sequenza binaria, per esempio successi e fallimenti:

S S S S F F S S F F F F S

possiamo usare il runs test. Una run è un blocco consecutivo dello stesso simbolo:

SSSS | FF | SS | FFFF | S

In questo esempio ci sono 5 runs.

Se ci sono troppo poche runs, significa che i risultati tendono a raggrupparsi. Se ci sono troppe runs, significa che la sequenza alterna troppo regolarmente.

Se \(n_1\) è il numero di successi e \(n_2\) il numero di fallimenti, il numero atteso di runs è:

\[ \mathbb{E}[R]=1+\frac{2n_1n_2}{n_1+n_2} \]

La varianza è:

\[ \mathrm{Var}(R)= \frac{ 2n_1n_2(2n_1n_2-n_1-n_2) }{ (n_1+n_2)^2(n_1+n_2-1) } \]

Si può quindi costruire:

\[ Z=\frac{R-\mathbb{E}[R]}{\sqrt{\mathrm{Var}(R)}} \]

Valori molto grandi in valore assoluto indicano che la sequenza non è ben descritta da indipendenza casuale.

22. Autocorrelazione: dipendenza temporale

Se osserviamo conteggi ordinati nel tempo, possiamo chiederci se un valore alto tende a essere seguito da un altro valore alto. Questo si misura con l’autocorrelazione.

Per lag 1:

\[ r_1= \frac{ \sum_{t=1}^{n-1}(X_t-\bar{X})(X_{t+1}-\bar{X}) }{ \sum_{t=1}^{n}(X_t-\bar{X})^2 } \]

Valore di \(r_1\)	Interpretazione
\(r_1\approx 0\)	assenza di dipendenza temporale evidente
\(r_1>0\)	valori alti tendono a seguire valori alti
\(r_1<0\)	valori alti tendono a seguire valori bassi

Nel marketing, autocorrelazione positiva può indicare viralità, stagionalità, effetto algoritmo, promozioni o campagne concentrate. Nel gioco equo, invece, ci aspettiamo autocorrelazione circa nulla.

23. Troppi zeri, troppi picchi e overdispersione

Un modello Poisson può fallire in diversi modi.

23.1 Troppi zeri

Per una Poisson:

\[ P(X=0)=e^{-\lambda} \]

Se \(\lambda=3\):

\[ P(X=0)=e^{-3}\approx 0{,}0498 \]

Quindi ci aspettiamo circa il 5% di intervalli vuoti. Se osserviamo il 40% di intervalli vuoti, il modello Poisson semplice è probabilmente inadeguato.

23.2 Troppi valori estremi

Se con media 3 osserviamo spesso valori come 10, 12 o 15, la Poisson potrebbe sottostimare i picchi. Questo può indicare che gli eventi non sono indipendenti o che il tasso \(\lambda\) non è costante.

23.3 Overdispersione

Quando:

\[ s^2 \gg \bar{X} \]

si parla di overdispersione. Nel marketing può essere dovuta a:

traffico non omogeneo;
promozioni;
newsletter;
effetto influencer;
stagionalità;
algoritmi delle piattaforme;
passaparola;
differenze tra segmenti di utenti.

24. La statistica G² e la verosimiglianza

Oltre alla statistica di Pearson, esiste una statistica basata sulla verosimiglianza:

\[ G^2=2\sum_{i=1}^{k}O_i\log\left(\frac{O_i}{E_i}\right) \]

Anche questa, sotto \(H_0\), converge asintoticamente a una distribuzione chi-quadrato con gli opportuni gradi di libertà.

La statistica \(X^2\) misura una distanza quadratica tra osservato e atteso; la statistica \(G^2\) misura una distanza di tipo log-verosimiglianza. Per grandi campioni spesso portano a conclusioni simili.

25. Condizioni di validità dei test chi-quadrato

I test chi-quadrato sono approssimazioni asintotiche. Funzionano bene quando le frequenze attese non sono troppo piccole. Una regola pratica comune è:

\[ E_i \geq 5 \]

almeno nella maggior parte delle celle.

Se alcune frequenze attese sono troppo piccole, si può:

accorpare categorie;
usare test esatti;
usare simulazioni Monte Carlo;
usare un test multinomiale esatto.

26. Perché questi test sono detti non parametrici?

Il test:

\[ H_0:P(X=x_i)=p_i \]

è spesso considerato non parametrico perché non richiede di assumere una distribuzione continua come normale, esponenziale o gamma. Si specificano direttamente le probabilità delle categorie.

L’alternativa è:

\[ H_1:\exists i \text{ tale che } P(X=x_i)\neq p_i \]

cioè almeno una probabilità è diversa da quella prevista.

27. Clustering illusion e significatività statistica

La clustering illusion nasce perché osserviamo un cluster e lo interpretiamo immediatamente come significativo. La statistica introduce invece una disciplina:

definire prima il modello casuale;
calcolare cosa ci si aspetta sotto quel modello;
misurare la distanza tra osservato e atteso;
valutare se tale distanza è improbabile sotto \(H_0\).

Non basta vedere una serie di successi. Bisogna chiedersi se quella serie sia rara rispetto al modello di riferimento.

Un evento raro in un singolo intervallo può diventare probabile se osserviamo molti intervalli. Questo è uno dei motivi per cui nel marketing, analizzando molti segmenti, campagne, giorni, orari e metriche, si trovano facilmente pattern apparenti.

28. Esempio della slot machine

Immaginiamo una slot che paga un piccolo premio in media una volta ogni 20 giocate. Se dividiamo il gioco in blocchi da 20 giocate, la media è:

\[ \lambda=1 \]

Per una Poisson:

\[ P(X=3)=e^{-1}\frac{1^3}{3!}\approx 0{,}061 \]

Quindi circa il 6,1% dei blocchi può contenere 3 vincite. Per il giocatore, tre vincite ravvicinate sembrano indicare che la macchina è “calda”. Per la statistica, sono un evento perfettamente compatibile con il caso, se il numero di blocchi osservati è sufficientemente grande.

29. Esempio del marketing: giorni con molte conversioni

Supponiamo che un annuncio generi in media:

\[ \lambda=3 \]

acquisti al giorno. La probabilità di osservare 7 acquisti in un giorno è:

\[ P(X=7)=e^{-3}\frac{3^7}{7!}\approx 0{,}0216 \]

Il 2,16% sembra poco. Ma se osserviamo 100 giorni, la probabilità di vedere almeno un giorno con 7 acquisti o più può diventare tutt’altro che trascurabile. Questo mostra un punto essenziale:

Ciò che è raro in una singola osservazione può diventare normale in molte osservazioni.

30. Cluster casuali e cluster reali

La conclusione non è che ogni cluster sia illusorio. La conclusione corretta è più sottile: i cluster possono nascere dal caso, quindi non possiamo interpretarli automaticamente come segnali reali.

Un cluster può essere reale se:

è troppo improbabile sotto il modello casuale;
si ripete su dati indipendenti;
è previsto da una teoria prima dell’osservazione;
è robusto a diverse analisi;
ha una spiegazione causale plausibile;
non dipende da confronti multipli non corretti.

Nel marketing, ad esempio, un picco di conversioni può essere reale se coincide con una newsletter, una campagna influencer, una promozione o un cambiamento dell’algoritmo. Ma il dato da solo, senza confronto statistico, non basta.

31. Sintesi matematica

La clustering illusion si comprende bene mettendo insieme alcune idee statistiche fondamentali.

Per una variabile Bernoulli:

\[ X\sim \mathrm{Bernoulli}(p), \qquad \mathbb{E}[X]=p,\qquad \mathrm{Var}(X)=p(1-p) \]

Per una binomiale:

\[ X\sim \mathrm{Binomiale}(n,p), \qquad \mathbb{E}[X]=np,\qquad \mathrm{Var}(X)=np(1-p) \]

Per una multinomiale:

\[ (O_1,\ldots,O_k)\sim \mathrm{Multinomial}(n;p_1,\ldots,p_k) \]

con:

\[ \mathbb{E}[O_i]=np_i \]

Per una Poisson:

\[ X\sim \mathrm{Poisson}(\lambda),\qquad P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!} \]

\[ \mathbb{E}[X]=\lambda,\qquad \mathrm{Var}(X)=\lambda \]

Per testare frequenze osservate contro frequenze attese:

\[ X^2=\sum_{i=1}^{k}\frac{(O_i-E_i)^2}{E_i} \]

sotto \(H_0\):

\[ X^2 \sim \chi^2_{\nu} \]

asintoticamente, con:

\[ \nu=k-1-m \]

dove \(m\) è il numero di parametri stimati dai dati.

32. Conclusione

La clustering illusion è una lezione profonda sui limiti dell’intuizione umana. Il nostro cervello vede ordine anche dove c’è rumore, vede intenzione anche dove c’è fluttuazione, vede causalità anche dove c’è indipendenza.

La statistica non elimina l’incertezza, ma ci costringe a formulare domande migliori. Non domanda semplicemente:

“C’è un cluster?”

perché nel caso i cluster esistono naturalmente. La domanda corretta è:

“Questo cluster è abbastanza improbabile sotto un modello casuale specificato?”

La distribuzione di Poisson mostra che eventi indipendenti possono generare concentrazioni, serie e picchi. La teoria delle distribuzioni campionarie mostra che le frequenze osservate oscillano attorno ai valori attesi. La distribuzione chi-quadrato fornisce uno strumento per misurare se queste oscillazioni sono compatibili con il modello nullo o se sono troppo grandi.

Nel marketing, questa consapevolezza protegge da decisioni affrettate: non ogni segmento vincente è davvero vincente, non ogni picco è una scoperta, non ogni giorno eccezionale rivela una nuova legge del mercato. Nel gioco, protegge dall’illusione dei numeri caldi, delle slot calde e delle serie che “devono” continuare o interrompersi.

La regola finale è dunque questa: il caso non appare uniforme; il caso produce cluster. La statistica serve a capire quando quei cluster sono soltanto rumore e quando, invece, meritano una spiegazione.