Dall’informazione nel linguaggio comune all’informazione di Shannon
Informazione, distinzione, significato e bit
Nel linguaggio ordinario la parola informazione è straordinariamente ricca e, proprio per questo, ambigua. Diciamo che una persona “possiede un’informazione” quando conosce un fatto; che un libro “contiene molte informazioni” quando espone molte conoscenze; che un messaggio è “informativo” quando ci dice qualcosa di utile, vero, nuovo o rilevante. In questi usi quotidiani la nozione di informazione è intrecciata con il significato, con la verità, con la conoscenza, con il riferimento a oggetti o eventi del mondo e spesso anche con l’utilità pratica.
La teoria matematica dell’informazione introduce invece una trasformazione concettuale radicale. Essa non prende come oggetto primario il significato di un messaggio, ma la struttura delle alternative distinguibili e le probabilità con cui esse possono verificarsi. Un simbolo, una parola, una tensione elettrica, un valore numerico, una configurazione di pixel o una risposta neurale possono essere trattati, da questo punto di vista, come possibili esiti di una variabile aleatoria. La teoria domanda quanto sia incerto l’esito prima dell’osservazione, quanto una osservazione riduca l’incertezza su un’altra variabile, quanto un segnale possa essere compresso, quanto rumore possa essere tollerato da un canale, oppure quanta dipendenza statistica esista fra due grandezze.
Il passaggio dall’uso comune al significato shannoniano è quindi un passaggio da una nozione semantico-epistemica a una nozione probabilistico-relazionale. Questo non significa che la teoria dell’informazione neghi il significato. Significa soltanto che lo lascia fuori dalla propria definizione di base. La stessa matematica può essere applicata a un telegramma dotato di significato, a una sequenza casuale di simboli priva di significato, alla sequenza delle basi del DNA, a un codice digitale o a un insieme di risposte sensoriali. Ciò che conta è quali possibilità si possono distinguere e con quali probabilità.
2. Variabili aleatorie, esiti e probabilità
Sia \(X\) una variabile aleatoria discreta che assume valori in un insieme \(\mathcal{X}\). Indichiamo con
\[ p(x)=P(X=x) \]la probabilità che \(X\) assuma il valore \(x\). La quantità di informazione associata all’osservazione di uno specifico esito \(x\), detta self-information o surprisal, è
\[ i_X(x)=-\log_2 p(x). \]Un evento molto probabile produce poca sorpresa; un evento raro produce molta sorpresa. Se \(p(x)=1\), allora
\[ i_X(x)=0, \]perché osservare ciò che era già certo non elimina alcuna incertezza. Se invece \(p(x)=1/8\), allora
\[ i_X(x)=3\ \text{bit}. \]L’entropia di Shannon è la media del surprisal:
\[ H(X)=\mathbb{E}[i_X(X)] =-\sum_{x\in\mathcal{X}}p(x)\log_2 p(x). \]Essa misura quindi l’incertezza media associata alla variabile prima che il suo valore venga osservato. Questo chiarisce una prima distinzione terminologica importante: l’entropia non è letteralmente “l’informazione di un particolare messaggio”, ma il valore medio dell’informazione associata agli esiti di una sorgente aleatoria.
3. Perché il valore materiale del simbolo non è essenziale
Consideriamo una variabile \(X\) con due valori:
\[ P(X=a)=0.9, \qquad P(X=b)=0.1. \]Se rinominiamo \(a\) come “gatto” e \(b\) come “galassia”, senza modificare le probabilità, l’entropia rimane identica. Lo stesso accade se li rinominiamo \(17\) e \(-502\), oppure se utilizziamo due differenti configurazioni elettriche.
Formalmente, se \(f\) è una trasformazione biunivoca del supporto di una variabile discreta e
\[ X’=f(X), \]allora
\[ H(X’)=H(X). \]Il punto fondamentale è che l’entropia dipende dalla distribuzione delle probabilità sulle alternative distinguibili, non dal nome, dal significato o dalla grandezza numerica delle etichette con cui rappresentiamo tali alternative.
Questo principio deve però essere formulato con precisione. Non è corretto dire senza ulteriori specificazioni che “l’informazione non dipende dagli esiti”. Il surprisal di un esito dipende infatti dalla probabilità di quell’esito:
\[ p(x_1)\neq p(x_2) \quad\Longrightarrow\quad i_X(x_1)\neq i_X(x_2). \]Ciò che non conta è il contenuto intrinseco dell’etichetta \(x\). Conta invece la sua posizione nella struttura probabilistica.
4. Il bit non è un minuscolo contenitore di significato
Un bit è anzitutto un’unità logaritmica. Se esistono due alternative equiprobabili, l’incertezza è
\[ H=1\ \text{bit}. \]Se esistono \(N\) alternative equiprobabili,
\[ H=\log_2 N. \]Quindi un bit non è, nel senso originario della teoria, un “atomo di significato”. È la quantità di incertezza associata a una scelta binaria equiprobabile, oppure, equivalentemente, la quantità media di informazione necessaria a discriminare fra due possibilità equiprobabili.
Questo punto diverrà essenziale quando ci chiederemo se tutto il sapere umano possa essere “ridotto a bit”. Tutto ciò che può essere rappresentato digitalmente può certamente essere codificato mediante sequenze di bit. Ma da questo non segue che il significato del sapere coincida con il numero di bit necessario a codificarlo.
5. Entropia e variabili continue
Per le variabili continue la situazione è più delicata. Se \(X\) ha densità \(p(x)\), si definisce l’entropia differenziale
\[ h(X)=-\int p(x)\log p(x)\,dx. \]Diversamente dall’entropia discreta, l’entropia differenziale non è invariata rispetto a ogni trasformazione invertibile. Se \(a\neq 0\),
\[ h(aX)=h(X)+\log|a|. \]Cambiare unità di misura può dunque modificarne il valore. Questo ricorda che l’entropia differenziale non va interpretata come una semplice estensione dell’entropia discreta senza ulteriori cautele.
Molto più robusta, rispetto ai cambiamenti invertibili di coordinate, è invece la mutual information, perché essa misura una dipendenza fra variabili e non una quantità assoluta associata a una singola coordinata.
6. Informazione su qualcosa: la mutual information
Siano \(Z\) e \(Y\) due variabili aleatorie. La mutual information è
\[ I(Z;Y) = \sum_{z,y}p(z,y) \log_2 \frac{p(z,y)}{p(z)p(y)}. \]Può essere scritta anche come
\[ I(Z;Y)=H(Z)-H(Z\mid Y), \]oppure simmetricamente
\[ I(Z;Y)=H(Y)-H(Y\mid Z). \]L’interpretazione più importante per il nostro discorso è la prima:
\[ I(Z;Y)=H(Z)-H(Z\mid Y). \]Conoscere \(Y\) riduce, in media, l’incertezza su \(Z\). L’informazione è quindi qui esplicitamente relazionale: \(Y\) non è semplicemente “informativo” in assoluto; è informativo su \(Z\).
Un’altra formulazione illumina ancora meglio il concetto. Prima di osservare \(Y\), le nostre probabilità su \(Z\) sono descritte da \(p(z)\). Dopo avere osservato \(Y=y\), esse diventano
\[ p(z\mid y). \]La mutual information misura, mediamente, quanto l’osservazione di \(Y\) modifica la distribuzione su \(Z\). In questo senso l’informazione non consiste tanto nel valore materiale osservato, quanto nella modifica delle distinzioni probabilistiche che possiamo compiere riguardo al target.
7. “Stessa quantità di informazione” non significa “stessa informazione”
Questa distinzione è decisiva. Se
\[ H(X)=H(Y), \]possiamo dire che \(X\) e \(Y\) hanno la stessa quantità di entropia. Non segue minimamente che contengano “la stessa informazione”.
Analogamente, se
\[ I(Z;Y_1)=I(Z;Y_2), \]sappiamo soltanto che \(Y_1\) e \(Y_2\) riducono della stessa quantità media l’incertezza su \(Z\). Potrebbero però ridurla in modi completamente differenti.
Per esempio, sia
\[ Z=(A,B), \]dove \(A\) e \(B\) sono bit indipendenti ed equiprobabili. Poniamo
\[ Y_1=A,\qquad Y_2=B. \]Allora
\[ I(Z;Y_1)=1\ \text{bit}, \qquad I(Z;Y_2)=1\ \text{bit}. \]Le due variabili hanno la stessa quantità di informazione sul target, ma non la stessa informazione: \(Y_1\) rivela il primo bit, \(Y_2\) il secondo.
Questo mostra che un numero, da solo, non identifica il contenuto informativo. Una quantità scalare può dire “quanto”, ma non “quale parte”.
8. Tre sensi rigorosi di “stessa informazione”
Nella teoria dell’informazione l’espressione “stessa informazione” può essere formalizzata in diversi modi, a seconda del problema.
8.1. Equivalenza per ricodifica invertibile
Il caso più forte e semplice è quello in cui due variabili sono ricodifiche biunivoche l’una dell’altra:
\[ Y_2=f(Y_1), \]con \(f\) invertibile. Allora da \(Y_1\) possiamo ricostruire \(Y_2\) e da \(Y_2\) possiamo ricostruire \(Y_1\). Esse rappresentano le stesse distinzioni usando etichette differenti.
In linguaggio probabilistico più astratto, generano la stessa informazione osservabile:
\[ \sigma(Y_1)=\sigma(Y_2), \]a meno di eventi di probabilità nulla. In questo senso si può dire che le due variabili contengono la stessa informazione in senso forte.
Per qualunque target \(Z\),
\[ I(Z;Y_1)=I(Z;Y_2). \]Ma la converse non vale: l’uguaglianza delle mutual information non implica che \(Y_1\) e \(Y_2\) siano ricodifiche invertibili.
8.2. Stessa informazione rispetto a un target
Possiamo adottare una nozione più debole e più interessante: due osservazioni possono essere diverse in molti aspetti, ma equivalenti rispetto a un determinato target \(Z\).
Un criterio naturale consiste nel confrontare i posteriori. Se due osservazioni \(y\) e \(y’\) producono lo stesso posteriore,
\[ p(z\mid y)=p(z\mid y’) \quad\text{per ogni }z, \]allora esse sono indistinguibili per ogni inferenza puramente probabilistica su \(Z\). Possono essere simboli fisicamente diversi, immagini diverse o misure numericamente differenti, ma rispetto a \(Z\) producono il medesimo aggiornamento.
Questa idea conduce alla nozione di statistica sufficiente. Se
\[ T=T(Y) \]è una funzione di \(Y\) e
\[ I(Z;Y\mid T)=0, \]allora, una volta noto \(T\), osservare l’intero \(Y\) non fornisce ulteriore informazione su \(Z\). In tal caso
\[ I(Z;T)=I(Z;Y). \]\(T\) ha eliminato differenze di \(Y\) irrilevanti rispetto al target, conservando tutte quelle che contano per inferire \(Z\).
Questo formalizza con notevole precisione l’idea intuitiva di “stessa informazione rispetto a qualcosa”.
8.3. Equivalenza decisionale o sperimentale
Esiste anche una nozione più generale: due segnali possono essere considerati informativamente equivalenti rispetto a \(Z\) se consentono le stesse prestazioni in tutti i problemi decisionali che dipendono da \(Z\). Questa prospettiva, collegata alla teoria statistica degli esperimenti e all’ordine di Blackwell, non identifica l’informazione con un singolo numero, ma con ciò che un osservatore può fare razionalmente disponendo di un certo segnale.
È una nozione particolarmente vicina all’intuizione secondo cui due rappresentazioni diverse possono “dirci la stessa cosa” su un problema, anche se i loro simboli, formati o dimensioni sono completamente differenti.
9. La nozione comune di “stessa informazione”
Nel linguaggio comune diciamo spesso che due frasi contengono la stessa informazione se hanno lo stesso significato o comunicano lo stesso fatto:
“Roma è la capitale d’Italia” e “La capitale italiana è Roma”.
Qui l’equivalenza è prevalentemente semantica. Essa dipende dal significato delle parole, dalle regole linguistiche, dal riferimento a Roma e all’Italia e, se parliamo di conoscenza, anche dal valore di verità della proposizione.
La teoria di Shannon, presa da sola, non possiede nessuno di questi ingredienti. Le due frasi potrebbero avere differenti lunghezze, differenti probabilità d’uso, differenti codifiche e quindi differente surprisal, pur essendo semanticamente equivalenti. Viceversa due messaggi semanticamente completamente diversi potrebbero avere esattamente la stessa probabilità e quindi la stessa self-information.
La differenza può essere riassunta così:
- nel senso comune, “stessa informazione” tende a significare stesso contenuto o stesso fatto;
- nel senso shannoniano, l’equivalenza riguarda strutture di distinzione, dipendenze statistiche o capacità inferenziali.
Le due nozioni possono coincidere in applicazioni specifiche, ma non coincidono per definizione.
10. Ridondanza: stessa informazione senza stessi valori
Consideriamo ora due sorgenti \(Y_1\) e \(Y_2\) che forniscono informazione su un target \(Z\). È essenziale capire che l’informazione ridondante non implica che \(Y_1\) e \(Y_2\) assumano gli stessi valori.
Supponiamo che
\[ Z\sim\mathrm{Bernoulli}(1/2), \]e poniamo
\[ Y_1=Z, \]mentre
\[ Y_2= \begin{cases} \text{“rosso”}, & Z=0,\\ \text{“blu”}, & Z=1. \end{cases} \]\(Y_1\) assume valori numerici, \(Y_2\) valori linguistici. Non ha neppure senso confrontarli mediante una uguaglianza materiale. Eppure entrambi determinano perfettamente \(Z\):
\[ I(Z;Y_1)=1, \qquad I(Z;Y_2)=1, \qquad I(Z;Y_1,Y_2)=1. \]Osservare entrambe le sorgenti non aggiunge nulla rispetto a osservarne una soltanto. Esse sono quindi completamente ridondanti rispetto a \(Z\).
Questo esempio mostra un punto filosoficamente importante: la ridondanza informativa riguarda una coincidenza di capacità discriminativa, non una coincidenza materiale dei simboli.
11. Partial Information Decomposition
Per analizzare sistematicamente ridondanza, unicità e sinergia si introduce la Partial Information Decomposition (PID). Per due sorgenti \(Y_1,Y_2\) e un target \(Z\) si scrive
\[ I(Z;Y_1)=R+U_1, \] \[ I(Z;Y_2)=R+U_2, \] \[ I(Z;Y_1,Y_2)=R+U_1+U_2+S. \]Qui:
- \(R\) è l’informazione ridondante su \(Z\), accessibile attraverso entrambe le sorgenti;
- \(U_1\) è l’informazione unica di \(Y_1\);
- \(U_2\) è l’informazione unica di \(Y_2\);
- \(S\) è l’informazione sinergica, accessibile soltanto osservando \(Y_1\) e \(Y_2\) insieme.
Da queste equazioni segue
\[ I(Z;Y_2\mid Y_1)=U_2+S \]e simmetricamente
\[ I(Z;Y_1\mid Y_2)=U_1+S. \]Quindi ciò che una sorgente aggiunge una volta conosciuta l’altra non coincide necessariamente con la sola informazione unica: può comprendere informazione sinergica che emerge soltanto dalla combinazione.
12. La differenza fra somma delle informazioni individuali e informazione congiunta
Un errore frequente consiste nell’identificare la ridondanza con
\[ I(Z;Y_1)+I(Z;Y_2)-I(Z;Y_1,Y_2). \]Sostituendo la decomposizione PID otteniamo invece
\[ (R+U_1)+(R+U_2)-(R+U_1+U_2+S)=R-S. \]Dunque
\[ \boxed{ I(Z;Y_1)+I(Z;Y_2)-I(Z;Y_1,Y_2)=R-S } \]e non \(R\).
Se la quantità è positiva, la ridondanza domina la sinergia. Se è negativa, la sinergia domina la ridondanza. Se è zero, non possiamo concludere che entrambe siano assenti: potrebbero essere entrambe positive e uguali.
13. Sinergia pura: l’esempio XOR
Siano \(Y_1\) e \(Y_2\) bit indipendenti ed equiprobabili e definiamo
\[ Z=Y_1\oplus Y_2. \]Conoscere \(Y_1\) da solo non fornisce alcuna informazione su \(Z\):
\[ I(Z;Y_1)=0. \]Analogamente,
\[ I(Z;Y_2)=0. \]Ma conoscendo entrambi i bit si determina esattamente lo XOR:
\[ I(Z;Y_1,Y_2)=1. \]Quindi
\[ R=U_1=U_2=0, \qquad S=1. \]La sinergia mostra che informazione genuinamente nuova può emergere da una relazione fra sorgenti che, prese singolarmente, non dicono nulla sul target.
14. Ridondanza e sinergia possono coesistere
Siano \(A,B,C\) bit indipendenti ed equiprobabili e poniamo
\[ Y_1=(A,B), \qquad Y_2=(A,C), \qquad Z=(A,B\oplus C). \]Da \(Y_1\) conosciamo \(A\), ma non \(B\oplus C\), quindi
\[ I(Z;Y_1)=1. \]Analogamente,
\[ I(Z;Y_2)=1. \]Conoscendo entrambe le sorgenti possiamo ricostruire \(A,B,C\), e quindi anche \(B\oplus C\):
\[ I(Z;Y_1,Y_2)=2. \]Di conseguenza
\[ I(Z;Y_1)+I(Z;Y_2)-I(Z;Y_1,Y_2)=0. \]Eppure vi è un bit ridondante, \(A\), e un bit sinergico, \(B\oplus C\):
\[ R=1,\qquad S=1. \]Le due componenti si cancellano nella quantità \(R-S\). Questo dimostra perché la mutual information tradizionale non basta, da sola, a descrivere la struttura multivariata dell’informazione.
15. La PID non è determinata dalle sole mutual information
Le quattro quantità
\[ R,\;U_1,\;U_2,\;S \]sono legate da tre equazioni:
\[ I_1=R+U_1, \] \[ I_2=R+U_2, \] \[ I_{12}=R+U_1+U_2+S. \]Scegliendo \(R\), otteniamo
\[ U_1=I_1-R, \] \[ U_2=I_2-R, \] \[ S=I_{12}-I_1-I_2+R. \]Rimane dunque un grado di libertà. Se imponiamo la non negatività,
\[ R,U_1,U_2,S\ge 0, \]otteniamo
\[ \max\{0,I_1+I_2-I_{12}\} \le R \le \min\{I_1,I_2\}. \]Ma questo intervallo non seleziona in generale un unico valore. Per definire completamente una PID occorre introdurre un criterio supplementare per la ridondanza. Esistono diverse proposte, con differenti proprietà matematiche e interpretative. La decomposizione concettuale è quindi estremamente utile, ma i suoi atomi non sono determinati in modo univoco dalle sole quantità classiche di Shannon.
16. Il caso \(Y_1=Y_2\)
Se
\[ Y_1=Y_2=Y, \]allora
\[ I(Z;Y_1,Y_2)=I(Z;Y), \]perché osservare due copie identiche non aggiunge nulla. Una PID naturale attribuisce quindi
\[ R=I(Z;Y), \qquad U_1=U_2=S=0. \]Ma questa è soltanto la forma più evidente della ridondanza. Non è necessario che le due sorgenti siano uguali. Possono essere due ricodifiche differenti, due sensori differenti, oppure due variabili di natura completamente diversa.
Per esempio, se
\[ Y_2=1-Y_1 \]per due bit binari, i valori non coincidono mai, ma ciascuna variabile determina perfettamente l’altra. Se entrambe informano sullo stesso target attraverso la stessa distinzione fondamentale, la loro informazione può essere interamente ridondante.
17. La struttura delle distinzioni
Un modo molto generale di interpretare una variabile aleatoria è considerarla come una funzione
\[ Y:\Omega\to\mathcal{Y}, \]dove \(\Omega\) è lo spazio degli stati possibili del mondo. Osservare \(Y\) equivale a separare gli stati di \(\Omega\) in classi: due stati che producono lo stesso valore di \(Y\) non possono essere distinti mediante quella osservazione.
Nel caso discreto, la variabile induce quindi una partizione dello spazio degli stati. Una ricodifica biunivoca cambia le etichette delle celle, ma non la partizione. Per questo non cambia l’informazione disponibile.
In linguaggio della teoria della misura, ciò che conta è la \(\sigma\)-algebra generata dalla variabile:
\[ \sigma(Y). \]Se \(f\) è invertibile,
\[ \sigma(f(Y))=\sigma(Y). \]Questa formulazione fornisce una delle interpretazioni più profonde della teoria dell’informazione: informare significa rendere possibili certe distinzioni fra stati che prima non erano disponibili all’osservatore.
18. L’informazione è relativa a una scala e a una domanda
Una distinzione può essere rilevante a una scala e irrilevante a un’altra. Una fotografia ad alta risoluzione contiene distinzioni fra milioni di configurazioni di pixel. Se il nostro target è soltanto
\[ Z=\text{“c’è oppure no una persona nell’immagine?”}, \]moltissime differenze fra pixel sono irrilevanti rispetto a \(Z\).
Una funzione di compressione
\[ T=f(Y) \]può eliminare tali dettagli. Per la disuguaglianza di elaborazione dei dati,
\[ I(Z;T)\le I(Z;Y). \]Una trasformazione deterministica non può creare nuova informazione sul target. Può però conservare tutta l’informazione rilevante se \(T\) è sufficiente:
\[ I(Z;T)=I(Z;Y). \]Questo rende possibile pensare a gerarchie di rappresentazioni: percezioni elementari vengono aggregate in configurazioni, le configurazioni in oggetti, gli oggetti in categorie, le categorie in concetti e relazioni. A ogni livello alcune distinzioni vengono mantenute e altre ignorate.
19. Dalle distinzioni percettive ai concetti
Arriviamo così alla domanda più filosofica: se i mattoni primari della conoscenza umana fossero semplici distinzioni percettive o atti di riconoscimento, sarebbe possibile ricostruire l’informazione nel senso comune come una struttura multilivello di informazione shannoniana?
Esiste una risposta debole, nella quale la tesi è quasi certamente vera, e una risposta forte, nella quale la tesi è molto più controversa.
19.1. La tesi debole: tutto ciò che è distinguibile può essere codificato
Supponiamo che un sistema cognitivo possa trovarsi in un numero finito di stati distinguibili. Qualunque stato può essere associato a una stringa binaria sufficientemente lunga. Se vi sono \(N\) stati equiprobabili, sono necessari almeno
\[ \log_2 N \]bit per distinguerli in una codifica ideale. Più in generale, se gli stati hanno probabilità diverse, il limite medio di compressione è governato dall’entropia.
In questo senso ogni repertorio finito di percezioni, categorie, proposizioni, immagini mentali, regole o strutture simboliche può essere rappresentato da bit.
Questa affermazione, tuttavia, è una tesi sulla codificabilità, non ancora sulla natura della conoscenza.
19.2. La tesi forte: tutto il sapere è nient’altro che quantità di bit
Questa tesi non segue dalla precedente. Se due enciclopedie hanno entrambe dimensione di un gigabyte, non per questo contengono la stessa conoscenza. Se due messaggi hanno entrambi self-information pari a dieci bit rispetto a una certa distribuzione, non per questo significano la stessa cosa.
La quantità di bit misura la capacità di distinguere fra alternative, non identifica da sola quali alternative siano, che cosa rappresentino, quale relazione abbiano con il mondo, se siano vere, né quale ruolo abbiano nel ragionamento.
20. Un sapere composto di distinzioni può comunque emergere da più scale
La versione più interessante della proposta non consiste allora nel dire che “ogni conoscenza è un numero di bit”, ma che strutture cognitive complesse potrebbero essere costruite a partire da gerarchie di distinzioni.
Immaginiamo un primo livello percettivo:
\[ X_0. \]Esso può contenere distinzioni locali di colore, orientamento, frequenza sonora, pressione, movimento e così via. Un secondo livello costruisce funzioni di tali distinzioni:
\[ X_1=f_1(X_0), \]per esempio bordi, forme o fonemi. Un livello successivo:
\[ X_2=f_2(X_1), \]può riconoscere oggetti o parole. Un ulteriore livello:
\[ X_3=f_3(X_2) \]può costruire categorie, relazioni o proposizioni.
Si potrebbe immaginare una gerarchia
\[ X_0\to X_1\to X_2\to \cdots \to X_n \]nella quale ogni livello effettua una nuova organizzazione delle distinzioni disponibili al livello precedente.
Da un punto di vista shannoniano possiamo studiare l’entropia di ciascun livello, la mutual information fra livelli, quanta informazione su un target viene conservata, quanta viene eliminata e quali dipendenze siano ridondanti o sinergiche.
Questa prospettiva può descrivere una parte essenziale della costruzione della conoscenza: distinguere, raggruppare, comprimere, associare, prevedere.
21. Distinzione non significa ancora significato
Ma resta un problema decisivo. Una gerarchia di distinzioni non diventa automaticamente una gerarchia di significati.
Consideriamo una stringa binaria:
\[ 011010001101\ldots \]Come pura stringa essa possiede proprietà statistiche. Ma può rappresentare un’immagine, un testo, un numero, un programma, un frammento musicale oppure nulla di interpretabile. Il significato dipende da una regola di interpretazione, da un codice, da un sistema che mette quella configurazione in relazione con qualcos’altro.
La stessa sequenza di bit può quindi assumere significati differenti in contesti differenti. Viceversa lo stesso significato può essere codificato da stringhe differenti.
La semantica introduce dunque una struttura ulteriore rispetto alla mera distinzione statistica.
22. Il problema del riferimento
Una proposizione come “la neve è bianca” non è soltanto una stringa discriminabile da altre stringhe. Essa è interpretata come riferita alla neve e alla proprietà dell’essere bianco. La sua verità dipende da una relazione fra la proposizione e il mondo.
La teoria di Shannon può trattare la stringa come una variabile \(Y\) e può trattare uno stato del mondo come una variabile \(Z\). Può allora quantificare
\[ I(Z;Y). \]Se il messaggio è fortemente correlato con lo stato del mondo, la mutual information può essere elevata. Ma il fatto che noi scegliamo \(Z\) come “stato del mondo a cui il messaggio si riferisce” è già un’operazione semantica o modellistica.
La teoria quantifica la relazione una volta che il modello è stato specificato; non genera da sola il riferimento.
23. Verità e informazione di Shannon
Un messaggio falso può avere elevata self-information. Se un evento linguistico è rarissimo,
\[ i(y)=-\log p(y) \]può essere molto grande indipendentemente dal fatto che il contenuto espresso sia vero o falso.
Analogamente, un’affermazione banalissima ma vera può essere altamente prevedibile e quindi avere basso surprisal.
Perciò
\[ \text{informazione di Shannon}\neq\text{verità}. \]Naturalmente, se definiamo un target \(Z\) che rappresenta lo stato reale del mondo, possiamo studiare quanto un messaggio \(Y\) sia statisticamente informativo su \(Z\). Ma questa è una relazione ulteriore, non qualcosa contenuto nella sola entropia del messaggio.
24. Informazione, conoscenza e giustificazione
La conoscenza, nel senso epistemologico, include normalmente più della semplice discriminazione. Anche evitando una specifica teoria filosofica della conoscenza, è evidente che sapere qualcosa implica almeno una relazione fra un soggetto, una rappresentazione e ciò che viene rappresentato. Spesso implica anche affidabilità, evidenza, giustificazione o capacità di utilizzare correttamente la rappresentazione.
La mutual information può quantificare l’affidabilità statistica di un segnale:
\[ I(Z;Y)>0 \]significa che \(Y\) e \(Z\) non sono indipendenti. Ma non ci dice, da sola, se l’agente conosca consapevolmente la relazione, sappia interpretare \(Y\), oppure possieda concetti adatti a descrivere \(Z\).
25. Il ruolo del contesto
Nel linguaggio ordinario una stessa frase può significare cose diverse in contesti diversi. Una stessa osservazione sensoriale può assumere significati differenti a seconda delle conoscenze pregresse. In termini probabilistici, ciò suggerisce che l’informazione effettivamente ricavabile da un segnale dipende anche dalle variabili contestuali.
Se \(C\) rappresenta il contesto, è spesso più appropriato considerare
\[ I(Z;Y\mid C) \]piuttosto che la sola \(I(Z;Y)\).
Ciò che un segnale permette di distinguere dipende infatti da ciò che è già noto. L’informazione è sempre relativa a un insieme di possibilità inizialmente considerate plausibili.
26. Conoscenza come riduzione di incertezza?
Si potrebbe allora proporre una tesi più raffinata: conoscere significa possedere una struttura interna capace di ridurre l’incertezza riguardo a possibili stati del mondo.
Questa idea ha una notevole forza. Una percezione informa sullo stato dell’ambiente; una memoria informa sul passato; un modello scientifico informa sulle relazioni fra variabili; una teoria permette di prevedere osservazioni future.
In tutti questi casi possiamo riconoscere un nucleo shannoniano:
\[ \text{conoscenza utile} \quad\Rightarrow\quad \text{capacità di discriminare fra possibilità}. \]Ma la freccia inversa non vale automaticamente:
\[ \text{capacità di discriminare} \quad\not\Rightarrow\quad \text{conoscenza semanticamente completa}. \]27. Una possibile ricostruzione multilivello
Se volessimo sviluppare seriamente l’idea che la conoscenza emerga da distinzioni elementari, potremmo immaginare almeno cinque livelli.
- Distinzioni fisiche o sensoriali. Il sistema risponde diversamente a differenti stati dell’ambiente.
- Distinzioni statistiche. Le risposte conservano informazione su variabili ambientali: \[ I(Z;Y)>0. \]
- Rappresentazioni sufficienti. Il sistema comprime i dettagli conservando ciò che è rilevante: \[ I(Z;T(Y))\approx I(Z;Y). \]
- Strutture relazionali e composizionali. Più rappresentazioni vengono combinate; emergono ridondanza, unicità e sinergia.
- Semantica, riferimento e uso. Le rappresentazioni entrano in una rete di inferenze, azioni, scopi e relazioni con il mondo.
I primi tre livelli sono descrivibili molto naturalmente con strumenti shannoniani. Il quarto richiede già una teoria multivariata più ricca. Il quinto non sembra riducibile alla sola entropia o mutual information, anche se tali quantità possono continuare a descriverne importanti aspetti.
28. Riduzione a bit come rappresentazione
Ogni struttura finita può essere codificata in forma binaria. Una frase, una fotografia, una rete semantica, una teoria matematica scritta in un linguaggio formale o lo stato digitale di un calcolatore possono essere trasformati in stringhe di zero e uno.
In questo senso la riduzione a bit è potentissima e quasi universale:
\[ \text{oggetto finitamente descrivibile} \longrightarrow \text{stringa binaria}. \]Ma questa freccia rappresenta una codifica. Non implica
\[ \text{significato} = \text{numero di bit}. \]Il codice binario conserva la possibilità di ricostruire una struttura se possediamo le regole di decodifica. Il significato della struttura non è contenuto nel mero conteggio dei bit.
29. Un esempio: due libri con lo stesso numero di bit
Supponiamo che due file abbiano esattamente
\[ 8\times 10^6 \]bit. Uno contiene un trattato di fisica, l’altro una sequenza casuale. Dal punto di vista della dimensione grezza hanno lo stesso numero di bit. Dal punto di vista della conoscenza umana contenuta, sono radicalmente differenti.
Anzi, una sequenza casuale può essere meno comprimibile del trattato e quindi, in un certo senso algoritmico, possedere maggiore complessità descrittiva. Ciò dimostra nuovamente che “maggiore informazione” in un senso matematico non coincide necessariamente con “maggiore conoscenza” nel senso ordinario.
30. Shannon e informazione algoritmica
È utile menzionare anche un’altra nozione, distinta da quella di Shannon: l’informazione algoritmica o complessità di Kolmogorov. Essa misura, in modo ideale, la lunghezza del programma più corto capace di generare una determinata stringa.
Una stringa altamente regolare può avere bassa complessità algoritmica; una stringa casuale può averla alta. Anche questa teoria, però, non coincide con la semantica. Una sequenza casuale può essere algoritmicamente complessa ma semanticamente priva di interesse.
Quindi nemmeno sostituendo l’entropia di Shannon con la complessità algoritmica otteniamo automaticamente una teoria completa del significato.
31. La scala e il problema della precisione infinita
La frase “tutto può essere ridotto a bit” richiede inoltre una cautela quando entrano in gioco grandezze continue. Un numero reale arbitrario, specificato con precisione infinita, può richiedere un numero infinito di bit.
Nella pratica, tuttavia, ogni misura fisica ha precisione finita. Si introduce allora una quantizzazione:
\[ X\longrightarrow Q_\Delta(X), \]dove \(\Delta\) rappresenta la risoluzione. Più piccola è \(\Delta\), maggiore è il numero di distinzioni possibili e quindi maggiore è il numero di bit necessario.
La teoria rate-distortion formalizza precisamente il compromesso fra quantità di informazione conservata e errore tollerato. Ciò è molto vicino all’idea di una conoscenza multiscala: non tutte le distinzioni devono essere preservate a ogni livello.
32. Coarse-graining e perdita controllata di informazione
Supponiamo che una percezione dettagliata sia \(Y\) e una categoria astratta sia
\[ C=f(Y). \]Per la disuguaglianza di elaborazione dei dati,
\[ I(Z;C)\le I(Z;Y). \]L’astrazione non può aggiungere informazione su un target già presente nei dati grezzi. Tuttavia può eliminare enormi quantità di variabilità irrilevante, rendendo il sistema più semplice e più robusto.
Se
\[ I(Z;C)\approx I(Z;Y), \]allora la categoria costituisce una compressione quasi sufficiente rispetto a \(Z\).
Questa osservazione suggerisce un possibile ponte fra teoria dell’informazione e cognizione: un concetto può essere visto, almeno in parte, come una rappresentazione compressa che conserva certe distinzioni rilevanti e ne trascura altre.
33. Le categorie come equivalenze rispetto a un target
Immaginiamo che molti stimoli sensoriali differenti \(y_1,y_2,\ldots\) vengano riconosciuti come “lo stesso oggetto”. Da un punto di vista puramente fisico gli stimoli non sono identici. Cambiano l’illuminazione, l’angolo di vista, la distanza e numerosi dettagli.
Il sistema cognitivo costruisce però un’equivalenza:
\[ y_i\sim y_j \]se le differenze fra \(y_i\) e \(y_j\) sono irrilevanti rispetto a una certa variabile o a un certo insieme di compiti.
Questa operazione ricorda da vicino l’idea di sufficienza informativa: molte configurazioni materialmente differenti vengono trattate come equivalenti perché conducono alle stesse inferenze rilevanti.
In questo senso una teoria della cognizione fondata sulle distinzioni potrebbe utilizzare la teoria dell’informazione come grammatica quantitativa di base.
34. Ma una categoria non è soltanto una classe di equivalenza statistica
Un concetto umano possiede spesso proprietà ulteriori: può essere collegato ad altri concetti, entrare in inferenze controfattuali, guidare azioni, essere espresso linguisticamente, modificarsi con l’esperienza e partecipare a spiegazioni causali.
Per rappresentare tutto questo non basta conoscere
\[ H(X) \]o
\[ I(X;Y). \]Occorre specificare una struttura più ricca: quali variabili esistono, quali relazioni causali intercorrono fra esse, quali trasformazioni sono ammesse, quali obiettivi ha il sistema, quali azioni può compiere e come interpreta gli esiti.
35. Informazione sintattica e informazione semantica
Una distinzione utile è quindi fra informazione sintattico-statistica e informazione semantica.
L’informazione sintattico-statistica riguarda la struttura delle differenze e delle probabilità. La teoria di Shannon eccelle precisamente in questo dominio.
L’informazione semantica riguarda invece ciò che una rappresentazione significa, a che cosa si riferisce, quali inferenze autorizza e come si inserisce in una rete concettuale.
Non si tratta necessariamente di due mondi indipendenti. È plausibile che la semantica sia realizzata fisicamente mediante strutture di distinzione, dipendenza e trasformazione. Ma il fatto che la semantica sia implementata mediante stati informazionali non implica che sia identica a una misura scalare di entropia.
36. Un’analogia con la geometria
Un’analogia può aiutare. Un disegno può essere rappresentato da una matrice di pixel. Ogni pixel può essere codificato in bit. Ma la geometria della figura non coincide con il numero totale dei bit della matrice.
Il numero di bit è una proprietà della codifica. La struttura geometrica emerge dalle relazioni fra i valori codificati.
Allo stesso modo, un sistema di conoscenze potrebbe essere interamente realizzato da distinzioni fisiche codificabili in bit, mentre il significato emergerebbe dalle relazioni strutturate fra queste distinzioni e fra esse e il mondo.
37. “It from bit” e la tentazione ontologica
Da qui nasce una tentazione filosofica: se ogni stato distinguibile può essere codificato digitalmente, forse la realtà, la mente o il sapere sono “in fondo” informazione.
Ma occorre distinguere almeno tre tesi:
- Tesi di rappresentabilità: gli stati rilevanti possono essere rappresentati mediante bit.
- Tesi esplicativa: le relazioni informazionali sono centrali per spiegare il funzionamento del sistema.
- Tesi ontologica: il sistema è letteralmente, nella sua natura ultima, informazione o bit.
La prima è molto più facile da sostenere della seconda; la seconda è molto più facile da sostenere della terza. La teoria matematica di Shannon, da sola, non implica la tesi ontologica.
38. Perché il target \(Z\) è filosoficamente decisivo
Quando diciamo che \(Y\) contiene informazione su \(Z\), abbiamo già scelto ciò che ci interessa. Questo rende l’informazione shannoniana meno assoluta di quanto talvolta si pensi.
Una variabile può avere grande entropia ma nessuna informazione sul target:
\[ H(Y)\gg 0, \qquad I(Z;Y)=0. \]Un rumore casuale può essere altamente imprevedibile e tuttavia completamente inutile per conoscere \(Z\).
Viceversa una variabile con entropia modesta può essere estremamente utile se è perfettamente allineata con la distinzione che ci interessa.
L’informazione “su qualcosa” presuppone quindi una scelta di livello descrittivo e di target. Questo è già un passo verso le nozioni ordinarie di rilevanza e significato, pur non identificandosi con esse.
39. Stessa informazione e invarianti
Possiamo ora formulare in modo più rigoroso il concetto di “stessa informazione”. Nella teoria dell’informazione, ciò che viene considerato identico non è necessariamente il supporto materiale ma un certo invariante.
A seconda del problema, l’invariante può essere:
- la distribuzione di probabilità;
- la partizione degli stati distinguibili;
- la \(\sigma\)-algebra generata da una variabile;
- il posteriore su un target;
- la capacità di risolvere una famiglia di problemi decisionali;
- una componente ridondante all’interno di una PID.
Dire che due rappresentazioni veicolano “la stessa informazione” significa quindi sempre specificare rispetto a quale struttura si sta affermando l’equivalenza.
40. L’informazione ridondante è una nozione relativa
Supponiamo
\[ Y_1=(A,B), \qquad Y_2=(A,C). \]Rispetto al target
\[ Z=A, \]le sorgenti sono completamente ridondanti. Rispetto al target
\[ Z=B, \]\(Y_1\) possiede informazione unica e \(Y_2\) può non possederne alcuna. Rispetto a
\[ Z=C, \]accade il contrario. Rispetto a
\[ Z=B\oplus C, \]l’informazione può essere sinergica.
Quindi non ha senso attribuire alle sorgenti l’etichetta assoluta di “ridondanti” o “sinergiche”. La proprietà appartiene alla relazione
\[ (Y_1,Y_2;Z). \]41. Due sorgenti di natura diversa
La relatività al target spiega perché sorgenti ontologicamente diverse possano contenere informazione ridondante. Sia
\[ Y_1=\text{temperatura misurata da un sensore}, \] \[ Y_2=\text{immagine satellitare}, \] \[ Z=\text{presenza di un incendio}. \]Non esiste alcun senso ragionevole in cui i valori di \(Y_1\) e \(Y_2\) debbano coincidere. Eppure entrambi possono fornire evidenza sugli stessi stati di \(Z\), e parte di tale evidenza può essere ridondante.
La teoria dell’informazione rende quindi possibile confrontare informativamente oggetti che non sono confrontabili per identità materiale.
42. Dalla percezione alla conoscenza: una possibile architettura informazionale
Se immaginiamo che la cognizione inizi da distinzioni percettive elementari, possiamo pensare a una successione di trasformazioni:
\[ X_{\text{mondo}} \to X_{\text{sensori}} \to X_{\text{caratteristiche}} \to X_{\text{oggetti}} \to X_{\text{concetti}} \to X_{\text{proposizioni}}. \]Ogni passaggio può essere studiato come un canale. Possiamo domandare quanta informazione sul mondo viene conservata, quale viene eliminata e quale emerge soltanto nell’integrazione di più sorgenti.
La disuguaglianza di elaborazione dei dati impone, per una semplice catena markoviana,
\[ I(X_{\text{mondo}};X_{k+1}) \le I(X_{\text{mondo}};X_k). \]Nessuna pura elaborazione deterministica può creare informazione sullo stato originario che non fosse già presente nell’input. Ma può rendere esplicite, accessibili o computazionalmente utili certe distinzioni che erano presenti in forma distribuita o implicita.
43. In che senso può “emergere” informazione senza violare la data processing inequality?
Quando diciamo che una rappresentazione di alto livello “fa emergere” una proprietà, non dobbiamo necessariamente intendere che aumenti la mutual information con il mondo. Può accadere che una trasformazione renda facilmente leggibile una distinzione che nell’input era codificata in modo complesso.
Inoltre, in sistemi multivariati, l’integrazione di più sorgenti può rendere disponibile informazione sinergica. Nell’esempio XOR nessuna sorgente individuale informa su \(Z\), ma la coppia sì.
Quindi la costruzione della conoscenza può consistere non soltanto nell’accumulare bit, ma nel riorganizzare dipendenze, estrarre invarianti, combinare sorgenti e costruire variabili latenti o rappresentazioni sufficienti.
44. La conoscenza come rete di vincoli e relazioni
Una possibile visione unificante è considerare il sapere non come un sacco di bit indipendenti, ma come una rete strutturata di distinzioni e vincoli.
Se sappiamo che due variabili sono fortemente correlate, se conosciamo una legge causale, se possediamo una regola logica o una struttura grammaticale, non possediamo soltanto valori: possediamo relazioni fra possibilità.
La teoria dell’informazione è particolarmente adatta a quantificare proprio le dipendenze e le riduzioni di possibilità. Ma la struttura completa di una teoria scientifica o di un concetto umano non è esaurita da una singola quantità come \(H\) o \(I\).
45. Informazione e causalità
La mutual information è simmetrica:
\[ I(X;Y)=I(Y;X). \]La causalità, invece, è direzionale. Due variabili possono essere altamente informative l’una sull’altra senza che una causi l’altra. La correlazione informativa può dipendere da una causa comune.
Se la conoscenza umana include comprensione causale, una teoria puramente shannoniana non è sufficiente. Occorre aggiungere una struttura causale, interventi e controfattuali.
Anche in questo caso, però, la teoria dell’informazione può essere utilizzata all’interno di una teoria più ricca per quantificare quanto certe osservazioni riducano l’incertezza su cause, effetti o parametri.
46. Informazione e utilità
Un bit può essere decisivo oppure irrilevante. Sapere se una moneta è testa o croce vale un bit; sapere se un farmaco provocherà o meno una reazione letale può anch’esso corrispondere, in un modello binario ideale, a un bit. Ma il valore pratico delle due informazioni è enormemente diverso.
La teoria di Shannon non assegna utilità:
\[ \text{bit}\neq\text{valore pratico}. \]Per descrivere l’utilità occorre una funzione di perdita, una funzione di utilità o una teoria decisionale.
47. Informazione e sorpresa
Anche il termine “sorpresa” può essere fuorviante. Il surprisal
\[ -\log p(x) \]non misura necessariamente la sorpresa psicologica di una persona. È una quantità matematica definita rispetto a una distribuzione. Se il modello probabilistico dell’osservatore è diverso, anche il surprisal cambia.
Questo rafforza l’idea che l’informazione quantitativa sia sempre legata a uno spazio di possibilità e a una distribuzione.
48. Il sapere può essere finitamente codificato senza essere semanticamente ridotto
Possiamo ora dare una risposta precisa alla domanda sulla “riduzione di tutto il sapere a bit”.
Se per riduzione intendiamo:
ogni stato cognitivo finitamente distinguibile può essere rappresentato da una configurazione binaria,
allora la risposta è sostanzialmente sì.
Se invece intendiamo:
tutte le proprietà epistemiche e semantiche del sapere sono interamente determinate dal solo numero di bit o dalle sole entropie e mutual information,
la risposta è no.
Fra questi due estremi esiste però una posizione molto più interessante: il sapere potrebbe essere fisicamente e computazionalmente realizzato come una gerarchia di distinzioni codificabili, mentre significato, riferimento, inferenza e utilità emergono dalla struttura delle relazioni fra tali distinzioni.
49. Una formulazione strutturale della tesi
La tesi più plausibile non è
\[ \text{conoscenza}=\text{bit}, \]ma qualcosa di più simile a
\[ \text{conoscenza} = \text{distinzioni} + \text{relazioni} + \text{gerarchie} + \text{modelli} + \text{riferimento} + \text{uso}. \]I bit possono costituire una base universale di codifica per le distinzioni. La teoria dell’informazione può misurare molte delle dipendenze fra esse. Ma il significato risiede nella struttura complessiva e nelle relazioni con ciò che viene rappresentato.
50. Il bit come unità di discriminabilità
In questa prospettiva il bit può essere interpretato in modo filosoficamente più fecondo non come “atomo di conoscenza”, ma come unità elementare di capacità discriminativa.
Un bit permette, idealmente, di distinguere fra due alternative equiprobabili. Due bit permettono di distinguere fra quattro alternative equiprobabili; \(n\) bit fra
\[ 2^n \]alternative equiprobabili.
Una conoscenza complessa può richiedere un numero enorme di distinzioni organizzate. La teoria di Shannon misura il costo informativo delle distinzioni, ma non sostituisce la struttura che le organizza.
51. Un possibile ponte fra Shannon e la semantica
Se si vuole avvicinare l’informazione shannoniana all’informazione nel senso comune, una strategia consiste nel modellare esplicitamente tre elementi:
\[ \text{mondo } Z, \qquad \text{rappresentazione } Y, \qquad \text{interprete } A. \]Si può allora chiedere:
- quanto \(Y\) informa statisticamente su \(Z\);
- quale trasformazione di \(Y\) l’agente \(A\) utilizza;
- quali decisioni l’agente può prendere;
- quale perdita evita grazie a \(Y\);
- quali relazioni causali o semantiche sono rappresentate.
In questo modo l’informazione di Shannon diventa un ingrediente di una teoria più ampia del significato e della conoscenza.
52. Distinzioni, riconoscimenti e identità
L’idea che i mattoni della conoscenza siano riconoscimenti può essere formalizzata pensando a funzioni classificatrici:
\[ R_i:\mathcal{X}\to\{0,1\}. \]Ogni \(R_i\) risponde a una domanda binaria: “questa proprietà è presente oppure no?”. Una famiglia di riconoscitori
\[ (R_1,\ldots,R_n) \]induce fino a
\[ 2^n \]pattern distinti.
In questo senso, un insieme di decisioni binarie può costruire uno spazio combinatorio ricchissimo. Categorie, oggetti e configurazioni possono essere rappresentati come combinazioni di riconoscimenti elementari.
Tuttavia, ancora una volta, il fatto che una struttura possa essere rappresentata da risposte binarie non significa che il suo significato sia dato dal semplice conteggio delle risposte.
53. Informazione composizionale
La conoscenza umana è fortemente composizionale. Dal significato di elementi semplici e dalle regole con cui vengono combinati possiamo generare un numero enorme di strutture.
Dal punto di vista informazionale, la composizione introduce dipendenze multivariate. Alcune componenti possono essere ridondanti, altre uniche, altre sinergiche.
La PID offre quindi una suggestione importante: comprendere sistemi cognitivi complessi può richiedere non soltanto misurare “quanti bit” vi sono, ma identificare come l’informazione è distribuita fra parti e combinazioni di parti.
54. Perché “stessa informazione” è sempre una frase incompleta senza un criterio
Possiamo ora condensare l’intera discussione in una regola metodologica:
Quando si afferma che due sistemi contengono “la stessa informazione”, bisogna chiedere: la stessa in quale senso?
Potrebbe significare:
\[ H(X)=H(Y), \]cioè stessa quantità di entropia;
oppure
\[ Y=f(X) \]con \(f\) invertibile, cioè stessa struttura informativa globale;
oppure
\[ I(Z;X)=I(Z;Y), \]cioè stessa quantità di informazione su un target;
oppure, in senso più forte, che \(X\) e \(Y\) inducono le stesse inferenze su \(Z\);
oppure che condividono una componente ridondante \(R\) nella PID;
oppure, nel linguaggio comune, che esprimono la stessa proposizione o lo stesso contenuto semantico.
Queste affermazioni non sono equivalenti.
55. Un diagramma concettuale
Possiamo rappresentare le diverse nozioni come una gerarchia:
\[ \text{segnali fisici} \longrightarrow \text{stati distinguibili} \longrightarrow \text{distribuzioni probabilistiche} \longrightarrow \text{dipendenze informative} \longrightarrow \text{rappresentazioni} \longrightarrow \text{significati} \longrightarrow \text{conoscenza}. \]La teoria di Shannon opera con rigore soprattutto nei livelli centrali: stati distinguibili, probabilità e dipendenze. I livelli superiori possono essere costruiti sopra questa base, ma richiedono ulteriori strutture.
56. La forza filosofica dell’astrazione di Shannon
Il fatto che Shannon elimini il significato dalla definizione non è un difetto accidentale. È proprio ciò che rende la teoria estremamente generale. Separando il problema del trasporto e della distinzione dei simboli dal problema della loro interpretazione, diventa possibile sviluppare una matematica comune per telegrafia, comunicazioni digitali, biologia, neuroscienze, statistica, apprendimento automatico e molti altri campi.
Il prezzo di questa generalità è che la parola “informazione” assume un significato tecnico più ristretto di quello quotidiano.
57. La possibile continuità fra Shannon e il significato ordinario
Nonostante la distinzione, sarebbe però eccessivo concludere che l’informazione di Shannon non abbia alcun rapporto con l’informazione ordinaria. Quando apprendiamo un fatto autenticamente nuovo, qualche insieme di possibilità viene normalmente ristretto.
Prima dell’informazione consideravamo possibili più stati; dopo l’informazione alcuni vengono esclusi o diventano meno probabili. Da questo punto di vista la riduzione dell’incertezza è una componente reale dell’apprendimento.
Per esempio, se non sappiamo quale fra quattro città ospiterà un evento e riceviamo un messaggio affidabile che identifica la città, il messaggio possiede sia significato ordinario sia un effetto shannoniano ben definito: riduce l’insieme delle alternative.
Il problema nasce soltanto quando si identifica questa componente con la totalità del significato.
58. Una concezione stratificata dell’informazione
Una posizione filosoficamente equilibrata consiste nel parlare di più strati:
- Informazione fisica: stati differenti producono effetti differenti.
- Informazione statistica: le variabili presentano dipendenze misurabili.
- Informazione rappresentazionale: uno stato viene utilizzato come indicatore di un altro.
- Informazione semantica: la rappresentazione possiede un contenuto interpretato.
- Informazione epistemica: il contenuto entra in un sistema di credenze, giustificazioni e conoscenze.
La teoria di Shannon formalizza magnificamente il secondo strato e contribuisce a comprendere i rapporti fra il primo, il secondo e il terzo. Gli strati semantico ed epistemico richiedono ulteriori concetti.
59. Conclusione: il sapere non è un mucchio di bit, ma può essere costruito su distinzioni
La teoria dell’informazione trasforma radicalmente il significato ordinario della parola “informazione”. Nel linguaggio comune l’informazione è normalmente qualcosa che dice qualcosa: un contenuto, un fatto, una conoscenza. Nella teoria di Shannon essa riguarda invece la struttura probabilistica delle alternative distinguibili e la riduzione dell’incertezza.
Per una variabile discreta
\[ H(X)=-\sum_x p(x)\log_2 p(x) \]misura l’incertezza media, mentre
\[ I(Z;Y)=H(Z)-H(Z\mid Y) \]misura quanto l’osservazione di \(Y\) riduca l’incertezza su un target \(Z\).
I valori materiali o simbolici possono essere completamente differenti senza che cambi la struttura informativa. Per questo due variabili possono fornire informazione ridondante su un target anche se non assumono mai gli stessi valori e persino se appartengono a spazi di natura diversa.
La Partial Information Decomposition chiarisce che l’informazione multivariata può essere ridondante, unica o sinergica:
\[ I(Z;Y_1)=R+U_1, \] \[ I(Z;Y_2)=R+U_2, \] \[ I(Z;Y_1,Y_2)=R+U_1+U_2+S, \]e soprattutto che
\[ I(Z;Y_1)+I(Z;Y_2)-I(Z;Y_1,Y_2)=R-S. \]La ridondanza non è quindi la semplice coincidenza dei valori e non è neppure determinabile, in generale, dalla sola differenza fra mutual information individuali e congiunte.
L’espressione “stessa informazione” richiede sempre una specificazione. Due variabili possono avere la stessa entropia senza rappresentare le stesse distinzioni; possono avere la stessa mutual information su un target senza rivelarne gli stessi aspetti; possono essere ricodifiche invertibili l’una dell’altra e quindi essere informativamente equivalenti in senso forte; oppure possono essere equivalenti soltanto rispetto a un determinato problema inferenziale.
Quanto alla possibilità di ridurre tutta la conoscenza a bit, occorre distinguere la codifica dall’identità concettuale. Se i mattoni elementari della cognizione fossero distinzioni percettive o riconoscimenti, è perfettamente plausibile che essi possano essere rappresentati mediante variabili discrete e quindi, almeno in linea di principio, codificati in bit. Su queste distinzioni potrebbero costruirsi gerarchie di rappresentazioni, categorie e concetti, con processi di compressione, sufficienza, ridondanza e sinergia.
Ma da ciò non segue che il sapere sia semplicemente una quantità di bit. I bit possono codificare la struttura materiale delle distinzioni; la teoria dell’informazione può misurare l’incertezza e le dipendenze fra esse. Per ottenere ciò che chiamiamo ordinariamente conoscenza occorre però anche specificare quali relazioni organizzano quelle distinzioni, a che cosa si riferiscono, quali inferenze consentono, quali relazioni causali rappresentano e come vengono utilizzate da un sistema cognitivo.
La formula filosoficamente più adeguata non è dunque
\[ \boxed{\text{sapere}=\text{bit}} \]ma piuttosto
\[ \boxed{ \text{sapere} = \text{distinzioni codificabili} + \text{struttura delle relazioni} + \text{riferimento} + \text{inferenza} + \text{uso} }. \]In questo quadro il bit non è l’atomo del significato. È l’unità elementare della distinguibilità. E tuttavia, se ogni conoscenza richiede in ultima analisi la capacità di distinguere alcuni stati da altri, allora la teoria dell’informazione può davvero fornire uno strato fondamentale su cui costruire una teoria più ampia della percezione, della rappresentazione e della conoscenza. Non una riduzione del significato a un conteggio di bit, dunque, ma una possibile ricostruzione del sapere come architettura multilivello di distinzioni, nella quale i bit misurano le possibilità eliminate o preservate mentre il significato emerge dalla struttura delle relazioni fra quelle distinzioni e il mondo.