Il cervello umano è noto per essere notevolmente efficiente nel trattamento di informazioni complesse e l’obiettivo della neuroscienza computazionale è replicare tali processi nel campo dell’IA. La teoria prevalente si basa sull’idea che, approfondendo i modelli neurali distribuiti nel cervello umano, possiamo progettare insiemi di principi guida per migliorare sia la teoria che la pratica del processing distribuito nell’IA.

Il cervello è un modello di elaborazione distribuita, dove miliardi di neuroni lavorano insieme per processare e analizzare le informazioni. Questa è stata una scoperta fondamentale di una serie di studi fatti a fine degli anni ’70, in particolare da Hopfield (1982), che ha concluso che “teoricamente, una collezione massiccia di neuroni operanti in parallelo può eseguire istruzione molto più velocemente rispetto a un singolo computer sequenziale”.

La teoria prevalente è quindi quella di ispirarsi a quest’elaborazione neurale distribuita per migliorare i sistemi di IA. Ad esempio, reti neurali artificiali, come le deep neural networks (DNN), sono state progettate sulle basi delle reti neurali biologiche. Queste DNN, formate da molti strati di nodi di elaborazione, sono addestrate a riconoscere vari tipi di pattern nelle molteplici dimensioni dei dati di input, in modo simile a come i neuroni del cervello umano lavorano insieme per interpretare e rispondere agli stimoli sensoriali.

Quella dell’ elaborazione distribuita, è una teoria che afferma che le funzioni cognitive non sono svolte da una singola area del cervello, ma da reti complesse di aree cerebrali che lavorano insieme.

Questo principio teorico è una chiave di interpretazione fondamentale nelle neuroscienze cognitive e deriva da un’ampia base di risultati ottenuti attraverso una varietà di tecniche, tra cui l’analisi delle lesioni cerebrali, l’elettroencefalografia (EEG), la risonanza magnetica funzionale (fMRI) e l’imaging a emissione di positroni (PET).

La compensazione dei deficit

Per comprendere il concetto di elaborazione distribuita, è utile fare un confronto con l’idea tradizionale di localizzazione delle funzioni cognitive. Nella teoria della localizzazione, ogni singola funzione cognitiva è attribuita a una specifica area del cervello. La lesione di questa area dovrebbe quindi comportare la perdita della funzione associata. Al contrario, nel modello di elaborazione distribuita, un danno a una specifica regione cerebrale può portare a problemi di funzionamento, ma non necessariamente a una perdita assoluta della funzione, dal momento che altre regioni cerebrali possono compensare, almeno in parte, il deficit.

Il modello di elaborazione distribuita ha guadagnato popolarità e sostegno grazie a studi di neuroimaging che hanno mostrato come molte aree cerebrali siano coinvolte contemporaneamente nelle attività cognitive. Ad esempio, uno studio dell’Università di California a Berkeley ha utilizzato la fMRI per monitorare l’attività cerebrale di soggetti mentre guardavano un film. I ricercatori hanno scoperto che diverse regioni del cervello erano attivate allo stesso tempo, sostenendo la visione del cervello come una rete interconnessa di regioni che lavorano insieme.

Una rete neurale è un esempio di sistema distribuito

Nel campo della intelligenza artificiale e dell’apprendimento automatico, il principio di elaborazione distribuita è alla base del funzionamento delle reti neurali artificiali. In queste strutture, l’informazione non viene processata in un singolo punto, ma viene distribuita su molti nodi interconnessi, analogamente a come avviene nel cervello umano.

“Il tutto è maggiore della somma delle sue parti”. In termini informatici, significa che diverse macchine o nodi di rete, lavorando insieme, possono raggiungere risultati che una singola macchina da sola non potrebbe. Questa è la forza del concetto di elaborazione distribuita. In sintesi, la teoria del processing distribuito rappresenta un importante cambio di paradigma rispetto all’idea tradizionale di localizzazione delle funzioni cerebrali, e offre una prospettiva più realistica e completa del funzionamento del cervello umano.

Le reti neurali artificiali sono composte da unità di elaborazione, chiamate neuroni artificiali o nodi, organizzati in diversi strati. Ogni neurone riceve input da neuroni del livello precedente e fornisce output ai neuroni del livello successivo. Queste interazioni tra nodi, che simulano le sinapsi nel cervello, sono alla base del funzionamento delle reti neurali.

L’informazione non viene processata totalmente da un singolo nodo o strato, ma piuttosto trasmessa e condivisa tra molti nodi attraverso le connessioni interne della rete. Questo permette alle reti neurali artificiali di essere straordinariamente resilienti e di adattarsi in caso di errori, perché se un nodo fallisce o viene rimosso, l’informazione può ancora essere processata da altri nodi.

Ad esempio, prendiamo una semplice rete neurale formata da tre strati: uno strato di ingresso (o input layer), uno strato nascosto (o hidden layer) e uno strato di uscita (o output layer). Ogni strato è formato da una serie di nodi o neuroni artificiali. Ogni nodo in uno strato è collegato a ogni nodo nel livello successivo attraverso delle connessioni, un po’ come i neuroni nel cervello sono collegati da sinapsi. Ogni connessione ha un peso associato, che rappresenta l’importanza di quella connessione nel calcolo del valore dell’input per il neurone successivo, e ogni nodo ha un valore di bias, che può essere visto come il livello di predisposizione del nodo a essere attivato. Quando un input entra nel sistema, esso viene prima elaborato dagli strati di input. I nodi nello strato di input elaborano l’informazione ricevuta moltiplicando ciascun input per il corrispondente peso, sommano questi prodotti e aggiungono il bias. Questo valore viene poi passato attraverso una funzione di attivazione, che determina il livello di attivazione del nodo. L’output di ogni nodo nel livello di input viene poi passato a ciascuno dei nodi nello strato nascosto, dove il processo si ripete. Infine, l’output dello strato nascosto viene passato allo strato di output, dove viene generato l’output finale della rete. Durante l’apprendimento, i pesi delle connessioni e i valori di bias vengono aggiustati attraverso un processo chiamato backpropagation, che mira a minimizzare la differenza tra l’output previsto dalla rete e l’output effettivo.

Quindi, quando si dice che l’informazione “non viene processata totalmente da un singolo nodo o strato, ma piuttosto trasmessa e condivisa tra molti nodi attraverso le connessioni interne della rete”, ciò significa che ogni nodo di una rete neurale contribuisce all’elaborazione dell’input, e questo processo viene distribuito su tutta la rete.

Questo approccio risulta particolarmente utile nell’apprendimento profondo (Deep Learning), una sottocategoria del Machine Learning. Nel Deep Learning, le reti neurali di solito hanno molti strati nascosti tra lo strato di input e quello di output. Questi strati intermedi, o strati nascosti, permettono alla rete di apprendere una varietà di caratteristiche complesse dai dati di input.

Un esempio di applicazione di queste tecniche è il riconoscimento di immagini. In un task di riconoscimento di immagini, i neuroni dei primi strati della rete neurale possono rilevare caratteristiche semplici come linee o angoli. Man mano che si procede verso gli strati più profondi, vengono rilevate caratteristiche più complesse (ad es. forme particolari, tratti del viso, ecc.).

Questa organizzazione dell’informazione in strati, da caratteristiche semplici a complesse, è un bell’esempio di come il principio dell’elaborazione distribuita sia alla base del funzionamento delle reti neurali artificiali.

Considera, per esempio, una rete neurale utilizzata per il riconoscimento di immagini. Supponiamo di aver addestrato una rete su un dataset di immagini di gatti e cani. Ora, immagina che alcuni neuroni all’interno dei strati nascosti vengano danneggiati o eliminati. Questi neuroni potrebbero essere quelli che hanno imparato a riconoscere particolari caratteristiche delle immagini, come le orecchie a punta di un gatto o la coda frangiata di un cane.

Nonostante questa perdita, il sistema potrebbe continuare a funzionare correttamente. Ciò è dovuto al fatto che le informazioni non sono codificate in singoli neuroni, ma piuttosto nelle connessioni ponderate tra neuroni sparsi in tutta la rete. Così, altri neuroni che hanno imparato a riconoscere altre caratteristiche dei gatti e cani (ad esempio, i baffi di un gatto o il muso di un cane) possono continuare a funzionare, permettendo alla rete di identificare correttamente le immagini.

In sintesi, grazie al principio dell’elaborazione distribuita, le reti neurali hanno la capacità di mantenere e preservare l’informazione nonostante la perdita di alcuni dei loro nodi o connessioni.