Il fallimento dell’AI detection

Il fallimento dell’AI detection

Condividi con i tuoi amici...

Lo scopo principale dei modelli generativi del linguaggio è quello di imitare la naturalezza del linguaggio umano. In effetti non si limitano a questo, in quanto possono essere addestrati per imitare lo stile di comunicazione di una qualsiasi persona in particolare. Più esempi di conversazione si forniscono al modello e maggiore sarà la sua capacità di imitare sia formalmente che sostanzialmente gli autori umani di quelle conversazioni.

Sin da quando sono stati pubblicati i modelli GPT è nata l’esigenza di distinguere tra testi prodotti dall’AI dai testi creati da un umano. Alla base di questa esigenza c’è l’intento di contrastare la disinformazione dovuta a fake news e l’inganno che può essere perpetrato da chi usa l’AI per superare esami o attribuirsi opere non sue per svariati motivi.

In questo articolo: Il paradosso dell’AI. Guardie e ladri già a febbraio di quest’anno (2023) mostrammo come sia paradossale pensare di avere successo in entrambi gli obiettivi seguenti: imitare alla perfezione il linguaggio umano e nello stesso tempo distinguere esattamente il prodotto umano da quello della macchina. Si tratta di obiettivi che si escludono a vicenda.

OpenAI stessa che aveva creato il classificatore AI writing detection oggi dichiara quanto segue:

Fonte: OpenAI

Sicuramente lavorando ad entrambi gli obiettivi si ottiene il risultato di perfezionare sempre di più i modelli che imitano il linguaggio umano in quanto ricalcano lo schema dei modelli GAN che grazie all’azione combinata di un generatore che produce un risultato e di un discriminatore che coglie le differenze tra quello generato e quello reale, perfezionano il risultato finale.

Secondo questo ragionamento dovrebbero migliorare anche i modelli di controllo di AI detection. In realtà lo fanno, ma nonostante ciò, va considerato che forse vi è una sorta di asimmetria tra quello che ci si aspetta da un modello generatore del linguaggio e un modello discriminatore. Se il generatore raggiunge in buona approssimazione la naturalezza del linguaggio umano tale risultato può essere soddisfacente per molti scopi tranne, ovviamente, per quello di superare un test da parte di un modello discriminatore. D’altra parte, per un modello discriminatore raggiungere solo un “buon” livello di efficienza potrebbe non essere sufficiente perché i danni di classificare male alcuni testi (falsi negativi o falsi positivi) sarebbero gravi dal momento che questi modelli verrebbero usati da enti di controllo preposti a penalizzare, per esempio, chi spaccia per propri testi dell’AI.

I tools di Ai detection

In questo momento i tools presenti in rete non sembrano affatto affidabili nel distinguere tra testi umani e quelli generati dai modelli di AI. In particolar modo i testi generati dal modello GPT4 risultano molto simili a quelli creati dall’uomo.

Il modello GPT4, come ci si aspetta, impiega un linguaggio più naturale e si focalizza molto meglio sugli argomenti rispetto a come lo fa il modello GPT 3.5 che invece risulta un po’ più ripetitivo e logorroico. Questo aspetto lo si percepisce anche nell’ultimo dialogo che abbiamo pubblicato sul tema delle opere d’arte. Si vede come l’AI risponda in modo molto più naturale e nello stesso tempo preciso rispetto al modo in cui lo fa GPT 3.5 nelle conversazioni precedenti che puoi leggere qui.

Se sei prevedibile potresti essere un’AI

La prevedibilità del testo gioca un ruolo importante in relazione all’efficienza dei modelli di AI detection. Più il risultato è prevedibile e più è difficile distinguere tra prodotto umano e non. Infatti se chiediamo al modello di calcolare 3+5 il risultato non si discosterà per nulla da quello di un umano che conosce l’aritmentica. Similmente ci aspettiamo che nell’ambito della programmazione questi modelli siano in grado di imitare molto bene l’operato di un bravo programmatore. La domanda cruciale che dovremo farci nei prossimi anni è: quanto siamo prevedibili nei nostri comportamenti? Sicuramente lo studio dei modelli generativi porrà delle domande che ci indirizzeranno verso una maggior conoscenza di noi stessi.

L’AI ci farà riavvicinare fisicamente?

L’incapacità di questi modelli di raggiungere la perfezione o quasi nelle funzioni di AI detection potrebbe contribuire al riavvicinamento fisico delle persone in certi ambiti, infatti per poter constatare l’originalità e l’autenticità del pensiero di una persona sarà necessario separarla da questi modelli di AI e averla di fronte per fare quattro chiacchiere piuttosto che avvalersi di una email o di una call con cui le persone potrebbero utilizzare un modello di AI in vari modi per mostrarsi quella che non sono.