Abilità tecniche e relazionali e confondenti statistici

Abilità tecniche e relazionali e confondenti statistici

Condividi con i tuoi amici...

AI, abilità tecniche, abilità relazionali e confondenti statistici

L’avanzamento dei modelli di intelligenza artificiale in ambito tecnico e scientifico induce a formulare una tesi intuitivamente plausibile: molte abilità tecniche, specialmente quelle codificabili, formalizzabili o automatizzabili, potrebbero perdere valore economico relativo perché parzialmente replicabili dall’AI; al contrario, abilità sociali, comunicative, negoziali e relazionali potrebbero aumentare di valore perché meno facilmente sostituibili.

Per verificare questa tesi si potrebbero costruire studi osservazionali che confrontano persone con abilità tecniche, per esempio soggetti con formazione STEM, persone con abilità relazionali elevate e le rispettive retribuzioni. Tuttavia, uno studio di questo tipo deve evitare un errore metodologico fondamentale: la retribuzione non misura direttamente il valore di una singola abilità isolata, ma il valore di mercato della persona nel suo complesso.

Una persona non è separabile completamente dalle sue abilità. Il reddito può dipendere dalle competenze tecniche, ma anche da capacità comunicative, negoziazione, sicurezza personale, ruolo aziendale, settore, anzianità, rete sociale, capitale culturale, localizzazione geografica, età, genere, titolo di studio e tratti caratteriali. Perciò, se si vuole stimare se le abilità tecniche siano oggi meno valorizzate rispetto alle abilità relazionali, bisogna controllare la possibilità che altre caratteristiche personali siano associate sia alle abilità osservate sia alla retribuzione.

1. Variabili del modello

Consideriamo una popolazione \(\Omega\), i cui elementi sono persone. Ogni persona può possedere, in misura più o meno marcata, abilità tecniche, abilità relazionali e tratti caratteriali. Per costruire un modello semplice usiamo variabili binarie.

Indichiamo con:

\[ T=1 \]

la presenza di abilità tecniche rilevanti, per esempio competenze STEM.

\[ R=1 \]

la presenza di abilità relazionali elevate.

\[ I=1 \]

la presenza di introversione.

\[ V=1 \]

l’evento “alta valorizzazione economica”, per esempio reddito superiore a una certa soglia.

Se il reddito viene misurato come grandezza continua, useremo invece:

\[ Y=\text{reddito} \]

Nel modello semplificato possiamo indicare i non introversi con \(\neg I\). Non bisogna però confondere l’essere non introversi con l’avere abilità relazionali. Per questo distinguiamo:

\[ R=\text{abilità relazionale} \]

da:

\[ \neg I=\text{non introversione} \]

Una persona può essere introversa ma avere buone abilità relazionali, oppure estroversa ma poco efficace professionalmente nella comunicazione. La distinzione tra abilità e carattere è quindi essenziale.

2. Rappresentazione nello spazio degli eventi

Lo spazio degli eventi \(\Omega\) rappresenta l’intera popolazione studiata. Ogni punto dello spazio rappresenta una persona. Gli insiemi rappresentano proprietà possedute dalle persone.

\[ T \subseteq \Omega \]

è l’insieme delle persone con abilità tecniche.

\[ R \subseteq \Omega \]

è l’insieme delle persone con abilità relazionali elevate.

\[ I \subseteq \Omega \]

è l’insieme delle persone introverse.

\[ V \subseteq \Omega \]

è l’insieme delle persone con alta valorizzazione economica.

La probabilità di un evento è la misura relativa dell’insieme corrispondente:

\[ P(T)=\frac{|T|}{|\Omega|} \]
\[ P(V)=\frac{|V|}{|\Omega|} \]

Le intersezioni rappresentano eventi congiunti. Per esempio:

\[ P(T \cap I) \]

è la probabilità che una persona sia insieme tecnica e introversa.

\[ P(T \cap V) \]

è la probabilità che una persona sia insieme tecnica e ad alto reddito.

Le probabilità condizionate rappresentano proporzioni interne a un sottoinsieme:

\[ P(V \mid T)=\frac{P(V \cap T)}{P(T)} \]

cioè la quota di persone ad alto reddito tra coloro che possiedono abilità tecniche.

\[ P(I \mid T)=\frac{P(I \cap T)}{P(T)} \]

è invece la quota di introversi tra le persone con abilità tecniche.

Se nello spazio degli eventi l’insieme \(T\) cade in larga parte dentro \(I\), allora:

\[ P(I \mid T) \gt P(I) \]

Questo significa che gli introversi sono sovrarappresentati tra le persone tecniche. Se invece l’insieme \(V\) cade prevalentemente fuori da \(I\), allora:

\[ P(V \mid I) \lt P(V \mid \neg I) \]

cioè gli introversi risultano meno valorizzati economicamente rispetto ai non introversi. In questa situazione il confronto tra abilità tecniche e reddito può essere distorto.

3. Il confronto grezzo e il suo limite

Uno studio superficiale potrebbe confrontare direttamente:

\[ P(V=1 \mid R=1) \]

con:

\[ P(V=1 \mid T=1) \]

Se risultasse:

\[ P(V=1 \mid R=1) \gt P(V=1 \mid T=1) \]

si potrebbe concludere che le abilità relazionali sono più valorizzate delle abilità tecniche.

Ma questa conclusione è valida solo se i due gruppi sono comparabili rispetto alle variabili rilevanti. Se il gruppo tecnico e il gruppo relazionale differiscono anche per carattere, settore, età, esperienza, posizione aziendale, capitale sociale o area geografica, allora il confronto aggregato non isola il valore delle abilità.

Il punto è che:

\[ P(V \mid T) \]

non misura soltanto il valore economico di \(T\). Misura il reddito osservato tra persone che possiedono \(T\), e queste persone possono avere molte altre caratteristiche associate al reddito.

4. Quando l’introversione è un possibile confondente

Una variabile \(I\) è un possibile confondente del rapporto tra abilità tecniche \(T\) e valorizzazione economica \(V\) se è associata sia a \(T\) sia a \(V\).

La prima condizione è:

\[ I \not\!\perp\!\!\!\perp T \]

cioè:

\[ P(I \mid T) \neq P(I) \]

La seconda condizione è:

\[ I \not\!\perp\!\!\!\perp V \]

cioè:

\[ P(V \mid I) \neq P(V) \]

Lo scenario più problematico è:

\[ P(I \mid T) \gt P(I) \]

e:

\[ P(V \mid I) \lt P(V \mid \neg I) \]

In parole semplici: le persone tecniche sono più spesso introverse, e l’introversione è associata a minore valorizzazione economica. In tal caso il reddito osservato tra i tecnici può essere ridotto non perché le abilità tecniche abbiano poco valore, ma perché il gruppo tecnico contiene una quota più alta di persone introverse.

Questa è soltanto un’ipotesi di confondimento possibile. Non si sta affermando che gli introversi siano necessariamente meno retribuiti, né che i tecnici siano necessariamente introversi. Si sta dicendo che, se queste dipendenze esistono nei dati, allora lo studio deve tenerne conto.

5. Decomposizione probabilistica del reddito dei tecnici

Poiché \(I\) e \(\neg I\) formano una partizione della popolazione:

\[ \Omega = I \cup \neg I \]
\[ I \cap \neg I=\varnothing \]

si può decomporre la probabilità di alta valorizzazione tra i tecnici:

\[ P(V \mid T) = P(V \mid T,I)P(I \mid T) + P(V \mid T,\neg I)P(\neg I \mid T) \]

Questa è la formula centrale. Essa dice che la valorizzazione osservata tra i tecnici è una media pesata tra:

\[ P(V \mid T,I) \]

cioè la valorizzazione dei tecnici introversi, e:

\[ P(V \mid T,\neg I) \]

cioè la valorizzazione dei tecnici non introversi.

I pesi sono:

\[ P(I \mid T) \]

e:

\[ P(\neg I \mid T) \]

Se \(P(I \mid T)\) è alto e \(P(V \mid T,I)\) è basso, allora \(P(V \mid T)\) può apparire basso anche quando le abilità tecniche sono positivamente associate al reddito dentro ciascun sottogruppo caratteriale.

Analogamente, per le abilità relazionali:

\[ P(V \mid R) = P(V \mid R,I)P(I \mid R) + P(V \mid R,\neg I)P(\neg I \mid R) \]

Il confronto grezzo:

\[ P(V \mid R) \gt P(V \mid T) \]

può quindi dipendere non solo dal valore economico di \(R\) e \(T\), ma anche dal fatto che:

\[ P(I \mid R) \neq P(I \mid T) \]

6. Esempio numerico

Supponiamo di osservare una popolazione di 1000 persone. Dividiamola rispetto a introversione e abilità tecniche:

Carattere Tecnici \(T\) Non tecnici \(\neg T\) Totale
Introversi \(I\) 300 200 500
Non introversi \(\neg I\) 100 400 500
Totale 400 600 1000

Da questa tabella:

\[ P(I)=\frac{500}{1000}=0.50 \]
\[ P(T)=\frac{400}{1000}=0.40 \]
\[ P(I \mid T)=\frac{300}{400}=0.75 \]

Quindi:

\[ P(I \mid T)=0.75 \gt P(I)=0.50 \]

Gli introversi sono sovrarappresentati tra i tecnici.

Supponiamo ora che la probabilità di reddito alto sia:

Gruppo Probabilità di reddito alto
Tecnici introversi \(T,I\) \(P(V=1 \mid T,I)=0.30\)
Non tecnici introversi \(\neg T,I\) \(P(V=1 \mid \neg T,I)=0.10\)
Tecnici non introversi \(T,\neg I\) \(P(V=1 \mid T,\neg I)=0.80\)
Non tecnici non introversi \(\neg T,\neg I\) \(P(V=1 \mid \neg T,\neg I)=0.60\)

Dentro ciascun sottogruppo caratteriale le abilità tecniche risultano vantaggiose:

\[ P(V=1 \mid T,I)=0.30 \gt 0.10=P(V=1 \mid \neg T,I) \]
\[ P(V=1 \mid T,\neg I)=0.80 \gt 0.60=P(V=1 \mid \neg T,\neg I) \]

Quindi, a parità di carattere, le abilità tecniche aumentano la probabilità di reddito alto.

Calcoliamo però il dato aggregato:

\[ P(V=1 \mid T) = 0.30\cdot 0.75+0.80\cdot 0.25 \]
\[ P(V=1 \mid T) = 0.225+0.200=0.425 \]

Ora calcoliamo la probabilità di reddito alto tra i non introversi:

\[ P(V=1 \mid \neg I) = \frac{0.80\cdot 100+0.60\cdot 400}{500} \]
\[ P(V=1 \mid \neg I) = \frac{80+240}{500}=0.64 \]

Il confronto grezzo darebbe:

\[ P(V=1 \mid \neg I)=0.64 \gt 0.425=P(V=1 \mid T) \]

Un ricercatore potrebbe allora concludere che la dimensione sociale o non introversa è molto più valorizzata della tecnica. Ma questa conclusione può essere fuorviante, perché dentro entrambi gli strati caratteriali \(T\) aumenta la probabilità di reddito alto.

Il problema è che il gruppo tecnico è composto per il 75% da introversi, mentre il gruppo non introverso coincide con la regione in cui la valorizzazione è più alta. Si sta quindi confrontando una competenza con una composizione personale diversa.

7. Standardizzazione

Per confrontare meglio il valore delle abilità tecniche, si può standardizzare rispetto a una distribuzione comune dell’introversione.

Nella popolazione generale:

\[ P(I)=0.50 \]
\[ P(\neg I)=0.50 \]

La valorizzazione tecnica standardizzata è:

\[ P^*(V=1 \mid T) = P(V=1 \mid T,I)P(I) + P(V=1 \mid T,\neg I)P(\neg I) \]

Sostituendo i valori:

\[ P^*(V=1 \mid T) = 0.30\cdot 0.50+0.80\cdot 0.50 \]
\[ P^*(V=1 \mid T)=0.15+0.40=0.55 \]

Il dato tecnico grezzo era:

\[ P(V=1 \mid T)=0.425 \]

Il dato tecnico standardizzato è:

\[ P^*(V=1 \mid T)=0.55 \]

La differenza nasce dalla diversa composizione del gruppo tecnico:

\[ P(I \mid T)=0.75 \]

mentre nella popolazione generale:

\[ P(I)=0.50 \]

La standardizzazione risponde alla domanda: quale sarebbe la valorizzazione economica dei tecnici se il gruppo tecnico avesse la stessa proporzione di introversi e non introversi della popolazione generale?

8. Abilità relazionali e confronto corretto

Per confrontare abilità tecniche e abilità relazionali bisogna applicare lo stesso ragionamento a \(R\).

Il dato grezzo è:

\[ P(V \mid R) \]

ma questo può essere decomposto come:

\[ P(V \mid R) = P(V \mid R,I)P(I \mid R) + P(V \mid R,\neg I)P(\neg I \mid R) \]

Il confronto corretto tra abilità tecniche e abilità relazionali non è:

\[ P(V \mid R) \gt P(V \mid T) \]

ma:

\[ P^*(V \mid R) \gt P^*(V \mid T) \]

dove:

\[ P^*(V \mid R) = P(V \mid R,I)P(I) + P(V \mid R,\neg I)P(\neg I) \]

e:

\[ P^*(V \mid T) = P(V \mid T,I)P(I) + P(V \mid T,\neg I)P(\neg I) \]

Solo se il vantaggio delle abilità relazionali permane dopo aver controllato la distribuzione dell’introversione, si può sostenere con maggiore rigore che \(R\) sia più valorizzato di \(T\).

9. Mutua informazione come segnale diagnostico

La mutua informazione misura quanto una variabile informa su un’altra. Per due variabili discrete \(X\) e \(Y\):

\[ I_m(X,Y) = \sum_{x,y}P(x,y)\log_2\frac{P(x,y)}{P(x)P(y)} \]

Se \(X\) e \(Y\) sono indipendenti:

\[ P(x,y)=P(x)P(y) \]

e quindi:

\[ I_m(X,Y)=0 \]

Nel nostro esempio:

\[ I_m(I,T)\approx 0.1245 \ \text{bit} \]

quindi introversione e abilità tecniche non sono indipendenti.

Inoltre:

\[ I_m(I,V)\approx 0.1344 \ \text{bit} \]

quindi introversione e reddito alto non sono indipendenti.

Quando:

\[ I_m(I,T) \gt 0 \]

e:

\[ I_m(I,V) \gt 0 \]

allora \(I\) è una variabile da controllare nel rapporto tra \(T\) e \(V\).

La mutua informazione non dimostra da sola un nesso causale, ma segnala una dipendenza statistica. Se una variabile è informativa sia sull’abilità studiata sia sull’esito economico, ignorarla può produrre distorsione.

10. Modello statistico

Se \(V\) è binaria, cioè indica reddito alto oppure non alto, un modello naturale è la regressione logistica:

\[ \log \frac{P(V=1 \mid T,R,I)} {1-P(V=1 \mid T,R,I)} = \beta_0+\beta_TT+\beta_RR+\beta_II \]

In questo modello:

\[ \beta_T \]

misura l’associazione tra abilità tecniche e reddito alto, controllando per abilità relazionali e introversione.

\[ \beta_R \]

misura l’associazione tra abilità relazionali e reddito alto, controllando per abilità tecniche e introversione.

\[ \beta_I \]

misura l’associazione tra introversione e reddito alto, controllando per le abilità considerate.

Un modello più realistico include interazioni:

\[ \log \frac{P(V=1 \mid T,R,I)} {1-P(V=1 \mid T,R,I)} = \beta_0+\beta_TT+\beta_RR+\beta_II +\beta_{TI}TI+\beta_{RI}RI+\beta_{TR}TR \]

Qui:

\[ \beta_{TI} \]

indica se l’effetto delle abilità tecniche cambia tra introversi e non introversi.

\[ \beta_{RI} \]

indica se l’effetto delle abilità relazionali cambia a seconda del carattere.

\[ \beta_{TR} \]

indica se la combinazione di abilità tecniche e relazionali produce un vantaggio aggiuntivo.

Quest’ultimo punto è particolarmente importante nell’era dell’AI. Il mercato potrebbe non premiare semplicemente la tecnica pura o la socialità pura, ma la combinazione tra competenza tecnica, capacità di usare strumenti AI, comunicazione, coordinamento e giudizio pratico.

Se il reddito è una variabile numerica continua, si può usare un modello lineare:

\[ E[Y \mid T,R,I] = \alpha_0+\alpha_TT+\alpha_RR+\alpha_II +\alpha_{TI}TI+\alpha_{RI}RI+\alpha_{TR}TR \]

In questo caso:

\[ \alpha_T \]

rappresenta la differenza attesa di reddito associata alle abilità tecniche, controllando le altre variabili.

\[ \alpha_R \]

rappresenta la differenza attesa di reddito associata alle abilità relazionali, controllando le altre variabili.

\[ \alpha_I \]

rappresenta la differenza attesa di reddito associata all’introversione, controllando le abilità.

11. Confondente, mediatore e collider

Non ogni variabile associata ad abilità e reddito deve essere trattata nello stesso modo. Bisogna distinguere almeno tre casi.

Una variabile \(C\) è un confondente se influenza, o è associata causalmente a, sia l’abilità studiata sia l’esito:

\[ C \rightarrow T \]
\[ C \rightarrow V \]

In questo caso bisogna controllare \(C\), altrimenti il rapporto tra \(T\) e \(V\) può essere distorto.

Una variabile è invece mediatrice se si trova lungo il percorso causale tra abilità ed esito:

\[ T \rightarrow M \rightarrow V \]

Per esempio, una competenza tecnica potrebbe portare a un certo tipo di ruolo lavorativo, e il ruolo lavorativo potrebbe determinare il reddito. In questo caso controllare il ruolo può eliminare una parte dell’effetto reale delle abilità tecniche.

Una variabile è infine un collider se è effetto comune di due cause:

\[ T \rightarrow K \leftarrow I \]

Condizionare su un collider può creare associazioni spurie. Per esempio, se si studiano solo persone assunte in aziende molto selettive, l’essere assunti potrebbe dipendere sia da abilità tecniche sia da tratti personali. Limitarsi a quel sottogruppo può introdurre una distorsione nuova.

Quindi il problema non è semplicemente “controllare più variabili possibile”. Bisogna controllare le variabili giuste, sulla base di un modello teorico del processo che genera i dati.

12. Interpretazione causale

Il confronto osservazionale:

\[ P(V \mid T) \]

non coincide necessariamente con l’effetto causale delle abilità tecniche. Per parlare causalmente bisognerebbe stimare:

\[ P(V \mid do(T=1)) \]

e confrontarlo con:

\[ P(V \mid do(R=1)) \]

Il simbolo \(do(\cdot)\) indica un intervento: che cosa accadrebbe se una persona acquisisse o possedesse una certa abilità, mantenendo comparabili le altre condizioni rilevanti.

In uno studio osservazionale non osserviamo interventi puri, ma persone che già possiedono certe caratteristiche. Per questo, sotto opportune ipotesi, si cerca di approssimare:

\[ P(V \mid do(T=1)) \approx \sum_c P(V \mid T=1,C=c)P(C=c) \]

dove \(C\) rappresenta l’insieme dei confondenti da controllare.

Analogamente:

\[ P(V \mid do(R=1)) \approx \sum_c P(V \mid R=1,C=c)P(C=c) \]

Questa formula dice che bisogna confrontare tecnici e relazionali dentro gruppi omogenei rispetto ai confondenti, e poi ricomporre i risultati usando una distribuzione comune.

13. Generalizzazione

Il caso dell’introversione è solo un esempio. In generale, se \(A\) è un’abilità e \(V\) è la valorizzazione economica, una variabile \(C\) è un possibile confondente se:

\[ C \not\!\perp\!\!\!\perp A \]

e:

\[ C \not\!\perp\!\!\!\perp V \]

La decomposizione generale è:

\[ P(V \mid A) = \sum_c P(V \mid A,C=c)P(C=c \mid A) \]

Il confronto tra due abilità \(A\) e \(B\) è distorto quando:

\[ P(C=c \mid A)\neq P(C=c \mid B) \]

perché allora:

\[ P(V \mid A) \]

e:

\[ P(V \mid B) \]

sono medie calcolate con pesi diversi.

La forma standardizzata è:

\[ P^*(V \mid A) = \sum_c P(V \mid A,C=c)P(C=c) \]
\[ P^*(V \mid B) = \sum_c P(V \mid B,C=c)P(C=c) \]

Applicata al nostro caso:

\[ P^*(V \mid T) = \sum_i P(V \mid T,I=i)P(I=i) \]
\[ P^*(V \mid R) = \sum_i P(V \mid R,I=i)P(I=i) \]

Solo il confronto tra queste quantità standardizzate è adeguato a sostenere che le abilità relazionali siano più o meno valorizzate delle abilità tecniche, almeno rispetto al confondente considerato.

14. Conclusione

L’ipotesi secondo cui l’AI riduca il valore economico relativo di alcune abilità tecniche e aumenti quello delle abilità relazionali è plausibile, ma non può essere verificata con un semplice confronto grezzo tra persone STEM, persone relazionali e retribuzioni.

La ragione è che la retribuzione riguarda la persona intera, non una singola abilità isolata. Se le persone con abilità tecniche differiscono sistematicamente dalle persone con abilità relazionali per altre caratteristiche rilevanti, allora il confronto può essere distorto.

Nel modello esaminato, l’introversione è un possibile confondente se:

\[ P(I \mid T)\neq P(I) \]

e:

\[ P(V \mid I)\neq P(V) \]

In particolare, se:

\[ P(I \mid T)\gt P(I) \]

e:

\[ P(V \mid I)\lt P(V \mid \neg I) \]

allora i tecnici possono apparire meno valorizzati non perché la tecnica abbia poco valore, ma perché il gruppo tecnico contiene una quota più elevata di persone introverse, e l’introversione può essere associata a minore reddito in certi contesti.

La formula decisiva è:

\[ P(V \mid T) = P(V \mid T,I)P(I \mid T) + P(V \mid T,\neg I)P(\neg I \mid T) \]

Essa mostra che il reddito osservato tra i tecnici è una media pesata di sottogruppi diversi. Se i pesi sono squilibrati, il dato aggregato può essere fuorviante.

Per evitare l’errore, lo studio deve stimare probabilità condizionate come:

\[ P(V \mid T,I), \quad P(V \mid T,\neg I), \quad P(V \mid R,I), \quad P(V \mid R,\neg I) \]

oppure usare modelli statistici che controllino i confondenti:

\[ \log \frac{P(V=1 \mid T,R,I)} {1-P(V=1 \mid T,R,I)} = \beta_0+\beta_TT+\beta_RR+\beta_II +\beta_{TI}TI+\beta_{RI}RI+\beta_{TR}TR \]

Solo dopo questo controllo si può sostenere con maggiore rigore che una certa abilità sia più valorizzata dal mercato. Senza tale controllo, si rischia di attribuire all’impatto dell’AI sulle competenze tecniche ciò che dipende invece da differenze personali, caratteriali o sociali tra i gruppi osservati.