I processi ADM offrono la possibilità di prendere decisioni indipendenti dai pregiudizi umani. Ma in realtà, i dati inseriti in questi sistemi sono già contaminati, il che a sua volta porta a pregiudizi discriminatori nel processo di apprendimento degli algoritmi. Invece di prevenire le discriminazioni, questo porta a un'ulteriore discriminazione contro gruppi sociali già emarginati.

Ci sono due tipi di ADM che prendono decisioni su di noi: le macchine con la capacità di imparare e quelle che non lo fanno. Apprendere in questo caso significa che l'algoritmo cambia attraverso l'esperienza. Entrambi i sistemi possono causare diversi problemi, ma in questo articolo ci concentriamo solo sul primo, i processi decisionali automatizzati che "apprendono".

Qual è lo scopo degli algoritmi decisionali?

L’uso del processo decisionale automatizzato è giustificato dal fatto che aumenta l'efficienza ed elimina i pregiudizi umani. A prima vista, sembra fantastico. Immagina di fare domanda per un prestito: vuoi che la richiesta venga elaborata rapidamente e in modo equo. Purtroppo, questa promessa raramente viene mantenuta. Anche se l’uso dell’ADM viene pubblicizzato come un miglioramento dell'obiettività, spesso si tratta soprattutto di risparmiare denaro e risorse - e la società deve pagare un caro prezzo per questo.

Come funzionano gli algoritmi decisionali?

Il processo decisionale automatizzato significa che il processo decisionale e l’attuazione sono delegati alle macchine. Affinché questo sia possibile, un modello di apprendimento automatico trae le conclusioni che ha appreso identificando modelli in un set di dati di allenamento. Il grande vantaggio degli algoritmi rispetto agli esseri umani è che possono rilevare correlazioni - e quindi modelli e relazioni causali - in enormi serie di dati.

Dove usiamo il processo decisionale automatizzato?

Gli algoritmi fanno già parte della nostra vita quotidiana. Dal curare i feed dei social media al rilevare il cancro con i raggi X, la nostra realtà nel 21° secolo è costruita da algoritmi. Mentre questi possono essere tra i casi d'uso più familiari, gli algoritmi si trovano sempre più spesso anche in luoghi dove non ci si potrebbe aspettare. La polizia si affida agli algoritmi per decidere la probabilità che venga commesso un crimine, l'azienda a cui ti rivolgi li usa per decidere se assumerti o meno, e le autorità pubbliche gli permettono di assegnarti ai programmi di assistenza sociale.

In alcuni casi l'uso di algoritmi può supportare le persone e migliorare la qualità della nostra vita, come ad esempio supportare i medici nel rilevare le malattie dopo un turno di lavoro di 12 ore. Purtroppo, troppo spesso accade il contrario. L'obiettività è fondamentale in qualsiasi processo decisionale che abbia un impatto sulla vita di una persona, tuttavia gli algoritmi sono stati responsabili di decisioni che erano chiaramente sbagliate e/o hanno replicato le discriminazioni esistenti.

Quali sono i pericoli degli algoritmi che prendono decisioni?

Alcune persone credono che il processo decisionale automatizzato possa essere più obiettivo di quello umano, ma questo non è necessariamente vero. Anche se i loro pregiudizi hanno meno probabilità di essere fissati, gli ADM possono essere ancora più discriminanti del processo decisionale umano.

Mentre tali errori possono sembrare facili da correggere attraverso un adeguato monitoraggio - chiamato debiasing - a causa della natura dell'IA, una soluzione efficace rimane sfuggente. Grazie al suo funzionamento interno nascosto e difficile da capire, il processo decisionale dell'IA rimane poco chiaro. La conseguente mancanza di trasparenza ha fatto guadagnare agli algoritmi di autoapprendimento il soprannome di "scatola nera dell’IA". Una nuova sfida significativa associata a questi sistemi di apprendimento automatico è, quindi, determinare quando e come essi introdurranno certi pregiudizi nel processo decisionale.

Gli algoritmi sono affidabili in termini di produrre sempre lo stesso risultato per esattamente lo stesso input (almeno per quei sistemi che non imparano "al volo"). Ci si aspetta che prendano decisioni obiettive, e che non possono avere una brutta giornata o disprezzare qualcuno.

Fin qui tutto bene. Ma questo significa che se arrivano a conclusioni false o dannose, le stesse vengono prodotte costantemente Ed è proprio questo il problema. Dal momento che devono imparare dal passato, questo porta a due problemi: in primo luogo, non reagiscono ai cambiamenti della realtà finché non si allenano di nuovo, e in secondo luogo, vedono un individuo solo in confronto agli altri, e quindi inavvertitamente riproducono o ingrandiscono i modelli storici di pregiudizio. Questo accade perché i dati di input utilizzati per formare i sistemi sono quasi sempre distorti a causa di pratiche discriminatorie passate o della sottorappresentazione dei membri di gruppi emarginati. Naturalmente, anche gli esseri umani spesso non sono padroni di cambiare il loro comportamento o i loro valori, ma a differenza degli algoritmi, non siamo noti per il nostro processo decisionale obiettivo.

Nella nostra società, alcune persone possono prendere l'ascensore per arrivare in alto, mentre altre devono salire le scale. Immaginate Joe, i cui genitori possono averlo messo in una buona scuola e aveva i contatti giusti, ma non è la persona adatta per il lavoro. Ora immaginate Jessica, una mamma single con alcune lacune nel suo curriculum, ma è comunque la persona perfetta per il ruolo. Mentre un umano sarebbe almeno teoricamente in grado di valutare individualmente nei colloqui di lavoro, un algoritmo imparerebbe ad assumere solo i candidati che arrivano in ascensore. Questo priva le persone della capacità di controllare il proprio destino.

In un mondo che è in costante cambiamento e stiamo cercando collettivamente di abbattere gli stereotipi dannosi, la logica del processo decisionale automatizzato è controproducente. Tutti noi vogliamo essere giudicati per le nostre azioni, non per quelle fatte dal nostro "gruppo" prima di noi.

Come funziona in pratica l'intelligenza artificiale?

Vuoi che il tuo modello di apprendimento automatico ti trovi il miglior candidato per un dato lavoro. Non dici al tuo algoritmo cosa rende il candidato ideale, poiché potresti non esserne sicuro te stesso. Invece, dai in pasto al modello i curriculum di ex candidati che hai assunto e segni alcuni curriculum come eccellenti (quelli che hai assunto e che hanno ottenuto ottimi risultati), e altri con punteggi inferiori.

È probabile che giudichi tutti i candidati in modo equo?

Uno strumento di assunzione basato su algoritmi di Amazon ha usato questa strategia e i risultati sono stati meno che desiderabili. Nel 2015, gli esperti hanno scoperto che il nuovo motore di reclutamento di Amazon era prevenuto nei confronti delle donne. Lo strumento sperimentale di assunzione IA ha valutato i candidati al lavoro in base al fatto che i loro curriculum assomigliavano a quelli invitati dai candidati di selezionati nel corso di un periodo di 10 anni. Non sorprende che la maggior parte di questi fossero uomini: il dominio maschile nell'industria tecnologica è ben documentato. Di conseguenza, il sistema IA di Amazon ha identificato un modello per cui i candidati ritenuti desiderabili da Amazon erano maschi. Lo strumento ha penalizzato i curriculum che contenevano la parola "femminile", come in "capitano del club di scacchi femminile".

La domanda importante da porre qui è: questo rende gli strumenti di reclutamento basati su algoritmi peggiori dei normali datori di lavoro? Dopo tutto, non è raro che i datori di lavoro prendano decisioni basate su pregiudizi personali. La risposta è sì, anche a causa del cosiddetto "problema del controllo". Psicologi industriali e ingegneri che studiano gli operatori umani di macchine complesse hanno da tempo identificato un pericolo particolare del trasferimento di responsabilità alle macchine: gli algoritmi generano una falsa impressione di obiettività, rendendo difficile mettere in discussione le loro prestazioni.

Come influiscono gli algoritmi sulla società?

In una democrazia, ci aspettiamo che autorità come i tribunali o le banche siano in grado di spiegare le decisioni che prendono. Se ci viene rifiutato un prestito o andiamo in prigione, abbiamo il diritto di sapere perché. In confronto, i metodi ADM e il modo in cui vengono usati non sono in lineai con gli standard democratici.

Un'altra linea rossa è che i complessi modelli di apprendimento automatico rendono la sorveglianza umana molto più facile. Trent'anni fa era molto difficile tracciare i movimenti di qualcuno, ma ora i loro smartphone possono rivelare tutte le informazioni necessarie per prevedere dove si troveranno in futuro. Sempre più preoccupante è la sorveglianza di massa biometrica, che rende possibile l'identificazione delle persone nella vita reale. Questo è particolarmente pericoloso per le comunità emarginate (si pensi, per esempio, ai membri della comunità LGBTI o alle persone senza documenti) che hanno buone ragioni per temere di essere identificati in certi luoghi. Nessuno dovrebbe temere di essere perseguito e perdere il diritto alla privacy. I governi autoritari sono stati e continuano ad essere al potere - tali tecnologie nelle loro mani potrebbero rappresentare un’enorme minaccia per le persone e impedire loro di esprimere il proprio dissenso, per esempio partecipando ad una protesta.

Conclusione

Se il processo decisionale automatizzato mantiene le sue promesse - essere più obiettivo e meno discriminatorio degli umani - potrebbe avere un enorme potenziale. Sfortunatamente, i sistemi che utilizano l'apprendimento automatico tendono a rinforzare i pregiudizi umani, rimanendo più facilmente inosservati. Le implicazioni della discriminazione delle minoranze, così come la creazione di una società più equa, sono preoccupanti. Con la proliferazione dei sistemi ADM, è vitale che dirigiamo la nostra attenzione verso un'attenta regolamentazione di queste tecnologie. Le tecnologie dovrebbero essere usate per migliorare la libertà e l'indipendenza di ognuno di noi, non per annullare.

Foto:

Christina@wocintechchat.com / Unsplash