L'influenza degli algoritmi nei processi decisionali

Le tecniche di elaborazione automatizzata dei dati, come gli algoritmi, non solo consentono agli utenti di Internet di cercare e accedere alle informazioni, ma sono anche sempre più utilizzate nei processi decisionali, che prima erano interamente di competenza dell’uomo. Gli algoritmi possono essere utilizzati per “preparare” le decisioni umane o per prenderle immediatamente con mezzi automatizzati. In effetti, i confini tra il processo decisionale umano e quello automatizzato sono spesso confusi, il che porta alla nozione di processo decisionale quasi o semiautomatico.

L’uso degli algoritmi pone notevoli sfide non solo per il settore politico specifico in cui vengono utilizzati, ma anche per la società nel suo complesso. Come salvaguardare i diritti umani e la dignità umana di fronte alla rapida evoluzione delle tecnologie? Il diritto alla vita, il diritto a un processo equo e la presunzione di innocenza, il diritto alla privacy e alla libertà di espressione, i diritti dei lavoratori, il diritto a libere elezioni, persino lo stesso Stato di diritto, sono tutti elementi che ne risentono. Rispondere alle sfide associate agli “algoritmi” utilizzati dal settore pubblico e privato, è attualmente una delle questioni più dibattute.

C’è, invero, una percezione crescente che il software stia, per così dire, “mangiando il mondo”, in quanto gli esseri umani sentono di non avere alcun controllo e di non comprendere i sistemi tecnici che li circondano. Anche se sconcertante, non è sempre un aspetto negativo. Si tratta di un prodotto di questa fase della vita moderna in cui gli sviluppi economici e tecnologici globalizzati producono un gran numero di artefatti tecnici e “oggetti codificati” che incorporano le principali capacità decisionali in materia di diritti umani.

Quali scelte in una frazione di secondo dovrebbe fare un veicolo azionato da un software se sa che sta per crollare? È più o meno probabile che in un sistema automatizzato vi siano pregiudizi razziali, etnici o di genere? Le disuguaglianze sociali sono semplicemente replicate o amplificate attraverso tecniche di elaborazione automatizzata dei dati?

Storicamente, le aziende private hanno deciso come sviluppare il software in linea con il quadro economico, legale ed etico che ritenevano appropriato. Sebbene esistano quadri emergenti per lo sviluppo di sistemi e processi che conducono al processo decisionale algoritmico o per la sua attuazione, essi sono ancora in una fase iniziale e di solito non affrontano esplicitamente le questioni relative ai diritti umani. In realtà, non è chiaro se e in quale misura i concetti giuridici esistenti siano in grado di cogliere adeguatamente le sfide etiche poste dagli algoritmi.

Inoltre, non è chiaro se un quadro normativo sull’uso di algoritmi o una regolamentazione efficace delle tecniche di trattamento automatizzato dei dati sia addirittura fattibile, in quanto molte tecnologie basate su algoritmi sono ancora agli albori ed è necessaria una maggiore comprensione delle loro implicazioni sociali.

A seconda del tipo di funzioni svolte dagli algoritmi e del livello di astrazione e complessità del trattamento automatizzato utilizzato, il loro impatto sull’esercizio dei diritti umani varierà. Chi è responsabile in caso di violazione dei diritti umani sulla base di decisioni preparate in modo algoritmico? La persona che ha programmato l’algoritmo, l’operatore dell’algoritmo o l’essere umano che ha attuato la decisione? C’è una differenza tra una tale decisione e una decisione presa dall’uomo? Quali effetti ha sul modo in cui i diritti umani sono esercitati e garantiti conformemente a norme consolidate in materia di diritti umani, compresi i principi dello Stato di diritto e i processi giudiziari?

Le sfide legate all’impatto degli algoritmi e delle tecniche di elaborazione automatizzata dei dati sui diritti umani sono destinate a crescere man mano che i sistemi correlati diventano sempre più complessi e interagiscono tra loro in modi che diventano progressivamente impenetrabili alla mente umana.

 

L’Impatto degli algoritmi sul giusto processo

Le riserve sugli algoritmi e sulle tecniche di elaborazione automatizzata dei dati indicano di solito la loro opacità e imprevedibilità. Al di là di queste preoccupazioni generali, tuttavia, vi è una crescente consapevolezza che i diritti umani specifici possano essere particolarmente colpiti, soprattutto dove si registra una crescita della tendenza all’uso di tecniche e algoritmi di trattamento automatizzato nella prevenzione della criminalità e nel sistema giudiziario penale.

In effetti, l’uso di questo tipo di dati può presentare alcuni vantaggi, in quanto insiemi di dati massicci possono essere trattati più rapidamente o alcuni rischi possono essere valutati in modo più accurato. Inoltre, l’uso di tecniche di trattamento automatizzato per determinare la durata di una pena detentiva può consentire un approccio più uniforme a casi comparabili.

Tuttavia, le crescenti preoccupazioni in materia di sicurezza nazionale hanno portato ad applicazioni sempre più ambiziose delle nuove tecnologie. A seguito di una serie di attacchi terroristici negli Stati Uniti e in Europa, i politici hanno chiesto alle piattaforme di social media online di utilizzare i loro algoritmi per identificare potenziali terroristi e agire di conseguenza. Alcune di queste piattaforme stanno già utilizzando algoritmi per identificare gli account che generano contenuti estremisti.

Oltre all’impatto significativo che tale applicazione di algoritmi ha per la libertà di espressione, essa solleva anche preoccupazioni per le norme sul giusto processo di cui all’articolo 6 della CEDU, in particolare la presunzione di innocenza, il diritto di essere informati tempestivamente della causa e della natura di un’accusa, il diritto a un processo equo e il diritto di difendersi di persona.

Possono sorgere preoccupazioni anche per quanto riguarda l’articolo 5 della CEDU, che protegge dalla privazione arbitraria della libertà, e l’articolo 7 (nessuna pena senza legge). Nel campo della prevenzione della criminalità, i principali dibattiti orientativi sull’uso degli algoritmi si riferiscono alla polizia predittiva.

Questo approccio va oltre la capacità degli esseri umani di trarre conclusioni dai reati del passato per prevedere i possibili modelli futuri di criminalità. Comprende sistemi automatizzati sviluppati che prevedono quali persone possono essere coinvolte in un reato, o possono diventare recidivi e quindi richiedono pene più severe. Comprende anche sistemi che consentono di prevedere dove è probabile che la criminalità si verifichi in un dato momento e che vengono poi utilizzati per dare priorità ai tempi di polizia per le indagini e gli arresti.

Tali approcci possono essere estremamente pregiudizievoli in termini di origine etnica e razziale e richiedono pertanto una supervisione scrupolosa e garanzie adeguate. Spesso i sistemi sono basati su banche dati di polizia esistenti che riflettono intenzionalmente o involontariamente pregiudizi sistemici. A seconda delle modalità di registrazione dei reati, della scelta dei reati da includere nell’analisi e degli strumenti analitici utilizzati, gli algoritmi predittivi possono quindi contribuire a decisioni pregiudizievoli e a risultati discriminatori.

Inoltre, sussistono notevoli preoccupazioni per il fatto che il funzionamento di tali valutazioni nel contesto della prevenzione della criminalità può creare “camere di risonanza” all’interno delle quali i pregiudizi preesistenti possono essere ulteriormente cementati. I pregiudizi legati, ad esempio, alla razza o all’origine etnica, non possono essere riconosciuti come tali dalla polizia se integrati in un programma informatico automatizzato ritenuto indipendente e neutrale.

Di conseguenza, i pregiudizi possono diventare standardizzati e quindi è meno probabile che vengano identificati e messi in discussione come tali. Anche se non è chiaro quanto siano prevalenti nel sistema giudiziario penale in generale, il semplice potenziale uso solleva serie preoccupazioni per quanto riguarda l’articolo 6 della CEDU e il principio della parità delle armi in contraddittorio, come stabilito dalla Corte europea dei diritti dell’uomo.

Inoltre, gli algoritmi sono sempre più utilizzati nel contesto dei sistemi di giustizia civile e penale, dove l’intelligenza artificiale è in fase di sviluppo per sostenere o sostituire il processo decisionale con giudici umani. Tali sistemi sono attualmente in fase di sperimentazione per individuare i risultati delle decisioni al fine di individuare modelli di decisioni giudiziarie complesse. Finora, il tasso di previsione affidabile è relativamente basso.

Si ritiene pertanto prematuro, al momento attuale, immaginare sistemi di questo tipo che sostituiscano i giudici. Tuttavia, si suggerisce che tali sistemi possano sostenere o assistere i giudici (e gli avvocati). Data la pressione di un elevato carico di lavoro e di risorse insufficienti di cui soffre la maggior parte delle magistrature, c’è il rischio che i sistemi di supporto basati sull’intelligenza artificiale siano impropriamente utilizzati dai giudici per “delegare” decisioni a sistemi tecnologici che non sono stati sviluppati a tale scopo e sono percepiti come più “oggettivi” anche quando non lo sono.

Occorre pertanto valutare con la massima attenzione quali sono i risultati che tali sistemi possono offrire e in quali condizioni possono essere utilizzati per non pregiudicare il diritto a un processo equo. Ciò vale in particolare quando tali sistemi sono introdotti obbligatoriamente, come nel caso delle decisioni sulla condizionale negli Stati Uniti.

Le preoccupazioni circa il pregiudizio giudiziario intorno alle decisioni sulla libertà condizionale hanno portato all’introduzione obbligatoria di software per prevedere la probabilità di recidiva in molti Paesi degli Stati Uniti. Tuttavia, indagini indipendenti su questo software suggeriscono che il programma utilizzato per prevedere i futuri criminali sia di parte; in particolare sarebbe “prevenuto” nei confronti degli afroamericani.

 

Nel processo penale

Anche se gli algoritmi sono stati utilizzati in qualche forma nel processo decisionale della giustizia penale a partire dagli anni ’20, essi stanno guadagnando un uso più ampio in settori quali il processo decisionale preprocessuale. Gli strumenti algoritmici prendono in considerazione una varietà di input, che vanno da poche variabili a oltre un centinaio e assegnano agli imputati un punteggio di rischio basato sulla probabilità di recidiva, di mancata comparizione in tribunale o entrambi.

Il punteggio viene poi spesso mostrato ai giudici, che possono scegliere di rilasciare gli imputati con punteggi a basso rischio sotto una qualche forma di supervisione limitata. Gli altri sono tenuti in carcere o ricevono una cauzione (il che spesso significa rimanere in carcere perché non hanno i soldi per pagare la cauzione).

Per alcuni riformatori della giustizia penale, la speranza è che l’uso degli strumenti contribuisca a ridurre la popolazione carceraria. E in alcuni luoghi, tra cui il New Jersey, la popolazione carceraria è diminuita dopo l’adozione di algoritmi di valutazione del rischio preprocessuale, come il Public Safety Assessment (PSA) della Fondazione Arnold e l’abbandono dell’uso della cauzione. Ma ci sono state anche critiche al PSA e ad altri algoritmi.

Quando i critici discutono di questi strumenti di valutazione del rischio, alcune tra le prime domande che emergono, spesso si concentrano sulla legalità del loro utilizzo. Nell’estate del 2016, la Corte Suprema del Wisconsin ha esaminato la legalità dell’uso di software di valutazione dei rischi nella pronuncia di una condanna penale.

State v. Loomis (State v. Loomis, 881 N.W.2d 749, Wisc. 2016) è uno dei primi casi negli Stati Uniti ad affrontare le preoccupazioni circa il fatto che l’esame da parte di un giudice di un punteggio di valutazione del rischio generato dal software durante la sentenza costituisca una violazione del giusto processo o una palese discriminazione.

La decisione ha suscitato reazioni contrastanti sia da parte del mondo accademico che del pubblico per l’approvazione dell’uso dei punteggi di valutazione del rischio nella sentenza, nonostante le chiare esitazioni di tutti e tre i giudici della giuria circa le potenziali distorsioni e altre implicazioni preoccupanti dell’uso di questi algoritmi.

Eric Loomis, l’imputato nella causa, era stato arrestato per aver utilizzato un’auto durante una sparatoria e si era reso colpevole di minori accuse di fuga dalla polizia e di guida di un’auto rubata. Dopo che egli si era dichiarato colpevole, il tribunale aveva richiesto un rapporto di indagine preliminare, che includeva tra le altre informazioni un punteggio di rischio calcolato utilizzando il sistema COMPAS, sviluppato dalla società Northpointe (poi ribattezzato Equivant).

Loomis era stato designato dall’algoritmo COMPAS come ad alto rischio per tutti e tre i tipi di recidiva misurati dal programma: recidiva preprocessuale, recidiva generale e recidiva violenta. Il fatto che fosse un molestatore sessuale registrato aveva probabilmente contribuito a quel punteggio, anche se la natura proprietaria del software – cioè l’impossibilità di studiarne l’algoritmo – rende difficile individuare esattamente il motivo per cui era stato designato ad alto rischio. Ciononostante, Loomis ricevette una condanna a sei anni di prigione e all’udienza il giudice Scott Horne glielo disse: “Gli strumenti di valutazione del rischio che sono stati utilizzati suggeriscono che sei ad altissimo rischio di recidiva”.

Loomis contestava la sentenza, sostenendo che l’uso da parte del giudice del punteggio di valutazione del rischio aveva violato il suo diritto a un giusto processo, vale a dire il suo diritto costituzionale a un processo equo. In particolare, egli aveva sostenuto che la violazione del giusto processo vi fosse per tre motivi:

1. era stato violato il suo diritto di essere condannato sulla base di informazioni accurate perché la natura proprietaria del software COMPAS gli aveva impedito di valutare l’accuratezza del punteggio;
2. era stato violato il suo diritto a una sentenza individualizzata perché il giudizio si basava su informazioni delle caratteristiche di un gruppo più ampio di individui per fare una deduzione sulla sua probabilità personale di commettere reati futuri;
3. erano state usate impropriamente “valutazioni di genere” nel calcolo del punteggio. In definitiva, il tribunale respingeva le affermazioni di Loomis e riteneva che il COMPAS avrebbe potuto essere utilizzato per la pronuncia della sentenza, anche se formulava diverse raccomandazioni per limitare l’uso del COMPAS in casi futuri.

In risposta all’argomento dell’accuratezza, il tribunale aveva riconosciuto che la natura proprietaria del COMPAS aveva impedito a Loomis di vedere esattamente come fosse stato calcolato il suo punteggio. Tuttavia, poiché la maggior parte delle informazioni utilizzate dall’algoritmo proveniva da un questionario da lui compilato e da registri pubblici, il tribunale aveva concluso che Loomis aveva avuto l’opportunità di garantirsi che le informazioni fossero accurate.

In proposito, nella sentenza si legge che “Nella misura in cui la valutazione del rischio di Loomis si basa sulle sue risposte alle domande e sui dati disponibili al pubblico sulla sua storia criminale, Loomis ha avuto l’opportunità di verificare che le domande e le risposte elencate nel rapporto COMPAS fossero esatte” (“Thus, to the extent that Loomis’s risk assessment is based upon his answers to questions and publicly available data about his criminal history, Loomis had the opportunity to verify that the questions and answers listed on the COMPAS report were accurate”).

Il tribunale aveva risposto alla argomentazione di Loomis sul suo diritto a una sentenza individualizzata distinguendo un caso ipotetico, in cui il punteggio di valutazione del rischio era l’unico fattore o il fattore determinante in una decisione di condanna, dal suo personale caso, in cui il punteggio di rischio era semplicemente un’informazione tra le tante che il giudice aveva considerato nella decisione di condanna.

Il tribunale suggeriva che una contestazione del giusto processo avrebbe potuto avere successo se il punteggio della valutazione del rischio fosse stato il fattore determinante o il fattore di ruolo considerato dal giudice, ma respingeva l’argomentazione di Loomis secondo cui considerarlo in assoluto costituiva una violazione del giusto processo. il tribunale sottolineava, infatti, che “Il sistema COMPAS ha il potenziale per fornire ai tribunali penali informazioni più complete per rispondere all’accresciuta necessità di informazioni in anticipo” (“COMPAS has the potential to provide sentencing courts with more complete information to address [the] enhanced need [for more complete information up front]”).

A sostegno di questa affermazione, il tribunale citava Malenchik v. State, una decisione della Corte Suprema dell’Indiana del 2010 che aveva esaminato simili strumenti di valutazione del rischio e aveva scoperto che aiutano i giudici “a valutare e pesare più efficacemente diverse considerazioni sulle condanne legali espresse, come la storia criminale, la probabilità di una risposta affermativa alla prova o alla detenzione a breve termine e il carattere e gli atteggiamenti che indicano che è improbabile che un imputato commetta un altro crimine” (“more effectively evaluate and weigh several express statutory sentencing considerations such as criminal history, the likelihood of affirmative response to probation or short term imprisonment, and the character and attitudes indicating that a defendant is unlikely to commit another crime”, Malenchik v. State, 928 N.E.2d 564, 574, Ind. 2010).

Infine, il tribunale considerava la sfida di Loomis all’uso del genere come una variabile che può modificare il punteggio di rischio del convenuto. La questione era stata complicata dal fatto che l’algoritmo COMPAS è proprietario e le parti nel caso in questione avevano contestato la meccanica del modo in cui COMPAS tiene conto del genere.

Loomis aveva sostenuto che l’algoritmo considerava il genere come un fattore criminogeno, mentre il tribunale sosteneva che è usato esclusivamente per “normazione statistica”, vale a dire per confrontare ogni autore di reato con un gruppo “normatore” del proprio genere. Tuttavia, Loomis aveva obiettato a qualsiasi uso del genere nel calcolo dei punteggi; il tribunale, in risposta, sosteneva che il genere deve essere considerato in una valutazione del rischio per ottenere l’accuratezza statistica, perché uomini e donne hanno tassi di recidiva diversi e differenti potenzialità riabilitative.

Il tribunale, respingendo l’argomento di Loomis, riteneva che “se l’inclusione del genere promuove l’accuratezza, serve gli interessi delle istituzioni e degli imputati, piuttosto che uno scopo discriminatorio” (“if the inclusion of gender promotes accuracy, it serves the interests of institutions and defendants, rather than a discriminatory purpose”).

Loomis aveva inoltre sostenuto che anche se le generalizzazioni statistiche basate sul genere erano accurate, erano incostituzionali. A sostegno di questa affermazione, aveva citato il caso Craig v. Boren (Craig v. Boren, 429 U.S. 190, 208-10, 1976), una causa del 1976 in cui la Corte Suprema aveva ritenuto che una legge dell’Oklahoma che trattava uomini e donne in modo diverso fosse incostituzionale, anche se basata su dati empirici che sostenevano la differenza di genere nella legge.

La Corte Suprema aveva argomentato che “i principi contenuti nella clausola di parità di protezione del quattordicesimo emendamento non devono essere resi inapplicabili da generalità statisticamente misurate ma non vincolanti riguardo alle…. tendenze dei gruppi aggregati” (“the principles embodied in the Equal Protection Clause [of the Fourteenth Amendment] are not to be rendered inapplicable by statistically measured but loose-fitting generalities concerning the… tendencies of aggregate groups”).

Loomis, tuttavia, non era riuscito a sollevare il suo reclamo come una violazione della parità di protezione, come il tribunale aveva trovato in Craig v. Boren, sostenendo invece che l’uso del genere aveva violato il suo diritto a un giusto processo. Ma la corte del Wisconsin riteneva che Loomis non avesse adempiuto all’onere di provare che la corte, in realtà, si basava sul genere come fattore di imposizione della sua sentenza, soprattutto perché il giudice non ne aveva fatto menzione nello spiegare la sua logica.

Dopo aver respinto tutte e tre le richieste di risarcimento danni di Loomis, il tribunale del Wisconsin approvava l’uso del COMPAS in questo caso particolare, ma esprimeva al contempo qualche esitazione sul suo uso futuro in assenza di chiare limitazioni. Il tribunale, innanzitutto, delineava gli usi consentiti per il software, osservando che, sebbene il sistema COMPAS non possa essere determinante, i punteggi di rischio possono essere considerati un fattore rilevante in diverse circostanze, tra cui:

1. dirottare i detenuti a basso rischio verso un’alternativa non carceraria;
2. valutare il rischio per la sicurezza pubblica che un condannato rappresenta e se può essere controllato in modo sicuro ed efficace nella comunità piuttosto che in carcere;
3. informare le decisioni sui termini e le condizioni di libertà vigilata e supervisione.

La corte continuava a prescrivere limitazioni chiave per il suo uso. Mentre il punteggio di rischio può aiutare un giudice a comprendere meglio la situazione unica dell’imputato e i fattori rilevanti, il tribunale riteneva che non dovrebbe essere utilizzato per determinare la durata o la gravità della pena, e certamente non dovrebbe essere considerato come un fattore aggravante o attenuante ufficiale in una decisione di condanna.

La corte riconosceva che il COMPAS non era stato progettato con tutti gli obiettivi della punizione in mente, ma piuttosto con un focus sulla sola recidiva. La sua mancanza di rilevanza rispetto ad altri importanti obiettivi di condanna come la punizione (che è una valutazione retrospettiva della colpevolezza di un individuo) e la deterrenza (un concetto più ampio che va oltre l’individuo) lo rende un “cattivo adattamento” per determinare la durata della pena.

Al fine di garantire che queste limitazioni fossero rispettate, il tribunale affermava la necessità che un giudice spiegasse nella sentenza “i fattori in aggiunta alla valutazione del rischio del COMPAS che supportano in modo indipendente la sentenza inflitta” (“the factors in addition to a COMPAS risk assessment that independently support the sentence imposed”).

La Corte inoltre esaminava le informazioni che dovrebbero essere incluse in qualsiasi relazione di indagine preliminare contenente un punteggio COMPAS. Queste informazioni sono le seguenti:

1. Il COMPAS è uno strumento proprietario che ha impedito la divulgazione di informazioni specifiche sulle ponderazioni dei fattori o sulle modalità di calcolo dei punteggi di rischio;
2. I punteggi del COMPAS si basano su dati di gruppo e quindi identificano gruppi con caratteristiche che li rendono trasgressori ad alto rischio, non individui particolarmente ad alto rischio;
3. Diversi studi hanno suggerito che l’algoritmo COMPAS può essere distorto nel modo in cui classifica gli autori di reati minoritari;
4. Il COMPAS confronta gli imputati con un campione nazionale, ma non ha completato uno studio di convalida incrociata per una popolazione del Wisconsin, e strumenti come questo devono essere costantemente monitorati e aggiornati per verificarne l’accuratezza in funzione dei cambiamenti demografici;
5. Il sistema COMPAS non è stato originariamente sviluppato per l’uso durante la condanna.

I pareri convergenti degli altri giudici, riportati nella sentenza, ribadivano la nota di cautela circa il fatto di affidarsi in modo significativo al punteggio COMPAS.

Il Presidente di Giuria Patience Drake Roggensack scriveva separatamente per chiarire che mentre un giudice di condanna può considerare un punteggio COMPAS, non può fare affidamento su di esso nel prendere la sua decisione di condanna (“consideration of COMPAS is permissible; reliance on COMPAS for the sentence imposed is not permissible”).

Il giudice Shirley Abrahamson aveva anche scritto separatamente per sottolineare che, nel considerare il COMPAS o altri strumenti di condanna, un giudice “deve indicare nel verbale un processo significativo di ragionamento che affronti la rilevanza, i punti di forza e le debolezze dello strumento di valutazione del rischio “come mezzo per affrontare le preoccupazioni sul loro uso” (“a circuit court must set forth on the record a meaningful process of reasoning addressing the relevance, strengths, and weaknesses of the risk assessment tool”).

Essa inoltre osservava che la mancanza di comprensione del COMPAS e di come funziona era stato un “problema significativo” in questo caso.

Essendo uno dei primi casi ad affrontare in modo diretto la più recente incarnazione dei punteggi della valutazione del rischio, il caso Loomis è significativo, ma non determinante. Il parere ha dimostrato non solo le sfide che la corte ha dovuto affrontare per capire come funzionano programmi come il COMPAS, ma anche il fatto che ci sono pochi precedenti utili per guidare il processo decisionale dei giudici quando si tratta di valutare la legalità di tali programmi e di creare restrizioni significative.

Conclusioni

Al di là di quanto verificatosi nelle corti americane, una considerazione potenzialmente utile per discernere se gli algoritmi promuovono o impediscono un trattamento discriminatorio è quella di fare riferimento alla distinzione giuridica tra discriminazione diretta e indiretta.

La discriminazione diretta si verifica quando un decisore basa la sua decisione direttamente su criteri o fattori considerati illegali (come la razza, l’etnia, la religione, il sesso, l’orientamento sessuale, l’età o la disabilità). Spesso questi pregiudizi illegittimi sono commessi inconsapevolmente e sulla base di informazioni esterne al set di dati che dovrebbero costituire la base del processo decisionale (ad esempio, un intervistatore che nota l’età o l’origine razziale della persona che si trova di fronte a lei). Probabilmente i sistemi basati su algoritmi sono più efficaci nell’escludere tali distorsioni dirette.

La discriminazione indiretta si verifica quando una determinata caratteristica o fattore si verifica più frequentemente nei gruppi di popolazione contro i quali è illegale discriminare (ad esempio, una persona con una determinata origine razziale o etnica che vive in una determinata area geografica; le donne che hanno meno anni pensionabili a causa di interruzioni di carriera).

Poiché i sistemi decisionali algoritmici possono essere basati sulla correlazione tra insiemi di dati e considerazioni sull’efficienza, c’è il rischio che tali sistemi perpetuino o aggravino la discriminazione indiretta attraverso gli stereotipi. La discriminazione indiretta è presente solo quando il trattamento differenziato non può essere giustificato.

Quando si utilizzano sistemi decisionali algoritmici è quindi importante cercare di evitare trattamenti differenziali ingiustificati e progettare i sistemi di conseguenza. In particolare, il trattamento differenziato sarà ingiustificato e illegale quando si basa su dati distorti per generare una valutazione del rischio.

In tal caso, la decisione stessa non è direttamente ma indirettamente discriminatoria, in quanto si basa su dati e informazioni che possono essere, ad esempio, di natura razziale. Un esempio è il caso in cui il sistema penale utilizzi strumenti di valutazione del rischio per decidere se a una persona debba essere concessa la libertà provvisoria.

Questo sistema genera profili di rischio che si basano su dati della polizia, come il numero o i nuovi arresti per lo stesso reato. Il fatto di ri-arrestare, tuttavia, può essere la conseguenza di una discriminazione diretta (polarizzazione razziale).

Se i sistemi decisionali algoritmici sono basati su precedenti decisioni umane, è probabile che gli stessi pregiudizi che potenzialmente minano il processo decisionale umano siano replicati e moltiplicati nei sistemi decisionali algoritmici, solo che sono poi più difficili da identificare e correggere.

(4 votes, average: 5,00 out of 5)
Loading...