Algoritmo fair, algoritmo etico?

Nel dibattito contemporaneo sull’Intelligenza Artificiale, pochi concetti godono di una reputazione tanto positiva quanto quello di fairness.

Sistemi automatizzati di supporto alla decisione vengono impiegati in ambiti sempre più delicati (1), con risultati spesso ingiusti e discriminatori: dalla selezione del personale all’accesso al credito, dalla giustizia penale alla sanità, fino alla distribuzione di risorse scarse. Di fronte alla crescente pervasività di tali sistemi, uno dei criteri più frequentemente invocati per valutarne l’accettabilità etica è quello della fairness, spesso tradotta con “equità” (2).

Un algoritmo è considerato etico nella misura in cui è anche fair; e, parallelamente, un algoritmo fair tende a essere presentato, almeno in parte, come eticamente giustificato.

Nondimeno, questa identificazione tra equità ed eticità, ormai largamente diffusa tanto nel discorso tecnico quanto in quello politico e mediatico, è tutt’altro che scontata, e meriterebbe pertanto di essere problematizzata. La fairness è davvero sinonimo di eticità? E soprattutto: secondo quale idea di etica?

Che cosa intendiamo quando parliamo di fairness?

Nel contesto dei sistemi automatizzati di supporto alla decisione, esistono due principali definizioni di fairness: di gruppo e individuale. Secondo la prima, gruppi diversi – definiti sulla base di attributi sensibili come genere, etnia o classe sociale – dovrebbero presentare risultati simili, ovvero le decisioni del sistema non dovrebbero svantaggiare sistematicamente alcun gruppo rispetto agli altri (3). Ad esempio, in un contesto di accesso al credito, l’equità di gruppo imporrebbe che gruppi diversi (come uomini e donne) abbiano probabilità simili di ottenere un prestito.

La fairness individuale implica invece che individui “simili” – in termini di caratteristiche rilevanti rispetto alla decisione – siano soggetti a decisioni simili (4).

Ad esempio, un algoritmo di assunzione dovrebbe garantire che due candidati con qualifiche ed esperienze lavorative simili ricevano un trattamento analogo. L’attenzione alla fairness nasce come risposta a casi ormai noti di decisioni algoritmiche discriminatorie: sistemi di selezione del personale che hanno penalizzato le donne (5), algoritmi predittivi utilizzati in ambito giudiziario che colpiscono in modo sproporzionato alcune minoranze (6), sistemi di assegnazione di sussidi statali che hanno discriminato gruppi sociali già marginalizzati (7). In questo senso, la fairness rappresenta senza dubbio un tentativo importante di correggere storture evidenti.

Equità ed etica: una relazione contingente

Tuttavia, l’idea che l’equità sia moralmente auspicabile presuppone una visione ben precisa dell’etica, come ad esempio quella proposta dalla giustizia distributiva (8).

Eppure, le teorie morali non sono tutte uguali, e il rapporto tra fairness ed eticità cambia radicalmente a seconda del quadro teorico adottato. Dal punto di vista dell’etica consequenzialista, ad esempio, un’azione è etica se le sue conseguenze massimizzano il bene collettivo, inteso come la somma degli interessi di tutti gli individui (9). Da questo punto di vista, un algoritmo fair potrebbe produrre conseguenze indesiderabili se non dannose, garantendo ad esempio un accesso al credito a tutti i gruppi sociali.

Poiché il consequenzialismo presuppone che gli interessi dei singoli possano essere sommati per ottenere un bene globale, alcune critiche a tale approccio sostengono che questo non tenga conto della differenza qualitativa tra gli individui (10). Tali critiche poggiano sull’etica deontologica, secondo cui l’azione morale è definita dalla sua conformità a una serie di principi, piuttosto che dalle conseguenze che produce (11). Tra tali principi vi è il rispetto del valore intrinseco, della dignità e dell’autonomia di ogni individuo, considerato come soggetto morale, ossia come un soggetto degno di ricevere azioni etiche, verso il quale è giusto agire moralmente.

Un quadro etico alternativo sia a quello consequenzialista che deontologico è l’approccio dell’etica della cura (12). Partendo da una visione relazionale del sé (13), l’attenzione viene posta sui bisogni di cura dell’altro e sulla sua vulnerabilità, concettualizzando una moralità basata sulla vicinanza e sul riconoscimento della singolarità e del contesto specifico di chi ci è prossimo, a scapito dell’imposizione di modelli universalmente validi, astratti e decontestualizzati. Se guardiamo alla questione della fairness seguendo questi ultimi due approcci – quello deontologico e della cura – emerge una criticità, il cui nodo centrale riguarda il funzionamento stesso degli algoritmi: questi, anche quando fair, operano attraverso variabili e categorie, riducendo il singolo a un insieme di caratteristiche. L’approccio categoriale comporta una perdita strutturale della singolarità, la quale non è semplicemente una combinazione unica di tratti già noti, ma l’esistenza di tratti essi stessi irripetibili, il modo irriducibile in cui una persona vive, si relaziona e risponde al mondo. In tutti quei contesti in cui il riconoscimento della singolarità individuale e delle sfumature situazionali risulta essenziale – come i contesti su cui l’etica deontologica e della cura pongono la loro attenzione – la fairness, basata su tali riduzioni categoriali, può risultare eticamente inadeguata.

La natura statistica del processo decisionale algoritmico implica che i singoli casi siano necessariamente valutati attraverso modelli generali e correlazioni a livello di popolazione, il che può condurre a risultati moralmente problematici quando le decisioni vengono prese in relazione a singoli individui. Le rappresentazioni categoriali su cui si basa l’IA riducono l’identità del singolo a una “combinazione originale” di variabili predeterminate, senza lasciare spazio a una “rinegoziazione” simultanea di tali caratteristiche (poiché sarebbe necessario un nuovo addestramento del modello algoritmico). Questa mancanza di flessibilità rende impossibile riconoscere la singolarità individuale al di là dei dati codificati.

Si potrebbe obiettare che anche gli esseri umani ragionino per categorie. Tuttavia, queste possono, almeno potenzialmente, essere rinegoziate, modificate, adattate e combinate in ogni momento, senza bisogno di un “riaddestramento”. Inoltre, la capacità umana di esperire consente di generare categorie inedite, nate dall’esperienza stessa (pensiamo a una sensazione mai provata prima, a un timbro sonoro mai ascoltato, a una forma di vita mai incontrata).

Gli algoritmi, al contrario, operano all’interno di uno spazio categoriale circoscritto: le variabili che utilizzano sono stabilite a priori, e non possono essere modificate “in itinere”. In secondo luogo, le categorie non sono mai neutrali, ma derivate da contesti culturali e sociali specifici. L’atto stesso di classificare implica l’esercizio di un potere: significa stabilire cosa conta, cosa è rilevante, cosa resta invisibile. Le tassonomie che utilizziamo riflettono assetti culturali, epistemici e politici già esistenti. Quando un sistema automatizzato utilizza categorie sociali per prendere decisioni – anche con l’intento di riequilibrare disuguaglianze – rischia di rafforzare, codificare e cementificare quelle stesse classificazioni.

Etiche implicite

La fairness è eticamente ambigua: può essere compatibile con alcune concezioni morali, ma entrare in conflitto con altre. Quando deleghiamo decisioni a sistemi automatici senza interrogare i loro presupposti morali, rinunciamo a una parte del nostro spazio di deliberazione collettiva. Chi decide quale etica deve guidare le macchine? E su quale base? È qui che emerge il fenomeno del fair-washing: la tendenza a descrivere i sistemi automatizzati come automaticamente etici in virtù della loro fairness, evitando di interrogarsi sul quadro morale che li sostiene. Solo a partire da una riflessione condivisa su obiettivi e valori che vogliamo che un algoritmo incorpori possiamo valutare quali caratteristiche – inclusa, eventualmente, la fairness – siano appropriate. Altrimenti, il rischio è quello di pensare che basti rendere le macchine “fair” per sollevarci dal compito, più difficile, di decidere collettivamente che cosa intendiamo per etico.

Bibliografia

(1)

• N. Bostrom, E. Yudkowsky, The Ethics of Artificial Intelligence, in K. Frankish & W. M. Ramsey (Eds.), The Cambridge Handbook of Artificial Intelligence (pp. 316-334), Cambridge University Press, 2014.
• A. Jobin, M. Ienca, E. Vayena, The Global Landscape of AI Ethics Guidelines, Nature Machine Intelligence, 1 (pp. 389-399), 2019.

(2)

• B. Lepri, N. Oliver, E. Letouzé, A. Pentland, P. Vinck, Fair, Transparent, and Accountable Algorithmic Decision-making Processes, Philosophy & Technology, 31 (pp. 611-627), 2018.
• https://www.europarl.europa.eu/cmsdata/196377/AI%20HLEG_Ethics%20Guidelines%20for%20Trustworthy%20AI.pdf
• A. Chouldechova, A. Roth, The Frontiers of Fairness in Machine Learning, arXiv, 2018.

(3) M. Hardt, E. Price, N. Srebro, Equality of Opportunity in Supervised Learning, Advances in neural information processing systems, 2016.

(4) C. Dwork, M. Hardt, T. Pitassi, O. Reingold, R. Zemel, Fairness through Awareness, in S. Goldwasser (Eds.), Proceedings of the 3rd innovations in theoretical computer science conference (pp. 214-226). Association for Computing Machinery, New York, 2012.

(5) https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/

(6) https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest.html

(7) https://www.agendadigitale.eu/cultura-digitale/algoritmi-troppo-invasivi-contro-le-frodi-fiscali-la-lezione-delle-dimissioni-del-governo-olandese/

(8)

• R. Binns, Fairness in machine learning: Lessons from political philosophy, Conference on fairness, accountability and transparency, 2018.
• F.A. Khan, E. Manis, J. Stoyanovich, Fairness as Equality of Opportunity: normative guidance from political philosophy, arXiv, 2018.
• C. Hertweck, C. Heitz, M. Loi, On the Moral Justification of Statistical Parity, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.

(9) P. Pettit, Consequentialism, In S. Darwall (Eds.), Consequentialism (pp. 95-107). Blackwell, Oxford, 2003.

(10) J. Taurek, Should the Numbers Count?, Philosophy and Public Affairs, 6: 293–316, 1977.

(11) I. Kant, Groundwork for the Metaphysics of Morals, New Haven, 1785.

(12) C. Gilligan, In a Different Voice: Psychological Theory and Women’s Development, Harvard University Press, 1982.

(13) V. Held, The Ethics of Care: Personal, Political, and Global, Oxford University Press, 2005.