Algoritmi e nuove schiavitù - di Viviana Molaschi - 28 LUGLIO 2021 - Sipotra

ISSN 1826-3534

          28 LUGLIO 2021

Algoritmi e nuove schiavitù

         di Viviana Molaschi
 Professoressa associata di Diritto amministrativo
        Università degli Studi di Bergamo

Algoritmi e nuove schiavitù*
                                              di Viviana Molaschi
                              Professoressa associata di Diritto amministrativo
                                     Università degli Studi di Bergamo

Abstract [It]: Lo scritto si prefigge di indagare i rischi di nuove forme di schiavitù che possono derivare dal
pervasivo utilizzo degli algoritmi nelle società contemporanee. Tecnologia e tecnica hanno sempre avuto la
funzione di ‘mezzi’ per dare attuazione a decisioni prese da agenti umani; oggi si assiste ad una trasformazione di
esse da ‘strumento’ a ‘soggetto’ di decisioni che incidono significativamente su diritti e libertà degli individui.
Nell’analisi di queste problematiche, pur proponendosi di avere uno sguardo di insieme, specifica attenzione sarà
dedicata all’impatto di tali innovazioni tecnologiche sui rapporti tra pubblici poteri e cittadini.

Abstract [En]: The article aims at investigating the risks of new forms of slavery deriving from the pervasive use
of algorithms in contemporary societies. Technology has always been an instrument for the implementation of
human decisions; nowadays, technological means are becoming themselves decision-makers whose choices
significantly affect individual rights and liberties. The paper, within a general overview of the main issues relating
to the topic, devotes specific attention to the impact of these technological innovations on the relationship between
public power and citizens.

Parole chiave: algoritmi; nuove schiavitù; pubblici poteri; diritti; libertà
Keywords: algorithms; new forms of slavery; public power; rights; liberties

Sommario: 1. Considerazioni preliminari. Gli algoritmi: da ‘strumento’ a ‘soggetto’ di decisioni. 2. Il ‘dominio
dispotico’ degli algoritmi. 3. Dal ‘dominio dispotico’ degli algoritmi a quello delle pubbliche amministrazioni. Lo
statuto della regola algoritmica. 4. I principi del GDPR in materia di decisioni algoritmiche. Il principio di non
discriminazione algoritmica: rinvio. 5. La profilazione: cenni introduttivi. 6. Dati personali in cambio di servizi.
Implicazioni in tema di libertà del consenso. 7. Profilazione, mercificazione e sfruttamento. Il ‘capitalismo della
sorveglianza’. 8. Discriminazione e nuove schiavitù. Il principio di non discriminazione algoritmica. 9. Osservazioni
conclusive.

1. Considerazioni preliminari. Gli algoritmi: da ‘strumento’ a ‘soggetto’ di decisioni
Lo scritto si propone di indagare i rischi di nuove forme di schiavitù – intese come condizioni di
soggezione e di privazione di diritti/libertà – che possono derivare dalla massiva diffusione degli
algoritmi1.

* Articolo sottoposto a referaggio. L’idea di questo contributo è nata nell’ambito di una serie di incontri sulle nuove
forme di schiavitù delle società contemporanee organizzati dal Laboratorio su Cittadinanze e Inclusione Sociale
(La.C.I.S.), istituito presso il Dipartimento di Giurisprudenza dell’Università degli Studi di Brescia.
1 Semplificando, gli algoritmi sono «procedure codificate per trasformare i dati di ‘input’ in un ‘output’ desiderato, in

base a calcoli specifici»: tra le varie definizioni si è scelta quella di M. DURANTE, Potere computazionale. L’impatto delle ICT
su diritto, società, sapere, Meltemi, Milano, 2019, 237, che si rifà, tra gli altri, a T. GILLESPIE, The relevance of alghorithms, in T.
GILLESPIE - P.J. BOCZKOWSKI - K.A. FOOT (a cura di), Media Technologies: Essays on Communication, Materiality and Society,
MIT Press, Cambridge Mass., 2014, 167. Gli algoritmi sono insiemi di regole/istruzioni per svolgere funzioni o risolvere
problemi attraverso una serie di passi definiti. Invero, essi presentano diversi livelli di complessità, in base ai quali
possono essere classificati secondo una scala qualitativa che ne mette in evidenza prevedibilità, comprensibilità e
‘intelligenza’. Quello più semplice è il c.d. ‘white box’, interamente predeterminato nei suoi passaggi. ‘Grey box’ è invece
un algoritmo non completamente predeterminato, ma i cui aspetti non predefiniti possono essere facilmente predetti e

205                                                  federalismi.it - ISSN 1826-3534                                     |n. 18/2021

Si può fin da ora anticipare che l’analisi di tale problematica intercetterà, per non pochi aspetti, il
fenomeno dei ‘big data’, ossia quella incredibile mole di informazioni digitali, caratterizzata da volume,
velocità e varietà inediti2, che rappresenta il terreno d’elezione per l’operatività degli algoritmi.
La direzione di ricerca prescelta non intende certo ignorare il fatto che gli algoritmi, eccezionale strumento
di progresso, possono operare al servizio della persona, nonché per il bene comune.
Gli esempi sono innumerevoli e val la pena citarne alcuni. Si pensi a ‘Global Pulse’, iniziativa delle Nazioni
Unite che ha messo in rete laboratori di tutto il mondo che studiano e sperimentano come ‘big data’ e
intelligenza artificiale possano essere utilizzati in funzione dello sviluppo sostenibile, per azioni umanitarie
e per la pace3.
Sempre nell’ambito della tutela dei diritti umani, gli algoritmi possono aiutare il reinsediamento e
l’integrazione dei rifugiati4.
Infine, non si può non spendere qualche parola sull’importanza degli algoritmi nel campo della salute.
Guardando all’attualità, il loro impiego si sta rivelando cruciale nella lotta alla pandemia da Covid-19: gli
algoritmi sono in grado di analizzare le Tac dei polmoni e fornire diagnosi in tempi molto rapidi; possono
altresì formulare accurate previsioni sul decorso della malattia5. Il CNR sta sviluppando algoritmi per
studiare il diffondersi delle varianti6.
Sennonché in questo scritto, più che delle luci, ci si occuperà delle ombre.
Il sempre più frequente utilizzo di procedure informatiche fondate su algoritmi sta infatti conducendo ad
un sovvertimento della distinzione tra «agente» e «strumento»7 nella determinazione di azioni e relazioni.
Tecnologia e tecnica hanno sempre avuto la funzione di ‘mezzi’ per l’attuazione di decisioni prese da

compresi. Si parla di ‘black box’ quando è difficile o impossibile spiegare le caratteristiche dell’algoritmo ossia capirne il
funzionamento. Un algoritmo ‘sentient’ è un algoritmo che è in grado di superare il Test di Turing, ossia ha raggiunto o
anche superato l’intelligenza umana. Sono dotati della c.d. ‘singularity’ gli algoritmi capaci di ‘recursive self
improvement’, vale a dire di apprendere e migliorarsi senza alcuna azione esterna. Per tale tassonomia v. A. TUTT, An
FDA for Algorithms?, in Administrative Law Review, 2017, 69, 107, http://www.administrativelawreview.org/wp-
content/uploads/2019/09/69-1-Andrew-Tutt.pdf. Il fenomeno degli algoritmi, peraltro, non può essere definito
unicamente sulla base di canoni tecnologici. Rileva al riguardo R. KITCHIN, Thinking critically about and researching algorithms,
in Information, Communication & Society, 2016, 20, 1, http://dx.doi.org/10.1080/1369118X.2016.1154087, che gli algoritmi
possono essere concepiti in vari modi: «technically, computationally, mathematically, politically, culturally, economically,
contextually, materially, philosophically, ethically».
2 «Big data is high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative

forms of information processing that enable enhanced insight, decision making, and process automation»:
https://www.gartner.com/en/information-technology/glossary/big-data.
3 Per le caratteristiche di tale iniziativa si rinvia al sito: https://www.unglobalpulse.org/.
4 L’ ‘International Rescue Committee’ sta lavorando con l’Università di Stanford per testare un modello predittivo che

sia utile in tal senso. Si v. al riguardo lo studio di K. BANSAK - J. FERWERDA - J. HAINMUELLER - A. DILLON - D.
HANGARTNER - D. LAWRENCE - J. WEINSTEIN, Improving refugee integration through data-driven algorithmic assignment, in Science,
359, 2018, 325 ss.
5 V. F. CERATI, Coronavirus e intelligenza artificiale, un algoritmo prevede il decorso, in Il Sole 24 ore, 24 marzo 2021.
6 Trattasi di notizia dell’Agi, Nuovi algoritmi del Cnr per studiare la diffusione delle varianti Covid, 23 marzo 2021.
7 V. ARISTOTELE, Etica nicomachea, libro III.

206                                               federalismi.it - ISSN 1826-3534                                 |n. 18/2021

agenti umani; oggi si assiste ad una trasformazione di esse da ‘strumento’ a ‘soggetto’ di decisioni che
incidono significativamente su diritti e libertà degli individui8.
Invero, siamo noi stessi a demandare esplicitamente a tali sistemi automatizzati, dotati di capacità di
calcolo e predittive inimmaginabili per un uomo, lo svolgimento di compiti e l’assunzione di decisioni al
posto nostro. Il sovvertimento del rapporto uomo-macchina è quindi anche il portato di nostre scelte ed
è, quantomeno in parte, una nostra responsabilità.
Alcuni studi sugli algoritmi riferiscono una rappresentazione scherzosa dell’equipaggio ideale di un
aeroplano, che ben esprime l’odierna fiducia riposta negli algoritmi, cui però spesso si accompagna un
forte scetticismo verso l’operato umano: «There is an old joke among pilots that says the ideal flight crew
is a computer, a pilot and a dog. The computer’s job is to fly the plane. The pilot is there to feed the dog.
And the dog’s job is to bite the pilot if he tries to touch the computer»9.
Per comprendere tale atteggiamento nei confronti degli algoritmi può essere di interesse leggere quanto
dice di ‘Vital’10, il primo algoritmo consigliere d’amministrazione, la società che ha scelto di avvalersene:
«Gli uomini sono emotivi e soggettivi. Possono fare degli errori. Le macchine, invece, possono scegliere
il cammino giusto in base all’intuizione e la logica»11. Gli algoritmi sono immuni dalle debolezze della
psiche umana. Ad essi si attribuisce il crisma dell’oggettività e della neutralità.
Nel rapporto uomo-macchina si realizza un ‘anchoring effect’, un effetto di ancoraggio, messo in luce da
ricerche di psicologia comportamentale12 secondo le quali, riassumendo, degli algoritmi ci si fida più che
dei nostri simili13.
Degli algoritmi, quindi, non si riesce più a fare a meno e in questo si può ravvisare, se non una schiavitù,
quantomeno una dipendenza, il che rispetto al tema della schiavitù opera come elemento predisponente.
Ai casi di delega espressa agli algoritmi di compiti, ma soprattutto, per quanto qui rileva, di processi
decisionali si aggiungono quelli in cui l’impatto degli algoritmi su questi ultimi è indiretto: le informazioni

8 In argomento v. A. SIMONCINI, L’algoritmo incostituzionale: intelligenza artificiale e il futuro delle libertà, in Biolaw Journal,
1/2019, 67 ss.
9 Ne parla B. MARCHETTI, La garanzia dello Human in the loop alla prova della decisione amministrativa algoritmica, in Biolaw

journal, 2/2021, 1, citando un articolo della rivista The Economist: Humans may not always grasp why AIs act. Don’t panic, 15
febbraio 2018.
10 Vital è l’acronimo di ‘Validating Investment Tool for Advancing Life Science’.
11 Così in una nota la ‘Deep Knowledge Ventures’ (DKV), società giapponese specializzata in biotecnologie con sede a

Hong Kong, che precisa: «Sommando questo all’esperienza degli investitori dell’impresa, sarà possibile minimizzare i
rischi». La vicenda di Vital, ‘robot manager’, è descritta da R. MIRANDA, Chi è Dmitry Kaminskiy, la mente dietro il primo
robot consigliere d’amministrazione, in https://formiche.net/2014/05/chi-che-dmitry-kaminskiy-la-mente-dietro-al-primo-
robot-consigliere-damministrazione/ (ultimo accesso: 3 luglio 2021).
12 L’apporto degli studi di psicologia comportamentale nella comprensione del rapporto uomo-macchina è evidenziato

da B. MARCHETTI, La garanzia dello Human in the loop alla prova della decisione amministrativa algoritmica, cit., 8. In tema v. J.M.
LOGG - J.A. MINSON - A. MOORE, Algorithm appreciation: people prefer algorithmic to human judgment, in Organizational Behavior
and Human Decision Processes, 151, 2019, 90 ss.
13 Si è ad esempio rilevato che un individuo tenda nell’88% dei casi a restare della propria idea a seguito di confronto

con un’altra persona, mentre sia portato nel 66% dei casi a cambiarla se il ‘pensiero’ divergente è quello di un algoritmo.

207                                                federalismi.it - ISSN 1826-3534                                   |n. 18/2021

e le conoscenze sulla base delle quali prendiamo le nostre decisioni derivano in gran parte da piattaforme
tecnologiche i cui contenuti informativi, facilmente accessibili e quindi tanto più utilizzati, sono elaborati
sulla base di algoritmi14.
In via diretta o indiretta, quindi, gli algoritmi ‘catturano’ la decisione umana15.
Infine, non va dimenticato un ulteriore aspetto della profonda influenza degli algoritmi sulle società
contemporanee: la loro pervasività risiede non solo nel fatto che essi vengono impiegati con intensità
crescente, ma anche nella loro capacità di conformare l’ambiente in cui viviamo16. Non solo si tende a
delegare agli algoritmi compiti e decisioni sempre più rilevanti, ma ambiente e società vengono trasformati
in modo tale da favorirne l’uso, in particolare attraverso la diffusione di dispositivi che funzionano in
base ad essi.
L’esempio tipico di questo processo di cambiamento è rappresentato dall’ ‘internet of things’ o internet
delle cose. Il riferimento è in particolare ai c.d. ‘smart objects’, di cui come singoli e come società ci si
serve ormai quotidianamente17. Emblematiche di tale capacità conformativa degli algoritmi sono le ‘smart
city’18, che altro non sono che ‘città algoritmiche’19. Significativamente l’‘internet of things’ si è evoluto
nell’ ‘internet of everything’: si vive in un ‘mondo algoritmico’.
In questo quadro si fa sempre più pressante la preoccupazione di scongiurare che «lo sviluppo
dell’automazione porti l’uomo in una posizione di subordinazione a una sua stessa creazione»20.

14 Si pensi a ‘Google’, il più importante motore di ricerca: l’algoritmo che governa l’indicizzazione delle pagine ‘web’
segue la regola del grado di popolarità. E questa è ormai divenuta la fonte principe del nostro sapere.
15 Secondo A. SIMONCINI, L’algoritmo incostituzionale: intelligenza artificiale e il futuro delle libertà, cit., 69-71 sono quindi due

le modalità attraverso cui si realizza l’evoluzione della tecnologia da ‘strumento’ a ‘soggetto’. La prima consiste in una
‛mutazione diretta’, in cui è l’uomo stesso a chiedere alla macchina di decidere. La seconda è una ‘mutazione indiretta’:
meno evidente, ma non per questo meno rilevante.
16 È questa una delle idee di fondo dell’illuminante volume di M. DURANTE, Potere computazionale. L’impatto delle ICT su

diritto, società, sapere, cit., passim. L’autore acutamente osserva come la riconfigurazione dell’ambiente dovuta agli algoritmi
comporti «quella epistemica della conoscenza e della rappresentazione del mondo» (p. 37).
17 Si pensi, a titolo esemplificativo, agli ‘smart metering’, alle ‘smart car’, agli oggetti e agli apparecchi che rendono ‘smart’

la nostra casa, per arrivare alle ‘smart grid’ ovvero alle ‘smart city’, cui si accenna nel testo. Per una sintetica illustrazione,
chiara anche ai non addetti ai lavori, delle funzionalità degli ‘smart objects’ (identificazione, localizzazione, diagnosi di
stato, interazione con l’ambiente circostante, elaborazione dati e ovviamente connessione) v. A. TUMINO (24 aprile
2019), Internet of Things: gli oggetti intelligenti prima di ogni "cosa", in osservatori.net.
18 La letteratura in materia di smart city è ormai molto ampia: ex multis v. G.F. FERRARI (a cura di), La prossima città,

Mimesis, Sesto San Giovanni, 2017; R. FERRARA, The Smart City and the Green Economy in Europe: a Critical Approach, in
Energies, 8/2015; F. FRACCHIA - P. PANTALONE, Smart City: condividere per innovare (e con il rischio di escludere?) (25 novembre
2015), in federalismi.it, 22/2015; E. FERRERO, Le smart cities nell’ordinamento giuridico, in Foro amm., 2015, 1267 ss.; A.
CASINELLI, Le città e le comunità intelligenti, in Giorn. dir. amm., 2013, 240 ss.
19 Sulla città algoritmica v., tra gli altri, G. CHIESA - R. PAGANI (a cura di), Urban data. Tecnologie e metodi per la città algoritmica,

Franco Angeli, Milano, 2017.
20 In questi termini A. PAJNO - M. BASSINI - G. DE GREGORIO - M. MACCHIA - F.P. PATTI - O. POLLICINO - S.

QUATTROCOLO - D. SIMEOLI - P. SIRENA, AI: profili giuridici. Intelligenza artificiale: criticità emergenti e sfide per il giurista, 2019,
13.

208                                                  federalismi.it - ISSN 1826-3534                                      |n. 18/2021

Alcuni autori hanno persino visto riproporsi nel rapporto tra l’uomo e le nuove tecnologie una dinamica
servo (rectius: schiavo) - padrone21 invertita: gli algoritmi si impongono per la loro presunta neutralità e la
loro forza pratica e rendono schiavo il decisore. È la c.d. «dittatura dell’algoritmo»22.
L’indagine circa i rischi di nuove schiavitù che si annidano nel sempre più esteso e intenso utilizzo degli
algoritmi non può che muovere dall’individuazione di alcuni indici di riconoscibilità del fenomeno per
passare poi alla loro applicazione al tema oggetto di analisi. Che cosa identifica una nuova schiavitù? Quali
sono i profili di schiavitù rinvenibili nell’attuale ‘società algoritmica’?
Ai fini della riflessione che si sta conducendo si prenderanno in considerazione due degli elementi che,
che secondo gli studi sul tema, connotano la manifestazione delle nuove forme di schiavitù.
Il primo è la soggezione, in relazione alla quale si parla anche, più enfaticamente, di ‛soggezione dispotica’
o ‛dominio dispotico’23.
Il secondo è la reificazione dell’individuo: la riduzione dell’uomo a ‘cosa’. Gli individui cessano di essere
persone e divengono beni, strumenti utilizzati da altri uomini per finalità di profitto, ma non solo24. Tale
de-umanizzazione è spesso il portato di forme di esclusione, che isolano, de-socializzano25. Nello
sradicamento dell’individuo dal consesso sociale spesso giocano un ruolo determinante i fenomeni di
discriminazione, che, come si vedrà in questo scritto, caratterizzano anche la ‘società algoritmica’.
Nell’analisi di queste tematiche, pur proponendosi di avere uno sguardo di insieme, specifica attenzione
sarà dedicata all’utilizzo di tali innovazioni tecnologiche nel contesto dei rapporti tra pubbliche
amministrazioni e cittadini, un ambito, questo, già intriso di potere, il che lo rende terreno fertile per lo
studio delle implicazioni del potere algoritmico. Potere, quindi, che si somma a potere.
L’analisi che si vuole condurre è finalizzata ad identificare principi e regole volti a garantire che nelle
decisioni in cui intervengono gli algoritmi questi ultimi mantengano una funzione ‘servente’.

21 Così A. SIMONCINI, Amministrazione digitale algoritmica. Il quadro costituzionale, in R. CAVALLO PERIN - D.U. GALETTA (a
cura di), Il diritto dell’amministrazione pubblica digitale, Giappichelli, Torino, 2020, 38 ss.
22 Tale espressione è stata coniata da S. RODOTÀ, Il mondo nella rete. Quali i diritti, quali i vincoli, Laterza, Roma-Bari, 2014,

in particolare 33 ss.
23 La ‘soggezione dispotica’ è, secondo A. CALORE, nell’Introduzione a A. CALORE-P. DE CESARI, Schiavi, in corso di

pubblicazione, uno degli elementi che caratterizza le nuove forme di schiavitù. La locuzione ha origini risalenti: il
«dispotical dominion» di Hobbes, ripreso da R. BODEI, Dominio e sottomissione. Schiavi, animali, macchine, Intelligenza Artificiale,
il Mulino, Bologna, 2019, 177 e 267.
24 V. D. FASSIN, Le vite ineguali. Quanto vale un essere umano, Feltrinelli, Milano, 2019, 149.
25 Nell’indicare quale requisito comune alle nuove forme di schiavitù l’esclusione A. CALORE, nell’Introduzione cit., si rifà

alle riflessioni di A. TESTART, L’institution de l’esclavage. Un approche mondiale (2001), Éditions Gallimard, Paris, 2018, 31-
74.

209                                                federalismi.it - ISSN 1826-3534                                   |n. 18/2021

2. Il ‘dominio dispotico’ degli algoritmi
Gli algoritmi «governano, giudicano, ordinano, regolano, classificano o altrimenti disciplinano il
mondo»26. Per l’ampiezza e la pervasività del fenomeno nonché per l’impatto sulla sfera individuale delle
persone e quindi anche sui loro diritti e libertà, incarnano un nuovo potere delle società contemporanee:
il ‘potere computazionale’27.
Taluni li hanno addirittura accostati a un potere sovrano, muovendo dalla considerazione secondo cui la
sovranità, nel XXI secolo, è rappresentata dai poteri tecnici. Gli algoritmi, quindi, costituiscono una
nuova tipologia di sovranità: la ‘sovranità digitale’28.
Esprimono efficacemente la componente del potere insita nello sviluppo e nella diffusione degli algoritmi
locuzioni come ‘datacrazia’29 o ‘algocrazia’30. Tale terminologia, peraltro, tradisce una certa
preoccupazione nei confronti del fenomeno. Nel potere algoritmico possono infatti ravvisarsi i rischi di
un ‘dominio dispotico’, secondo l’accezione presa in considerazione in questo scritto.
Tra gli aspetti che connotano il potere algoritmico vi è il fatto che esso non si sostituisce agli altri poteri
esistenti31. Si pensi al potere economico, ivi compreso quello finanziario, al potere politico, a quello
militare oppure allo stesso potere informazionale32. Il potere algoritmico non solo convive con essi ma
stringe ‘alleanze’.
Al riguardo occorre tenere presente che gli algoritmi sono tutt’altro che neutri, rivelandosi funzionali agli
interessi e talora anche alle ideologie di chi li elabora o, più correttamente, di chi ne commissiona la
scrittura33. A volte, come si vedrà, incorporano pregiudizi e sono forieri di discriminazioni.
Gli algoritmi sono in grado di orientare e plasmare il modo di pensare e le scelte di milioni e milioni di
persone, nella veste sia di consumatori che di utenti, nonché di cittadini, in particolare elettori. Di questa

26  Così S. BAROCAS - S. HOOD - M. ZIEWITZ, Governing Algorithms: A Provocation Piece (29 marzo 2013), in
https://ssrn.com/abstract=2245322 or http://dx.doi.org/10.2139/ssrn.2245322, 3, secondo cui gli algoritmi «are
invoked as powerful entities that govern, judge, sort, regulate, classify, influence, or otherwise discipline the world».
27 In argomento v., tra gli altri, da M. DURANTE, Potere computazionale. L’impatto delle ICT su diritto, società, sapere, cit..
28 Sulla sovranità dei poteri tecnici, con particolare riferimento al fenomeno della digitalizzazione, v. A. SIMONCINI,

Sovranità e potere nell’era digitale, in T.E. FROSINI-O. POLLICINO-E. ALPA-M. BASSINI (a cura di), Diritti e libertà in Internet,
Le Monnier Università-Mondadori Education, Milano, 2017, 19 ss.
29 Per tale locuzione v., tra gli altri, D. GAMBETTA (a cura di), Datacrazia. Politica, cultura algoritmica e conflitti al tempo dei big

data, D Editore, Roma, 2018.
30 Il termine si ritrova, ad esempio, in J. DANAHER, The threat of algocracy: Reality, resistance and accomodation, in Philos. Technol.

2016, 29, 245 ss.
31 Sul rapporto tra il potere computazionale e gli altri poteri v. M. DURANTE, Potere computazionale. L’impatto delle ICT su

diritto, società, sapere, cit., 14.
32 Sulla crescente e ormai quasi totalizzante dimensione informazionale delle nostre esistenze v. L. FLORIDI, La quarta

rivoluzione. Come l’infosfera sta trasformando il mondo, Raffaello Cortina Editore, Milano 2017.
33 Sull’assenza di neutralità degli algoritmi e sul fatto che essi sono spesso al servizio di poteri occulti v. R. BODEI,

Dominio e sottomissione. Schiavi, animali, macchine, Intelligenza Artificiale, cit., 330.

210                                                  federalismi.it - ISSN 1826-3534                                     |n. 18/2021

influenza possono avvantaggiarsi giganti economici, governi, poteri occulti di varia natura, ecc.34 Agli altri
poteri, quindi, gli algoritmi forniscono strumenti e potenzialità che non hanno eguali nella storia35, con
un effetto moltiplicatore della loro forza.
Il ‘dispotismo’ degli algoritmi discende anche dal fatto che, anche per il carattere automatizzato (in tutto
o in parte) delle procedure nonché per l’utilizzo di meccanismi particolarmente complessi come quelli di
‘machine learning’36, essi spesso rappresentano un potere oscuro, impenetrabile: una ‘black box’37. Ne
derivano non pochi ostacoli sul piano della conoscibilità e della comprensibilità nonché una difficoltosa,
talora impossibile, contestabilità, peculiarità cui consegue anche una difficile reversibilità38.

3. Dal “dominio dispotico” degli algoritmi a quello delle pubbliche amministrazioni. Lo statuto
della regola algoritmica
Una delle tendenze più recenti è il crescente ricorso ad algoritmi nell’ambito di processi decisionali
pubblici e, in particolare, amministrativi39.

34 Sulla valenza economica, socio-politica nonché strategica dei ‘big data’ v. A. MANTELERO, Big Data: i rischi della
concentrazione del potere informativo digitale e gli strumenti di controllo, in Dir. inform., n. 1, 2012, in partic. 138 ss.
35 Per l’affermazione secondo cui gli algoritmi sono anche «strumenti di potere» v. R. BODEI, Dominio e sottomissione.

Schiavi, animali, macchine, Intelligenza Artificiale, cit., 330 ss..
36 Con tale espressione ci si riferisce a un «settore dell’informatica che sviluppa algoritmi e metodi per consentire ai

computer di apprendere specifici compiti direttamente dai dati, senza la necessità di una esplicita, dedicata
programmazione»: G. D’ACQUISTO - M. NALDI, Big Data e Privacy by Design, Giappichelli, Torino, 2017, 15. In argomento
v., ex multis, P. FLACH, Machine Learning. The Art and Science of Algorithms that Make Sense of Data, Cambridge University
Press, Cambridge, 2017; K.P. MURPHY, Machine Learning A Probabilistic Perspective, MIT Press, Cambridge Mass, London
England, 2012.
37 Sul velo di segretezza e sull’imperscrutabilità che caratterizzano determinati algoritmi, soprattutto quelli che

“lavorano” sui ‘big data’ v. F. PASQUALE, The black box society, Harvard University Press, Cambridge Mass., 2015.
38 Di difficile contestabilità e difficile reversibilità del potere algoritmico parla A. ODDENINO, Decisioni algoritmiche e

prospettive internazionali di valorizzazione dell’intervento umano, in DPCE online, 1/2020, in partic. 2.
39 L’utilizzo degli algoritmi nei processi decisionali della p.a. è oggetto di copiose riflessioni, soprattutto a seguito dei

pronunciamenti della giustizia amministrativa di cui si darà conto in questo stesso paragrafo: ex multis, per un
inquadramento generale del fenomeno della digitalizzazione dell’amministrazione, v. il volume di R. CAVALLO PERIN -
D.U. GALETTA (a cura di), Il diritto dell’amministrazione pubblica digitale, cit., di cui si segnalano in particolare i seguenti
contributi: il già citato scritto di A. SIMONCINI, Amministrazione digitale algoritmica. Il quadro costituzionale, in partic. 4 ss.;
D.U. GALETTA, Digitalizzazione e diritto ad una buona amministrazione (il procedimento amministrativo fra diritto UE e tecnologie
ICT), 85 ss.; R. CAVALLO PERIN - I. ALBERTI, Atti e procedimenti amministrativi digitali, 119 ss. In argomento v. altresì P.
OTRANTO, Riflessioni in tema di decisione amministrativa, intelligenza artificiale e legalità (10 marzo 2021), in federalismi.it, 7/2021;
C. BENETAZZO, Intelligenza artificiale e nuove forme di interazione tra cittadino e pubblica amministrazione (27 maggio 2020), ivi,
16/2020; L. MUSSELLI, La decisione amministrativa nell’età degli algoritmi: primi spunti (16 marzo 2020), in mediaLAWS, 1/2020;
S. VERNILE, Verso la decisione amministrativa algoritmica? (15 luglio 2020), ivi, 2/2020; D. MARONGIU, L’intelligenza artificiale
“istituzionale”: limiti (attuali) e potenzialità, in Erdal, 2020, vol. I, fasc. 1-2, 37 ss.; E. CARLONI, I principi della legalità algoritmica.
Le decisioni automatizzate di fronte al giudice amministrativo, in Dir. amm., 2020, 273 ss.; R. CAVALLO PERIN, Ragionando come se
la digitalizzazione fosse data, ivi, 305 ss.; G. AVANZINI, Decisioni amministrative e algoritmi informatici. Predeterminazione, analisi
predittiva e nuove forme di intellegibilità, Editoriale Scientifica, Napoli, 2019; R. FERRARA, Il giudice amministrativo e gli algoritmi.
Note estemporanee a margine di un recente dibattito giurisprudenziale, in Dir. amm., 2019, 773 ss; I.A. NICOTRA - V. VARONE,
L’algoritmo, intelligente, ma non troppo (22 novembre 2019), in Rivista AIC, 4/2019.

211                                                    federalismi.it - ISSN 1826-3534                                         |n. 18/2021

L’evoluzione verso un’‘amministrazione algoritmica’ è un fenomeno di cui forse non si ha ancora
abbastanza contezza, ma è sufficiente porre mente ad alcuni esempi per rendersi conto di quanto gli
algoritmi siano ormai parte integrante dell’agire amministrativo40.
Si pensi al settore dell’ ‘e-procurement’, vale a dire all’uso delle procedure telematiche nell’ambito dei
contratti pubblici41. Sono basati su operazioni frutto di algoritmi gli ‘smart contract’42.
Frequente è l’utilizzo di algoritmi nei servizi pubblici, dove intervengono, ad esempio, nella fissazione
delle tariffe del settore idrico ed energetico.
Si è già avuto modo di accennare al ruolo che essi giocano in sanità. Persino l’applicazione degli indicatori
sulla base dei quali l’Italia, a seconda del livello di rischio della minaccia sanitaria da Covid-19, viene
suddivisa in zone di differente colore – con diverse misure restrittive e limitazioni delle libertà – è affidata
ad un algoritmo43.
Gli algoritmi sono molto utili in attività di prevenzione e controllo. Un ambito rilevante è quello della
fiscalità, ove sono d’ausilio per l’individuazione delle frodi fiscali.
Nel settore della sicurezza pubblica sono in atto sperimentazioni di c.d. ‘polizia predittiva’. Si tratta di
sistemi finalizzati ad identificare le zone cittadine e le ore del giorno in cui vi è maggiore probabilità di
commissione di reati, così da migliorare l’azione di prevenzione e repressione dei crimini44. Tali tecniche
pongono non poche questioni di compatibilità con la protezione dei dati personali e la tutela della
‘privacy’45.

40  Per una panoramica degli ambiti di utilizzo degli algoritmi nell’attività delle pubbliche amministrazioni v. G.
AVANZINI, Decisioni amministrative e algoritmi informatici. Predeterminazione, analisi predittiva e nuove forme di intellegibilità, cit., 35
ss.
41 In argomento v., tra i tanti, G. SORRENTINO, La gestione delle gare telematiche nel nuovo regolamento di esecuzione del codice dei

contratti pubblici, in Appalti e contratti, 2020, 3, 60 ss.; S. CRESTA, Procedure di acquisto e strumenti telematici nel nuovo Codice dei
contratti pubblici, in Urb. e appalti, 2016, 981 ss.; A. MASUCCI, Le aste elettroniche e la modernizzazione delle procedure di
aggiudicazione, in Giornale dir. amm., 2013, 317 ss.. In tema v. altresì A. G. OROFINO, Forme elettroniche e procedimenti
amministrativi, Cacucci, Bari, 2008, 237 ss.
42 Sugli ‘smart contract’ e, più in generale, sulle questioni originate dal ricorso all’automazione contrattuale da parte delle

p.a. v. G. GALLONE, La pubblica amministrazione alla prova dell’automazione contrattuale. Note in tema di smart contracts (24
giugno 2020), in federalismi.it, 20/2020.
43 La questione è stata evidenziata in vari articoli: v., ad es., A. LISI, L’Italia divisa a “zone” da modelli algoritmici, in Huffington

Post, 6 novembre 2020; M. DOTTI - M. ESPOSITO, Regioni appese ad un algoritmo che nessuno ha visto, in Vita,
http://www.vita.it/it/article/2020/11/06/regioni-appese-a-un-algoritmo-che-nessuno-ha-visto/157261/, 6 novembre
2020 (ultimo accesso: 3 luglio 2021).
44 Quale esperimento di ‘polizia predittiva’ in Italia v. ‘eSecurity.Trento’, realizzato nell’ambito del progetto europeo

‘eSecurity – ICT for knowledge-based and predictive urban security’, coordinato dal gruppo di ricerca eCrime del
Dipartimento di Giurisprudenza dall’Università degli Studi di Trento con il coinvolgimento di Questura di Trento,
Centro ICT della Fondazione Bruno Kessler, Comune di Trento: http://www.esecurity.trento.it/ (ultimo accesso: 3
luglio 2021).
45 Per un’analisi di tali questioni v. A. BONFANTI, ‘Big data’ e polizia predittiva: riflessioni in tema di protezione del diritto alla

privacy e dei dati personali (24 ottobre 2018), in mediaLAWS, 3/2018, 206 ss.

212                                                   federalismi.it - ISSN 1826-3534                                       |n. 18/2021

Gli algoritmi “mettono bocca” anche in materia di personale delle pubbliche amministrazioni. Oggetto
di non poche discussioni sono state le procedure di assegnazione delle sedi e di mobilità previste dalla l.
13 luglio 2015, n. 107 sulla c.d. ‘buona scuola’.
In questo scritto se ne parlerà diffusamente perché esse rappresentano un vero e proprio ‘caso’, che ha
dato luogo a numerose controversie giudiziarie. La giurisprudenza ha così dovuto interrogarsi a fondo
sul significato di queste nuove tecnologie: sul loro impatto sul rapporto tra cittadini e p.a. e sulle
problematiche che possono sorgere.
Come si è anticipato nell’introduzione a questo lavoro, il ‘pubblico’, per definizione, si connota per la
sussistenza del potere.
Poiché a fronte del potere pubblico gli individui si trovano in una condizione tecnicamente di soggezione,
nello Stato di diritto sono previsti limiti e garanzie a loro tutela. Si pensi al principio di legalità, volto ad
assicurare la corrispondenza dell’azione dei pubblici apparati alle finalità di interesse pubblico individuate
dalla legge e in ossequio al quale sono disciplinate tanto l’attribuzione quanto l’esercizio del potere.
Vengono inoltre in considerazione principi quali quello di trasparenza e quello di sindacabilità giudiziaria
del potere pubblico, ecc.
Sennonché questo consolidato quadro assiologico rischia di venire incrinato o comunque depotenziato
dall’ingresso massiccio degli algoritmi nell’attività pubblica46.
Occorre al riguardo assumere una posizione che tenda all’equilibrio: gli algoritmi non sono il ‘male
assoluto’ e bisogna valutarne sia i ‘pro’ che i ‘contro’. Il ricorso ad algoritmi da parte delle pubbliche
amministrazioni presenta grandi vantaggi e potenzialità, ma pone anche questioni di non poco conto.
Il loro utilizzo opera nel senso dell’efficacia e dell’efficienza, del risparmio dei tempi e della
semplificazione, nonché di più elevati standard di imparzialità e dell’anti-corruzione47. Vi è però il rischio
che essi si sostituiscano all’attività amministrativa, talora addirittura azzerandola.
Non si può escludere che ciò sia in parte dovuto anche all’ ‘effetto di ancoraggio’ di cui si diceva,
amplificato dal timore dei pubblici dipendenti, in particolare quelli in posizione apicale, di incorrere in
qualche forma di responsabilità.

46 L’attenuazione delle prerogative difensive dei cittadini a seguito del massivo utilizzo di algoritmi da parte delle p.a. è
oggetto di riflessione anche in altri ordinamenti: v., ad es., J.V. TORRIJOS, The Legal Guarantees of Artificial Intelligence in
Administrative Activity: Reflections and Contributions from the Viewpoint of Spanish Administrative Law and Good Administration
Requirements, in Erdal, 2020, vol. I, fasc. 1-2, 55 ss.
47 In argomento v. M. FALCONE, La big data analytics per conoscere, misurare e prevenire la corruzione, in M. GNALDI – B. PONTI

(a cura di), Misurare la corruzione oggi. Obiettivi, metodi, esperienze, Franco Angeli, Milano, 2018, 90 ss., il quale peraltro
evidenzia come in Italia l’utilizzo dei ‘big data’ per la lotta alla corruzione sia reso difficoltoso dal disordine organizzativo
dei dati e dalla debolezza conoscitiva delle amministrazioni.

213                                               federalismi.it - ISSN 1826-3534                                 |n. 18/2021

Ma soprattutto il ricorso a queste nuove tecnologie per determinare il contenuto degli atti – c.d. atti ad
elaborazione elettronica48 – comporta che in molti casi l’algoritmo concreti lo stesso procedimento
amministrativo, che si esaurisce in esso. Artefici delle decisioni amministrative divengono quindi, nella
sostanza, gli algoritmi stessi.
Di qui i rischi di violazione di quelle guarentigie costituzionali cui si accennava, in particolare quelle
dell’art. 97 Cost., tradotte nei principi della l. 241/1990 sul procedimento amministrativo, che hanno
emancipato i privati dalla condizione di ‘sudditi’ nei confronti del potere della p.a. Gli algoritmi possono
arrecare un vulnus ai principi di trasparenza e partecipazione e all’obbligo di motivazione, che si riverbera
anche sul diritto di difesa di cui all’art. 24 Cost. e sulle garanzie processuali.
Ecco quindi che, diminuendo o, in taluni casi, addirittura elidendo le tutele, tipiche delle costituzioni
democratiche, di cui godono i cittadini nel rapporto con istituzioni e pubbliche amministrazioni, il
‘dominio dispotico’ degli algoritmi può trasfigurarsi nel ‘dominio dispotico’ dei pubblici poteri.
Queste criticità sono giunte anche all’attenzione della giurisprudenza amministrativa, che ha evidenziato
il pericolo che tali procedure automatizzate abbiano un ruolo «dominante e surrogatorio dell’attività
dell’uomo», in particolare, per quanto qui rileva, il procedimento amministrativo. Con parole anche
enfatiche si è censurata «la deleteria prospettiva orwelliana di dismissione delle redini della funzione
istruttoria e di abdicazione di quella provvedimentale»49.
La questione è emersa in particolare a seguito di una serie di provvedimenti – decisioni algoritmiche −
riguardanti le sedi del personale scolastico in applicazione della l. 107/2015 sulla c.d. ‘buona scuola’, cui
si è già accennato.
In conseguenza di tale riforma il Ministero dell’Istruzione ha dovuto gestire un numero ingente di
richieste sia di prima assegnazione che di mobilità. Ha quindi scelto di affidare il compito di stilare le
graduatorie ad un sistema informatico per mezzo di un algoritmo, il cui ‘software’, peraltro, era stato
prodotto da una società privata.
La procedura è così rimasta orfana di un funzionario di riferimento, responsabile della valutazione delle
singole situazioni e si è conclusa con provvedimenti privi di motivazione. Questi, oltretutto, si sono
rivelati irrazionali ed incongrui nonché incomprensibili.

48 Per tale nozione cfr., in particolare, Tar Lazio, sez. III-bis, 22 marzo 2017, n. 3769, secondo cui gli atti «ad elaborazione

elettronica» si distinguono da quelli «in forma elettronica» in quanto in tale fattispecie è la «macchina» che «provvede
direttamente al reperimento, al collegamento e alla interrelazione tra norme e dati». Detto in altri termini, «è
l’elaborazione stessa del contenuto dell’atto che si svolge elettronicamente, elaborazione che consiste, appunto, nello
svolgimento dell’iter logico che conduce alla redazione dell’atto finale in relazione al rispettivo contenuto e che
concretizza la sua motivazione». Il Tar si rifà agli studi di A. MASUCCI, L’atto amministrativo informatico: primi lineamenti di
una ricostruzione, Jovene, Napoli, 1993 e di U. FANTIGROSSI, Automazione e pubblica amministrazione. Profili giuridici, Il Mulino,
Bologna, 1993.
49 V. Tar Lazio, sez. III bis, 9224-9230/2018.

214                                               federalismi.it - ISSN 1826-3534                                  |n. 18/2021

Si sono infatti verificate situazioni paradossali e inspiegabili: per insegnanti con diversi anni di servizio
sono stati previsti ambiti territoriali che non avevano richiesto, collocati a centinaia di chilometri di
distanza dal proprio comune di residenza; mentre ad altri, aventi meno titoli e minore anzianità di servizio,
sono state destinate esattamente le sedi per le quali avevano presentato domanda.
Ne è scaturita una serie di ricorsi avanti alla giustizia amministrativa sia per richiedere l’accesso al codice
sorgente dell’algoritmo di assegnazione ai sensi degli artt. 22 ss., l. 241/1990, negato dall’amministrazione
scolastica, sia per contestare gli esiti della procedura.
Per quanto riguarda le controversie in materia di diritto di accesso, la principale ragione addotta dal
Ministero a sostegno del proprio rifiuto consisteva nella non assimilabilità del codice sorgente dei
programmi in questione a un documento amministrativo secondo il citato art. 22, anche con riferimento
alla lett. d), che invero ne individua una pluralità di forme.
Le pronunce del giudice amministrativo hanno invece qualificato il ‘software’ quale atto amministrativo
informatico, rendendolo in tal modo accessibile. La scelta dell’amministrazione di utilizzare strumenti
innovativi come un programma informatico per gestire un procedimento non può riflettersi in senso
limitativo sull’ampiezza dei poteri conoscitivi dei destinatari degli atti50 e quindi sul principio di
trasparenza51.
L’idea che il ricorso a procedure c.d. “robotizzate” non debba costituire «motivo di elusione dei principi
che conformano il nostro ordinamento e che regolano lo svolgersi dell’attività amministrativa» è stata
sviluppata con ampiezza dalle sentenze che si sono occupate dei ricorsi contro le decisioni del Ministero
relative a nomine e sedi, pur con alcune diversità nelle posizioni ed argomentazioni dei giudici di primo
grado e d’appello52.
È in questo contesto che, muovendo dalla considerazione secondo cui l’algoritmo, ossia il ‘software’,
debba essere ritenuto, «a tutti gli effetti», un atto amministrativo informatico53, il Consiglio di Stato ha
elaborato un vero e proprio ‘statuto della regola algoritmica’54.

50 V. Tar Lazio, sez. III bis, 14 febbraio-22 marzo 2017, n. 3769; Tar Lazio, sez. III, 21 marzo 2017, n. 3742.
51 In tema v. A.G. OROFINO, The Implementation of the Transparency Principle in the Development of Electronic Administration, in
Erdal, 2020, vol. I, fasc. 1-2, 123 ss. Sulla trasparenza informatica v. altresì ID., La trasparenza oltre la crisi. Accesso,
informatizzazione e controllo civico, Cacucci, Bari, 2020, in partic. 193 ss.
52 Tale differenziazione è messa in luce, tra gli altri, da R. FERRARA, Il giudice amministrativo e gli algoritmi. Note estemporanee

a margine di un recente dibattito giurisprudenziale, cit., 783.
53 Tale impostazione, invero, è criticata da parte della dottrina: da ultimo v. A.G. OROFINO - G. GALLONE, L’intelligenza

artificiale al servizio delle funzioni amministrative: profili problematici e spunti di riflessione, commento a Cons. Stato, sez. VI, 4
febbraio 2020, n. 881, in Giur.it. 2020, 1742, che contestano che al ‘software’ possa essere riconosciuta la natura di atto
amministrativo e in particolare che nel nostro ordinamento sia «consentita l’adozione di atti amministrativi scritti in un
linguaggio macchina, fatto di segni e caratteri non comprensibili né dal destinatario del provvedimento, né tantomeno
dall’autorità che lo emana».
54 Cfr. Cons. Stato, sez. VI, 8 aprile 2019, n. 2270.

215                                                 federalismi.it - ISSN 1826-3534                                     |n. 18/2021

Anzitutto tale regola, possedendo «piena valenza giuridica e amministrativa, anche se viene declinata in
forma matematica» deve rispettare i principi generali dell’attività amministrativa, quali quelli di pubblicità
e trasparenza, di cui si sono già viste le applicazioni in materia di diritto d’accesso.
In secondo luogo, essa «non può lasciare spazi applicativi discrezionali (di cui l’elaboratore elettronico è
privo), ma deve prevedere con ragionevolezza una soluzione definita per tutti i casi possibili anche i più
improbabili». Incidentalmente si osservi come la delicata delimitazione di spazi e confini tra attività umana
(per quanto qui interessa, del funzionario pubblico) e automatizzata porti ad un ripensamento dei concetti
tradizionali che costituiscono l’ossatura dell’agire amministrativo: discrezionalità amministrativa, in
particolare discrezionalità tecnica; rapporti tra potere discrezionale e potere vincolato, ecc.55.
In terzo luogo, occorre che l’amministrazione mantenga sempre «un ruolo ex ante di mediazione e
composizione degli interessi», al cui assetto la regola deve attenersi.
A garanzia di tale rispondenza occorre da parte della p.a. un monitoraggio costante, attraverso «test,
aggiornamenti, modalità di perfezionamento», soprattutto dinanzi ad algoritmi ad apprendimento
progressivo o di deep learning.
Infine, il giudice deve poter accertare e valutare «la correttezza del processo automatizzato in tutte le sue
componenti», vale a dire «dalla sua costruzione, all’inserimento dei dati, alla loro validità, alla loro
gestione». Il sindacato giurisdizionale deve poter vagliare la stessa logicità e ragionevolezza della decisione
amministrativa robotizzata.
Per quanto attiene ai principi generali dell’attività amministrativa, il giudice amministrativo si sofferma
particolarmente su quello di trasparenza. Dà infatti una chiara indicazione nel senso della «piena
conoscibilità» dell’algoritmo, facendo propria una «declinazione rafforzata» di detto principio, funzionale
alla sua comprensibilità sia da parte dei cittadini che, in caso di controversie, da parte dello stesso potere
giudiziario. La regola algoritmica, infatti, come già anticipato, deve essere soggetta alla piena cognizione
del giudice, che deve poter valutare la legittimità delle decisioni assunte con questo tipo di procedure
analogamente a quanto avviene nei casi in cui l’esercizio del potere si dispiega secondo modalità
tradizionali.
Ne deriva che l’impossibilità di comprendere le modalità con le quali, attraverso gli algoritmi, si addivenga
a una certa decisione costituisce un vizio in grado di inficiare le procedure amministrative.

55 V. al riguardo le riflessioni di R. FERRARA, Il giudice amministrativo e gli algoritmi. Note estemporanee a margine di un recente
dibattito giurisprudenziale, cit., passim.

216                                                federalismi.it - ISSN 1826-3534                                   |n. 18/2021

4. I principi del GDPR in materia di decisioni algoritmiche. Il principio di non discriminazione
algoritmica: rinvio
Nel definire i principi che debbono guidare le decisioni algoritmiche delle pubbliche amministrazioni le
successive pronunce del Consiglio di Stato56 hanno cercato di meglio integrare nelle proprie
argomentazioni l’apporto dato in questa direzione dal diritto europeo e, in particolare, dal regolamento
generale per la protezione dei dati, c.d. GDPR. Si tratta peraltro di principi che riguardano le decisioni
automatizzate di qualsiasi soggetto, sia pubblico che privato.
Il primo principio che viene in considerazione è quello di non esclusività della decisione algoritmica,
sancito dall’art. 22, comma 1, del GDPR. Si tratta della traduzione giuridica del modello Hitl, vale a dire
Human in the loop, o anche HitAI, Human-in-the-loop Artificial Intelligence, che, a livello di computer science,
richiede che vi sia comunque un’interazione uomo - macchina57.
Secondo il GDPR qualora una decisione algoritmica produca effetti giuridici o incida significativamente
sulla persona, l’interessato ha diritto a che questa non sia basata unicamente su un processo
automatizzato. Il principio concerne anche le ipotesi di profilazione.
L’articolo, peraltro, contempla al comma 2 alcune eccezioni: si tratta dei casi in cui la decisione: a) sia
necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e un titolare del trattamento;
b) sia autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento,
che precisa altresì misure adeguate a tutela dei diritti, delle libertà e dei legittimi interessi dell'interessato58;
c) si basi sul consenso esplicito dell'interessato.
Il principio di non esclusività non ha una dimensione solo europea; si sta facendo strada anche in altri
ordinamenti. Val qui la pena accennare al caso Loomis vs Wisconsin, più noto come caso ‘Compas’
(‘Correctional Offender Management Profiling for Alternative Sanctions’), riguardante l’uso di algoritmi
da parte dell’amministrazione della giustizia penale statunitense per valutare la pericolosità sociale degli
imputati59, su cui si avrà modo di tornare più approfonditamente in altra parte dello scritto. In esso si è
affermato che l’utilizzo di tecnologie di questo tipo non può essere «determinative», ossia determinante
rispetto alla decisione; rappresenta un possibile «relevant factor», da considerare e soppesare assieme ad
altri, nel rispetto di limitazioni e cautele.

56 Ci si riferisce a Cons. Stato, 13 dicembre 2019, n. 8472, 8473, 8474 e 4 febbraio 2020, n. 881.
57 Su tale principio v. le riflessioni di B. MARCHETTI, La garanzia dello Human in the loop alla prova della decisione amministrativa
algoritmica, cit.
58 Si pensi ai casi di obbligo legale all’esecuzione della profilazione: trattamenti automatizzati potrebbero giustificarsi per

fini di monitoraggio e prevenzione delle frodi e dell’evasione fiscale (Considerando n. 71).
59 ‘State of Wisconsin v. Eric Loomis’, n. 2015AP157-CR, deciso con sentenza del 13 luglio 2016. Per un commento v.

HAN-WEI, L. CHING-FU, C. YU-JIE, Beyond State v. Loomis: artificial intelligence, government, algorithmization, and accountability,
in International Journal of Law and Information Technology, 27, 2019, 122 ss. Si v. altresì S. CARRER, Se l’amicus curiae è un
algoritmo: il chiacchierato caso Loomis alla Corte Suprema del Wisconsin, in Giurisprudenza Penale Web, 2019, 4.

217                                                federalismi.it - ISSN 1826-3534                                    |n. 18/2021

Tornando al nostro ordinamento, il Consiglio di Stato ha esplicitato il principio in esame puntualizzando
che quando la p.a. sceglie di avvalersi di algoritmi «deve comunque esistere nel processo decisionale un
contributo umano capace di controllare, validare ovvero smentire la decisione automatica». Alcuni giudici
amministrativi hanno auspicato de jure condendo la previsione di «procedure amministrative parallele di tipo
tradizionale ed attivabili in via di emergenza, in caso di non corretto funzionamento dei sistemi
informatici»60.
Il principio di non esclusività si pone a garanzia di un corretto rapporto uomo-macchina. Opera come
argine alle derive di un esercizio impersonale, tramite meccanismi automatizzati, di attività amministrativa
sostanziale: «le procedure informatiche applicate ai procedimenti amministrativi devono collocarsi in una
posizione necessariamente servente rispetto agli stessi, non essendo concepibile che, per problematiche
di tipo tecnico, sia ostacolato l’ordinato svolgimento dei rapporti tra privato e Pubblica Amministrazione
e fra Pubbliche Amministrazioni nei reciproci rapporti»61.
Tra gli altri principi sanciti a livello europeo e fatti propri dalla normativa e dalla giurisprudenza nazionali
vi è il principio di conoscibilità, in virtù del quale ognuno ha diritto di conoscere l’esistenza di processi
decisionali automatizzati che lo riguardino, ai sensi dell’art. 15, comma 1, lett. h) del GDPR. Tale
disposizione, come è noto, è dedicata al diritto di accesso dell’interessato ai propri dati, che viene declinato
in una serie di diritti che ne esprimono altrettante sfaccettature. Il diritto alla conoscenza, secondo quanto
puntualizzato dalla stessa norma, si riferisce anche all’importanza e alle conseguenze del trattamento per
l’interessato62.
Nel caso di decisioni adottate dalla p.a. la norma pare espressione del diritto a una buona amministrazione
di cui all’art. 41 della Carta europea dei diritti fondamentali63. Essa si correla altresì all’art. 42 della
medesima Carta, che si occupa del diritto d’accesso ai documenti.

60 T.A.R. Lazio, Roma, sez. III, 11 gennaio 2018, n. 299. L’ambito in cui è sorta questa esigenza è tipicamente quello
dell’esclusione automatica da concorsi, gare, procedure di attribuzione di benefici o sovvenzioni per malfunzionamenti
specie in sede di invio della domanda. Sono i casi c.d. di stallo telematico. Il principio di non esclusività, in situazioni di
questo tipo da intendersi come riferito non soltanto agli algoritmi ma alle procedure informatiche in genere, si pone in
un certo senso come un corollario del dovere di soccorso procedimentale: l’impossibilità di affidare un procedimento
esclusivamente ad un sistema informatico discende dal fatto che questo non potrebbe esercitare un’azione di soccorso.
Per questa lettura v. A. SIMONCINI, Amministrazione digitale algoritmica. Il quadro costituzionale, cit., 11. Sul dovere di soccorso
procedimentale v., per tutti, E. FREDIANI, Il dovere di soccorso procedimentale, Napoli, 2017.
61 Così Tar Lazio, sez. III bis, 10 maggio 2019, n. 5867, peraltro riformata in appello da Cons. Stato, sez. VI, 18 maggio

2020, n. 3148. Negli stessi termini Tar Lazio, sez. III bis, 20 luglio 2016, n. 8312 e Cons. Stato, sez. VI, 7 novembre
2017, n. 5136.
62 L’art. 15 sancisce un diritto azionabile dall’interessato e non un mero obbligo per il titolare del trattamento, come

avviene per le statuizioni degli artt. 13 e 14. Inoltre, sempre a differenza di quanto previsto in tali articoli, non vi sono
limiti di finestre temporali: il soggetto può acquisire informazioni quando il trattamento abbia avuto inizio, sia in corso
di esecuzione o sia addirittura già sfociato in una decisione.
63 Tale diritto comprende, tra gli altri: a) il diritto di ogni persona di essere ascoltata prima che nei suoi confronti venga

adottato un provvedimento individuale che le rechi pregiudizio; b) il diritto di ogni persona di accedere al fascicolo che

218                                                federalismi.it - ISSN 1826-3534                                   |n. 18/2021