Moderazione automatizzata e discriminazione algoritmica: il caso dell'hate speech
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
ISSN 2704-7318
Fascicolo 1-2022
DOI: 10.32091/RIID0064
Articolo sottoposto a peer review
Moderazione automatizzata e discriminazione algoritmica:
il caso dell’hate speech
Pietro Dunn
La necessità per gli intermediari digitali di moderare i contenuti pubblicati e diffusi in rete dagli utenti si è
fatta negli anni sempre più pressante. A fronte della crescita vertiginosa del flusso informazionale digitale,
peraltro, si è reso oggigiorno essenziale il ricorso a strumenti di moderazione algoritmica per la rilevazione
dei contenuti da rimuovere. Anche la rilevazione dei discorsi d’odio (hate speech) si fonda attualmente
su un utilizzo massiccio di sistemi di intelligenza artificiale e machine-learning: la letteratura, tuttavia,
ha rilevato come tali sistemi siano sovente viziati da bias discriminatori che rendono particolarmente
elevato il rischio di falsi positivi ai danni delle minoranze. Il presente contributo pone in luce come nel
sistema costituzionale europeo il contrasto ai contenuti d’odio sia giustificato dall’esigenza di perseguire
un’uguaglianza sostanziale di tutte le componenti sociali e come, pertanto, un’applicazione discriminatoria
del divieto di hate speech sia in sé incoerente con il sistema di valori dell’Unione europea. Se, dunque,
l’intelligenza artificiale rappresenta uno strumento essenziale e ineludibile per garantire un più sicuro e
tollerante ecosistema digitale, un elevato margine di errore, in termini di falsi positivi, non risulta essere
pienamente accettabile. Occorre, pertanto, un ripensamento delle strategie legislative nell’ottica di offrire
più adeguate garanzie, sostanziali e procedurali, a tutela della libertà di espressione e del diritto di non
discriminazione dei gruppi marginalizzati.
Moderazione automatica – Hate speech – Discriminazione algoritmica – Uguaglianza sostanziale – Libertà
di espressione
Sommario: 1. Introduzione: il ruolo odierno della moderazione – 2. Moderazione algoritmica dei contenuti e rilevazione
dei discorsi d’odio – 3. Margini di errore e bias discriminatori – 4. La moderazione dell’ hate speech in un’ottica di
uguaglianza sostanziale – 5. Conclusioni
1. Introduzione: il ruolo odierno della nia con la storica interpretazione del Primo Emenda-
moderazione mento resa dal giudice Holmes in Abrams v. United
States 2 . Allo stesso tempo, il ciberspazio ha tuttavia
dato adito a nuove sfide e nuovi pericoli3 , tant’è che,
Le tecnologie digitali, e Internet in particolare, han-
nel vecchio continente, la Corte Europea dei Diritti
no permesso la diffusione di nuovi ed eccezionali stru-
dell’Uomo (Corte EDU) ha ripetutamente posto in
menti per il godimento di diritti e libertà fondamen-
luce gli accresciuti rischi legati alla società dell’infor-
tali. Nella ormai celebre sentenza Reno v. ACLU
mazione, concludendo che ciò possa giustificare un
(1997)1 , la Corte Suprema degli Stati Uniti già se-
intervento più marcato degli Stati contraenti sulla
gnalava e celebrava il ruolo della rete quale facilita-
libertà di espressione in rete4 .
trice del “libero mercato delle idee”, in piena sinto-
P. Dunn è dottorando di ricerca in Law, Science and Technology presso l’Alma Mater Studiorum – Università di Bologna
(CIRSFID-AI) e presso l’Università del Lussemburgo (FDEF).
Questo contributo fa parte del numero speciale “La Internet governance e le sfide della trasformazione digitale” curato da
Laura Abba, Adriana Lazzaroni e Marina Pietrangelo.Per fare ordine della caotica massa di informazio- ragrafo 2) e sull’impatto discriminatorio che tali stru-
ni caricate quotidianamente in Internet, nonché per menti possono avere sulla libertà di espressione dei
ridurre la quantità di “mali informazionali” (informa- gruppi minoritari e/o marginalizzati (paragrafo 3). Il
tion bads 5 ), gli intermediari digitali hanno ben pre- paragrafo 4 argomenta come un’interpretazione del
sto sviluppato strategie di moderazione dei contenuti contrasto al fenomeno dell’hate speech in una pro-
sempre più complesse e raffinate6 . Come posto in lu- spettiva di uguaglianza sostanziale richieda un ripen-
ce da Gillespie, nonostante gli intermediari abbiano samento altresì delle strategie legislative e di policy
a lungo cercato di presentarsi come fornitori di servi- sul piano europeo.
zi (per lo più servizi di hosting) meramente neutrali,
l’ideale di una piattaforma priva di alcun controllo
rappresenta un’utopia7 . Tutte le piattaforme mo- 2. Moderazione algoritmica dei
derano: anzi, la moderazione sarebbe da intendersi contenuti e rilevazione dei discorsi
precipuamente quale prodotto stesso della piattafor- d’odio
ma, in quanto rappresenterebbe in ultima istanza ciò
che garantisce all’utente consumatore un’esperienza Secondo Grimmelmann15 , la moderazione dei con-
più o meno positiva della rete8 . Essa è cioè parte tenuti rappresenta l’insieme di quei meccanismi di
integrante del pacchetto offerto dai social media9 . governance che strutturano la partecipazione a una
D’altro canto, è proprio sulla moderazione priva- comunità online, al fine di favorire la cooperazione
ta operata dagli intermediari digitali che è andato tra gli utenti e prevenire la commissione di abusi. In
crescendo il focus delle scelte legislative e politiche senso lato, essa comprende due diversi aspetti. Il pri-
degli ultimi anni. Soprattutto a partire dalla seconda mo si riferisce alla rimozione dei contenuti contrari
metà degli anni 2010, si è invero assistito a un sem- alle condizioni d’uso del servizio, nonché all’imposi-
pre maggiore ricorso a tecniche di regolazione della zione di sanzioni (ad esempio, la sospensione o can-
libertà di espressione “di nuova scuola” (new-school cellazione del profilo) a carico di chi li abbia postati:
speech regulation 10 ). L’elemento caratteristico di in tal senso, si può parlare di moderazione “in senso
queste nuove forme di regolazione è la scelta di in- stretto” o di hard moderation 16 .
tervenire non tanto attraverso l’imposizione di restri- Il secondo aspetto, invece, si riferisce all’organiz-
zioni e sanzioni che investano la libertà di espressio- zazione, distribuzione e disseminazione dei contenu-
ne dei singoli individui quanto, piuttosto, attraverso ti stessi, attraverso una loro gerarchizzazione atta
la diretta regolazione delle infrastrutture digitali, a migliorare l’esperienza degli utenti. A questi so-
attraverso l’elaborazione cioè di forme di responsa- no offerti, infatti, i contenuti che più possano loro
bilità sussidiaria a carico dell’intermediario per la interessare: si parla, con riferimento a tale attivi-
presenza e diffusione di contenuti illeciti generati da tà, di “cura dei contenuti” (content curation 17 o soft
terzi11 . L’Unione europea, tra gli altri, sembra avere moderation 18 ). La cura dei contenuti, che si basa
intrapreso tale strada negli ultimi anni12 . generalmente sull’uso di sistemi automatizzati, quali
La diffusione di tali nuovi strategie di governance, i sistemi di raccomandazione, mirano a massimizza-
unita a un’accresciuta sensibilità del pubblico, hanno re l’engagement degli utenti19 e, di conseguenza, i
spinto gli intermediari digitali a farsi maggiormente profitti del prestatore di servizi: la letteratura ha
carico del loro ruolo di moderatori. Per far fronte, rilevato come ciò possa andare a discapito di impor-
tuttavia, alla crescita esponenziale del traffico quo- tanti valori democratici, quali la protezione del plu-
tidiano di dati e informazioni in rete, l’utilizzo di ralismo mediatico e di pensiero, alimentando da un
sistemi di intelligenza artificiale (IA) ha acquisito un lato la creazione di camere dell’eco e la polarizzazio-
maggior rilievo anche in questo settore13 . Il ricorso a ne del dibattito democratico e impattando dall’altro
strumenti automatici di decisione per la gestione dei lato la capacità di diffusione dei contenuti prodotti
contenuti in rete solleva peraltro una serie di per- da gruppi minoritari20 . Nonostante tale significativo
plessità con riferimento alla protezione e garanzia di impatto della cura dei contenuti sull’ecosistema in-
diritti umani e valori costituzionali, ivi inclusi la li- formazionale digitale, il focus del presente contributo
bertà di espressione e informazione e il principio di sarà posto in modo particolare sulla moderazione dei
non discriminazione. Ciò, soprattutto, appare evi- contenuti “in senso stretto”.
dente con riferimento alla moderazione dei discorsi Da un punto di vista pratico, le tecniche di mode-
d’odio (hate speech)14 . razione possono adottare strategie differenti21 . Una
Il presente contributo fornisce uno sguardo sul prima distinzione può essere fatta, sulla base del
crescente ruolo dei sistemi di IA e machine-learning criterio temporale, tra moderazione ex ante e mo-
nell’ambito della rilevazione dei contenuti d’odio (pa- derazione ex post, a seconda che il controllo venga
Pietro Dunnesercitato prima o dopo la pubblicazione del con- disponibile derivante dalla necessità di porre in atto
tenuto. A sua volta, la moderazione ex post può le adeguate misure di contenimento del contagio30 .
essere proattiva, laddove l’intermediario si occupi
attivamente di individuare i contenuti da rimuovere,
o reattiva, quando invece si limiti a ricevere e valu-
tare segnalazioni altrui (ad esempio, da parte di altri
utenti del servizio).
Sotto un diverso profilo, la moderazione può es-
sere operata da esseri umani (moderazione umana o
manuale), da sistemi di IA (moderazione automatica
o algoritmica) oppure attraverso una combinazione
dei due (moderazione ibrida). In quest’ultimo caso,
la funzione dei sistemi di IA è principalmente quella
di operare una scrematura preventiva dei contenuti
pubblicati dagli utenti e di rimettere al moderato-
re umano soltanto i casi più ambigui, istituendo tra
l’altro un ordine di priorità rispetto all’ordine di revi-
sione22 . I sistemi ibridi hanno acquisito negli ultimi
anni un rilievo sempre maggiore, soprattutto per le
possibilità che gli strumenti di IA offrono agli inter- Figura 1: Totale dei contenuti sanzionati da Instagram
mediari di effettuare controlli su larghissima scala. e Facebook come contenuti d’odio (in milioni)
Al tempo stesso, il ricorso all’algoritmo consente di
ridurre l’esposizione dei moderatori umani a con-
tenuti potenzialmente dannosi per il loro benessere
psicofisico23 .
La ricerca relativa allo sviluppo, perfezionamen-
to e aggiornamento dei sistemi automatizzati di mo-
derazione si è dimostrata particolarmente feconda.
Attualmente, gli intermediari digitali godono di una
vasta gamma di strumenti algoritmici a loro dispo-
sizione, che possono essere variamente combinati a
seconda della tipologia di information bad che si vo-
glia filtrare e sulla base del formato (testuale, visuale,
audiovisuale etc.) che si voglia analizzare24 . Parti-
colarmente diffusi e utilizzati sono, attualmente, i
sistemi di machine-learning basati su reti neurali25 :
con riferimento a tali tecnologie, un terreno di ri-
cerca particolarmente fertile risulta essere quello del
natural language processing (NLP), ovverosia quella
branca dell’informatica che si occupa di sviluppare
le capacità delle macchine di analizzare contenuti te- Figura 2: Percentuale di contenuti d’odio rilevati tramite
stuali, con il fine specifico di trarre conclusioni in sistemi automatizzati sul totale dei contenuti d’odio
merito al significato del testo stesso26 .
L’utilizzo di sistemi automatizzati di moderazio- I dati pubblicati da Facebook e Instagram nei lo-
ne è andato aumentando drasticamente negli ultimi ro report periodici sull’applicazione degli standard
anni e ha fatto uno straordinario balzo avanti a se- della comunità31 confermano tali trend. Ciò emerge
guito dello scoppio della pandemia di COVID-19. Se con particolare vigore con riferimento alla modera-
infatti, da un lato, piattaforme e intermediari digita- zione dei discorsi d’odio, sempre più automatizzata.
li sono entrati in uno “stato di emergenza” 27 durante La Figura 1 mostra, in particolare, il numero di con-
la crisi sanitaria, a causa soprattutto dell’aumento tenuti sanzionati, in quanto riconosciuti quali fatti-
preoccupante nella diffusione di hate speech 28 e fa- specie di hate speech dalle piattaforme, nel periodo
ke news29 , dall’altro lato, le piattaforme hanno nei intercorrente tra l’ultimo trimestre del 2017 e il quar-
primi mesi dovuto sviluppare adeguati sistemi di IA to trimestre del 2021, mentre la Figura 2 mostra, in
per far fronte alla riduzione di manodopera umana percentuale, quanti di quei contenuti sono stati ri-
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speechlevati attraverso il ricorso a sistemi di intelligenza meno elevato margine di errore. Gli errori, in par-
artificiale32 . In tal senso, il numero di contenuti san- ticolare, possono tradursi in falsi negativi o in falsi
zionati da Facebook è aumentato vertiginosamente positivi: se i primi minano l’efficacia di un sistema
negli anni: un incremento particolarmente evidente automatizzato di moderazione, i secondi possono
si è avuto a seguito dello scoppio della pandemia, invece essere dannosi per l’esercizio della libertà di
con un salto da 9,5 milioni di contenuti sanzionati espressione online degli utenti. Peraltro, le due tipo-
nel primo trimestre del 2020 a 22,5 milioni nel tri- logie di errore sono in generale inversamente propor-
mestre successivo. In realtà, gli ultimi due trimestri zionali39 : laddove, cioè, si implementi un sistema più
del 2021 segnalano un’inversione di tendenza in tal “permissivo”, vi sarà un rischio minore di falsi positivi
senso, con una drastica riduzione dei numeri che, tut- a fronte di un maggior numero di contenuti illeciti, o
tavia, continuano tutt’ora a essere notevolmente più contrari alle condizioni di utilizzo, rimasti impuniti;
elevati rispetto all’epoca pre-pandemica33 . mentre un sistema più “severo” sarà, all’opposto, più
Nel frattempo, un costante aumento si è avuto difficilmente eludibile ma più probabilmente esposto
nell’utilizzo di sistemi di IA per la rilevazione di con- al rischio di falsi positivi. In tal senso, il riferito
tenuti d’odio: infatti, se nell’ultimo trimestre del incremento di contenuti sanzionati in quanto ricon-
2017 solo il 23,6% dei post non conformi al divie- dotti alla sfera dell’hate speech da parte di sistemi
to di hate speech era rilevato proattivamente dagli di IA ha comportato (e comporta) un verosimile e
algoritmi di Facebook, il dato è andato aumentan- proporzionale incremento nel numero di falsi positivi.
do nel corso del tempo. Attualmente, i contenuti Se ciò è vero, l’implementazione di sistemi auto-
sanzionati dal social network in quanto ritenuti isti- matizzati di moderazione si traduce in sostanza in un
ganti all’odio sono rilevati tramite sistemi automa- bilanciamento tra due, talora contrastanti, esigenze:
tizzati per il 96-97% circa. L’attuale CTO di Meta, da un lato, la necessità di ridurre la diffusione di “ma-
Mike Schroepfer, ha celebrato questi risultati, sotto- li informazionali”; dall’altro lato, l’esigenza di tutela-
lineando come l’utilizzo dei sistemi automatizzati di re la libertà di espressione e il pluralismo di pensiero.
moderazione contribuisca a garantire un ecosistema Bilanciamento, peraltro, operato sempre più diretta-
digitale sicuro34 . Del resto, secondo i dati pubblica- mente dalle piattaforme e dagli intermediari digitali.
ti dalla stessa azienda, si è in effetti assistito a una Se, dunque, la scelta di utilizzare tali sistemi richie-
diminuzione dallo 0,10-0,11% allo 0,03%35 circa nel de l’applicazione di un principio di proporzionalità
grado di “diffusione” di contenuti d’odio (ovverosia la che tenga conto di tali esigenze, il problema di fon-
percentuale stimata di visualizzazione di hate speech do consiste nell’individuazione della soglia entro la
su tutti i contenuti visualizzati dagli utenti36 ). quale il margine di errore (nel senso di falso positi-
Tuttavia, se è vero che l’avanzamento tecnologico vo) sia da ritenersi “accettabile” a fronte del vantag-
nel settore rappresenta un fattore importante ed es- gio sociale determinato dalla riduzione del grado di
senziale nella prospettiva di costruire un ciberspazio inquinamento dell’ecosistema informazionale digita-
libero da intolleranze e violenze, è pur vero che le in- le40 . L’individuazione di tale soglia, tuttavia, può
formazioni rese dal gruppo di Facebook rivelano un variare a seconda della tipologia di information bad
solo lato della medaglia. Come sottolineato in Wired, che si voglia combattere. A tal proposito, con riferi-
non è chiaro fino a che punto gli algoritmi di rileva- mento al fenomeno dei discorsi d’odio, alcuni fattori
zione dei discorsi d’odio siano andati effettivamente richiedono di essere tenuti in considerazione.
perfezionandosi37 . Si tenga conto, in particolare, che Un primo elemento di complicazione è determina-
i dati riportati sono meramente quantitativi: poco ci to dalla nozione stessa di hate speech, tutt’altro che
dicono sulla qualità delle scelte prese dai sistemi di condivisa e ben definita41 . A seconda della giurisdi-
IA o sulla percentuale di errori di rilevazione38 . Tale zione di riferimento, le condotte ascrivibili ai discorsi
ambiguità e opacità rispetto alla qualità e correttez- d’odio penalmente rilevanti possono variare notevol-
za delle decisioni prese dall’algoritmo risultano essere mente. Allo stesso modo, le piattaforme e gli inter-
particolarmente preoccupanti laddove si consideri il mediari digitali tendono a definire autonomamente il
rischio di output discriminatori. concetto di hate speech sanzionabile ai sensi dei loro
termini e condizioni d’utilizzo: molto sovente, per di
3. Margini di errore e bias più, le nozioni adottate da tali attori risultano essere
discriminatori notevolmente più ampie e aperte rispetto alle fat-
tispecie considerate dai sistemi giuridici statali42 . Il
Invero, i sistemi automatizzati di classificazione si campo di applicazione di tali standard privati rischia
basano su fondamenti statistico-probabilistici che, in tal senso di risultare estremamente lato e, talora,
in quanto tali, rendono sempre inevitabile un più o pericolosamente indefinito.
Pietro DunnUn secondo rilevante aspetto è dettato dal fat- lizzati sviluppano la tendenza a utilizzare termini ed
to che, come rilevato dalla giurisprudenza e dal di- espressioni in sé stessi insultanti e discriminatori (si
battito internazionale, la possibilità di ascrivere una pensi alla n-word ) con la doppia finalità, tuttavia, di
determinata forma espressiva alla classe dei discorsi riappropriarsi di tali termini svuotandoli della loro
d’odio è strettamente dipendente dalla ricostruzione carica negativa (è questo il caso della parola queer,
del contesto all’interno della quale essa si inserisce. inizialmente utilizzata quale insulto per le persone
L’identità dell’autore e dei componenti dell’audien- LGBTQIA+ e facente oggi parte della sigla stessa)
ce, per esempio, così come elementi contestuali quale e di aiutare i membri della loro stessa comunità a
il tempo e il luogo in cui un determinato contenu- “farsi la pelle dura” 51 . L’incapacità della macchina
to sia stato pubblicato o condiviso, sono fattori po- di cogliere tali sfumature di intenti e di significato
tenzialmente dirimenti per comprendere lo scopo e rende così particolarmente elevato il rischio di falsi
i possibili effetti che una certa modalità espressiva positivi, tant’è che, tra gli attivisti afro-americani,
può avere: tali fattori richiedono sempre un’attenta è rapidamente invalso il ricorso al neologismo “zuc-
ricostruzione al fine di evitare eccessive e spropor- ked” a indicare le frequenti sanzioni loro imposte dal-
zionate interferenze a danno della libertà di espres- le piattaforme di Meta ogniqualvolta essi pubblichino
sione individuale43 . Eppure, ciò rappresenta una sfi- contenuti che discutano il tema del razzismo52 .
da rilevante per il moderatore algoritmico, in quanto L’applicazione discriminatoria delle regole di una
le macchine, nonostante il loro straordinario pote- comunità online da parte dei sistemi di moderazio-
re computazionale44 e la loro efficienza a livello di ne algoritmica è peraltro dettata altresì dagli stessi
comprensione simbolico-sintattica, pongono ancora utenti. Nel 2016-2017, il genocidio e le persecuzio-
oggi dei problemi per quanto concerne la capacità ni a danno della comunità musulmana Rohingya in
di comprensione semantica45 . È infatti difficile, per Myanmar sono stati incentivati, da un lato, dal fal-
un sistema automatizzato, rilevare l’ironia o la satira limento da parte di Facebook nel ridurre effettiva-
nascoste dietro un particolare contenuto. Tra l’altro, mente la diffusione di hate speech avente ad oggetto
tale compito è complicato notevolmente dalle moda- la minoranza, e, dall’altro lato, dalla ripetuta cen-
lità espressive caratteristiche della comunicazione in sura di contenuti di denuncia pubblicati da attivisti
rete, le quali mescolano sovente elementi testuali, vi- Rohingya: in effetti, come sottolineato da Suzor, in
sivi e audiovisivi: si pensi, per esempio, ai cosiddetti molti casi l’algoritmo della piattaforma teneva con-
“meme”, contenuti multimodali che si caratterizza- to delle ripetute e numerose segnalazioni effettuate
no per un’alta viralità e per il fatto di richiedere, ai da utenti birmani, facenti parte della maggioranza,
fini della comprensione, una vera e propria “meme rispetto a tali contenuti53 .
literacy” dell’audience46 . Tali effetti si riscontrano, del resto, anche a livel-
Le difficoltà prodotte da tali sfide sono esse stesse lo di content curation: la letteratura ha sottolinea-
alla base di quello che è il terzo fattore di complica- to come l’architettura algoritmica delle piattaforme,
zione. Come evidenziato da ormai consolidata let- incentrata a massimizzare l’engagement degli utenti
teratura, il margine di errore connesso all’utilizzo di della rete, tenda a premiare in termini di visibilità i
sistemi automatizzati di rilevazione delle fattispecie contenuti pubblicati dalle categorie demografiche di
di hate speech tende a impattare significativamente maggioranza54 , relegando a spazi di nicchia o impo-
proprio sulle comunità tradizionalmente marginaliz- nendo un vero e proprio shadowban 55 a carico dei
zate e discriminate47 . Sempre più studi sono attual- gruppi marginalizzati.
mente dediti alla ricerca di tecniche di debiasing dei
moderatori automatici48 , ma il problema è ancora 4. La moderazione dell’hate speech in
lungi dall’essere risolto. un’ottica di uguaglianza sostanziale
Così, per esempio, si è da più parti rilevato co-
me i contenuti pubblicati da membri della comuni- A fronte di tali rilievi, occorre chiedersi, anche in
tà afro-americana49 o della comunità LGBTQIA+50 un’ottica normativa e di policy-making, se il margi-
siano maggiormente soggetti a subire sanzioni ingiu- ne di errore caratterizzante gli strumenti di mode-
stificate per violazione del divieto di hate speech o razione automatizzata dei discorsi d’odio sia effetti-
“toxic” speech. Le cause di tali risultati discrimina- vamente accettabile o meno a fronte della necessità
tori sono plurime. Accade, per esempio, che i dataset di garantire agli utenti un ciberspazio maggiormen-
utilizzati per allenare l’algoritmo non siano qualita- te tollerante e sicuro. In tal senso, sembra essere
tivamente ottimali, soprattutto perché non rappre- ineludibile un riferimento all’ormai risalente dibatti-
sentativi del gergo e degli usi comunicativi tipici dei to concernente la domanda se sia o meno opportuno
gruppi minoritari. In molti casi, i gruppi margina- combattere il fenomeno dell’hate speech attraverso
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speechl’imposizione di restrizioni alla libertà di espressio- aumento del battito cardiaco; difficoltà respiratorie;
ne, pur nella consapevolezza che tale dibattito non incubi; disturbi da stress post-traumatico (PTSD);
si è sviluppato negli anni con riferimento alla relazio- ipertensione; psicosi; suicidio62 . In Beizaras e Levic-
ne intercorrente tra individuo e intermediario digita- kas c. Lituania 63 , la Corte EDU ha recentemente
le (rapporto tra soggetti privati) ma, piuttosto, con confermato che l’hate speech, relativo, nel caso di
riferimento a quella intercorrente tra persona fisica specie, all’orientamento sessuale dei ricorrenti, rap-
e istituzioni dello Stato (rapporto tra un soggetto presenta in sé e per sé un attacco all’integrità fisica
privato e un soggetto pubblico). e mentale di coloro che ne sono i destinatari. Le
Come è noto, il dibattito sulla punibilità dei di- vittime, inoltre, vengono attraverso l’hate speech
scorsi d’odio ha condotto, in prospettiva comparata, ristrette nelle loro libertà, in quanto l’esigenza di
a soluzioni ben diverse tra loro56 . Così, se negli USA sottrarsi a messaggi d’odio le porta a modificare le
vige il primato del Primo Emendamento e della tute- proprie abitudini di vita e, in molti casi, a rinunciare
la del “libero mercato delle idee” 57 , con la conseguen- a esprimere le loro personali opinioni e idee64 . In
za che una normativa volta a limitare la diffusione di ultima istanza, come magistralmente posto in luce
hate speech debba essere sottoposta a un severissimo da Waldron65 , al cuore delle normative di contrasto
scrutinio (strict scrutiny) di legittimità costituzio- al fenomeno in oggetto vi è la necessità di tutelare
nale, quasi sempre fatale58 , il vecchio continente ha l’eguale dignità delle comunità vittime e dei singoli
dimostrato una ben maggiore apertura a simili restri- individui che ne fanno parte66 .
zioni. Invero, a differenza del Primo Emendamento, In altre parole, la regolazione delle espressioni
sia l’art. 10 della Convenzione europea per la sal- d’odio è mossa sia dall’esigenza di contenere il rischio
vaguardia dei diritti dell’uomo e delle libertà fonda- di ordine pubblico legato a un incremento dell’atti-
mentali (CEDU) sia l’art. 11 della Carta dei diritti vità criminosa di matrice discriminatoria sia, soprat-
fondamentali dell’Unione europea (Carta di Nizza) tutto, da quella di garantire alle categorie “protette”
ammettono l’imposizione di restrizioni e limitazioni la possibilità di esercitare liberamente i propri diritti
alla libertà d’espressione se previste dalla legge e se e libertà in una condizione di uguaglianza rispetto
necessarie in una società democratica per il persegui- al resto della popolazione. In questo senso, l’inter-
mento di un fine legittimo, quale è, tra gli altri, la vento normativo volto a ridurre la diffusione di hate
protezione della reputazione o dei diritti altrui59 . speech rappresenta uno strumento volto ad affermare
La scelta di ostacolare, anche per mezzo del dirit- e concretizzare l’uguaglianza sostanziale, e non solo
to, la diffusione dei discorsi d’odio può essere ascrit- formale, dei gruppi demografici marginalizzati. Lo
ta a una pluralità di ragioni tra loro complementari. scopo dell’imposizione di limitazioni alla libertà di
In primo luogo, la proibizione e punibilità dell’hate espressione per ridurre la diffusione di odio ha quindi
speech rappresenta uno strumento per proteggere e come fine ultimo l’empowerment di quei soggetti che
tutelare gli individui appartenenti ad una classe di- l’hate speech mira a colpire. Del resto, come sottoli-
scriminata dal perpetuarsi e aggravarsi degli episo- neato da Fredman, il perseguimento dell’uguaglianza
di di discriminazione e violenza nei loro confronti. sostanziale richiede esso stesso un approccio multi-
Se, come sottolineato dalla Commissione per l’eli- dimensionale al fenomeno della discriminazione che
minazione della discriminazione razziale (CERD), il implichi anche la garanzia che ai gruppi minoritari o
discorso razzista e il discorso d’odio possono porre comunque discriminati sia concesso partecipare atti-
seri pericoli e rischi a medio-lungo termine60 , la lo- vamente alla vita comunitaria, pubblica e politica67 .
ro limitazione rappresenta uno strumento essenziale Se, dunque, la ratio ultima del contrasto ai discor-
per la riduzione di reati e illeciti di matrice discri- si d’odio è legata al perseguimento dell’uguaglianza
minatoria: in tal senso, l’hate speech costituisce una sostanziale, anche nella sua dimensione partecipati-
condotta pericolosa in quanto potenzialmente capa- va, appare evidente che, nel caso della moderazione
ce di produrre conseguenze dannose per una società automatizzata di hate speech, la soglia di accettabi-
democratica61 . lità dell’errore, soprattutto se dettato da bias di ca-
In secondo luogo, è stato da più parti rilevato rattere discriminatorio, debba essere particolarmen-
come l’atto del discorso d’odio sia in sé dannoso per te elevata. Un’applicazione inconsistente ed iniqua
l’integrità psicofisica dei suoi destinatari, nonché per tradisce lo stesso spirito originario della moderazio-
l’esercizio dei loro diritti e delle loro libertà costitu- ne dell’hate speech, svuotando tale attività del suo
zionali. Secondo Matsuda, esponente della critical significato egualitario e rendendola, anzi, contropro-
race theory statunitense, le vittime di hate speech ducente rispetto agli interessi della collettività. Tra
e hate propaganda soffrono in percentuali più alte l’altro, il silenziamento di quelle categorie di persone
di sintomi e disturbi quali: sensazioni di panico; che costituiscono le vittime tipiche dei discorsi d’odio
Pietro Dunnrischia di depotenziare fortemente il ruolo, ritenuto terlocutore umano al momento della presentazione
da più parti fondamentale, della contronarrazione68 . del reclamo e che la nuova decisione non possa essere
Per evitare tale cortocircuito, potenzialmente ag- presa solamente attraverso sistemi automatizzati: a
gravato dal ricorso a tecniche di new-school speech tal fine, è fatto inoltre obbligo ai fornitori di servizi di
regulation, appare pertanto auspicabile un ripensa- dotarsi di personale qualificato. Dal testo approvato
mento, da parte delle istituzioni europee, delle stra- in prima lettura dal Parlamento europeo il 20 gen-
tegie politiche e legislative di settore. Ciò non tan- naio 202273 traspare tra l’altro una ancor maggiore
to nell’ottica di una demonizzazione del moderato- consapevolezza del potenziale impatto del DSA sui
re algoritmico, il quale costituisce invece uno stru- diritti degli utenti: gli emendamenti proposti, per
mento essenziale e utilissimo per il contrasto all’hate esempio, includono numerosi riferimenti al principio
speech 69 , quanto piuttosto nella prospettiva, da un di non discriminazione.
lato, di incentivare i programmatori di tali sistemi a Peraltro, si è da più parti rilevato come le solu-
tenere in adeguata considerazione le esigenze legate zioni adottate rappresentino in ultima istanza poco
al rispetto dei principi dell’uguaglianza sostanziale70 più che petizioni di principio, in quanto sovente non
e, dall’altro lato, di fornire maggiori tutele indivi- corredate da un apparato applicativo e procedura-
duali, sostanziali e soprattutto procedurali71 , a que- le ben definito e sufficientemente sviluppato. Non è
gli utenti della rete che siano maggiormente esposti del tutto chiaro, per esempio, se l’art. 12 del DSA
ai rischi della discriminazione algoritmica. implichi la possibilità di opporre qualsiasi diritto ri-
In realtà, la Commissione europea ha dato segno compreso nella Carta di Nizza oppure soltanto quel-
negli ultimi anni di una maggiore consapevolezza la ristretta cerchia di diritti per i quali la Corte di
dei rischi per la libertà di espressione degli utenti Giustizia dell’UE abbia dichiarato la sussistenza di
che sono ineludibilmente legati a una più massiccia un’efficacia orizzontale74 . È stato, in generale, posto
e generalizzata moderazione dei contenuti da par- in luce come il sistema introdotto dal DSA incenti-
te degli intermediari digitali. Il Regolamento (UE) verebbe un ulteriore incremento nell’utilizzo su vasta
2021/78472 prevede per esempio all’art. 5 che un for- scala di sistemi di moderazione automatizzati, sen-
nitore di servizi, il quale sia stato riconosciuto come za tuttavia la previsione di adeguati rimedi a tutela
esposto a contenuti terroristici, debba predisporre dell’individuo75 .
misure specifiche volte a contrastarne la diffusione: Inoltre, se il DSA, pur nell’apprezzabilissima otti-
nell’applicare tali misure, tuttavia, il fornitore dovrà ca di armonizzazione e riduzione della frammentarie-
tenere pienamente conto dei diritti e degli interessi tà del quadro normativo sugli intermediari digitali,
legittimi degli utilizzatori (ivi inclusa la libertà di mira a introdurre una disciplina quadro generale e
espressione e di informazione) e, nel contempo, agire orizzontale, tale approccio, se non accompagnato da
in maniera diligente e, soprattutto, non discrimina- interventi normativi più specifici, ha tuttavia l’inevi-
toria. È inoltre disposta, all’art. 10, la predisposi- tabile effetto di appiattire le peculiarità tipiche con-
zione di meccanismi di reclamo a tutela degli utenti nesse alla moderazione di ciascun information bad.
i cui contenuti siano stati rimossi, con l’obbligo per Così, per quanto concerne la rimozione dei contenuti
il fornitore di rendere decisioni motivate e fatto sal- d’odio, non sembra essere presente, nell’attuale te-
vo l’eventuale ricorso all’autorità amministrativa o sto della proposta di regolamento, la consapevolezza
giudiziaria dello Stato. dei rischi tipici, ai danni del principio di uguaglian-
A sua volta, la proposta di regolamento per il Di- za sostanziale, che sono inevitabilmente connessi al-
gital Services Act (DSA) contiene alcune norme di la rilevazione automatizzata dell’hate speech. Se, da
rilievo in tal senso, richiedendo all’art. 12 che gli in- un lato, la proposta di regolamento si preoccupa di
termediari applichino le condizioni generali dei loro tutelare i gruppi marginalizzati da contenuti danno-
servizi in modo «equo, trasparente, coerente, diligen- si quali l’“illecito incitamento all’odio” e i “contenu-
te, tempestivo, non arbitrario, non discriminatorio e ti discriminatori illegali” 76 , non sufficiente attenzio-
proporzionato», nonché rispettoso dei diritti e de- ne è prestata al collaterale, ed altrettanto dannoso,
gli interessi legittimi delle parti coinvolte (compresi rischio di un’iniqua rimozione degli stessi.
i diritti fondamentali previsti dalla Carta di Nizza), In una prospettiva normativa, risulta pertanto es-
nonché imponendo, alle piattaforme online, di pre- senziale tenere in maggiore considerazione le speci-
disporre sistemi interni di gestione dei reclami da ficità e le finalità tipiche del contrasto ai discorsi
attuarsi «in modo tempestivo, non discriminatorio, d’odio, ovverosia l’uguaglianza sostanziale dei gruppi
diligente e non arbitrario» (art. 17). In quest’ulti- tradizionalmente marginalizzati e discriminati. Uno
mo caso, peraltro, si prevede espressamente che sia strumento promettente sembra essere stato introdot-
data la possibilità per gli utenti di contattare un in- to, per esempio, dall’emendamento del Parlamento
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speecheuropeo volto a introdurre un paragrafo 1-bis all’art. fondo che ne giustifica il contrasto: la promozione
19. Se nel testo originario della Commissione la fi- del principio di uguaglianza sostanziale.
gura del “segnalatore attendibile” rilevava soltanto ai Sotto il profilo di policy-making, risulta pertan-
fini della premoderazione dei contenuti77 , il nuovo te- to auspicabile da parte del legislatore, nazionale ma
sto richiederebbe alle piattaforme online di adottare soprattutto eurounionale, una maggiore attenzione
le misure, tecniche e organizzative, atte a permette- ai rischi “collaterali” connessi a un quadro norma-
re ai segnalatori attendibili di emettere notifiche di tivo che incentivi la moderazione (algoritmica) dei
rettifica in caso di errore di moderazione: tali noti- discorsi d’odio senza garantire al contempo un ap-
fiche, volte al ripristino di informazioni e contenuti, parato adeguato di tutela delle libertà individuali e
dovranno essere trattate e decise in via prioritaria e del diritto di non discriminazione degli utenti. Tale
senza indugio. In altre parole, si darebbe la possibi- esigenza appare ancor più pressante nell’attuale con-
lità a segnalatori attendibili, indipendenti ed esperti testo post-pandemico e, soprattutto, con riferimento
in materie quali, per l’appunto, il contrasto al fe- alla discussione in corso relativa all’emanazione del
nomeno dei discorsi d’odio, di corroborare le richie- Digital Services Act.
ste di correzione delle decisioni prese dalla piattafor-
ma. Peraltro, allo stato attuale non risulta chiaro
se, quando e con quali modalità sarà possibile per gli Note
utenti richiedere direttamente un simile intervento 1 Reno v. American Civil Liberties Union, 521 US 844
del segnalatore attendibile. (1997).
2 Abrams v. United States, 250 US 616 (1919). Sul punto,
si vedano tra gli altri L.C. Bollinger, The Tolerant Society:
5. Conclusioni Freedom of Speech and Extremist Speech in America, Oxford
University Press, 1988, 304 p., p. 59-61; M. Rosenfeld,
Il costante incremento del flusso informativo in rete Hate Speech in Constitutional Jurisprudence: A Comparative
Analysis, in “Cardozo Law Review”, vol. 24, 2003, n. 4, p.
ha reso sempre più essenziale il ruolo degli interme- 1523-1567, spec. p. 1533-1535.
diari digitali nella moderazione dei contenuti postati 3 Cfr. D. Lupton, Digital risk society, in A. Burgess, A.
dagli utenti, al fine di ridurre la commissione di con- Alemanno, J.O. Zinn et al. (eds.), “Routledge Handbook of
dotte illecite e la diffusione di materiali dannosi o ille- Risk Studies”, Routledge, 2016, p. 301-309.
4 Si vedano, ex multis, Corte EDU, Stoll c. Svizzera, 10
citi in Internet. La necessità di tale attività si evince
dicembre 2007, ric. 69698/01; K.U. c. Finlandia, 2 dicembre
del resto dal crescente numero di iniziative politiche 2008, ric. no. 2872/02; Pravoye Delo e Shtekel c. Ucraina, 5
e legislative da parte delle istituzioni pubbliche, na- maggio 2011, ric. 33014/05. Cfr. O. Pollicino, Judicial pro-
zionali e sovranazionali, volte a delineare sistemi di tection of fundamental rights on the Internet: A road towards
digital constitutionalism?, Hart, 2021, XXIV+235 p.
new-school speech regulation. A fronte, tuttavia, del- 5 G. Sartor, A. Loreggia, The impact of algorithms for
la mole straordinaria di contenuti postati quotidia- online content filtering or moderation. “Upload filters”, stu-
namente online, il ricorso da parte degli intermediari dio richiesto dal Comitato JURI del Parlamento europeo, n.
digitali a forme di moderazione automatizzata si è PE 657.101), 2020.
6 J. Grimmelmann, The Virtues of Moderation, in “Yale
fatto negli anni massiccio. Journal of Law and Technology”, 2015, n. 17, p. 42-109.
Sebbene tali sistemi siano sempre più avanzati e 7 T. Gillespie, Custodians of the Internet: platforms,
raffinati, il loro utilizzo non è esente da criticità: un content moderation, and the hidden decisions that shape social
certo margine di errore è, di fatto, ineludibile. Ciò media, Yale University Press, 2018, 288 p., a p. 5. Si veda
anche, sul punto, N. Helberger, J. Pierson, T. Poell,
risulta essere particolarmente evidente in quei casi Governing online platforms: From contested to cooperative
ove la rilevazione del “male informazionale” si fondi responsibility, in “The Information Society”, vol. 23, 2018, n.
sulla comprensione semantica del contesto e dell’in- 1, p. 1-14.
8 Così T. Gillespie, op. cit., p. 13: «And moderation is,
tenzione dell’autore del contenuto, quale è il caso dei
in many ways, the commodity that platforms offer. Though
discorsi d’odio. In questi casi, come evidenziato da part of the web, social media platforms promise to rise above
ampia letteratura, risulta particolarmente elevato il it, by offering a better experience of all this information and
rischio di falsi positivi, soprattutto a carico delle mi- sociality: curated, organized, archived, and moderated».
9 R. Wilson, M. Land, Hate Speech on Social Me-
noranze e dei gruppi marginalizzati o discriminati.
dia: Content Moderation in Context, in “Connecticut Law
Il concreto e significativo rischio che la moderazione Review”, vol. 52, 2021, n. 3, p. 1029-1076, spec. p. 1054.
automatizzata di hate speech si traduca in un silen- 10 J.M. Balkin, Old-School/New-School Speech Regulation,
ziamento delle categorie discriminate, piuttosto che in “Harvard Law Review”, vol. 127, 2013, n. 8, p. 2296-2342.
in una loro tutela, implica la necessaria pretesa di Si veda, sulla regolazione degli intermediari digitali, G.
Frosio (ed.), The Oxford handbook of online intermediary
una più esigente soglia di accettabilità dell’errore. liability, Oxford University Press, 2020, 782 p.
In caso contrario, la moderazione dei contenuti d’o- 11 Si vedano altresì J.M. Balkin, Free Speech in the Al-
dio si svuoterebbe di significato, tradendo la ratio di gorithmic Society: Big Data, Private Governance, and New
Pietro DunnSchool Speech Regulation, in “U.C. Davis Law Review”, vol. focus on editorial decision making on social media platforms
51, 2017, n. 3, p. 1149-1210; J.M. Balkin, Free Speech Is a and in the news media, in “European Journal of Law and
Triangle, in “Columbia Law Review”, vol. 118, 2018, n. 7, p. Technology”, vol. 11, 2020, n. 3, p. 1-28; S. Milano et
2011-2056. al., Recommender systems and their ethical challenges, in “AI
12 In una prima fase, la Commissione europea faceva per lo & Society”, vol. 35, 2020, n. 4, p. 957-967; N.P. Suzor,
più ricorso a strumenti di auto-regolazione dal basso. Tra que- Lawless: The Secret Rules That Govern Our Digital Lives,
sti, il rimando è, soprattutto, al Codice di condotta dell’UE Cambridge University Press, 2019.
per contrastare l’illecito incitamento all’odio (2016), nonché al 21 Si veda, in particolare, K. Klonick, The New Governors:
Codice di buone pratiche sulla disinformazione (2019). Pro- The People, Rules, and Processes Governing Online Speech,
gressivamente, l’approccio della Commissione è tuttavia mu- in “Harvard Law Review”, vol. 131, 2017, n. 6, p. 1598-1670.
tato nella direzione di una maggiore regolazione “dall’alto”, 22 G. De Gregorio, Democratising online content mode-
attraverso il ricorso sempre più diffuso a strumenti di hard
ration: A constitutional framework , in “Computer Law &
law. Si vedano, in particolare: la Direttiva (UE) 2018/1808 del
Security Review”, vol. 36, 2020, p. 1-17.
Parlamento europeo e del Consiglio, del 14 novembre 2018, re-
23 Le condizioni lavorative dei moderatori umani, con par-
cante modifica della direttiva 2010/13/UE, relativa al coordi-
namento di determinate disposizioni legislative, regolamentari ticolare riferimento ai danni psichici da essi sovente riportati,
e amministrative degli Stati membri concernenti la fornitura sono state trattate in particolare in S.T. Roberts, Behind the
di servizi di media audiovisivi (direttiva sui servizi di media screen: Content moderation in the shadows of social media,
audiovisivi), in considerazione dell’evoluzione delle realtà del Yale University Press, 2019, 266 p. A p. 25, l’autrice sotto-
mercato (2018) OJ L61/69; la Direttiva (UE) 2019/790 del linea come i lavoratori del settore siano generalmente «poor-
Parlamento europeo e del Consiglio, del 17 aprile 2019, sul ly paid human beings who risk burnout, desensitization, and
diritto d’autore e sui diritti connessi nel mercato unico digi- worse because of the nature of their work». Si veda altre-
tale e che modifica le direttive 96/9/CE e 2001/29/CE (2019) sì Cambridge Consultants, Use of AI in Online Content
OJ L130/92; e il Regolamento (UE) 2021/784 del Parlamento Moderation, Ofcom, 2019.
europeo e del Consiglio, del 29 aprile 2021, relativo al contra- 24 Si vedano, sul punto, Cambridge Consultants, op. cit.;
sto della diffusione di contenuti terroristici online (2021) OJ R. Gorwa, R. Binns, C. Katzenbach, op. cit.; G. Sartor,
L172/79. Si veda, da ultimo, la proposta per il cosiddetto Di- A. Loreggia, op. cit.
gital Services Act: Proposta di Regolamento del Parlamento 25 Cfr. J. Burrell, How the machine ‘thinks’: Understan-
europeo e del Consiglio relativo a un mercato unico dei servizi ding opacity in machine learning algorithms, in “Big Data &
digitali (legge sui servizi digitali) e che modifica la direttiva Society”, vol. 3, 2016, n. 1, p. 1-12; F. Pasquale, The
2000/31/CE, COM(2020) 825 final. black box society: the secret algorithms that control money
13 Si veda, tra gli altri, R. Gorwa, R. Binns, C. Katzen-
and information, Harvard University Press, 2015, 311 p.
bach, Algorithmic content moderation: Technical and politi- 26 J. Eisenstein, Introduction to Natural Language Pro-
cal challenges in the automation of platform governance, in
cessing, MIT Press, 2019, 536 p. A p. 1 si definisce il natu-
“Big Data & Society”, vol. 7, 2020, n. 1, p. 1-15.
14 Tra le numerose definizioni che sono state offerte del ter- ral language processing come «the set of methods for mak-
ing human language accessible to computers». Si veda anche
mine hate speech, si veda in particolare European Commis-
N. Duarte, E. Llansó, A. Loup, Mixed messages? The
sion against Racism and Intolerance (ECRI), General
limits of automated social media content analysis, Center for
Policy Recommendation no. 15 on Combating Hate Speech,
Democracy & Technology, 2017, p. 9. Per quanto concerne
21 March 2016, CRI(2016)15, p. 16: «Hate speech for the pur-
l’applicabilità specifica dell’NLP per la moderazione dell’hate
pose of the Recommendation entails the use of one or more
speech, si veda A. Schmidt, M. Wiegand, A Survey on Hate
particular forms of expression – namely, the advocacy, pro-
Speech Detection using Natural Language Processing, in L.W.
motion or incitement of the denigration, hatred or vilification
Ku, C.T. Li (eds.), “Proceedings of the Fifth International
of a person or group of persons, as well any harassment, in-
Workshop on Natural Language Processing for Social Media”,
sult, negative stereotyping, stigmatization or threat of such
ACL, 2017, p. 1-10. Peraltro, un campo di ricerca particolar-
person or persons and any justification of all these forms of
mente fertile sembra essere, soprattutto ai fini della rilevazione
expression – that is based on a non-exhaustive list of personal
di contenuti d’odio, quello della sentiment analysis (o opinion
characteristics or status that includes “race”, colour, language,
mining). Sull’argomento, si vedano B. Liu, Sentiment Ana-
religion or belief, nationality or national or ethnic origin, as
lysis: Mining Opinions, Sentiments, and Emotions, II ed.,
well as descent, age, disability, sex, gender, gender identity
Cambridge University Press, 2020, XVIII+430 p.; F.A. Poz-
and sexual orientation».
15 J. Grimmelmann, op. cit., p. 47. zi et al., Challenges of Sentiment Analysis in Social Networks:
16 R. Gorwa, R. Binns, C. Katzenbach, op. cit., p. 3.
An Overview, in Id., “Sentiment Analysis in Social Networks”,
17 E. Llansó et al., Artificial intelligence, Content Mode-
Morgan Kaufmann, 2017, p. 1-11.
27 E.Douek, Governing online speech: from “posts-as-
ration, and Freedom of Expression, TWG, 26 February 2020,
32 p. trumps” to proportionality and probability, in “Columbia Law
18 R. Gorwa, R. Binns, C. Katzenbach, op. cit., p. 3. Review”, vol. 121, 2021, n. 3, p. 759-834.
19 In questo senso, Wu parla di controllo “positivo” della li- 28 S. Agarwal, C.R. Chowdary, Combating hate speech
bertà di espressione. Si veda T. Wu, Will artificial intelligen- using an adaptive ensemble learning model with a case study
ce eat the law? The rise of hybrid social-ordering systems, in on COVID-19 , in “Expert Systems with Applications”, 2021,
“Columbia Law Review”, vol. 119, 2019, n. 7, p. 2001-2028, a n. 185, p. 1-9; United Nations, Countering COVID-19 Hate
p. 2014. Speech, 2020.
20 Si vedano, tra gli altri, E. Llansó et al., op. cit.; C.R. 29 G. De Gregorio, O. Pollicino, P. Dunn, Digi-
Sunstein, #Republic: Divided Democracy in the Age of So- tisation and the central role of intermediaries in a post-
cial Media, Princeton University Press, 2017, XIV+316 p.; E. pandemic world, in “MediaLaws”, 2021; F. Tagliabue, L.
Pariser, The filter bubble: what the Internet is hiding from Galassi, P. Mariani, The “Pandemic” of Disinformation in
you, Penguin, 2011, 294 p.; N. Helberger et al., A freedom COVID-19, in “SN Comprehensive Clinical Medicine”, 2020,
of expression perspective on AI in the media – with a special n. 2, p. 1287-1289.
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speech30 M. Lim, G. Alrasheed, Beyond a technical bug: Biased Hockenmaier, J. Tsujii (eds.), “Proceedings of the 2018 Confe-
algorithms and moderation are censoring activists on social rence on Empirical Methods in Natural Language Processing”,
media, in “The Conversation”, 2021. ACL, 2018, p. 2799-2804; X. Zhou, M. Sap, S. Swayam-
31 Facebook Transparency Center, Community Stan- dipta et al. (eds.), Challenges in Automated Debiasing for
dards Enforcement Report – Hate Speech, Meta, 2022. Toxic Language Detection, in P. Merlo, J. Tiedemann, R.
32 I dati concernenti la moderazione dei discorsi d’odio su Tsarfaty (eds.), “Proceedings of the Sixteenth Conference of
Instagram sono disponibili solo con riferimento al periodo the European Chapter of the Association for Computational
successivo all’ultimo trimestre del 2019. Linguistics: Main Volume”, ACL, 2021, p. 3143-3155.
33 Occorre sottolineare, peraltro, che nel momento in cui si 49 T. Davidson, D. Warmsley, M. Macy, I. Weber,
scrive non è possibile ancora prevedere quali saranno gli effet- Automated Hate Speech Detection and the Problem of Offen-
ti, a livello di moderazione dei contenuti d’odio, dello scoppio sive Language, in “Proceedings of the Eleventh International
del conflitto russo-ucraino nel febbraio 2022. AAAI Conference on Web and Social Media”, vol. 11, 2017, n.
34 M. Schroepfer, Update on Our Progress on AI and 1, p. 512-515; T. Davidson, D. Bhattacharya, I. Weber,
Hate Speech Detection, Meta, 2021. Racial Bias in Hate Speech and Abusive Language Detection
35 Facebook Transparency Center, Community Stan- Datasets, in T.S. Roberts, J. Tetreault, V. Prabhakaran, Z.
dards Enforcement Report, cit. Waseem (eds.), “Proceedings of the Third Workshop on Abu-
36 Per una definizione di “diffusione” si veda Facebook sive Language Online”, ACL, 2019, p. 25-35; M. Sap, D.
Transparency Center, Prevalence, Meta, 2021. Card, S. Gabriel et al., The Risk of Racial Bias in Ha-
37 T. Simonite, Facebook’s AI for Hate Speech Improves. te Speech Detection, in A. Korhonen, D. Traum, L. Màrquez
How Much Is Unclear , in “Wired”, 2020. (eds.), “Proceedings of the Fiftyseventh Annual Meeting of
38 Peraltro, alcuni dati sono disponibili relativamente al the Association for Computational Linguistics”, ACL, 2019,
numero di contenuti successivamente reintegrati sulle piatta- p. 1668-1678.
50 T. Dias Oliva, D.M. Antonialli, A. Gomes, Fighting
forme. Tuttavia, soprattutto a seguito dello scoppio della pan-
demia, il ruolo dei reclami proposti dagli utenti sembra essere Hate Speech, Silencing Drag Queens? Artificial Intelligence
piuttosto marginale. Nel terzo trimestre del 2021, per esem- in Content Moderation and Risks to LGBTQ Voices Online,
pio, a fronte di 22,3 milioni di contenuti sanzionati su Face- in “Sexuality & Culture”, vol. 25, 2021, n. 2, p. 700-732.
book, solo 1,1 milione di reclami sono stati proposti dagli uten- Il lavoro analizza come il software Perspective, sviluppato da
ti: di questi solo 90,7 mila sono stati accolti. Questo a fronte Google per individuare contenuti ascrivibili alla classe del to-
dei circa 30,3 mila contenuti reintegrati autonomamente da xic speech, impatti rispettivamente i tweet pubblicati da ce-
Facebook. In generale, tali dati appaiono essere poco rappre- lebri drag queen statunitensi e quelli pubblicati da altrettan-
sentativi del reale tasso di errore. Facebook Transparency to noti estremisti di destra. Secondo lo studio, i contenuti
Center, Community Standards Enforcement Report, cit. prodotti dalle prime sarebbero in molti casi rilevati come al-
39 G. Sartor, A. Loreggia, op. cit. trettanto tossici, e spesso come più tossici, dei secondi. Così,
40 E. Douek, op. cit. per esempio, il tweet «and I’m ... GAY. #HairsprayLive»
41 A. Brown, What Is Hate Speech? Part 2: Family Re- della drag queen Mimi Imfurst risulterebbe essere tossico al
semblances, in “Law and Philosophy”, vol. 36, 2017, n. 5, 92,31% (p. 720), mentre il tweet del politico alt-right Richard
p. 561-613; P. Dunn, Piattaforme digitali e moderazione Spencer «@hodgie2000 Of course, homosexuality is a natural-
dei contenuti d’odio: nodi giuridici e pratici, in “MediaLaws”, ly occurring phenomenon. But as another already said, so is
2021. cannibalism, addiction, suicide, self-harm, etc. The question
42 Si veda, in tal senso, R. Wilson, M. Land, op. cit. Per is: what is the *cause* of this curious phenomenon, from evo-
la (ampia) definizione utilizzata dalle piattaforme di Meta, si lutionary, genetic, social, or psychological perspectives», in
veda Facebook Transparency Center, Hate speech, Meta, cui l’omosessualità è di fatto paragonata al cannibalismo, alle
2021. dipendenze, al suicidio e all’autolesionismo, riporterebbe un
43 Si veda, in particolare, il c.d. “Piano d’Azione Rabat” grado di tossicità pari al solo 13,80% (p. 724).
51 Con riferimento alla comunità LGBTQIA+, e in particola-
delle Nazioni Unite. Consiglio per i diritti umani delle
Nazioni Unite, Report of the United Nations High Com- re alla sotto-comunità drag, si veda S. McKinnon, “Building a
missioner for Human Rights on the expert workshops on the thick skin for each other”: The use of ‘reading’ as an interac-
prohibition of incitement to national, racial or religious ha- tional practice of mock impoliteness in drag queen backstage
tred (A/HRC/22/17/Add.4), 2013. Si veda altresì A. Weber, talk , in “Journal of Language and Sexuality”, vol. 6, 2017, n.
Manual on hate speech, Council of Europe Publishing, 2009, 1, p. 90-127. L’autore, nell’occuparsi della pratica del reading,
VI+98 p. riconduce l’uso di espressioni apparentemente insultanti alla
44 M. Durante, Potere computazionale. L’impatto delle categoria della mock impoliteness, da intendersi come l’insie-
ICT su diritto, società, sapere, Meltemi, 2019, 397 p. me di quelle «utterances, which could potentially be evalua-
45 L. Floridi, La quarta rivoluzione. Come l’infosfera sta ted as genuine impoliteness outside the appropriate context,
trasformando il mondo (trad. it. M. Durante), Raffaello Corti- are positively evaluated by in-group members who recognize
na, 2017, XVIII+294 p., pp. 147-164. the importance of ‘building a thick skin’ to face a hostile
46 Per una comprensione del fenomeno del meme in Internet, environment from LGBT and non-LGBT people» (p. 90).
52 J. Guynn, Facebook while black: Users call it getting
si veda G. Marino, Semiotics of spreadability: A systematic
approach to Internet memes and virality, in “Punctum”, vol. «Zucked», say talking about racism is censored as hate speech,
1, 2015, n. 1, p. 43-66, a p. 60. in “Usa Today”, 2019. Tale fenomeno, inoltre, sembra colpire
47 Per uno studio su come gli algoritmi utilizzati da piatta- in modo ancora più intenso le donne: si veda in tal senso K.L.
forme e intermediari digitali abbiano la tendenza a riprodurre Gray, K. Stein, “We ‘said her name’ and got zucked”: Black
e replicare bias discriminatori, soprattutto nei confronti del- Women Calling-out the Carceral Logics of Digital Platforms,
le donne afro-americane, si veda S.U. Noble, Algorithms of in “Gender & Society”, vol. 35, 2021, n. 4, p. 538-545.
53 N.P. Suzor, op. cit., p. 128-129.
oppression: how search engines reinforce racism, New York
University Press, 2018. 54 A. Chakraborty, J. Messias, F. Benevenuto et al.,
48 J.H. Park, J. Shin, P. Fung, Reducing Gender Bias Who Makes Trends? Understanding Demographic Biases in
in Abusive Language Detection, in E. Riloff, D. Chiang, J. Crowdsourced Recommendations, in “Proceedings of the Ele-
Pietro DunnPuoi anche leggere
