Moderazione automatizzata e discriminazione algoritmica: il caso dell'hate speech
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
ISSN 2704-7318
Fascicolo 1-2022
DOI: 10.32091/RIID0064
Articolo sottoposto a peer review
Moderazione automatizzata e discriminazione algoritmica:
il caso dell’hate speech
Pietro Dunn
La necessità per gli intermediari digitali di moderare i contenuti pubblicati e diffusi in rete dagli utenti si è
fatta negli anni sempre più pressante. A fronte della crescita vertiginosa del flusso informazionale digitale,
peraltro, si è reso oggigiorno essenziale il ricorso a strumenti di moderazione algoritmica per la rilevazione
dei contenuti da rimuovere. Anche la rilevazione dei discorsi d’odio (hate speech) si fonda attualmente
su un utilizzo massiccio di sistemi di intelligenza artificiale e machine-learning: la letteratura, tuttavia,
ha rilevato come tali sistemi siano sovente viziati da bias discriminatori che rendono particolarmente
elevato il rischio di falsi positivi ai danni delle minoranze. Il presente contributo pone in luce come nel
sistema costituzionale europeo il contrasto ai contenuti d’odio sia giustificato dall’esigenza di perseguire
un’uguaglianza sostanziale di tutte le componenti sociali e come, pertanto, un’applicazione discriminatoria
del divieto di hate speech sia in sé incoerente con il sistema di valori dell’Unione europea. Se, dunque,
l’intelligenza artificiale rappresenta uno strumento essenziale e ineludibile per garantire un più sicuro e
tollerante ecosistema digitale, un elevato margine di errore, in termini di falsi positivi, non risulta essere
pienamente accettabile. Occorre, pertanto, un ripensamento delle strategie legislative nell’ottica di offrire
più adeguate garanzie, sostanziali e procedurali, a tutela della libertà di espressione e del diritto di non
discriminazione dei gruppi marginalizzati.
Moderazione automatica – Hate speech – Discriminazione algoritmica – Uguaglianza sostanziale – Libertà
di espressione
Sommario: 1. Introduzione: il ruolo odierno della moderazione – 2. Moderazione algoritmica dei contenuti e rilevazione
dei discorsi d’odio – 3. Margini di errore e bias discriminatori – 4. La moderazione dell’ hate speech in un’ottica di
uguaglianza sostanziale – 5. Conclusioni
1. Introduzione: il ruolo odierno della (1997)1 , la Corte Suprema degli Stati Uniti già se-
moderazione gnalava e celebrava il ruolo della rete quale facilita-
trice del “libero mercato delle idee”, in piena sinto-
nia con la storica interpretazione del Primo Emenda-
Le tecnologie digitali, e Internet in particolare, hanno mento resa dal giudice Holmes in Abrams v. United
permesso la diffusione di nuovi ed eccezionali stru- States 2 . Allo stesso tempo, il ciberspazio ha tuttavia
menti per il godimento di diritti e libertà fonda- dato adito a nuove sfide e nuovi pericoli3 , tant’è che,
mentali. Nella ormai celebre sentenza Reno v. ACLU
P. Dunn è dottorando di ricerca in Law, Science and Technology presso l’Alma Mater Studiorum – Università di Bologna
(CIRSFID-AI) e presso l’Università del Lussemburgo (FDEF).
Questo contributo fa parte del numero speciale “La Internet governance e le sfide della trasformazione digitale” curato da
Laura Abba, Adriana Lazzaroni e Marina Pietrangelo.134
nel vecchio continente, la Corte Europea dei Diritti di non discriminazione. Ciò, soprattutto, appare evi-
dell’Uomo (Corte EDU) ha ripetutamente posto in dente con riferimento alla moderazione dei discorsi
luce gli accresciuti rischi legati alla società dell’infor- d’odio (hate speech)14 .
mazione, concludendo che ciò possa giustificare un Il presente contributo fornisce uno sguardo sul
intervento più marcato degli Stati contraenti sulla crescente ruolo dei sistemi di IA e machine-learning
libertà di espressione in rete4 . nell’ambito della rilevazione dei contenuti d’odio (pa-
Per fare ordine della caotica massa di informazio- ragrafo 2) e sull’impatto discriminatorio che tali stru-
ni caricate quotidianamente in Internet, nonché per menti possono avere sulla libertà di espressione dei
ridurre la quantità di “mali informazionali” (informa- gruppi minoritari e/o marginalizzati (paragrafo 3). Il
tion bads 5 ), gli intermediari digitali hanno ben pre- paragrafo 4 argomenta come un’interpretazione del
sto sviluppato strategie di moderazione dei contenuti contrasto al fenomeno dell’hate speech in una pro-
sempre più complesse e raffinate6 . Come posto in lu- spettiva di uguaglianza sostanziale richieda un ripen-
ce da Gillespie, nonostante gli intermediari abbiano samento altresì delle strategie legislative e di policy
a lungo cercato di presentarsi come fornitori di servi- sul piano europeo.
zi (per lo più servizi di hosting) meramente neutrali,
l’ideale di una piattaforma priva di alcun control-
lo rappresenta un’utopia7 . Tutte le piattaforme mo-
2. Moderazione algoritmica dei
derano: anzi, la moderazione sarebbe da intendersi
precipuamente quale prodotto stesso della piattafor- contenuti e rilevazione dei discorsi
ma, in quanto rappresenterebbe in ultima istanza ciò d’odio
che garantisce all’utente consumatore un’esperienza
più o meno positiva della rete8 . Essa è cioè parte Secondo Grimmelmann15 , la moderazione dei con-
integrante del pacchetto offerto dai social media9 . tenuti rappresenta l’insieme di quei meccanismi di
D’altro canto, è proprio sulla moderazione priva- governance che strutturano la partecipazione a una
ta operata dagli intermediari digitali che è andato comunità online, al fine di favorire la cooperazione
crescendo il focus delle scelte legislative e politi- tra gli utenti e prevenire la commissione di abusi. In
che degli ultimi anni. Soprattutto a partire dalla senso lato, essa comprende due diversi aspetti. Il pri-
seconda metà degli anni 2010, si è invero assistito mo si riferisce alla rimozione dei contenuti contrari
a un sempre maggiore ricorso a tecniche di regola- alle condizioni d’uso del servizio, nonché all’imposi-
zione della libertà di espressione “di nuova scuola” zione di sanzioni (ad esempio, la sospensione o can-
(new-school speech regulation 10 ). L’elemento carat- cellazione del profilo) a carico di chi li abbia postati:
teristico di queste nuove forme di regolazione è la in tal senso, si può parlare di moderazione “in senso
scelta di intervenire non tanto attraverso l’imposi- stretto” o di hard moderation 16 .
zione di restrizioni e sanzioni che investano la libertà Il secondo aspetto, invece, si riferisce all’organiz-
di espressione dei singoli individui quanto, piuttosto, zazione, distribuzione e disseminazione dei contenu-
attraverso la diretta regolazione delle infrastrutture ti stessi, attraverso una loro gerarchizzazione atta
digitali, attraverso l’elaborazione cioè di forme di a migliorare l’esperienza degli utenti. A questi sono
responsabilità sussidiaria a carico dell’intermediario offerti, infatti, i contenuti che più possano loro in-
per la presenza e diffusione di contenuti illeciti gene- teressare: si parla, con riferimento a tale attività, di
rati da terzi11 . L’Unione europea, tra gli altri, sembra “cura dei contenuti” (content curation 17 o soft mo-
avere intrapreso tale strada negli ultimi anni12 . deration 18 ). La cura dei contenuti, che si basa ge-
La diffusione di tali nuovi strategie di governance, neralmente sull’uso di sistemi automatizzati, quali i
unita a un’accresciuta sensibilità del pubblico, hanno sistemi di raccomandazione, mirano a massimizza-
spinto gli intermediari digitali a farsi maggiormente re l’engagement degli utenti19 e, di conseguenza, i
carico del loro ruolo di moderatori. Per far fronte, profitti del prestatore di servizi: la letteratura ha ri-
tuttavia, alla crescita esponenziale del traffico quo- levato come ciò possa andare a discapito di impor-
tidiano di dati e informazioni in rete, l’utilizzo di tanti valori democratici, quali la protezione del plu-
sistemi di intelligenza artificiale (IA) ha acquisito un ralismo mediatico e di pensiero, alimentando da un
maggior rilievo anche in questo settore13 . Il ricor- lato la creazione di camere dell’eco e la polarizzazio-
so a strumenti automatici di decisione per la gestio- ne del dibattito democratico e impattando dall’altro
ne dei contenuti in rete solleva peraltro una serie di lato la capacità di diffusione dei contenuti prodotti
perplessità con riferimento alla protezione e garan- da gruppi minoritari20 . Nonostante tale significativo
zia di diritti umani e valori costituzionali, ivi inclusi impatto della cura dei contenuti sull’ecosistema in-
la libertà di espressione e informazione e il principio formazionale digitale, il focus del presente contributo
Pietro Dunn135
sarà posto in modo particolare sulla moderazione dei sono entrati in uno “stato di emergenza” 27 durante
contenuti “in senso stretto”. la crisi sanitaria, a causa soprattutto dell’aumento
Da un punto di vista pratico, le tecniche di mode- preoccupante nella diffusione di hate speech 28 e fake
razione possono adottare strategie differenti21 . Una news29 , dall’altro lato, le piattaforme hanno nei pri-
prima distinzione può essere fatta, sulla base del mi mesi dovuto sviluppare adeguati sistemi di IA per
criterio temporale, tra moderazione ex ante e mo- far fronte alla riduzione di manodopera umana di-
derazione ex post, a seconda che il controllo venga sponibile derivante dalla necessità di porre in atto le
esercitato prima o dopo la pubblicazione del con- adeguate misure di contenimento del contagio30 .
tenuto. A sua volta, la moderazione ex post può
essere proattiva, laddove l’intermediario si occupi
attivamente di individuare i contenuti da rimuovere,
o reattiva, quando invece si limiti a ricevere e valu-
tare segnalazioni altrui (ad esempio, da parte di altri
utenti del servizio).
Sotto un diverso profilo, la moderazione può es-
sere operata da esseri umani (moderazione umana o
manuale), da sistemi di IA (moderazione automatica
o algoritmica) oppure attraverso una combinazione
dei due (moderazione ibrida). In quest’ultimo caso,
la funzione dei sistemi di IA è principalmente quella
di operare una scrematura preventiva dei contenuti
pubblicati dagli utenti e di rimettere al moderatore
umano soltanto i casi più ambigui, istituendo tra l’al-
tro un ordine di priorità rispetto all’ordine di revisio-
ne22 . I sistemi ibridi hanno acquisito negli ultimi anni
un rilievo sempre maggiore, soprattutto per le possi- Figura 1: Totale dei contenuti sanzionati da Instagram
bilità che gli strumenti di IA offrono agli intermediari e Facebook come contenuti d’odio (in milioni)
di effettuare controlli su larghissima scala. Al tempo
stesso, il ricorso all’algoritmo consente di ridurre l’e-
sposizione dei moderatori umani a contenuti poten-
zialmente dannosi per il loro benessere psicofisico23 .
La ricerca relativa allo sviluppo, perfezionamen-
to e aggiornamento dei sistemi automatizzati di mo-
derazione si è dimostrata particolarmente feconda.
Attualmente, gli intermediari digitali godono di una
vasta gamma di strumenti algoritmici a loro dispo-
sizione, che possono essere variamente combinati a
seconda della tipologia di information bad che si vo-
glia filtrare e sulla base del formato (testuale, visua-
le, audiovisuale etc.) che si voglia analizzare24 . Par-
ticolarmente diffusi e utilizzati sono, attualmente, i
sistemi di machine-learning basati su reti neurali25 :
con riferimento a tali tecnologie, un terreno di ri-
cerca particolarmente fertile risulta essere quello del
natural language processing (NLP), ovverosia quella
branca dell’informatica che si occupa di sviluppare
le capacità delle macchine di analizzare contenuti te- Figura 2: Percentuale di contenuti d’odio rilevati tramite
stuali, con il fine specifico di trarre conclusioni in sistemi automatizzati sul totale dei contenuti d’odio
merito al significato del testo stesso26 .
L’utilizzo di sistemi automatizzati di moderazio- I dati pubblicati da Facebook e Instagram nei lo-
ne è andato aumentando drasticamente negli ultimi ro report periodici sull’applicazione degli standard
anni e ha fatto uno straordinario balzo avanti a se- della comunità31 confermano tali trend. Ciò emerge
guito dello scoppio della pandemia di COVID-19. Se con particolare vigore con riferimento alla modera-
infatti, da un lato, piattaforme e intermediari digitali zione dei discorsi d’odio, sempre più automatizzata.
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speech136
La Figura 1 mostra, in particolare, il numero di con- 3. Margini di errore e bias
tenuti sanzionati, in quanto riconosciuti quali fatti- discriminatori
specie di hate speech dalle piattaforme, nel periodo
intercorrente tra l’ultimo trimestre del 2017 e il quar- Invero, i sistemi automatizzati di classificazione si
to trimestre del 2021, mentre la Figura 2 mostra, in basano su fondamenti statistico-probabilistici che,
percentuale, quanti di quei contenuti sono stati ri- in quanto tali, rendono sempre inevitabile un più o
levati attraverso il ricorso a sistemi di intelligenza meno elevato margine di errore. Gli errori, in par-
artificiale32 . In tal senso, il numero di contenuti san- ticolare, possono tradursi in falsi negativi o in falsi
zionati da Facebook è aumentato vertiginosamente positivi: se i primi minano l’efficacia di un sistema
negli anni: un incremento particolarmente evidente automatizzato di moderazione, i secondi possono in-
si è avuto a seguito dello scoppio della pandemia, vece essere dannosi per l’esercizio della libertà di
con un salto da 9,5 milioni di contenuti sanzionati espressione online degli utenti. Peraltro, le due tipo-
nel primo trimestre del 2020 a 22,5 milioni nel tri- logie di errore sono in generale inversamente propor-
mestre successivo. In realtà, gli ultimi due trimestri zionali39 : laddove, cioè, si implementi un sistema più
del 2021 segnalano un’inversione di tendenza in tal “permissivo”, vi sarà un rischio minore di falsi positivi
senso, con una drastica riduzione dei numeri che, tut- a fronte di un maggior numero di contenuti illeciti, o
tavia, continuano tutt’ora a essere notevolmente più contrari alle condizioni di utilizzo, rimasti impuniti;
elevati rispetto all’epoca pre-pandemica33 . mentre un sistema più “severo” sarà, all’opposto, più
Nel frattempo, un costante aumento si è avuto difficilmente eludibile ma più probabilmente espo-
nell’utilizzo di sistemi di IA per la rilevazione di sto al rischio di falsi positivi. In tal senso, il riferito
contenuti d’odio: infatti, se nell’ultimo trimestre del incremento di contenuti sanzionati in quanto ricon-
2017 solo il 23,6% dei post non conformi al divieto dotti alla sfera dell’hate speech da parte di sistemi
di hate speech era rilevato proattivamente dagli algo- di IA ha comportato (e comporta) un verosimile e
ritmi di Facebook, il dato è andato aumentando nel proporzionale incremento nel numero di falsi positivi.
corso del tempo. Attualmente, i contenuti sanzionati Se ciò è vero, l’implementazione di sistemi auto-
dal social network in quanto ritenuti istiganti all’o- matizzati di moderazione si traduce in sostanza in un
dio sono rilevati tramite sistemi automatizzati per il bilanciamento tra due, talora contrastanti, esigenze:
96-97% circa. L’attuale CTO di Meta, Mike Schroep- da un lato, la necessità di ridurre la diffusione di “ma-
fer, ha celebrato questi risultati, sottolineando come li informazionali”; dall’altro lato, l’esigenza di tutela-
l’utilizzo dei sistemi automatizzati di moderazione re la libertà di espressione e il pluralismo di pensiero.
contribuisca a garantire un ecosistema digitale sicu- Bilanciamento, peraltro, operato sempre più diretta-
ro34 . Del resto, secondo i dati pubblicati dalla stessa mente dalle piattaforme e dagli intermediari digitali.
azienda, si è in effetti assistito a una diminuzione Se, dunque, la scelta di utilizzare tali sistemi richie-
dallo 0,10-0,11% allo 0,03%35 circa nel grado di “dif- de l’applicazione di un principio di proporzionalità
fusione” di contenuti d’odio (ovverosia la percentua- che tenga conto di tali esigenze, il problema di fon-
le stimata di visualizzazione di hate speech su tutti i do consiste nell’individuazione della soglia entro la
contenuti visualizzati dagli utenti36 ). quale il margine di errore (nel senso di falso posi-
Tuttavia, se è vero che l’avanzamento tecnologico tivo) sia da ritenersi “accettabile” a fronte del van-
nel settore rappresenta un fattore importante ed es- taggio sociale determinato dalla riduzione del grado
senziale nella prospettiva di costruire un ciberspazio di inquinamento dell’ecosistema informazionale digi-
libero da intolleranze e violenze, è pur vero che le in- tale40 . L’individuazione di tale soglia, tuttavia, può
formazioni rese dal gruppo di Facebook rivelano un variare a seconda della tipologia di information bad
solo lato della medaglia. Come sottolineato in Wired, che si voglia combattere. A tal proposito, con riferi-
non è chiaro fino a che punto gli algoritmi di rileva- mento al fenomeno dei discorsi d’odio, alcuni fattori
zione dei discorsi d’odio siano andati effettivamente richiedono di essere tenuti in considerazione.
perfezionandosi37 . Si tenga conto, in particolare, che Un primo elemento di complicazione è determina-
i dati riportati sono meramente quantitativi: poco ci to dalla nozione stessa di hate speech, tutt’altro che
dicono sulla qualità delle scelte prese dai sistemi di condivisa e ben definita41 . A seconda della giurisdi-
IA o sulla percentuale di errori di rilevazione38 . Tale zione di riferimento, le condotte ascrivibili ai discorsi
ambiguità e opacità rispetto alla qualità e correttez- d’odio penalmente rilevanti possono variare notevol-
za delle decisioni prese dall’algoritmo risultano essere mente. Allo stesso modo, le piattaforme e gli inter-
particolarmente preoccupanti laddove si consideri il mediari digitali tendono a definire autonomamente il
rischio di output discriminatori. concetto di hate speech sanzionabile ai sensi dei loro
termini e condizioni d’utilizzo: molto sovente, per di
Pietro Dunn137
più, le nozioni adottate da tali attori risultano essere speech. Le cause di tali risultati discriminatori sono
notevolmente più ampie e aperte rispetto alle fat- plurime. Accade, per esempio, che i dataset utilizzati
tispecie considerate dai sistemi giuridici statali42 . Il per allenare l’algoritmo non siano qualitativamente
campo di applicazione di tali standard privati rischia ottimali, soprattutto perché non rappresentativi del
in tal senso di risultare estremamente lato e, talora, gergo e degli usi comunicativi tipici dei gruppi mino-
pericolosamente indefinito. ritari. In molti casi, i gruppi marginalizzati svilup-
Un secondo rilevante aspetto è dettato dal fat- pano la tendenza a utilizzare termini ed espressioni
to che, come rilevato dalla giurisprudenza e dal di- in sé stessi insultanti e discriminatori (si pensi alla
battito internazionale, la possibilità di ascrivere una n-word ) con la doppia finalità, tuttavia, di riappro-
determinata forma espressiva alla classe dei discorsi priarsi di tali termini svuotandoli della loro carica
d’odio è strettamente dipendente dalla ricostruzione negativa (è questo il caso della parola queer, inizial-
del contesto all’interno della quale essa si inserisce. mente utilizzata quale insulto per le persone LGB-
L’identità dell’autore e dei componenti dell’audien- TQIA+ e facente oggi parte della sigla stessa) e di
ce, per esempio, così come elementi contestuali quale aiutare i membri della loro stessa comunità a “farsi la
il tempo e il luogo in cui un determinato contenu- pelle dura” 51 . L’incapacità della macchina di coglie-
to sia stato pubblicato o condiviso, sono fattori po- re tali sfumature di intenti e di significato rende così
tenzialmente dirimenti per comprendere lo scopo e particolarmente elevato il rischio di falsi positivi, tan-
i possibili effetti che una certa modalità espressiva t’è che, tra gli attivisti afro-americani, è rapidamen-
può avere: tali fattori richiedono sempre un’attenta te invalso il ricorso al neologismo “zucked” a indicare
ricostruzione al fine di evitare eccessive e spropor- le frequenti sanzioni loro imposte dalle piattaforme
zionate interferenze a danno della libertà di espres- di Meta ogniqualvolta essi pubblichino contenuti che
sione individuale43 . Eppure, ciò rappresenta una sfi- discutano il tema del razzismo52 .
da rilevante per il moderatore algoritmico, in quanto L’applicazione discriminatoria delle regole di una
le macchine, nonostante il loro straordinario pote- comunità online da parte dei sistemi di moderazio-
re computazionale44 e la loro efficienza a livello di ne algoritmica è peraltro dettata altresì dagli stessi
comprensione simbolico-sintattica, pongono ancora utenti. Nel 2016-2017, il genocidio e le persecuzio-
oggi dei problemi per quanto concerne la capacità ni a danno della comunità musulmana Rohingya in
di comprensione semantica45 . È infatti difficile, per Myanmar sono stati incentivati, da un lato, dal fal-
un sistema automatizzato, rilevare l’ironia o la satira limento da parte di Facebook nel ridurre effettiva-
nascoste dietro un particolare contenuto. Tra l’altro, mente la diffusione di hate speech avente ad oggetto
tale compito è complicato notevolmente dalle moda- la minoranza, e, dall’altro lato, dalla ripetuta cen-
lità espressive caratteristiche della comunicazione in sura di contenuti di denuncia pubblicati da attivisti
rete, le quali mescolano sovente elementi testuali, vi- Rohingya: in effetti, come sottolineato da Suzor, in
sivi e audiovisivi: si pensi, per esempio, ai cosiddetti molti casi l’algoritmo della piattaforma teneva con-
“meme”, contenuti multimodali che si caratterizza- to delle ripetute e numerose segnalazioni effettuate
no per un’alta viralità e per il fatto di richiedere, ai da utenti birmani, facenti parte della maggioranza,
fini della comprensione, una vera e propria “meme rispetto a tali contenuti53 .
literacy” dell’audience46 . Tali effetti si riscontrano, del resto, anche a livel-
Le difficoltà prodotte da tali sfide sono esse stesse lo di content curation: la letteratura ha sottolinea-
alla base di quello che è il terzo fattore di complica- to come l’architettura algoritmica delle piattaforme,
zione. Come evidenziato da ormai consolidata lette- incentrata a massimizzare l’engagement degli utenti
ratura, il margine di errore connesso all’utilizzo di della rete, tenda a premiare in termini di visibilità i
sistemi automatizzati di rilevazione delle fattispecie contenuti pubblicati dalle categorie demografiche di
di hate speech tende a impattare significativamente maggioranza54 , relegando a spazi di nicchia o impo-
proprio sulle comunità tradizionalmente marginaliz- nendo un vero e proprio shadowban 55 a carico dei
zate e discriminate47 . Sempre più studi sono attual- gruppi marginalizzati.
mente dediti alla ricerca di tecniche di debiasing dei
moderatori automatici48 , ma il problema è ancora 4. La moderazione dell’hate speech in
lungi dall’essere risolto. un’ottica di uguaglianza sostanziale
Così, per esempio, si è da più parti rilevato come i
contenuti pubblicati da membri della comunità afro- A fronte di tali rilievi, occorre chiedersi, anche in
americana49 o della comunità LGBTQIA+50 siano un’ottica normativa e di policy-making, se il margi-
maggiormente soggetti a subire sanzioni ingiustifica- ne di errore caratterizzante gli strumenti di mode-
te per violazione del divieto di hate speech o “toxic” razione automatizzata dei discorsi d’odio sia effetti-
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speech138
vamente accettabile o meno a fronte della necessità l’integrità psicofisica dei suoi destinatari, nonché per
di garantire agli utenti un ciberspazio maggiormente l’esercizio dei loro diritti e delle loro libertà costi-
tollerante e sicuro. In tal senso, sembra essere ine- tuzionali. Secondo Matsuda, esponente della critical
ludibile un riferimento all’ormai risalente dibattito race theory statunitense, le vittime di hate speech e
concernente la domanda se sia o meno opportuno hate propaganda soffrono in percentuali più alte di
combattere il fenomeno dell’hate speech attraverso sintomi e disturbi quali: sensazioni di panico; aumen-
l’imposizione di restrizioni alla libertà di espressio- to del battito cardiaco; difficoltà respiratorie; incubi;
ne, pur nella consapevolezza che tale dibattito non si disturbi da stress post-traumatico (PTSD); iperten-
è sviluppato negli anni con riferimento alla relazio- sione; psicosi; suicidio62 . In Beizaras e Levickas c. Li-
ne intercorrente tra individuo e intermediario digita- tuania 63 , la Corte EDU ha recentemente confermato
le (rapporto tra soggetti privati) ma, piuttosto, con che l’hate speech, relativo, nel caso di specie, all’o-
riferimento a quella intercorrente tra persona fisica rientamento sessuale dei ricorrenti, rappresenta in sé
e istituzioni dello Stato (rapporto tra un soggetto e per sé un attacco all’integrità fisica e mentale di co-
privato e un soggetto pubblico). loro che ne sono i destinatari. Le vittime, inoltre, ven-
Come è noto, il dibattito sulla punibilità dei di- gono attraverso l’hate speech ristrette nelle loro liber-
scorsi d’odio ha condotto, in prospettiva comparata, tà, in quanto l’esigenza di sottrarsi a messaggi d’odio
a soluzioni ben diverse tra loro56 . Così, se negli USA le porta a modificare le proprie abitudini di vita e, in
vige il primato del Primo Emendamento e della tute- molti casi, a rinunciare a esprimere le loro personali
la del “libero mercato delle idee” 57 , con la conseguen- opinioni e idee64 . In ultima istanza, come magistral-
za che una normativa volta a limitare la diffusione di mente posto in luce da Waldron65 , al cuore delle
hate speech debba essere sottoposta a un severissimo normative di contrasto al fenomeno in oggetto vi è la
scrutinio (strict scrutiny) di legittimità costituzio- necessità di tutelare l’eguale dignità delle comunità
nale, quasi sempre fatale58 , il vecchio continente vittime e dei singoli individui che ne fanno parte66 .
ha dimostrato una ben maggiore apertura a simili In altre parole, la regolazione delle espressioni
restrizioni. Invero, a differenza del Primo Emenda- d’odio è mossa sia dall’esigenza di contenere il rischio
mento, sia l’art. 10 della Convenzione europea per la di ordine pubblico legato a un incremento dell’atti-
salvaguardia dei diritti dell’uomo e delle libertà fon- vità criminosa di matrice discriminatoria sia, soprat-
damentali (CEDU) sia l’art. 11 della Carta dei diritti tutto, da quella di garantire alle categorie “protette”
fondamentali dell’Unione europea (Carta di Nizza) la possibilità di esercitare liberamente i propri diritti
ammettono l’imposizione di restrizioni e limitazioni e libertà in una condizione di uguaglianza rispetto
alla libertà d’espressione se previste dalla legge e se al resto della popolazione. In questo senso, l’inter-
necessarie in una società democratica per il perse- vento normativo volto a ridurre la diffusione di hate
guimento di un fine legittimo, quale è, tra gli altri, speech rappresenta uno strumento volto ad affermare
la protezione della reputazione o dei diritti altrui59 . e concretizzare l’uguaglianza sostanziale, e non solo
La scelta di ostacolare, anche per mezzo del dirit- formale, dei gruppi demografici marginalizzati. Lo
to, la diffusione dei discorsi d’odio può essere ascritta scopo dell’imposizione di limitazioni alla libertà di
a una pluralità di ragioni tra loro complementari. In espressione per ridurre la diffusione di odio ha quindi
primo luogo, la proibizione e punibilità dell’hate come fine ultimo l’empowerment di quei soggetti che
speech rappresenta uno strumento per proteggere l’hate speech mira a colpire. Del resto, come sottoli-
e tutelare gli individui appartenenti ad una classe neato da Fredman, il perseguimento dell’uguaglianza
discriminata dal perpetuarsi e aggravarsi degli epi- sostanziale richiede esso stesso un approccio multi-
sodi di discriminazione e violenza nei loro confronti. dimensionale al fenomeno della discriminazione che
Se, come sottolineato dalla Commissione per l’eli- implichi anche la garanzia che ai gruppi minoritari o
minazione della discriminazione razziale (CERD), il comunque discriminati sia concesso partecipare atti-
discorso razzista e il discorso d’odio possono porre vamente alla vita comunitaria, pubblica e politica67 .
seri pericoli e rischi a medio-lungo termine60 , la lo- Se, dunque, la ratio ultima del contrasto ai discor-
ro limitazione rappresenta uno strumento essenziale si d’odio è legata al perseguimento dell’uguaglianza
per la riduzione di reati e illeciti di matrice discri- sostanziale, anche nella sua dimensione partecipati-
minatoria: in tal senso, l’hate speech costituisce una va, appare evidente che, nel caso della moderazione
condotta pericolosa in quanto potenzialmente capa- automatizzata di hate speech, la soglia di accettabi-
ce di produrre conseguenze dannose per una società lità dell’errore, soprattutto se dettato da bias di ca-
democratica61 . rattere discriminatorio, debba essere particolarmen-
In secondo luogo, è stato da più parti rilevato te elevata. Un’applicazione inconsistente ed iniqua
come l’atto del discorso d’odio sia in sé dannoso per tradisce lo stesso spirito originario della moderazio-
Pietro Dunn139
ne dell’hate speech, svuotando tale attività del suo attuarsi «in modo tempestivo, non discriminatorio,
significato egualitario e rendendola, anzi, contropro- diligente e non arbitrario» (art. 17). In quest’ultimo
ducente rispetto agli interessi della collettività. Tra caso, peraltro, si prevede espressamente che sia data
l’altro, il silenziamento di quelle categorie di persone la possibilità per gli utenti di contattare un inter-
che costituiscono le vittime tipiche dei discorsi d’odio locutore umano al momento della presentazione del
rischia di depotenziare fortemente il ruolo, ritenuto reclamo e che la nuova decisione non possa essere
da più parti fondamentale, della contronarrazione68 . presa solamente attraverso sistemi automatizzati: a
Per evitare tale cortocircuito, potenzialmente ag- tal fine, è fatto inoltre obbligo ai fornitori di servizi
gravato dal ricorso a tecniche di new-school speech di dotarsi di personale qualificato. Dal testo appro-
regulation, appare pertanto auspicabile un ripensa- vato in prima lettura dal Parlamento europeo il 20
mento, da parte delle istituzioni europee, delle stra- gennaio 202273 traspare tra l’altro una ancor mag-
tegie politiche e legislative di settore. Ciò non tan- giore consapevolezza del potenziale impatto del DSA
to nell’ottica di una demonizzazione del moderato- sui diritti degli utenti: gli emendamenti proposti, per
re algoritmico, il quale costituisce invece uno stru- esempio, includono numerosi riferimenti al principio
mento essenziale e utilissimo per il contrasto all’hate di non discriminazione.
speech 69 , quanto piuttosto nella prospettiva, da un Peraltro, si è da più parti rilevato come le solu-
lato, di incentivare i programmatori di tali sistemi a zioni adottate rappresentino in ultima istanza poco
tenere in adeguata considerazione le esigenze legate più che petizioni di principio, in quanto sovente non
al rispetto dei principi dell’uguaglianza sostanziale70 corredate da un apparato applicativo e procedura-
e, dall’altro lato, di fornire maggiori tutele indivi- le ben definito e sufficientemente sviluppato. Non è
duali, sostanziali e soprattutto procedurali71 , a que- del tutto chiaro, per esempio, se l’art. 12 del DSA
gli utenti della rete che siano maggiormente esposti implichi la possibilità di opporre qualsiasi diritto ri-
ai rischi della discriminazione algoritmica. compreso nella Carta di Nizza oppure soltanto quel-
In realtà, la Commissione europea ha dato segno la ristretta cerchia di diritti per i quali la Corte di
negli ultimi anni di una maggiore consapevolezza dei Giustizia dell’UE abbia dichiarato la sussistenza di
rischi per la libertà di espressione degli utenti che so- un’efficacia orizzontale74 . È stato, in generale, posto
no ineludibilmente legati a una più massiccia e gene- in luce come il sistema introdotto dal DSA incenti-
ralizzata moderazione dei contenuti da parte degli in- verebbe un ulteriore incremento nell’utilizzo su vasta
termediari digitali. Il Regolamento (UE) 2021/78472 scala di sistemi di moderazione automatizzati, sen-
prevede per esempio all’art. 5 che un fornitore di ser- za tuttavia la previsione di adeguati rimedi a tutela
vizi, il quale sia stato riconosciuto come esposto a dell’individuo75 .
contenuti terroristici, debba predisporre misure spe- Inoltre, se il DSA, pur nell’apprezzabilissima otti-
cifiche volte a contrastarne la diffusione: nell’applica- ca di armonizzazione e riduzione della frammentarie-
re tali misure, tuttavia, il fornitore dovrà tenere pie- tà del quadro normativo sugli intermediari digitali,
namente conto dei diritti e degli interessi legittimi de- mira a introdurre una disciplina quadro generale e
gli utilizzatori (ivi inclusa la libertà di espressione e orizzontale, tale approccio, se non accompagnato da
di informazione) e, nel contempo, agire in maniera di- interventi normativi più specifici, ha tuttavia l’inevi-
ligente e, soprattutto, non discriminatoria. È inoltre tabile effetto di appiattire le peculiarità tipiche con-
disposta, all’art. 10, la predisposizione di meccanismi nesse alla moderazione di ciascun information bad.
di reclamo a tutela degli utenti i cui contenuti siano Così, per quanto concerne la rimozione dei contenuti
stati rimossi, con l’obbligo per il fornitore di rendere d’odio, non sembra essere presente, nell’attuale te-
decisioni motivate e fatto salvo l’eventuale ricorso sto della proposta di regolamento, la consapevolezza
all’autorità amministrativa o giudiziaria dello Stato. dei rischi tipici, ai danni del principio di uguaglian-
A sua volta, la proposta di regolamento per il Di- za sostanziale, che sono inevitabilmente connessi al-
gital Services Act (DSA) contiene alcune norme di la rilevazione automatizzata dell’hate speech. Se, da
rilievo in tal senso, richiedendo all’art. 12 che gli in- un lato, la proposta di regolamento si preoccupa di
termediari applichino le condizioni generali dei loro tutelare i gruppi marginalizzati da contenuti danno-
servizi in modo «equo, trasparente, coerente, diligen- si quali l’“illecito incitamento all’odio” e i “contenu-
te, tempestivo, non arbitrario, non discriminatorio e ti discriminatori illegali” 76 , non sufficiente attenzio-
proporzionato», nonché rispettoso dei diritti e de- ne è prestata al collaterale, ed altrettanto dannoso,
gli interessi legittimi delle parti coinvolte (compresi rischio di un’iniqua rimozione degli stessi.
i diritti fondamentali previsti dalla Carta di Nizza), In una prospettiva normativa, risulta pertanto es-
nonché imponendo, alle piattaforme online, di pre- senziale tenere in maggiore considerazione le speci-
disporre sistemi interni di gestione dei reclami da ficità e le finalità tipiche del contrasto ai discorsi
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speech140
d’odio, ovverosia l’uguaglianza sostanziale dei gruppi in una loro tutela, implica la necessaria pretesa di
tradizionalmente marginalizzati e discriminati. Uno una più esigente soglia di accettabilità dell’errore. In
strumento promettente sembra essere stato introdot- caso contrario, la moderazione dei contenuti d’odio si
to, per esempio, dall’emendamento del Parlamento svuoterebbe di significato, tradendo la ratio di fon-
europeo volto a introdurre un paragrafo 1-bis all’art. do che ne giustifica il contrasto: la promozione del
19. Se nel testo originario della Commissione la figu- principio di uguaglianza sostanziale.
ra del “segnalatore attendibile” rilevava soltanto ai Sotto il profilo di policy-making, risulta pertan-
fini della premoderazione dei contenuti77 , il nuovo to auspicabile da parte del legislatore, nazionale ma
testo richiederebbe alle piattaforme online di adot- soprattutto eurounionale, una maggiore attenzione
tare le misure, tecniche e organizzative, atte a per- ai rischi “collaterali” connessi a un quadro norma-
mettere ai segnalatori attendibili di emettere notifi- tivo che incentivi la moderazione (algoritmica) dei
che di rettifica in caso di errore di moderazione: tali discorsi d’odio senza garantire al contempo un ap-
notifiche, volte al ripristino di informazioni e conte- parato adeguato di tutela delle libertà individuali e
nuti, dovranno essere trattate e decise in via prio- del diritto di non discriminazione degli utenti. Tale
ritaria e senza indugio. In altre parole, si darebbe esigenza appare ancor più pressante nell’attuale con-
la possibilità a segnalatori attendibili, indipendenti testo post-pandemico e, soprattutto, con riferimento
ed esperti in materie quali, per l’appunto, il contra- alla discussione in corso relativa all’emanazione del
sto al fenomeno dei discorsi d’odio, di corroborare Digital Services Act.
le richieste di correzione delle decisioni prese dalla
piattaforma. Peraltro, allo stato attuale non risulta
chiaro se, quando e con quali modalità sarà possi- Note
bile per gli utenti richiedere direttamente un simile 1 Reno v. American Civil Liberties Union, 521 US 844 (1997).
intervento del segnalatore attendibile. 2 Abrams v. United States, 250 US 616 (1919). Sul punto,
si vedano tra gli altri L.C. Bollinger, The Tolerant Socie-
ty: Freedom of Speech and Extremist Speech in America, Ox-
5. Conclusioni ford University Press, 1988, 304 p., p. 59-61; M. Rosenfeld,
Hate Speech in Constitutional Jurisprudence: A Comparati-
Il costante incremento del flusso informativo in rete ve Analysis, in “Cardozo Law Review”, vol. 24, 2003, n. 4, p.
1523-1567, spec. p. 1533-1535.
ha reso sempre più essenziale il ruolo degli interme- 3 Cfr. D. Lupton, Digital risk society, in A. Burgess, A.
diari digitali nella moderazione dei contenuti postati Alemanno, J.O. Zinn et al. (eds.), “Routledge Handbook of
dagli utenti, al fine di ridurre la commissione di con- Risk Studies”, Routledge, 2016, p. 301-309.
4 Si vedano, ex multis, Corte EDU, Stoll c. Svizzera, 10
dotte illecite e la diffusione di materiali dannosi o ille-
dicembre 2007, ric. 69698/01; K.U. c. Finlandia, 2 dicembre
citi in Internet. La necessità di tale attività si evince
2008, ric. no. 2872/02; Pravoye Delo e Shtekel c. Ucraina, 5
del resto dal crescente numero di iniziative politiche maggio 2011, ric. 33014/05. Cfr. O. Pollicino, Judicial pro-
e legislative da parte delle istituzioni pubbliche, na- tection of fundamental rights on the Internet: A road towards
zionali e sovranazionali, volte a delineare sistemi di digital constitutionalism?, Hart, 2021, XXIV+235 p.
5 G. Sartor, A. Loreggia, The impact of algorithms for
new-school speech regulation. A fronte, tuttavia, del- online content filtering or moderation. “Upload filters”, studio
la mole straordinaria di contenuti postati quotidia- richiesto dal Comitato JURI del Parlamento europeo, n. PE
namente online, il ricorso da parte degli intermediari 657.101), 2020.
6 J. Grimmelmann, The Virtues of Moderation, in “Yale
digitali a forme di moderazione automatizzata si è
Journal of Law and Technology”, 2015, n. 17, p. 42-109.
fatto negli anni massiccio. 7 T. Gillespie, Custodians of the Internet: platforms, con-
Sebbene tali sistemi siano sempre più avanzati e tent moderation, and the hidden decisions that shape social
raffinati, il loro utilizzo non è esente da criticità: un media, Yale University Press, 2018, 288 p., a p. 5. Si veda an-
certo margine di errore è, di fatto, ineludibile. Ciò che, sul punto, N. Helberger, J. Pierson, T. Poell, Go-
verning online platforms: From contested to cooperative re-
risulta essere particolarmente evidente in quei casi sponsibility, in “The Information Society”, vol. 23, 2018, n. 1,
ove la rilevazione del “male informazionale” si fondi p. 1-14.
sulla comprensione semantica del contesto e dell’in- 8 Così T. Gillespie, op. cit., p. 13: «And moderation is,
tenzione dell’autore del contenuto, quale è il caso dei in many ways, the commodity that platforms offer. Though
part of the web, social media platforms promise to rise above
discorsi d’odio. In questi casi, come evidenziato da it, by offering a better experience of all this information and
ampia letteratura, risulta particolarmente elevato il sociality: curated, organized, archived, and moderated».
rischio di falsi positivi, soprattutto a carico delle mi- 9 R. Wilson, M. Land, Hate Speech on Social Me-
noranze e dei gruppi marginalizzati o discriminati. dia: Content Moderation in Context, in “Connecticut Law
Review”, vol. 52, 2021, n. 3, p. 1029-1076, spec. p. 1054.
Il concreto e significativo rischio che la moderazione 10 J.M. Balkin, Old-School/New-School Speech Regulation,
automatizzata di hate speech si traduca in un silen- in “Harvard Law Review”, vol. 127, 2013, n. 8, p. 2296-2342. Si
ziamento delle categorie discriminate, piuttosto che veda, sulla regolazione degli intermediari digitali, G. Frosio
Pietro Dunn141
(ed.), The Oxford handbook of online intermediary liability, cial Media, Princeton University Press, 2017, XIV+316 p.; E.
Oxford University Press, 2020, 782 p. Pariser, The filter bubble: what the Internet is hiding from
11 Si vedano altresì J.M. Balkin, Free Speech in the Al- you, Penguin, 2011, 294 p.; N. Helberger et al., A freedom
gorithmic Society: Big Data, Private Governance, and New of expression perspective on AI in the media – with a special
School Speech Regulation, in “U.C. Davis Law Review”, vol. focus on editorial decision making on social media platforms
51, 2017, n. 3, p. 1149-1210; J.M. Balkin, Free Speech Is a and in the news media, in “European Journal of Law and
Triangle, in “Columbia Law Review”, vol. 118, 2018, n. 7, p. Technology”, vol. 11, 2020, n. 3, p. 1-28; S. Milano et al.,
2011-2056. Recommender systems and their ethical challenges, in “AI &
12 In una prima fase, la Commissione europea faceva per lo Society”, vol. 35, 2020, n. 4, p. 957-967; N.P. Suzor, Lawless:
più ricorso a strumenti di auto-regolazione dal basso. Tra que- The Secret Rules That Govern Our Digital Lives, Cambridge
sti, il rimando è, soprattutto, al Codice di condotta dell’UE University Press, 2019.
21 Si veda, in particolare, K. Klonick, The New Governors:
per contrastare l’illecito incitamento all’odio (2016), nonché
al Codice di buone pratiche sulla disinformazione (2019). Pro- The People, Rules, and Processes Governing Online Speech,
gressivamente, l’approccio della Commissione è tuttavia mu- in “Harvard Law Review”, vol. 131, 2017, n. 6, p. 1598-1670.
tato nella direzione di una maggiore regolazione “dall’alto”, 22 G. De Gregorio, Democratising online content mo-
attraverso il ricorso sempre più diffuso a strumenti di hard deration: A constitutional framework , in “Computer Law &
law. Si vedano, in particolare: la Direttiva (UE) 2018/1808 del Security Review”, vol. 36, 2020, p. 1-17.
Parlamento europeo e del Consiglio, del 14 novembre 2018, re- 23 Le condizioni lavorative dei moderatori umani, con parti-
cante modifica della direttiva 2010/13/UE, relativa al coordi- colare riferimento ai danni psichici da essi sovente riportati,
namento di determinate disposizioni legislative, regolamentari sono state trattate in particolare in S.T. Roberts, Behind the
e amministrative degli Stati membri concernenti la fornitura screen: Content moderation in the shadows of social media,
di servizi di media audiovisivi (direttiva sui servizi di media Yale University Press, 2019, 266 p. A p. 25, l’autrice sottolinea
audiovisivi), in considerazione dell’evoluzione delle realtà del come i lavoratori del settore siano generalmente «poorly paid
mercato (2018) OJ L61/69; la Direttiva (UE) 2019/790 del human beings who risk burnout, desensitization, and worse
Parlamento europeo e del Consiglio, del 17 aprile 2019, sul because of the nature of their work». Si veda altresì Cambrid-
diritto d’autore e sui diritti connessi nel mercato unico digi- ge Consultants, Use of AI in Online Content Moderation,
tale e che modifica le direttive 96/9/CE e 2001/29/CE (2019) Ofcom, 2019.
OJ L130/92; e il Regolamento (UE) 2021/784 del Parlamento 24 Si vedano, sul punto, Cambridge Consultants, op. cit.;
europeo e del Consiglio, del 29 aprile 2021, relativo al contra- R. Gorwa, R. Binns, C. Katzenbach, op. cit.; G. Sartor,
sto della diffusione di contenuti terroristici online (2021) OJ A. Loreggia, op. cit.
L172/79. Si veda, da ultimo, la proposta per il cosiddetto Di- 25 Cfr. J. Burrell, How the machine ‘thinks’: Understan-
gital Services Act: Proposta di Regolamento del Parlamento ding opacity in machine learning algorithms, in “Big Data
europeo e del Consiglio relativo a un mercato unico dei servizi & Society”, vol. 3, 2016, n. 1, p. 1-12; F. Pasquale, The
digitali (legge sui servizi digitali) e che modifica la direttiva black box society: the secret algorithms that control money
2000/31/CE, COM(2020) 825 final. and information, Harvard University Press, 2015, 311 p.
13 Si veda, tra gli altri, R. Gorwa, R. Binns, C. Katzen- 26 J. Eisenstein, Introduction to Natural Language Pro-
bach, Algorithmic content moderation: Technical and political cessing, MIT Press, 2019, 536 p. A p. 1 si definisce il nat-
challenges in the automation of platform governance, in “Big ural language processing come «the set of methods for mak-
Data & Society”, vol. 7, 2020, n. 1, p. 1-15. ing human language accessible to computers». Si veda anche
14 Tra le numerose definizioni che sono state offerte del ter-
N. Duarte, E. Llansó, A. Loup, Mixed messages? The
mine hate speech, si veda in particolare European Commis- limits of automated social media content analysis, Center for
sion against Racism and Intolerance (ECRI), General Democracy & Technology, 2017, p. 9. Per quanto concerne
Policy Recommendation no. 15 on Combating Hate Speech, l’applicabilità specifica dell’NLP per la moderazione dell’hate
21 March 2016, CRI(2016)15, p. 16: «Hate speech for the pur- speech, si veda A. Schmidt, M. Wiegand, A Survey on Hate
pose of the Recommendation entails the use of one or more Speech Detection using Natural Language Processing, in L.W.
particular forms of expression – namely, the advocacy, pro- Ku, C.T. Li (eds.), “Proceedings of the Fifth International
motion or incitement of the denigration, hatred or vilification Workshop on Natural Language Processing for Social Media”,
of a person or group of persons, as well any harassment, in- ACL, 2017, p. 1-10. Peraltro, un campo di ricerca partico-
sult, negative stereotyping, stigmatization or threat of such larmente fertile sembra essere, soprattutto ai fini della rileva-
person or persons and any justification of all these forms of zione di contenuti d’odio, quello della sentiment analysis (o
expression – that is based on a non-exhaustive list of personal opinion mining). Sull’argomento, si vedano B. Liu, Sentiment
characteristics or status that includes “race”, colour, langua- Analysis: Mining Opinions, Sentiments, and Emotions, II ed.,
ge, religion or belief, nationality or national or ethnic origin, Cambridge University Press, 2020, XVIII+430 p.; F.A. Pozzi
as well as descent, age, disability, sex, gender, gender identity et al., Challenges of Sentiment Analysis in Social Networks:
and sexual orientation». An Overview, in Id., “Sentiment Analysis in Social Networks”,
15 J. Grimmelmann, op. cit., p. 47.
Morgan Kaufmann, 2017, p. 1-11.
16 R. Gorwa, R. Binns, C. Katzenbach, op. cit., p. 3. 27 E. Douek, Governing online speech: from “posts-as-
17 E. Llansó et al., Artificial intelligence, Content Mode-
trumps” to proportionality and probability, in “Columbia Law
ration, and Freedom of Expression, TWG, 26 February 2020, Review”, vol. 121, 2021, n. 3, p. 759-834.
32 p. 28 S. Agarwal, C.R. Chowdary, Combating hate speech
18 R. Gorwa, R. Binns, C. Katzenbach, op. cit., p. 3.
using an adaptive ensemble learning model with a case study
19 In questo senso, Wu parla di controllo “positivo” della on COVID-19 , in “Expert Systems with Applications”, 2021,
libertà di espressione. Si veda T. Wu, Will artificial intelli- n. 185, p. 1-9; United Nations, Countering COVID-19 Hate
gence eat the law? The rise of hybrid social-ordering systems, Speech, 2020.
in “Columbia Law Review”, vol. 119, 2019, n. 7, p. 2001-2028, 29 G. De Gregorio, O. Pollicino, P. Dunn, Digi-
a p. 2014. tisation and the central role of intermediaries in a post-
20 Si vedano, tra gli altri, E. Llansó et al., op. cit.; C.R. pandemic world, in “MediaLaws”, 2021; F. Tagliabue, L.
Sunstein, #Republic: Divided Democracy in the Age of So- Galassi, P. Mariani, The “Pandemic” of Disinformation in
Moderazione automatizzata e discriminazione algoritmica: il caso dell’hate speech142
COVID-19, in “SN Comprehensive Clinical Medicine”, 2020, 48 J.H. Park, J. Shin, P. Fung, Reducing Gender Bias
n. 2, p. 1287-1289. in Abusive Language Detection, in E. Riloff, D. Chiang, J.
30 M. Lim, G. Alrasheed, Beyond a technical bug: Biased Hockenmaier, J. Tsujii (eds.), “Proceedings of the 2018 Con-
algorithms and moderation are censoring activists on social ference on Empirical Methods in Natural Language Proces-
media, in “The Conversation”, 2021. sing”, ACL, 2018, p. 2799-2804; X. Zhou, M. Sap, S. Swa-
31 Facebook Transparency Center, Community Stan- yamdipta et al. (eds.), Challenges in Automated Debiasing
dards Enforcement Report – Hate Speech, Meta, 2022. for Toxic Language Detection, in P. Merlo, J. Tiedemann, R.
32 I dati concernenti la moderazione dei discorsi d’odio su Tsarfaty (eds.), “Proceedings of the Sixteenth Conference of
Instagram sono disponibili solo con riferimento al periodo the European Chapter of the Association for Computational
successivo all’ultimo trimestre del 2019. Linguistics: Main Volume”, ACL, 2021, p. 3143-3155.
33 Occorre sottolineare, peraltro, che nel momento in cui si 49 T. Davidson, D. Warmsley, M. Macy, I. Weber, Au-
scrive non è possibile ancora prevedere quali saranno gli effet- tomated Hate Speech Detection and the Problem of Offensive
ti, a livello di moderazione dei contenuti d’odio, dello scoppio Language, in “Proceedings of the Eleventh International AAAI
del conflitto russo-ucraino nel febbraio 2022. Conference on Web and Social Media”, vol. 11, 2017, n. 1, p.
34 M. Schroepfer, Update on Our Progress on AI and 512-515; T. Davidson, D. Bhattacharya, I. Weber, Racial
Hate Speech Detection, Meta, 2021. Bias in Hate Speech and Abusive Language Detection Datase-
35 Facebook Transparency Center, Community Stan- ts, in T.S. Roberts, J. Tetreault, V. Prabhakaran, Z. Waseem
dards Enforcement Report, cit. (eds.), “Proceedings of the Third Workshop on Abusive Lan-
36 Per una definizione di “diffusione” si veda Facebook guage Online”, ACL, 2019, p. 25-35; M. Sap, D. Card, S.
Gabriel et al., The Risk of Racial Bias in Hate Speech Detec-
Transparency Center, Prevalence, Meta, 2021.
37 T. Simonite, Facebook’s AI for Hate Speech Improves. tion, in A. Korhonen, D. Traum, L. Màrquez (eds.), “Procee-
dings of the Fiftyseventh Annual Meeting of the Association
How Much Is Unclear , in “Wired”, 2020.
38 Peraltro, alcuni dati sono disponibili relativamente al
for Computational Linguistics”, ACL, 2019, p. 1668-1678.
50 T. Dias Oliva, D.M. Antonialli, A. Gomes, Fighting
numero di contenuti successivamente reintegrati sulle piat-
Hate Speech, Silencing Drag Queens? Artificial Intelligence in
taforme. Tuttavia, soprattutto a seguito dello scoppio della
Content Moderation and Risks to LGBTQ Voices Online, in
pandemia, il ruolo dei reclami proposti dagli utenti sembra
“Sexuality & Culture”, vol. 25, 2021, n. 2, p. 700-732. Il lavo-
essere piuttosto marginale. Nel terzo trimestre del 2021, per
ro analizza come il software Perspective, sviluppato da Goo-
esempio, a fronte di 22,3 milioni di contenuti sanzionati su
gle per individuare contenuti ascrivibili alla classe del toxic
Facebook, solo 1,1 milione di reclami sono stati proposti dagli
speech, impatti rispettivamente i tweet pubblicati da celebri
utenti: di questi solo 90,7 mila sono stati accolti. Questo a fron-
drag queen statunitensi e quelli pubblicati da altrettanto noti
te dei circa 30,3 mila contenuti reintegrati autonomamente da
estremisti di destra. Secondo lo studio, i contenuti prodotti
Facebook. In generale, tali dati appaiono essere poco rappre-
dalle prime sarebbero in molti casi rilevati come altrettanto
sentativi del reale tasso di errore. Facebook Transparency
tossici, e spesso come più tossici, dei secondi. Così, per esem-
Center, Community Standards Enforcement Report, cit.
39 G. Sartor, A. Loreggia, op. cit.
pio, il tweet «and I’m ... GAY. #HairsprayLive» della drag
queen Mimi Imfurst risulterebbe essere tossico al 92,31% (p.
40 E. Douek, op. cit.
720), mentre il tweet del politico alt-right Richard Spencer
41 A. Brown, What Is Hate Speech? Part 2: Family Resem-
«@hodgie2000 Of course, homosexuality is a naturally occur-
blances, in “Law and Philosophy”, vol. 36, 2017, n. 5, p. 561- ring phenomenon. But as another already said, so is canniba-
613; P. Dunn, Piattaforme digitali e moderazione dei conte- lism, addiction, suicide, self-harm, etc. The question is: what
nuti d’odio: nodi giuridici e pratici, in “MediaLaws”, 2021. is the *cause* of this curious phenomenon, from evolutionary,
42 Si veda, in tal senso, R. Wilson, M. Land, op. cit. Per
genetic, social, or psychological perspectives», in cui l’omoses-
la (ampia) definizione utilizzata dalle piattaforme di Meta, si sualità è di fatto paragonata al cannibalismo, alle dipenden-
veda Facebook Transparency Center, Hate speech, Meta, ze, al suicidio e all’autolesionismo, riporterebbe un grado di
2021. tossicità pari al solo 13,80% (p. 724).
43 Si veda, in particolare, il c.d. “Piano d’Azione Rabat” 51 Con riferimento alla comunità LGBTQIA+, e in partico-
delle Nazioni Unite. Consiglio per i diritti umani del- lare alla sotto-comunità drag, si veda S. McKinnon, “Building
le Nazioni Unite, Report of the United Nations High Com- a thick skin for each other”: The use of ‘reading’ as an interac-
missioner for Human Rights on the expert workshops on the tional practice of mock impoliteness in drag queen backstage
prohibition of incitement to national, racial or religious ha- talk , in “Journal of Language and Sexuality”, vol. 6, 2017, n.
tred (A/HRC/22/17/Add.4), 2013. Si veda altresì A. Weber, 1, p. 90-127. L’autore, nell’occuparsi della pratica del reading,
Manual on hate speech, Council of Europe Publishing, 2009, riconduce l’uso di espressioni apparentemente insultanti alla
VI+98 p. categoria della mock impoliteness, da intendersi come l’insie-
44 M. Durante, Potere computazionale. L’impatto delle
me di quelle «utterances, which could potentially be evalua-
ICT su diritto, società, sapere, Meltemi, 2019, 397 p. ted as genuine impoliteness outside the appropriate context,
45 L. Floridi, La quarta rivoluzione. Come l’infosfera sta are positively evaluated by in-group members who recognize
trasformando il mondo (trad. it. M. Durante), Raffaello Corti- the importance of ‘building a thick skin’ to face a hostile
na, 2017, XVIII+294 p., pp. 147-164. environment from LGBT and non-LGBT people» (p. 90).
46 Per una comprensione del fenomeno del meme in Internet, 52 J. Guynn, Facebook while black: Users call it getting
si veda G. Marino, Semiotics of spreadability: A systematic «Zucked», say talking about racism is censored as hate speech,
approach to Internet memes and virality, in “Punctum”, vol. in “Usa Today”, 2019. Tale fenomeno, inoltre, sembra colpire
1, 2015, n. 1, p. 43-66, a p. 60. in modo ancora più intenso le donne: si veda in tal senso K.L.
47 Per uno studio su come gli algoritmi utilizzati da piatta- Gray, K. Stein, “We ‘said her name’ and got zucked”: Black
forme e intermediari digitali abbiano la tendenza a riprodurre Women Calling-out the Carceral Logics of Digital Platforms,
e replicare bias discriminatori, soprattutto nei confronti del- in “Gender & Society”, vol. 35, 2021, n. 4, p. 538-545.
53 N.P. Suzor, op. cit., p. 128-129.
le donne afro-americane, si veda S.U. Noble, Algorithms of
oppression: how search engines reinforce racism, New York 54 A. Chakraborty, J. Messias, F. Benevenuto et al.,
University Press, 2018. Who Makes Trends? Understanding Demographic Biases in
Pietro DunnPuoi anche leggere
