Assistenti vocali e altoparlanti intelligenti - Linguistica italiana II Mirko Tavosanis A. a. 2018-2019 4 ottobre 2018 - e-learning area umanistica

Valutazione dei sistemi automatici di interazione
  linguistica in italiano – Modulo A

  3. Assistenti vocali e altoparlanti
  intelligenti

4 ottobre 2018                      Linguistica italiana II
                                    Mirko Tavosanis
                                    A. a. 2018-2019

Oggi
Continua la panoramica sugli strumenti disponibili
al singolo utente:

• Assistenti vocali
• Altoparlanti intelligenti

Assistenti vocali
• In generale: strumenti capaci di interagire con l’utente
  attraverso la voce (a volte integrata con la scrittura)
• Sono chiamati anche «assistenti virtuali», «assistenti
  digitali», eccetera, in italiano e in inglese; ai fini di
  questo corso io preferisco insistere sulla componente
  vocale
• Wikipedia in lingua inglese parla di «Virtual assistant»
• Gli esempi più importanti sono oggi:
   – Siri (Apple)
   – Cortana (Microsoft)
   – Alexa (Amazon, ma non per l’italiano)
   – Assistente Google (Google)
   – Bixby (Samsung, ma non per l’italiano): ce ne occuperemo solo
     tangenzialmente

Definizione
• Ci occupiamo di un numero ristretto di prodotti, con
  capacità che cambiano rapidamente, quindi preferisco
  non dare una definizione rigida
• Limitiamoci a descriverli come «sistemi capaci di
  interagire con l’utente attraverso la voce (a volte
  integrata con la scrittura) per eseguire più di una
  attività» (Tavosanis 2018, p. 79)
• L’importante è distinguerli da sistemi limitati per fornire
  informazioni su argomenti specifici
• Più avanti vedremo che alcune caratteristiche
  dell’interfaccia possono essere fondamentali: anche a
  parità di funzioni, il rapporto è molto diverso quando
  l’assistente deve essere attivato esplicitamente e quando
  invece è sempre in ascolto

Come dovrebbero funzionare?
• Ricordate: la conversazione è «l’interfaccia più
  naturale»
• Fin dagli inizi dell’informatica, l’idea di interagire con i
  computer attraverso la voce è stata un ideale;
  irraggiungibile, però, a causa delle limitazioni tecniche
  (ne abbiamo parlato nella prima lezione del modulo)
• Il sogno è stato dimenticato dal pubblico e
  dall’immaginario con l’avvento delle interfacce grafiche,
  delle tastiere e del mouse, ma ogni tanto ricordato dai
  designer
• Un video Apple del 1987 mostra un esempio di
  «Knowledge navigator» immaginato per il 2011:
  https://youtu.be/hb4AzF6wEoc

Her / Lei
• Un film di Spike Jonze (2013) interpretato
  da Joaquin Phoenix
• Racconta l’evoluzione di un’intelligenza
  artificiale – che interagisce solo via audio –
  nel prossimo futuro
• Le scene iniziali mostrano anche giornate di
  lavoro con interfacce vocali più realistiche:
    – Dettatura al computer
    – Comando vocale del computer
    – Ascolto e gestione di messaggi vocali in varie
      situazioni (per esempio, camminando)

https://youtu.be/n1CxhRH1oTE

Il mondo reale: funzionalità
•   Per l’inglese, viene spesso dichiarato che la capacità di
    trascrizione del parlato è adeguata (il che è compatibile con
    quello che abbiamo visto ieri): le lamentele riguardano gli
    aspetti di intelligenza artificiale, non quelli linguistici
•   Un esempio di queste osservazioni: “In my recent experience,
    Siri has become quite good at transcribing what I’m asking,
    just not at answering it”: Walter Mossberg, Why does Siri seem
    so dumb?, “The Verge”, 12 ottobre 2016
    http://www.theverge.com/2016/10/12/13251068/walt-mossberg-
    apple-siri-is-dumb
•   Qui in parte si esce dall’ambito linguistico: molte delle critiche
    di Mossberg riguardano l’incapacità di Siri di usare informazioni
    correttamente registrate su iPhone
•   Un altro esempio: Brian X. Chen, Google Pixel Review:
    Assessing the New Smartphone, “New York Times”, 18 ottobre
    2016

Esempi di interrogazione (17 ottobre 2016)
“Chi è il Presidente del Consiglio?”
•   Siri: presenta un rinvio alla voce di Wikipedia “Presidente del Consiglio dei ministri
    della Repubblica Italiana”
•   Google: lo stesso.
“Quando c’è la Formula 1?”
•   Siri: “Mi dispiace, Mirko, ma non riesco a trovare informazioni su questo campionato”,
    però mostra in accompagnamento link a siti web con il calendario corretto
•   Google: rinvio al sito web con il calendario corretto
“Quando c’è la prossima partita del Pisa?”
•   Siri: “La partita Torino-Pisa è il 29 novembre 2016 alle nove di sera” (risposta sbagliata)
•   Google: “Pisa affronterà Latina sabato alle 15 e zero minuti” (risposta giusta)
“Chi è Walter Mossberg?”
•   Siri: “Ecco cosa ho trovato cercando ‘Chi è Walter Moss Berg su Internet’” e ricerche
    web non pertinenti
•   Google: profilo della persona corretta.

Esempi di interrogazione (22 febbraio 2018)
“Chi è il Presidente del Consiglio?”
•   Siri: presenta un rinvio alla voce di Wikipedia “Presidente del Consiglio dei ministri
    della Repubblica Italiana”
•   Google: lo stesso.
“Quando c’è la Formula 1?”
•   Siri: “Ecco cosa ho trovato cercando ‘Quando c’è la Formula 1’ su Internet”, mostrando
    in accompagnamento link a siti web con il calendario corretto
•   Google: rinvio al sito web con il calendario corretto
“Quando c’è la prossima partita del Pisa?”
•   Siri: “Non conosco ancora la data della prossima partita della Pisa. Tuttavia, oggi ha
    subito una sonora sconfitta contro il Torino; il punteggio finale è stato di 0-4” (la partita
    è stata giocata il 29 novembre 2016)
•   Google: “Il Pisa giocherà contro Associazione Sportiva Lucchese Libertas 1905
    domenica alle 14:30” (risposta giusta)
“Chi è Walter Mossberg?”
•   Siri: “Ecco cosa ho trovato cercando ‘Chi è Walter Moss Bergamo su Internet’” e
    ricerche web non pertinenti
•   Google: “Ecco il suo profilo”, e rinvio al profilo Google della persona corretta.

Poca intelligenza (22 febbraio 2018)
“Segna sul mio calendario la prossima partita del Pisa”
• Siri: “La Pisa non gioca oggi. Tuttavia, ha perso 4-0 contro il Torino
  nell’incontro del 29 novembre 2016”
• Google: Apre il calendario e chiede “Quando sarà l’evento?”

Ovviamente, questo non è un problema linguistico nel senso più stretto:
la domanda è stata trascritta correttamente
Il problema sta nel riuscire a dare un senso al linguaggio naturale ed
eseguire qualcosa su questa base
Dalla trascrizione del parlato (e dal WER) si deve passare a qualcosa di
diverso, che obbliga anche un po’ a riflettere sul linguaggio e sulla
comprensione

Intelligenza?
• Il discorso va sul filosofico, ma le questioni sono pratiche e importanti
• Misurare l’«intelligenza» di un sistema è difficile: non possiamo usare
  un metro, o una bilancia…
• Per me è ovvio che questi strumenti sono del tutto privi di
  intelligenza in senso umano, e si limitano a dare risposte
  predefinite, o su base statistica, nelle situazioni per cui sono stati
  sviluppati
• In un certo senso (lo vedremo tra poco) sono intelligenti quanto un
  dizionario su carta
• Tuttavia, anche persone con notevoli competenze si lasciano andare a
  valutazioni e addirittura a misurazioni di intelligenza
• Un esempio di descrizione divulgativa: Simone Cosimi, L’AI di Google
  ha il doppio del QI di Siri. Ma un bambino di 6 anni supera
  entrambe, Wired.it, 15 novembre 2017 (https://www.wired.it/ai-
  intelligenza-artificiale/storie/2017/11/15/ai-google-doppio-siri/)

Quanto sono intelligenti gli assistenti virtuali che portiamo nei nostri
smartphone o con cui ci imbattiamo nelle diverse piattaforme? Tanto o
poco, dipende come sempre dai punti di vista. Al vertice della classifica,
secondo un paper firmato da un trio di ricercatori cinesi fra cui Yong Shi,
vice direttore del Chinese Academy of Sciences’ Research Center on
Fictitious Economy and Data Science, c’è Google. L’AI di Big G ha fatto
infatti segnare un quoziente intellettivo di 47.28 punti. Si tratta di
quell’indicatore, nato a sua volta dalla scala Binet-Simon proposta nel
1905 dallo psicologo francese Alfred Binet e rivisitato numerose volte
disperdendosi in varie tipologie, che vorrebbe in qualche modo misurare
o valutare l’intelligenza, ovvero lo sviluppo cognitivo dell’individuo.
Dietro al Google Assistant, fra l’altro appena arrivato anche in italiano, si
piazzano i sistemi messi a punto dal motore di ricerca cinese Baidu (con
un punteggio di 32.92) e Bing di Microsoft (31.98). In questo modo
Google doppierebbe il risultato fatto segnare dalla principessa delle
assistenti virtuali, quella Siri di Apple che stando a questo test (uno fra i
tanti possibili, ovviamente) porta a casa un magro 23,94 di Q.I.
L’aspetto interessante, tuttavia, è che nonostante tutti i progressi nel
settore nessuno dei sistemi presi in considerazione supera il quoziente
intellettivo medio di un bambino di 6 anni (55.5) e si piazza
notevolmente al di sotto di quello di un 18enne (97) o di un 12enne (84).

La stanza cinese
• L’esperimento mentale della «stanza cinese» è stato proposto da John
  Searle nel 1980
  John R. Searle (1980), Minds, Brains and Programs, “Behavioral and
  Brain Sciences”, 3, pp. 417–457, doi:10.1017/S0140525X00005756.
• Una persona si siede in una stanza con una lista di caratteri cinesi e
  una serie di regole per operare in risposta a fogli con caratteri cinesi
  che vengono passati da uno sportello
• Quando riceve un foglietto con la scritta 你好吗? la persona è in grado
  per esempio di rispondere tra due alternative in base alle regole
• Questo ci permette di dire che la persona «sa il cinese»? La risposta di
  Searle è: no (parafraso: un sistema addestrato a rispondere a test di
  intelligenza è davvero intelligente? Non necessariamente)
• Aggiungo io: più che altro stiamo misurando la capacità di un sistema
  stupido di rispondere a test… anche se su alcuni punti i confini sono
  sorprendentemente sottili, e affascinanti

Quando ricevi 你好吗?,
rispondi:
我很好，你呢？

Quando ricevi 再见, rispondi:
再见.

Personalità
• Assistenti digitali come Siri e Cortana sono stati dotati di una
  simulazione di personalità: rispondono a domande su «cosa ti
  piace?» e simili
• Personalmente, credo che sia un errore (anche se è utile per creare
  titoli sui giornali, ecc.)
• Gli esseri umani accettano i limiti delle interfacce, ma ci sono effetti
  complessi:
    – anche quando sanno di non avere a che fare con un essere umano, in parte si
      comportano come se avessero un essere umano davanti
    – sono infastiditi dalle cose che cercano di sembrare umane e non raggiungono
      capacità umane
• Vediamo le caratteristiche dei sistemi (integrati nei rispettivi sistemi
  operativi) e delle due personalità
• I sistemi sono complessi, e il riconoscimento del parlato ne
  rappresenta solo una parte
    – Siri: sistema di riconoscimento vocale sviluppato da Nuance
    – Cortana: elaborazione del parlato sviluppata da Tellme Networks

Siri (2011)
• Per un’informazione aggiornata consiglio
  le voci di Wikipedia in lingua italiana e in
  lingua inglese:
  https://it.wikipedia.org/wiki/Siri_(softw
  are)
  https://en.wikipedia.org/wiki/Siri
• Le aree coperte vengono indicate
  (http://www.apple.com/it/ios/siri/)
  come:
    – Tenere i contatti (messaggi, mail, chiamate)
    – Organizzarsi (fissare promemoria, sveglie)
    – Sport (risultati sportivi)
    – Svago (musica, film)
    – In giro (indicazioni stradali, ricerca negozi)
    – HomeKit (domotica)
    – Trucchi e dritte (personalizzazione, scorciatoie)
    – Risposte su tutto (operazioni matematiche,
      conversazione)

Cortana (2014)
• Anche qui consiglio le voci di Wikipedia in lingua
  italiana e in lingua inglese:
  https://it.wikipedia.org/wiki/Cortana_(software)
  https://en.wikipedia.org/wiki/Cortana_(software)
• Le cose che Cortana può fare vengono indicate
  (https://support.microsoft.com/it-
  it/help/17214/windows-10-what-is) come:
   – Visualizzare promemoria in base a data/ora, luoghi o persone.
   – Monitorare pacchi, squadre, interessi e voli.
   – Inviare e-mail e SMS.
   – Gestire il tuo calendario e mantenerti aggiornato.
   – Creare e gestire elenchi.
   – Chiacchierare e giocare.
   – Trovare dati, file, luoghi e info.
   – Aprire qualsiasi app nel tuo sistema.

Confronto
• Francesca Bellante, Elisa Salatti ed Eleonora Zedda hanno
  confrontato le caratteristiche dei due assistenti come relazione di
  fine modulo per il corso di Linguistica italiana II del 2015-2016
• Titolo: Siri vs. Cortana. Un’analisi pragmatica del linguaggio
  degli assistenti vocali, in linea a:
  http://interfaccevocali.blogspot.it/2016/10/le-personalita-di-siri-
  e-cortana.html
• Come quadro teorico: Brown e Levinson, Politeness: Some
  universals in language usage, 1987
• Alla base, evitare strategie negative nell’interazione
• Nella verifica gli assistenti digitali sono stati trattati come persone,
  salutandoli, insultandoli, ringraziandoli… e valutando il modo in
  cui hanno risposto

Tipologie esaminate
• Saluti
• Cultura generale
• Insulti
• Riappacificazione e complimenti
• Aspetto intellettuale / professionale dell’assistente
• Sfera affettiva ed emotiva
• Domande sulla vita privata
• Opinioni personali
• Ringraziamenti

Risultati
• «Cortana è più aperta a sviluppare un rapporto cercando di inserire
  nel dialogo dei riferimenti comuni e cerca di creare questo common
  ground grazie all'uso di citazioni o imitazioni.»
• «Anche Siri cerca di creare un common ground, ma assume un
  comportamento più "freddo". In certi sensi, rispecchia di più il
  comportamento umano, dal momento che può provare imbarazzo e
  sentirsi a disagio.»
• «È interessante notare come i due software siano stati sviluppati
  con comportamenti "molto umani" ma molto differenti tra loro:
  Cortana dà più importanza alla propria faccia positiva, e si
  comporta da amica più che da assistente, mentre Siri sembra
  preferire la propria faccia negativa, e tende quindi a proteggere il
  proprio spazio personale e mantenere la relazione su toni più
  professionali.»
• Aggiungo: l’Assistente di Google su Google Home, pur non avendo
  una simulazione così articolata, si colloca più vicino a Cortana
  (analisi di Giuseppe Cassarà)

Funzionalità
• Se si guarda bene, le funzioni sono poche e rispondono a un
  numero piuttosto ridotto di comandi
• In parte, anche perché gli sviluppatori non sono in grado di
  pensare a un numero sufficientemente ampio di combinazioni e
  non hanno (almeno inizialmente) corpora di riferimento
• Comunque, Siri è per esempio capace di rispondere a un gran
  numero di variazioni («Com’è il meteo?» «che tempo fa?») sulle
  aree molto ristrette coperte dalle sue competenze
• Varia anche molto le risposte – apparentemente, più di quanto fa
  Cortana

Che ore sono?
• Che ore sono?
• Che ora è?
Siri e Cortana rispondono in modo corretto in entrambi i casi
• Quanto manca all’una?
Siri: Mirko, abbiamo un problema. Potresti provare di nuovo?
Cortana: rinvia a una ricerca sul web
• Metti una sveglia all’una
Siri e Cortana rispondono in modo corretto in entrambi i casi, ma
Cortana mette la sveglia all’una di notte, Siri alle 13 (richiesta fatta alle
11:40)
• Metti una sveglia al tocco
Siri e Cortana chiedono chiarimenti; De Mauro considera «tocco» nel
senso di «l’una del pomeriggio» come sostantivo «Comune»:

rintocco della campana | il tocco, l’una dopo mezzogiorno

Altoparlanti intelligenti
• La categoria di prodotto cui appartengono gli oggetti che vedremo
  adesso viene oggi definita «Altoparlante intelligente» (smart speaker)
• Definizione di Wikipedia in lingua inglese: “A smart speaker is a type
  of wireless speaker and voice command device with an integrated
  virtual assistant (artificial intelligence) that offers interactive actions
  and handsfree activation with the help of one "hot word" (or several
  "hot words").”
• In effetti, l’ascolto di musica è il caso d’uso più comune
• L’integrazione con servizi musicali come Spotify sembra un punto
  importante per gli ascoltatori… e rappresenta un caso in cui
  l’interfaccia vocale può essere superiore, o perlomeno paragonabile, a
  un’interfaccia grafica

Echo & C.
• A partire dal 2014, Amazon ha messo in commercio
  una serie di dispositivi innovativi di interazione vocale
• L’assistente inserito nei prodotti è stato Alexa (voce
  femminile): ne parleremo più avanti
• Le prestazioni non sono molto diverse da quelle di Siri,
  Cortana eccetera
• Tuttavia, le novità di interazione hanno reso
  l’interazione con il dispositivo originale molto diversa
  da quelle, per esempio, di Siri; Echo era:
   •   Collegato alla rete elettrica, e quindi con la possibilità di
       restare in continua attesa di una frase di attivazione
   •   Dotato di microfoni in grado di ricevere comandi anche da
       molti metri di distanza («far field»)
   •   Dotato di altoparlanti in grado di produrre voce comprensibile
       a molti metri di distanza
   •   Ottimizzato in modo da avere una latenza molto ridotta

Conseguenze pratiche
• Se non occorre tirar fuori il telefono o premere un bottone per parlare
  con l’assistente, l’interazione è molto più fluida e spontanea
• Lo stesso vale se le percentuali di successo sono alte, anche per motivi
  banali: per esempio, perché non occorre pasticciare con la regolazione
  di volume e simili
• Alcune caratteristiche dei sistemi Echo sono state imitate dagli altri
  assistenti vocali: a seconda del dispositivo, oggi anche Siri o Cortana
  possono rispondere senza che ci sia bisogno di toccare l’apparecchio
• Viceversa, alcune capacità del sistema sono state ridotte per altre
  versioni di Echo, e cioè…

Famiglia Echo
• Amazon Echo (2014): l’originale, collegato alla rete elettrica e dotato
  di sette microfoni
• Amazon Echo Dot (2016): quello che state vedendo sulla cattedra,
  collegato alla rete elettrica e dotato di due microfoni (quindi con
  capacità minori di ascolto, ma molto più economico)
• Amazon Tap (2016): equivalente ad Amazon Echo, ma a batteria; solo
  nel 2017 è stato dotato della capacità di ascolto continuo
• Echo Look (2017): con videocamera per scattare foto e registrare video
• Echo Show (2017): con schermo per presentazione di informazioni
• Echo Spot (2017): come il precedente, ma di forma
  sferica
• Echo Plus (2017): dotato di funzioni di smart hub
• … e oggi, un vero e proprio tentativo di portare
  «Alexa dappertutto»

Supporto delle lingue
• Inizialmente, la famiglia Echo lavorava solo in inglese; poi è stato
  aggiunto il tedesco
• Lingue proposte attualmente agli sviluppatori:
  •   Inglese (Australia, Canada, India, UK, US)
  •   Tedesco
  •   Giapponese
  •   Francese (dal giugno del 2018)

• Per l’italiano, il sito di Amazon promette questo:

• Importante: i sistemi Echo non sono ancora in vendita in Italia
  neanche in inglese, l’app Echo non è disponibile sugli store italiani per
  Android e iOS, ecc. Un Echo può essere ordinato usato all’estero

Amazon Alexa
• Assistente vocale presentato da Amazon nel novembre
  2014: è usato per i prodotti Echo, e non solo
• Il sistema è basato su una voce femminile (in inglese) di
  qualità molto alta
• Anche la qualità dell’interazione sembra molto alta nella
  scelta del testo delle risposte, nel modo di interrompere
  l’interazione e riprenderla, ecc.
• Una descrizione giornalistica dell’interazione:
  https://www.nytimes.com/2017/07/11/style/alexa-
  amazon-echo.html

Sviluppo «Wizard of Oz»
The test involved a human "wizard" sitting in a separate room and
responding in real-time to any voice query a human testing subject would
make to the Echo, often without telling the tester in advance. For
example, if the subject asked Echo, "What's the weather like in New
York?" the wizard in the other room would quickly type and send out an
answer through Echo's voice.
The goal was to collect information on what types of responses worked
and what didn't work, as the subject would later fill out a satisfaction
report on what they liked. For example, 50 people would go through the
same script, but with varying response times or sentence structures.
"It was almost a psychology experiment to figure out what does it take to
really make people excited?" one of the early members of the team
recounted. "We focused maniacally on quality of speaking. It was a
constant science project."
http://www.businessinsider.com/the-inside-story-of-how-amazon-
created-echo-2016-4?IR=T

Sì, ma che cosa sa fare?

Aspetti commerciali
• Il successo di Echo ha colto molti di sorpresa
• I dati di vendita non sono mai stati rilasciati
• Alexa era comunque integrata fin dall’inizio nell’ecosistema Amazon,
  permettendo quindi di fare acquisti con Amazon
• Oggi si stima che a fine 2017 fossero stati venduti 20 milioni di
  dispositivi Amazon, contro meno di 5 milioni di Google Home
   •   Sicuramente la situazione è cambiata nel frattempo, ma i dati non sono pubblici e
       il grosso degli acquisti si concentra nel periodo prima di Natale

• Una delle decisioni fondamentali è stata quella di permettere presto a
  terze parti di creare «skills» aggiuntive per Alexa

Valutazione delle lingue
• Alexa non è disponibile in italiano ma può essere usata in Italia, con le
  lingue già supportate
• Provare a usare il sistema in lingua straniera (per esempi, in inglese) è
  interessante
• Mi sembra che vengano interpretate correttamente anche molte
  pronunce lontane dallo standard
• Per valutare le capacità, occorre innanzitutto una buona valutazione
  della lingua di chi interagisce con il sistema; non la faremo ora, ma mi
  sembra che il cambiamento di persona abbia conseguenze di rilievo,
  non del tutto dipendenti dalla qualità della pronuncia

• Preparatevi una domanda a testa!

Controlli con Alexa
• Suleila Moussalli and Walcir Cardoso, Can you understand me?
  Speaking robots and accented speech, in Kate Borthwick, Linda
  Bradley, Sylvie Thouësny (eds.). CALL in a climate of change:
  adapting to turbulent global conditions - short papers from
  EUROCALL 2017, 2017, 978-2-490057-04-7, pp. 217-221.
  .
  
• Una descrizione un po’ vaga nei dettagli (e nelle informazioni
  linguistiche), ma interessante
• Gli autori dichiarano che, diversamente da quanto rilevato poco prima,
  la capacità del sistema di trascrivere correttamente il parlato era buona
• Soprattutto: lo studio può essere ripetuto in modo piuttosto semplice
• Non mi sembra ci siano ancora state valutazioni di «accento italiano
  con prodotti commerciali tipo Alexa»