Il lessico specialistico - Modulo B Valutare i sistemi automatici di interazione linguistica

Pagina creata da Samuele De Simone
 
CONTINUA A LEGGERE
Il lessico specialistico - Modulo B Valutare i sistemi automatici di interazione linguistica
Modulo B

Valutare i sistemi
automatici di
interazione linguistica

15. Il lessico specialistico

23 maggio 2018

                               Linguistica italiana II
                                 Mirko Tavosanis
                                  A. a. 2017-2018
Il lessico specialistico - Modulo B Valutare i sistemi automatici di interazione linguistica
Aggiornamenti

• Il Giappone è interessante per le interfacce
  vocali e l’uso dei suoni (musica differenziata per
  le varie stazioni della linea Yamanote…)
• Per esempio: bancomat che interagiscono con
  voce da bambino – tipo Fuchikoma o Tachikoma
• Inoltre, in alcuni casi la
  traduzione automatica
  si è rivelata realmente
  utile
• E LREC 2018 è molto
  diversa da LREC 2008
Sviluppi recenti

• Google ha annunciato Google Duplex: un sistema in grado
  di fare conversazioni telefoniche producendo segnali
  discorsivi, interiezioni, ecc.

• L’obiettivo (apparentemente) era quello di far credere agli
  interlocutori di essere in linea con un essere umano

• I compiti previsti erano: ottenere informazioni sull’orario
  di apertura di un negozio, prendere un appuntamento dal
  parrucchiere o prenotare un tavolo al ristorante

• Il sistema non è in commercio e non è detto che funzioni
  davvero – la dimostrazione potrebbe essere molto pilotata

• Video:
  https://www.youtube.com/watch?v=D5VN56jQMWM
Perplessità
•   Una valutazione (anche) linguistica: Gary Marcus ed Ernest
    Davis, A.I. Is Harder Than You Think, New York Times, 18
    maggio 2018.
•   “If you read Google’s public statement about Google Duplex,
    you’ll discover that the initial scope of the project is surprisingly
    limited. It encompasses just three tasks: helping users “make
    restaurant reservations, schedule hair salon appointments, and
    get holiday hours.” (…)
    As Google concedes, the trick to making Google Duplex work
    was to limit it to “closed domains,” or highly constrained types
    of data (like conversations about making hair salon
    appointments), “which are narrow enough to explore
    extensively.” Google Duplex can have a human-sounding
    conversation only “after being deeply trained in such domains.”
    Open-ended conversation on a wide range of topics is nowhere
    in sight. (…)
    The crux of the problem is that the field of artificial intelligence
    has not come to grips with the infinite complexity of language.”
•   Testo: https://www.nytimes.com/2018/05/18/opinion/artificial-
    intelligence-challenges.html
Terminologia

• «Si definisce terminologia l’insieme dei termini
  e delle espressioni che designano i concetti e gli
  oggetti di un particolare settore del sapere o di
  una attività e professione umana (Marello 1995:
  719) o, più specificamente, l’insieme ordinato e
  strutturato (mediante gerarchie e
  classificazioni) dei termini che designano le
  entità e i processi di un determinato campo
  (Wright & Budin 1997: 325)» (Faloppa 2010)
• Operativamente, ciò che nel dizionario di De
  Mauro è marcato con TS
Terminologia e riconoscimento vocale

• Il rapporto dipende molto dalle situazioni
• Un sistema di riconoscimento vocale può essere
  addestrato a riconoscere solo la terminologia di
  un settore, con elevate percentuali di successo
• Da molti anni esistono prodotti commerciali con
  riconoscimento specifico (per esempio, per i
  referti radiologici)
• In questi casi il successo è collegato alle
  dimensioni del vocabolario e all’input
Terminologia e sistemi generici

• Oggi una delle principali novità è la disponibilità
  del riconoscimento vocale senza limiti di lessico
• Prodotti come Dragon o (soprattutto) Google
  permettono la dettatura senza collegamento a
  un particolare dominio
• Diventa più interessante chiedersi quale sia il
  tipo di terminologia supportato, e per quali
  applicazioni
Terminologia e contesto

• Il riconoscimento vocale funziona in rapporto
  alle circostanze
• Il riconoscimento di parole fuori contesto può
  essere molto difficile (del resto, per gli esseri
  umani è la stessa cosa)
   – «Bordeggiare»? «Corteggiare»?

• Le circostanze esterne (rumore, musica di
  sottofondo, qualità dell’audio) possono cambiare
  molto il risultato
Contesto comunicativo

Sono molto diversi fra di loro:
• Comandi ben scanditi
• Parlato recitato
• Parlato spontaneo (anche se monologico)
• Dialogo vivace
La presenza di un contesto aiuta, ma le
percentuali di errore nel riconoscimento del
parlato spontaneo sono ancora altissime
Dettatura

Un campionario di parole:

• Granodiorite
• Stakanovista
• Anafonesi
• Pluggole
• Lonfo
• Iperinflazione
Definizioni fuori contesto

• Metodo: per ogni lettera dell’alfabeto, prendere a
  caso in De Mauro (2000) una parola in cui TS sia la
  prima marca
• Chiedere la definizione della parola a Google Home
• Ovviamente, in molti casi anche un essere umano
  avrebbe dei dubbi!
• Per la funzione «definizione» Google Home si serve
  fondamentalmente del dizionario Devoto-Oli usato da
  WordReference (o almeno, lo fa nelle definizioni che
  ho controllato io)
• In alcuni casi si basa sui risultati di una ricerca
  online
Definizioni fuori contesto: corrette

• Acìclico               • Nucìfraga
• Boccacciano            • Oscillatore
• Eiettivo               • Quietismo
• Glottodidattica        • Resistore
• Habitus                • Schizotimia
• Imprescrittibilità     • Vendemmiatrice
• Listèria (letta come
  listerìa)
Definizioni fuori contesto: sbagliate
• Catàstasi: viene data la     • Telediffusione: viene data la
  definizione di catarsi         definizione di filodiffusione
• Dìstilo: viene data la       • Ussaro: viene data la
  definizione di stilo           definizione di pusher
• Floccaggio: viene data la    • Widia: viene fatta una ricerca
  definizione di bloccaggio      su Lìbia ‘donna libica’
• Jojòba: «mi spiace, non ho   • Xenìa: «mi spiace, non ho
  capito»                        capito»
• Manorègia: «mi spiace,       • Yole: viene fatta una ricerca
  non ho capito»                 su LOL
• Perpetuìno: «mi spiace, al   • Zoliàno: viene data la
  momento non so come            definizione di soriano ‘siriano’
  esserti d’aiuto»
Deragliatore e pignone

• Vediamo un video informativo su YouTube:
  https://www.youtube.com/watch?v=d7IxK8h
  NBhc
• La persona che parla esibisce un accento
  regionale non forte ma ben identificabile,
  che in alcuni casi spinge il sistema di
  riconoscimento all’errore («l’abito» per
  «l’avvito»)
• Il lessico rimane individuabile
Significato

• Dal punto di vista del riconoscimento vocale
  il significato di una parola è relativamente
  poco rilevante
• Scrivere «Corona» va bene in ogni caso,
  indipendentemente dal significato che
  assume nel testo… anche se per esempio
  Google dà l’iniziale maiuscola, come per
  «Pignone»
Significato

• 414 parole nell’originale, 368 nella
  trascrizione di Google
• Però, sono conservate tutte le occorrenze di:
  – deragliatore (5)
  – corona (5)
  – Registro (2)

• Sono mantenute 3 occorrenze su 4 di
  «pignone»
,----------------------------------------------------------------.
|                     CarburatoreGoogle.trn                      |
|----------------------------------------------------------------|
| SPKR   | # Snt # Wrd | Corr    Sub    Del    Ins    Err S.Err |
|--------+-------------+-----------------------------------------|
| c      |   38    733 | 88.4    6.0    5.6    0.7   12.3   60.5 |
|================================================================|
| Sum/Avg|   38    733 | 88.4    6.0    5.6    0.7   12.3   60.5 |
|================================================================|
| Mean | 38.0 733.0 | 88.4       6.0    5.6    0.7   12.3   60.5 |
| S.D. | 0.0       0.0 | 0.0     0.0    0.0    0.0    0.0    0.0 |
| Median | 38.0 733.0 | 88.4     6.0    5.6    0.7   12.3   60.5 |
`----------------------------------------------------------------'

,----------------------------------------------------------------.
|                     DeragliatoreGoogle.trn                     |
|----------------------------------------------------------------|
| SPKR   | # Snt # Wrd | Corr    Sub    Del    Ins    Err S.Err |
|--------+-------------+-----------------------------------------|
| d      |   26    412 | 79.4    8.7   11.9    1.2   21.8   84.6 |
|================================================================|
| Sum/Avg|   26    412 | 79.4    8.7   11.9    1.2   21.8   84.6 |
|================================================================|
| Mean | 26.0 412.0 | 79.4       8.7   11.9    1.2   21.8   84.6 |
| S.D. | 0.0       0.0 | 0.0     0.0    0.0    0.0    0.0    0.0 |
| Median | 26.0 412.0 | 79.4     8.7   11.9    1.2   21.8   84.6 |
`----------------------------------------------------------------'
Puoi anche leggere