Bambini e robot: come gli uni ci insegnano a comprendere gli altri - Alessandra Sciutti
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
Bambini e robot:
come gli uni ci insegnano a
comprendere gli altri
Robotics, Brain and Cognitive Sciences Dept.
Alessandra Sciutti Istituto Italiano di Tecnologia (IIT)
Robot
Robot © iRobot © Amazon
Photographer: Lis Bokt
“Robot and Frank” ©Park Pictures, White Hat Entertainment, Dog Run Pictures Robot?
Robots: da STRUMENTI a COLLABORATORI
Macchine senza manuale di
istruzioni G. Sandini
Il nostro modello Gli esseri umani sin da molto piccoli sono molto bravi ad anticipare e comprendere gli altri
Sviluppo delle capacità interattive
NEONATI
PRIMA INFANZIA
(fino a un anno)
SVILUPPO
SUCCESSIVO
(Table by A. Sciutti in D. Vernon “Artificial Cognitive Systems – a primer”, MIT Press)
E’ necessario studiare
l’interazione da due diverse
prospettive…
Studiare l’uomo Costruire Umanoidi
(e come interagisce) (come modelli e stimoli)
Esplorare l’interazione
Un approccio multidisciplinare
NEUROSCIENCE
MULTISENSORY
PERCEPTION
DEVELOPMENT
HUMANOID ROBOTICS
ACTION AND
PERCEPTION
MOTOR SYSTEM MIRROR
NEURONSStudio dell’uomo
Custom built devices
Gori et al. 2011; Tomassini et al. 2011; Gori et al 2012Motor Learning,
Assistive and
Rehabilitation
Robotics (P.
Morasso, J,
Zenzeri), RBCS
configurazione uni-manuale, bimanuale e diadicaCredits: RBCS, iCub Unit
iCub and friends… Il robot umanoide più utilizzato al mondo per studiare l’intelligenza e la cognizione
Il nostro approccio
Un robot
umanoide per
studiare le basi
dell’interazione
socialePERCHÉ UN ROBOT?
Approcci
Osservazione
tradizionali
Video
Naturale Realtà virtuale
Controllabile
AdattivoSolo un robot è: Un agente che interagisce in modo controllabile… … che si muove nel nostro stesso ambiente …. … e può reagire e adattarsi alle nostre azioni.
PERCHE’ PROPRIO UMANOIDE?
La forma e il
movimento umani
sono speciali ai
nostri occhi
Il moto biologico e’ caratterizzato da
proprieta’ particolari
(Atkenson & Hollerbach Neuroscience 1985)Le stesse proprietà motorie che influenzano come ci muoviamo, influenzano come percepiamo le azioni altrui.
Lo stesso hardware
Per comprendere e prevedere le
azioni eseguite dagli altri, usiamo
la stessa parte del cervello (le
rappresentazioni) che sono
coinvolte nella nostra esecuzione
di quelle azioni
(Rizzolatti et al. 1996 Cogn Brain Res) (Demiris 2007 Cognitive Processing)USARE UN UMANOIDE PER
STUDIARE L’UOMO
• Abbastanza semplice da
essere controllabile e
consentire la generazione di
movimenti human-like in
modo riproducibile
• Abbastanza umanoide da
evocare nel partner umano gli
stessi meccanismi di
risonanza motoria alla base
dell’interazione uomo-uomo.
L. TavernaiCub un robot per capire l’uomo
Il ruolo della FORMA
HUMAN ROBOT
Copia Esatta
[g]
Sciutti, Patanè,Nori & Sandini , IEEE Transactions on Autonomous Mental Development 2014Il ruolo del MOVIMENTO
HUMAN ROBOT
Approssimato
[g]
Sciutti, Patanè,Nori & Sandini , IEEE Transactions on Autonomous Mental Development 2014Interazione
HUMAN
messaggi
Comunicazione
azioni
Collaborazione
HUMAN
ROBOT
Goal e
Intenzioni
comuni
PREDIZIONE socialeLe nostre azioni sono una forma di comunicazione
Linguaggio Comunicazione
Movimento
della testa
(e.g., Movimento
Modo di
annuire) delle mani
parlare (e.g.
(e.g.,
prosodia)
salutare)
Movimento
degli occhi
Linguaggio
(e.g.,
occhiolino)
Direzione
Suoni (e.g.,
risata) Comunicazione dello
sguardo
Contatto Espressioni
(e.g., stretta facciali (e.g.,
di mano) broncio)
Aspetto Postura
Vicinanza
http://www.blaescommunications.com/2012/12/actions-often-do-speak-louder-than-words/Comunicazione esplicita…
… e implicita
Un robot che comunica
“a due vie”
iCub capisce le
azioni umane iCub invia
Segnali di coordinazione
iCub interpreta le
intenzioniUN ROBOT CHE INVIA SEGNALI COMUNICATIVI
Comunicare il goal con lo sguardo
“Che oggetto vuole prendere iCub?”
Sguardo sul target
40% 70%
Quando possono vedere solo
Sguardo altrove parte dell’azione, gli osservatori
si basano sullo sguardo
Muratore Bachelor Thesis 2016 with M.Casadio; Rea et al. ICDL 2016Comunicare il goal con il
movimento
Attore Robot 0.8
Anticipazione
Attore Umano 0.4
Robot
0.0
0.0 0.4 0.8
Human
La predizione del goal e’ analoga durante l’osservazione di un uomo o di un robot.
I partecipanti guardano in anticipo il goal dell’azione anche quando l’attore e; un robo, indicando che la
risonanza motoria e’ attiva anche durante l’osservazione di un attore robotico.
Sciutti et al. Interaction Studies, 2013Comunicare il ritmo con il
movimento
Subject’s Velocity (m/s)
Robot
Human
© Laura Taverna
Stimulus Velocity (m/s)
Un robot può regolare in modo implicito la
velocità dell’interazione, se il suo
movimento è progettato in modo
appropriato.
Bisio et al. PLOS ONE 2014L’importanza del
moto biologico
Biologico
Non biologico (costante)
Velocità soggetti (m/s)
Velocità attore (m/s)
L’imitazione automatica si attiva solo se il robot si muove secondo un profilo di
velocità biologico.
Bisio et al. PLOS ONE 2014Le regolarità spazio-temporali
sono importanti
Natural Artificial
Participants’ Vmean (m/s)
iCub Vmean (m/s)
La traiettoria del movimento (la forma) non ha un effetto significativo
Bisio et al. PLOS ONE 2014Comunicare l’effort
Bambini Adulti 100% corretto
6YO, N=14 32YO, N=21
400 8YO, N=19
10YO, N=22
Peso Stimato (g)
300
200
100
100 200 300 400 100 200 300 400
Peso reale (g) Sciutti et al. In preparationUn robot SICURO
Fare in modo che sia possibile leggere le proprietà degli
oggetti manipolati dalle sole azioni senza informazioni
verbali, come il loro peso.
[g]
Riconoscimento Peso
Attore:
% Corretto ROBOT
UOMO
VELOCITA’ in FUNZIONE DEL PESO Sciutti et al. HRI 2014; ICDL 2014..che consenta una predizione
La stima corretta del peso
dell’oggetto permette di prepararsi
a manipolarlo in anticipo, in modo
sicuro ed efficace.
Sciutti et al. TAMD 2014Un robot SICURO
Fare in modo che sia possibile leggere le proprietà degli oggetti
manipolati dalle sole azioni senza informazioni verbali, come il loro peso.
il perfetto cameriere
Sciutti et al, IEEE TAMD 2014
Palinko et al. Humanoids 2014Una comprensione
in via di sviluppo
0,9 ATTORE ROBOT
ATTORE UOMO
* *
0,6
Prop. Corretto
Quanto pesa la
bottiglia sollevata
dall’attore?
0,3
0,0
6YO 8YO 10YO 32YO
Sciutti et al. HRI 2014; ICDL 2014Un’azione può rivelare di più
Vuoi davvero passarmi una mela…
.. O stai cercando di dirmi qualcos’altro?
Di Cesare et al. PNAS 2015Un’azione può rivelare di più
La parte dorsocentrale dell’insula codifica lo STILE dell’azione
Di Cesare et al. PNAS 2015Come permettere a un
robot di rivelare lo stile?
Baruzzi & Lastrico Bachelor Thesis 2017
with M.Casadio Collaboration with Di Cesare, Rizzolatti, U. ParmaIL ROBOT CHE
INTERPRETA I
SEGNALI
COMUNICATIVII neonati
riconoscono il
moto biologico
(Simion et al., 2008)
Una prima inclinazione per
l’interazione sociale, mediata
dalla percezione visiva.Legge dei due terzi
e.g. scrittura
Per il moto biologico, e’ molto simile a 1/3“Vedere” il moto biologico…
Apprendendo da esempi
Dataset for training
(320x240 pixels, ~15fps, iCub camera, bio and nonbio samples)
Vignolo et al ICDL 2016
Vignolo et al HUMANOIDS 2016Il robot riconosce il moto biologico
Sollevare Gesticolare
Biological
Uncertain
Non
biological
Pendolo Macchinina…anche in situazioni “difficili”
Occlusioni Pelle non visibile
Biological
Uncertain
Non
biological
Strumenti OmbreResearch highlight Robot can single out humans
https://www.nature.com/articles/d41586-017-00807-3Il robot “vede” l’uomo
… anche
quando non
c'è nessuna
forma umana
visibile
Vignolo et al HUMANOIDS 2016
Vignolo et al. Froniters in Robotics and AI 2017Un robot che capisce dove
sto guardando
Precisione:
Orizzontale: 5 gradi
Verticale: 9 gradi
30
20
estimated angles [degrees]
10
0
-10
horizontal
-20
vertical
-30 Series3
ideal
-40
-30 -20 -10 0 10 20 30
nominal angles [degrees] Palinko et al. Humanoids 2015
Palinko et al., IROS 2016Il robot capisce
quando
intervenire
Sciutti et al., HRI 2015
Palinko et al . RO-MAN 2015Il robot capisce cosa voglio..
..dalla sola lettura
del mio sguardo
Palinko et al., IROS 2016, Palinko et al. Humanoids 2015Da interfaccia a interazione
Creare un rapporto di fiducia
con il robot
Il robot offre il suo
aiuto in una caccia al
tesoro
Aroyo et al. HRI 2017,Creare un rapporto di fiducia
con il robot Il numero di richieste di
# aiuti richiesti aiuto cresce nel tempo
Trust toward the robot Mind attribution 100% di coloro a
cui il robot ha
PRE suggerito di
POST
scommettere, lo
hanno fatto (62%
esplicitamente per
il suggerimento di
iCub)
Aroyo et al. HRI 2017,Un robot che impara cosa mi
piace
Tanevska et al. AISB Convention 2017; HRI 2018 LBRConoscenza di noi stessi
Un sesto senso per l’interazione
Inviare e leggere i segnali «giusti» è importante
Sciutti et al. Frontiers 2015 Sciutti et al. Interaction Studies, 2013
Sciutti & Sandini IEEE TNSRE 2017 Bisio et al. PLOS ONE 2014
Vignolo et al. Frontiers 2017 Sciutti et al. TAMD 2014
Sciutti et al. SIIT 2018 Palinko et al. Humanoids 2014Conoscenza di
noi stessi
Sistemi
IntelligentiImplicazioni per la società
Individuare quali siano le minime caratteristiche necessarie per
generalizzare la comunicazione intuitiva agli ambiti del collaborative
manufacturing e alla robotica assistiva.Le tecnologie di iCub
Intelligence
Vision Sensors
Motors/Gears
In collaboration with
our industrial partner
Electronics
Force Torque Sensors
Tactile SensorsConoscenza di
noi stessi
Sistemi
Intelligenti
Sistemi per la
RiabilitazioneSmall or medium scale focused research project (STREP)
Objective ICT-2013.5.3 ,ICT for smart and personalised inclusion
EC contribution: 1,849,995 €
Coordinator: Monica Gori, IIT
Duration in months: 36 (01/02/2014 – 31/01/2017)
(15 x 10 x 5 mm) (40 gr)
www.abbiproject.eu Un braccialetto sonoro
per riabilitare le abilità
spaziali e sociali di
bambini con deficit
visivi.
Unit for Visually Impaired People
Principal Investigator (M. Gori)
Dynamic Touch and Interaction
Lab (G. Baud-Body), RBCS.
Italian Patent Application IT TO2014A000323 (IIT 2013-159)The TActile Mouse project
Dispositivo che consente a persone con impairment visivi di
sviluppare mappe mentali attraverso informazioni tattili
blind
sighted
Spatial Awareness and Multisensory Perception lab,
RBCS
L. Brayda, C. Campus, M. Memeo, L. Lucagrossi , IEEE Transaction on Haptics,The BLINDPAD project
Coordinator: Luca Brayda
Fornire alle persone
non vedenti accesso
a contenuti grafici
mediante un display
tattileGlassense
(The Audio Lens)
Dispositivo indossabile che consente a persone con problemi di
udito di migliorare la percezione del parlato in ambienti affollati
Brayda L. et al. . Spatially selective binaural hearing aids. BodySenseUX, First Workshop on
Full-Body and Multisensory Experience within ACM UBICOMP 2015
Giuliani et al. Compensating cocktail party noise with binaural spatial segregation on a
novel device targeting partial hearing loss, international conference of Computers Helping
People with Special Needs (ICCHP 2016), Linz, Austria 2016Motor Learning, Assistive and
Rehabilitation Robotics (P. Morasso, J,
Zenzeri), RBCS
• Riabilitazione neurologica (es. post-ictus, distonia, sclerosi multipla)
• Riabilitazione ortopedica (es. traumi sul lavoro)E per la robotica per l’interazione?
Possibili futuri per la robotica e l’AI
Possibili futuri
per la robotica e l’AI
Prof. Minoru Asada, Osaka UniversityINVIARE segnali impliciti LEGGERE Segnali impliciti
Macchine senza manuale di istruzioni
©G. SandiniContatto: alessandra.sciutti@iit.it
Grazie!
Laura Patanè
Jonas Gonzales
Oskar Palinko
The lab: Alessandra Sciutti, Francesco Rea, Alexander Aroyo, Alessia Vignolo, Francesco
Ferrari (visiting), Fabio Vannucci, Ana Tanevska & iCub Department Director: Giulio SandiniPuoi anche leggere
