GAMIFICATION E CICLO DEL FEEDBACK IN SISTEMI TELERIABILITATIVI - DOMOMEA - ANDREA ZEDDA
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
DoMoMEA
Tele-riabilitazione Domiciliare neuroMotoria
a favore dei soggetti con esiti di ictus cerebrale
a disabilità Moderata mediante dispositivi Elettronici Avanzati
Gamification e ciclo del feedback in
sistemi teleriabilitativi
Andrea Zedda
Gamification
Midterm meeting 25/10/2019
I territori esplorati
Andrea Zedda
Gamification
▪ L’interazione con il mondo virtuale deve avvenire in real-time
▪ Real-time significa entro i 100ms
▪ Siamo abituati a pensare che i game (Super Mario, Donkey Kong, GTA
etc.) abbiano delle indicazioni numeriche delle performance (vite,
quantitativo di vita, scudi, punteggi etc.) qualitative di un qualcosa
▪ Il game è pensato per intrattenere e incentivare l’interazione perché
un game che non viene giocato non ha senso di esistere
Midterm meeting 25/10/2019
Yang, Xiaoli, Xiang Wu, Zhenpeng Zhao, and Yingjie Li. ‘Hand Tele-Rehabilitation in Haptic Virtual Environment’.
Andrea Zedda
Gamification nella riabilitazione
▪ Il player è un paziente
▪ Nel nostro caso ha avuto ictus e quindi potrebbe essere affetto da
limitazioni:
• Cognitive:
Ha difficoltà a interpretare le istruzioni che gli vengono date
Non riesce a esprimersi normalmente
• Sensoriali:
Non ha un campo visivo normalmente esteso
Ha perso sensibilità tattile
• Neuromotorie:
Midterm meeting 25/10/2019
Ha limiti in estensione, flessione, abduzione etc.
Ha rigidità, spasticità, tremore etc.
Andrea Zedda
Cosa ha fatto la scienza: tipologia 1
▪ Il paziente interagisce con un
game già esistente ma
riadattato
▪ La valutazione della
performance non ha una
corrispondenza clinica
significativa
▪ Il paziente rischia di non avere
chiaro se sta sbagliando le
esecuzioni
Midterm meeting 25/10/2019
▪ I game di questo tipo erano
pensati per applicazioni ludiche
sui sani
Khademi, Maryam, Hossein Mousavi Hondori, Alison McKenzie, Lucy Dodakian, Cristina Videira Lopes, and
Steven C. Cramer. ‘Free-Hand Interaction with Leap Motion Controller for Stroke Rehabilitation’..
Andrea Zedda
Cosa ha fatto la scienza: tipologia 2
▪ Il player viene invitato a
compiere delle task da game
custom
▪ Il paziente riceve una
valutazione in termini di
numero di volte che ha avuto
successo
▪ Il recording dei movimenti non
ha una significatività clinica
perché il movimento non è
rigoroso
▪ Il paziente non capisce se
Midterm meeting 25/10/2019
sbaglia
Burke, James William, Michael McNeill, Darryl Charles, Philip Morrow, Jacqui Crosbie, and Suzanne McDonough. ‘Serious Games
for Upper Limb Rehabilitation Following Stroke’.
Andrea Zedda
Cosa ha fatto la scienza: tipologia 3
▪ Le realtà virtuali immersive possono
provocare nausea ai sani, per questo non è
gentile usarli sui malati
▪ Le valutazioni non hanno riscontri in termini
di significatività clinica dei movimenti
▪ Siamo molto lontani da un game
intrattenitivo…
▪ Il paziente ha ancora meno chiaro se i suoi
movimenti sono corretti
Midterm meeting 25/10/2019
Bur, J.W., M.D.J. McNeill, D.K. Charles, P.J. Morrow, J.H. Crosbie, and S.M. McDonough.
‘Augmented Reality Games for Upper-Limb Stroke Rehabilitation’.
Andrea Zedda
Cosa ha fatto la scienza: tipologia 4
▪ A seconda di come si mette il
paziente risulta difficile
capire la posizione dei
segmenti corporei
▪ Le stime degli angoli
articolari sono inaffidabili
▪ Non è significativo registrare
le sessioni
▪ La significatività clinica è
scarsa
▪ Il punteggio è di difficile
Midterm meeting 25/10/2019
progettazione e comunque
di dubbia utilità
Andrea Zedda
Non mi è chiaro…
▪ Quanto possono, i punteggi, influenzare il player? In che termini?
▪ Ha senso creare un game che conferisce punteggi ripetizione dopo
ripetizione? Che effetto avrebbe?
▪ Se il game fosse un intero protocollo riabilitativo il paziente lo
seguirebbe tutto?
▪ In che modo esattamente il game influisce l’interazione del paziente?
▪ Ha veramente senso usare un game? Ha senso spingersi in quella
direzione? Se sì quale?
Midterm meeting 25/10/2019
Andrea Zedda
Un’ azienda ha fatto una cosa molto
interessante…
▪ Il paziente interagisce con
ambienti virtuali guidati
▪ Il paziente ha degli esercizi
standard implementati
▪ Le performance vengono
registrate e il clinico può
consultarle
▪ Il protocollo da seguire viene
deciso dal clinico e poi rialasciato
SIAMO ARRIVATI AL
Midterm meeting 25/10/2019
MASSIMO?
https://www.corehab.it/it/riablo/
Andrea ZeddaIl feedback
Midterm meeting 25/10/2019
Verso il confine…
Andrea ZeddaSensazione e percezione
La sensazione è l’input che siamo in grado di ottenere dal mondo fisico
esterno grazie all’utilizzo dei nostri recettori.
La percezione invece è il processo (più mentale) attraverso il quale il
nostro cervello seleziona, organizza e interpreta le nostre senzazioni.
Propriocezione
La propriocezione è la capacità di percepire e riconoscere la posizione del
proprio corpo nello spazio e lo stato di contrazione dei propri muscoli,
senza il supporto della vista
Midterm meeting 25/10/2019
Andrea ZeddaSensazione e percezione
Midterm meeting 25/10/2019
Andrea ZeddaFeedback
▪ Generale: processo per cui il risultato dell’azione di un sistema si
riflette sul sistema stesso per correggerne o modificarne il
comportamento.
▪ Psicologia: Effetto retroattivo di un messaggio o di un’azione su chi li
ha promossi.
Distorsione del feedback
▪ Gli inganni sulle aspettative del feedback sono fondamentalmente
quelle che vengono chiamate distorsioni, perturbazioni o alterazioni
del feedback
Midterm meeting 25/10/2019
▪ Con il game ha senso distorcere le percezioni più che le sensazioni. In
conclusione con il game alteriamo le percezioni
Andrea ZeddaEsempi di inganni alla percezione
Midterm meeting 25/10/2019
Andrea ZeddaCosa ha fatto la scienza: tipologia 1
▪ Game in cui si cerca
di insegnare una
nuova percezione
grazie all’aiuto del
feedback
▪ Nella riabilitazione
post-ictus i pazienti
hanno già tanto da
rimparare…
Midterm meeting 25/10/2019
Kurihara, Yosuke, Taku Hachisu, Michi Sato, Shogo Fukushima, and Hiroyuki Kajimoto. ‘Virtual
Alteration of Body Material by Periodic Vibrotactile Feedback’.
Andrea ZeddaCosa ha fatto la scienza: tipologia 2
▪ Non è per scopi riabilitativi
▪ Esempio di perturbazione
percettiva e non sensoriale
▪ Questa è una perturbazione
sulla percezione visiva
Midterm meeting 25/10/2019
Wolpert, DanielM., Zoubin Ghahramani, and MichaelI. Jordan. ‘Perceptual Distortion
Contributes to the Curvature of Human Reaching Movements’.
Andrea ZeddaCosa ha fatto la scienza: tipologia 3
▪ Non è per scopi riabilitativi
▪ Esempio di perturbazione
percettiva e non sensoriale
▪ Vi è in aggiunta una
perturbazione meccanica sul
movimento
▪ Questa è una perturbazione
doppia sia meccanica che
sulla percezione visiva
Midterm meeting 25/10/2019
Crevecoeur, Frédéric, Douglas P. Munoz, and Stephen H. Scott. ‘Dynamic Multisensory Integration:
Somatosensory Speed Trumps Visual Accuracy during Feedback Control’.
Andrea ZeddaNon mi è chiaro…
▪ Si possono usare delle perturbazioni percettive in un progetto
riabilitativo per ictus?
▪ Le perturbazioni percettive hanno senso in questo contesto o sono
addirittura pericolose?
▪ La perturbazione percettiva di un determinato esercizio protocollare ha
effetti di accelerazione di apprendimento oppure di miglioramento
aggiuntivo?
▪ In che modo esattamente il game perturbato influisce sull’interazione
del paziente?
Midterm meeting 25/10/2019
Andrea ZeddaMidterm meeting 25/10/2019
DoMoMEA
Andrea ZeddaIl sistema DoMoMEA
Midterm meeting 25/10/2019
Andrea ZeddaMidterm meeting 25/10/2019
Max 7 Muse
(Clients
BT)
Minix Neo U9-H
(Server
BT)
Il DoMo device
Monitor
Andrea ZeddaFeedback di interazione con la VR
▪ Può essere conferito a livello:
• Percettivo:
Uditivo
Visivo Distorsione
tattile etc.
▪ E influisce anche a livello di:
• Propriocezione:
Posizione nello spazio
Stato di contrazione muscolare
Midterm meeting 25/10/2019
Ungyeon Yang, and G. Jounghyun Kim. ‘Increasing the Effective Egocentric Field of View with Proprioceptive and Tactile Feedback’.
Yuan, Ye, and Anthony Steed. ‘Is the Rubber Hand Illusion Induced by Immersive Virtual Reality?’
Andrea ZeddaDiscrepanza visiva e propriocettiva
Visual feedback &
Proprioception
expectation
Filling the gap
Proprioception
according to the
sensation
visual feedback
Midterm meeting 25/10/2019
Visual e
proprioception
mismatch
Andrea ZeddaAspettative sul feedback di interazione
con la VR
▪ Esse si creano per via:
• Della memoria motoria: Distorsione
Il player si aspetta di attivare certi muscoli per adempiere a task già
appresi per esperienza
• Della memoria propriocettiva:
Il player si aspetta un certo stato di attivazione muscolare quando
esegue certi task proposti dal game
Midterm meeting 25/10/2019
Andrea ZeddaDistorsione memoria motoria
Task required & visual
feedback
Forcing an unexpected Motor memory & task
movement required mismatch for
Midterm meeting 25/10/2019
that visual feedback
Andrea ZeddaFeedback valutativo del game
▪ Come detto il player ha bisogno di avere dei riscontri delle proprie
performance
▪ Il game deve valutare periodicamente il player, possibilmente tramite
indicazioni numeriche
▪ Per un game riabilitativo possiamo pensare a:
• Valori clinici (angoli, tempi, medie di angoli, etc.)
• Valori qualitativamente indicativi dei clinici (punteggi, penalizzazioni etc.)
Gain region
Penalty region
▪ Le valutazioni avvengono anche tramite messaggi, che dicono al
paziente se ha fatto bene o male (feedback non numerici sulla
Midterm meeting 25/10/2019
performance)
▪ Le valutazioni sono tarate sul singolo paziente in base alle decisioni del
clinico
Andrea ZeddaIl ciclo del feeback
Midterm meeting 25/10/2019
Andrea ZeddaFeedback a interfaccia seria
▪ Indicazione numerica
(punteggio) quantitativa e
fedele alla base clinica della
performance (angoli, tempi
etc.)
▪ Indicazione qualitativa visiva
(livello raggiunto) dell’angolo
spazzato
▪ Messaggi motivazionali e
correttivi su eventuali
compensazioni
Midterm meeting 25/10/2019
Andrea ZeddaFeedback tramite exergame
▪ Indicazione numerica
(punteggio) qualitativa e
basata sui dati clinici della
performance (a volte
motivante e altre parzialmente
penalizzante)
▪ Indicazione qualitativa visiva
(livello raggiunto) delle
performance passate
▪ Messaggi motivazionali e
correttivi su eventuali
Midterm meeting 25/10/2019
compensazioni
Andrea ZeddaQuello che ci aspettiamo dai trial
▪ Il telemonitoraggio aumenterà la compliance in tutte e due le tipologie
di game
▪ I pazienti non monitorati e senza game avranno compliance molto
peggiore di quelli non monitorati che hanno il game
▪ Probabilità maggiore di scarsa compliance per pazienti non monitorati
che utilizzano l’interfaccia seria (I pazienti non gradiranno capire
perfettamente le proprie performance)
Midterm meeting 25/10/2019
Andrea ZeddaRisultati aggiuntivi che otterremo
▪ Riusciremo a capire se chi riceve il dispositivo raggiunge, in media,
parametri clinici migliori di chi non lo riceve
▪ Inoltre scopriremo se i miglioramenti mancati/ guadagnati
permangono o sono momentanei (check dopo 3 mesi dalla fine del
protocollo)
▪ Da lì potremo capire se i limiti, clinicamente riscontrati su pazienti
cronici, sono associati a una mancanza di costanza riabilitativa o sono
semplicemente eventi ingestibili
Midterm meeting 25/10/2019
Andrea ZeddaMidterm meeting 25/10/2019 Andrea Zedda
DoMoMEA
Tele-riabilitazione Domiciliare neuroMotoria
a favore dei soggetti con esiti di ictus cerebrale
a disabilità Moderata mediante dispositivi Elettronici Avanzati
Gamification e ciclo del feedback in
sistemi teleriabilitativi
Andrea ZeddaPuoi anche leggere
