Realtà Virtuale e Realtà Aumentata: impatto e ruolo in medicina - Festival della scienza medica Bologna 10 maggio 2019 Gianpaolo Carrafiello

Festival della scienza medica
        Bologna 10 maggio 2019

Realtà Virtuale e Realtà Aumentata:
   impatto e ruolo in medicina
         Gianpaolo Carrafiello
          E.M. Garanzini, S. Silipigni

Un po’ di storia..

• 1957 – Sensorama (prima macchina per realtà virtuale)
• 1968 – The Sword of Damocles (primo Head Mounted Display)
• 1970-80 – Super Cockpit (primi simulatori di volo)
• 1978- The Aspen Movie Map (prima mappa interattiva)
• 1991 – Sega VR (primo HDM moderno, non commercializzato)
• 2010 – Enter Oculus (primo HDM sviluppato per il commercio)

Sensorama   Primo HDM

Super Cockpit                   Aspen Movie Map

   Thomas Furness, Visually     Lippman, Andrew, Movie-maps: An application of
   Coupled                      the optical videodisc to computer graphics 1980,
                                pp. 32–42
   Airborne Systems Simulator

Sega VR                                    Oggi

                                      -Oculus Rift©(Facebook)
                                      -HoloLens©(Microsoft)
                       20 anni dopo   -Cardboard©(Google)
                                      -Daydream©(Google)

                                      -Playstation VR©(Sony)
                                      -Samsung Gear©(Samsung)
                                      -Alloy©(Intel)

Sega Games Co., Ltd.

Lo spettro delle realtà

 • Virtual Reality (VR)

 • Merged Reality (MeR)

 • Mixed Reality (MiR)

 • Augmented Reality (AR)

 • Physical Reality (PR)

Realtà Virtuale (VR)
• Immersione in un ambiente virtuale
• Utilizzo di visori, guanti e auricolari per
  interagire con l’ambiente
• Possibilità di interagire con oggetti virtuali
• Lo spazio virtuale può essere disegnato al
  computer oppure ripreso da specifiche
  telecamere 360°e poi renderizzato
• Sistemi ibridi di creazione dello spazio virtuale

Esempi VR

Le spettro delle realtà

 • Virtual Reality (VR)
 • Merged Reality (MeR)
 • Mixed Reality (MiR)
 • Augmented Reality (AR)
 • Physical Reality (PR)

Merged Reality (MeR)
• Totale immersione in un ambiente virtuale
  tramite un visore
• Ambiente potenzialmente infinito e non pre-
  renderizzato
• Interazione con l’ambiente con le proprie mani
• Presenza di oggetti reali e virtuali con cui
  interagire
• Presenza di altri utenti all’interno
  dell’ambiente virtuale con cui interagire

Merged Reality (MeR)

Le spettro delle realtà

 • Virtual Reality (VR)

 • Merged Reality (MeR)

 • Mixed Reality (MiR)

 • Augmented Reality (AR)

 • Physical Reality (PR)

Mixed Reality (MiR)
• Ologrammi 3D proiettati nel mondo reale e visibili mediante
  specifici occhiali
• L’utente si muove ed agisce nel mondo reale
• Possibilità di interagire e manipolare gli oggetti virtuali

Mixed Reality (MiR)

Le spettro delle realtà

 • Virtual Reality (VR)
 • Merged Reality (MeR)
 • Mixed Reality (MiR)
 • Augmented Reality (AR)
 • Physical Reality (PR)

Realtà Aumentata (AR)
• Utilizzo di specifiche applicazioni su dispositivi portatili
  (tablet, cellulari etc)
• Informazioni o oggetti virtuali arricchiscono le schermate

Realtà Aumentata (AR)

Comparazione fra le diverse realtà

             - I diversi strati di realtà sono un continuum
    - In futuro si potrà passare fra la varie realtà in modo fluido

                                    Silva et al. JACC: BASIC TO TRANSLATIONA L SCIENCE VOL. 3, JUNE 2018:420 – 3 0

Interagire con ambienti/oggetti virtuali
•   Tracking e             •   manipolazione ologrammi con tag su oggetti fisici
    sincronizzazione
    movimento testa,
    corpo, mani

             Tuta aptica

               Joystick

                           •   Feedback tattile
                               dell’ambiente virtuale                Guanti
              Visori con                                             aptici
              auricolari

Applicazioni della VR

Militare

Gaming

Didattica

Medicina

Didattica
L’immersione in un mondo pedagogico virtuale è associata ad:
- attiva partecipazione dello studente
- incremento della capacità di apprendimento.

                                         Dalgarno B, Lee MJW. Br J Educ Technol 2010;41(1):10–32.

Didattica
• Didattica per studenti di medicina
• Didattica in radiologia (diagnostica ed
  interventistica)
• Training per specializzandi e fellow
• Planning e simulazione per operatori

Didattica
Lezioni interattive con viewers stereoscopici collegati agli smartphone
personali:

Presentazione procedura con quiz interattivi durante lezione

                              QR code scan

Immersione in sala angiografica completamente visitabile
direttamente dallo smartphone

                Partecipazione in VR alla procedura

Didattica

Didattica

Didattica in radiologia

• Incremento della motivazione
  nell’apprendimento
• Incremento dell’interattività
• Conoscenza più approfondita dei
  materiali
• AR: Concettualizzare anatomie
  complesse (neuroanatomia,
  orecchio interno) trasformando
  immagini DICOM in modelli 3D

 Di serio et al. Comput educ -2013- 68;586-596

Didattica in radiologia
• VR: Simulare situazioni complesse (reazioni avverse a MdC,
  sindrome vagale, RCP) con telecamere 3D

Training per specializzandi e fellow
Necessità di migliorare:                    • Costi elevati dei materiali
• decisione intra-procedurale               • Impossibilità di utilizzare i
• manualità con equipaggiament                materiali a scopo didattico
Tecnologia AR (software Qlone):             Tecnologia VR (Touch Surgery):
• 3D scanning dei materiali per simulazioni • Virtual overview step by step delle
• Stampa 3D dei materiali                      procedure interventistiche

Training per specializzandi e fellow

Applicazioni nella pratica clinica

Simulazione

 SIMULATIONS

Planning e simulazione per operatori
Simulazione riduce in maniera statisticamente significativa:

• dose di MDC
• durata della procedura

          Aggarwal et al. - Eur J Vasc Endovasc Surg 31, 588–593 (2006)

Planning e simulazione per operatori
Facilitare planning: Upload
immagini DICOM per
ottenere immagini AR in 3D

Addestramento
preoperatorio su
simulatori angiografici

Virtual e Augmented reality in radiologia interventistica:
            Frontiere in continua espansione

      • Tutoraggio
        Tutoraggio     a distanza
                   a distanza
      • Fusion imaging
      • Virtual angioscopy
      • Supporto al Paziente

Ospedale S.Paolo –             European Campus in Interventional
MILANO                         Radiology - PISA
I operatore
-Consultare oggetti
virtuali presenti in sala
(TC- cartella clinica)
-Ologrammi manipolabili
sul campo operatorio

Consulente a distanza
-Possibilità di disegnare su
oggetti fisici in sala
annotazioni o marker
olografici (cute del paz,
monitor)

Virtual e Augmented reality in radiologia interventistica:
            Frontiere in continua espansione

         • Tutoraggio a distanza
         • Fusion
           Fusion imaging
                    imaging
         • Virtual angioscopy
         • Supporto al Paziente

Fusion imaging

• Procedure oncologiche   • Procedure vascolari
-Biopsie                  -Embolizzazione prostatica
-Ablazioni                -Procedure vascolari

Biopsie polmonari
Fusion: CBCT/PET
-Identificazione aree più attive
-Prelievi più significativi
-Assistenza alla puntura
(Xperguide)

                        Carrafiello et al.; CVIR – Articolo sotto revisione

Biopsie polmonari
         Navigazione endobronchiale con CBCT
   Pre- or intra-                              Real-time 3D
procedural planning                       fluoroscopic guidance

Procedure ablative polmonari

Procedure ablative epatiche

Procedure ablative renali

Fusion imaging

• Procedure oncologiche   • Procedure vascolari
-Biopsie                  -Embolizzazione prostatica
-Ablazioni                -Procedure vascolari

Embolizzazione prostatica

Vantaggi ConeBeam CT:
--- dose di contrasto
--- tempi di intervento
--- radiazioni al paziente
--- complicanze
+++precisione
+++ risultato

J Vasc Interv Radiol. 2015 Mar;26(3):413-7.

Embolizzazione prostatica
CBCT intraoperatoria:
• creazione 3D roadmap
• indentificazione dell’arteria bersaglio

Embolizzazione prostatica

Procedure vascolari

Procedure vascolari

Virtual e Augmented reality in radiologia interventistica:
            Frontiere in continua espansione

         • Tutoraggio a distanza
         • Fusion imaging
         • Virtual    angioscopy
           Virtual reality
         • Supporto al Paziente

Virtual Angioscopy

    Conversione di immagini radiologiche (DICOM) in ricostruzioni 3D
                       MIP             3D     3D
                                       VR     VR

                               3D VE

Navigazione endovascolare (aortoscopia virtuale)

Virtual Angioscopy

Virtual Angioscopy

Virtual e Augmented reality in radiologia interventistica:
            Frontiere in continua espansione

         • Tutoraggio a distanza
         • Fusion imaging
         • Virtual angioscopy
         • Supporto    al paziente
           Supporto al paziente

Supporto al paziente
Visori VR per “distrarre” il paziente dal dolore o dalla procedura
Visori AR per illustrare esami diagnostici(RM) e procedure interventistiche
Ridurre il dosaggio dei farmaci analgesici
Ridurre dosaggio di ansiolitici

Limitazioni
• Limitazioni ergonomiche per uso prolungato del
  visore per VR (nausea, torcicollo, vertigini)
• Costi elevati dei devices (oggi ridotti grazie
  all’impiego di devices per smartphone)
• Disponibilità ancora limitata di contenuti didattici
  fruibili online (creazione contenuti e acquisto)
• VR e AR sono tecnologie promettenti e dalle grandi
  potenzialità in ambito medico ma ancora agli albori.

Conclusioni

Io non conosco il futuro, non
sono venuto qui a dirvi come
andrà a finire, sono venuto a
   dirvi come comincerà.