HoloLens entra anche nelle sale operatorie italiane

 In Hololens

In seguito all’adozione in diversi istituti sanitari del mondo, il visore per la Realtà Mista di Microsoft è stato scelto anche dalla Fondazione SIRM come strumento per aiutare il personale medico nella diagnostica e nelle attività delle sale operatorie italiane.

Microsoft e Fondazione SIRM – Società Italiana di radiologia medica e interventistica – in occasione del 48° congresso nazionale hanno annunciato un nuovo progetto pilota in collaborazione con PWC, Teorema Engineering e FifthIngenium volto ad accelerare la trasformazione digitale nel sistema sanitario italiano facendo leva su HoloLens, il dispositivo per la realtà mista di Microsoft.
Il team multidisciplinare di sviluppatori ha messo a punto una soluzione in grado di trasformare le immagini risultanti dalle TAC in un modello 3D fruibile tramite la realtà mista di HoloLens e piattaforme mobile, con l’obiettivo di aiutare il personale medico nelle attività di sala operatoria attraverso una visualizzazione più esaustiva ed efficace delle immagini e, in ambito diagnostico-terapeutico, consentire una più intuitiva e completa valutazione del quadro clinico con una più precisa pianificazione delle procedure interventistiche da adottare.

La Fondazione SIRM, Società Italiana di Radiologia Medica e Interventistica, ha commissionato a Microsoft, PwC, Teorema e FifthIngenium la realizzazione di un ambizioso progetto per trasformare i file DICOM risultanti dalle TAC in un modello 3D fruibile tramite HoloLens e piattaforme mobile.

sirm-ok

ESIGENZE

La Fondazione SIRM con questo progetto intende testare le potenzialità d’uso di HoloLens nella Radiologia Interventistica come “acceleratore” dei processi di trasformazione digitale, sia in ambito formativo che nell’ambito dell’operatività clinica/chirurgica. Le esigenze erano quindi duplici:

  • Trasformare le immagini in 3D e renderle fruibili in ambito formativo con simulazione di procedure interventistiche di base e complesse, sfruttando le caratteristiche della Mixed Reality;
  • Rendere le immagini radiologiche utilizzabili in modo semplice nella attività della sala operatoria e, in ambito diagnostico-terapeutico, consentire una più intuitiva e completa valutazione del quadro clinico con una più precisa pianificazione delle procedure interventistiche da adottare.

SOLUZIONE

La soluzione proposta dal Team di Progetto è basata su un approccio per fasi così strutturato:

Fase 1: Sviluppo di una prima versione che consenta – a partire dalle immagini DICOM – la ricostruzione dell’ologramma in 3D dell’aorta utilizzabile in sala operatoria e su device multiconnessi. L’applicazione HoloLens rende possibile una esperienza condivisa tra più utenti in cui il modello 3D può essere manipolato, con l’utilizzo delle mani e attraverso comandi vocali, e visualizzato nella sua interezza e/o tramite diversi piani di taglio. Lo sviluppo prevede inoltre l’implementazione di una infrastruttura Cloud basata su Microsoft Azure per la conversione dei file, il caricamento di informazioni sanitarie addizionali e la modellizzazione delle immagini 3D su piattaforma mobile.

Fase 2: Estensione per la ricostruzione dell’intero corpo umano (comprensivo di organi e vasi) ed integrazione della Mixed Reality con diversi scenari evolutivi (strumenti di force feedback integrati con fantocci per simulazione chirurgica, conversational bot, tecniche di machine learning applicate ai dati …)

BENEFICI

La soluzione implementata dal Team di progetto garantisce i seguenti benefici:

  • L’utilizzo di dati reali provenienti da immagini DICOM offre in fase di training una casistica molto più ampia rispetto agli approcci tradizionali.
  • La fruibilità via web e su piattaforma mobile rende le informazioni condivisibili anche da remoto e abilita scenari di collaborazione e condivisione di competenze ed esperienze ovunque l’esperto si trovi.
  • La condivisone di ologrammi 3D su Mixed Reality migliora l’efficacia e riduce i tempi di formazione degli specializzandi, offrendo una prospettiva completamente nuova e una esperienza condivisa unica.

La costante disponibilità per il radiologo interventista dei dati del paziente in 3D e in tempo reale aiuta a ridurre il rischio clinico e migliora gli esiti della cura.

Giulia Piccoli Trapletti