Massimo Bernava¹, Giulia Crifaci¹, Riccardo Pulvirenti¹, Lucia Billeci¹, Rossella Raso¹, Rosa Angela Fabio², Giovanni Pioggia¹

¹ Istituto di Fisiologia Clinica del CNR di Pisa e Messina,

² Dipartimento di Scienze Cognitive e della Formazione dell’Università di Messina

Il nostro intervento si inserisce nell’ambito dei disturbi della comunicazione. Nasce dall’esigenza che i soggetti con la Sindrome di Rett hanno di comunicare e noi possiamo facilitare questo processo progettando software che, attraverso strumenti tecnologici, permettono la comunicazione in maniera semplice ed immediata. Passando in rassegna i lavori presenti in letteratura è possibile notare che esistono vari strumenti alternativi di comunicazione quali: CAA – Comunicazione Aumentata ed Alternativa, immagini o lettere, tavole con parole e/o concetti, sistemi controllati con gli occhi o con la testa, strumenti tattili e strumenti vocali. Gli obiettivi specifici sono appunto la comunicazione interattiva, la possibilità di fare scelte, la possibilità di indicare bisogni, connettersi con gli altri e migliorare la qualità della vita.

Gli strumenti esistenti di comunicazione aumentata ed alternativa richiedono una modalità di accesso, fra i metodi più comuni pointing verso qualcosa, tocco o presa di lettere, parole, frasi, simboli. I mezzi utilizzati dipendono ovviamente dalla severità dell’aprassia che limita i movimenti e questi possono essere una mano o un dito, la testa, gli occhi o i piedi.

Ci sono varie modalità attraverso le quali si può selezionare, fra le informazioni richieste, la propria preferenza, quali l’uso di un gesto o di un segnale, l’uso di interruttori oppure metodi di comunicazione alternativa con il computer, track ball, foot mouse, head tracking and eye tracking.

Il nostro lavoro è focalizzato su una specifica modalità di scelta: il pointing oculare e la tecnologia dell’eye tracking. Il pointing oculare si riferisce alla via di comunicazione tramite la quale le persone guardano ad un particolare oggetto o simbolo per indicare una scelta. La tecnica dell’eye tracking è il processo di misura del punto di mira visiva (dove si sta guardando) o il movimento di un occhio relativamente alla testa.

Esistono 2 categorie di sistemi che permettono alle bambine con la Sindrome di Rett di esprimere le loro preferenze attraverso il pointing oculare: a basso livello tecnologico, usati quando questa è l’unica via di ingresso alla comunicazione intenzionale (Etran, giochi per la discriminazione degli oggetti, ecc.) e ad alto livello tecnologico, che vengono usati quando altri metodi diretti di selezione non funzionano oppure quando una severa aprassia limita i movimenti.

Nelle modalità di comunicazione bisogna scegliere l’attività da compiere, come giocare, leggere storie, condividere foto, messaggi, email, fare chiamate e come attuare una scelta, ad esempio cosa dire, con chi parlare e quando fare le cose. è importante inoltre la modalità come sentire musica, guardare video, controllare oggetti in base alle preferenze specifiche.

Il lavoro presentato prende in considerazione sistemi ad alto livello tecnologico per il controllo e la scelta.

Piano della ricerca:

Da queste considerazioni nasce l’idea di realizzare un sistema di comunicazione semplice da usare ed economico. La scelta di utilizzare un iPad consente di ridurre i costi ma, soprattutto, di utilizzare uno strumento fruibile facilmente da tutta la famiglia non vincolato ad un hardware specifico. La bambina affetta da Sindrome di Rett comunicherà con lo stesso strumento su cui potrà giocare con il fratello o vedere un film con i genitori, quindi non solo una scelta “tecnologica” ma una scelta “familiare”. Inoltre un dispositivo come l’iPad può essere facilmente trasportato ed utilizzato al parco così come a casa dei nonni.

Per dare corpo a queste idee abbiamo realizzato un’applicazione per iPad dotata di un sistema di puntamento oculare basato sulla telecamera interna ed a questo abbiamo collegato un sistema per realizzare tramite script delle storyboard personalizzabili per la comunicazione. Ovviamente la stessa interazione è realizzabile, dove possibile, utilizzando il touchscreen dell’iPad.

L’applicazione in questione funziona anche in assenza di collegamento ad internet ma è nella connessione con i server del CNR che questa esprime tutta la sua potenzialità. La connessione, infatti, porta il vantaggio di avere un profilo utente aggiornabile via web. Questo profilo individualizzato, permette, ad esempio, di tenere traccia delle abitudini della bambina e calibrare l’interfaccia in modo che sia realmente personalizzata. Permette ad un genitore di modificare la storyboard utilizzando immagini e suoni familiari alla bambina.

Per quanto riguarda la parte relativa al puntamento oculare, l’applicazione procede per gradi:

1) rileva le coordinate del viso 2) e da queste la posizione degli occhi e del naso, 3) utilizzando l’analisi dei gradienti determina la posizione della pupilla 4) combinando tutte queste informazioni estrae la zona dello schermo dove la bambina guarda.

I punti 1 e 2 in letteratura (Viola, P., & Jones, M. (2001)) vengono realizzati addestrando opportuni algoritmi a riconoscere volti generici. Nel nostro caso questa operazione può essere personalizzata rendendo il riconoscimento del volto della bambina estremamente accurato. Per fare ciò è necessario disporre di una potenza di calcolo che non può essere quella dell’iPad, per questo risulta ancora una volta necessario il collegamento con i server.

Per la storyboard non è possibile ipotizzare che una sola storia, con le stesse immagini, gli stessi suoni e gli stessi percorsi siano compatibili con le esigenze di tutte le bambine Rett. Per questo abbiamo realizzato un sistema di script che permette anche ai non esperti di modificare il comunicatore in modo da permettere ad ogni genitore di poter contribuire con la propria esperienza a rendere il sistema il più possibile vicino alle reali esigenze della bambina.

Al fine di poter personalizzare l’intervento e creare una correlazione con il profilo della bambina è utilissimo acquisire ed in seguito analizzare alcuni segnali fisiologici quali il diametro della pupilla, il segnale elettrocardiografico e l’aritmia sinusale respiratoria.

Attraverso tali applicazioni è possibile monitorare ed acquisire segnali fisiologici che poi vengono analizzati a posteriori, con opportuni software, estratte le features significative e creati dei modelli fisiologici attraverso sistemi intelligenti di signal processing.

La dilatazione della pupilla è legata alla presenza di un carico emotivo nell’immagine e viene calcolato il suo diametro relativo allo schermo nero (Dn). Attraverso un’accurata analisi del segnale elettrocardiografico (ECG) siamo in grado di valutare l’attività del sistema simpato-vagale, indice del grado di coinvolgimento verso il compito svolto, nel nostro caso la scelta di una preferenza.

Infine, l’Aritmia Sinusale Respiratoria (RSA) rappresenta una variazione naturale della frequenza cardiaca che si verifica durante un ciclo respiratorio. La frequenza cardiaca aumenta durante l’inspirazione e diminuisce durante l’espirazione. Un pattern tipico è caratterizzato da un’RSA a riposo alta che diminuisce durante uno stimolo forte ed implica la presenza di elevate performance cognitive. L’RSA potrebbe essere un possibile parametro fisiologico relativo al funzionamento sociale.

Bibliografia:

1. Antonietti A., Castelli I.,Fabio R.A., MarchettiViola, P., & Jones, M. (2001). Rapid object detection using a boosted cascade of simple features. In Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on (Vol. 1, pp. I-511). IEEE
2. Timm, F., & Barth, E. (2011, March). Accurate Eye Centre Localisation by Means of Gradients. In VISAPP (pp. 125-130).