Eyemusic, la musica "da vedere" in aiuto ai non vedenti

Musica per gli occhi, EyeMusic, per vedere attraverso le note è l’innovativo slogan-software creato recentemente dai ricercatori della Hebrew University di Gerusalemme, i cui primi risultati sono stati pubblicati sulla rivista specializzata “Restorative Neurology and Neuroscience”: grazie a tale importantissimo “ritrovato” della scienza informatica, è possibile trasformare ciò che si vede in note musicali che guidano nello spazio chi è cieco, per riconoscere oggetti e compiere gesti consapevoli.

Si tratta di un cosiddetto “strumento di sostituzione sensoriale” che consiste in un paio di occhiali speciali a cui sono fissate telecamere (ma c’è pure una piccola telecamera portatile che può essere puntata a mano dove serve) che scansionano l’immagine che si propone di fronte agli occhi di chi lo indossa: lo fanno continuamente, da destra a sinistra, indicando con un segnale sonoro quando ricomincia la scansione del campo visivo.

I pixel-oggetti che andranno a comparire più in alto nella scansione saranno associati ad un tono musicale più alto, quelli in basso a un tono più grave; la posizione del pixel visivo sull’asse orizzontale dell’immagine è segnalata dal tempo che intercorre fra il segnale di inizio della scansione e la nota che lo rappresenta: più l’oggetto è spostato a destra più passa il tempo fra la “battuta d’attacco” e la nota, quindi la brillantezza del pixel-oggetto è resa dal volume della nota.

Ultimo tocco geniale è rappresentato dai colori, che verranno indicati dall’uso di diversi strumenti: il canto rappresenta il bianco, la tromba il blu, il violino il giallo, il silenzio il nero e così via.

Del tutto non invasivo, EyeMusic crea quello che Amir Amedi, il suo inventore, chiama un “paesaggio sonoro”: «Le note sono assemblate in modo da dare suoni melodiosi: ci siamo confrontati anche con musicisti e il risultato è un’esperienza musicale piacevole», dice Amedi, e chiunque può valutare se sia così ascoltando alcuni esempi sul sito del laboratorio.

Praticamente, utilizzando e provando con metodo empirico e scientifico, ossia praticamente, l’innovativo e singolare software, il tutto risulta molto suggestivo e interessante e, cosa fondamentale, funziona davvero anche nella vita reale.

Amedi lo ha dimostrato con l’aiuto di 18 volontari che sono stati bendati ed a cui è stato chiesto di compiere degli specifici movimenti guidati da EyeMusic, mettendo a confronto i risultati ottenuti con quanto era possibile sotto una guida visiva.

All’inizio è stato fatto un breve periodo di “prova”, un valido e pratico “allenamento” che ha permesso ai partecipanti volontari di imparare a riconoscere oggetti semplici o vicini, per esempio un quadrato bianco o un quadrato bianco accanto a uno blu.

Una volta imparato come funziona lo strumento (occorre poco tempo, meno di mezzora, come afferma il ricercatore), ai partecipanti è stato chiesto di toccare su un apposito tablet un quadrato bianco che di volta in volta si trovava in diverse posizioni nello spazio: un test è stato fatto da bendati, sotto la guida di EyeMusic; quindi la prova è stata ripetuta mettendo il braccio sotto una copertura opaca, in modo che si vedesse lo schermo ma non ci fosse un feedback diretto dalla mano. Lo stesso Amedi ha affermato: «I volontari hanno utilizzato le informazioni uditive per ricostruire in maniera abbastanza precisa la rappresentazione dello spazio. Questo indica che tale rappresentazione, nel cervello, non dipende strettamente dalla modalità sensoriale con cui si riceve l’informazione spaziale; inoltre, significa che con poco allenamento si può imparare a usare i suoni come guida per “vedere”».

Le applicazioni possibili per i non vedenti sono considerevoli e tale software può essere considerato a tutti gli effetti come un’autentica ed utilissima rivelazione ed aiuto per i non vedenti che vogliano non solo addentrarsi nel complicato ed affascinante mondo della musica, ma anche solo semplicemente per orientarsi nello spazio, a mò di un radar che viene utilizzato dai pipistrelli.

Amedi fa notare, inoltre, che con uno strumento simile un cieco può scegliere una mela rossa da un vassoio di mele verdi senza farsi aiutare da nessuno. Di certo adesso occorre perfezionare il metodo: un conto è capire se abbiamo di fronte un quadrato bianco a destra o sinistra, tutt’altro è apprezzare la complessità di ciò che arriva nel campo visivo, riuscendo comunque a interagire con l’esterno senza aiuti di altro genere.

EyeMusic, in definitiva, è un progetto che esplora come i movimenti oculari possono essere sonified, ossia evidenziati in maniera sonora per mostrare dove una persona sta cercando con il suono, e come questa “sonificazione” può essere utilizzata in tempo reale per creare musica.

Un dispositivo di tracciamento dell’occhio (LC Technologies Eyegaze Communication System ) riporta in cui il modello viene guardando sullo schermo del computer, così come altri parametri riguardanti lo stato degli occhi. Il tracker occhio riporta questi dati in tempo reale ad un programma per computer (scritto con Max / MSP / Jitter ). Il programma informatico genera e modifica i suoni e le immagini sulla base di questi dati.

Mentre l’occhio è, in normale utilizzo umano, un organo di percezione, EyeMusic consente di essere anche un manipolatore, in un certo senso superiore all’organo umano della vista.

L’esecutore può essere motivato a guardare un luogo fisico o per elaborare visivamente (la motivazione abituale per un movimento degli occhi) o per creare un suono (una nuova motivazione).

Queste due motivazioni possono essere stimolo e nuova linfa per migliorare il progetto e per per raggiungere insieme l’armonia percettivo-motoria e anche per creare musica in movimento.

Le due motivazioni, nel loro insieme, potrebbero generare qualche difficoltà, come avviene quando lo sguardo deve muoversi vicino ad un oggetto senza guardare direttamente a lui, e si può anche  creare uno specifico effetto sonoro o visivo. In tutto ciò, EyeMusic esplora come gli occhi e può quindi essere anche utilizzato per eseguire direttamente una composizione musicale.

Tale contributo della scienza informatica ha una forte valenza ed impatto sociale in quanto può venire quanto prima utilizzato in ambito riabilitativo e per non vedenti ed ipo-vedenti semplificando e migliorando così la qualità della loro vita sociale.