Les dispositifs visuo-auditifs

 Les dispositifs pour les non-voyants prennent de multiples formes : ils sont fondés sur la conversion des stimuli propres à une modalité sensorielle (vision, audition, toucher et odorat) en des stimuli propres à un autre sens.

La page ci-dessous examine quelques uns de ces systémes qui convertissent, ici, les signaux optiques en signaux auditifs.

Les dispositifs visuo-auditifs

Au départ, le dispositif visuo-auditif, mis en place par Leslie Kay, à l'Universté de Birmingham, en 1965, était identique à celui de l'écholocalisation des chauves-souris.

Il était essentiellement utilisé par les aveugles pour la détection des obstacles.

Puis, un peu plus tard, en conservant le même principe, Leslie Kay, en 1974, installe les capteurs à ultrasons sur des lunettes.

En 1992, l'ingénieur Peter Meijer du Laboratoire de Recherche Philips aux Pays-Bas, utilise pour capteur une caméra vidéo miniature. Le système est nommé "The vOICe" ( les lettres capitales signifient" Oh, I see !").

Le logiciel intégré transforme les images vidéo en sons. Ces images sont converties en niveaux de gris, puis transformées en informations sonores selon trois lois élémentaires.

• l'image est numérisée de la gauche vers la droite : on entend (ou voit) donc de la gauche vers la droite
• le haut et le bas sont définis à partir de la hauteur du son; ainsi plus le signal visuel provient de haut, plus le son est aigu
• l'intensité est reliée à la luminosité ; plus le signal visuel est lumineux, clair, plus le son est intense. Le silence signifie donc noir et un son fort veut dire blanc, les intensités intermédiaires correspondent à un dégradé de gris.

Une séquence vidéo permet de comprendre le mode de fonctionnement du système vOICe

http://www.nstu.net/malika-auvray/

Dans sa thèse, Malika Auvray, détaille les conditions de la mise en place de ces dispositifs:

Une première étude sur l'utilisation des dispositifs de substitution sensorielle permet de distinguer cinq étapes principales de leur appropriation :

• étape du contact qui implique l'apprentissage des régularités sensorimotrices nécessaires pour stabiliser et maintenir le contact perceptif avec une stimulation engendrée
• étape de l'attribution distale qui est la compréhension par les utilisateurs que leurs sensations sont dues à la rencontre avec un objet provenant de l'espace perceptif ouvert par l'outil
• étape de la maîtrise de l'espace distal qui permet aux utilisateurs de localiser objets et évènements de l'espace perceptif distal relativement à un point de vue appartenant à cet espace
• étape de localisation distale qui se définit comme l'impression d'être dans l'espace perceptif ainsi ouvert. L'utilisateur se sent entièrement là où il agit.
• étape de l'expérience distale qui implique le partage de l'expérience perceptive, permettant de constituer le sens, l'émotion et les valeurs communes attachées à cette expérience.

Des séries d'expériences ont été réalisées avec le dispositif the vOICe sur six sujets voyants (chacun déclarant une audition normale). Leur âge variait de 23 à 32 ans. Un seul sujet a fait état d'un apprentissage musical. Aucun n'était familier avec le dispositif.

Chaque sujet a effectué une session d'apprentissage et quatre sessions d'évaluation (l'ensemble de ces sessions dure en moyenne quinze heures).

Les participants sont assis dans une pièce blanche. Ils ont les yeux bandés et sont équipés avec le système The voice. Ils tiennent dans la main droite une caméra avec laquelle ils explorent leur environnement. Ils ont un casque stéréophonique sur les oreilles grâce auquel ils entendent la traduction de la scène visuelle.

Sur la table en face des participants après différentes tâches d'entraînement, différents objets sont placés et l'objectif est de voir si les sujets sont capables de les reconnaître: une plante, un livre, une cuillère...

Résultats (thèse de Malika Auvray)

Tâche de reconnaissance Temps mis pour reconnaître correctement l'objet (5 présentations). Les barres verticales représentent les intervalles de confiance à 0,95. Au fur et à mesure de l'entraînement le temps mis pour reconnaître l'objet diminue.	Temps mis pour reconnaître correctement l'objet, en fonction des objets. Les barres verticales représentent les intervalles de confiance à 0,95. Les performances sont affectées par le type d'objet lui-même plus ou moins facile à identifier avec ce système.

Le temps mis pour reconnaître les objets diffère en fonction des sujets. Par exemple, le temps de reconnaissance moyen pour le sujet musicien est de 27,6 s, tandis que le temps moyen pour les cinq autres sujets, sur l'ensemble des objets est de 46,6 s.

Conclusion

Les utilisateurs d'un dispositif de substitution sensorielle visuo-auditive parviennent à s'approprier une telle prothèse en dépit des importantes modifications sensorimotrices que cet outil introduit.

Les utilisateurs ont réussi à recréer des capacités perceptives  qui ont des caractéristiques proches des capacités perceptives visuelles et à effectuer différentes tâches de déplacement, de localisation et de reconnaissance des formes.

Vidéo montrant les sons entendus en fonction des objets explorés: http://www.seeingwithsound.com