Prothèse sensorielle conceptuelle

"Beyond Senses" propose une simulation de techniques de réhabilitation sensorielles avancées, en imaginant l'ajout d'une prothèse high-tech greffée sur un enfant. Cette prothèse permettrait de modifier le paradigme sensoriel, offrant des expériences que la plupart des humains ne peuvent pas vivre.

L'application présente trois expériences où l'enfant handicapé peut "voir" les sons ou "entendre" les formes et les couleurs. Les utilisateurs découvrent de nouvelles interactions, explorant ainsi le potentiel de la technologie pour transformer la perception et offrir de nouvelles voies de réhabilitation.

"Une exploration fascinante des possibilités de la technologie VR pour aider les personnes présentant certains handicaps sensoriels tels que le daltonisme, la cécité ou la surdité."

Concept & objectifs

Cette application a été développée dans le cadre de la Laval Virtual Game Jam 2018, un événement majeur de l'innovation en réalité virtuelle. Le défi : créer en seulement 30 heures une expérience immersive capable d'explorer de nouvelles frontières de la perception humaine.

L'objectif était de démontrer comment la VR pourrait un jour servir d'outil de réhabilitation sensorielle pour les personnes en situation de handicap, en leur offrant des capacités de perception alternatives et innovantes.

Les trois expériences sensorielles

  • Voir les sons : Une expérience qui traduit les sons en représentations visuelles, permettant aux personnes sourdes de "voir" la musique et les bruits environnants à travers des effets visuels dynamiques
  • Entendre les formes : Les formes géométriques et les objets génèrent des sons uniques, créant un nouveau langage sensoriel où la vision se traduit en audio
  • Entendre les couleurs : Chaque couleur émet une fréquence sonore distincte, offrant une nouvelle façon de percevoir le monde visuel à travers l'ouïe

Mon rôle dans le développement

Dans le cadre de cette Game Jam collaborative, j'ai été responsable du développement complet du dernier niveau, axé sur la capacité de "voir les sons" pour la surdité :

  • Création et intégration des sons : Développement d'une bibliothèque sonore diversifiée et création d'un système de spatialisation audio 3D
  • Développement des interactions VR : Programmation d'un xylophone virtuel interactif permettant aux joueurs de reproduire une mélodie en utilisant les contrôleurs VR
  • Création des effets visuels (VFX) : Conception d'effets de particules et de visualisations procédurales traduisant les sons en représentations visuelles immersives et intuitives

Technologies & innovation

Le projet utilise Unity 3D pour créer une expérience immersive complète. L'un des défis techniques majeurs était de créer un système de synesthésie artificielle crédible, c'est-à-dire la capacité de traduire en temps réel un sens (l'audition) en un autre (la vision).

Les effets visuels ont été soigneusement conçus pour refléter les caractéristiques acoustiques des sons : fréquence, amplitude, timbre et spatialisation. Cela a nécessité une programmation avancée de shaders et de systèmes de particules pour obtenir une représentation visuelle intuitive et agréable.