Les pensées d’un survivant d’un AVC transformées en avatar numérique parlant
La technologie permettant de transformer les ondes cérébrales en parole est en développement depuis plusieurs années. Aujourd’hui, il y a eu un grand pas en avant, grâce à la technologie du jeu vidéo et à l’IA. Poursuivez votre lecture pour en savoir plus sur cette découverte révolutionnaire.
TL;DR :
- La technologie des jeux vidéo aide les femmes paralysées à retrouver leurs capacités de communication.
- L’interface cerveau-ordinateur développée par Speech Graphics, UCSF et UC Berkeley génère des expressions vocales et faciales à partir de signaux cérébraux.
- La communication basée sur un avatar via une voix synthétisée et une animation faciale marque une avancée significative dans la restauration d’une communication naturelle pour ceux qui sont incapables de parler.
Transformer les ondes cérébrales en parole grâce à un avatar numérique
La technologie des jeux vidéo a joué un rôle révolutionnaire en aidant une femme à retrouver sa capacité à communiquer, après avoir été paralysée à la suite d’un accident vasculaire cérébral. Désormais, elle peut à nouveau communiquer – via un avatar numérique.
Des chercheurs de Speech Graphics, basé à Édimbourg, de l’UC San Francisco (UCSF) et de l’UC Berkeley ont développé la première interface cerveau-ordinateur au monde qui génère la parole et les expressions faciales à partir de signaux cérébraux. Par conséquent, cette évolution offre l’espoir de rétablir une communication naturelle entre ceux qui ne peuvent pas parler.
Comment fonctionne le logiciel ?
Grâce à un logiciel similaire à celui utilisé dans les jeux vidéo comme The Last Of Us Part II et Hogwarts Legacy, les ondes cérébrales sont transformées en avatar numérique. Cet avatar est capable de parole et également d’animation faciale. L’étude s’est concentrée sur une femme nommée Ann, convertissant ses signaux cérébraux en trois formes de communication. Les formes de communication sont le texte, la voix synthétique, mais aussi l’animation faciale sur un avatar numérique. Cela inclut en outre la synchronisation labiale et les expressions émotionnelles. Remarquablement, c’est la première fois qu’une animation faciale est synthétisée à partir de signaux cérébraux.
Dirigée par le président de la chirurgie neurologique de l’UCSF, Edward Chang, l’équipe a implanté un rectangle mince comme du papier composé de 253 électrodes sur la surface du cerveau de la femme. Les électrodes interceptent des signaux qui autrement auraient atteint les muscles du visage. Ces électrodes sont ensuite connectées aux ordinateurs via un câble. Suite à cela, les algorithmes d’IA ont été entraînés pendant des semaines à reconnaître l’activité cérébrale.
Expressions faciales et parole en temps réel à partir des ondes cérébrales
La femme a réussi à écrire et à parler en utilisant une voix synthétisée basée sur des enregistrements antérieurs. De plus, l’IA a décodé son activité cérébrale en mouvements du visage, transformant ainsi ses pensées en expressions faciales en temps réel. Une méthode consistait à utiliser la voix synthétisée du sujet pour piloter les actions musculaires. Ces actions ont ensuite été converties en animation 3D dans un moteur de jeu vidéo. Le résultat final était un avatar réaliste capable de prononcer des mots en synchronisation avec la voix synthétisée.
Cette technologie représente une avancée majeure dans la restauration de la communication aux personnes touchées par paralysie, offrant une expression en temps réel des émotions et des mouvements musculaires nuancés.