Métavers en mouvement

Améliorer la communication entre individus qui se croisent dans des univers virtuels, c’est un des objectifs du projet européen ShareSpace auquel participe le laboratoire EuroMov. Un défi qui nécessite de réinjecter dans ces metavers les mouvements dans toutes leurs dimensions afin de faciliter les interactions sociales. Explications avec Benoît Bardy, chercheur spécialisé dans l’étude du mouvement humain¹.

Imaginez, un collègue de travail vous propose un café. Sa main se dirige vers la tasse posée sur la table devant lui et s’en saisit. Va-t-il la porter à sa bouche pour boire ou va-t-il vous la tendre ? En réalité vous n’avez probablement pas besoin de vous formuler cette question, car vous avez déjà identifié son intention. « Son regard qui va de la tasse à vous, la façon dont il va s’en saisir, l’angle de son coude, la direction prise par son poignet, sont autant de signes qui donnent des indications très précoces sur l’intention de votre interlocuteur », explique Benoît Bardy, chercheur au laboratoire EuroMov.

Communication sensorimotrice

Tous ces indices que les chercheurs appellent les « primitives du mouvement » constituent les bases de la communication sensorimotrice qui joue un rôle majeur dans les interactions sociales. « Regards, gestes, émotions, ces expressions sont centrales dans nos façons de communiquer », précise le spécialiste du mouvement. Autant d’indices que nous sommes capables de percevoir en face-à- face, mais qu’en est-il quand votre interlocuteur n’est pas dans la même pièce ? « Alors nous perdons beaucoup de notre capacité à détecter ces intentions dans les gestes de nos interlocuteurs. »

Un véritable enjeu de recherche à l’heure où se développe la réalité virtuelle et où le métavers, défini comme un monde hybride qui peut aller au-delà du monde réel notamment grâce à la réalité augmentée, fait de plus en plus parler de lui. Comment retrouver dans les univers digitaux ces signatures motrices de l’intention ? C’est un des enjeux du programme de recherche européen ShareSpace auquel participe le laboratoire EuroMov.

Un projet avec une vision novatrice : la création de futurs espaces hybrides sociaux partagés par des humains et des avatars. Ici, les fameuses primitives sensorimotrices sociales sont saisies grâce à des capteurs innovants connectés mobiles, puis reconstruites à l’aide d’une nouvelle technologie de réalité étendue. « On peut ainsi favoriser la communication virtuelle en recréant ces gestes qu’on pourra amplifier ou même atténuer en fonction des applications », détaille Benoît Bardy.

Avatar

Et pour investir le métavers, ShareSpace intègre quatre niveaux d’interaction dans ses scénarios mêlant le réel et le virtuel. Au premier niveau appelé L0, des humains interagissent dans le monde réel afin de mieux évaluer les situations sensorimotrices, les identifier et les calibrer. « A ce niveau, on propose notamment des jeux de synchronisation, reconnus comme vecteurs d’empathie et d’affiliation sociale », détaille le spécialiste du mouvement.

Au niveau suivant, ou L1, tous les humains se retrouvent dans un monde virtuel, où chacun possède un avatar qui va recopier nos gestes. « Il s’agit là d’un avatar non autonome qui va reproduire nos mouvements et interagir avec les avatars des autres êtres humains. » En pratique chaque participant reste « chez lui » équipé d’un casque de réalité virtuelle et retrouve les autres dans le métavers.

Le niveau supérieur L2 est caractérisé par une certaine autonomie donnée aux avatars. « Par exemple lorsqu’on pratique ensemble un jeu de synchronisation, si un des participants commence à se désynchroniser du reste du groupe son avatar peut adapter sa réponse sensorimotrice pour se remettre à l’unisson du groupe. » Enfin au dernier niveau (L3) on fait la connaissance de Sarah, une intelligence artificielle construite avec un modèle mathématique. « Si l’un des participants est en retard au jeu de synchronisation, Sarah est capable de s’en apercevoir, d’aller le chercher et l’emmener de manière personnalisée pour le resynchroniser avec le groupe. On crée un monde hybride mêlant réalité, réalité virtuelle et réalité augmentée. »

Rééducation virtuelle

Avec quelles applications concrètes pour ce métavers partagé ? « SharesSpace se positionne sur les trois dimensions santé, sport et art », répond Benoît Bardy. Côté santé, le projet vise ainsi à prendre en charge les lombalgies en permettant aux patients qui souffrent de maux de dos chroniques de participer à des séances de rééducation en groupe avec un thérapeute. Des séances pas comme les autres où patients en réel et patients en virtuel suivent les conseils d’un avatar autonome. « Un thérapeute représenté par son avatar peut suivre de près si le patient exécute correctement les exercices nécessaires et le corriger si besoin », précise le spécialiste du laboratoire EuroMov.

Pour la dimension sportive, ShareSpace propose aux cyclistes d’apprendre à rouler ensemble en peloton dans un environnement sécurisé, « une application très adaptée aux enfants qui apprendront par exemple à contourner un obstacle grâce à l’aide de Sarah qui est là pour amplifier les gestes des parents afin de faciliter la compréhension de leurs intentions », précise Benoît Bardy. Une application sera également proposée aux cyclistes dans une vision compétitive, « où il faut parfois au contraire savoir masquer ses intentions pour mieux préparer une échappée d’un peloton », illustre le chercheur. Rendez-vous est pris sur le stand ShareSpace à Paris pendant les JO 2024.

Enfin concernant la dimension artistique, les auteurs du projet ont donné carte blanche à un collectif d’artistes de la fondation européenne Ars Electronica qui vont s’emparer de cette technologie pour créer une chorégraphie immersive lors du festival Art et technologie à Vienne en septembre 2024. Un spectacle auquel on pourra assister dans la réalité, comme dans la virtualité.

1. Euromov (UM, IMT Mines Ales)
   ↩︎