Catégories
Jeu vidéo

Jouer avec son cerveau : OpenVibe, le BCI pour se passer de manettes ?

Pendant que les services de marketing des constructeurs et éditeurs de jeux vidéo s’agitent avec de nouvelles façons de jouer (avec images en 3D, avec réalité augmentée, avec casque de réalité virtuelle, avec écran tactile ou plusieurs écrans…), les laboratoires de l’INRIA (Institut national de recherche en informatique et en automatique) et de l’INSERM (Institut national de la santé et de la recherche médicale) créent OpenVibe, logiciel en open source destiné à contrôler un ordinateur par le biais de la pensée (Brain Computer Interface).

Bien sûr, vous ne pourrez pas dès demain diriger votre avatar dans un MMORPG en mettant un casque avec électrodes sur la tête. Mais cela arrivera sans doute plus tôt qu’on ne le croit.

Cocoto Brain (Kylotonn Games) : un « Casual game » basé sur l’activité cérébrale, Entertainment pour la console Wii de Nintendo. Le joueur doit protéger une fée en empêchant tous les ennemis de s’approcher d’elle. Le joueur doit se concentrer sur les cibles situées au-dessus des ennemis pour les neutraliser. OpenViBE2 (2009-2013) est un projet de recherche collaborative financé par l’ANR sur le potentiel des technologies dites d’ «interface cerveau-ordinateur » (ICO), (en anglais Brain-Computer Interface ou BCI), dans le domaine des jeux vidéo.  Pour la première fois, un projet a réuni l’ensemble des expertises requises au sein d’un consortium pluridisciplinaire de 9 partenaires réunissant des laboratoires académiques pionniers dans le domaine (Inria, Inserm, CEA, GIPSA-Lab), des industriels du jeu vidéo reconnus (UBISOFT, BLACKSHEEP STUDIO, KYLOTONN GAMES) et des spécialistes des usages et du transfert (LUTIN, CLARTE).

Le projet OpenVibe avait comme principale application les domaines médicaux liés aux handicaps moteurs. Le logiciel de BCI (brain computer interface, soit interface cerveau-ordinateur) couplé à un casque permet d’analyser et de convertir l’activité électrique émise par le cerveau en données informatiques ou en commandes. Il faut croire que le jeu vidéo apporte plus de retombées médiatiques et financières que le handicap puisque pour le projet OpenVibe 2, un consortium de neuf partenaires a pu être mis en place pour créer des prototypes de jeux, réaliser des enquêtes et publier de nombreux articles dans les revues scientifiques. Parmi elles, on trouve des entreprises privées comme Ubisoft, Blacksheep Studio, Kylotonn Games et Clarte (serious games) qui ont contribué à la création de plusieurs prototypes de jeux vidéo.

La force est avec toi

Dans Brain Invaders, qui reprend les graphismes de Space Invaders, vous devez simplement vous concentrer sur le vaisseau entouré d’un cercle rouge en début de mission pour tirer dessus.

Brain Arena vous permet de jouer avec une autre personne à un jeu de « football » plus proche de Pong que de FIFA: sans bouger les mains, en pensant à votre droite ou votre gauche, vous déplacez le ballon pour tenter de le mettre dans le but adverse

BCI Training Center détecte votre niveau d’attention et vous récompense en donnant des aides pour des mots cachés à trouver dans une grille de lettres. Plusieurs autres prototypes permettent de déplacer des objets ou d’en détruire par la force de la pensée.

BCI Training Center (Black Sheep Studio), un jeu de type « entraînement cérébral » utilisant l’EEG développé par Black Sheep Studio. Le jeu permet au joueur de pratiquer des activités ludiques d’entraînement cérébral (recherche visuel, trouver un mot dans une grille) associées à une adaptation du jeu en temps-réel en fonction de son état mental mesuré par le dispositif EEG (relaxation et concentration). OpenViBE2 (2009-2013) est un projet de recherche collaborative financé par l’ANR sur le potentiel des technologies dites d’ «interface cerveau-ordinateur » (ICO), (en anglais Brain-Computer Interface ou BCI), dans le domaine des jeux vidéo.  Pour la première fois, un projet a réuni l’ensemble des expertises requises au sein d’un consortium pluridisciplinaire de 9 partenaires réunissant des laboratoires académiques pionniers dans le domaine (Inria, Inserm, CEA, GIPSA-Lab), des industriels du jeu vidéo reconnus (UBISOFT, BLACKSHEEP STUDIO, KYLOTONN GAMES) et des spécialistes des usages et du transfert (LUTIN, CLARTE).

Pendant que les laboratoires et les studios élaborent des jeux, Ubisoft réalise un benchmark des casques EEG (électro-encéphalographie). Il ne suffit pas de « penser », il faut aussi un casque pour capter la bonne onde cérébrale parmi les potentiels électriques recueillis à la surface du crâne. Celle-ci arrive de façon très détériorée puisqu’elle est éloignée de la source par les cheveux, la peau, la graisse sous-cutanée, l’os, le liquide céphalo-rachidien, des plexus veineux, etc. Il faut ensuite que le logiciel ait un algorithme pour extraire le signal pertinent du bruit ambiant. Bien sûr, il est également nécessaire de disposer d’un objet optimal au niveau des performances des électrodes, ergonomique pour faciliter son utilisation et l’adapter au maximum d’utilisateurs, tout en n’étant pas trop cher.

Bain Invaders (GIPSA-LAb): ce jeu est inspiré du jeu japonais « Space Invaders ». Il faut également détruire les vaisseaux situés à l’écran grâce à une réponse cérébrale qui se produit dès qu’un évènement rare et attendu surgit. OpenViBE2 (2009-2013) est un projet de recherche collaborative financé par l’ANR sur le potentiel des technologies dites d’ «interface cerveau-ordinateur » (ICO), (en anglais Brain-Computer Interface ou BCI), dans le domaine des jeux vidéo.  Pour la première fois, un projet a réuni l’ensemble des expertises requises au sein d’un consortium pluridisciplinaire de 9 partenaires réunissant des laboratoires académiques pionniers dans le domaine (Inria, Inserm, CEA, GIPSA-Lab), des industriels du jeu vidéo reconnus (UBISOFT, BLACKSHEEP STUDIO, KYLOTONN GAMES) et des spécialistes des usages et du transfert (LUTIN, CLARTE).

De son côté, le laboratoire d’usage et d’ergonomie Chart/Lutin a pu effectuer quatre cent cinquante tests de prototypes auprès d’utilisateurs tous plus ravis les uns que les autres d’expérimenter une nouvelle façon de jouer.

Le consortium français n’est pas le seul à allier recherche neuroscientifique et jeu vidéo. Le laboratoire de neurologie et d’imagerie cognitive de l’université de Genève avait présenté une utilisation thérapeutique de Space Race, jeu de course entre vaisseaux spatiaux dont la vitesse est contrôlée par le biais d’un casque EEG.

Plus spectaculaire car mettant en jeu des objets réels en mouvement, le drone Parrot AR est ainsi pilotable avec un casque EEG d’Emotiv, lequel permet de déplacer divers robots.

Il existe aussi un projet sur Kickstarter (Puzzlebox Orbit) pour piloter un hélicoptère avec le logiciel Brainstorm de Puzzlebox et le casque MindWave Mobile de Neurosky.

Bref, le contrôle de jouets ou de jeux vidéo par une interface liant les machines aux ondes du cerveau a un bel avenir devant lui.

Cela ne peut que réjouir les neuroscientifiques, ravis d’avoir soudain autant de personnes prêtes à investir dans des casques de qualité pour recueillir leurs ondes cérébrales.

Ceci représente tout autant de personnes susceptibles de donner des avis, des retours potentiellement exploitables pour la neuro-imagerie.

Qu'en pensez-vous ?