le toucher-voir du jeu vidéo

L’un des points d’entrée d’une étude de l'expérience vidéoludique consiste à s'intéresser au couplage spectacle-geste qui cadre la perception du joueur. Autrement dit à examiner ce que j’ai proposé d’appeler « le toucher-voir » du jeu. La forme de cette association entre le spectacle d'image et les séquences de gestes est propre à chaque oeuvre ou tout au moins à chaque genre ; elle constitue, bien sûr, une caractéristique première de sa jouabilité ; elle cadre également les éléments symboliques de la posture de jeu.
Dans la relation qui unit le joueur et le ludiciel, spectacle et gestes forment une boucle dynamique. Vu du côté du programme, le geste est un input ( le joueur fournit une donnée) et le spectacle est un output (le système traite la donnée et fournit l’image en conséquence) . Vu du coté du joueur, le spectacle est un appel qui provient du monde et le geste est réponse, choix, engagement.
Spectacle et gestes sont co-determinés, et forment un continuum que l’analyse déconstruit. En analysant la place que tient le geste interfacé dans l'écoulement du flux d’images et d’évènements, c'est précisément à cette co-determination que l'analyse ludologique s'intéresse.

le cas du paralysé qui court et qui vole

Oui, c'est bien en partant de l'expérience du joueur que nous cherchons à comprendre cet objet ludique qu'est le le jeu vidéo. Mais de quel expérience parlons-nous ? Est-ce le vécu que l’on approche au travers  des verbalisations du joueur qui nous raconte son jeu ? Ici, c'est une forme plus profonde, plus abstraite de vécu  qui nous intéresse, celle qui suppose le travail de la conscience pour discerner la perception que nous avons du monde et la perception que nous avons de nous-même dans le monde.  Ce vécu-là, qui est en premier lieu un vécu perceptif et moteur, ne se donne pas d'emblée. Il est le fruit d'un travail descriptif précis. C’est lui qui nous permet de comprendre comment, par la vision, et le toucher, par l'engagement dans le spectacle du monde, nous éprouvons le sentiment de notre existence.
Comment s'engager dans ce travail d'analyse du complexe perceptif, par quel bout le prendre ? L’un des coins théoriques les plus efficaces que l’on puisse enfoncer dans la matière opaque du jeu est la question du corps. Elle consiste à mettre à jour la manière dont nous devenons corps dans le jeu vidéo.
Une conception naïve du corps du joueur nous montre, vu de l'extérieur, un corps  restreint, partiellement paralysé, dans lequel seuls sont mobilisés les yeux, la tête, le cou, les doigts, la main, le bras.  Ce corps presque immobile correspond à ce que Merleau-Ponty appelle le corps mécanique, celui que l’anatomie pourrait décrire. et qu'il oppose au corps phénoménal, c’est-à-dire au corps perçu.
Le corps phénoménal du jeu vidéo est lui bien différent : il se représente à la conscience du joueur non plus comme immobilisé mais comme pris dans un mouvement qu’il a lui-même provoqué. Son existence est étroitement liée à la capacité dont il se sentt doté de pouvoir courir, voler, sauter.
A ce point, on peut bien sûr se contenter de dire, en s’appuyant sur le bon sens, que le joueur ne court pas. Qu’il est assis sur sa chaise en train d’appuyer sur des touches et que le monde dans lequel il se projette est un monde d’image. Une fiction, une illusion. Ayant dit cela, on n’aura pas pour autant mieux compris le cas du paralytique qui court et qui saute .
Une illusion, d’accord, quelque chose qui trompe notre perception ou plutôt qui s’appuie sur une nouvelle combinaison de nos perceptions. Et c’est justement là que le bon sens ne suffit plus. Le bon sens perceptif, celui qui nous fait croire à la réalité de ce que nous voyons et ce que nous touchons, est perturbé.  Le joueur, ce personnage raisonnable, nous dit qu'il court, mélangeant ainsi deux types d'expériences du corps bien différentes, celle de courir soi-même et celle d'assister au spectacle d'une course. 
    La question de l'illusion doit être prise au sérieux. Y a-t-il quelque chose de propre à ce type de jeu qui détermine la conscience que le joueur se donne à lui-même d'être un être qui court, qui vole qui saute ? Le concept de « second degré » que l'on utilise pour caractériser toute attitude ludique, quel que soit le type de jeu, ne nous fournit qu'une explication partielle, de même que la « suspension volontaire d'incrédulité », propre à la réception de toute œuvre de fiction. Pour aller plus loin, il faut examiner la manière dont chaque type de jeu vidéo instrumentalise les perceptions du joueur.

La beauté du geste : Freddi-Fish (Marine-Malice), un jeu vidéo pour enfants

Pour mettre à l’épreuve l’intérêt d’une analyse du toucher-voir du jeu vidéo, je te propose de choisir un jeu qui n’est pas fait pour toi, et même un objet sans doute très éloigné de tes goûts actuels, un jeu pour les petits garçons et les petites filles de 4 ou 5 ans par exemple. Tu n'as plus l’âge de jouer à ce type de jeu ? C’est dommage ! Mais tu as peut-être l’âge de chercher à comprendre le fonctionnement de ce type de petit jeu dit "jeu d’éveil", un jeu tout simple qui a pourtant déjà tout, dans ses principes, du jeu vidéo. N’oublie pas d’ailleurs que ce sont les enfants qui, les premiers ont fait la fortune du jeu vidéo.
Allons-y avec Marine-Malice  (en v.o. Freddi-Fish), un jeu classé comme un « jeu d’aventure simple» utilisant une interface dite «point and click».
C’est une production du studio Humoungous, connu dans les années 90 pour avoir développé plusieurs séries à succès pour les enfants aux états-unis, adaptées en France sous le nom de Marine-Malice, Pouce-Pouce et Sam Pyjam.
Tu devrais pouvoir te donner une idée de ce jeux à cet endroit :
http://www.youtube.com/watch?v=4g-dt99gdOE&feature=related
Même si tu n'as pas joué à ce titre, tu peux reconnaître de quoi il s'agit. Un gentil petit poisson, Freddi-Fish, accompagné de son ami Luther se déplace dans un univers sous-marin pour résoudre des énigmes. Il explore plusieurs espaces (chaque espace est contenu dans une «page») et découvre dans chaque tableau des surprises ou des objets à collecter qu'il assemblera pour remplir sa mission.
Après une longue introduction en dessin animé pour lancer l’histoire, un spectacle coloré s’offre au joueur, des événements adviennent, un récit se construit pas à pas : tout cela est déclenché à partir d’une entrée gestuelle apparemment tellement simple. C’est en faisant le geste de désigner dans la scène globale une zone précise de l’image que le joueur active le déroulement chaîné du flux d’animation…et fait avancer l’histoire.
La simplicité du geste n’est ici qu’apparente. Car si les doigts ne disposent que d’un seul geste, ce geste unique prend des significations contextuelles multiples Il porte en lui toute la puissance de la désignation.
Les doigts désignateurs sont en même temps des doigts explorateurs, à la manière d’œils mobiles, ils examinent l’image à la recherche des zones activables. Ce sont des doigts qui pensent et qui voient, ils discriminent des formes, effectuent des choix.
Cette intelligence gestuelle est étroitement cadrée par les propositions d’une image animée contenant des appels à gestes peu nombreux, très distincts et très lisibles. Le nécessaire travail d’anticipation du joueur est ainsi grandement facilité par ces affordances très nettes.
Pour limité que soit ce jeu, Freddi Fish possède le pouvoir de créer un réel engagement (pour les enfants de 4 ans, pas pour toi !) Les gestes appelés par les flèches et les zones activables déclenchent le montage des séquences : je parle bien ici de montage au sens cinématographique. Ces gestes impliquent l’utilisateur dans l’écoulement et l’enchaînement du flux d’image, déterminent une temporalité qui suppose une anticipation narrative. En même temps, ils emmènent le joueur dans la scène, construisent les bornes d’un espace performatif et suscitent un engagement d’orientation.
 Regardons maintenant plus en détail la question de la mobilité du héros, dont la mise en activité est, en partie confiée à nos gestes. Toute l’histoire tourne autour des déplacements de Freddi-Fish, présent dans toutes les scènes et participant à tous les évènements. Comment se réalise la projection fonctionnelle du joueur sur les déplacements du héros ? Le poisson devient mobile dès qu’on lui a indiqué le tunnel qu’il doit prendre, la porte qu’il doit ouvrir. Une fois l’entrée du tunnel désignée par un clic, le joueur assiste, sans plus de difficulté, au spectacle de la nage agile du poisson ; la pénétration dans le tunnel est automatique , et le héros débouche de l’autre côté.
Ce qui caractérise ici la mobilité, comme dans tous les jeux vidéo qu’on appelle jeux d’aventure, c’est le fait que les gestes du joueur désignent, non pas le corps du personnage mais des lieux ou des objets, les lieux que le poisson peut atteindre, les objets qu’il peut saisir. La mobilité est ici donnée à commander en quelque sorte de l’extérieur et indirectement. d’une façon qui laisse le joueur à la surface du corps de son héros. On mesure combien cette forme de mobilité diffère de celle que l’on trouve dans les jeux d’action ou les jeux de plate-forme dans lesquels les gestes du joueurs désignent le corps du personnage et sont corrélés à ses organes corporels.


L’analyse interne du ludiciel, telle que je commence à la mener ici avec toi, nécessite, tu l'as bien compris,  une attention croisée à l’objet et à l’activité qu’il suscite. Il faut apprendre à faire ce travail minutieux de décomposition du continuum perception-action en s'attachant en particulier à déterminer la part qui revient à l’utilisateur dans la mise en activité des objets et la part qui revient au programme. Les différents éléments du spectacle – et en particulier les mouvements du héros - sont rattachés aux gestes humains qui les déclenchent et à la signification contextuelle de ces gestes. Ainsi se dégagent des couples geste-image, ayant leur forme propre, combinés entre eux pour produire les éléments du moteur ludiciel.

au joueur d'Abe.

“ Prends la manette, faisons comme si tu étais Abe ”.  Abe, c'est la figurine qui t'est donnée à manipuler dans le jeu vidéo Oddworld.
Le voile de la fiction a été posé sur le monde. Comme à l'opéra, où tu oublies très vite les artifices du décor, ce voile fictionnel va te permettre d'accepter de masquer le système technique et le programme informatique.
Faisons comme si tu étais Abe : la figurine est dans tes mains. Et tu peux commencer à percevoir l'effet de tes gestes sur les déplacements d'Abe. Cette perception première, celle de tes gestes qui provoquent le mouvement de la figurine, ne la mésestime pas. Elle est est au fondement de ton être-au-monde dans le jeu, elle va te permettre de construire la croyance qui t'est nécessaire pour que les actions de la figurine t'apparaissent comme les résultats de tes propres actions. 
Observe ce qui se passe en toi.  Maintenant, tu ne disposes plus de l’ensemble de ton corps et de tes facultés, tu dois te restreindre à certains mouvements limités et focaliser ton attention sous une forme particulière. La plupart de tes gestes naturels sont rejetés par la machine et n'ont aucun sens pour la figurine. Il faut que tu apprennes, que tu t'habitues à utiliser correctement ces prothèses au départ fort peu pratiques.
Déjà tu as commencé à perdre ton épaisseur corporelle habituelle, tu as suspendu une partie de tes codes. Cette restriction  corporelle, tu l'as accepté sans même y penser, elle fait partie du contrat que tu viens de passer. Tu dois restructurer ton expérience sensorielle habituelle pour construire l’épaisseur corporelle de la figurine, ton personnage Abe.
Maintenant tes gestes te permettent de déplacer plus facilement la figurine. Tu commences à mieux ajuster le couplage de ton oeil et de ta main avec l'image ; tu intègres peu à peu les codes de commandes par touche et leurs combinaisons. Dès lors que tes manipulations sont plus précises, la figurine est devenue plus agile. La précision de tes gestes est ainsi tout de suite récompensée : le flux des évènements devient plus fluide, le spectacle du monde s'enrichit par tes doigts.
Ca roule. Tu as accepté d’orienter ton être-au-monde dans les cadres que te propose le programme.
A toi maintenant le travail patient de la répétition et de l’autocorrection, de l’auto-chronométrage, de la restructuration mémorielle qui va te permettre de conférer à la figurine une complète incarnation.
Te voilà dans la situation de l’apprenti jongleur, qui, sans relâche, et sous la conduite d’un entraîneur attentif, répète le même tour de main, cherche le meilleur enchaînement, perfectionne sa vigilance, affine ses perceptions. Continue, vas-y, exerce-toi.
Le contrat que tu as passé , tu le comprends mieux maintenant, est une sorte de petit contrat de travail de fiction, une mission pour de rire mais du temps passé pour de vrai, une tâche dérisoire et ironique mais qui demande néanmoins beaucoup d’effort, une certaine méthode et une très grande persévérance.

apprendre à voir

Parfois, je te pose des questions que tu ne comprends pas très bien, par exemple quand je t'interroge, à propos d'un jeu vidéo, sur ta vision. Je voulais ton regard, tu te dégages en disant : Voilà ce que je vois ! Et tu peux me décrire avec une grande minutie, les personnages, les objets, les décors et les évènements qui apparaissent dans le spectacle. Mais là, même si c'est intéressant, tu restes encore à la surface de l'analyse de ton expérience perceptive. Tu me décris le spectacle comme si tu le recevais de l'extérieur sans qu'aucune partie de toi ait été mobilisée pour y parvenir. Ce que tu oublies là, c'est le travail que tu as du faire pour inscrire ton regard dans le cadre perceptif offert. Et d'abord où étais-tu pour voir ? Et qu'as-tu du apprendre à faire pour voir ce que tu vois ?
Dans le monde ordinaire, les phénoménologues nous ont appris cela, regarder est loin d'être l'attitude passive qui consisterait à se faire bombarder de rayon lumineux. Regarder est un acte qui engage mon être, qui implique mon corps. Ma tête s'oriente dans une direction, un champ de vision s'établit, qui cadre une partie du monde et m'en cache une autre. Je tourne autour de l'objet pour le voir de l'autre côté, je marche pour m'en rapprocher et je transforme mon champ de vision en me déplaçant. Regarder est en même temps un acte de connaissance, qui met en jeu mon intelligence des affordances du monde et la mémoire que j'en ai.
C'est avec cette même attention phénoménale qu'il te faut examiner ce que c'est que regarder dans le monde artificiel d'un jeu vidéo. Il faut pour cela repérer les pré-construits qui organisent ta vision dans le jeu. Démonter les moteurs de ta vigilance. Rendre à ton oeil ses fonctions profondes, sa capacité à créer de l'espace, à découper le temps, à créer du rythme et de la continuité. 
Tu pourras alors saisir les particularités du regard que le jeu vidéo te fait momentanément adopter.
Bien sûr, en jouant, tu restes encore un être humain comme tous les jours, tu as les mêmes yeux, les mêmes bras, les mêmes jambes que d'habitude.  Et pourtant, ton regard est appareillé différemment. Les cadres corporels qui structurent ta vision ne sont pas agencés de la même manière. Ton être-au-monde s'est déplacé, tu ne connectes plus de la même manière le voir et le toucher, le regard et la mobilité. Tu penses et tu vies  le spectacle du monde au travers du corps pré-cadré que le game design t'offre d'endosser.

diversité des genres vidéoludiques : quelle analyse ?

La difficulté à laquelle s’affrontent tous ceux qui cherchent à comprendre l’expérience vidéoludique est celle de se fonder sur une méthode d’analyse suffisamment solide pour pouvoir traiter des différents genres.
Un exercice de l’esprit fort stimulant consiste à se demander ce qu’ont en commun des objets aussi particuliers que des jeux de plate-forme, des jeux d’aventure ou des jeux de simulation de vie. Peut-on se contenter de faire référence à une théorie générale des jeux ? Peut-on se satisfaire d’évoquer la commune matière d’image actée et programmée dont sont faits ces jeux vidéo ? A ce niveau de généralité, il est douteux que l’on parvienne à spécifier l’expérience que ces objets suscitent.
Au point où nous en sommes, on doit alors plutôt postuler que chaque œuvre vidéoludique –ou du moins chaque type d’œuvre-  installe ses propres régularités d’action, détermine ses propres schèmes perceptifs, établit de manière spécifique des rapports avec les objets. 
La diversité des œuvres et des procédés n’invalide pas pour autant la possibilité d’établir une analyse du jeu vidéo . Elle balise simplement la tâche qui incombe maintenant à la critique, celle de repérer des constantes et des différences, celle d’inventorier des procédés, de mettre à jour les inventions, de distinguer les styles.

sciences du jeu, sciences du jouet ?

Pour comprendre l’expérience du jeu vidéo, nous portons une attention croisée à l’objet ludique et à l’activité qu’il suscite. Voilà qui nous rapproche singulièrement des méthodes que nous pouvons utiliser en sciences du jeu pour décrire différentes sortes d’objets à jouer,  de poupées, de marionnettes, de mannequins, de figurines, et autres transformers. Quelle est la matière de tel objet, quel est la forme qu’il prend, quel est le mécanisme qui l’anime, quels sont ses composantes symboliques, quel champ d’activité suscite-t-il ?

Mais les joueurs adultes, en quête d’ennoblissement pour leur média favori,  sont fréquemment choqués que l’on utilise pour le jeu vidéo ces références à des méthodes d’analyse qu’on applique aux jouets des enfants. Etienne Armand Amato reflète, sans doute involontairement, cette méfiance à l’égard du jouet qu’on retrouve dans diverses expressions françaises  (casser son jouet, être le pantin ou la marionnette de quelqu’un). L’étude des objets à jouer tangibles (les jouets) constitue pourtant une bonne propédeutique pour qui veut comprendre le jeu vidéo, ne serait-ce qu’en lui apprenant à distinguer l’affordance des objets et les manipulations qu’elles appellent. Elle constitue un champ d’inspiration pour une critique ludologique sans doute aussi riche que celui de l’analyse cinématographique ou littéraire.

Un ancêtre ignoré du jeu vidéo : le livre animé

Les images du jeu vidéo peuvent avoir de grandes ressemblances avec celles du livre, de la bande dessinée, de l’album pour enfant ou du dessin animé. Mais nous savons que ces images ne sont pas de même nature. Avec Jean-Louis Weissberg et Pierre Barboza,  nous les avons désignées sous le nom d’images actées, terme que nous préférons à celui d’images interactives.
Ces images, émergeant des fonds opaques de la programmation informatique, se déclenchent et s’animent en surface sous les actes, désignations et commandes de l’utilisateur. Elle sont à la fois images générées par des actes et images suscitant des actes.
Dans l’univers du livre imprimé, l’image est fixe, figée une fois pour toute dans sa représentation. Il est pourtant quelques exceptions, que les curieux connaissent. Ce sont les livres animés, appelés aussi livres à système ou pop-up, le plus souvent destinés aux enfants.
Une petite idées de ce genre de livres sur ce bon site

http://www.livresanimes.com/techniques/techniques1.html

On pourrait considérer que les images actées constituent une sorte de perfectionnement des procédés usités dans les livres animés.  Dans ces objets, l’image demande  qu’on la pousse, qu’on la tire, qu’on la déplie, qu’on la gratte. Elle contient en elle non seulement un potentiel d’interprétation mais également un champ restreint d’action gestuelle offert à son utilisateur.  L’image du livre animé présente la caractéristique d’être directement perçue pour être agie, appelant à elle des gestes spécifiques. Elle participe au déploiement de l’univers fictionnel en se prêtant à une gamme réglée de transformations ou de dévoilements.
Si les images actées, dans le jeu vidéo, sont, elles aussi, des images à ouvrir, l’art de la programmation informatique les a rendu foisonnantes et diverses. Une variété jusqu’alors inconnue de liaisons entre les images et les gestes s’est fait jour.
Chaque genre de jeu vidéo (ou plus largement de ludiciel)  a ouvert une voie originale en développant sa propre manière de jouer avec l’image actée, sa propre façon de coupler les actions de l’utilisateur et le spectacle auquel il assiste.. Elle a transformé les gestes-sur-l’image en des boucles gestes-images-gestes qui peuvent être enchaînées séquentiellement, permettant ainsi de créer une continuité narrative et donnant à l’image actée une véritable densité temporelle. L’amplification réalisée par la programmation informatique a également ouvert à une variété jusqu’alors inconnue de liaisons entre les actes et les images, allant bien au delà des images à ouvrir, à déployer, à recomposer qu’avaient inventés les livres-jouets.