Les techniques de tracking : Audio, lumière et vidéo

Et si la lumière suivait automatiquement les mouvements du chanteur ? Et si la voix de l’acteur était spatialisée au fil de ses déplacements sur scène ? Et si l’image vidéo était projetée uniquement sur le costume du danseur ? Les technologies de tracking offrent des réponses techniques à ces questionnements artistiques et proposent des outils permettant une écriture scénique plus fine, individualisée, voire immersive. Intéressons-nous aux solutions de détection de position sur un plateau et à leur champ d’application.

Calibration de l’espace 3D – Document © Modulo Pi

Suivi de colis, antivol, surveillance, … ces technologies omniprésentes dans notre quotidien ont été traduites dans le spectacle vivant, offrant une jonction plus naturelle entre le monde réel et la machine. Ce que nous nommons ici “tracking” peut se définir comme un système de suivi d’un ou plusieurs corps ou objet(s) dans un espace donné. Les différentes technologies, bien que reposant sur des fonctionnements variés, suivent les mêmes principes fondamentaux.

Tout d’abord, la position d’un corps dans un espace est détectée par un capteur qui transmet cette donnée physique sous la forme d’un signal. Ces capteurs optiques, soniques ou magnétiques ont chacun leurs particularités en termes de précision, de sensibilité, de latence, ou encore de profondeur de champ.

Ce signal est ensuite converti en données intelligibles par l’utilisateur via un logiciel d’analyse et de filtrage des informations permettant de connaître par exemple le nombre et l’identification des corps détectés.

Une étape de calibration est ensuite nécessaire pour faire coïncider la position détectée par le capteur avec l’emplacement réel sur scène en faisant correspondre leurs référentiels.

Enfin, ces informations, transmises à la console lumière, au média serveur ou au processeur audio au travers de protocoles de communication compatibles, sont assignées par l’utilisateur à des paramètres du spectacle. Par exemple, un groupe de projecteurs va suivre le chanteur, la voix du comédien est diffusée dans un espace sonore cohérent avec sa position sur scène, ou encore des particules vidéo vont jaillir de la main du danseur.

Questions préliminaires

Lorsque l’utilisation d’un système de tracking est envisagée pour un spectacle ou l’équipement d’un lieu, il convient de cibler ses besoins afin de choisir la technologie la plus adaptée.

Tout d’abord, que souhaitez-vous tracker ? Les articulations d’un danseur, le déplacement d’un objet ou la position de 1 500 personnes ?

Ensuite, dans quel espace ces objets vont-ils être suivis ? Sur scène, dans une salle d’exposition ou dans un stade ?

L’installation est-elle autonome, en tournée, en fixe ?

Quels seront les métiers à intégrer ? Son et/ou lumière et/ou vidéo ?

Y’a-t-il des contraintes d’autonomie, d’intégration de boîtier sur le costume de l’interprète, de budget ou de mise en œuvre ?

Enfin, et comme toujours, le pourquoi : pourquoi souhaite-t-on suivre les mouvements d’un interprète ? Est-ce pour résoudre une problématique technique, pour un effet “wahou” ou pour explorer de nouvelles pistes d’écriture ?

Les réponses à ces questions vont permettre d’établir le cahier des charges de la solution de tracking la plus optimale : nombre de corps à suivre, précision nécessaire, moyens matériel, temporel, humain et financier à mettre en œuvre, métier(s) à incorporer, compatibilité avec les systèmes existants, …

Le tracking optique

Dans cette première famille, le suivi est réalisé visuellement via des caméras qui filment l’espace à tracker. L’image vidéo extraite de ces caméras est analysée par un logiciel qui détecte les corps en mouvement grâce à différentes combinaisons d’algorithmes. Le logiciel est capable de fournir aux systèmes de diffusion des informations sur la position, la taille, la vitesse et l’identifiant de chaque corps suivi, ou encore un masque vidéo dynamique.

Certaines caméras sont équipées d’un détecteur permettant de connaître la profondeur en Z de chacun des pixels, à l’image des caméras 3D Kinect qui ont été de nombreuses fois détournées de leurs applications vidéo-ludiques pour capter le mouvement d’interprètes, ou encore d’Augmenta – développé par les Lyonnais de Théoriz Studio – qui propose un suivi sans limitation de nombre de corps ou de taille de la zone grâce à des caméras 3D.

Le couple caméra et LED infrarouge

Lorsque le besoin en précision est impératif, certains fabricants, à l’image de BlackTrax ou de Modulo Kinetic,proposent une solution basée sur la transmission d’informations par infrarouge. Des LEDs, installées sur l’interprète ou sur un élément de décor, émettent un rayonnement infrarouge filmé par un réseau de caméras sensibles à ces rayonnements. Ces LEDs dites pulsantes possèdent un identifiant unique et clignotent à une fréquence spécifique permettant aux caméras d’identifier la position de chacune des LEDs par triangulation.

Ce système a l’avantage d’une très grande précision de l’ordre du centimètre, indispensable pour du mappingvidéo. “Il devient alors possible de projeter une image qui reste calée sur un élément mobile équipé de ces LEDs”, nous explique Yannick Kohn, fondateur de Modulo Pi. En revanche, cette technologie est sensible aux rayonnements infrarouges des projecteurs traditionnels avec lesquels il va falloir travailler conjointement pour obtenir de bons résultats. Le placement et le nombre de caméras devront être étudiés précisément pour éviter que le signal lumineux émis par les LEDs ne soit obstrué par les frises, les éléments de décor, ou même les interprètes.

Le tracking RF

Dans cette seconde famille, le tracking est réalisé à l’aide de tags, des petits boîtiers électroniques dissimulés dans le costume de l’interprète qui émettent un signal RF (radio fréquence) capté par un réseau d’antennes.

Lorsqu’un interprète équipé d’un tag RFID actif (Radio Frequency Identification) se déplace, les antennes –positionnées de façon à couvrir l’ensemble de la zone à tracker – mesurent le temps de vol des ondes et calculent la position du corps par triangulation, à la manière d’un GPS. Ce système, proposé notamment par TTA Stage Tracker II, est utilisable en intérieur comme en extérieur et est peu sensible aux conditions météorologiques.

D’autres fabricants, à l’image de Zactrack ou TiMax, utilisent la technologie UWB (Ultra Wide Band) qui repose sur des tags émettant des impulsions de très courte durée, reçues par des récepteurs répartis dans l’espace scénique. Ces derniers évaluent la distance des tags par mesure du temps de propagation des signaux, ce qui permet au système de calculer la position des tags par trilatération. Cette technologie permet une précision moins vulnérable aux problèmes de réflexion que peuvent avoir les systèmes RFID.

Si ces solutions de tracking RF sont un peu moins précises que les systèmes optiques (de l’ordre de plusieurs centimètres) leur champ d’action est moins contraint par l’environnement et les tags se dissimulent plus facilement dans les costumes. Ces systèmes peuvent suivre jusqu’à trente tags en même temps.

 

La suite de cet article dans le N°229 de l’Actualité de la Scénographie > Acheter ce numéro