Vivo : une approche multimodale de la synthese concatenative par corpus dans le cadre d'une oeuvre audiovisuelle immersive
Mateo Fayet
TL;DR
Ce travail explore une approche multimodale de synthèse concaténative par corpus dans une œuvre audiovisuelle immersive en articulant un corpus sonore et visuel autour d’un dispositif CBCS et d’outils Max/Midisoft. L’un des axes centraux est ViVo, un ensemble de modules Jitter qui analyse en temps réel des descriptors video (Warmness, Sharpness, Detail, Optical Flow) et les mappe vers des paramètres de synthèse granulaire (via CataRT/MuBu) et un environnement VJing (ViJo). Le mémoire détaille aussi le développement d’outils de mapping (OSC, scaler, pattrstorage, router) et les défis techniques (latences, performances) tout en examinant les enjeux artistiques et médiologiques de l’institutionnalisation d’un instrument numérique et de sa diffusion. En s’appuyant sur des références historiques de la synthèse granulaires et de la vidéomusique (Gabor, Xenakis, Schaeffer, McLaren, Piché, Moreau) et sur des cadres perceptifs comme la synesthésie et le timbre-sémantique, le travail propose une méthodologie de convergence entre arts et sciences et esquisse des perspectives pour étendre l’outil à des performances vivant et interactives. L’apport clé réside dans l’implémentation d’un pipeline opérationnel reliant l’analyse visuelle en temps réel à des processus granulaires, ouvrant des possibilités de mappings multimodaux et de diffusion élargies dans des contextes artistiques et pédagogiques.
Abstract
Which visual descriptors are suitable for multi-modal interaction and how to integrate them via real-time video data analysis into a corpus-based concatenative synthesis sound system.