Een browser-gebaseerd audiovisueel instrument waarbij je handen het instrument zijn. Handtracking in de browser vertaalt beweging live naar geluid en beeld.
WaveMotion is een experimenteel, browser-gebaseerd audiovisueel instrument: je handen zíjn het instrument. Geen knoppen, geen menu's, geen play-knop. Je houdt je hand voor de camera en er ontstaat geluid; je beweegt en het geluid verandert; je haalt je hand weg en het valt stil. Elke dimensie van beweging stuurt geluid aan: hoogte bepaalt toonhoogte, afstand het volume en de ruimte, openheid de klankkleur, rotatie de vibrato. Discrete gebaren komen daar bovenop: knijpen tokkelt, slaan triggert percussie, een vuist dempt. Zet je het visuele spectrum aan, dan wordt het geluid ook zichtbaar in deeltjes, een vervormend raster en lichtstrengen tussen je vingers. Onder de motorkap draait realtime handtracking (21 punten per hand op zo'n 30 beelden per seconde), audiosynthese via Web Audio en 3D-visuals, met een lichte AI-laag die de tracking ontruist en de mapping slimmer maakt. Een pure demonstratie van real-time computer vision, audio en visuals als één systeem.
Realtime Hand wordt geluid en beeld
WaveMotion draait de gebruikelijke interface om. Er is geen play-knop, geen menu en geen controller. Je houdt je hand voor de camera en er ontstaat geluid; je beweegt en het geluid verandert; je haalt je hand weg en het valt stil. Je aanwezigheid is de interface.
Het is bewust een experiment: een onderzoek naar hoe direct en intuïtief besturing kan worden als je het lichaam zelf tot instrument maakt.
Onder de motorkap wordt elke dimensie van je handbeweging live gekoppeld aan geluid. Hoogte bepaalt de toonhoogte, afstand het volume en de ruimte, de openheid van je hand de klankkleur, rotatie de vibrato. Discrete gebaren komen daar bovenop: knijpen tokkelt, een slaande beweging triggert percussie, een vuist dempt. Zet je het visuele spectrum aan, dan wordt het geluid ook zichtbaar in deeltjes, een vervormend raster en lichtstrengen tussen je vingers.
Alles draait realtime in de browser: handtracking van 21 punten per hand op zo'n 30 beelden per seconde, audiosynthese via Web Audio, en 3D-visuals. Een lichte AI-laag ontruist de tracking en maakt de mapping slimmer, zodat de besturing soepel aanvoelt in plaats van schokkerig. Het is een demonstratie van computer vision, geluid en beeld als één samenhangend systeem, precies de bouwstenen die we ook in serieuze interactieve installaties inzetten.
Muziek maken puur met je handen, zonder controller of instrument.
Een interactieve audiovisuele ervaring voor events, expo's of etalages.
Bewijs van real-time computer vision, audio en visuals in één browser.
Ja. Alles gebeurt lokaal in de browser via de webcam: handtracking, audiosynthese en 3D-visuals, zonder installatie.
Als embodied instrument en als interactieve installatie, en als demonstratie van hoe we real-time computer vision met geluid en beeld combineren.
MediaPipe, Tone.js, Three.js, TensorFlow.js, React
Alle cases of plan een gesprek.
dGEN Productions, AI agency en business-automation partner uit Eindhoven. info@dgenproductions.nl · 06-87413056