Kennisbank / Interactieve & creatieve AI
Een gesture-controlled interface is een interface die je bestuurt met bewegingen van je handen of lichaam, in plaats van met een muis, toetsenbord of touchscreen. Een camera ziet wat je doet, software vertaalt dat naar landmarks (punten op je hand of lichaam), en die punten sturen live actie op het scherm aan.
Het bijzondere: dit draait tegenwoordig gewoon in de browser, zonder speciale hardware. Een webcam en moderne computer vision zijn genoeg.
De kern is real-time computer vision. Modellen zoals MediaPipe herkennen tot 21 punten per hand, zo'n 30 keer per seconde. Uit die punten leidt de software af waar je hand is, hoe open die is, hoe snel je beweegt en welk gebaar je maakt (knijpen, wijzen, een vuist).
Die gegevens koppel je vervolgens aan wat er moet gebeuren:
Een lichte AI-laag (bijvoorbeeld op TensorFlow.js) maakt de tracking soepeler door ruis weg te filteren, zodat de besturing niet schokkerig aanvoelt.
Wij bouwden zelf twee gesture-projecten die in de browser draaien. WaveMotion is een audiovisueel instrument waarbij je handen het instrument zijn: hoogte bepaalt de toon, afstand het volume, een knijp tokkelt. En dGEN Pong is de klassieke game, maar dan bestuurd met je hand voor de camera. Beide staan in onze project-library.
Verrassend weinig: een idee, een webcam en een browser. De zwaarste keuzes zitten in het ontwerp, welk gebaar doet wat, en hoe houd je de besturing intuïtief. Dat is precies waar wij bij helpen.
dGEN Productions bouwt interactieve AI-apps met computer vision en gesture-besturing, van concept tot werkende browser-app. Bekijk de dienst Interactieve AI-apps of plan een gratis gesprek.
dGEN Productions, AI agency en business-automation partner uit Eindhoven. info@dgenproductions.nl · 06-87413056