Sistemas interactivos Audioreactivos
Utilización de sensores para captar el movimiento de brazos, manos o cuerpo completo y generar interacción reactiva entre el audio y el contenido visual.
En este sistema se pueden utilizar señales MIDI de instrumentos virtuales como también dispositivos electrónicos con salida USB o MIDI DIN-5.
El sistema está compuesto por dos programas:
TouchDesigner:
para la creación del contenido visual y para recibir las señales MIDI/OSC de los sensores y de Ableton Live.
Ableton Live:
para que la información de la sesión, y el audio o MIDI de cada canal pueda ser interpretado para enviar información a TouchDesigner.
Leap Motion
Sensor de manos para controlar parámetros del contenido visual y de instrumentos virtuales.
Se puede interpretar la cantidad de dedos, rotación, translación de las manos.
Control visual y sonoro
Control visual y sonoro
Control visual
Control visual
Control visual
Control visual
Control visual
Control visual
Control visual y sonoro
Myo Armband
Sensor de brazo MYO para controlar parámetros de instrumentos virtuales utilizando señales MIDI y OSC.
Control gestual
Se envían señales hacia Ableton Live para controlar diferentes parámetros sonoros, utilizando rotación y movimiento del brazo.
Kinect
Sensor Kinect para capturar movimientos corporales.
Se detecta la posición de la mano en el espacio, para activar diferentes parámetros audiovisuales.
Batería aérea
Se detecta la posición de la mano en el espacio, para activar diferentes parámetros audiovisuales.
Sistema de fluidos
Se controla el movimiento de fluidos utilizando el movimiento de las manos.
Interfaz de control aéreo
Se detectan los movimientos de las manos a través del sensor, según el pulsador que seleccione se puede activar un sonido o visual específica.
Controladores MIDI
Utilizando los pads y potenciómetros de controladores, se envían señales midi, para la activación de diferentes parámetros.
.
.
.
Machine Learning
Utilizando algoritmos entrenados para comprender lo que ve la cámara, se emplean diferentes técnicas de control audiovisual.
Detección de dedos:
Se reconoce la cantidad de dedos que se muestran a la cámara, para activar diferentes parámetros.
Detección de colores
Se puede utilizar para seguimiento de un color especifico, se obtienen las coordenadas de movimiento y luego asigna a parametros visuales o sonoros.
Seguimiento de ojos:
Según hacia donde se dirija la mirada, se utiliza ese movimiento para control audiovisual.