Instrumento · Cámara · Gestos
Repique Code
Repique Code se toca en el aire: no tocás ninguna tecla ni pantalla. En el modo dibujo, apuntando al cielo se trazan imágenes que aparecen en pantalla y que el propio candombe hace bailar. En el modo música la posición de tus dedos crea figuras que son notas, y en el modo baile cada movimiento es un sonido. No hace falta saber música, ni saber bailar, ni saber dibujar: solo hace falta saber conectar, como en el candombe.
Repique Code está inspirado en el candombe. No reproduce el candombe. No puede: el candombe es la gente, es la energía del encuentro, del tambor. Esta obra interactiva es de Código Abierto porque busca propagar cultura. Disfrútala.
Se abre la cámara (con tu permiso). Todo pasa en tu dispositivo y nada se sube solo: si querés publicar tu dibujo tenés que elegirlo, y entonces la cámara sale desenfocada a propósito — se ve que estuviste, no quién sos.
01 — La idea
Tu cuerpo es el instrumento
La cámara te mira las manos. Según cómo las movés —subirlas, bajarlas, juntarlas, abrirlas, barrer hacia un lado— se dispara música y aparecen efectos visuales en la pantalla. Es como un theremín moderno: tocás el aire.
Tiene tres modos: música (un ritmo de fondo y notas según la forma de las manos), pintura (dibujás con los dedos) y baile (cada movimiento dispara un sonido que vos podés elegir).
02 — Reconocer las manos
El algoritmo que ve tus dedos
El algoritmo que reconoce la mano es MediaPipe Hand Landmarker, un modelo de inteligencia artificial de Google. Mirando la imagen de la cámara, encuentra 21 puntitos en cada mano (la muñeca, los nudillos y la punta de cada dedo), hasta en dos manos a la vez.
Lo hace unas 60 veces por segundo y corre en la placa de video (GPU) de tu propia compu o teléfono. Por eso es rápido y, sobre todo, la cámara nunca sale de tu dispositivo: no hay ningún servidor mirando.
Con esos puntitos, el programa calcula cosas como: qué forma hacen las manos, cuánto se abren, a qué velocidad se mueven y para qué lado. Eso es lo que se traduce en música.
03 — Los sonidos
De dónde sale la música
La biblioteca de sonidos que usamos es Tone.js (sobre la Web Audio API del navegador). Lo interesante: casi todo el sonido no son archivos grabados, sino que se genera en vivo mientras tocás (síntesis). Eso permite que cada nota se afine al ritmo y reaccione al instante.
En el modo baile, cada gesto dispara un sonido, y podés elegirlos entre tres familias de timbres:
Efectos electrónicos de fiesta: drops, risers, stabs, láseres, barridos. La onda festival.
Órgano grave y espacial. Cada gesto es una nota (Do-Re-Mi-Fa-Sol-La-Si-Do): se puede tocar una melodía.
Timbres agudos y cristalinos: campanas, vidrios, carillones, chispas.
Para el ritmo candombero hay también una grabación real de tambores (del dataset abierto de Jure & Rocamora, licencia CC-BY) y un secuenciador editable. Y un looper: graba lo que tocás durante dos compases y lo deja girando en bucle, en tiempo con el ritmo.
04 — El recorrido
Cómo se conecta todo
Sesenta veces por segundo, el programa repite este recorrido:
Capta la imagen de tus manos.
Encuentra los 21 puntos de cada mano.
Interpreta forma, movimiento y velocidad.
Tone.js genera la música y el canvas dibuja los efectos.
05 — La tecnología
Con qué está hecho
El modelo de Google que detecta las manos, en la GPU del dispositivo.
Genera y secuencia el sonido en vivo, sobre la Web Audio API.
El video espejado y los efectos del modo baile (estela, fuego, galaxia…).
Hecho a mano, sin frameworks: liviano y con control total del tiempo real.
Empaqueta todo en una página estática, sin servidor que procese nada.
El instrumento vive embebido en este sitio y se publica con un simple git push.
06 — Código abierto
Una obra que no está terminada
Repique Code es software libre, con licencia MIT. Cualquiera puede descargarlo, abrirlo, modificarlo y publicar su propia versión. No hace falta pedir permiso ni devolver nada.
Empezó como un experimento de detectar manos con la cámara y hoy tiene tres modos, ocho ritmos editables, cuatro familias de timbres y un looper. Cada capa se agregó encima de la anterior, durante meses, en diálogo con modelos de inteligencia artificial. La complejidad no fue planificada: se acumuló. Y la idea es que siga acumulándose, también en manos ajenas.
Por eso el repositorio incluye no sólo el código, sino el mapa que se le pasa a la IA para que entienda el proyecto antes de tocarlo, y recetas concretas para agregarle timbres, ritmos y gestos nuevos. Es un experimento sobre qué pasa cuando una obra deja de tener un estado final y pasa a tener sólo estados sucesivos.
Los samples de percusión son Creative Commons, y el ritmo de candombe grabado viene del dataset abierto de Jure & Rocamora. Lo que se recibió abierto, se devuelve abierto.
¿Lo probamos?
Necesitás una cámara y permitir el acceso. Movés las manos y empieza a sonar.