Un proyecto japonés busca hacer más comprensible el esgrima al implementar tecnología que muestra la trayectoria de la espada en tiempo real, la cual el ojo humano del público general no puede seguir por sí solo

Por años, el esgrima se ha posicionado como uno de los deportes más difíciles de visualizar, lo cual ha limitado el aumento de su público.

Con su proyecto “Fencing Visualized” (“Esgrima Visualizada”), las empresas japonesas Rhizomatiks y Dentsu Lab Tokyo buscan hacer más comprensible este deporte para el público general al mostrar trayectorias que el ojo humano no puede seguir por sí solo.

De acuerdo con la página oficial de Rhizomatiks, el próximo sábado 25 de abril, la Liga Mundial de Esgrima en Los Ángeles será el escenario de esta innovación tecnológica.

Tecnología

Toyota presenta a CUE7, su robot con inteligencia artificial que encesta la pelota con precisión casi perfecta sin fallar tiros

El sistema capturará y visualizará en tiempo real el movimiento de las puntas de las espadas de los esgrimistas.

¿Cómo funciona este sistema de visualización?

La tecnología captura el movimiento de la punta de la espada sin necesidad de marcadores físicos. Luego lo representa como trayectorias dinámicas en la pantalla.

El público puede apreciar así las técnicas avanzadas de los atletas desde una nueva perspectiva.

Rhizomatiks, colectivo creativo que combina teconología y arte, ha desarrollado este sistema de rastreo y visualización en colaboración con Dentsu Lab Tokyo.

El sistema ha evolucionado desde 2012. En sus versiones actuales emplea aprendizaje profundo (deep learning), técnica de inteligencia artificial, para visualizar las puntas sin marcadores y tecnología de realidad aumentada (AR) para mostrar las puntas de las espadas en movimiento.

¿Por qué surgió la necesidad de este proyecto?

Rhizomatiks reconoció que la esgrima es uno de los deportes más antiguos del mundo y es muy conocida a nivel global, pero la mayoría de las personas no están familiarizadas con sus reglas; cuando ven un combate, tienen dificultades para entender lo que ocurre.

En 2013, Yuki Ota, el primer medallista olímpico japonés en esgrima, y Dentsu planearon un proyecto de investigación y desarrollo. El objetivo era mejorar la experiencia de ver deportes usando tecnología.

Te puede interesar: Tijuanense es campeona nacional de esgrima en Estados Unidos

La meta era clara: hacer que la esgrima fuera más fácil de entender y más atractiva para el público.

Tecnología

Toyota presenta a CUE7, su robot con inteligencia artificial que encesta la pelota con precisión casi perfecta sin fallar tiros

Rhizomatiks propuso entonces la idea de visualizar las puntas de las espadas y así nació oficialmente el “Fencing Visualized Project”.

¿Cuál es el origen tecnológico del proyecto?

En 2012, Daito Manabe y Motoi Ishibashi, fundadores de Rhizomatiks, trabajaban en un proyecto de realidad aumentada para visualizar y rastrear el movimiento de los bailarines. Para ello, usaban captura de movimiento, una cámara de alta velocidad, marcadores caseros y software.

Entonces cuando surgió la idea de combinar esgrima con tecnología, el equipo pensó en desplegar un sistema que ya conocían y habían usado antes.

La punta de una espada de esgrima es difícil de seguir a simple vista, pero pensaron que podrían capturarla con una cámara de alta velocidad rastreando un pequeño marcador en la punta.

Así planearon y propusieron el “Sistema de rastreo y visualización del esgrima” (“Fencing tracking and visualization system”).

¿Cómo se rastrean las puntas sin marcadores?

Desde 2016, el equipo comenzó a desarrollar un sistema que pudiera detectar la posición de la punta de la espada solo con imágenes de cámara sin causar ninguna molestia a los esgrimistas.

El objetivo era introducir el sistema en combates reales.

Las dificultades eran grandes:

• Las espadas de esgrima se mueven muy rápido.
• La forma de la espada cambia mucho cuando se dobla.
• La punta ocupa solo unos pocos píxeles de ancho incluso en una cámara 4K, lo cual era demasiado pequeño para los métodos tradicionales de procesamiento de imágenes.

El equipo desarrolló una nueva red neuronal profunda para detección de objetos.

Usaron un algoritmo general de aprendizaje profundo y lo combinaron con hardware especial y una configuración de cámaras.

El algoritmo logró detectar la posición de las puntas con alta precisión. Una sola cámara solo cubre 8 metros. Pero al instalar 24 cámaras a ambos lados de la pista, pudieron cubrir toda el área. Esto también mejoró la solidez de la detección.

Te puede interesar: Nueva tecnología solar convierte gotas de lluvia en electricidad y promete energía continua incluso en días nublados o tormentas

¿Cuándo se utilizó por primera vez en competencias reales?

El sistema se demostró en:

• Combates de exhibición en el 71º Campeonato Nacional de Esgrima de Japón en 2018.
• Se introdujo en combates reales por primera vez en el 72º Campeonato Nacional en 2019.

Para entonces, la detección de la punta pasó de 2D a 3D. También se añadió una visualización elaborada que incluía estimación de postura.

El sistema detectaba no solo la posición de las puntas sino también su ángulo, así como la posición y el ángulo de la guardia de la espada.

El sábado 25 de abril, se podrá ver por primera vez en Estados Unidos cómo la tecnología convierte los movimientos rápidos de la esgrima en arte visual comprensible.