Reconocimiento de emociones dentro de los videojuegos

La realidad virtual (VR) está abriendo nuevas y emocionantes fronteras en el desarrollo de videojuegos, allanando el camino para experiencias de juego cada vez más realistas, interactivas e inmersivas. Las consolas de realidad virtual, de hecho, permiten a los jugadores sentir que están casi dentro del juego, superando las limitaciones asociadas con la resolución de la pantalla y los problemas de latencia.

Una integración adicional interesante para la realidad virtual sería el reconocimiento de emociones , ya que esto podría permitir el desarrollo de juegos que respondan a las emociones de un usuario en tiempo real. Con esto en mente, un equipo de investigadores de la Universidad de Yonsei y Motion Device Inc. ha propuesto recientemente una técnica basada en el aprendizaje profundo que podría permitir el reconocimiento de emociones durante las experiencias de juego de realidad virtual. Su artículo fue presentado en la Conferencia IEEE 2019 sobre Realidad Virtual e Interfaces de Usuario 3-D.

Para que la realidad virtual funcione, los usuarios usan pantallas montadas en la cabeza (HMD), para que el contenido de un juego se pueda presentar directamente frente a sus ojos. La fusión de herramientas de reconocimiento de emociones con experiencias de juego de realidad virtual ha demostrado ser un desafío, ya que la mayoría de los modelos de aprendizaje automático para la predicción de emociones funcionan analizando los rostros de las personas; en VR, la cara de un usuario está parcialmente ocluida por el HMD.

Tecnología

¿Como nacieron los videojuegos? Un viaje épico desde lo analógico hasta lo digital

El equipo de investigadores de la Universidad de Yonsei y Motion Device capacitó a tres redes neuronales convolucionales (CNN), a saber, DenseNet, ResNet e Inception-ResNet-V2, para predecir las emociones de las personas a partir de imágenes parciales de rostros. Tomaron imágenes del conjunto de datos Radbound Faces (RaFD), que incluye 8.040 imágenes faciales de 67 sujetos, luego las editaron cubriendo la parte de la cara que el HMD ocluiría al usar VR.

Las imágenes utilizadas para entrenar los algoritmos representan rostros humanos, pero la sección que contiene los ojos, las orejas y las cejas está cubierta por un rectángulo negro. Cuando los investigadores evaluaron sus CNN, descubrieron que podían clasificar las emociones incluso sin analizar estas características particulares de la cara de una persona, que se cree que son de importancia clave para el reconocimiento de las emociones.

En general, la CNN llamada DenseNet funcionó mejor que las demás, logrando precisiones promedio de más del 90 por ciento. Curiosamente, sin embargo, el algoritmo ResNet superó a los otros dos en la clasificación de las expresiones faciales que transmitían miedo y asco.

"Capacitamos con éxito tres arquitecturas de CNN que estiman las emociones de las imágenes de rostros humanos parcialmente cubiertas", escribieron los investigadores en su artículo. "Nuestro estudio mostró la posibilidad de estimar las emociones a partir de imágenes de humanos con HMD usando visión artificial".

El estudio sugiere que en el futuro, las herramientas de reconocimiento de emociones podrían integrarse con la tecnología de realidad virtual, incluso si los HMD ocluyen partes de la cara de un jugador. Además, las CNN que desarrollaron los investigadores podrían inspirar a otros equipos de investigación de todo el mundo a desarrollar nuevas técnicas de reconocimiento de emociones que puedan aplicarse a los juegos de realidad virtual.

Los investigadores ahora planean reemplazar los rectángulos negros que usaron en su estudio con imágenes reales de personas que usan HDM. En última instancia, esto debería permitirles capacitar a las CNN de manera más confiable y efectiva, preparándolas para aplicaciones de la vida real. Con información de Techxplore.