La pulsera portátil que captura la postura y todo el cuerpo en 3D
Usando una cámara en miniatura y una red neuronal profunda personalizada, los investigadores de Cornell han desarrollado una pulsera única en su tipo que rastrea la postura de todo el cuerpo en 3D.
BodyTrak es el primer wearable para rastrear la pose de cuerpo completo con una sola cámara. Si se integra en futuros relojes inteligentes, BodyTrak podría ser un cambio de juego en el monitoreo de la mecánica corporal del usuario en actividades físicas donde la precisión es crítica, dijo Cheng Zhang, profesor asistente de ciencias de la información y autor principal del artículo.
«Dado que los relojes inteligentes ya tienen una cámara, la tecnología como BodyTrak podría entender la pose del usuario y dar retroalimentación en tiempo real», dijo Zhang. «Eso es práctico, asequible y no limita el área de movimiento del usuario».
Un artículo correspondiente, «BodyTrak: Inferring Full-body Poses from Body Silhouettes Using a Miniature Camera on a Wristband», se publicó en Proceedings of the Association for Computing Machinery (ACM) sobre tecnología interactiva, móvil, portátil y ubicua, y se presentó en septiembre en Ubi Comp 2022, la conferencia internacional de ACM sobre computación ubicua y ubicua.
BodyTrak es el último sistema de detección corporal del SciFiLab, con sede en el Cornell Ann S. Bowers College of Computing and Information Science, un grupo que previamente ha desarrollado y aprovechado modelos similares de aprendizaje profundo para rastrear movimientos de manos y dedos, expresiones faciales e incluso reconocimiento de voz silenciosa.
El secreto de BodyTrak no solo está en la cámara del tamaño de una moneda de diez centavos en la muñeca, sino también en la red neuronal profunda personalizada detrás de ella. Esta red neuronal profunda, un método de IA que entrena a las computadoras para aprender de los errores, lee las imágenes rudimentarias de la cámara o «siluetas» del cuerpo del usuario en movimiento y prácticamente recrea 14 poses corporales en 3D y en tiempo real.
En otras palabras, el modelo completa con precisión las imágenes parciales capturadas por la cámara, dijo Hyunchul Lim, estudiante de doctorado en el campo de la ciencia de la información y autor principal del artículo.
«Nuestra investigación muestra que no necesitamos que nuestros marcos corporales estén completamente dentro de la vista de la cámara para la detección del cuerpo», dijo Lim. «Si somos capaces de capturar solo una parte de nuestros cuerpos, eso es mucha información para inferir para reconstruir el cuerpo completo».
Mantener la privacidad de los transeúntes cerca de alguien que usa un dispositivo de detección de este tipo es una preocupación legítima al desarrollar estas tecnologías, dijeron Zhang y Lim. Dijeron que BodyTrak mitiga las preocupaciones de privacidad para los transeúntes, ya que la cámara apunta hacia el cuerpo del usuario y recopila solo imágenes parciales del cuerpo del usuario.
También reconocen que los relojes inteligentes de hoy en día aún no tienen cámaras lo suficientemente pequeñas o potentes y una duración de batería adecuada para integrar la detección de cuerpo completo, pero podrían hacerlo en el futuro.
Junto con Lim y Zhang, los coautores del artículo son Matthew Dressa ’22, Jae Hoon Kim ’23 y Ruidong Zhang, estudiante de doctorado en el campo de la ciencia de la información; Yaxuan Li de la Universidad McGill; y Fang Hu de la Universidad Jian Tong de Shanghai.
