Mocopi es una captura de movimiento móvil que permite la entrada de movimiento en tiempo real a la captura de movimiento y la realidad virtual (VR) mediante el uso de pequeños y ligeros sensores con tecnología propietaria y un smartphone (aplicación dedicada). No solo es fácil producir vídeos de avatares y datos de movimiento que incluyen movimientos de todo el cuerpo en interiores y exteriores, sino que también es posible controlar avatares en tiempo real como dispositivo de entrada de movimiento.
Es un producto que consiste en seis bandas de seguimiento de movimiento que se usan en las manos, los pies, la espalda y la cabeza, y tiene un precio de 49.500 yenes (alrededor de 358 dólares). El objetivo es permitirte hacer un seguimiento de tu cuerpo para crear vídeos o controlar avatares en tiempo real con aplicaciones de metaversos como VRChat. Incluso ofrece un SDK que te permite importar datos de movimiento a aplicaciones de animación 3D.
Entre las características del producto se destaca la "facilidad de uso". Al poder sensar todo el cuerpo con solo pequeños sensores y un smartphone, es fácil utilizarlo tanto en espacios interiores estrechos como en exteriores. Los sensores también son "pequeños, de aproximadamente 3 cm de tamaño y con un peso de solo 8 g, lo que facilita su uso y minimiza la molestia de usarlo", según el jefe de la Oficina de Promoción del Negocio de Motion de la División de Desarrollo de Tecnología de Comunicación del Departamento de Desarrollo de Negocios y Tecnología Nuevos de Sony. Con las técnicas existentes, a veces es necesario configurar un estudio con varias cámaras y sensores, o usar ropa o dispositivos grandes para la captura de movimiento del cuerpo completo.
Al parecer, Mocopi es un juego de palabras con el término "mocap" (captura de movimiento). Los seis sensores de movimiento ligeros y de colores de Mocopi utilizan "una tecnología propietaria y un teléfono inteligente" con una aplicación dedicada, según Sony. "Normalmente, la producción de vídeo con captura de movimiento requiere equipo y operadores dedicados", escribió Sony. "Al utilizar nuestro algoritmo propietario, 'Mocopi' logra una medición de movimiento altamente precisa con un pequeño número de sensores, liberando a los VTubers [YouTubers virtuales] y creadores involucrados en la producción de películas y animaciones de las limitaciones de tiempo y lugar".
Como demostración, se utilizó mocopi para sensar los movimientos del cuerpo completo de un usuario. Al presionar el botón central del sensor, se conectó vía Bluetooth con el smartphone. Después de proporcionar la altura del usuario del sensor a la aplicación dedicada del smartphone y realizar la calibración, el avatar digital en el espacio digital se movió de acuerdo con los movimientos del usuario. Sony utiliza la tecnología de aprendizaje profundo para reproducir los movimientos en el espacio digital.
"Los sensores solo están en ambas manos, ambos pies, la cabeza y la cintura. A través de los datos y el conocimiento que hemos acumulado, hemos logrado predecir los movimientos de las partes no cubiertas por los sensores a partir de los movimientos del cuerpo humano obtenidos con los sensores", dijo el jefe de la Oficina de Promoción del Negocio de Motion.
La parte más difícil de detectar son los pies cuando estos están alejados del suelo. Por ejemplo cuando estamos montando en bici o cuando estamos en un columpio.
El 15 de diciembre, Sony proporcionó un kit de desarrollo de software (SDK) que vincule los datos de captura de movimiento con servicios de metaversos, junto con la plataforma de desarrollo en tiempo real Unity y la aplicación de animación/captura de movimiento MotionBuilder de Autodesk. "Este SDK amplía el uso de los datos de movimiento para actividades como el seguimiento completo del cuerpo, facilitando así el desarrollo de nuevos servicios en áreas como el metaversos y el fitness".
En un video tutorial (abajo), Sony muestra cómo puedes emparejar los sensores con la aplicación, colocarlos en tu cuerpo y calibrarlos. A partir de ahí, puedes empezar a bailar o hacer otros movimientos y ver cómo los avatares de la aplicación imitan tus acciones. Un segundo video que presenta algunas animaciones de avatares (arriba) se ve bien, pero sí revela problemas típicos de captura de movimiento como el tembleque y el deslizamiento de los pies.
Es un producto ambicioso que va dirigido no solo a las personas interesadas en el metaversos, sino también a profesionales de la animación y cineastas. Sony señala que puedes usar avatares VRM existentes y exportar vídeos grabados en formato MP4, siempre y cuando tengas un dispositivo con iOS 15.7.1 o Android 11. Las reservas comenzaron a mediados de diciembre de 2022 y se pondrá a la venta a finales de enero de 2023, pero todavía no hay noticias sobre su disponibilidad en América del Norte o Europa.