El crecimiento exponencial que han registrado los contenidos virtuales, a raíz de las mejoras en las gafas de realidad virtual y aumentada y el desarrollo del metaverso, ha generado la necesidad de incorporar avatares cada vez más precisos y realistas, que logren hibridar el mundo virtual y el real. Un reto al que da respuesta el proyecto AVATARES, en el que el Instituto de Biomecánica (IBV) ha trabajado para generar una nueva generación de “avatares” o “modelos digitales humanos” para aplicaciones de Realidad Extendida y su uso en sectores como el del entretenimiento, el audiovisual, el de las aplicaciones multimedia, el meta-comercio o el metaverso.
Esta iniciativa cuenta con la financiación de la Conselleria de Innovación, Industria, Comercio y Turismo de la Generalitat Valenciana, a través de la Dirección General de Innovación. El objetivo de AVATARES ha sido desarrollar una nueva generación de avatares de alta calidad con características avanzadas para mejorar la fidelidad con su homólogo en el mundo real. Además, la mejora de texturas y detalles precisos en la piel, el pelo, la ropa y otros, han contribuido a lograr avatares hiperrealistas y atractivos visualmente, enfocados principalmente hacia su aplicación en Realidad Extendida.
A través del uso de la tecnología de escaneado corporal dinámico MOVE4D, que permite capturar la superficie del cuerpo humano en movimiento y su posterior procesado con malla homóloga, se han podido desarrollar estas investigaciones centradas en mejorar el hiperrealismo de los avatares de primera generación, en cuanto a textura y movimiento, mejorar la eficiencia de los procesos de creación de contenidos y la captura del avatar en movimiento a tiempo real.
2ª generación de modelos digitales humanos o avatares
Esta nueva generación de avatares ha pretendido aunar precisión y realismo, permitiendo su aplicación en ámbitos tradicionales de uso como la simulación biomecánica, la ergonomía o la salud, pero también en sectores emergentes como el del entretenimiento o el metaverso, con unas necesidades muy diferentes en cuanto a foto-realismo (tanto en apariencia del avatar como en movimientos, y en la interacción con personas y objetos dentro de entornos 3D), opciones avanzadas de personalización, generación en tiempo real o interoperabilidad para su uso en múltiples aplicaciones.
En palabras de Carmelo Lizarraga, director de Innovación en el área de Tecnologías en IBV, “nos hemos centrado en mejorar el hiperrealismo de los avatares mediante la captura fiel de movimientos dinámicos y mejora de las texturas durante el proceso de captura y también durante el del procesado, mejorar el detalle y la resolución en la cara y las manos, fidelidad visual e identidad digital”.
La reducción de oclusiones en la captura con objetos ha sido otro de los aspectos en los que el IBV ha estado trabajando. Todo ello, mediante la ampliación de sensores y el diseño de modos de captura que han permitido gestionar los tiempos de exposición y facilitar el registro de superficies con mayor capacidad de absorción de luz, como el pelo y algunos tejidos.
“Asimismo, hemos optimizado los algoritmos de transmisión de nubes de puntos para progresar hacia la captura en tiempo real y la creación de diferentes modos de captura multiresolución”, apunta Lizarraga.
Por último, se ha trabajado en asegurar la interoperabilidad de esta nueva generación de avatares y en mejorar la eficiencia en los procesos de creación de contenidos, adaptando los avatares a una topología de malla y esqueleto óptimos para los procesos de animación, así como la optimización de los formatos de exportación de datos.
Estas investigaciones han contado con la colaboración de firmas como Brainstorm Multimedia, Innoarea Projects, Play and Go Experience y Aumenta Vilanova, que han permitido asegurar la transferencia al mercado de los resultados obtenidos a través de casos de uso y su adecuación a las necesidades de los diferentes sectores.
Finalmente, el Proyecto AVATARES está financiado por la Conselleria de Innovación, Industria, Comercio y Turismo, a través de la Línea Nominativa S0832 “Ayudas a los IITT para proyectos de innovación en colaboración con empresas en el marco de la Especialización Inteligente” durante el ejercicio 2024 (CONV24/DGINN/19).