Desarrollan una tecnología para reconstruir cabezas en 3D con alta precisión a partir de tres imágenes

+
Descargar

Reconstrucción de la cabeza con alta precisión a partir de solo tres imágenes, asumiendo máscaras y posiciones de cámaras conocidas

+
Descargar

Aplicación de técnicas de aprendizaje profundo para la reconstrucción 3D

Deep Learning Barcelona Symposium

El Deep Learning Barcelona Symposium (DLBCN) 2021, que se organiza el 22 y 23 de diciembre en el edificio Vèrtex de la UPC, reunirá a investigadores e investigadoras de diversas disciplinas relacionadas con el aprendizaje profundo. El simposio acogerá 32 charlas y 41 sesiones de laboratorios de investigación del país, universidades como la Stanford University, el Massachusetts Institute of Technology (MIT) o la Columbia University, y empresas como Meta, Amazon, NVidia o ElementAI.

Entre los ponentes, destaca la presencia de Joan Bruna, profesor de la New York University y coautor de 'Geometric Deep Learning', uno de los libros con mayor impacto en este campo. El simposio incluirá también charlas de otros investigadores destacados, como Elisenda Bou, alumni UPC y cofundadora de la start-up Vilynx, y Joan Serrà, pionero en la aplicación de las redes neuronales en el procesamiento de audio desde el laboratorio de investigación de Dolby en Barcelona.

El aprendizaje profundo es uno de los motores de la actual revolución tecnológica en torno a la Inteligencia Artificial, que se ha implantado en casi todos los campos audiovisuales, como el reconocimiento del habla de los asistentes virtuales o los organizadores de archivos fotográficos. La tendencia se ha extendido al campo de las ciencias de la vida, con aplicaciones para el desarrollo de nuevos fármacos o el soporte al diagnóstico médico. En este contexto, el simposio incluye este año una sesión para dar a conocer aplicaciones de esta tecnología en la genómica, la nutrición, la detección de la COVID-19 a partir de la tos o la imagen médica.

Además de la UPC, coorganizan el simposio la Universitat de Barcelona, la Universitat Pompeu Fabra, la Universitat Oberta de Catalunya, el IRI, el Centro de Visión por Computador, Telefónica y Dolby Laboratories. La inscripción es gratuita.

Investigadores de la UPC, el IRI y la empresa Crisalix han creado un sistema basado en las redes neuronales profundas, que permite reconstruir cabezas humanas en 3D a partir de tan solo tres fotografías, y que ayuda a planificar mejor las intervenciones de cirugía estética y reconstructiva. El artículo científico donde se define el método ha sido aceptado en la International Conference on Computer Vision de este año y se presentará en el Deep Learning Barcelona Symposium 2021, el 22 de diciembre.

23/12/2021

Disponer de modelos precisos de la cabeza en 3D es fundamental en el planteamiento de una cirugía estética o reconstructiva, ya que ayuda a planificar mejor la intervención: los pacientes pueden valorar los efectos de la cirugía antes de entrar en el quirófano, y los cirujanos pueden ir introduciendo modificaciones hasta ajustarse al resultado deseado. Hasta ahora, estos modelos se obtenían a partir de imágenes de escáner que el equipo médico toma de la cabeza del paciente a través de un sensor de profundidad, una técnica que obliga a la presencialidad y que, con el confinamiento derivado de la pandemia por COVID-19, ha supuesto un impedimento en la programación de este tipo de intervenciones.

Ahora, investigadores de Crisalix, la Universitat Politècnica de Catalunya · BarcelonaTech (UPC) y el Instituto de Robótica e Informática Industrial (IRI) —centro mixto del Consejo Superior de Investigaciones Científicas (CSIC) y la UPC— presentan un sistema que permite reconstruir cabezas humanas en 3D con gran precisión a partir de solo tres imágenes. La tecnología, conocida como H3D-Net, ha sido desarrollada por el investigador Eduard Ramon —en el marco del doctorado industrial que lleva a cabo en la empresa Crisalix—, con el asesoramiento de los profesores de la UPC y el IRI Xavier Giró y Francesc Moreno.

Según explica Eduard Ramon, “la clave de esta tecnología es el uso de una representación 3D llamada 'superficie implícita', que permite expresar formas mucho más complejas que las representaciones utilizadas hasta ahora. Este tipo de representación, combinada con una red profunda neuronal entrenada con miles de casos, es lo que permite obtener reconstrucciones 3D muy precisas y robustas a partir de pocas imágenes”.


Tecnología que ya se aplica en intervenciones médicas
Crisalix es una empresa de simulación estética 3D, pionera en la adopción e investigación de estas tecnologías. Acoge cuatro doctorados industriales, tres de ellos en colaboración con la UPC y el IRI. Justamente, la madurez de su sistema permitió que la empresa pudiera adaptarse rápidamente a los confinamientos durante la pandemia de COVID-19 y poder seguir ofreciendo este servicio, tal y como explica el investigador Xavier Giró, vinculado al Grupo de Procesamiento de Imagen y Vídeo (GPI) de la UPC: "Los modelos 3D de la forma de la cabeza han ayudado a cirujanos plásticos y a sus pacientes a planificar mejor las intervenciones en el contexto de la pandemia, donde no eran posibles las citas presenciales. Así, el paciente podía hacerse las fotografías él mismo y las enviaba al cirujano, que creaba el modelo 3D de la cabeza del paciente".

Giró avanza otras aplicaciones de la herramienta más allá del campo de la cirugía estética o reconstructiva, "como en el desarrollo de avatares virtuales para la industria del entretenimiento o la venta de ropa online".

Presentación en el Deep Learning Barcelona Symposium
La tecnología H3D-Net, que se dio a conocer recientemente en la International Conference on Computer Vision, uno de los eventos más prestigiosos en el ámbito de la visión por computador, se presentará en el Deep Learning Barcelona Symposium (DLBCN) 2021 el 22 de diciembre , a las 10 h, en la Sala de actos del edificio Vèrtex de la UPC, en el Campus Diagonal Nord, a cargo del investigador Eduard Ramon.

Más información