Desarrollo de un sistema de reconocimiento de objetos 3D para robótica asistencial basado en redes neuronales convolucionales

Entidades financiadoras: Universidad de Alicante & Generalitat Valenciana

Referencias: GREP-16-19 | GV/2018/022
Duración: 2017-2018 | 2018-2019

Objetivos

Existen multitud de trabajos de investigación sobre el uso de técnicas de reconocimiento de objetos. Sin embargo, se observa que la integración de sistemas de visión 3D robustos en aplicaciones de robótica social es todavía muy escasa. En este proyecto, por lo tanto, pretendemos centrar nuestros esfuerzos en los siguientes objetivos:

• Diseño e implementación de sistemas de representación eficientes/escalable para tratar datos volumétricos 3D en CNNs (Redes Neuronales Convolucionales).
• Diseño y desarrollo de un sistema de reconocimiento de objetos 3D basado en técnicas de Aprendizaje Profundo (CNNs) que funcione en tiempo real y que opere en entornos no controlados: distinta iluminación, altos niveles de oclusión, información incompleta.
• Creación de un repositorio de modelos 3D a gran escala que combine información sintética y real para su posterior explotación mediante técnicas de Inteligencia Computacional. Simulación de datos sintéticos usando un motor gráfico realista.
• Aceleración de técnicas de aprendizaje (CNNs) utilizando GPUs: aceleración módulo de entrenamiento y clasificación. Modelos de aprendizaje dispersos. Optimización parámetros de aprendizaje.
• Diseño y desarrollo de técnicas de aprendizaje automático para estimar datos 3D de alta calidad a un elevado número de imágenes por segundo. Utilización de un par de cámaras estereoscópicas y luz estructurada en el espectro de luz infrarroja (estéreo activo).
• Integración del sistema propuesto con una plataforma robótica real para la asistencia de personas con dependencia: Aceleración módulo de clasificación (reconocimiento objetos 3D) sobre arquitecturas GPU embebidas. 

A nivel científico-técnico se espera conseguir avances significativos en las distintas tecnologías a desarrollar. En cuanto al impacto social se pretende mejorar la calidad de vida de los pacientes con discapacidad. En cuanto al impacto económico, se espera poder obtener un sistema de bajo coste, así como una posible comercialización del mismo. Las tecnologías a desarrollar, entre ellas el sistema para computar información 3D basada en aprendizaje automático serán objeto de patentes intelectuales.

Equipo

• Sergio Orts Escolano (Investigador principal)
• Javier Montoyo
• Serge Ramón
• Otto Colomina
• Alberto García García
• Francisco Gómez Donoso

Resultados

WIP

Publicaciones

• A new dataset and performance evaluation of a region-based cnn for urban object detection (short version). A. Dominguez-Sanchez, M. Cazorla, and S. Orts-Escolano. Electronics, vol. 7, iss. 11, 2018.
• An augmented reality application for improving shopping experience in large retail stores. E. Cruz, S. Orts-Escolano, F. Gomez-Donoso, C. Rizo, J. C. Rangel, H. Mora, and M. Cazorla. Virtual reality, vol. Accepted, 2018.
• A new dataset and performance evaluation of a region-based cnn for urban object detection (Journal extension). A. Dominguez, S. Orts-Escolano, and M. Cazorla, in 2018 ınternational joint conference on neural networks (IJCNN), 2018.
• Detecting and Manipulating Objects with a Social Robot: An Ambient Assisted Living Approach. John Alejandro Castro-Vargas, Alberto Garcia-Garcia, Sergiu Oprea, Sergio Orts-Escolano, José García Rodríguez. ROBOT (1) 2017: 613-624.
• The RobotriX: An eXtremely Photorealistic and Very-Large-Scale Indoor Dataset of Sequences with Robot Trajectories and Interactions. Albert Garcia-Garcia,Sergiu Oprea, Pablo Martinez-Gonzalez, Sergio Orts-Escolano, Jose Garcia-Rodriguez. International Conference on Intelligent Robots (IROS 2018).

Otras contribuciones

• Organización número especial revista Electronics, (IF 2.110) Special Issue: Machine Learning Techniques for Assistive Robotics.
  https://www.mdpi.com/journal/electronics/special_issues/machine_learning_assistive_robotics
• Defensa tesis doctoral por parte de Alejandro Domínguez Sánchez: Recognition of driving objects in real time with computer vision and deep neural networks. Supervisores: Miguel Cazorla y Sergio Orts-Escolano. Fecha de defensa 19 de Diciembre de 2018.