Este proyecto ha sido financiado por el Ministerio de Economía y Competitividad del Gobierno de España dentro del Programa Estatal de I+D+i Orientada a los Retos de la Sociedad y confinanciado con fondos Feder europeos. LA referencia del proyecto es DPI2013-40534-R y el título completo: SIRMAVED: DESARROLLO DE UN SISTEMA INTEGRAL ROBOTICO DE MONITORIZACION E INTERACCION PARA PERSONAS CON DAÑO CEREBRAL ADQUIRIDO Y DEPENDIENTES

La atención de personas dependientes, ya sea por enfermedad, accidente, discapacidad, o envejecimiento, es una de las líneas prioritarias de investigación en los países desarrollados en la actualidad. Esta atención, además de servir de ayuda y compañía, se está planteando que sea incluso terapeútica. Por otra parte, se pretende que dicha atención sea en el hogar de la persona, con el objetivo de minimizar el coste de las terapias.

Para dar solución a este desafío, el principal objetivo científico que persigue este proyecto es fomentar la salud y el bienestar de la sociedad a partir del diseño, desarrollo y evaluación de una terapia novedosa de rehabilitación cognitiva para personas con daño cerebral adquirido o dependientes. Esta terapia estará basada en el diseño y uso de un ambiente inteligente de monitorización activa y de un robot social autónomo de estimulación interactiva en el hogar. Esto implica la integración de ciertas tecnologías ya existentes, así como aportar soluciones a una diversidad de retos tecnológicos que este tipo de sistemas lleva emparejados. Para ello, se cuenta con un equipo multidisciplinar capaz de abordar cada uno de ellos por separado, y así proporcionar una solución global integradora.

Además, se plantea una evaluación experimental con pacientes reales, la cual será llevada a cabo por profesionales clínicos que valorarán la eficacia del sistema en la mejora de la calidad de vida de las personas dependientes. La evaluación será llevada a cabo evaluando tanto la autonomía como el estado cognitivo–afectivo positivo del paciente.

Para conseguir el objetivo general propuesto es necesario abordar ciertos retos científicos-tecnológicos que se desglosan en los siguientes objetivos específicos: i) desarrollar un sistema inteligente de monitorización del entorno, que permita realizar la localización y el seguimiento, de manera precisa, de los agentes móviles presentes en un escenario; ii) desarrollar un sistema de interacción multimodal humano-robot que proporcione funcionalidades de interacción de la forma más humana posible; iii) desarrollar un sistema de reconocimiento y manipulación de objetos 3D de tamaño reducido a bordo del robot para proporcionar ayuda al paciente; iv) desarrollar técnicas de auto localización robusta topológica/métrica para dotar al robot de libertad de movimiento y autonomía; v) desarrollar un sistema cognitivo que permita al robot comportarse de manera inteligente; vi) realizar un diseño del escenario de atención y rehabilitación, e identificar métricas, pilotaje y evaluación final del sistema desarrollado con escenarios y pacientes reales; y por último vii) difundir y divulgar los resultados obtenidos a la comunidad científica y a empresas y asociaciones relacionadas con el sector.

Los resultados esperados de este proyecto son de diversa índole. A nivel científico-técnico se espera conseguir avances significativos en las distintas tecnologías a desarrollar. En cuanto al impacto social se pretende mejorar la calidad de vida de los pacientes con daño cerebral adquirido o dependientes.  En cuanto al impacto económico, se espera poder obtener un sistema de bajo coste, así como una posible comercialización del mismo, lo que implicará la puesta en marcha de una empresa de base tecnológica, aumentar la transferencia de tecnología hacia la sociedad y permitir a nuevos investigadores continuar desarrollando su carrera, fomentando así el empleo en el área de las TIC.

Objetivos

Para conseguir el objetivo general propuesto es necesario abordar ciertos retos científicos-tecnológicos los cuales se desglosan en los siguiente objetivos específicos:

1.Diseñar un sistema inteligente de monitorización del entorno, basado en sensores visuales de bajo coste, que permita realizar la localización y el seguimiento, de manera precisa, de los agentes móviles (individuos, robots, y objetos) presentes en un escenario. En este sentido, el sistema deberá proporcionar mecanismos de actuación (activación de alarmas, avisos a servicios de urgencias, solicitar la asistencia de un humano, etc.) ante situaciones de riesgo o de peligro para las personas (caídas del paciente, descuidos que afecten a la autonomía de la persona, etc.). Por otra parte, toda información recopilada por este sistema será enviada al robot (mediante protocolos de comunicación previamente establecidos) para mejorar las capacidades perceptivas y deliberativas del mismo. De manera dual, el robot también enviará su propia información perceptiva a este sistema con el mismo objetivo.

2.Desarrollar un sistema interacción multimodal humano-robot (mediante lenguaje hablado y gestual). Este sistema deberá proporcionar funcionalidades de interacción, tanto en lo referente a la percepción de la persona (detección de emociones, reconocimiento y comprensión del habla, …) como en lo referente a la generación de gestos socialmente perceptibles por los humanos (verbales y no-verbales).

3.Desarrollar un sistema de reconocimiento y manipulación de objetos 3D de tamaño reducido a bordo del robot. El sistema deberá ser robusto frente a oclusiones y cambios de iluminación.

4.Desarrollar técnicas de auto localización robusta topológica/métrica para el robot dentro de un entorno conocido. Por un lado, se extenderán técnicas clásicas de localización topológica mediante el uso sensores RGBD, lo cual permitirá tratar con los problemas típicos de cambios iluminación, incluso en ausencia total de la misma. Por otro lado, se desarrollarán técnicas que permitan mantener mapas geométricos del entorno a largo plazo, y de aplicación al problema del SLAM en robots móviles. En concreto, se desarrollarán técnicas tanto para SLAM RGBD como para SLAM visual.

5.Desarrollar un sistema cognitivo que permita desarrollar un comportamiento inteligente por parte de un robot manipulador, integrando las técnicas desarrolladas en los objetivos anteriores. El sistema desarrollado dotará al robot de capacidades de navegación autónoma, interacción natural, manipulación, así como la posibilidad de tomar decisiones tanto reactivas como deliberativas, permitiendo al robot su actuación en los entornos propuestos. Esta integración permitirá al robot actuar como robot de compañía en el hogar, ayudando a la persona dependiente en sus tareas cotidianas de rehabilitación. Este objetivo incluye la prueba y puesta en práctica de las capacidades anteriormente mencionadas en diferentes plataformas robóticas.

6.Realizar un diseño del escenario de atención y rehabilitación, e identificar métricas, pilotaje y evaluación final del sistema desarrollado con escenarios y pacientes reales. Se realizará investigación de nuevos mecanismos de estimulación para los escenarios objetos de este proyecto. Serán identificadas las métricas para la valoración de los aspectos fundamentales en la rehabilitación del paciente en estos escenarios, así como el diseño de la evaluación de la plataforma robótica y de los resultados de su uso tras el pilotaje con paciente reales.

7.Realizar una coordinación de los objetivos planteados y la difusión de los resultados del proyecto.

Evolución del cumplimiento de los objetivos

Para cada objetivo indicamos los resultados obtenidos y su grado de consecución.

Actividad 2: Desarrollar un sistema de interacción multimodal humano-robot

Esta actividad es la más extensa del proyecto. Por un lado, se ha desarrollado el sistema de reconocimiento del habla y el sistema de comprensión y síntesis de lenguaje natural completado, probado en la competición Rockin.
Por otro lado, se ha realizado un sistema de reconocimiento de gestos del lenguaje de Schaeffer, usado por las personas con discapacidad cognitiva [3], [4]. Ver vídeo https://www.youtube.com/watch?v=71XN0S43BXQ&feature=youtu.be

Se ha presentado y obtenido una patente relacionada con el sistema desarrollado dentro de este objetivo. Los detalles se pueden consultar en https://www.rovit.ua.es/patente/

Progreso y consecución del objetivo: Este objetivo se ha cumplido al 100%, dentro de los plazos establecidos.

Actividad 3: Desarrollar un sistema de reconocimiento y manipulación de objetos 3D

Al empezar a trabajar con datos 3D en el proyecto, tuvimos que desarrollar métodos de compresión de estos datos. [5] desarrolla uno de los primeros métodos de compresión aparecidos en la literatura.
Con respecto a reconocimiento de objetos, [6] presenta una manera de mejorar su reconstrucción a partir de datos 3D. [7, 8] presentan dos estudios sobre tolerancia al ruido para reconocimiento de objetos 3D. [9] estudia la categorización de objetos mediante características 3D locales. Tanto la tesis [10] como la [11] se centraron en los métodos desarrollados es esta actividad. https://www.rovit.ua.es/tfgAlbert_video.mp4 En [12] se empieza a trabajar con secuencias de datos 3D.

Recientemente hemos empezado a trabajar con deep learning aplicado a reconocimiento de datos 3D [13], desarrollando un dataset para testeo [14]. También hemos trabajado con manejo de datos 3D. Cabe destacar el dataset desarrollado para compresión 3D [15]. También hemos desarrollado un método de suavizado de color en datos 3D muy eficiente [16]

Progreso y consecución del objetivo: Este objetivo se ha cumplido al 100%, dentro de los plazos establecidos.

Actividad 4: Desarrollar técnicas de autolocalización robusta para el robot dentro de un entorno conocido

Se han explorado nuevas vías de representación de mapas 3D, dado su complejidad de manejo. [17] describe un nuevo método de mapeado. Se han explorado los métodos existentes de registro 3D [18]. En [19] se presenta un nuevo método basado en GNG que permite asociarlo a [17]. [20] describe un nuevo método de percepción activa para humanoides. [21] explora la tolerancia a ruido de las redes GNG para mapeado. [22] explora la manera de extraer planos de manera más eficiente. En [23] se propone un framework de desarrollo para localización semántica (de escenas) y en [13] se exploran las posibilidades de este tipo de localización. [24] presenta un dataset usado en nuestra experimentación, que junto a [23] supone uno de los más completos. [25] permite el procesamiento de secuencias de datos 3D con GNG. En [26] se empieza explorar la posibilidad de usar deep learning para realizar reconocimiento de escenas. En [27] y [28] se presenta una primera aproximación a la construcción de mapas semánticos.

Progreso y consecución del objetivo: Este objetivo se ha cumplido al 100%, dentro de los plazos establecidos.

Actividad 5: Desarrollar un sistema cognitivo que permita desarrollar un comportamiento inteligente por parte de un robot manipulador, integrando las técnicas desarrolladas en los objetivos anteriores.

En cuanto a la aceleración de métodos mediante GPU, [29] permite estimar el movimiento en tiempo real usando estos dispositivos. [21] permite reconstruir un entorno 3D mediante GPU. [30] explora la implementación en GPU de algoritmos de registro 3D. En [31] se ha desarrollado un sistema para reconocimiento de objetos usando GPU para ser integrado en una Jetson y poder ser desplegado en un robot móvil.

[32, 33, 34, 35, 36] presentan las distintas variantes de la plataforma robótica que se usará como prototipo. Estamos desarrollando un sistema independiente del robot (pero que puede ser integrado en él) que permite la interacción y la rehabilitación con pacientes con daño cerebral adquirido. Realizaremos el pilotaje con pacientes reales usando este sistema. No se han realizado publicaciones pues está pendiente de patente https://www.rovit.ua.es/sirmaved_multiSensorApp.mp4

Progreso y consecución del objetivo: Este objetivo se ha cumplido al 100%, dentro de los plazos establecidos.

Actividad 6: Diseñar un escenario de atención y rehabilitación, e identificar metricas, pilotaje y evaluacion final del sistema desarrollado con escenarios y pacientes reales.

Se han realizado el diseño del escenario de atención y rehabilitación y las métricas de evaluación de la interación social, atención y rehabilitación del paciente

Progreso y consecución del objetivo: Este objetivo se ha cumplido al 100%, dentro de los plazos establecidos.

Actividad 7: Realizar una coordinación de los objetivos planteados y la difusión los resultados del proyecto

Se han realizado todas las actividades de coordinación (reuniones periódicas, ya sea presenciales o por videoconferencia). La página web del proyecto está visible en https://www.rovit.ua.es/?p=176
Disponemos de un carpeta en GDrive para la gestión interna del proyecto, donde disponemos de las actas de las reuniones realizadas así como los vídeos y la documentación asociada a las hitos.
Se ha publicado un artículo en congreso [37] difundiendo los resultados del proyecto y su estructura.
También se ha difundido el proyecto con una nota de prensa http://web.ua.es/es/actualidad-universitaria/2015/abril2015/abril2015-1-5/tecnologia-y-robotica-aplicada-al-bienestar-de-personas-con-dano-cerebral-adquirido-y-dependientes.html

Como resultado del proyecto también hemos empezado a colaborar con la Fundación Casaverde, especialista en el tratamiento de este tipo de pacientes. Hemos firmado un convenio con ellos y la Universidad de Alicante http://web.ua.es/es/actualidad-universitaria/2016/julio16/1-10/la-universidad-de-alicante-firma-un-convenio-para-la-rehabilitacion-de-personas-con-dano-cerebral-con-la-fundacion-casaverde.html

Noticias aparecidas en prensa relacionadas con el sistema de interacción y comunicación:

Progreso y consecución del objetivo: Este objetivo se ha cumplido al 100%, dentro de los plazos establecidos.

Personal

• Miguel  Cazorla (Investigador principal)
• José García Rodríguez  (Investigador principal)
• Domingo Gallardo
• María Isabel Alfonso
• Diego Viejo
• Antonio Botía
• Vicente Matellán (Universidad de León)
• José María Cañas (Universidad Rey Juan Carlos)
• Francisco Martín (Universidad Rey Juan Carlos)
• Cristina Suárez (Hospital Virgen del Rocío de Sevilla)

Resultados del proyecto

Avances obtenidos en el proyecto

La atención de personas dependientes, ya sea por enfermedad, accidente, discapacidad, o envejecimiento, es una de las líneas prioritarias de investigación en los países desarrollados en la actualidad. Esta atención, además de servir de ayuda y compañía, se está planteando que sea incluso terapeútica. Por otra parte, se pretende que dicha atención sea en el hogar de la persona, con el objetivo de minimizar el coste de las terapias.
Los principales avances obtenidos en este proyecto van encaminados, por un lado, a la mejora de la comunicación entre un paciente dependiente y el médico o rehabilitador. Por el otro, se persigue que el paciente pueda tener una ayuda externa.
Uno de los avances obtenidos es el desarrollo de un sistema de ambiente inteligente que permite la monitorización de personas en un entorno (hogar o residencia). Este sistema es robusto a la iluminación (es capaz de trabajar en la oscuridad) por lo que permite estar funcionando en 24/7. Se ha realizado la instalación de este sistema en una vivienda de un paciente y en varias residencias (pacientes con discapacidad cognitiva), siendo capaz de detectar situaciones críticas.
Otro de los avances tiene que ver con la comunicación entre pacientes y médicos o rehabilitadores. Los pacientes con daño cerebral adquirido suelen tener una discapacidad en función del daño sufrido. Así, no encontramos dos pacientes que compartan discapacidad. Por ello, hemos desarrollado un sistema de comunicación que es capaz de adaptarse a esta diversidad. Usando distintos tipos de sensores (cámaras 3D, detección de manos, seguimiento de ojos), el sistema aprende los gestos que el usuario puede realizar y así el médico o rehabilitador puede realizar la terapia a un mayor número de pacientes. Este sistema se ha integrado en una plataforma que permite desarrollar aplicaciones para rehabilitación, basándose en los gestos que realiza el paciente. El sistema está patentado y ha sido probado con éxito en el Hospital Virgen del Rocío de Sevilla.
Por último, se han conseguido avances en diversas áreas más cercanas a la investigación básica, como es el caso del reconocimiento de objetos, de gestos, localización semántica del robot, planificación del movimiento del robot, etc. Estos avances han sido necesarios

Noticia en el portal de la Universidad de Alicante

Sistema de interacción y rehabilitación

Reconocimiento de objetos

Tesis defendidas

• Vicente Morell Giménez: Contributions to 3D data processing. Supervisors: José García-Rodríguez and Miguel Cazorla. Date: october 2014. European mention
• Javier Montoyo Bojo: Estudio y mejora de métodos de registro 3D: aceleración sobre unidades de procesamiento gráfico y caracterización del espacio de transformaciones iniciales. Supervisors: Miguel Cazorla and José García-Rodríguez. Date: november 2015.
• Javier Navarrete: Contribuciones al suavizado de color, compresión y registro de nubes de puntos 3D. Supervisors: Miguel Cazorla and Diego Viejo. Date: may 2016.

Congresos y revistas

[1]  sergio Orts-Escolano, J. Garcia-Rodriguez, V. Morell, M. Cazorla, J. Azorin, and J. M. Garcia-Chamizo, «Parallel Computational Intelligence-Based Multi-Camera surveillance system,» Journal of sensor and actuator networks, vol. 3, iss. 2, p. 95–112, 2014.
[Bibtex]

[5]  V. Morell, sergio Orts-Escolano, M. Cazorla, and J. Garcia-Rodriguez, «Geometric 3D point cloud compression,» Pattern recognition letters, vol. 50, p. 55–62, 2014.
[Bibtex]

[8]  J. C. Rangel, M. Cazorla, I. Garcia-Varea, J. Martinez-Gomez, E. Fromont, and M. sebban, «scene Classification from semantic Labeling,» Advanced robotics, vol. 30, iss. 11–12, p. 758–769, 2016.
[Bibtex]

[18]  V. Morell-Gimenez, M. saval-Calvo, J. Azorin-Lopez, J. Garcia-Rodriguez, M. Cazorla, sergio Orts-Escolano, and A. Fuster-Guillo, «A Comparative study of Registration Methods for RGB-D Video of static scenes,» Sensors, vol. 14, iss. 5, p. 8547–8576, 2014.
[Bibtex]

[20]  F. Martin, C. Agüero, and J. M. Canas, «Active Visual Perception for Humanoid Robots,» International journal of humanoid robotics, vol. 12, iss. 1, p. 1–22, 2015.
[Bibtex]

[28]  J. C. Rangel, J. Martínez-Gomez, I. García-Varea, and M. Cazorla, «Lextomap: lexical-based topological mapping,» Advanced robotics, vol. 31, iss. 5, pp. 268-281, 2017.
[Bibtex]

[31]  A. Garcia-Garcia, sergio Orts-Escolano, J. Garcia-Rodriguez, and M. Cazorla, «Interactive 3d object recognition pipeline on mobile gpgpu computing platforms using low-cost rgb-d sensors,» Journal of real-time image processing, vol. 14, iss. 3, p. 585–604, 2018.
[Bibtex]