Adaptive and Immersive Interfaces to Improve Situational Awareness in Multi-Robot Missions

Abstract

Las misiones con múltiples robots han experimentado un gran crecimiento en los últimos años. Este hecho se debe a que una flota de robots aporta más eficacia, eficiencia, flexibilidad y tolerancia a fallos que un robot individual. Sin embargo, este tipo de misiones plantea una serie de retos relacionados con los factores humanos. Entre estos retos se pueden destacar la gestión de la carga de trabajo, el mantenimiento del conocimiento de la situación, la gestión de situaciones de estrés, etc. Esta tesis doctoral tiene como objetivo el desarrollo de una nueva generación de interfaces que permitan a un solo operador controlar una flota de robots. Con este fin se emplean herramientas como la minería de datos y el aprendizaje automático para descubrir la información más relevante y proporcionarla al operador, así como tecnologías de realidad virtual y aumentada para crear interfaces inmersivas que mejoren su conocimiento de la situación. La tesis se puede dividir en cuatro bloques: - Modelado de misiones: El objetivo es generar modelos de las misiones que permitan conocer lo que está sucediendo en cada momento y seleccionar la información más relevante. La tesis propone el uso de la minería de procesos para modelar automáticamente las misiones a partir de los datos generados por las mismas. En concreto, se propone el uso de redes de Petri para determinar el estado de la misión y árboles de decisión para predecir su evolución. Tras probar todos los algoritmos de descubrimiento de modelos de la minería de procesos se llegó a la conclusión de que el algoritmo de minado inductivo es el mejor en el contexto de las misiones con múltiples robots. - Modelado de operadores: El objetivo es generar modelos de los operadores para predecir su comportamiento durante la misión y poder proporcionarles la información que necesitan en cada momento. La tesis propone la clasificación de los operadores según sus estrategias para controlar las misiones y la predicción de sus preferencias teniendo en cuenta los datos de las misiones anteriores. El primer paso se realiza utilizando algoritmos de agrupamiento (el algoritmo de partición alrededor de los medoides proporciona la mejor clasificación), mientras que el segundo empleando distribuciones de probabilidad. - Interfaces adaptativas: Una vez obtenidos los modelos de las misiones y los operadores, el objetivo es descubrir la información relevante a partir de los datos generados por la misión y proporcionarla a los operadores a través de la interfaz. La tesis propone el uso de redes neuronales para transferir funciones de los operadores a la interfaz. En concreto, los experimentos demuestran que estos modelos pueden ser utilizados para que la interfaz evalúe las relevancias o riesgos de los robots de la forma en que lo hacen los operadores. - Interfaces inmersivas: Una vez seleccionada la información relevante según el estado de la misión y las preferencias del operador, el objetivo es mostrarla de manera que alivie la carga de trabajo y mantenga el conocimiento de la situación del operador. La tesis propone el desarrollo de interfaces inmersivas basadas en realidad virtual, que introducen a los operadores en el escenario en el que están trabajando los robots. Los experimentos demuestran que estas interfaces mejoran el conocimiento de la situación de los operadores sin incrementar su carga de trabajo. Todos los desarrollos de la tesis se han validado mediante experimentos con operadores, que tenían que supervisar y controlar flotas de robots (formadas por robots terrestres, aéreos y manipuladores) para llevar a cabo misiones realistas (vigilancia e intervención en entornos de desastre) en escenarios variados y relevantes (tantos exteriores como interiores). Palabras clave: Misión, Modelado de Misiones, Flota, Enjambre, Robot Terrestre, Robot Aéreo, Robot Manipulador, Operador, Modelado de Operadores, Carga de Trabajo, Conocimiento de la Situación, Estrés, Interacción Humano-Sistema, Autonomía, Supervisió