Una estrategia híbrida de aprendizaje por refuerzo informada por RRT* para la planificación de caminos de robots móviles en minería a cielo abierto

Abstract

Este trabajo introduce una estrategia híbrida de planificación de caminos para vehículos robóticos tipo diferencial, combinando métodos de aprendizaje por refuerzo con técnicas de muestreo aleatorio. Específicamente, se utiliza aprendizaje por refuerzo basado en Q-Learning (QL) para encontrar un camino global mediante la exploración y explotación de la información del entorno, donde un agente aprende a tomar acciones maximizando recompensas. El agente utiliza un método de muestreo RRT∗ (Rapidly-exploring Random Trees) para obtener puntos factibles de camino y acelerar la búsqueda, combinando las ventajas de QL con RRT∗ (MQL) para mejorar el muestreo y generar caminos suaves y factibles en espacios de alta dimensionalidad (Smooth Q-Learning - SMQL). Se realizó un análisis de rendimiento del método híbrido propuesto en condiciones de minería a cielo abierto, considerando criterios de maniobrabilidad, completitud, alcanzabilidad y robustez en entornos: i) rectos, ii) estrechos, iii) intrincados, y iv) tipo helicoidal con restricciones de terreno. Mediante simulaciones se demostró que SMQL supera las limitaciones de QL y RRT∗, al lograr mejor exploración y alcanzar r´ápida convergencia de recompensas. Por completitud, caminos previamente planificados con SMQL y MQL se prueban en un controlador de movimiento y un robot Husky A200, alcanzando una reducción del costo de error del 81.9 % y 76.4 % y esfuerzo de control del 79.8 % y 83.5 % en comparación con QL, respectivamente. Se espera que estos resultados tengan un impacto en el ahorro de recursos energéticos del robot al seguir rutas planificadas en ambientes mineros.