Free Gait Planning for a Hexapod Robot Based on Reinforcement Learning

Abstract

摘要： 为解决六足机器人步态规划问题，实现特定地形上机器人自由步态的优化学习，基于机器人单足步距的离散化处理，融合CPG模型的时间节拍原理与反射模型的空间规则约束机制，构建六足机器人离散化步态模型。通过机器人稳定性分析与步态规划策略研究，将复杂的步态规划问题转化为以振荡周期为时间间隔的位置状态间的排序问题，从新的视角提出了一种六足机器人自由步态规划的基本框架与方法。在此基础上，模仿生物步态的学习行为，基于步态序列的离散化处理，构建了基于增强学习的步态模型，并以机器人平均稳定裕量为优化目标，通过制定步态离散单元间动态转换概率的调整策略，提出了基于增强学习的自由步态规划方法。样机试验显示，自由步态规划方法与基于增强学习的自由步态规划方法均可规划出相对符合生物步态行为特征的稳定自由步态，且后者可利用步态历史信息实现特定地形上自由步态的优化学习。