城市自动驾驶中基于分层强化学习的行为与轨迹规划

• ​论文链接：​​https://arxiv.org/pdf/2306.15968.pdf​​

摘要

本文介绍了城市自动驾驶中基于分层强化学习的行为与轨迹规划。强化学习（RL）在简单驾驶场景下自动驾驶中的规划和决策方面取得了不错的进展。然而，针对自动驾驶汽车的现有强化学习算法无法在复杂的城市场景中学习关键的驾驶技能。首先，城市驾驶场景需要自动驾驶汽车处理传统的强化学习算法无法处理的多个驾驶任务。其次，城市场景中其它车辆的存在导致环境发生动态变化，这对强化学习算法规划自动驾驶汽车的动作和轨迹提出了挑战。在本工作中，我们提出了一种使用分层强化学习（atHRL）方法的动作与轨迹规划器，其通过使用激光雷达感知和鸟瞰图用分层模型建模智能体的行为。所提出的atHRL方法学习对智能体的未来轨迹做出决策，并且在基于分层DDPG算法的连续设置下计算目标路径点。由atHRL模型规划的路径点随后被发送到低级别的控制器，以生成车辆操控所需要的转向和油门命令。我们通过在复杂城市驾驶场景中进行大量实验来验证atHRL的有效性。实验结果表明，与最先进的增强学习方法相比，本文方法具有显著的性能提升。

主要贡献

本文的主要贡献总结如下：

1）本文提出一种三级层次结构，使用中级感知数据对城市自动驾驶环境中规划和决策过程进行建模；

2）我们使用两个off-policy actor-critic结构来学习在连续空间中生成轨迹的两个决策层，并且应用PID控制器来计算油门和转向；

3）本文提出了atHRL算法，由于在连续动作空间中驾驶的鲁棒性和平滑性，在动态城市自动驾驶场景中，与基于RL和Q-learning的HRL方法相比，该算法具有更好的性能。

论文图片和表格

总结

在这项工作中，我们提出了atHRL，它是一种使用分层强化学习算法的动作与轨迹规划器，用于多个动态城市场景中的复杂驾驶任务。所提出的方法采用具有分层结构的DDPG算法来学习动作和轨迹，这更好地建模了人类的决策过程，并且实现车辆在连续动作空间中鲁棒且平滑的控制。实验结果表明，尽管其它的强化学习方法（包括传统的DDPG、两级层次DDPG和三级层次DQN）在包含多个驾驶任务和与其它车辆交互的复杂城市驾驶场景中无法很好地执行，但是本文提出的方法能够执行可靠的驾驶行为并且获得更好的结果。

同时，还有很多其它有趣的策略优化强化学习算法。在目前的工作中，我们仅将分层架构与DDPG算法相结合。将该架构扩展到其它强化学习算法可能是一个有趣的研究方向，值得在我们今后工作中探索。

文章转载自公众号：自动驾驶专栏