ReasonNet：基于时间和全局推理的端到端自动驾驶

摘要

本文介绍了ReasonNet：基于时间和全局推理的端到端自动驾驶。自动驾驶汽车的大规模部署尚未到来，剩下的主要挑战之一在于城市密集的交通场景。在这种情况下，预测场景的未来演变和目标的未来行为以及处理罕见的不良事件（例如遮挡目标的突然出现）仍然具有挑战性。在本文中，我们提出了ReasonNet，它是一种新型的端到端驾驶框架，大量地利用了驾驶场景的时间和全局信息。通过对目标的时间行为进行推理，本文方法可以有效地处理不同帧中特征之间的相互作用和关系。对场景的全局信息进行推理也可以提高整体感知性能，并且有利于不良事件的检测，尤其是对于遮挡物体潜在危险的预测。为了全面评估遮挡事件，我们还公开发布了由各种遮挡事件组成的驾驶仿真基准DriveOcclusionSim。我们在多个CARLA基准上进行了大量的实验，其中我们的模型优于所有先前的方法，在公开CARLA排行榜上的sensor track中排名第一。

主要贡献

本文的贡献为以下三方面：

1）本文提出一种新型的时间和全局推理网络（ReasonNet），以增强历史的场景推理，从而高精度地预测场景的未来演变，并且提高全局情景的感知性能（即使在遮挡情况下也是如此）；

2）本文提出一种新基准，称为Driving in Occlusion Simulation基准（DOS），它由城市驾驶中各种遮挡场景所组成，用于系统性地评估遮挡事件，并且将基准公开；

3）本工作在具有复杂和不良城市场景的多个基准上进行实验来验证我们的方法。我们的模型在CARLA自动驾驶排行榜的sensor track中排名第一。

论文图片和表格

总结

本文提出了ReasonNet，它是一种新型的端到端自动驾驶框架，包含两个主要组件：时间推理模块和全局推理模块。时间推理模块处理驾驶场景的历史信息，用于高精度预测其他道路参与者，并且动态地维护时间memory bank。全局推理模块对目标和环境之间的交互和关系进行建模，以检测不良事件（尤其是遮挡），从而提高整体的感知性能。本文方法大大推动了CARLA排行榜中最先进性能的上限。此外，本文还公开发布了一个由不同遮挡场景组成的新基准DOS，以促进端到端自动驾驶领域中对于遮挡检测的研究。

文章转载自公众号：自动驾驶专栏