aUToLights: 一种鲁棒的多相机交通信号灯检测和跟踪系统

摘要

本文介绍了一种鲁棒的多相机交通信号灯检测和跟踪系统。在SAE自动驾驶挑战赛系列I中取得四年成功后，多伦多大学将参加系列II比赛，以开发一款到2025年能够处理各种城市驾驶场景的L4级别自动驾驶乘用车。准确检测交通信号灯并且正确识别其状态对于在城市中安全自主运行是至关重要的。在此，本文介绍了最近重新设计的用于自动驾驶车辆（如多伦多大学的自动驾驶车辆Artemis）的交通信号灯感知系统。类似于大多数交通信号灯感知系统，我们主要依赖于基于相机的目标检测器。我们部署了YOLOv5检测器，用于在多个相机上进行边界框回归和交通信号灯分类，并且融合观测结果。为了提高鲁棒性，我们结合了来自高精度语义地图的先验信息，并且使用隐马尔科夫模型进行状态滤波。我们展示了一种多相机、实时的交通信号灯感知流程，其可以处理复杂的情况，包括多个可见交叉路口、交通信号灯变化、临时遮挡和闪烁的灯状态。为了验证本文系统，我们采集并且标注了一个包含闪烁状态和各种遮挡类型的多种数据集。本文结果表明，与单帧、单相机目标检测相比，本文所提出系统在具有挑战性的现实世界场景下具有更优越的性能。

主要贡献

本文的贡献如下：

1）本文提出一种通过融合交通信号灯检测结果和高精度地图数据来推断交通信号灯三维位置的方法；

2）本文提出一种在多相机上执行跟踪的方法，以确保时间一致性，并且使用隐马尔科夫模型（HMMs）来改进状态估计；

3）本文所提出系统相比于单帧、单相机目标检测，在具有挑战性的现实世界场景下具有更优越的性能。

论文图片和表格

总结

本文提出一种新型的多相机交通信号灯检测和跟踪系统，该系统将实时的目标检测器与高精度地图先验和HMM状态滤波相结合。我们还提供了一个标注的交通信号灯数据集，该数据集采集不同场景和不同程度遮挡的交通信号灯。本文的端到端流程提供了快速且鲁棒的交通信号灯检测，可以用于为车辆规划提供信息。作为将来的工作，通过结合激光雷达测量更新和卡尔曼滤波器来改进交通信号灯的三维位置估计，可能会提高性能。然后，本文方法可能会应用于目标检测，从而推动L4级别自动驾驶。

文章转载自公众号：自动驾驶专栏