自动驾驶车辆和ADAS中相机-雷达感知：概念、数据集和指标

摘要

本文介绍了自动驾驶车辆和ADAS中相机-雷达感知：概念、数据集和指标。减少交通事故的主要途径之一是通过驾驶员辅助系统甚至具有完全自主性的系统来提高车辆安全性。在这些类型的系统中，障碍物检测和分割等任务（特别是基于深度学习的任务）在正确且安全导航的场景理解中发挥着重要作用。除此之外，如今车辆上各种类型的传感器为在具有挑战性场景（例如光照和天气恶劣条件下）下提高感知鲁棒性，提供了丰富的替代方案。尽管当前聚焦于这一主题，但是文献中缺少对基于雷达和基于雷达-相机融合感知的研究。因此，本工作旨在对ADAS和自动驾驶车辆中基于相机和雷达感知进行研究。本文介绍了与这两种传感器相关的概念和特性，以及它们的融合方式。此外，本文概述了基于深度学习的检测和分割任务，以及车辆感知中主要数据集、指标、挑战和开放性问题。

主要贡献

本文的贡献如下：

1）本文全面描述了相机和雷达的操作和特性，并且讨论了其在自动驾驶车辆和ADAS背景下的主要优点和缺点。我们还提出了传感器融合方法，作为一种克服每个传感器模态单独存在所具有的局限性的方法；

2）本文综合概述了自动驾驶中目标检测和图像分割所使用的主要概念和基于深度学习的方法；

3）本文对车辆感知的最相关和最新开源数据集进行全面汇总，介绍了它们在感知模式、数据多样性、规模和预期感知任务方面的主要特性；

4）本文合并了用于评估检测和分割性能的主要指标——由数据集分组；

5）本文讨论了自动驾驶车辆和ADAS在感知方面的主要挑战和未来方向，特别着重于雷达感知的规则。

论文图片和表格

总结

本研究评估了自动驾驶车辆和高级辅助驾驶系统（ADAS）在检测和分割方面的当前研究现状。

首先，本文提出了一些与ADAS、自动驾驶车辆和全自动驾驶道路相关的基本概念。

然后，本文介绍了基于相机和雷达感知的主要概念和当前现状，强调了在具有挑战性的天气和光照条件下考虑传感器融合技术对于鲁棒感知的重要性。

接着，本文介绍了与基于深度学习的检测和分割相关的主要概念。

随后对用于推进自动驾驶车辆和ADAS研究的当前数据集进行分析。我们涵盖了不同的特性，例如提供的数据模式、恶劣导航条件的覆盖范围及其规模和目的。

本文还讨论了用于评估检测和分割方法性能的最常用指标。

最后，本文介绍了该领域中一些主要的挑战和开放性问题。

这项综述的结果表明，人们越来越关注于开发对具有挑战性操作条件鲁棒的车辆感知方法。这体现在基于雷达和数据融合方法越来越多的被使用。然而，这些方法仍然没有得到充分研究，在准确率和效率方面还有很大提升空间。

此外，采用标准指标来评估感知方法的性能，与ADAS和自动驾驶车辆的行业标准相一致，可能有助于加速该领域的发展。

最后，本文强调了为开发鲁棒的辅助和自主系统提供平衡和差异化数据的重要性。对深度学习模型进行训练以识别不具代表性的类别（例如骑行者）和应对具有挑战性条件（例如多样化的交通基础设施、天气和光照条件），这对未来交通的道路安全而言至关重要。

文章转载自公众号：自动驾驶专栏