自动驾驶中用于目标检测和语义分割的雷达-相机融合：综述

摘要

本文介绍了自动驾驶中用于目标检测和语义分割的雷达-相机融合方法。近年来，在深度学习技术的驱动下，自动驾驶中的感知技术已经迅速发展。为了实现精确且鲁棒的感知能力，自动驾驶车辆通常配备多种传感器，使得传感器融合成为感知系统的关键部分。在这些融合的传感器中，雷达和相机无论在什么光照和天气条件下都能对周围环境进行互补且低成本的感知。这篇综述旨在为雷达-相机融合提供一个综合性的参考，特别关注与目标检测和语义分割相关的感知任务。基于雷达和相机传感器的原理，本文深入研究数据处理过程和表示，然后对雷达-相机融合数据集进行深入分析和总结。在回顾雷达-相机融合方法的过程中，本文提出一些疑问，包括“为什么要融合”、“融合什么”、“在哪里融合”、“什么时候融合”以及“怎样融合”，随后讨论了该领域内各种挑战和潜在的研究方向。为了方便检索和比较各种数据集和融合方法，本文还提供了一个交互式网站：https://XJTLU-VEC.github.io/Radar-Camera-Fusion。

主要贡献

由于现有的研究对于雷达-相机融合的关注有限，研究人员很难对这一新兴研究领域进行概述。本文的调查试图通过综合性回顾自动驾驶中雷达-相机融合方法来缩小这一差距。本文的贡献总结如下：

1）据我们所知，这是首篇着重于雷达-相机融合的两个基础感知问题，即目标检测和语义分割；

2）本文介绍了雷达-相机融合数据集和算法的最新（2019-2023）概述，并且对于“为什么要融合”、“融合什么”、“在哪里融合”、“什么时候融合”以及“怎样融合”；

3）本文分析了雷达-相机融合中关键挑战和开放性问题，并且提出潜在的研究方向；

4）本文提供了一个交互式且不断更新的网站，以便更好地检索和比较融合数据集和方法。

论文图片和表格

总结

随着自动驾驶的快速发展，雷达-相机融合作为一种多模态且全天候的解决方案，在学术研究和工业应用中越来越受到关注。本篇综述调研并且讨论了针对目标检测和语义分割任务的雷达-相机融合研究。开篇从雷达和相机传感器的工作原理开始，逐渐地介绍了自动驾驶感知中雷达-相机融合的重要性。通过分析雷达信号处理过程，对雷达表示获得深入理解，这也为雷达-相机融合数据集提供基础支持。关于雷达-相机融合方法，本文深入研究了各种融合方法，并且探讨了“为什么要融合”、“融合什么”、“在哪里融合”、“什么时候融合”以及“怎样融合”。

基于当前雷达-相机融合数据集和方法，我们针对多模态数据和融合架构，讨论了其关键挑战并且提出可能的研究方向。一般而言，雷达-相机融合正朝着包含丰富信息的数据表示方向发展。一方面，ADC信号和雷达张量等表示提供更多的潜在信息，这对于多模态融合非常具有价值。另一方面，新型4D雷达传感器提供更稠密的点云和更高的分辨率，这将成为自动驾驶的新趋势。融合方法正朝着基于特定雷达特性定制雷达算法的方向演变。此外，本文还对雷达-相机融合中的多帧和多任务方法进行展望。最重要的是，我们希望这篇综述能够为研究人员和从业者在雷达-相机融合中开发鲁棒感知提供综合性参考。

文章转载自公众号：自动驾驶专栏