InfraDet3D：基于路边基础设施相机和激光雷达传感器的多模态3D目标检测

摘要

本文介绍了基于路边基础设施相机和激光雷达传感器的多模态3D目标检测。当前的多模态目标检测方法着重于车辆领域，并且受限于感知范围和处理能力。路边感知单元（RSUs）为感知系统引入一个新的领域，并且利用高度来观测交通。安装在路标架上的相机和激光雷达增加了感知范围，并且产生了交通的全数字孪生。在本工作中，我们引入InfraDet3D，它是一种用于路边基础设施传感器的多模态3D目标检测器。我们使用早期融合来融合两个激光雷达，并且进一步结合单目相机的检测，以提高鲁棒性并且检测小目标。本文的3D检测模块使用高精度地图进行地面目标的偏航假设，从而改善最终的感知结果。感知框架部署在一个现实世界的十字路口，它是德国慕尼黑A9 Test Stretch的一部分。我们进行若干消融研究和实验，结果表明，与仅使用相机的解决方案相比，将两个激光雷达和两个相机融合可提高+1.90mAP。我们在A9基础设施数据集上评估结果，并且在测试集上实现了68.48mAP。数据集和代码将在https://a9-dataset.com发布，以便研究社区能够进一步提高感知结果，使得自动驾驶更为安全。

主要贡献

在本工作中，我们以如下方式为道路感知领域中稀疏点云所带来的挑战作出贡献：

1）本文提出一种实时的点云配准算法以配准基础设施激光雷达，从而提高了点的密度。实验结果表明，点云的早期融合增加了+1.32mAP；

2）融合监督和无监督的激光雷达3D目标检测器提高了鲁棒性，并且减少了假阳性检测结果的数量；

3）本文将感知模块连接到A9测试台的真实高精度地图（+2.7mAP）以提取道路信息，并且验证和过滤感知结果；

4）本文的相机-激光雷达融合模块通过提供白天和夜晚的感知结果，进一步提高了整个感知工具箱（+1.62mAP）的鲁棒性；

5）最后，我们在A9-I数据集上评估所有的3D检测器，并且引入排行榜以使研究社区能够在我们的数据集上对他们的模型进行基准测试。

论文图片和表格

总结

InfraDet3D是一种新型的感知架构，它通过融合分布在20米长的基础设施路标架上的多个传感器的数据，提高了传统的单个传感器系统的环境感知和范围。本文表明，本文的多模态感知框架融合了多个路边激光雷达和相机，能够比仅使用相机输入的目标检测器实现更好的结果（+1.62mPA）。分布式传感器融合了它们的感知结果，并且允许检测部分甚至完全遮挡的目标。本文的解决方案部署在高性能边缘单元上，并且非常具有成本效益，因为它分布在CPU（标定、无监督点云检测、融合）和GPU（实例分割、点云中的有监督检测）之间。未来的趋势和挑战包括更好地感知大雨、雪和雾等不利天气条件。这些条件减小了点云的范围、反射强度和分辨率，增加了噪声并且产生异常值。在未来，将采用一种过滤雪点的方法。一个点云压缩模块将被集成，用于RSUs和车辆之间的实时通信和数据共享。在未来，我们计划将本文框架扩展为一个深度融合架构。最后，我们的目标是要在其它基础设施路边数据集上评估本文模型，例如DAIR-V2X-I、Rope3D、LUMPI和IPS300+。我们还将标记更多的路边传感器数据，并且应用少样本和主动学习来处理小数据集和有限的信息。为了改进领域自适应性，我们将使我们的解决方案适应其它的路边激光雷达传感器和不同域（ODDs），以实现域不变的数据表示。

文章转载自公众号：自动驾驶专栏