自动驾驶中鲁棒的路侧感知：一种使用合成数据的无标注策略

• ​论文链接：​​https://arxiv.org/pdf/2306.17302.pdf​​

摘要

本文介绍了自动驾驶中鲁棒的路侧感知：一种使用合成数据的无标注策略。近年来，随着车辆与基础设施通信技术的快速发展，基于基础设施的协同驾驶的路侧感知系统成为一个新兴的领域。本文着重于最关键的挑战之一——数据不足问题。缺少具有高度多样性的高质量标注路侧传感器数据导致当前路侧感知系统的鲁棒性较低以及迁移能力较弱。在本文中，提出了一种新型的方法来解决这个问题，即使用增强现实和生成对抗网络来创建合成训练数据。该方法创建了合成数据集，该数据集能够训练或者微调路侧感知检测器，其对不同天气和光照条件具有鲁棒性，或者适应新的部署位置。我们在两个十字路口验证本文方法：Mcity十字路口和State St/Ellsworth Rd环岛。实验结果表明：（1）当仅在合成数据上训练时，检测器在所有条件下均能获得良好的性能；（2）使用标注数据训练的现有检测器的性能在恶劣条件下可以通过合成数据来增强。

主要贡献

本文的贡献如下：

1）本文提出一种用于路侧感知系统的增强现实渲染流程，包括相机位姿估计、车辆定位和朝向仿真、以及增强现实渲染。该流程生成带标注的物理真实图像；

2）本文提出一种基于GAN的现实增强策略，该策略处理从增强现实获取的物理真实图像，并且将其转化为照片真实图像；

3）本文给出在不同光照和天气条件下从上述流程中获取的模型全面现场评估，这证明了该方法在现实世界中大规模部署的可行性。

论文图片和表格

总结

本文引入一种新型的基于AR和GAN的数据合成方案，以解决当前很多路侧车辆感知系统遇到的常见但关键的数据不足挑战。本文给出了不同天气和光照条件下在不同地点进行的综合评估。我们证明，本文的合成数据集可以从头训练检测器，也可以微调从其它数据集训练的检测器，并且在多种光照和天气条件下提高准确率和召回率，通过无标注的方式获得更鲁棒的感知系统。

文章转载自公众号：自动驾驶专栏