恶劣天气下汽车激光雷达（LIDAR）点云的数据增强

以往利用激光雷达(光检测与距离修正, LIDAR)进行数据增强的工作多考虑良好天气条件下的点云，与之相反，本文使用的是受喷淋水影响的点云。喷淋水可能是幻影制动的原因，了解如何处理由它引起的额外检测是发展ADAS（高级驾驶辅助系统）/AV（自动驾驶汽车）功能的重要一步。如果不考虑真正的固体可能与由喷淋水引起的检测存在于同一区域的情况，就不能安全地消除喷淋水引起的额外检测。由于收集真实的例子是非常困难的，因此建议使用合成数据。在喷洒区域增加了一个额外的物体，使这个障碍物引起的检测与相同位置的真实物体在强度、回波数和遮挡方面的特征相匹配。从而虚拟重建了真实场景。然后，由障碍物产生的检测被用来增强真实数据，在增加了遮挡效果后，获得所需训练数据的良好近似值。这些数据被用来训练一个达到平均F-Score分数为92的分类器。根据合成物体的大小、位置、反射、持续时间等特征，详细分析了分类器的性能。拟议方法可以很容易地扩展到不同种类的障碍物和分类器类型。

1 简介

新一代ADAS和AV功能要求高度可靠性，因此需要不同传感器的组合。在这些传感器中，雷达、摄像头、超声波和GPS（全球定位系统）是最常见的。近期，激光雷达（LIDAR ）传感器也被采用，主要是由于其高分辨率、能在低光照条件下工作以及进行直接距离测量。然而，通过使用红外光获得的高分辨率是以在存在污垢, 雨、雾，雪，废气和喷淋水使用红外光获得的高分辨率是以降低性能为代价的。除了视线范围，这些现象还会导致额外的检测，从而产生负面的影响，如幻影制动。过滤掉这些额外检测的机制很难实现，因为存在风险有可能删除由真实物体引起的检测。

在此背景下，本文着重讨论如何正确地对受喷淋水影响的点云中的固体物体进行分类。喷淋水尤其成问题，因为它产生的点云具有高度类似于固体的特征。图1显示了一个真实的例子，在这个例子中，喷雾云产生的检测结果的形状接近于。需要用真阳性来训练一个分类器，以消除这种假阳性。

这对应于实际固体物体与喷雾同时存在的情况，例如，由物体从车辆上掉下来引起的。由于图1所示的喷雾量通常是在高速下产生的，即使是在试验场收集这类数据也是非常危险的。即使投入大量的汽车收集数据，获得的例子数量也可能太少，不够用于训练。

图 1. 一个序列鸟瞰图，其中由于喷淋水而产生了一个幽灵物体。在开始时创建的一个错误的物体假设（虚线）在后续帧中没有被摒除；结果，生成了一个额外的物体（实线）。传感器的视野为浅灰色部分。

技术现状

关于数据增强，目前已有多种方法，从真实训练集的转换，到真实数据和合成数据的组合，再到纯合成数据以及领域适应技术。在中, 为了提高网络的训练效果，此前标记的物体的点云通过在不同位置的连接被添加到训练数据中。添加的物体之间可能的冲突将被自动删除。为了同时训练“增强器”，使用了对抗性策略，“增强器”是一种专门用于创建增强数据的神经网络，会导致分类器性能下降。当同时训练分类器和增强器时，分类器学习与增强器可能造成的修改无关的特征。由于可用于增强的操作范围很广，提出了一种搜索方法，以找到最优增强策略，可以将其理解为具有各自参数的一系列增强操作。 

真实扫描被用于背景设定，对应于街道中没有移动的人或物体的部分。然后，根据从贴有标签的真实数据集中提取的概率，合成可移动物体和行人的数量、位置和姿势。然后用一个传感器模型来生成最终的点云。这样就可以生成大量的带注释的三维数据用于训练。在这种情况下，在真实点云中的车辆顶部添加一个合成物体。这个合成物体的建模是为了攻击基于点云的分类算法，降低其准确性，从而识别可能的漏洞。

我们的方法其独特之处在于使用了受喷淋水影响的真实点云。这些数据的收集和使用设置在第2节中解释。生成合成物体的ROI（感兴趣区域）是基于先前关于喷淋水的空间分布和可以采取的保护乘客的措施。

由于合成物体需要与放置在ROI中的真实物体的特征相匹配，因此必须对喷雾本身进行模拟。如同以前的工作一样，对场景进行渲染。在本例中，基于物理的渲染被用来模拟LIDAR传感器，其材料属性基于真实反射值。喷淋水和降雨是使用粒子系统来模拟的，它产生的探测结果的空间分布与真实喷雾造成的探测结果相似。渲染之后，由障碍物引起的检测被提取出来并连接到真实的点云中。最后，再加入遮挡和噪声的效果。

利用获得的点云，可以训练一个两层的前馈神经网络。结果将在第3节中展示。训练该分类器是为了识别由添加的障碍物引起的检测。该方法使用三维点云的鸟瞰图，其中检测结果被分配到二维直方图中的bin。然后将生成的直方图与物体进行卷积，这类物体应具有与需要提取的特征相对应的维度和方向。使用具有固定直方图尺寸的鸟瞰图和简单的分类网络可以维持所需的时间预算。区别于对整个场景的二元分类， 基于检测的分类，其优点是可以根据提取的障碍物的尺寸、位置、旋转和/或反射以及自我车辆的特征(例如其离地间隙)，来决定是否启动任何安全机制。其结果将在第4节讨论。

2 试验情况

2.1 感兴趣区域

根据我们在高速公路上的测量，并考虑到喷雾是由一辆领先的车辆（LV）产生的，通常可以看到喷雾检测的区域大约相当于自我车辆两侧6米范围，以及车辆前方至多20米内。这些测量是在平均自我速度为89公里/小时的情况下进行的。在这种情况下，如果喷雾云中有固体物体，就不可能及时修正车辆的轨迹。紧急刹车也不能让车辆在撞上可能物体之前停下来，而且这相当危险。不过，也有可以采取的修正措施。预紧式安全带的执行器可在100毫秒至300毫秒内快速启动。也有关于座椅旋转的数值研究，其中在200毫秒内旋转达90°被认为在保护乘客方面是最有可能的和最有用的。此外，还可以轻踩刹车。以200毫秒作为执行器的平均执行耗时，再加上300毫秒用于物体的检测和分类，总共需要500毫秒。根据我们前面提到的喷雾测量的平均速度，对应需要于12.36米的距离。此外，考虑到弯曲的道路以及坠落物体从相邻车道移动到自我车道的可能性，我们使用了一个锥形的ROI。这个角度是基于欧洲道路的车辆出口角的数值，它相当于道路边缘线和车辆直线轨迹之间的夹角。我们选择了一个30°的角度，这应该涵盖了欧洲高速公路上的大部分左转弯路和右转弯路。最终的ROI如图2所示。在测量过程中，自我车辆占据了第二或第三条车道，而LV则占据了第一或第二条车道。由于这个原因，右边可能是道路边界或另一条车道。这使得分类更具挑战性，如附录A的图A1所示。

图2. 感兴趣区域 该大小是基于激光雷达通常探测到喷雾的区域和使用的喷雾速度。在12.4米之前，即使探测到一个固体物体，也不会发生任何有意义的动作。角度30°是基于欧洲道路的曲线半径。“x”标记了添加的合成物体的中心。

2.2 测量

在图3所示的位置上的汽车激光雷达传感器被用来收集数据。测量是在高速公路上进行的，测量时间见表1。测量期间都是雨天。也标出了附近的气象站报告的测量期间的降雨量。

图 3. LIDAR传感器在自我车辆中的放置

总共收集了13.162帧。在每次测量中，都有一个产生喷雾的领先车辆（LV)，位于自我车辆左侧的车道上。使用传感器的内部跟踪器对领先车的位置进行跟踪，并在图A3中生成报告。自我车辆速度为（89±4）公里/小时。

2.3 试验模拟

图4展示了所使用的模拟设置。这个设置是基于中引入的模型。最初的模拟设置是基于以下假设：

• 无法实时模拟真正的水滴以及作用在它们身上的确切力量。然而，这些水滴引起的检测数量通常非常少，因为需要高浓度的水滴才能引起足够强的反射，从而引起检测。因此，更有效的方法是使用粒子来直接模拟检测，而不是一滴水。

• Blender用来计算粒子轨迹的解算器在所需的参数范围内是稳定的。

• 激光雷达传感器本身可以模拟的方式，就像通过调整材料着色器内部的计算来渲染相机图像一样。从默认的强度倍增的计算变为射线距离增加的计算。一个颜色通道保持不变；因此，每个相机像素都包含有关光线从光源行进的距离及其相应强度的信息。光源被放置在摄像机旁边，摄像机和光源都是根据传感器的分辨率和视场来设置的。

• 如果对材料使用物理数值，如图4的虚线区域内所示，则计算出的每个像素的强度应该与使用真实传感器获得的强度成正比。

图 4. 模拟设置. 对象索引（OI）是一个参数，渲染器用其为物体创建一个单独的掩码，以增加构图效果，并使之有可能识别哪个物体引起哪些检测。注意与图2的对应关系。ROI用红色标记。紫色的区域对应的是一个均匀分布的受限粒子的体积，以模拟由雨引起的检测。每个物体的材料的折射率（IOR）和吸收率显示在虚线区域。

在所需参数范围内，通过比较Blender生成的粒子轨迹与四阶Runge-Kutta求解器生成的粒子轨迹，这些假设得到了验证。此外，使用Pearson相关系数计算了真实和模拟点云的空间分布的相关性，得到的数值从0.5到0.74。使用英特尔酷睿i7-8850H处理器，每帧的渲染时间从40毫秒（每帧每轮8个粒子）到260毫秒（每帧每轮50个粒子）不等。

在这个体系中，摄像头是根据传感器的分辨率来配置的，但不是一对一的关系，而是使用三对一的关系。额外的像素被用来模拟多个回波：来自同一方向的二次和三次反射。此外，紫色区域内的限制粒子是这个模拟中特有的。为了使模拟中的回波值与现实中的回波值相吻合，需要进行这些检测。表2中列出了所使用的自由和限制粒子的数量。

我们放置了一个盒子作为障碍物。任何其他障碍物的形状都可用作障碍物，但为了简化对其形状的描述，我们决定使用一个盒子。

模拟中LV的位置被设置为对应帧的真实位置。这意味着每个真实帧都有一个等效的合成帧。模拟中的自由粒子的数量是基于现实中由喷雾引起的检测数量。这些粒子是从车轮上发射出来的，它们的大小和作用在它们身上的力（即风力在x和y上的分量）是根据物理值和实际测量中喷雾的空间分布而校准的。在这个特定的模拟中，风在y方向的影响，原来是用两个力来模拟的，现在减少到只有一个力，而且这个力的值有所增加，会引导喷雾朝向ROI。

在图4中，被限制的粒子均匀地分布在紫色区域上，但是这些随机发射，其寿命为一帧。这产生的探测分布与使用同一传感器在真实降雨测量中观测到的分布相似。

为了校准光源的强度，我们比较了真实回波脉宽和合成回波脉宽（EPW，与反射强度成正比）值的累积直方图。这是在向模拟中放置盒子之前进行的。在模拟中，灯的强度被调整，以产生与测量中光源相似的强度范围。

光源的校准完成后，盒子被添加到模拟中。盒子中心的位置均匀地分布在整个ROI上。经过验证，盒子和领先车辆之间没有碰撞。随后处理的是与其他车辆或实际数据中道路边界产生的点云可能发生的碰撞。从20厘米到2米的均匀分布中取样盒子的宽度、长度和高度。盒子的z轴被调整为其高度的一半，以确保它保持在街道表面。旋转角度均匀分布在 0° 和 90° 之间，反射率也是如此，从 0 到 1均匀分布。它的持续时间，相当于它保持在同一位置的帧数，在1、2和3之间变化。每个持续时间的例子数量相等。图5显示了在保持LV位置不变的情况下，通过累积多帧产生的盒子得到的结果。图中盒子的透明度与它们的反射值成正比。

图 5. 生成的合成障碍物在多帧中累积的示例。红线和虚线标记为ROI。盒子的透明度与它的反射值成正比。标有 "LV "的蓝色方框对应于领先车辆的位置，盒子与它的碰撞被自动删除。

图6呈现了渲染后得到的结果。图的左边使用不同颜色来表示基于其EPW的检测，右边使用不同的颜色来识别相应的回波数。图中显示了三个不同的帧。在图6a,b中，未添加盒子。可以与图7a,b进行直接比较，它对应于真实的等效（LV的位置相同）。可以注意到，回波值和EPW 的分布有相似之处（在训练分类器之前，将合成对象引起的检测的 EPW 值的直方图调整为类似于通过 LV 后部的真实反射获得的直方图 （见图4）。这样做是为了避免分类器对这种差异产生偏差。直方图也被修整为有相同的最大值。）靠近传感器的区域（<5米）包含主要由降雨引起的探测，其强度非常低，回波数为1或2。由喷淋水引起的探测往往具有非常低的EPW。大部分看到的是第一和第二回波，很少有第三回波。类似的情况也发生在车辆本身，这也是难以消除由喷淋水引起的探测的一个原因。强度和回波都在相同的范围内，只有形状允许有明确的区分。

figfig:sensors-1246607-f006c,d显示了一个框架，其中加入了盒子，导致车辆的一部分被遮挡（盒子的高度范围从20厘米到2米，允许多层遮挡）。请注意，垂直于传感器的尺寸具有较高的强度时，盒子里的强度分布如何在物理上有意义。回波数也与预期的一致。最后，在图6e,f中给出了一个例子，盒子没有遮挡住车辆。这种在模拟中自然发生的遮挡，在增加真实数据时必须被人为增加。

在合成数据生成后，具有OI 4的物体被提取出来，并与测量点云的相应帧相连接。此外，高斯噪声被添加到由盒子引起的检测中。该噪声的标准偏差为5厘米，平均值为零。标准偏差的值是从LV后部引起的真实反射中提取的。添加噪声的效果显如图7e,f所示。

如前所述，方框与低压车碰撞的情况会被自动删除。然而，如图8c所示，盒子有可能与道路边界或相邻车道的车辆接触。此外，如图8a所示，盒子的存在进一步会遮挡住光路中的物体。为了解决这两个问题，我们使用了一种算法，基于每层检测的径向直方图（图8右为径向直方图）。

图 6. 生成的合成帧示例。左边的检测是根据EPW值着色的，右边的检测是根据回波数着色的。在(a,b)中没有添加障碍物。在(c,d)中，显示了由盒子引起的遮挡影响。在(e,f)中，添加了一个不会引起遮挡的盒子。(c,e)中的箭头表示障碍物的位置。

图 7. 一个真实帧示例图，增强之前（a,b），增强之后（c,d ）以及添加噪声之后（e,f ）。在左侧，检测基于EPW值着色，在右侧基于回波数着色。（a,b）中的真实帧与图6a,b中所示的合成帧相对应。箭头标志着增强后的盒子的位置。请注意，由于合成数据的生成方式，盒子上的强度分布是有物理意义的。回波数也是合理的。添加从真实测量中提取的噪声的效果（e,f）也增加了相似性。

图 8. 示例，在添加合成物体后必须计算遮挡情况。在(a)中，在与障碍物(虚线)相同的角度区域和层中，由LV引起的检测应被删除。同样，在(c)中，由于障碍物的随机位置恰好在另一车辆内，因此障碍物本身应被删除。(b,d)与之相同。如果数值太高，需要选择角度bin的大小，以避免点云的强烈欠采样。然而，如果数值太小，所需的遮挡效果就不会发生。在我们的案例中，我们使用了一个略高于传感器分辨率的数值。在高斯噪声被添加到合成检测中之前，要先计算遮挡效果。

该算法的工作原理如下：

1. 对于每一帧，计算每一层的径向直方图。
2. 含有由盒子引起的检测的bin被提取出来
3. bins中的检测结果根据其与传感器的径向距离以升序排列。
4. 使用第一个探测，其余的被删除。不考虑0至5米区域的探测结果，因为在生成合成数据时已经包括了它们的影响。

请注意，图8a,c和图6c,d中的例子对应于所有层都被遮挡的情况。这样做是为了清楚地分辨效果，但只有在合成物体的高度接近其范围的上限（2米）的罕见情况下才会才会全部遮挡。

3 试验结果

采用两层前馈神经网络作为分类器，一层为10个神经元的隐藏层，一层为输出层。采用缩放共轭梯度反向传播作为训练函数。使用交叉熵来评价性能。

输出类别：无盒子（NB）和有盒子（B）。NB类包括由喷雾、其他车辆、道路边界和雨滴引起的检测。B类对应由合成障碍物引起的检测。为了弥补类别不平衡，对NB类使用了20%的误差权重，对B类则使用100%误差权重。

训练时，将‘y’中6 ~ 6 m和‘x’中0 ~ 20 m的区域划分成不同尺寸的直方图。以下是根据可帮助识别的特征而采用的bin大小：

• 小特征:X轴上10cm乘Y轴上10cm

• 车辆后方: X轴上20cm乘Y轴上2m

• 车辆侧面: X轴上4m乘Y轴上10cm

• 中型特征: X轴上50cm乘Y轴上50cm

• 径向: 1◦.

使用了以下分类参数（每个检测）。计数数量对应于包含检测的相应直方图的bin的数量：

1. X 轴坐标

2. Y 轴坐标

3. 回波数

4. 层数

5. EPW 值

6. 计数次数(径向) 

7. 计数次数(小特征) 

8. 计数次数(车辆后方) 

9. 计数次数(车辆侧面) 

10. 计数次数(中型特征) 

11. 当前帧的参数六减去前一帧的参数六的绝对值

12. 与水平矩阵的卷积(附录B) (小特征)

13. 与角矩阵1的卷积(小特征)

14. 与角矩阵1旋转90◦的卷积(小特征)

15. 与脉冲矩阵1的卷积(小特征)

表3展示了使用F-Score作为度量的分类结果。结果分为 "所有持续时间 "和 "持续时间3f"，前者对应的持续时间为一帧、两帧和三帧的分类结果，后者只包含物体在同一位置停留三帧的例子。持续时间为1帧和2帧的结果非常相似，因此没有展示出来。B类的F-Score分别为92.13和92.26。这表明，正如预期的那样，盒子在同一位置停留的时间越长，分类效果就越好，而且增加更多的参数（如参数11）可以进一步改善结果。

为了找到参数空间中的问题区域，图9显示了在较小的数据簇上使用先前训练的分类器得到的结果。这里的重点是障碍物的大小变化和LV的位置变化的影响。进一步的依赖关系见图A2。 

关于执行时间，使用C++在一台装有英特尔CORE i7-8850H CPU的计算机上，提取特征向量并完成每帧182 51毫秒的推理，需要一个单线程、未优化版本的拟议算法。这种变化是由检测数量的变化引起的。然而，目前用于AV的平台，如RENESAS R-Car和NVIDIA Drive集成了用于图像处理任务的加速器，鉴于我们使用固定的直方图尺寸，可以采用这些加速器来高度并行化计算，减少执行时间。例如，如果使用三个连续的传感器帧，这相当于~120毫秒，而每个帧的ROI分割应该需要几毫秒，剩下大约150毫秒用于计算特征向量和分类，这应该可以实现。生成合成数据和训练神经网络所需的时间不包括在内，因为我们假定它可以离线完成。然后可以在车辆中使用预训练的网络，并在需要时通过无线方式进行更新。

图 9. 通过将可用数据分成小部分，对分类结果进行详细分析。F-Score低于92%的区域以黑色显示。蓝色区域为空(当前参数组合不包含任何示例)。右边显示了每个参数的含义。SOvol 对应于合成物体的体积，SOx和SOy对应于其坐标。LVx 和LVy 对应于前车的坐标。在这两种情况下，位置是相对于Ego车上的LIDAR传感器的位置来计算的。当合成物体靠近道路边界（a,b）或靠近LV且尺寸较小（b）时，分类任务的难度增加；此外，当合成物体在X方向上与LV距离较远（c）或LV移动到Ego车道上（d）时，分类任务的难度增加。

4 讨论情况

从图9可以看出，当盒子中心靠近道路边界Soy <2.5米时（图9a,b），分类变得困难。这是因为道路边界可以生成多种形状(见图 A1)，很容易与矩形物体混淆。另外，当LV超车进入自我车道,LVy <2.25米时（图9d），分类器的准确率降低，因为分类器可能会意识到，当自我车道中有物体时，该物体很可能是障碍物。当合成物体远离SOx >16.5米时（图9c)，也会发生类似的情况。尤其是在这种情况下，如果盒子不够大，有很多喷雾，很可能会导致分类错误。最后，当LV距离自我车辆左边很远处LVy >4.25米时（图 9d），或接近ROI的起点LVx <15.5米时（图 9c），只能看到其形状的一部分垂直边线。这比通常预期的“L”形更容易被错误分类。虽然这些区域的分类很有挑战性，但总的来说准确性很高。如果在使用的ROI的行驶车道中找到对象的概率不那么低，情况就不会如此。例如，在低速行驶或城市交通中，这项任务将更具挑战性，因为合成物体的位置不会像在高速路上那样是一个重要的分类参数。此外，尽管我们已经非常谨慎地使合成数据尽可能地与真实数据相似，但可能有些参数仍然不同，足以使分类任务比现实中更容易完成。例如，使用了一个唯一的反射值，而真实的障碍物很可能是由不同的材料组成，其具有不同的反射值。

展示模型构成了一个基础，在此基础上可以通过相对较小的变化来模拟更复杂的场景。例如，合成物体的类型可以很容易地改变，其位置可以根据需要进行动画或模拟。合成物体数量也可以增加，而且它们不一定是静态的。例如，它们可以模拟其他车辆。真实数据和合成数据也可以用不同的方式结合起来。喷雾可以完全由合成产生，只保留由LV引起的真实检测，也可以使用合成的LV，只保留真实的喷雾检测。

我们所提出的方法是基于开源工具，可以轻松应用于其他LIDAR传感器。也可以用来模拟其他与天气有关的影响。例如，模拟由废气引起的探测结果。

由于许多模拟参数都是从真实点云的特征中提取出来的，因此需要收集一定数量的数据。但是，这是一个更轻松的收集任务，因为在喷洒区域不需要有真正的障碍物存在。

5 结论

关于未来的研究方向，尽管浅层神经网络对于当前的用例来说已经足够了，但使用更复杂的网络类型和架构可以提高分类精度。如果引入其他障碍物类型，例如自行车、轮胎、车辆部件等，这一观点尤为正确，在这些情况下，手动定义分类器特征很困难。此外，尽管整个障碍物只使用了一个反射值，但可以添加一个纹理来给不同的部分赋以不同的反射值。也可以为障碍物添加更复杂的物理元素，例如弹跳或破裂。

缩略语

ADAS           高级辅助驾驶系统

 AV               自动驾驶汽车

EPW            回波脉宽

GPS              全球定位系统

IOR              折射率

LIDAR         光检测与距离修正

 LV                领先车辆

OI                 对象索引

ROI              感兴趣区域

附录 A

图A1a-c显示了一些道路的边界形状。图A1d显示了存在另一辆车的情况。可以注意到，道路边界可以形成容易与其他物体混淆的形状，而且由于曲线的原因，它并不局限于某一特定区域。其他车辆如卡车也能产生复杂的点云。

图 A1. 由不同道路边界（a-c）和其他车道上的车辆（d）产生的点云示例。ROI在 "y "轴以红线限制，在 "x "轴由虚线限制。

图 A2. 图9的延续部分，包括其他参数的依赖项。F-Score低于92%分类结果的以黑色区域显示。蓝色区域为空(当前参数组合不包含任何示例)。除了已经解释过的参数外，SOR 对应于合成物体的反射，SOrot 对应于其旋转度数。在（a-c）中，合成物体的高反射值似乎会降低F-Score。高反射产生高EPW值，高EPW值在LV上更容易出现(图 A4) ，使分类更加困难。合成物体的旋转（d）和体积（c-e）本身似乎没有很大的影响。

图 A3. LV相对于自我车辆的位置的概率分布。LV的参考点是其边界盒下侧的中间位置（考虑鸟瞰图）。

图 A4. 直方图显示了真实LV的后部（图片上部）和合成物体（图片下部）的EPW值的概率分布。对合成物体渲染场景后得到的平均值和标准差进行调整，使其与LV的均值和标准差相似。

附录 B

卷积中使用的矩阵：脉冲矩阵(A1)、水平矩阵(A2)和角矩阵(A3)。这些矩阵被用来识别一些特征，如存在于喷雾云或合成物体或领先车辆部分的孤立检测。

文章转载自公众号：智能汽车开发者平台