精品译文 | 用于测量自动驾驶雷达感知的仿真与真实差距的⼀种多层次方法

译文  用于测量自动驾驶雷达感知的仿真与真实差距的⼀种多层次方法

原文 : A Multi-Layered Approach for Measuring the Simulation-to-Reality Gap of RadarPerception for Au-tonomous Driving

翻译：胡洁义

译文审核：闻继伟

➡本文主要内容分为5个部分（约8556字，20分钟阅读）

随着自动驾驶汽车发布的安全验证要求日益增加，除了传统的现实世界的测试外，仿真测试等补充测试覆盖度的方法日趋重要。为了提高仿真测试精度，所使用的传感器模型必须经过充分验证。因此，有必要量化仿真和现实之间的差异，以确定某种保真度是否满足所需的预期用途。目前没有有效的方法来测量自动驾驶系统中毫米波雷达感知的仿真与现实之间的差异。我们通过引⼊⼀种多层次的评估方法来解决这个问题，该方法由显式和隐式的传感器模型评估组合而成。前者直接评估传感器合成数据的真实性，而后者是指下游目标应用程序的评估。为了证明该方法的有效性，我们评估了三种典型类型的毫米波雷达模型(理想、数据驱动、射线跟踪)的保真度及其在仿真测试中多目标跟踪方面的适用性。我们展示了所提出的方法的有效性，它可以提供深度传感器模型评估，使现有的差异可见，并能够在不同场景下对整体模型保真度进行真实的估计。

01

引言

对于任何自动驾驶汽车而言，对环境的可靠感知和理解是必不可少的。因此，采用冗余传感器组来提高鲁棒性和安全性。除了摄像头和激光雷达外，毫米波雷达能够通过多普勒效应直接测量物体的径向速度，而且在恶劣天气条件下具有较好的鲁棒性，在自动驾驶方案中发挥着关键作用。它可以识别和跟踪相关物体，有助于对当前场景的总体理解。

自动驾驶系统的安全验证是⼀个高度复杂的问题，需要新的方法，因为基于现实世界测试的安全统计已被证明不具可扩展性。采用现场测试和仿真测试相结合的方法是大幅减少自动驾驶系统验证⼯作量的最有前途的方法。文献中可以找到使用传感器合成数据进行开发和测试过程的⼏个应用领域。Sligar使用准确的基于物理的雷达仿真来创建仿真传感器数据集，以训练基于机器学习的物体检测模型。相反，Hartstern等⼈使用概率传感器模型在早期开发阶段确定最佳传感器配置解决方案，因为它们提供了丰富的可修改参数和可调节的设置。Ponn等⼈基于自动驾驶车辆的传感器配置，利用现象学传感器模型自动创建具有挑战性的和关键性的场景。

考虑到传感器模型的需求因用途而异，因此必须验证传感器模型并找到模型真实性和计算时间之间的适当平衡。特别是高保真度的毫米波雷达仿真面临着计算时间要求非常高的挑战。虽然可以直接测量仿真运行的执行时间，但由于不仅要对传感器模型本身，还要对仿真环境进行建模和验证，因此传感器模型的真实性评估相当复杂。

Schlager等⼈基于传感器模型的输入、输出和建模原理来推断其保真度。例如，如果传感器模型使用光线追踪等渲染技术，则被分类为高保真度，这是⼀种纯粹的定性评估，并不⼀定适用于毫米波雷达模拟。此外，文献中可以找到不同的方法来定性地比较合成的和真实的雷达数据。与直接评估合成数据不同，可以通过评估下游算法从真实数据和合成数据中提取的输出之间的差异来间接评估传感器模型。对于激光雷达模拟，存在基于距离度量和占用格的定量评估方法。尽管激光雷达点云可以与毫米波雷达检测相比较，但考虑到毫米波雷达数据更为稀疏和随机，是否可以使用这些技术来评估模拟雷达数据是个问题。Reway等⼈提出了⼀种测试方法，通过评估被喂入真实数据和合成数据的目标检测算法来间接测量合成视频数据的保真度。

虽然文献中可以找到许多传感器模拟方法，但验证和定量评估雷达模型整体准确性的问题仍未解决。由于可以假定真实数据和合成数据存在差异，因此在仿真测试中验证雷达模型非常重要。需要新的方法来衡量仿真与真实之间的差距，以便决定传感器模型是否适用特定应用目的。此外，除了评估合成的雷达数据外，还必须检查数据质量是否适用于预期用途，这是因为对雷达仿真保真度的需求因应用而异。因此，应当将期望目标应用的性能包含在整体评估中，以便可靠且准确地测量模型整体的保真度。

在本文中，我们提出了⼀种多层测试方法，用于评估感知功能仿真测试的模拟与真实之间的整体性差距(见图1)。我们的方法由显式和隐式传感器模型评估的组合而成。前者直接评估仿真传感器数据，而后者是对下游目标应用程序的输出进行间接评估。本研究选择多目标跟踪作为下游目标应用，这是毫米波雷达感知的典型用例。我们进⼀步将级别分为全面(高级别)和特征级别(低级别)的评估(见图3)。四个不同保真度级别的划分提供了全面的传感器模型评估，使现有差异变得透明，并能够对整体模型保真度进行真实估计。

本文的其余部分结构如下：首先，第II节介绍了真实数据和合成数据的生成以及毫米波雷达感知。第III节详细描述了所提出的验证方法和不同的评估级别。第IV节介绍了进行的实验并讨论了该方法的有效性。最后，第V节对进⼀步研究进行了简单展望。

显示传感器模型评估(ESME)：数据端的评估。

隐式传感器模型评估(ISME)：应用端的评估。

02

雷达数据生成和感知

本节介绍了真实和合成毫米波雷达数据的生成以及毫米波雷达感知模块的后续预测。每个过程由若干步骤组成，如图1所示，并在以下进行详细阐述。

A.  真实数据生成

真实数据作为后续比较的参考，是传感器模型评估的基本要素。参考数据是仿真的基础，因此高度的准确性至关重要。在这项工作中，测试是在测试场地上进行的，在该场地上可以使用差分全球定位系统(DGPS)和惯性测量单元(IMU)作为参考系统来获取对象的地面真实数据。毫米波雷达传感器安装在自车上，目标车辆也配备了参考系统，以精确获取位置、方向和速度。

B.  合成数据生成和毫米波雷达模型

合成数据的生成分为两个步骤：根据记录的参考数据在仿真环境中重现真实的测试驾驶，并从毫米波雷达传感器的视角生成虚拟场景，从而得到合成的毫米波雷达点云。为了演示这种方法，实现了三种典型的雷达模型，它们在图2中进行了示意说明。

1) 理想雷达模型(IRM)：

理想传感器模型是⼀个Ground Truth模型，它模拟毫米波雷达传感器的理想行为。这种模型仅考虑几何视场(FOV)，而不考虑测量误差或传感器特定的物理效应，即只要物体在传感器的测量范围内，就能检测到它们。由于简单性和快速执行，它们适用于在理想条件下或在假设传感器误差可以忽略不计的情况下对感知算法进行早期测试。为了确保所使用的雷达检测形式的传感器模型的输出一致性，根据简化的散射中心模型，IRM的雷达点云分布在检测到的车辆壳体上（见图2）。

2) 基于数据的模型(DDM)：

基于数据的传感器模型致力于通过学习真实传感器测量的特定特征来近似雷达输出，而无需明确雷达特性的建模。由于这些测量本质上包含有关观察环境的信息，因此消除了对周围环境的丰富细节(例如物体材料属性)的需求。我们使用数据驱动或随机模型，该模型由现有雷达传感器测量模型的改进而成，由Scheel等⼈开发和训练的。因此，测量模型是使用变分高斯混合从真实数据中学习的。它用于处理针对物体的多个雷达检测以执行扩展物体跟踪中的测量-物体关联。在这项工作中，我们借鉴这种方法，以相反的方式预测给定物体状态的雷达测量值。我们还从已学习的边缘密度中采样，该边缘密度以检测到的车辆的方位角为条件，旨在生成雷达检测结果。采样数量根据实际雷达测量定义的径向距离的分布所确定。

3) 基于光线追踪的模型(RTM)：

开源仿真器CARLA被用来实现基于光线追踪的雷达仿真。此外，测试场地在仿真中被虚拟重现，并被雷达模型感知以生成仿真雷达检测。射线追踪或射线投射方法基于几何光学绕射理论来近似无线电波传播。在这种情况下，无线电波被建模为⼀束光线，每个光束在传感器视野内击中的物体都会返回⼀次反射。这些反射经过进⼀步处理，通过在每个位置计算信噪比(SNR)来得到。通常，雷达传感器的总体性能可以用SNR来描述，其由接收到的信号功率和反射位置上的噪声功率定义。作为最后⼀步，应用检测阈值以区分目标与主要的噪声和杂波，并生成雷达检测。我们进⼀步引⼊检测概率来近似雷达数据的随机性质。实现细节和公式在中有详细说明。

C.  Radar感知

生成的雷达检测结果进⼀步通过感知模块进行处理，在本文中，该模块以跟踪-检测方法表示为期望的目标应用程序。该模块分为聚类和跟踪两个步骤。但是，由于感知算法不是本文的重点，而且传感器模型评估应具有普遍适用性，不能为特定跟踪方法开发，因此跟踪模块被视为黑盒子。

尽管本文研究了毫米波雷达模型在多目标跟踪中的适用性，但所提出的方法并不是专门为此类感知算法设计的，而是允许进⼀步抽象到其他算法，如分类算法等。然而，隐式传感器模型评估中使用的指标需要根据各自的用例进行调整。

03

验证方法

基于仿真的测试是减少自动驾驶测试工作量的⼀种有前途的方法。然而，由于可以假定真实和模拟数据之间存在⼀定的偏差，因此准确量化模拟和现实之间的差距至关重要，以便基于仿真测试做出深⼊决策。

本节介绍的方法侧重于量化特定预期用途的毫米波雷达仿真的模拟到现实之间的差距，使现有的偏差可见。我们提出⼀种多级测试方法，其中包括显式和隐式传感器模型评估。两个评估级别进⼀步分为高级和低级评估，从而产生了图3所示的四个不同保真度级别(FL)。接下来，将详细介绍每个保真度级别以及毫米波雷达仿真和现实之间的总体差距量化。

高级评估：宏观层面/整体的评估。

低级评估：微观层面/局部的评估。

A.  显式传感器模型评估(ESME)

本研究中，显式或直接的传感器模型评估集中在毫米波雷达探测水平上，该水平是指反射通过探测阈值后的接口，从而形成雷达点云。生成真实雷达数据和合成雷达数据后，两个点云在它们的相似性方面进行比较。我们评估两个点云的特性，分别在两个不同的详细级别上进行。第⼀个级别代表⼀个评估级别，使用单⼀得分指标来评估合成生成的整个点云的保真度(高级评估)，而第⼆个级别独立地检查数据的个别属性，例如检测数量(低级评估)。

1) 高级评估:

每个毫米波雷达检测由其⼆维位置和多普勒速度定义。作为第⼀个指标，我们使用每个真实点云中每个检测与模拟点云的最小欧几里得距离的归⼀化后的总和，其中X=(x1，...，xM)和Y=(y1，...，yN)分别表示真实点云和模拟点云，其中xm，yn∈R3是三维点。这个点云到点云的距离Dpp首先由Browning等⼈引入，并定义如下：

此外，将总和除以相应的点数，并假定最坏情况，因为Dpp是非对称的。

两个点云之间的距离计算结果可能是非对称的，这是因为它们具有不同的点分布和采样密度。考虑两个点云A和B，假设A中的某些点在B中有匹配的最近邻，但B中的某些点在A中没有匹配的最近邻。因此，对于这些点对，A到B的距离可能会小于B到A的距离。这是因为A到B的距离只计算了匹配的点对，而B到A的距离则包括了匹配和未匹配的点对。另⼀个导致非对称距离的因素是采样密度的不同。如果⼀个点云的采样密度比另⼀个点云高，它将具有更多的点，因此可能会有更多的匹配点，从而影响距离计算结果。

高斯沃瑟斯坦距离(GaussianWassersteindistance)

引入了高斯瓦瑟斯坦距离WD作为比较不同雷达点云的点分布的第⼆个指标。Wasserstein距离测量两个分布之间的差异，由重排⼀个分布以形成另⼀个分布的最小成本来确定。以下方程的详细推导可以在中找到：

除了点云X和Y之外，m和n表示点集中点的数量，两个分布之间的最小成本由最优流fm,n表示。欧几里得距离被选为地面距离dm,n。因此，WD自然地将单个点之间的距离扩展到点分布之间的距离。

高斯瓦瑟斯坦距离(GaussianWassersteindistance，WD)是⼀种用于比较两个概率分布之间差异的距离度量。它是基于Wasserstein距离的扩展，通过引入⼀个高斯核函数来对Wasserstein距离进行加权平均，从而更好地适用于连续的概率分布。

在雷达信号处理和计算机视觉领域，高斯瓦瑟斯坦距离常被用来比较不同雷达点云或图像的特征分布。通过计算两个分布之间最优的重排代价，可以得到高斯瓦瑟斯坦距离。与其他距离度量相比，高斯瓦瑟斯坦距离可以更好地捕捉到概率分布的细节，从而在许多应用中表现出更好的性能。

2) 低级评价:

为了实现深入评估并显示现有偏差，我们将点云评估分解为对特定属性的单独评估。本文中，每个雷达检测都由其在极坐标系中的⼆维位置(径向距离r，方位角φ)和多普勒速度来指定。我们通过将每个特征维度视为概率分布来检查每个特征维度，并通过特定特征Wasserstein距离(WDfeature)来测量仿真和真实之间的偏差。进而产生了以下指标：WDr，WDφ，WDDoppler。此外，还通过绝对点数误差(PNE,Pointnumbererror)来检查点数的差异。

B.  隐式传感器模型评估(ISME)

本小节介绍了传感器模型的隐式或间接评估方法，通过真实和合成雷达数据喂入下游感知模块的输出来进行评估。将模拟传感器数据馈送到为真实雷达数据开发的感知算法中，并比较两种预测结果，可以评估传感器模型的优势和劣势。与显式传感器模型评估类似，ISME分为高级和低级评估。前者衡量两种预测的整体差异，而后者单独评估感知结果的特定属性。由于感知算法的评估相对于雷达检测的评估更为深入和成熟，因此下文简要阐述所使用的指标。

1）高级评估：

使用两种不同的指标来评估整体目标跟踪性能。首先使用广为⼈知的最优子模式分配(OSPA)作为第⼀个指标，该指标由Schumacher等⼈提出。OSPA由两个部分组成，分别对定位误差和基数误差进行独立计算。因此，OSPA指标具有两个可调参数p和c，这些参数具有离群值敏感性和基数惩罚的有意义解释。在本文中，我们将p设置为2，将c设置为5。为了评估边界框预测的性能，使用交并比(IoU)作为第⼆个指标。IoU定义为基于模拟雷达数据估计的形状与基于真实雷达数据预测的形状之间的交集面积除以两个形状的并集面积。

最优子模式分配(OptimalSubpatternAssignment,OSPA)是⼀种用于衡量两个集合之间距离的指标。在目标跟踪、多目标跟踪、机器⼈探索等领域中，OSPA广泛用于评估预测结果和实际结果之间的差异。在多目标跟踪中，OSPA距离通常用于比较跟踪器的输出和真实目标的位置。为了获得更好的匹配效果，需要通过调整距离敏感性参数p和关联敏感性参数c来适应不同的跟踪器和应用场景。

距离敏感性参数p控制了匹配距离和不匹配距离之间的权重。当p=1时，匹配距离和不匹配距离具有相同的权重。当p>1时，匹配距离的权重相对较高，这意味着算法更加关注匹配的目标。当p<1时，不匹配距离的权重相对较高，这意味着算法更加关注未匹配的目标。

关联敏感性参数c控制了多目标跟踪中的目标关联。当c=0时，算法不考虑目标之间的关联关系，即不考虑多个目标可能是同⼀个真实目标的情况。当c>0时，算法考虑目标之间的关联关系，即将多个目标视为同⼀个真实目标的可能性更高。关联敏感性参数c越大，算法越倾向于将多个目标视为同⼀个真实目标。

在目标检测领域中，IOU是指交并比(Intersectionover-Union)，也称为Jaccard系数。它是⼀种用于衡量目标检测算法性能的评价指标之⼀。在计算机视觉中，当我们进行目标检测时，模型预测出来的框(boundingbox)通常与真实的框之间存在⼀定的误差。因此，我们需要⼀种方法来度量模型预测框与真实框之间的相似程度。交并比就是这样⼀种方法。

具体来说，交并比是通过计算预测框与真实框之间的交集面积和并集面积的比值来衡量它们之间的相似程度。当IOU接近于1时，说明预测框与真实框之间的重叠部分很大，预测结果非常准确；当IOU接近于0时，说明预测框与真实框之间的重叠部分很小，预测结果不太准确。

在目标检测算法中，通常会将IOU设置⼀个阈值，比如0.5或0.75。如果模型预测出来的框与真实框的IOU大于这个阈值，那么就认为模型成功检测到了这个目标。反之，如果IOU小于这个阈值，那么就认为模型未能成功检测到该目标。

2) 低级评估

为了进⼀步检查跟踪准确性，计算了纵向x位置和横向y位置估计的均方根误差RMSE。此外，通过计算绝对基数误差来比较两个基数估计，同时考虑基于真实数据的估计作为基准。

基数误差是指在进行基数估计时估计值与实际值之间的差异。基数是指集合中元素的数量或大小。例如，⼀个集合中有5个元素，那么它的基数就是5。在计算基数误差时，可以将估计值与实际基数进行比较，并计算它们之间的差异。基数误差通常用于评估基数估计算法的准确性，它是估计值与实际值之间的绝对误差。如果基数估计算法的基数误差很小，那么它就被认为是准确的。

C.  测量仿真与现实的差距

在前面的各个部分单独评估每个级别之后，最后⼀步是将所有结果合并成⼀个总体差距。因此，我们提出了模拟与现实差距G来量化雷达模拟和现实之间的总体差异，该差距针对⼀个场景计算如下：

1)选择⼀个测试场景

2)进行测试驾驶并记录测量数据

3)模拟测试驾驶并生成合成传感器数据

4)使用真实和模拟传感器数据运行感知模块

5)执行显式和隐式传感器模型评估

6)将度量结果归⼀化到区间[0，1]，0表示最佳情况(没有偏差)

7)聚合每个保真度级别的结果

8)计算所有保真度级别的平均值，以获取合并的模拟与现实差距G。

04

实验与结果

在本节中，我们将根据其准确测量模拟与现实之间差距的能力来评估所提出的方法的有效性。首先，我们针对⼀个示例场景详细评估了第⼆节中介绍的三种雷达模型(IRM、DDM、RTM)，旨在研究它们在不同保真度级别上能够多大程度地近似真实雷达行为。在此基础上，进⼀步调查了传感器模型在不同场景类别下的保真度。

A.  单⼀场景-定性评价

首先，基于各自的目标跟踪表现，对雷达模型进行定性评估。因此，我们研究它们能够多大程度上近似基于真实雷达传感器数据的预测。在本例示场景中，雷达传感器静止于(0，0)，而车辆对象沿着⼀个八字形路径行驶在其前方。由每个雷达模型提供的真实和合成雷达数据所进行的目标跟踪结果如图4所示。

由于跟踪算法是基于真实雷达数据进行参数化的，因此相应的预测目标位置与目标物体的真实轨迹之间的偏差相对较小。由于IRM的理想化建模方法，只观察到小的偏差，类似于真实传感器数据。这些结果是预期的，因为雷达点沿物体的包围框均匀分布。因此，与DDM和RTM产生的数据相比，物体位置的估计更容易，后者也对传感器误差进行建模，从而产生更多噪声的传感器数据。后者显示恒定的偏移，因为采用了简单的光线投射方法。因此，雷达探测更分布在物体的可见边缘上，导致稍微偏移了预测的轨迹。虽然合成的DDM数据也可以观察到类似的结果，但观察到的误差相对较小。这是因为雷达探测分布在整个物体上，而不是主要分布在外壳上。

B.  单⼀场景-定量评估

虽然IRM是⼀种理想的传感器模型，但就目标跟踪预测而言，它产生的更为现实的估计与实际雷达跟踪预测类似。为了确定⼀个真实的整体模型保真度(模拟与现实之间的差距)，不仅要考虑跟踪预测，还必须考虑模型的直接输出，即雷达点云。

我们进行了隐式和显式传感器模型评估，并将两者的定量结果结合起来，以实现对整体模拟与现实之间差距的真实估计。为了进行全面的传感器模型评估，每个保真度级别都使用多个度量标准来评估数据的不同特征。第三部分介绍的度量标准的结果显示在表I中。

箭头向下表示数值越小越好，箭头向上表示数值越大越好

在此，度量标准的值表示场景上的平均值。由于不同度量标准的结果范围可以相差很大，因此采用最小-最大归⼀化方法将数据范围重新缩放为[0,1]。通过聚合每个保真度级别的单独结果，度量标准的结果更容易解释，如图5所示。此外，还描绘了总体模拟与现实之间的差距G，以便对所研究的预期用途的总体保真度进行量化。

很明显，通过视觉比较进行的定性评估在度量结果中得到了体现，也就是说与其他模型相比，IRM在隐式评估方面表现更好。然而，由于显式比较中的偏差相对较大，理想模型具有最高的总体差距。相反，对于基于数据驱动模型和基于光线跟踪的模型，FLI和其他级别之间存在明显的差异。这是由于边界框估计存在很大的差异，这表现为较差的IoU分数。除了FLII外，其余保真度级别的结果非常相似，这就是为什么DDM和RTM的总偏差几乎相同的原因。

C.  多场景的评估

与仅评估⼀个特定场景不同，本节将针对不同类型的场景扩展每个模型的保真度评估。由于传感器数据的输出以及目标跟踪的性能可能会因测试情况而大不相同，因此考虑了不同的场景类别。这些场景主要可以分为单⼀(s)和多目标(m)场景(见表II)。此外，选择典型的具有挑战性的场景来演示所提出的方法。所选场景并不能涵盖所有相关场景，而是具有示例性质。

各自的模拟与现实差距的结果用雷达图(见图6)表示。显然，基于射线追踪的模型在几乎所有测试场景中都实现了最小的差距。然而，在交叉场景中，RTM和IRM表现相对较差，而DDM与真实数据的偏差最小。此外，可以看出，多车辆场景中的偏差比单个物体场景中的偏差更大。这可能是因为使用的雷达模型相对简单，因此不考虑多路径反射等影响。

D.  讨论

此外，指标计算存在可能的改进，因为通过对场景运行的指标结果进行平均化，可能会丢失⼀些信息。需要进⼀步研究时间序列的深入分析可以提高整体估计结果的程度。我们假设每个保真度级别的指标权重相等。这是合理的，但未来的工作中必须进行详细调查。类似于指标的加权，我们假设每个保真度级别具有相同的重要性，但根据用例，类似的感知结果可能比准确的雷达点云更受欢迎，反之亦然。因此，有必要了解不同应用目的需要哪些模型质量要求。

05

结论

在本文中，我们介绍了⼀种多层次评估方法，用于衡量雷达模拟与现实之间的差距。为了研究所提出的方法的有效性，我们实现并评估了三种不同的雷达传感器模型。我们已经表明引入不同的评估级别可以呈现固有的偏差细节，并评估不同场景下的传感器模型保真度。这种客观和量化的评估使得可以自动执行大量测试，并提供基于虚拟测试的知情决策基础，从而减少自动驾驶功能验证的工作量。

在未来的工作中，可以考虑使用分类等替代雷达感知算法。因此，只需要调整隐式传感器模型评估的指标。多层次评估方法也可以应用于其他传感器模式，例如激光雷达传感器，因为激光雷达点云可与雷达检测进行比较。

文章转载自公众号：Sasetech