自动驾驶定位|城市场景中自动驾驶车辆基于高精度地图的视觉语义定位——华为诺亚方舟实验室

摘要

高度精确且鲁棒的定位能力对于城市场景中自动驾驶车辆（AVs）至关重要。传统的基于视觉的方法由于光照、天气、视角和外观变化而导致定位丢失。在本文中，我们提出一种新型的视觉语义定位算法，它基于高精度地图和具有紧凑表达的语义特征。语义特征广泛出现在城市道路，并且对于光照、天气、视角和外观变化具有鲁棒性。重复的结构、漏检和误检使得数据关联（DA）具有高度奇异性。为此，本文提出了一种考虑局部结构一致性、全局模式一致性和时序一致性的鲁棒DA方法。此外，本文引入一种滑动窗口因子图优化框架，以融合关联结果和里程计测量信息，而不需要地图特征的高精度绝对高度信息。

我们在仿真和真实城市道路上评估所提出的定位框架。实验结果表明，所提出方法能够实现高度精确定位，其平均纵向误差为0.43m，平均横向误差为0.12m，平均偏航角误差为0.11°。

介绍

近年来，AVs已经受到工业界和学术界的广泛关注。高精度定位对于AVs而言是一项关键技术，因为决策、规划和控制等各种模块都严重依赖于定位结果。为了实现精确定位，AVs装载了各种传感器，例如GNSS、相机、激光雷达、IMU、车轮编码器等。由于激光雷达的价格昂贵，因此低成本相机和IMU更适用于商用级AVs定位。

城市场景中具有各种复杂的道路条件，例如城市峡谷、隧道、高架等，这使得AVs定位更具有挑战性。为了在该场景中实现鲁棒定位，涌现了各种方法，例如基于GNSS的方法、基于视觉的方法、基于视觉-惯性的方法、基于激光雷达的方法。基于GNSS的方法能够在开阔场景中实现厘米级精度，但是它在遮挡和多路径条件下不够可靠。所以，提出了融合GNSS和IMU或者里程计的方法，以解决GNSS的问题，但是由于里程计漂移，它们在长期缺少全局定位信息的场景中仍然会失效。为了解决漂移的问题，广泛应用基于先验地图的方法。最常用的地图为点云地图，它能够通过ICP或者NDT方法实现厘米级定位，但是点云地图的存储对于商用级AVs而言是一个巨大的挑战。传统的视觉特征地图也已经被尝试用于定位，但是由于光照、天气、视角和外观变化，它们受到跟踪丢失的影响。

为了解决这个问题，我们提取视觉语义特征，并且基于高精度地图进行定位。与传统视觉特征相比，语义特征广泛出现在城市道路上，并且对于天气、光照、视角和外观变化是长期稳定且鲁棒的。由于语义特征的奇异性、误检和漏检，DA是最大的挑战之一。因此，我们提出一种具有一致DA的精确且鲁棒的视觉语义定位系统。本文的主要贡献如下：

1）一种基于视觉语义特征和轻量级高精度地图的精确且鲁棒的定位算法，无需地图特征的高精度绝对高度信息；

2）一种基于局部结构一致性、全局模式一致性和时序一致性的鲁棒DA方法来解决DA的奇异性；

3）一种紧耦合视觉语义测量和里程计测量的因子图优化框架用于鲁棒定位；

4）在仿真和真实城市道路上进行大量实验来验证DA的有效性和定位的精度。

相关工作

A.基于传统视觉特征的方法

基于传统视觉特征的方法提取几何特征，例如点、线和平面，并且通过描述子执行特征匹配。Mul-Artal和Sons分别使用ORB和BIRD描述子来构建特征地图，接着通过特征匹配来获取位姿。ETH ASL LAB在这一领域已经完成大量的工作，包括多地图汇总、基于外观的在线路标选择。然而，这些方法仍然无法摆脱天气、光照、视角和外观变化的影响。

B.基于道路上语义特征的方法

基于道路上语义特征的方法被广泛应用于AVs。语义特征由道路标记、交通信号灯、交通标志、电线杆等组成。Schreiber和Poggenhans检测道路标记和路缘，并且通过将特征与地图匹配来定位AVs。Lu应用chamfer匹配来构建道路标记的约束，并且求解一个非线性优化问题来估计6自由度位姿。此外，Jeong对道路标记分类来避免奇异性，并且通过子地图匹配、回环和位姿图优化来实现精确定位。Wilbers和Spangenberg通过具有深度的电线杆来实现位姿估计。同时，Sefati融合来自相机和激光雷达的道路标记和交通标志以通过PF进行定位。此外，Wu通过从相机图像中提取的车道线和从占据栅格中提取的blob特征来执行定位。Ma通过概率直方图滤波来融合INS、GPS、车道线和交通标志的定位结果。除了道路标志和电线杆之外，Kummerle还通过激光提取建筑物垂直表面的几何信息来实现精确定位。

在本文中，我们仅使用一个单目相机进行定位。我们无需绝对高度，而是需要相对于当前位置的路面高度。这简化了地图构建的难度，并且大大降低了成本。

C.语义数据关联

由于语义特征的奇异性、误检和漏检，实现正确且鲁棒的数据关联是极其具有挑战性的。Spangenberg通过欧式距离和电线杆宽度将感知的电线杆与地图关联。同时，Hu和Xiao应用RANSAC来消除误匹配。进一步，Kummerle和Wilbers通过随着时间累积检测结果来构建子图，从而解决DA的奇异性。在目标跟踪的领域内，运行Hungarian算法和多假设跟踪。为了解决DA的奇异性，Bowman将概率DA引入到语义SLAM系统中。与这些方法不同，本文提出一种基于局部结构一致性、全局模式一致性和时序一致性的鲁棒DA方法来消除由奇异性造成的误匹配。

系统概述

因此，定位框架被分为四个部分，即传感器和地图、检测器、关联以及优化，如图2所示。

传感器由一个单目相机、一个IMU、两个车轮编码器和一个GNSS接收器组成。相机用于检测语义特征。IMU和车轮编码器构成里程计来提供局部相对运动估计。GNSS接收器可以提供当前位姿的粗略估计，其用于系统初始化。检测器层从图像检测道路标记、电线杆、交通信号灯和交通标志。关联层关联从图像中提取的语义特征和高精度地图中的特征。关联过程被分为五个步骤。第一步，在先验位姿附近生成候选位姿，并且基于每个采样的位姿将地图特征投影到图像上。第二步，实现基于局部结构一致性的粗略关联以寻找近似最优的采样位姿。第三步，执行一种考虑匹配数量、匹配相似度和局部结构相似度的最优关联方法，以实现最优的全局一致匹配。第四步，执行连续帧之间的特征跟踪。第五步，执行时序平滑以获取时序一致的DA。在最后的优化层中，引入位姿图优化以估计基于DA的位姿和里程计测量。

方法

A.语义特征和检测

语义特征的选择对于定位性能而言是至关重要的。在本文中，我们基于工作Accurate and efficient self-localization on roads using basic geometric primitives中提出的准则来选择特征，因此选择道路标记、电线杆、交通信号灯和交通标志来定位。它们易于检测、在场景中频繁出现、存储高效、表示紧凑，对天气、光照、视角和外观具有不变性。

B.语义数据与高精度地图关联

由于语义特征的奇异性、误检和漏检，DA成为语义定位系统中最具挑战性的问题之一。在本文中，我们提出一种基于局部结构、全局模式和时序一致性的鲁棒DA方法以解决DA的奇异性问题，并且确保空间和时序一致性。为了说明提出的DA方法，在Algorithm 1中提供了伪代码。

DA过程的细节信息如下：

具有最大C值的候选位姿被认为是近似最优的匹配采样位姿，并且将在步骤3中使用。

步骤3：基于近似最优的匹配采样位姿，执行一种考虑匹配数量、匹配相似度和局部结构相似度的最优关联方法，以实现最优的全局一致匹配。通过求解以下优化问题，将其表述为多次图匹配问题：

步骤4：特征跟踪：该过程建立连续帧中特征之间的关联。由于感知的特征是静态且保持局部结构的，我们将该过程表述为一个多次图匹配问题，类似于公式（7）。

C.位姿图优化

公式（2）的位姿估计过程可以被定义为先验概率和似然的乘积：

其中，每个误差项与对应的信息矩阵一起被认为是一个因子，每个状态变量可以认为是一个节点，因此定位问题可以通过因子图表示，如图4所示。

非线性优化问题可以通过一个迭代算法直接求解。采用滑动窗口而不是批量方法来提高计算效率，同时确保定位精度。旧的状态被截断并且直接忽略。边缘化方法也可以处理老的状态，但是它累积了线性误差，使得系统矩阵变得稠密，并且导致死锁。边缘化方法基于过去的数据约束位姿，但是使用地图特征作为先验足以约束车辆位姿。

实验评估

A.典型场景中仿真

我们首先评估感知和地图误差如何影响所提出算法的性能。选择一个典型的交叉路口场景，其中道路两侧有四根电线杆，车辆前方有两个交通信号灯和两个交通标志。在不同感知和地图误差下的位置和偏航角误差如图6所示。

所有结果均为1000次实验的平均值，以消除随机性。结果表明，所提出方法获得高度精确的定位结果，其在0.2m地图误差和5个像素感知误差下，位置误差为0.23m，偏航角误差为0.064°。

所提出算法不需要地图特征的高度精确绝对高度。我们将本文方法与6自由度位姿估计方法进行比较，以展示对地图特征不同高度误差的影响。我们还在典型的交叉路口进行实验。图7说明了结果，它表明本文方法在位置和偏航角方面均获得明显更小的误差。因此，我们的横向误差测量模型对所提出系统的性能有益。

不同的特征分布也会影响定位性能。为了探索所提出算法的性能限制，我们在具有不同特征分布的各种场景中对其进行量化。我们将它们分为两种情况，包括车辆和特征之间不同的纵向距离，以及车辆坐标系下特征之间不同的横向距离。本文选择一个典型场景，其中车辆两侧的两个电线杆具有不同的距离。地图和感知特征假设分别具有0.05m和2个像素的标准差。实验结果如图8所示，它表明纵向距离越长，纵向定位越差，但是横向和偏航定位越好。然而，当横向距离增加时，纵向精度变得越好，但是横向和偏航定位变得越差。

B.真实城市道路场景

图9给出具有定位误差的轨迹，并且在高架道路上使用GNSS比较了定位精度。结果表明，本文方法具有明显更低的误差，这证明了本文方法在复杂道路场景中的有效性，在该场景中GNSS会失效。

图10给出横向、纵向和偏航误差分布。

所提出DA方法的正确性也通过在各种具有误检和漏检场景中的实验进行评估。图11给出两个场景的DA结果。左图展示本文方法在一般场景中的正确匹配结果。中间和右边图像说明关联方法有效地处理由误检造成的奇异性，这主要获益于局部结构和时序一致性约束。

我们还比较高精度地图与特征地图和点云地图的规模。高精度地图仅需要大约每公里10KB的存储空间，而特征地图和压缩的点云地图分别需要每公里53MB和每公里3MB的存储空间。

总结

在本文中，我们提出一种新型的语义定位算法，它利用图像中提取的语义特征和高精度地图中的特征。为了处理由重复结构、漏检和误检造成的DA奇异性，使用一种考虑局部结构、全局模式和时序一致性的鲁棒DA方法。一种紧耦合数据关联和里程计测量数据的滑动窗口因子图优化框架被设计用于精确且鲁棒的定位。对所提出系统进行验证，并且结果表明，所提出方法实现了亚米级的定位精度。

未来，我们希望使用更全面的理论来扩展我们的框架，以实时地评估定位性能。我们还计划检测更多的语义特征来提高所提出系统的鲁棒性。

文章转载自公众号：自动驾驶专栏