多传感器融合SLAM|maplab2.0：一个模块化和多模态建图框架（下）

• 论文链接：​​https://arxiv.org/pdf/2212.00654.pdf​​
• GitHub链接：https://github.com/ethz-asl/maplab

使用案例

本文进行若干次实验来完整地评估所提出的框架，并且展示它易于使用和高度的灵活性。具体而言，本节展现其在四个数据集上的结果来展示maplab2.0的新特性和新功能。首先，我们在公开的HILTI SLAM 2021数据集上验证所提出框架的性能和精度，并且将它与众所周知的最先进方法进行比较。然后，我们演示所提出框架在真实世界中的适用性，并且展示大规模多机器人多段建图的功能。接着，我们通过包含从投影的点云中检测到的三维激光雷达特征以证明路标系统的多功能性。最后，我们展示一个自定义室内数据集上的语义回环模块。所有数据集由硬件时间同步的传感器装置来采集。

A.验证和比较

本文使用HILIT SLAM Challenge 2021数据集来比较所提出的框架与最先进的方法。数据集包含12个记录，涵盖室内办公室环境和有挑战性的室外建筑工地场景。在本文实验中，我们删除三个太小且没有呈现有趣挑战的序列。剩余九个序列中的三对（建筑工地、地下室和校园）是在相同环境下采集的，并且能够协同定位以提高精度。

对于maplab2.0，我们能够使用数据集中提供的五个相机、ADIS IMU和OS0-64激光雷达。我们使用三种不同的里程计来源（ROVIO、OKVIS和FAST-LIO2）来展示maplab2.0的三种使用案例。除了标准的BRISK描述子之外，我们还使用外部接口来包含使用SuperGlue跟踪的SuperPoint特征，以及使用LK跟踪的SIFT特征。为了减小地图尺寸并且加速描述子搜索，我们使用主成分分析（PCA）将SuperPoint和SIFT特征从256位浮点压缩至32位浮点。使用所有可用的特征计算全局回环，并且融合匹配的路标。本文还使用来自激光雷达配准模块的ICP方法来局部地优化位姿。回环边的协方差根据经验预先定义好。序列Office Mitte的可视化结果如图3a-c所示。由图可知，与ORB特征相比，SuperPoint更好地符合建筑的结构。

表格II还展示了单独的里程计来源和其它SLAM基准（​​LVI-SAM​​​、ORB-SLAM3、RTAB-Map和​​maplab​​）的性能。

maplab和maplab2.0是唯一能够使用所有五个相机进行回环的方法。对于ROVIO和OKVIS，我们仅使用前视相机或者双目对计算里程计结果。在所有的方法中，使用视觉maplab2.0的方法以显著优势超越其它基准方法。仅使用激光雷达-惯性的FAST-LIO2是最好的基准方法，甚至超越了基于相同原理的视觉-激光雷达-惯性融合的LVI-SAM方法。然而，我们证明也能够将表现最佳的方法作为里程计，并且进一步优化结果，特别是FAST-LIO2显著地改善系统在Parking序列上的性能。为了快速增量式地改进，本文还提出将ROVIO和SIFT进行融合，展现了maplab2.0的多功能性，它与更好的基于深度学习的视觉特征无关。所有方法的耗时也在配备Intel i7-8700和Nvidia RTX 2080 GPU的机器上显示。

B.大规模多机器人多段建图

本文通过将所提出的框架部署在瑞士的大规模训练设施中以证明该框架对于复杂真实世界场景的适用性。该环境类似于城市的街道具有建筑物，以及恶劣的场景例如具有狭窄空间的坍塌建筑物。在本实验中，我们使用由五个相机和Ouster OS0-128组成的手持装置记录23个单独运行的数据，其中包含超过两个小时的数据，长度大约为10km并且多次室内-室外转变。每次运行使用OKVIS作为里程计。最初的五个地图使用建图服务器构建全局的多机器人地图，剩余的地图使用控制台中多段建图功能进行合并。使用全局视觉回环和来自RTK GPS的额外绝对位姿约束（如果可用）来保证所有任务之间的一致性。除此之外，通过执行任务内和任务间的激光雷达配准来优化单条轨迹。图4展示了最终的多机器人地图。

为了定量地评估多机器人服务器，我们在公开的EuRoC基准上进行测试。由于控制台和服务器使用相同的底层建图框架，这排除了次要的细节信息，例如运行顺序，所以期望的精度是相同的。我们使用建图服务器、ROVIO和BRISK在多机器人实验中同时运行所有的11个序列。之后，我们通过使用建图节点和控制台顺序地处理每个任务并且接着将它们融合到一起来重复实验。这些场景都实现了0.043m的平均RMSE APE，但是并行的建图服务器仅耗时3min27s就完成所有任务，而顺序的多段工作流程耗时为35min56s。对于这两种场景，耗时包括里程计、优化和地图合并。

C.被投影的激光雷达图像上的视觉跟踪

为了展现maplab2.0中路标系统的灵活性，我们集成三维的激光雷达关键点。我们从Streiff等人的工作（3D3L: Deep Learned 3D Keypoint Detection and Description for LiDARs）中获取灵感，并且将激光雷达点云投影到二维平面上。我们使用对数尺度来归一化激光雷达距离和强度值，并且通过Mertens融合来合并两个通道。使用相邻值填充由无效的激光雷达返回值造成的缺省像素。生成的两维投影的样例图像如图5所示，其中还包括来自相同视角的相机图像用于展示环境。

接着，我们将激光雷达图像作为相机图像进行处理，并且应用SuperPoint和SuperGlue来获取点特征和跟踪，如图5所示。由于对于每个特征观测，都有来自激光雷达的深度信息，因此我们能够更为高效地初始化并且回环这些三维激光雷达路标。最后，我们使用这些激光雷达关键点对HILTI 2021数据集中序列之一构建地图，并且在图3d中可视化生成的地图。激光雷达路标比视觉关键点能够构建更精确的结构，从墙壁的直线度可看出。然而，它们还受到由环境中缺失点或者移动物体在激光雷达图像上产生的噪声所引起的异常值的影响。

D.基于语义的建图

本节通过使用语义信息增强地图并说明它在真实世界场景中的潜在应用来展示maplab2.0的可扩展性和模块化设计。最初，使用Mask R-CNN来检测图像中的语义物体，并且对于每次检测，我们使用NetVLAD来提取掩码实例分割上的描述子。所有检测到的物体使用Deep SORT进行跟踪而不是内置的跟踪器，它使用外观项来扩展典型的空间数据关联度量，该外观项能够直接利用先前提取的物体描述子。类似于视觉路标，在maplab2.0中语义物体是三维路标，但是其具有相关联的类标签，并且能够被用于语义回环检测。

最终，通过直接地比较相同类别的物体描述子来寻找候选的语义回环。首先，应用唯一的可视性滤波器，即单张图像中观测到的两个路标不能够被匹配。在几何验证候选回环和聚类共视路标后，使用通过Horn的方法获取的两个三维路标类之间的相对坐标变换来构建最接近两个匹配路标类的两个机器人顶点之间的6自由度约束。最后，使用由Manoj等人提出的方法来计算相应因子图约束的协方差。

我们使用RGB-惯性传感器在一个具有多个物体的办公室环境中采集室内数据集。我们两次观测办公桌上的物体，同时留出一些时间来累积漂移（见图6a和图6c）。图6b显示了语义路标类和被检测到的回环候选。在将来自语义物体的回环边添加到因子图之后，漂移明显减少，图6c中能够看到改进的地图。

总结

本文提出一种研究平台用于多模态和多机器人建图，它支持在线和离线的地图处理。本文展示maplab2.0在大规模SLAM基准和多个实验使用案例上最先进的性能。本文提出的建图框架的灵活性和模块化设计促进了在各种机器人应用中的研究，并且在学术界和工业界产生重要的影响。用于复现实验的代码和教程可以在仓库的wiki中找到。

文章转载自公众号：自动驾驶专栏