多传感器融合SLAM|maplab：一个研究视觉-惯性建图和定位的开源框架（下）

• ​论文链接：​​https://arxiv.org/pdf/1711.10250.pdf​​
• GitHub链接：https://github.com/ethz-asl/maplab
• 教程和数据集：https://maplab.asl.ethz.ch/docs/master/index.html
  

使用案例

本节给出maplab的五个常见使用案例概述：在线建图和定位、多段建图、地图维护、大规模建图和稠密重建。尽管maplab提供的远比这些多，但是这些例子突出了系统的能力、期望的性能和它的可扩展性。

除此之外，我们提供相关的控制台命令来复现每个例子。该目的是为了表明通过仅仅依赖于用户交互界面就能获得如下的结果，而不需要额外的代码开发。关于更多的文档，请参考论文的wiki页面：www.github.com/ethz-asl/maplab/wiki。

A.使用ROVIOLI在线建图和定位

对于很多机器人应用而言，获得（无漂移的）全局位姿估计是非常重要的。这种能力是很多应用的先决条件，例如示教和重复场景、机器人操纵和精确导航。在maplab内，作为第一步，我们使用ROVIOLI来创建期望操作区域的初始VI地图。传感器数据能够通过Rosbag方式离线提供或者使用ROS话题在线提供。完成之后，VI地图被自动地回环、优化和汇总来获得一个紧凑的定位地图。在第二段中，定位地图被传给ROVIOLI来获得在已建图区域中的无漂移的全局位姿估计。

我们评估ROVIOLI估计与普通的ROVIO结果对比，以及在EUROC数据集上的全批量优化的估计结果。为此，在第一步中，我们使用其中一个数据集来创建一个定位地图。接着，在第二步中，我们使用ROVIOLI（使用之前构建的地图）和ROVIO来处理第二个EuRoC数据集。结果如图5和表格I所示，我们比较ROVIO、ROVIOLI和全批量优化轨迹的真值误差。

这些实验证明了系统的无漂移性能和在常规VIO估计上的改进。此外，表格II展示了ROVIO和ROVIOLI相比于ORB-SLAM2的耗时信息。

B.多段建图

在很多建图应用中，不可能在单个建图段内覆盖整个环境。除此之外，可能期望在尽可能多的不同视觉外观条件下捕获环境信息。因此，maplab提供工具来将多段地图共同配准到一起，并且联合优化它们以获取单个一致的地图。

因此，这个使用案例演示从四条独立的轨迹来创建大学建筑物地图的过程。每条轨迹穿过建筑物的底层、楼梯和另一楼层。它们总共覆盖1000米长，并且包含大约463,000个路标。在如此巨大的地图中，很多常见的操作（比如优化或者回环）如果没有对数据谨慎选择，则很快变得难以处理。出于这个原因，我们采用一种基于顶点距离、顶点方向和路标共视程度的启发式关键帧策略。maplab的回环算法正确地识别所有任务之间的几何变换，并且通过非线性优化改善地图几何结构。其结果是一个8.2MB大小的紧凑、几何一致的定位地图，稍后将被ROVIOLI用于在整个建筑物内进行定位，如图1所示。

这个使用案例能够使用maplab控制台中如下指令进行复现：

C.地图维护

大型基于特征的模型可能在构建多段地图中容易地包含数以千计的路标，并且达到相当大的存储量。然而，并不是真的有必要保存所有的路标以确保ROVIOLI具有良好的定位质量。maplab提供一种地图汇总功能，它使用一种基于整数的优化来执行路标选择。该算法尝试删除观测最少的路标，但同时维持对环境的均衡覆盖。maplab还包括一种关键帧算法来移除冗余的顶点，并且仅保留对于高效且精确的状态估计有必要的顶点。通过移除顶点，我们还消除很多与路标相关的顶点，这些顶点包含了描述子，其占有一定的存储空间。汇总功能和关键帧算法都允许在不大量损失位姿估计质量的前提下显著地减少模型的尺寸。

地图维护是在建筑物底层记录的4个建图段构建的数据库地图上演示的。每个建图段覆盖大约90米，并且包含大约20,000个路标，其中大约5000个路标被认为是可靠的。第5个数据集被用于查询——我们尝试在由4个数据集构建的数据库中定位每个顶点，并且验证是否位置误差小于50cm。我们比较定位地图的召回率，它通过不同的方式预处理，比如汇总、关键帧化或者两者兼有。

图6展现了路标汇总和关键帧对于定位地图尺寸的影响，并且展示了那些方法如何影响定位。

结果证明，关键帧显著地降低定位地图的尺寸，而且其对定位质量的损失相当小。类似地，汇总能够减少90%的路标总量，而不会造成严重的后果。当结合这些方法时，我们能够将地图尺寸缩小13倍，并且保持召回率为51%，相比于完整地图召回率为60%。

D.大规模建图

在这个使用案例中，我们想要展示maplab的大规模建图能力以及除了VI传感器以外传感器的适用性。为此，我们使用公开可用的谷歌Tango平板电脑，并且记录苏黎世古城的大规模、多段场景地图。我们导出原始的视觉-惯性数据，并且使用ROVIOLI对它处理以获取初始的开环地图。然后，我们将这些地图加载到maplab控制台中用于对齐和优化，并且使用与B节所描述相同的工具。在32GB内存的台式计算机上整晚执行BA和位姿图松弛。优化后的VI地图在苏黎世地图上的正交投影以及关于地图进一步的详细信息如图7所示。

该图展示生成的地图与地图上大部分建筑物和街道一致，在很少覆盖区域中具有一些细微的差别。

E.稠密重建

机器人学中的很多应用（例如路径规划、巡查和物体检测）需要更为稠密的环境的三维表示。maplab提供一些稠密重建的工具，它们使用稀疏地图的优化后的顶点位姿来计算基于附加到VI地图上相机图像的稠密深度信息。

1）双目稠密重建：为了从多相机系统中计算深度地图，这个工具首先识别适用于平面矫正的双目相机。接着，它利用（半-全局）块匹配器为沿着轨迹的每个立体配对计算深度地图。生成的深度地图（或者点云）被附加到VI地图并且存储在资源系统中。如下命令假定地图已经对齐、经过回环且被优化。

2）基于TSDF的深度融合：一旦VI地图包含深度信息，例如使用上述命令或者RGB-D传感器来获取，VI地图的全局一致的相机位姿能够被用于创建一个同样一致的全局三维重建。为此，maplab使用voxblox（一个容积建图库）用于基于TSDF的深度融合和表面重建。如下的命令将深度地图或者点云数据插入到一个voxblox网格，并且将表面网格存储到文件系统中。

图8最上方一行展示3个合并的EuRoC machine hall数据集的重建结果。

3）导出为CMVS/PMVS2：为了获得更精确的稠密重建，maplab提供一个导出命令来将稀疏的VI地图和图像转化为开源的多视图-立体流程的输入数据格式CMVS /PMVS2。尽管支持灰度图导出，但是最佳结果通过RGB图像获取。VI地图和生成的三维重建如图8下面一行所见。

使用maplab的研究

上一节使用案例所需要的所有算法和控制台命令在maplab中都可用，并且构成视觉-惯性建图和定位所需要的大多数基础工具。此外，提供一套丰富的帮助函数、查询和操作工具用于简化新算法的快速原型研究。控制台的插件架构允许新算法简单地集成到系统中。在项目的wiki页面提供了如何扩展框架的例子演示。我们想要邀请社区来利用这种研究友好的设计。

总结

本工作提出maplab，它是一个开源的视觉-惯性建图和定位框架，其目标为通过提供一个基本算法集合并且让研究者着重于实际任务，从而使得这个领域的研究更有效率。maplab中的所有组件通过一种灵活且可扩展的方式编写，因此能够轻松地集成并测试依赖于视觉-惯性状态估计或者定位的新型算法。出于这个原因，该框架提供建图和定位相关研究中所需要的最重要工具的实现，例如视觉-惯性优化、回环/定位后端、多段地图合并、位姿图松弛以及广泛的内省和可视化工具。所有这些算法从基于控制台的用户交互界面访问，它们能够被用于单个或者多段地图。当对新算法进行原型设计或者调整参数时，这样一个工作流程被证明是非常高效的。

其次，该框架包含在线的视觉-惯性建图和定位前端，称为ROVIOLI。它能够从原始的视觉和惯性传感器数据中构建新的地图，并且如果提供定位地图，则额外实时地追踪全局（无漂移的）位姿。先前的工作在不同机器人平台上利用这种能力，并且展示了其对于多种应用精确追踪全局位姿的能力，包括导航和轨迹跟踪。

文章转载自公众号：自动驾驶专栏