VINS系列|VINS-Mono论文精读（三）

实验结果

我们执行数据集和真实世界实验以及两个应用来评估所提出的VINS-Mono系统。在第一个实验中，我们在公开数据集上将所提出的算法与其它最先进算法进行对比。我们执行数值分析来详细地展示本文系统的精度。接着，我们在室内环境中测试本文系统来评估其在重复场景中的性能。我们执行大规模实验来说明长期运行的实用性。此外，我们将所提出的系统用于两个应用。对于空中机器人应用，我们使用VINS-Mono进行位置反馈以控制无人机跟随预先定义的轨迹。接着，我们将本文方法移植到一台iOS移动设备上。

A.数据集对比

1）VIO对比：我们使用EuRoC MAV视觉-惯性数据集来评估所提出的VINS-Mono。该数据集在机载小型空中飞行器（MAV）上采集，其包含双目图像（Aptina MT9V034全局快门、WVGA单色、20FPS）、同步的IMU测量（ADIS 16488、200Hz）和真值状态（VICON和Leica MS50）。我们仅使用来自左相机的图像。

在本实验中，我们比较VINS-Mono和OKVIS。OKVIS是一种先进的VIO，可与单目和双目相机配合使用，它是另一种基于优化的滑动窗口算法。本文算法与OKVIS在很多细节上不同。本文系统更为完整，具有鲁棒初始化和回环功能。我们详细展示了两个序列MH_03_medium和MH_05_difficult上的结果。为了简化符号，我们使用VINS表示我们方法中的纯单目VIO，以及VINS_loop表示具有重定位和位姿图优化的完整版本。我们使用OKVIS来表示使用单目相机的OKVIS结果。

对于序列MH_03_medium，轨迹如图14（a）所示。

由KITTI评估的相对位姿误差如图15所示。

在误差图中，具有回环的VINS-Mono在长距离中优于其它单目系统。回环模型有效地减少了平移和偏航漂移。序列MH_05_difficult中的结果相同，如图14（b）和图16所示。

EuRoC数据集中所有序列的均方根误差（RMSE）如表格I所示，它通过绝对轨迹误差（ATE）进行评估。在大多数情况下，具有回环的VINS-Mono优于其它单目系统。在一些短行驶距离和低漂移情况下（例如V1_03_difficult和V2_01_easy），回环模块没有明显影响。

更多的基准数据集比较能够在工作A benchmark comparison of monocular visual-inertial odometry algorithms for flying robots中找到，它展示了与其它最先进算法相比，所提出的系统具有良好的性能。

2）地图合并结果：在同一地点的不同起始位置和不同时刻采集5个MH序列，所以我们能够将5个MH序列合并成一个全局的位姿图。我们基于每个序列中相似的相机视图进行重定位和位姿图优化。我们仅固定第一个序列中的第一帧，其位置和偏航角被设置为零。然后，我们将新序列逐一地合并到先前的地图。轨迹如图17所示。

我们还将整条轨迹与真值轨迹比较。ATE的RMSE为0.21m，这在总共500m长的运行中是一个令人印象深刻的结果。该实验表明，通过逐步地合并不同时刻采集的新传感器数据，地图将随着时间“演变”，并且保持整个位姿图的一致性。

B.真实世界实验

1）室内实验：我们使用的传感器套件如图18所示。它包含一个单目相机（mvBlueFOX-MLC200w，20Hz）和一个DJI A3控制器内的IMU（100Hz）。

我们手持传感器套件，并且以正常步速行走。我们将结果与OKVIS比较，如图19所示。图19（a）为来自OKVIS的VIO输出。图19（b）为所提出的具有重定位和回环功能的方法的结果。

当我们在室内绕圈时，将出现显著的VIO漂移。OKVIS在x 、y、z和偏航角上累积显著的漂移。我们的重定位和回环模块有效地消除了这些漂移。

2）大尺度环境：这一覆盖整个HKUST校园的非常大尺度的数据集是通过手持VI-Sensor记录的。该数据集覆盖了长度约710m、宽度约240m、高度约60m范围的地方。总路径长度为5.62km。该数据包含25Hz图像和200Hz的IMU，持续1小时34分钟。它是测试VINS-Mono稳定性和耐久性的非常重要的实验。

在该大尺度测试中，我们设置关键帧数据库的规模为2000，以便提供足够的回环信息并且实现实时性能。我们使用运行频率为3.60GHz的Intel i7-4790CPU运行此数据集。耗时统计如表格II所示。

在图20中，估计的轨迹与Google地图对齐。与Google地图相比，可以看出，在这项持续时间非常长的测试中，本文结果几乎没有漂移。

C.应用

1）空中机器人的反馈控制：我们将VINS-Mono应用于空中机器人的自主反馈控制，如图21所示。

我们使用一个前视全局快门相机（Matrix Vision mvBlueFOX-MLC200w），其分辨率为752x480像素，并且配备一个190°的鱼眼镜头。DJI A3飞行控制器被用于IMU测量和姿态稳定控制。机载计算资源为一个以3.00GHz运行的Intel i7-5500U CPU。传统的针孔相机模型不适合大FOV的相机。我们针对这种相机使用MEI模型，其通过toolkit标定。

在本实验中，我们测试来自VINS-Mono状态估计下自动轨迹跟踪的性能。在该实验中，关闭了回环功能。四旋翼被命令跟踪一个8字形图案，每个圆圈的半径为0.1m，如图22所示。

在轨迹周围放置四个障碍物，以验证VINS-Mono在没有回环情况下的精度。在实验过程中，四旋翼连续四次跟随该轨迹飞行。100Hz机载状态估计实现了四旋翼的实时反馈控制。

使用OptiTrack获取真值。总轨迹长为61.97m。最终漂移为[0.08,0.09,0.13] m，导致0.29%的位置漂移。平移和旋转以及它们对应的误差如图23所示。

2）移动装置：我们将VINS-Mono移植到移动装置上，并且给出一个简单的AR应用以展示其精度和鲁棒性。我们称该移动端实现为VINS-Mobile。VINS-Mobile运行在iPhone设备上。我们使用由iPhone采集的具有640x480分辨率的30Hz频率图像，以及由内置InvenSense MP67B六轴陀螺仪和加速度计以100Hz频率获取的IMU数据。首先，我们在平面上插入一个虚拟的立方体，该平面从估计的视觉特征中提取出，如图24（a）所示。接着，我们手持设备以正常步速在房间内外行走。当检测到回环时，我们使用4自由度位姿图优化来消除x、y、z和偏航漂移。在行走大约264m之后，我们返回到起始位置。最终结果如图24（b）所示，VINS回到了起始点。由于4自由度位姿图优化，消除了总轨迹中的漂移。这也通过以下事实得以证明：即与刚开始相比，立方体被配准到图像上的相同位置。

总结和未来工作

在本文中，我们提出一种鲁棒且多功能的单目视觉-惯性估计器。我们的方法具有对IMU预积分、估计器初始化、在线外参标定、紧耦合VIO、重定位和高效全局优化的最先进和新颖的解决方案。我们通过与其它最先进的开源实现进行比较，以展示更优的表现。我们开源了PC和iOS实现以有益于社区。

尽管基于特征的VINS估计器已经达到了真实世界部署的成熟度，但是我们仍然看到未来研究的很多方向。取决于运动和环境，单目VINS可能具有弱可观性或者甚至退化的状态。我们感兴趣的是评估单目VINS可观性质的在线方法，以及为恢复可观性而在线生成运动规划。另一个研究方向关注于在多种消费设备上大规模部署单目VINS，例如Android手机。该应用需要几乎所有传感器的内参和外参在线标定，以及标定质量的在线识别。最后，我们有兴趣根据单目VINS的结果生成稠密地图。我们在单目视觉-惯性稠密建图应用中首个结果为工作Autonomous aerial navigation using monocular visualinertial fusion中的无人机导航。然而，为了进一步提高系统的精度和鲁棒性，仍然需要进行大量的研究。

文章转载自公众号：自动驾驶专栏