AR设备单目视觉惯导SLAM算法综述与评价

首页 > AR设备单目视觉惯导SLAM算法综述与评价

AR设备单目视觉惯导SLAM算法综述与评价

点云PCL免费知识星球，点云论文速读。

标题：Survey and evaluation of monocular visual-inertial SLAM algorithms for augmented reality

作者：Jinyu LI, Bangbang YANG, Danpeng CHEN, Nan WANG, Guofeng ZHANG1

编译：particle

欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。

摘要

尽管VSLAM/VI-SLAM已经取得了巨大的成功，但是由于缺乏合适的标准的基准，从增强现实的角度定量评估各种SLAM系统的定位结果仍然困难。实际中的AR应用，由于用户可能不小心移动了AR设备，并且实际环境可能相当复杂，因此很容易遇到各种具有挑战性的场景（例如快速运动、强旋转、严重的运动模糊、动态干扰等）。此外，AR应用应尽量减少图像跟踪丢失的频率，并能够从故障的丢失状态中快速准确地恢复，以获得良好的AR体验。现有的SLAM数据集通常只提供姿态精度的评估，而且它们的相机运动很简单，不适合常见的移动AR应用场景。基于上述情况，我们建立了一个新的视觉惯性数据集和一系列AR的评价标准，并对现有的单目VSLAM/VI-SLAM方法进行了详细的分析和比较。特别是选择了8种具有代表性的单目VSLAM/VI-SLAM方法/系统，并在我们的基准上对它们进行了定量评价。我们的数据集、样本代码和相应的评估工具可以在网站找到： http://www.zjucvg.net/eval-vislam/.

在这里插入图片描述

主要内容

文章开始介绍了视觉SLAM以及VI-SLAM的基本理论，并且最终将两种的SLAM都归结为优化方程，比如视觉SLAM总结为优化相机位姿以及三维特征点的函数

在这里插入图片描述

这种优化称为捆集调整（BA）[1]，即SfM和VSLAM的核心模块。

对于单目惯性SLAM，通过IMU的数据来恢复和优化单目SLAM中的绝对尺度问题，所以VI-SLAM结合了视觉测量和惯性测量的方式，可视为是VSLAM的扩展方法。所以VISLAM中的BA函数定义为：

在这里插入图片描述

接下来文章将着重介绍AR应用中的各种SLAM方案，并进行对比与评价。众所周知，SLAM系统可以通过滤波或优化来求解状态。基于此的SLAM方法可以分为基于滤波的方法和基于优化的方法。并且用于图像跟踪的前端部分也不尽相同。一些方法利用关键点匹配来优化重投影误差。也有一些方法直接使用图像像素最小化光度误差。这里将介绍一些有代表性的单目VSLAM/VI-SLAM方法。

基于滤波的SLAM

MonoSLAM是最早的单目VSLAM系统之一。由于它使用扩展卡尔曼滤波器来解决相机姿态问题，所以它是一个基于滤波的SLAM系统。对于Kalman更新步骤，所使用的观测值是标准针孔模型的重投影

基于优化的SLAM

基于滤波的SLAM系统不可避免地存在累积误差。据调查，基于优化的SLAM方法比基于滤波的方法具有更高的精度[2]，首先介绍基于关键帧优化方法的PTAM，然后介绍了在PTAM之后的ORB-SLAM，它将图像跟踪、局部地图维护和回环检测放在三个线程中，在整个系统中使用ORB特征来提高系统的健壮性。ORB-SLAM使用了两种初始化的方式：单应矩阵模型和极线约束模型，并选择最佳模型初始化前两个关键帧。所以当有足够的运动时，系统会自动初始化。ORB-SLAM的开源激发了许多新的作品，包括基于惯性的ORB-SLAM.

OKVIS是设计用于融合惯性测量VI-SLAM系统，OKVIS的核心优化问题是一个既有重投影误差又有IMU运动误差的滑动窗口优化问题。而VINS Mono是一个强大的视觉惯性SLAM系统。与ORB-SLAM相比，它有许多新的亮点，拥有稳健的初始化与尺度估计。

基于直接法的SLAM

以上介绍的SLAM前端需要提取特征点，可以概括为特征点法的SLAM，直接法一般是求解最小化图像的光度误差作为SLAM的前端。直接法和间接法各有利弊。在大多数情况下，特征点法对几何噪声（如镜头畸变或卷帘效应）更为稳健，而直接法对几何噪声可能敏感。另一方面，直接方法对光度噪声更为鲁棒，因为使用了具有强度梯度的所有图像区域（边缘、无特征的墙等）。具有代表性的是DSO（Direct Sparse Odometry）

接下来主要就是介绍基于视觉与惯导的数据的采集以及对采集硬件的介绍，并且与常见的开源数据及进行了对比，同时也介绍了一些相机与IMU对齐和标定的工作。

在这里插入图片描述

并且文章介绍到使用了安卓和IOS设备采集各种场景的数据。并将数据集应用到以上的8中SLAM方案中，从跟踪精度，包括绝对误差、相对误差等进行比对，初始化的质量与快慢，以及跟踪的鲁棒性，重定位的耗时等方面进行评价和对比

实验结果

在这里插入图片描述

采集场景的介绍

在这里插入图片描述

VI-SLAM的跟踪精度的对比

在这里插入图片描述

初始化的时间对比

在这里插入图片描述

重定位的耗时对比

总结

现有的单目VSLAM和VI-SLAM方法，选择了8个有代表性的系统对我们的基准进行定量评估。虽然我们的视觉惯性数据是由手机采集的，但是评估仍然是在PC机上进行的，由于PC机的计算能力远远大于手机，所以SLAM结果不能真实反映手机上的实际SLAM效果。实际上，许多SLAM系统不能在手机上实时运行。PTAM和VINS Mono的移动版本已经上市。SenseSLAM是专门为移动AR开发的，能够在移动手机上实时跟踪。

由于文章的篇幅限制，有兴趣可以查看文章主页http://www.zjucvg.net/eval-vislam/，查看论文《Survey and evaluation of monocular visual-inertial SLAM algorithms for augmented reality》

参考文献

【1】Triggs B, McLauchlan P F, Hartley R I, Fitzgibbon A W. Bundle Adjustment—A Modern Synthesis. Vision Algorithms: Theory and Practice. Berlin, Heidelberg: Springer Berlin Heidelberg, 2000: 298-372

【2】Strasdat H, Montiel J M M, Davison A J. Visual SLAM: why filter? Image and Vision Computing, 2012, 30(2): 65–77

如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

在这里插入图片描述

AR设备单目视觉惯导SLAM算法综述与评价

更多相关：

CloudCompare基础架构介绍（PPT）

SC-A-LOAM：在A-LOAM中加入回环检测

【开源分享】VIDO-SLAM：一种视觉惯性动态物体SLAM系统

在结构化场景中基于单目的物体与平面SLAM方案

基于ORB-SLAM2可持续保存地图的扩展方案

传统的6d位姿估计fangfa1_基于改进的点对特征的6D位姿估计

自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）

大规模环境下基于语义直方图的多机器人实时全局定位图匹配

基于成像激光雷达的鲁棒位置识别

头戴式AR/VR 光学标定

GVINS：基于GNSS视觉惯性紧耦合的平滑状态估计方法

《DDIA》读书笔记

Linux进程管理：进程状态和CPU平均负载

CEPH核心理论相关导图（持续更新）

linux 系统崩溃完全没有操作空间的系统修复