【开源方案共享】VDO-SLAM:基于视觉的动态SLAM感知系统
点云PCL免费知识星球，点云论文速读。
标题：VDO-SLAM: A Visual Dynamic Object-aware SLAM System
作者：Jun Zhang , Mina Henein , Robert Mahony and Viorela Ila
来源：https://arxiv.org/pdf/2005.11052.pdf
翻译：particle
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信[email protected]。
摘要
在SLAM系统中通常假设环境是静态的，也有一些针对动态环境的SLAM算法通过将运动对象从环境中移除的方法来简化SLAM的跟踪，如此强制的假设将限制系统在高度动态和非结构化的环境中SLAM的应用。本文介绍了一个鲁棒性很强的动态SLAM感知系统VDO-SLAM，该系统利用语义信息实现对场景中刚性物体的运动估计，不需要事先知道物体的形状或运动模型。该方法将环境中的动态和静态结构集成在一个统一的SLAM系统中，能够获得精确的位姿和环境地图。文章提供了一种从场景中运动物体的姿态变化估计出速读的方法，为复杂的动态环境下的导航系统提供了重要的功能，我们在一些列的真实的室内和室外的数据集上验证了该系统的性能，结果表明，与先进的算法相比，该算法具有一定的实质性的改进，并开源了源代码：https://github.com/halajun/vdo_slam。
主要贡献
VDO-SLAM系统的结果。（上图）一个完整的地图，包括相机轨迹、静态背景和运动物体结构。（下图）静态背景和移动物体的特征点检测，以及估计的移动目标速度。黑色圆圈代表静态点，每个对象都用不同的颜色显示。
这是一种新的基于特征点的立体/RGB-D动态SLAM系统：VDO-SLAM，它利用基于图像的语义信息同时进行定位，构建静态环境稀疏点云和动态移动物体检测，并跟踪场景中刚性物体的运动。总之，这项工作的主要贡献有：
• 提出了一种能够在动态场景下实现机器人的位姿估计，构建静态环境地图，实现动态对象的运动估计的统一的框架。
• 动态物体SE（3）姿态变化的精确估计，优于最先进的算法，以及提出计算场景中移动物体速度的方法，
• 一种利用语义信息跟踪运动对象的稳健方法，能够处理语义对象分割失败导致的间接遮挡等问题，
• 在复杂真实的场景中演示了该系统。
据我们所知，这是第一个全动态SLAM系统，能够实现运动分割、动态目标跟踪、估计相机姿态以及静态和动态结构，场景中每个刚性物体的完整SE（3）姿态变化，提取移动物体速度信息，并且在真实的户外场景中可以运行。我们的算法在真实数据集上的性能，展示了所提出的系统解决刚性物体运动估计的能力，产生的运动结果在精度上可与相机的位姿估计相媲美，并且在城市驾驶场景中比最先进的算法性能高出一个数量级。
主要内容
该系统由三个主要部分组成：图像预处理、跟踪和建图。系统的输入是立体或RGB-D图像。对于立体图像，作为第一步，我们通过应用立体深度估计方法来提取深度信息，并将生成的数据视为RGB-D。虽然该系统最初设计为RGB-D系统，但为了充分利用基于图像的语义信息，我们采用单图像深度估计来获取单目相机的深度信息。我们的“基于学习的单目深度估计”方法，即只使用RGB图像作为系统的输入，通过深度学习的方法获得图像深度估计。
预处理
预处理模块需要完成两个具有挑战性的方面。首先，对静态背景和目标进行鲁棒分离，其次保证对动态目标的长期跟踪。为了实现这一点，我们利用计算机视觉技术的最新进展，例如实例语义分割和密集光流估计，以确保有效的目标运动分割和鲁棒的目标跟踪。
跟踪
跟踪部分包括两个模块：相机自身运动跟踪，包括特征检测和相机位姿估计子模块；目标运动跟踪包括动态目标跟踪和目标运动估计子模块。
建图
在mapping模块中，构建并维护一个全局地图。同时，从全局地图中提取局部地图，该局部地图基于当前时间步长和前一时间步长的窗口大小。这两个地图都是通过批量优化过程更新的。
论文图集
文章展示如何以无模型的方式建模刚体对象的运动并且对动态三维点进行跟踪。提出一个因子图优化来估计相机和物体的运动。在我们的系统的跟踪模块中，如图所示，系统优化的代价函数目的是估计相机姿势和移动对象的运动，代价函数与3D-2D重投影误差相关，并且定义在图像平面上。由于噪声在图像平面中的特征更好，这为相机定位提供了更准确的结果。此外，基于这个误差项，我们提出了一个新的公式，以联合优化光流与相机姿态和物体运动，以确保关键点跟踪的鲁棒性。在建图模块中，3D的误差代价函数用于优化3D结构和物体运动估计的最佳结果。
示意图实线表示相机和物体在惯性系中的姿态，虚线表示在场景中物体的运动。实线表示惯性系中的三维点，虚线表示相机帧中的三维点。
具有运动物体的动态SLAM感知系统的因子图。黑色方块代表摄影机在不同时间点的位姿，蓝色方块代表三个静态点，红色方块代表不同时间点的运动物体在相机上的相同动态点，绿色方块代表物体姿势在不同时间之间的变化。
实验与评估
与MVO系统进行的比较，使用 Oxford Multi-motion swinging 4 unconstrained数据集的进行相机和物体运动估计精度。粗体数字表示效果更好。
目标运动估计精度与CubeSLAM相比。颜色条表示与对数刻度中的左Y轴相对应的平移误差。曲线表示旋转误差，对应于右Y轴的线性刻度。
KITTI序列上VDO-SLAM的样本结果。带有相机位姿、静态环境点云和动态对象轨迹的动态地图。
总结
在本文中，我们提出了一个新的基于动态特征的SLAM系统VDO-SLAM，它利用场景中基于图像的语义信息，而不需要额外的物体姿态或几何先验知识，实现动态物体的同时定位、建图和跟踪。该系统在室内和室外具有挑战性的数据集上始终展示了稳健和准确的结果，并且在目标运动估计方面达到了最先进的性能。我们认为这是基于目标特征的系统方案中目标运动估计的达到较好效果且鲁棒的SLAM方法。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
往期线上分享录播汇总
第一期B站录播之三维模型检索技术
第二期B站录播之深度学习在3D场景中的应用
第三期B站录播之CMake进阶学习
第四期B站录播之点云物体及六自由度姿态估计
第五期B站录播之点云深度学习语义分割拓展
第六期B站录播之Pointnetlk解读
[线上分享录播]点云配准概述及其在激光SLAM中的应用
[线上分享录播]cloudcompare插件开发
[线上分享录播]基于点云数据的 Mesh重建与处理
[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享
[线上分享录播]地面点云配准与机载点云航带平差
点云PCL更多活动请查看：点云PCL活动之应届生校招群
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：
如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：群主微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
更多相关：
-
一、力学公式 胡克定律： F = Kx (x为伸长量或压缩量,K为倔强系数，只与弹簧的原长、粗细和材料有关) 重力： G = mg (g随高度、纬度、地质结构而变化) 3 、求F、的合力的公式： Ｆ＝ 合力的方向与F1成a角： tga=注意：(1) 力的合成和分解都均遵从平行四边行法则。 (2) 两个力的合力范围： ú F1－F...
-
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。资源三维点云论文及相关应用分享【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法3D目标检测...
-
Thanks to LOAM, A-LOAM, and LIO-SAM code authors. The major codes in this repository are borrowed from their efforts.代码：https://github.com/gisbi-kim/SC-A-LOAM编译：点云PCL本...
-
文章：Inertial-Only Optimization for Visual-Inertial Initialization作者：Carlos Campos, Jose M.M. Montiel and Juan D. Tard ´ os´代码：https://github.com/bxh1/VIDO-SLAM.git编译：点云...
-
点云PCL免费知识星球，点云论文速读。文章：Monocular Object and Plane SLAM in Structured Environments作者：Shichao Yang, Sebastian Scherer翻译：particle本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢...
-
点云PCL免费知识星球，点云论文速读。文章：Persistent Map Saving for Visual Localization for Autonomous Vehicles: An ORB-SLAM 2 Extension作者：Felix Nobis∗, Odysseas Papanikolaou, Johannes Be...
-
文章：GVINS: Tightly Coupled GNSS-Visual-Inertial Fusion for Smooth and Consistent State Estimation作者：Shaozu Cao, Xiuyuan Lu, and Shaojie Shen代码：https://github.com/HKUST-...
-
数据存储系统的经典书籍： 从数据系统的特性开始，先讲单机存储引擎 再到 分布式存储系统，最后到一些数据流的处理方式，作者深入浅出，译者更是精雕细琢，本书需要细品。 将持续阅读整理，先从理论走一轮，再找一些系统做一做实验。...
-
常见的linux进程状态如下： 关于源文件xmid，可以从Mind-Mapping获取 这里借助进程状态来描述一下linux系统中的平均负载的概念 当我们感觉到系统变慢时，通常通过top和uptime命令来了解系统的负载情况 [root@pub-ncpu-ndb0 ~]# uptime21:06:13 up 8 days, 7:...
-
围绕分布式存储(ceph)绘制的技能图谱可参考分布式存储ceph 技能图谱 相关的原始编辑文件可以从github-mindMapping下载 如有缺失、不足之处欢迎指正 CEPH架构 关于系统架构，这里主要是将CEPH融入操作系统架构之中 且是根据L版本进行绘制的 关于文件系统 ：因为bluestore跳过了本地文件系统，同时封...
-
linux 系统崩溃完全没有操作空间的系统修复 1、通过U盘系统启动 2、修复文件系统 https://editor.csdn.net/md/?articleId=106213788 此时硬盘会被挂在到U盘系统下作为一个目录, 例如/dev/sda2 修复它: fsck -y /dev/sda2 很多时候都有效 3、修复g...