TANDEM 基于深度多视图立体视觉的实时跟踪和稠密建图
点云PCL免费知识星球，点云论文速读。
文章：TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
作者：Lukas Koestler Nan Yang y Niclas Zeller Daniel Cremers
编译：点云PCL
代码：https://github.com/tum-vision/tandem.git
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信[email protected]。
摘要
本文提出了一个实时单目跟踪和稠密建图框架， 对于姿态估计，TANDEM基于关键帧的滑动窗口进行BA(bundle adjustment)， 为了增强鲁棒性，提出了一种新的跟踪前端，该前端使用由稠密深度预测增量构建的全局模型渲染的深度图，来执行稠密直接图像对齐， 为了预测稠密的深度图，提出了级联视图聚合MVSNet (CVA-MVSNet)，它利用整个活动关键帧窗口，通过分层构造具有自适应视图聚合的3D成本量来平衡关键帧之间的不同立体基线， 最后，将预测的深度图融合为一致的全局图，以截断的带符号距离函数(TSDF)体素网格表示， 最终的实验结果表明，TANDEM在相机跟踪方面优于其他先进的传统和基于学习的单目视觉里程计(VO)方法， 此外，TANDEM还展示了最先进的实时三维重建性能。
主页：https://go.vision.in.tum.de/tandem
图1:TANDEM是一种单目密集SLAM方法，用于估计相机姿势并实时重建3D环境
主要贡献
（1）提出一种新颖的实时单目密集SLAM框架，无缝结合了经典的直接法VO和基于学习的MVS三维重构；
（2）据我们所知，第一个利用全局TSDF模型渲染的深度的单目稠密跟踪前端；
（3）一种新颖的MVS网络，CVA-MVSnet，它能够通过利用视图聚合和多级深度预测来利用整个关键帧窗口；
（4）在合成和真实的数据上，达到了最先进的跟踪和重建结果。
主要内容
方案主要有三部分组成：单目视觉里程计、CVA MVSNet稠密深度估计和体积建图。图2a显示了系统的概述，视觉里程计利用单目视频流和3D TSDF模型渲染的密集深度，以滑动窗口方式估计摄像机姿势。给定关键帧及其估计姿势，提出的CVA MVSNet预测参考关键帧的稠密深度贴图，为了重建环境的完整且全局一致的3D模型，深度贴图随后通过体素散列融合到TSDF体素网格中，通过无缝集成这些组件，最终的system TANDEM能够从单目相机实现实时跟踪和高质量稠密贴图。
图2：（a）使用视觉里程计优化的稀疏点和3D模型渲染的稠密深度图跟踪每帧，关键帧的姿态通过滑动窗口光度束调整进行估计，并输入CVA MVSNet进行稠密的深度预测，深度贴图融合为全局一致的TSDF体积，（b） CVA MVSNet构建级联成本量并分层估计深度图，视图聚合模块通过预测自适应权重，有效地聚合多视图图像的特征
实验
图3 DeepFactors、Atlas和未知序列上的TANDEM深度比较，TANDEM产生更精细的比例细节，例如第二排的设备或第三排的梯子，对于EuRoC，只有稀疏的地面真实深度可用。
图4:Atlas和TANDEM在未知序列上的定性比较，Atlas不构建纹理网格，这里还从TANDEM渲染纯几何体以进行比较
表1:EuRoC的位姿评估，所有的方法都是模拟对齐的w.r.t.真值轨迹，显示了五次运行期间的平均绝对姿态误差和标准偏差
表2:在VO窗口中使用所有关键帧不会改善基线，然而，将Win与视图聚合（VA）相结合会以增加推理运行时间和内存为代价产生更准确的结果
三维重建的实验对比
总结
我们介绍了TANDEM，一种实时稠密的单目SLAM系统，该系统采用了一种新颖的设计，将直接光度视觉里程计与深度多视角立体视觉相结合，特别是提出了CVA MVSNet，它有效地利用了整个关键帧窗口并预测高质量的深度贴图，此外，提出的密集跟踪方案通过跟踪TSDF融合生成的全局3D模型，将摄像机姿态估计和密集3D重建联系起来，定量和定性实验表明，在合成数据和真实数据的三维重建和视觉里程测量方面，TANDEM方法比其他最先进的方法取得了更好的结果。我们认为，TANDEM三维重建的效果进一步缩小了RGB-D重建之间的差距。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：
如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作：群主微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
更多相关：
-
摘要 在本文中，我们提出了MonoRec，一种半监督的单目密集重建架构，该方案可在动态环境中根据单个移动摄像机预测深度图。MonoRec提出了一种新型的多阶段训练方案，该方案可以不需要LiDAR深度值的半监督损失公式。在KITTI数据集上仔细评估了MonoRec，并表明与多视图和单视图方法相比，它具有最先进的性能。通过在KITTI上训...
-
（1）点云到深度图与可视化的实现 区分点云与深度图本质的区别 1.深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离（深度）值作为像素值的图像。获取方法有：激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。 2.点云：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束...
-
深度Q学习原理及相关实例8. 深度Q学习8.1 经验回放8.2 目标网络8.3 相关算法8.4 训练算法8.5 深度Q学习实例8.5.1 主程序程序注释8.5.2 DQN模型构建程序程序注释8.5.3 程序测试8.6 双重深度Q网络8.7 对偶深度Q网络...
-
缘起 现在很多小伙伴儿都从Ubuntu转到Deepin下面去了, Deepin这几年出了一些很不错的软件,比如深度截图, 深度影音, 深度音乐等等, Deepin基于Ubuntu开发, 它的软件大量使用QT4/5开发, 这也是我折腾QT的原因. 说明 在Ubuntu 14.04上python 2.7和python 3.4是可以共存的...
-
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。资源三维点云论文及相关应用分享【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法3D目标检测...
-
Thanks to LOAM, A-LOAM, and LIO-SAM code authors. The major codes in this repository are borrowed from their efforts.代码：https://github.com/gisbi-kim/SC-A-LOAM编译：点云PCL本...
-
文章：Inertial-Only Optimization for Visual-Inertial Initialization作者：Carlos Campos, Jose M.M. Montiel and Juan D. Tard ´ os´代码：https://github.com/bxh1/VIDO-SLAM.git编译：点云...
-
点云PCL免费知识星球，点云论文速读。文章：Monocular Object and Plane SLAM in Structured Environments作者：Shichao Yang, Sebastian Scherer翻译：particle本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢...
-
点云PCL免费知识星球，点云论文速读。文章：Persistent Map Saving for Visual Localization for Autonomous Vehicles: An ORB-SLAM 2 Extension作者：Felix Nobis∗, Odysseas Papanikolaou, Johannes Be...