CMRNet++：一种相机在激光雷达构建地图中的定位方案
点云PCL免费知识星球，点云论文速读。
标题：CMRNet++: Map and Camera Agnostic Monocular Visual Localization in LiDAR Maps
作者：Daniele Cattaneo, Domenico Giorgio Sorrenti, Abhinav Valada
来源：分享者
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信[email protected]。
摘要
定位是实现自主机器人的关键。虽然深度学习在许多计算机视觉任务中取得了很大的进展，仍有待于提高视觉定位的能力。最近推出的CMRNet通过在LiDAR地图中实现单目视觉定位，有效地解决了这一局限性。在本文中，我们进一步引入了CMRNet++，这是一个非常健壮的模型，它不仅可以有效地推广到新的场景，而且与摄像机参数无关。将深度学习与几何技术相结合，并将度量推理转移到学习过程之外，从而实现这种能力。这样，网络的权重就不会绑定到特定的相机。对CMRNet++在三个具有挑战性的自主驾驶数据集KITTI、Argoverse和Lyft5进行了大量的评估，结果表明CMRNet++在很大程度上优于CMRNet以及其他基准。更重要的是，这也展示了一种深度学习方法的能力，在一个全新的环境中，无需任何训练或调试，并且不受摄像机参数的影响，能够精确定位。
主要内容
在这篇文章中，提出的CMRNet++方法来实现相机到激光雷达地图的配准。建立了在之前提出的CMRNet模型的基础上，该模型的灵感来自camerato LiDAR姿态校准技术。CMRNet独立于地图进行定位，现在我们进一步改进它，使其也独立于摄影机的内部特性。与现有的基于CNN的姿态回归方法不同，CMRNet不学习地图，而是学习将图像与预先存在的地图进行匹配。因此，CMRNet可用于任何有激光雷达地图的环境中。
将CMRNet扩展为两个步骤：像素到3D点匹配，然后进行姿态回归。在第一步中，CNN只关注像素级的匹配，而不是基于度量的匹配，这使得网络与摄像机的固有参数无关。第二步采用传统的计算机视觉方法，在第一步匹配的情况下估计摄像机的姿态。因此，经过训练后，CMRNet++还可以与训练时使用的不同的摄像机和地图一起使用。图1描述了我们提出的CMRNet++流程
方法概述。（a） 输入的RGB图像和（b）激光雷达图像被输入到我们的CMRNet++，它预测（c）两个输入之间的像素位移。（d） 预测的匹配用于使用PnP+RANSAC相机定位
实验
为了评估CMRNet++的定位性能并评估其泛化能力，我们使用了三个不同的自动驾驶数据集，这些数据集涵盖了不同的区域、不同的传感器和不同的交通状况。
1，KITTI
2， Argoverse
3， Lyft5
初始姿势是从[-2m，+2m]，[-10，+10]的均匀分布中随机抽取的，第一行显示了相应的中值。CMRNet++是在KITTI和Argoverse上训练的，并且只在Lyft5上进行评估，以评估泛化能力，而不需要任何再训练。
KITTI 00数据集的定位误差比较
总结
本文提出了一种新的基于CNN的LiDAR地图单目定位方法CMRNet++。将CMRNet++设计为独立于地图和相机的内部函数。就我们所知，CMRNet++是第一个基于深度神经网络（DNN）的位姿回归方法，该方法无需任何再训练就可推广到新环境。在KITTI、Agroverse和Lyft5数据集上展示了我们的方法的性能，其中CMRNet++将单个RGB图像定位在未知的地方，中值误差较低低，优于其他最先进的方法。此外，在训练中排除的Lyft5数据集上的结果表明，CMRNet++能够有效地推广到以前未知的环境以及不同的传感器上。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
往期线上分享录播汇总
第一期B站录播之三维模型检索技术
第二期B站录播之深度学习在3D场景中的应用
第三期B站录播之CMake进阶学习
第四期B站录播之点云物体及六自由度姿态估计
第五期B站录播之点云深度学习语义分割拓展
第六期B站录播之Pointnetlk解读
[线上分享录播]点云配准概述及其在激光SLAM中的应用
[线上分享录播]cloudcompare插件开发
[线上分享录播]基于点云数据的 Mesh重建与处理
[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享
[线上分享录播]地面点云配准与机载点云航带平差
点云PCL更多活动请查看：点云PCL活动之应届生校招群
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：
如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作：微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
更多相关：
-
标题：Voxelized GICP for Fast and Accurate 3D Point Cloud Registration作者：Kenji Koide, Masashi Yokozuka, Shuji Oishi, and Atsuhiko Banno来源：分享者代码：https://github.com/SMRT-AI...
-
点云PCL免费知识星球，点云论文速读。标题：LIC-Fusion 2.0: LiDAR-Inertial-Camera Odometry with Sliding-Window Plane-Feature Tracking作者：Xingxing Zuo1;2, Yulin Yang3, Patrick Geneva3, Jiajun...
-
点云PCL免费知识星球，点云论文速读。标题：LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping作者：Tixiao Shan, Brendan Englot, Drew Meyers, Wei Wang, Carlo Ratti, and...
-
前言CloudCompare是另一款开源且完善的点云处理软件，我们可以在这款软件的基础上，任意的设计成我们想要的界面，可以说是点云处理软件的最佳选择，所以我认为如果你是研究点云算法的可以使用PCL，GDAL,等其他库，如果你是做工程的需要点云的界面显示，那么cloudCompare就是不二选择，当然如果是简单的界面使用PCL和QT也...
-
点云PCL免费知识星球，点云论文速读。标题：三维点云分割综述（上）排版：particle欢迎各位加入免费知识星球，获取PDF文档，欢迎转发朋友圈，分享快乐。这是一篇综述性论文，以下只做概述性介绍，介绍文章已共享在微信群和免费知识星球中，文章在公众号将分成三个部分:第一部分介绍点云的获取以及各种传感器获取点云的特性，以及分割概念的区别...
-
点云PCL免费知识星球，点云论文速读。文章：DLL: Direct LIDAR Localization. A map-based localization approach for aerial robots作者：Fernando Caballero1 and Luis Merino编译：点云PCL代码：https://githu...
-
CloudCompare是一个三维点云（网格）编辑和处理软件。最初，它被设计用来对稠密的三维点云进行直接比较。它依赖于一种特定的八叉树结构，在进行点云对比这类任务时具有出色的性能【1】。此外，由于大多数点云都是由地面激光扫描仪采集的，CloudCompare的目的是在一台标准笔记本电脑上处理大规模的点云——通常超过1000万个点云。...
-
点云PCL免费知识星球，点云论文速读。文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images作者：Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne编译：点云P...
-
点云PCL免费知识星球，点云论文速读。标题：Real-Time Spatio-Temporal LiDAR Point Cloud Compression作者：Yu Feng , Shaoshan Liu , and Yuhao Zhu来源：2020IROS本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF...