【论文速读】基于图像的伪激光雷达三维目标检测
点云PCL免费知识星球，点云论文速读。
标题：End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection
作者：Rui Qian, Divyansh Garg Yan Wang
来源：CVPR 2020
星球ID：particle
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信[email protected]。
●论文摘要
可靠、准确的三维物体检测是安全自主驾驶的必要条件。尽管激光雷达传感器可以提供周围环境的三维点云数据，但在许多情况下，它们的成本也高得让人望而却步。最近，伪激光雷达（PL）的引入使得基于LiDAR传感器的方法与基于廉价立体相机的方法之间的精度差距大大缩小。PL通过将二维深度图输出转换为三维点云输入，将用于三维深度估计的最新深度神经网络与用于三维目标检测的深度神经网络相结合。然而，到目前为止，这两个网络必须分开训练。在本文中，我们介绍了一个新的框架，它基于differentiable Change of Representation（CoR）模块，允许对整个PL流程进行端到端的训练。该框架与大多数最先进的网络兼容，适用于这两项任务，并与PointRCNN相结合，在所有测试数据集中中始终优于其他方法的PL方法，在基于KITTI图像的3D目标检测排行榜上获得了最高的排名。代码开源在 https://github.com/mileyan/pseudo-LiDAR_e2e
●内容介绍
虽然伪激光雷达模块在概念上是很吸引人的研究，但是需要两个独立的训练系统组合会产生一定的性能损失，特别是，伪激光雷达需要两个系统：一个是深度估计器，能够训练出一个通用的深度估计的图像，另一个是目标检测器将训练得到的深度估计转换到点云数据上，这两个训练目标不太可能与最终的目标最佳匹配，以最大的限度的提高检测精度，文章选择可具有代表性的目标检测POXOR和PointRCNN来验证提出的端到端的伪激光雷达（E2E-PL）方法，在所有评估设置中，我们都优于基线伪激光雷达管道和改进的PL++算法，并且显著优于其他基于图像的三维物体探测器。在提交时，我们的E2E-PL和PointRCNN在基于KITTI图像的3D物体检测排行榜上保持着最好的结果。我们的定性结果进一步证实了端到端的训练可以有效地计算深度估计器在目标边界附近改进其估计，这对于精确地定位目标至关重要
端到端学习器流程说明。绿色包围盒是汽车的地面真相检测。黄色的点是来自激光雷达的点。粉红色点云是由一个独立训练的深度估计器生成的，它是不准确的，并且不在绿盒内。通过端到端的深度估计和三维目标检测，得到了较好的蓝色点云。在此基础上，目标探测器可以产生最先进的性能。
1
端到端的伪激光雷达
伪激光雷达流程上分两种目标不同的训练步骤。首先，深度学习估计器来估计立体图像中所有像素的一般深度；然后训练基于激光雷达的探测器。
端到端的伪激光雷达：端到端基于图像的三维目标检测：我们引入了一个表示层的改变，将深度估计网络的输出作为三维目标检测网络的输入。其结果是一个端到端的管道，直接从立体图像生成对象边界框，并允许在所有层进行反向传播。黑色实心箭头表示向前通过；蓝色和红色虚线箭头分别表示目标检测损失和深度损失的反向过程。*表示我们的CoR层能够反推不同表示之间的梯度。
量化：我们使用软量化或硬量化对输入的伪激光雷达（PL）点云进行体素化。绿色体素是那些受PL点影响的体素。具有检测损失L_det正梯度的蓝色体素施加力将点从其中心推到其他体素，而具有负梯度的红色体素施加力将其他体素的点拉到其中心。只有当PL点影响这些体素时，红、蓝体轴上的这些力才能影响PL点。软量化增加PL点的影响区域，从而增加力，允许其他体素的点被推开或拉向。因此，更新后的PL点可以变得更接近地面真实激光雷达点云。
深度估计的定性结果。PL++（仅限图像）的顶部有许多估计错误的像素。通过端到端的训练，提高了对车辆周围深度的估计，得到的伪激光雷达点云具有更好的质量。
鸟瞰图的结果。红色边界框表示地面真实，绿色边界框表示检测结果。PL++（仅限图像）错过了许多远处的汽车，并且边界框定位较差。通过使用端到端的训练，我们可以得到更精确的预测（第一列和第二列），并减少假阳性预测（第三列）
●总结
本文介绍了一种伪激光雷达的端到端训练框架[1，2]。我们提出的框架可以适用于三维目标探测器，它可以是直接点云输入，也可以是量化结构输入。由此产生的模型在基于图像的三维物体检测方面开创了新的技术水平，并进一步缩小了立体和基于激光雷达的传感器之间剩余的精度差距。
参考文献
【1】Yan Wang, Wei-Lun Chao, Divyansh Garg, Bharath Hariharan, Mark Campbell, and Kilian Q. Weinberger. Pseudo-lidar from visual depth estimation: Bridging the gap in 3d object detection for autonomous driving. In CVPR, 2019.
【2】Yurong You, Yan Wang, Wei-Lun Chao, Divyansh Garg, Geoff Pleiss, Bharath Hariharan, Mark Campbell, and Kilian Q Weinberger. Pseudo-lidar++: Accurate depth for 3d object detection in autonomous driving. In ICLR, 2020.
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
往期线上分享录播汇总
第一期B站录播之三维模型检索技术
第二期B站录播之深度学习在3D场景中的应用
第三期B站录播之CMake进阶学习
第四期B站录播之点云物体及六自由度姿态估计
第五期B站录播之点云深度学习语义分割拓展
第六期B站录播之Pointnetlk解读
[线上分享录播]点云配准概述及其在激光SLAM中的应用
[线上分享录播]cloudcompare插件开发
[线上分享录播]基于点云数据的 Mesh重建与处理
[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享
[线上分享录播]地面点云配准与机载点云航带平差
点云PCL更多活动请查看：点云PCL活动之应届生校招群
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：
如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：可联系微信“920177957”（需要按要求备注）联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
更多相关：
-
点云PCL免费知识星球，点云论文速读。标题：三维点云分割综述（上）排版：particle欢迎各位加入免费知识星球，获取PDF文档，欢迎转发朋友圈，分享快乐。这是一篇综述性论文，以下只做概述性介绍，介绍文章已共享在微信群和免费知识星球中，文章在公众号将分成三个部分:第一部分介绍点云的获取以及各种传感器获取点云的特性，以及分割概念的区别...
-
点云PCL免费知识星球，点云论文速读。文章：DLL: Direct LIDAR Localization. A map-based localization approach for aerial robots作者：Fernando Caballero1 and Luis Merino编译：点云PCL代码：https://githu...
-
CloudCompare是一个三维点云（网格）编辑和处理软件。最初，它被设计用来对稠密的三维点云进行直接比较。它依赖于一种特定的八叉树结构，在进行点云对比这类任务时具有出色的性能【1】。此外，由于大多数点云都是由地面激光扫描仪采集的，CloudCompare的目的是在一台标准笔记本电脑上处理大规模的点云——通常超过1000万个点云。...
-
点云PCL免费知识星球，点云论文速读。文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images作者：Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne编译：点云P...
-
点云PCL免费知识星球，点云论文速读。标题：Real-Time Spatio-Temporal LiDAR Point Cloud Compression作者：Yu Feng , Shaoshan Liu , and Yuhao Zhu来源：2020IROS本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF...
-
标题：Voxelized GICP for Fast and Accurate 3D Point Cloud Registration作者：Kenji Koide, Masashi Yokozuka, Shuji Oishi, and Atsuhiko Banno来源：分享者代码：https://github.com/SMRT-AI...
-
点云PCL免费知识星球，点云论文速读。标题：LIC-Fusion 2.0: LiDAR-Inertial-Camera Odometry with Sliding-Window Plane-Feature Tracking作者：Xingxing Zuo1;2, Yulin Yang3, Patrick Geneva3, Jiajun...
-
点云PCL免费知识星球，点云论文速读。标题：CMRNet++: Map and Camera Agnostic Monocular Visual Localization in LiDAR Maps作者：Daniele Cattaneo, Domenico Giorgio Sorrenti, Abhinav Valada来源：分享者...
-
点云PCL免费知识星球，点云论文速读。标题：LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping作者：Tixiao Shan, Brendan Englot, Drew Meyers, Wei Wang, Carlo Ratti, and...
-
前言CloudCompare是另一款开源且完善的点云处理软件，我们可以在这款软件的基础上，任意的设计成我们想要的界面，可以说是点云处理软件的最佳选择，所以我认为如果你是研究点云算法的可以使用PCL，GDAL,等其他库，如果你是做工程的需要点云的界面显示，那么cloudCompare就是不二选择，当然如果是简单的界面使用PCL和QT也...
-
点云PCL免费知识星球，点云论文速读。文章：TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo作者：Lukas Koestler Nan Yang y Niclas Zeller Daniel Cremers编译：点云PCL代码：h...
-
摘要 在本文中，我们提出了MonoRec，一种半监督的单目密集重建架构，该方案可在动态环境中根据单个移动摄像机预测深度图。MonoRec提出了一种新型的多阶段训练方案，该方案可以不需要LiDAR深度值的半监督损失公式。在KITTI数据集上仔细评估了MonoRec，并表明与多视图和单视图方法相比，它具有最先进的性能。通过在KITTI上训...
-
（1）点云到深度图与可视化的实现 区分点云与深度图本质的区别 1.深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离（深度）值作为像素值的图像。获取方法有：激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。 2.点云：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束...
-
深度Q学习原理及相关实例8. 深度Q学习8.1 经验回放8.2 目标网络8.3 相关算法8.4 训练算法8.5 深度Q学习实例8.5.1 主程序程序注释8.5.2 DQN模型构建程序程序注释8.5.3 程序测试8.6 双重深度Q网络8.7 对偶深度Q网络...
-
缘起 现在很多小伙伴儿都从Ubuntu转到Deepin下面去了, Deepin这几年出了一些很不错的软件,比如深度截图, 深度影音, 深度音乐等等, Deepin基于Ubuntu开发, 它的软件大量使用QT4/5开发, 这也是我折腾QT的原因. 说明 在Ubuntu 14.04上python 2.7和python 3.4是可以共存的...