标题：VCamVox: A Low-cost and Accurate Lidar-assisted Visual SLAM System

作者：Yuewen Zhu, Chunran Zheng, Chongjian Yuan, Xu Huang and Xiaoping Hong

来源：分享者

代码：https://github.com/ISEE-Technology/CamVox

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。

论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信[email protected]。

●论文摘要

基于相机和激光雷达融合（SLAM）技术，是一种提高整体定位精度的有效方法，尤其是在大范围的室外场景下。低成本激光雷达（如Livox lidar）的最新发展使我们能够探索低成本、高性能的SLAM系统。本文通过分析Livox激光雷达的特点，将Livox激光雷达应用到视觉SLAM（ORBSLAM2）中，提出了CamVox。基于Livox激光雷达的非重复性，提出了一种适用于非受控场景的激光雷达相机自动标定方法。长距离探测范围也有利于更有效的SLAM系统。在同一个数据集上比较了CamVox与visual SLAM（VINS mono）和lidar SLAM（LOAM）的性能。

开源代码：https://github.com/ISEE-Technology/CamVox

● 内容精华

主要贡献

本文提出了第一个Livox激光雷达辅助视觉系统（CamVox）具有优越的实时性能。我们的CamVox SLAM基于最先进的ORB-SLAM，采用Livox激光雷达作为深度传感器，具有以下新特点：

1）预处理步骤融合激光雷达和摄像头输入。通过精确的时间同步，将非重复扫描的激光雷达点中的畸变由IMU数据校正并转换为相机帧。

2） 提出的大比例尺、高精度、高精度的激光SLAM系统，可以在大比例尺的室外环境下进行高精度的点云测绘。

3） 我们利用Livox激光雷达的非重复扫描特性，在不受控制的场景下进行摄像机和激光雷达之间的自动校准。

4） CamVox的性能是根据一些主流框架进行评估的，并且显示了非常精确的轨迹结果。并公开了这项工作的硬件、代码和数据集，希望提供一个现成的CamVox（Camera+Livox lidar）SLAM解决方案。

黑色虚线是groundtruth的轨迹，蓝色、绿色、红色实线分别是Loam_Horizon、VINS和Camvox SLAM帧下的轨迹。（a） （b）（c）1:2000图1。CamVox性能示例。（a） 机器人从CamVox的轨迹；（b）来自CamVox的密集RGBD地图；（c）放大和旋转的部分（b）显示高质量的点云

主要内容

该CamVox方案是基于ORB-SLAM2（RGBD模型），采用单独的RGBD输入预处理和非受控场景下的自动标定方法。该框架利用激光雷达辅助的视觉关键帧来生成局部构图，并且由于在不同级别的捆集调整（BA）和ORBSLAM2的回环闭合进行了后端轻量级位姿图优化，因此具有很高的鲁棒性。在原始ORB-SLAM2中，关键点分为近点和远点两类，其中近点是深度上具有高度确定性的点，可用于缩放、平移和旋转估计，而远点仅用于旋转估计，因此信息量较少。与传统的激光测距仪相比，激光测距仪可以获得更精确的距离。因此，相机（用于大范围探测和跟踪的高角度分辨率）和激光雷达（远距离和精确深度测量）的优点可以以紧密耦合的方式加以利用。

（a） 机器人平台。CamVox硬件安装在这个机器人的顶部。另外还安装了一个RGBD摄像机用于比较。（b） CamVox硬件特写，包括摄像机、Livox Horizon和IMU。附加GPS/RTK用于地面真值估计。（c-d）从激光雷达点云获取的RGB图像和深度图像的示例。

CamVox SLAM流程。除了ORB-SLAM2主线程外，还使用RGBD输入预处理线程将lidar和相机数据转换为RGBD格式，并可自动/手动触发自动校准线程以进行相机和激光雷达外参校准。

预处理

预处理线程从激光雷达中提取原始点，经惯性测量单元（IMU）进行校正，并根据摄像机的外参标定将其投影到深度图像中。

用IMU校正运动失真的例子。（a） 角落场景的RGB图像；（b） 机器人移动时扫描时的原始点云；（c） 对IMU数据处理后的点云进行畸变校正。

（a） RGB摄像机，（b） Realsense D435和（c） CamVox RGBD输出。蓝色矩形显示了椰子树叶在这三张图片中的位置。很明显，典型的RGBD相机在探测距离和抗太阳光噪声方面比CamVox RGBD差得多

自校准

由于激光雷达的远程测距能力，校准精度在CamVox中至关重要。一个小的角度失配可能导致大深度的绝对偏差。控制校准目标（如棋盘）在现场并不总是可用的，需要在不受控制的场景中开发一种自动校准方法，并在发现更好的校准匹配时更新参数。由于Livox激光雷达的非重复性，只要我们能够积累几秒钟的扫描点，深度图像的分辨率就可以和相机图像一样高，并且与相机图像的对应关系变得很容易找到。因此，我们能够在几乎所有的野外场景中根据场景信息自动进行标定。当检测到机器人处于静止状态时，设置自动校准触发，以消除运动模糊。

利用反射率和深度值，通过初始外部参数将密集点云投影到成像平面上，然后进行轮廓提取以与摄像机图像轮廓进行比较。cost函数由改进的ICP算法构造，并可通过Ceres进行优化，以获得相对更精确的外部校准参数。

校准流程实例。相机和激光雷达采集的数据（保持静止并积累数秒）通过初始校准参数进行处理，形成三幅图像（灰度、反射率和深度，后两幅来自激光雷达）。对从这些图像检测到的边缘进行校准，直到获得满意的参数。

● 实验

在校准后RGB相机和点云叠加的示例 。（a） 未校准。（b） 自动校准。（c） 最好的手动校准。自动校准算法在各种场景，（d）有天然树木和草地的室外道路，（e）室外人工结构，（f）室内的部分结构

CamVox、两种主流SLAM框架和ground truth的轨迹比较如下图：

关键点阈值的评估。（a-d）通过选择不同的关键点阈值来重建点云地图。（e） 匹配点的数目作为帧序列的函数（10帧/秒）。（f） 匹配点的数目作为关键点阈值的函数，在SLAM过程的开始（第5帧）评估。

  livox horizon loam,、VINS mono和CamVox的轨迹

不同方案的绝对位姿误差对比

不同方案在同一硬件平台上的耗时对比

● 总结

综上所述，我们提出CamVox作为一种新的低成本lidar辅助视觉SLAM框架，旨在将两者的优点结合起来，即相机的最佳角度分辨率和激光雷达的最佳深度和距离。利用Livox激光雷达独特的工作原理，开发了一种能够在非受控场景下进行自动标定的算法。在自动标定精度、关键点分类深度阈值和轨迹比较等方面对新框架进行了评估，并且它还可以在机载计算机上实时运行。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

往期线上分享录播汇总

第一期B站录播之三维模型检索技术

第二期B站录播之深度学习在3D场景中的应用

第三期B站录播之CMake进阶学习

第四期B站录播之点云物体及六自由度姿态估计

第五期B站录播之点云深度学习语义分割拓展

第六期B站录播之Pointnetlk解读

[线上分享录播]点云配准概述及其在激光SLAM中的应用

[线上分享录播]cloudcompare插件开发

[线上分享录播]基于点云数据的 Mesh重建与处理

[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享

[线上分享录播]地面点云配准与机载点云航带平差

点云PCL更多活动请查看：点云PCL活动之应届生校招群

扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：

如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作：微信“920177957”（需要按要求备注）联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶