【论文速读】城市自动驾驶应用的概率语义地图
点云PCL免费知识星球，点云论文速读。
标题：Probabilistic Semantic Mapping for Urban Autonomous Driving Applications
作者：David Paz, Hengyuan Zhang, Qinru Li
星球ID：particle
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信[email protected]。
●论文摘要
近年来统计学和计算机能力的进步使自动驾驶技术以更快的速度发展并得到广泛应用。虽然很多介绍的许多地图体系结构都能够在高度动态的环境下运行，但由于与高精（HD）地图相关的可扩展性成本，其中许多体系结构都局限于较小规模的部署，并且需要经常维护。高精地图为自动驾驶汽车安全驾驶提供了关键信息。然而，创建高精地图的传统方法涉及繁琐的手动标记物体。为了解决这一问题，我们将二维图像语义分割与从一个相对便宜的16线激光雷达传感器采集的预构建点云地图相结合，在鸟瞰图中构建局部概率语义地图，对驾驶环境中的道路、人行道和车道等静态路标进行编码。从城市环境中采集的数据进行的实验，表明该模型可以扩展为将道路特征自动化的合并到具有潜在未来工作方向的HD地图中。
●主要贡献
在HD地图生成过程中，从数据中提取语义属性是最费时的工作。自动化这一过程的模型可以改进高精地图的生成，降低劳动力成本，提高驾驶安全性。
该方案的重点是利用16线激光雷达构建的稠密点云地图和来自深度神经网络的最新语义标记图像（仅在公开可用的数据集上进行训练），在城市驾驶环境中自动生成密集的概率语义图，为道路、车道、人行道提供可靠的标签。通过与自动驾驶车辆上的离线真实高精地图的比较，表明该模型能够识别道路中的语义特征，并在三维空间中进行精确定位。
●论文内容分析与图集
生成概率语义地图的道路特征提取和高清地图应用的处理流程
通过几何变换将局部点云地图和语义图像融合在一起，我们提出了一种概率映射，它可以解释每个网格的标签分布。如图1所示，整体架构由语义分割、点云语义关联、语义映射和地图转换组成。
图像语义分割
使用DeepLabV3Plus[6]网络结构从二维图像中提取语义信息，训练标签如下
点云语义关联
在给定语义图像的情况下，估计语义像素数据的相对深度可以帮助我们重建具有语义标签的三维场景。然而，这些信息通常不可用。基于多视角几何的深度估计需要显著的特征，这在道路上或当照明条件变化很大时容易出错。即使使用我们实时获得的激光雷达扫描，16线激光雷达的稀疏分辨率也使得推断潜在几何结构变得困难。相反，我们的方法提取密集点云地图的小区域，并将其投影到语义分割的图像中以检索深度信息。由于建立如此密集的点地图只需要驾车经过该地区一次，这一过程比人工标记成本更低。
构建概率语义地图
虽然带有语义标签的点云提供了场景的三维重建，但是这些标签也会受到噪声和语义标签小波动的影响。为了解决这一问题，使用语义点云构建并更新局部概率地图。
斑马线和侧车道基于表面反射率具有更高的强度，表明该区域属于特定标签的可能性更高。因此，我们将概率的对数与该区域的强度联系起来。
概率地图的转换
对于每一帧，我们用语义点云数据更新概率图，但我们并不是每帧都构造一个全新的局部地图。因为我们只考虑局部地图，通常我们的旧地图和新地图都有大多数重叠，这种转换可以简化为单应性，使得加快了过程。
●实验结果
车身传感器配置
不将强度融合到语义映射（上图）和融合强度到概率更新（底部图像）中的结果对比
一系列局部图融合展示了概率地图图的自动校正能力
使用实时激光雷达扫描进行语义地图构建时。下图显示，当汽车开得更快时，地图变得更加稀疏。
如前所述，提取深度信息的方法是使用激光雷达实时生成的点云数据。采用相似的方法，将点云投影到语义图像框架上，建立语义点云和图像语义地图之间的关联。
与人工标注的高精地图比较：白框标注人行横道，粉色区域对应语义点云投影。
一个由多个局部语义地图图组成的较大的地图，放大后的图像突出了人行道的定位。
显示在点云地图顶层的语义地图
●总结
通过融合图像帧上丰富语义标签的信息，我们与人工标注地图的比较表明，这项工作有效地引入了一种用于识别道路特征并在三维空间中进行定位的统计方法，可用于自动标注人行道、车道线、可行区域等。这些特性可用于独立于预定义的HD地图格式用于生成HD地图，并扩展了通常用于路径跟踪算法的中心车道标识。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
往期线上分享录播汇总
第一期B站录播之三维模型检索技术
第二期B站录播之深度学习在3D场景中的应用
第三期B站录播之CMake进阶学习
第四期B站录播之点云物体及六自由度姿态估计
第五期B站录播之点云深度学习语义分割拓展
第六期B站录播之Pointnetlk解读
[线上分享录播]点云配准概述及其在激光SLAM中的应用
[线上分享录播]cloudcompare插件开发
[线上分享录播]基于点云数据的 Mesh重建与处理
[线上分享录播]机器人力反馈遥操作技术及机器人视觉分享
[线上分享录播]地面点云配准与机载点云航带平差
点云PCL更多活动请查看：点云PCL活动之应届生校招群
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：
如果你对本文感兴趣，请点击“原文阅读”获取知识星球二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：可联系微信“920177957”（需要按要求备注）联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
更多相关：
-
Kimera实时重建的语义SLAM系统 Kimera是C++实现的一个具有实时度量的语义SLAM系统，使用的传感器有相机与IMU惯导数据来构建环境语义标注的3D网格，Kinera支持ＲＯＳ运行在ＣＰＵ上的高效模块化的开源方案。包含了四个模块： 快速准确的视觉-惯导里程计VIO流水线（Kimera-VIO） 基于鲁棒位姿的图优化完整S...
-
点云PCL免费知识星球，点云论文速读。文章：A General Framework for Lifelong Localization and Mapping in Changing Environment作者：Min Zhao, Xin Guo, Le Song, Baoxing Qin, Xuesong Shi, Gim Hee...
-
点云PCL免费知识星球，点云论文速读。文章：Coarse-to-fine Semantic Localization with HD Map for Autonomous Driving in Structural Scenes作者：Chengcheng Guo, Minjie Lin, Heyang Guo, Pengpeng L...
-
点云PCL免费知识星球，点云论文速读。 标题：ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM 作者：Carlos Campos∗, Richard Elvira∗, Juan J. Gomez Ro...
-
专为自动驾驶而构建的地图通常称之为高精地图（High Definition Maps），这些地图在厘米级别,一般具有极高的精度，阅读本文将了解有关高精地图的一些基本内容。你将了解到高精地图的定义，为什么自动驾驶需要高精地图，如何制作高精地图，高精地图如何存储，等等基本问题，对高精地图有着全面且基础的认识。 什么是高清地图？ 高精地...
-
/*去除百度地图版权，去除百度地图右上角平移缩放控件的市县区文字*/ .anchorBL, .BMap_zlHolder {display: none;visibility: hidden;}...
-
点云PCL免费知识星球，点云论文速读。标题：三维点云分割综述（上）排版：particle欢迎各位加入免费知识星球，获取PDF文档，欢迎转发朋友圈，分享快乐。这是一篇综述性论文，以下只做概述性介绍，介绍文章已共享在微信群和免费知识星球中，文章在公众号将分成三个部分:第一部分介绍点云的获取以及各种传感器获取点云的特性，以及分割概念的区别...
-
点云PCL免费知识星球，点云论文速读。文章：DLL: Direct LIDAR Localization. A map-based localization approach for aerial robots作者：Fernando Caballero1 and Luis Merino编译：点云PCL代码：https://githu...
-
CloudCompare是一个三维点云（网格）编辑和处理软件。最初，它被设计用来对稠密的三维点云进行直接比较。它依赖于一种特定的八叉树结构，在进行点云对比这类任务时具有出色的性能【1】。此外，由于大多数点云都是由地面激光扫描仪采集的，CloudCompare的目的是在一台标准笔记本电脑上处理大规模的点云——通常超过1000万个点云。...
-
点云PCL免费知识星球，点云论文速读。文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images作者：Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne编译：点云P...
-
点云PCL免费知识星球，点云论文速读。标题：Real-Time Spatio-Temporal LiDAR Point Cloud Compression作者：Yu Feng , Shaoshan Liu , and Yuhao Zhu来源：2020IROS本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF...