Open3DGen：从RGB-D图像重建纹理3D模型的开源软件
点云PCL免费知识星球，点云论文速读。
文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images
作者：Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne
编译：点云PCL
代码：https://github.com/ultravideo/Open3DGen.git
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
本文介绍了第一个完全开源的跨平台软件Open3DGen，用于从RGB-D图像重建照片级具有真实感的3D模型，该软件流程上包括九个主要阶段：1）RGBD采集；2） 二维特征提取；3） 摄像机姿态估计；4） 点云生成；5） 粗网格重建；6） 可选环路闭和检测；7） 精细化网格重建；8） UV展开；9）纹理投影。此端到端方案结合了多种最先进的技术，并为实时三维模型重建和离线纹理映射提供了易于使用的软件包。主要创新在于各种运动结构（SfM）技术，这些技术与其他深度数据一起使用，以实时和低成本生成高质量的3D模型。Open3DGen的功能已在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上验证，验证了设置在不使用脱机后端的情况下，720p（1280×720）RGBD输入的平均处理速度为15 fps，我们的解决方案通过最先进的商业和学术解决方案提供具有竞争力的3D网格质量和运行效率。
主要贡献
表1描述了用于3D数据捕获、重建和纹理映射的最著名的软件框架，它们可以分为摄影测量、SLAM和基于RGB-D的三维扫描方法。
本文提出了一种端到端的三维重建软件Open3DGen，该软件采用SLAM和摄影测量方案的特征，以便从RGB-D图像快速生成精确的真实感纹理三维模型，据我们所知，这是第一个完全开源和跨平台的软件实现，用于1）实时3D网格重建和2）相关离线纹理映射。
图1概述了提出的Open3DGen流程，该流程以模块化和灵活的方式整合了3D捕获过程的所有阶段，所采用的图像处理算法倾向于在文献中进行全面的研究和记录，但它们的实现往往缺乏功能、可用性或许可。这项工作特别涉及这些算法的实现方面，并试图提供一个开放、准确、易于使用的软件包，方便地与消费级RGB-D相机配合使用。
图1:Open3DGen流程的主要处理模块
主要内容
该方案可分为两个主要部分：
1）实时前端用于RGB-D数据捕获和带有顶点颜色的粗略三维模型重建；
2）离线后端用于模型细化和纹理映射，粗网格生成的前五个阶段可以实时完成，以立即向用户提供重建模型的近似值。
图2显示了测试RGB-D图像序列的流程操作
表2列出了所采用算法及其实现的分类
A. Open3DGen：前端
实时前端包括以下五个主要阶段：
1）RGB-D采集；
2） 二维特征提取；
3） 摄像机姿态估计；
4） 点云生成；
5）粗网格重建。
B. Open3DGen：后端
该方法的离线后端由四个阶段组成：1）循环闭合和相机姿势优化；2） 网格重建；3） UV展开, 4）纹理投影。然而，环路闭合和摄像机姿势优化是一个可选模块。
在这四个阶段之间，可以导出生成的点云或三维网格以进行手动处理，手动优化网格拓扑或使用自动化解决方案可以获得更好的结果，然后，可以将编辑的网格重新导入流程中以进行纹理投影，如果深度数据特别嘈杂且具有大量异常值，则在纹理投影之前编辑原始网格或点云数据也很有用。
图3：茶壶的网格三角形拓扑
实验
实验的输入RGB-D图像是用Intel RealSense D435相机拍摄的，基准测试是在配备AMD Ryzen 3900X处理器和Nvidia GTX1080显卡的台式工作站上进行的，操作系统是Ubuntu Linux 20.04。
图4：三个测试场景的重建质量比较 (a) Metashape. (b) Meshroom. (c) Open3DGen.
表3:Metashape、Meshroom和Open3DGen之间的性能比较
总结
本文介绍了一个完全开源的跨平台软件Open3DGen，用于从RGB-D图像重建高质量的纹理三维模型， 提出的Open3DGen流程由用于粗略三维模型重建的实时前端和用于模型细化和纹理映射的离线后端组成，该系统在不同的操作条件下，具有多方面的输入，具有很强的鲁棒性，生成的三维模型可以在各种计算机图形学和其他三维应用程序中使用，Open3DGen的概念验证设置能够在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上以15 fps的平均处理速度从720p RGB-D输入重建粗略的3D模型。结果表明，在处理时间的一小部分内，其质量可与最先进的摄影测量软件媲美或超过该软件，未来，Open3DGen CLI将升级为直观的图形用户界面（GUI），Open3DGen流程的后端将进行实时处理优化，完全实时的Open3DGen软件可用于将下一代交互式和实时应用程序的用户体验提升到更高的沉浸度。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
【开源方案共享】ORB-SLAM3开源啦！
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：
如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
更多相关：
-
点云PCL免费知识星球，点云论文速读。标题：三维点云分割综述（上）排版：particle欢迎各位加入免费知识星球，获取PDF文档，欢迎转发朋友圈，分享快乐。这是一篇综述性论文，以下只做概述性介绍，介绍文章已共享在微信群和免费知识星球中，文章在公众号将分成三个部分:第一部分介绍点云的获取以及各种传感器获取点云的特性，以及分割概念的区别...
-
点云PCL免费知识星球，点云论文速读。文章：DLL: Direct LIDAR Localization. A map-based localization approach for aerial robots作者：Fernando Caballero1 and Luis Merino编译：点云PCL代码：https://githu...
-
CloudCompare是一个三维点云（网格）编辑和处理软件。最初，它被设计用来对稠密的三维点云进行直接比较。它依赖于一种特定的八叉树结构，在进行点云对比这类任务时具有出色的性能【1】。此外，由于大多数点云都是由地面激光扫描仪采集的，CloudCompare的目的是在一台标准笔记本电脑上处理大规模的点云——通常超过1000万个点云。...
-
点云PCL免费知识星球，点云论文速读。标题：Real-Time Spatio-Temporal LiDAR Point Cloud Compression作者：Yu Feng , Shaoshan Liu , and Yuhao Zhu来源：2020IROS本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF...
-
点云PCL免费知识星球，点云论文速读。 标题：Fast 3D Line Segment Detection From Unorganized Point Cloud 作者：Xiaohu Lu, Yahui Liu, Kai Li 编译：particle 欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。 本文...
-
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。资源三维点云论文及相关应用分享【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法3D目标检测...
-
Thanks to LOAM, A-LOAM, and LIO-SAM code authors. The major codes in this repository are borrowed from their efforts.代码：https://github.com/gisbi-kim/SC-A-LOAM编译：点云PCL本...
-
文章：Inertial-Only Optimization for Visual-Inertial Initialization作者：Carlos Campos, Jose M.M. Montiel and Juan D. Tard ´ os´代码：https://github.com/bxh1/VIDO-SLAM.git编译：点云...
-
点云PCL免费知识星球，点云论文速读。文章：Monocular Object and Plane SLAM in Structured Environments作者：Shichao Yang, Sebastian Scherer翻译：particle本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢...
-
点云PCL免费知识星球，点云论文速读。文章：Persistent Map Saving for Visual Localization for Autonomous Vehicles: An ORB-SLAM 2 Extension作者：Felix Nobis∗, Odysseas Papanikolaou, Johannes Be...