首页 > 逆透视变换IPM模型

逆透视变换IPM模型

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

IPM模型

在解释自适应的IPM模型之前，首先需要了解使用相机的物理参数来描述IPM的基本模型[1]（这篇文章虽然有点古老，但是从数学层面上阐述了IPM的数学模型）下图展示了相机坐标系，图像坐标系，以及世界坐标系之间的关系，其中（u,v）是像素单位，(r,c)和（X,Y,Z）是米制单位。

8058d04b95b7b2bee37998746dac34b5.png

使用IPM的目的是将像素点（u,v）映射到世界坐标系下的（X,Y,Z），首先定义一个单位向量X'来表示相机的视角的方向（这里用“‘ ”来表示这是一个矢量）那么与X'正交的就是单位向量Y"，该向量是与地面和相机的视角的方向都是正交的关系，IPM就是寻找到世界坐标系下的（X',Y',Z'）与图像坐标系（u',v'）之间的关系，以便将图像的像素映射到世界坐标系下。这里一定要注意根据单位的不同的，图像上的两种坐标系设置为（u',v'）和（r',c'）.像素空间中的图像点（u',v'）与米制单位空间中的（r',c'）是相同点。他们之间的关系定义如下：

f2c30486d1bc40cc1d3d842b3a4295f1.png

这里说明一下K是像素与米单位之间的关系（Px/m）,其实就是每米占多少个pixel.图像的宽度m,以及图像的高度n。相机的光学中心P在世界坐标系中的位置为（0,0，h）。光学中心的轴用O'表示，是与像平面是正交的（这里可以想象一下，肯定是正交的关系）。

3369427995bf947a389263f08f4ffd2d.png

我们近一步的通过下面的侧视图和俯视图的描述参数中，假设物体的高度为0，那么很容易的计算出世界坐标系中的投影图像，使用侧视图理解，X'方向上的点X可以写成像素点v,相机的倾斜角（theta0）和垂直角（theta）的函数。

b8cb0a3d21c045ba93b022806ad15ec2.png

倾斜角表示平行于地面的直线与光轴之间的角度（O'）垂直角是从P到每个像素的线与O'之间的角度，利用上图中的几何学关系，我们可以推导出倾斜角和垂直角，这两个已知量是可以作为函数的参数，寻找两者之间的关系是我们发现从垂直的焦距fr开始，从中我们可以得到theta(V)。

75d1478769e1f11ee19a53467831f516.png

通过几何学之间的关系我们可以得到如下的关系式：

2f4a2b18e54bafb7b76a77bc59cf58e5.png

其中r_top是是指在（r',c’）坐标系下最高的图像点，

alpha_r是垂直方向上FOＶ的一半，

r_top在我们假设像素的坐标系中的ｖ＝１的时候是可以被推导出来的

b8d391e43b57ea2ee0d2f3a73aa11779.png

并且fr 是可以根据上两个式子推导出来的

4c2922dbe44f267505f881bb92fc502e.png

则θ(v) 可以表示为

ee1bc18ce20ee816e180de9284004dcd.png

最终我们根据上式子表示出 X(v)

c6628fd94b1ed006057e3b3dda4d0ec5.png

请注意，世界坐标系中的X与图像平面的u无关。下一步，我们用俯视图求出Y，如图3所示：

5af594b1950120b108be90627a8b358b.png

这个关系可以用X和Y之间的比例表达式来推导：

dbb78847c81fe54c9cd97efa553db0dc.png

其中fc是水平焦距，可从：

33632e6deba94f52e2f148631ba610a8.png

与侧视图几何图形类似，C_right是（r'，c'）坐标中最右侧点的C值，a_c是水平视野的半角。当u值为n时，可获得C_right

f130d861fff12a8421d07adf500b4507.png

因此，fc和Y（u，v）可以定义为（12）、（13）。如果图像的宽度和高度相同（m=n），则fc与fr相同

f4b397f7be27bfe6c9b837ad99b86152.png

Y（u，v）在世界坐标中的位置取决于（u，v），因为Y（u，v）包括X（v）。但该模型仅考虑从固定摄像机获取图像的情况。当从运动车辆获取图像时，由于车辆的运动，尤其是其俯仰方向，很难将图像转换为准确的鸟瞰图像。为了解决该问题，在该模型中还添加了相机俯仰方向（theta_p）上的角度，如下图所示。

3e170b2eef3da024061cffe5c3ffd036.png

             自适应IPM模型的侧视图,相机的俯仰角（ep）添加到基本IPM模型中

最后，通过将theta_p添加到原始theta_o，可以导出自适应IPM建模方程（14）

fc2a03562004c591bff4a89e895f3fe0.png

X（v，theat_p）取决于相机的俯仰角（theta_p），Y（u，v,theta_p）也取决于它，这意味着鸟瞰图像根据俯仰角进行适当补偿。

[1] Hanspeter A Mallot, Heinrich H Bulthoff, JJ Little, and ¨Stefan Bohrer. Inverse perspective mapping simplifies optical flow computation and obstacle detection. Biological cybernetics, 64(3):177–185, 1991.

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶

b65237805b3ed888a3b6debf60279ddd.gif

更多相关：

  • opencv python下载_[福利] OpenCV4 Python 最新中文版官方教程来了（附下载）

    教程简介 OpenCV 是计算机视觉中经典的专用库，然而其中文版官方教程久久不来。近日，一款最新 OpenCV4.1 版本的完整中文版官方教程出炉，读者朋友可以更好的学习了解 OpenCV 相关细节。教程来自 objectdetection.cn 。 教程目录 OpenCV 简介 0_OpenCV-Python Tutorials O...

  • 基于自适应逆透视变换的车道线SLAM

    公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。前言前段时间刚分享的AVP-SLAM文章中有一个知识点叫做IPM(逆透视变换)AVP-SLAM：自动泊车...

  • 基于全景图像与激光点云配准的彩色点云生成算法（2014年文章）

    标题：The algorithm to generate color point-cloud with the registration between panoramic imageand laser point-cloud作者：Fanyang ZENG, Ruofei ZHONG 编译：点云PCL来源: https://iops...

  • PCL深度图像(1)

    目前深度图像的获取方法有激光雷达深度成像法，计算机立体视觉成像，坐标测量机法，莫尔条纹法，结构光法等等，针对深度图像的研究重点主要集中在以下几个方面，深度图像的分割技术 ，深度图像的边缘检测技术 ，基于不同视点的多幅深度图像的配准技术，基于深度数据的三维重建技术，基于三维深度图像的三维目标识别技术，深度图像的多分辨率建模和几何压缩技术...

  • CloudCompare基础架构介绍（PPT）

    公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。资源三维点云论文及相关应用分享【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法3D目标检测...

  • SC-A-LOAM：在A-LOAM中加入回环检测

    Thanks to LOAM, A-LOAM, and LIO-SAM code authors. The major codes in this repository are borrowed from their efforts.代码：https://github.com/gisbi-kim/SC-A-LOAM编译：点云PCL本...

  • 【开源分享】VIDO-SLAM：一种视觉惯性动态物体SLAM系统

    文章：Inertial-Only Optimization for Visual-Inertial Initialization作者：Carlos Campos, Jose M.M. Montiel and Juan D. Tard ´ os´代码：https://github.com/bxh1/VIDO-SLAM.git编译：点云...

  • 在结构化场景中基于单目的物体与平面SLAM方案

    点云PCL免费知识星球，点云论文速读。文章：Monocular Object and Plane SLAM in Structured Environments作者：Shichao Yang, Sebastian Scherer翻译：particle本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢...

  • 基于ORB-SLAM2可持续保存地图的扩展方案

    点云PCL免费知识星球，点云论文速读。文章：Persistent Map Saving for Visual Localization for Autonomous Vehicles: An ORB-SLAM 2 Extension作者：Felix Nobis∗, Odysseas Papanikolaou, Johannes Be...

  • Udacity机器人软件工程师课程笔记（十五）-运动学-正向运动学和反向运动学(其二)-DH参数等

    正向运动学和反向运动学 目录 2D中的旋转矩阵sympy包旋转的合成旋转矩阵中的欧拉角平移齐次变换及其逆变换齐次变换的合成Denavit-Hartenberg 参数DH参数分配算法正向运动学反向运动学反向运动学举例 7.齐次变换的合成 齐次变换的合成与旋转的合成遵循着相同的逻辑。 假设从坐标系C到坐标系B的变换是已知的，从坐...

©2024 11GX.COM