WO2018176440A1 - 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质 - Google Patents

点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质 Download PDF

Info

Publication number
WO2018176440A1
WO2018176440A1 PCT/CN2017/079233 CN2017079233W WO2018176440A1 WO 2018176440 A1 WO2018176440 A1 WO 2018176440A1 CN 2017079233 W CN2017079233 W CN 2017079233W WO 2018176440 A1 WO2018176440 A1 WO 2018176440A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point cloud
depth image
point
planar
Prior art date
Application number
PCT/CN2017/079233
Other languages
English (en)
French (fr)
Inventor
邱纯鑫
刘乐天
Original Assignee
深圳市速腾聚创科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市速腾聚创科技有限公司 filed Critical 深圳市速腾聚创科技有限公司
Priority to PCT/CN2017/079233 priority Critical patent/WO2018176440A1/zh
Publication of WO2018176440A1 publication Critical patent/WO2018176440A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to the field of image fusion technologies, and in particular, to a point cloud and plane image fusion method, a smart device, and a non-transitory computer readable storage medium.
  • sensors are an important way for robots to sense external things.
  • the mainstream sensors are mainly cameras, and there are already very mature algorithms.
  • the use of laser radar has become more and more common.
  • Lidar and camera each have their own advantages and disadvantages.
  • the camera can provide rich color information, and computer vision algorithms are very mature, but it does not provide three-dimensional information.
  • Lidar can provide three-dimensional information, but can not provide color information, and the corresponding algorithm is also less. It can be seen that the respective advantages of Lidar and camera are just the defects of the other party. Therefore, it is very important to integrate the information provided by the laser radar and the camera.
  • mapping model between two-dimensional plane image and three-dimensional point cloud.
  • mapping model it is necessary to find and mark points on the two-dimensional plane image in the three-dimensional point cloud. The corresponding point is more difficult.
  • a point cloud and planar image fusion method includes:
  • a smart device comprising a memory and a processor, the memory storing computer readable instructions, the instructions being executed by the processor, causing the processor to perform the following steps:
  • mapping matrix capable of reflecting a coordinate conversion relationship between the first planar image and the first depth image
  • One or more non-transitory computer readable storage media containing computer executable instructions that, when executed by one or more processors, cause the processor to perform the following steps:
  • mapping matrix capable of reflecting a coordinate conversion relationship between the first planar image and the first depth image
  • the smart device, and the non-transit computer readable storage medium after acquiring the first point cloud and the first plane image of the target object, first converting the first point cloud to the first depth And acquiring a mapping matrix capable of reflecting a coordinate conversion relationship between the first planar image and the first depth image, and finally using the mapping matrix to convert the first depth image and the first planar image Switching to the same coordinate system, and merging the first planar image with the first point cloud according to the conversion relationship between the first depth image and the first point cloud.
  • mapping matrix between the two two-dimensional images ie, the depth image and the planar image
  • the mapping matrix between the 2D planar image and the 3D point cloud which simplifies the calculation process of the mapping matrix.
  • FIG. 1 is a block diagram of a smart device for performing a point cloud and planar image fusion method provided by an embodiment
  • FIG. 2 is a flow chart of a method for fusing a point cloud and a planar image in the embodiment shown in FIG. 1;
  • step S300 is a flow chart of one embodiment of step S300 in the point cloud and plane image fusion method of the embodiment shown in FIG. 2;
  • step S340 is a specific flowchart of step S340 in the point cloud and plane image fusion method of the embodiment shown in FIG. 3;
  • FIG. 5 is a flowchart of an embodiment of step S200 in the point cloud and plane image fusion method of the embodiment shown in FIG. 2; FIG.
  • FIG. 6 is a schematic diagram of conversion between a Cartesian coordinate system and a spherical polar coordinate system in the point cloud and planar image fusion method of the embodiment shown in FIG. 5.
  • FIG. 6 is a schematic diagram of conversion between a Cartesian coordinate system and a spherical polar coordinate system in the point cloud and planar image fusion method of the embodiment shown in FIG. 5.
  • FIG. 1 shows a block diagram of one of the components of the smart device.
  • the smart device includes a processor and a memory. Wherein, the memory stores computer readable instructions for implementing the point cloud and planar image fusion method.
  • the processor is used to provide computing and control capabilities to support the operation of the entire smart device.
  • the smart device can be a computer, a tablet, or the like.
  • FIG. 1 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the smart device to which the solution of the present application is applied.
  • the specific smart device may include More or fewer components than shown in the figure, or some components combined, or with different component arrangements.
  • the point cloud and plane image fusion method includes the following contents.
  • Step S100 Acquire a first point cloud and a first plane image of the target object.
  • the data type of the first point cloud is a point cloud, which can provide three-dimensional information.
  • the first point cloud can be obtained by scanning the target object by the three-dimensional laser radar.
  • the data type of the first planar image is a two-dimensional image, and each pixel value is a gray value or a color value, which can provide color information.
  • the first planar image can be captured, for example, by a camera on a target object.
  • step S200 the first point cloud is converted into a first depth image.
  • the data type of the first depth image is a depth image, which also belongs to the two-dimensional image, but each pixel value represents relative depth information. Therefore, this step is equivalent to converting three-dimensional data (first point cloud) into two-dimensional data (ie, the first depth image).
  • Step S300 acquiring a mapping matrix capable of reflecting a coordinate conversion relationship between the first planar image and the first depth image.
  • the mapping matrix can convert the first planar image and the first depth image into the same sitting Under the standard system, the first planar image and the first depth image can be converted to the same coordinate system as long as the mapping matrix is acquired.
  • the mapping matrix is also applicable to the new object. object. For example, if a first point cloud of a target object is acquired by a three-dimensional laser radar and a first planar image of the target object is acquired by the camera, then the relative position between the three-dimensional lidar and the camera is maintained, regardless of the target object.
  • the above mapping matrix can be used to fuse the planar image of each object with the depth map generated by the point cloud.
  • Step S400 converting the first depth image and the first planar image into the same coordinate system by using the mapping matrix, and merging the first planar image with the first point cloud according to the conversion relationship between the first depth image and the first point cloud.
  • the first depth image and the first plane image are converted into the same coordinate system by using the mapping matrix, in other words, any point on the target object can be found in the first plane image and the first depth image according to the mapping matrix. s position.
  • the first depth image is converted by the first point cloud, according to the conversion relationship between the first depth image and the first point cloud (refer to the conversion relationship adopted in step S200), Further, the position of any point on the target object in the first plane image and the first point cloud (corresponding to establishing a mapping relationship between the first plane image and the first point cloud) can be further found, thereby completing the first
  • the fusion between the point cloud and the first planar image ie, the three-dimensional information and color information of any point on the target object can be acquired simultaneously).
  • the specific implementation process of the foregoing step S300 includes the following content, please refer to FIG. 3.
  • Step S310 acquiring a second point cloud and a second plane image of the calibration object.
  • the second point cloud The acquiring devices of the second planar image respectively correspond to the acquiring devices of the first point cloud and the first planar image.
  • the position of the acquisition device of the second point cloud relative to the acquisition device of the second planar image is the same as the position of the acquisition device of the first point cloud relative to the acquisition device of the first planar image.
  • the data type of the second point cloud is also a point cloud, and the difference from the first point cloud is only that the reflected object is different (ie, the first point cloud is used to reflect the target object, and the second point cloud is used to reflect Calibration).
  • the data type of the second planar image is also a two-dimensional image, which differs from the first planar image only in that the reflected object is different (ie, the first planar image is used to reflect the target object, and the second planar image is used to reflect the calibration object).
  • the structure of the calibration object is simpler than that of the target object, thereby facilitating the calculation of the mapping matrix.
  • the calibration object may be a plate-like structure provided with several hollow circles.
  • the second point cloud and the second plane image acquiring device respectively correspond to the first point cloud and the first plane image collecting device, in other words, the first point cloud and the second point cloud are by the same collecting device (for example 3D Lidar) A point cloud scanned from the target object and the calibration object.
  • the first planar image and the second planar image are planar images obtained by capturing the target object and the calibration object by the same acquisition device (for example, a camera).
  • Step S320 converting the second point cloud into the second depth image.
  • the data type of the second depth image is a depth image, which also belongs to the two-dimensional image, and each pixel value represents relative depth information.
  • Step S330 acquiring coordinates of each of the calibration points on the calibration object in the second planar image and the second depth image.
  • the calibration point may be a point having more obvious features on the calibration object.
  • the hollow circles may be used as calibration points, thereby facilitating respectively in the second planar image and the second depth. Find the coordinates of the center of these hollow circles on the image.
  • the operator can observe the coordinates of each calibration point on the second planar image and the second depth image, and input the observed coordinate values into the smart device.
  • the operator may specify the position of each calibration point on the screen of the smart device, and the smart device automatically recognizes the second planar image and the second depth image of the calibration point by using the touch position detection principle of the touch screen according to the position touched by the operator.
  • Step S340 calculating a mapping matrix on the coordinates of the second planar image and the second depth image according to all the calibration points.
  • the number of calibration points needs to ensure that at least the mapping matrix can be calculated, for example, four calibration points can be selected. Since the second planar image and the second depth image are generated in the same manner as the first planar image and the first depth image, respectively, the mapping matrix between the second planar image and the second depth image is calculated, which is equivalent to calculating A mapping matrix between the first planar image and the first depth image is used, and the first planar image and the first depth image can be converted into the same coordinate system by using the mapping matrix.
  • one of the specific implementation manners of the foregoing step S340 includes the following content. Please refer to FIG. 4 .
  • Step S341 establishing a mapping model between the second planar image and the second depth image.
  • the mapping model is used to describe the mapping relationship between the second planar image and the second depth image. In other words, any point is established in the mapping model of the second planar image and the second depth image respectively. Moreover, the mapping model contains unknown parameters, which can be calculated by the coordinates of each calibration point, so the number of calibration points must be at least equal to or greater than the number of these unknown parameters.
  • mapping model can be:
  • P is the mapping matrix
  • (x, y) is the point coordinate of the second planar image
  • (x', y') is the point coordinate of the second depth image
  • w is the scaling factor.
  • the scaling factor is used to reflect the relative ratio between the degree of scaling of the second planar image and the second depth image respectively to the calibration object, thereby improving the accuracy of the calculation.
  • step S342 the coordinates of the second planar image and the second depth image are respectively substituted into the mapping model, thereby obtaining a mapping matrix.
  • mapping matrix P and w are unknown parameters, and the purpose of finding the coordinates of each calibration point in the second planar image and the second depth image is to find the two parameters. solution. Therefore, when the mapping matrix is obtained, it is equivalent to obtaining a coordinate conversion relationship between the first planar image and the first depth image, so that the first planar image and the first depth image can be converted to the mapping matrix P to In the same coordinate system, for example, by substituting the coordinates of each point of the first depth image into (x', y') in the above mapping model, each coordinate (x, in the coordinate system where the first planar image is located can be converted. y).
  • mapping matrix is not limited to the above case.
  • the coordinates of the points on the target object can be directly used to obtain the mapping matrix. Without the need for additional calibration for calibration.
  • one of the specific implementations of the foregoing step S200 includes the following content. Please refer to FIG. 5.
  • Step S210 converting the first point cloud into a point cloud under the spherical coordinate system (r, alpha, beta).
  • r is the distance from each point to the center of the spherical coordinate system
  • alpha is the angle at which the projection of each point in the xy plane is rotated to the x-axis
  • beta is the angle at which each point is rotated to the z-axis.
  • the z-axis is parallel to the direction of gravity;
  • the coordinate system of the first point cloud is a Cartesian coordinate system. Then, this step is equivalent to converting the Cartesian coordinate system to the spherical coordinate system.
  • the point where the two dotted lines intersect is the projection of the point (r, alpha, beta) in the xy plane.
  • Step S220 obtaining a first depth image according to coordinates of each point in the spherical polar coordinate system.
  • alpha represents the horizontal position (ie, the x coordinate value) in the depth image
  • beta represents the vertical position (ie, the y coordinate value) in the depth image
  • the coordinates of each point in the first depth image are:
  • ⁇ is the minimum angular resolution and represents the pointing accuracy of the point cloud generating device (eg, three-dimensional lidar).
  • (x 0 , y 0 ) is the center point coordinate of the first depth image. Therefore, according to the coordinate change formula described above, the coordinates of each point in the spherical coordinate system can be converted into the coordinates of the depth image, and the value of each point is r, thereby finally obtaining the depth image.
  • the second point cloud may be converted into the second depth image by using the above specific manner shown in FIG. 5, that is, the second point cloud is first converted into the spherical polar coordinate system, and then the above formula is used. 2) Convert to a depth image again. And, the two set values of ⁇ and (x 0 , y 0 ) are the same value for both the first point cloud and the second point cloud.
  • FIG. 2 to FIG. 5 are schematic flowcharts of a method according to an embodiment of the present invention. It should be understood that although the various steps in the flowcharts of FIGS. 2 through 5 are sequentially displayed in accordance with the indication of the arrows, these steps are not necessarily performed in the order indicated by the arrows. Except as explicitly stated herein, the execution of these steps is not strictly limited, and may be performed in other sequences. Moreover, at least some of the steps in FIGS.
  • 2 to 5 may include a plurality of sub-steps or stages, which are not necessarily performed at the same time, but may be executed at different times, and the execution order thereof is also It is not necessarily performed sequentially, but may be performed alternately or alternately with at least a portion of other steps or sub-steps or stages of other steps.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or the like.

Abstract

一种点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质，包括：获取目标物体的第一点云与第一平面图像；将所述第一点云转换为第一深度图像；获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。

Description

点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质 技术领域
本发明涉及图像融合技术领域，特别是涉及一种点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质。
背景技术
在无人驾驶、SLAM、ADAS等机器人应用领域，传感器是机器人感知外界事物的重要方式。主流的传感器主要是相机，已经有非常成熟的算法。近年来，激光雷达的使用也越来越普遍。激光雷达与相机各自有着各自的优点和缺陷。相机可以提供丰富的颜色信息，并且计算机视觉算法已经非常成熟，但是它不能提供三维信息。激光雷达可以提供三维信息，但不能提供颜色信息，相应的算法也较少。由此可见，激光雷达与相机，各自的优点恰好都是对方的缺陷，因此，将激光雷达与相机所提供的信息进行融合至关重要。
传统对激光雷达与相机采集数据进行融合的算法，需要建立二维平面图像到三维点云之间的映射模型，在计算映射模型时需要在三维点云中寻找与二维平面图像上各标定点所对应的点，这一过程较为困难。
发明内容
基于此，有必要提供一种映射模型计算过程较为简单的点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质。
一种点云与平面图像融合方法，包括：
获取目标物体的第一点云与第一平面图像；
将所述第一点云转换为第一深度图像；
获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系 的映射矩阵；及
利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。
一种智能设备，包括存储器和处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行以下步骤：
获取目标物体的第一点云与第一平面图像；
将所述第一点云转换为第一深度图像；
获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；及
利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。
一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以下步骤：
获取目标物体的第一点云与第一平面图像；
将所述第一点云转换为第一深度图像；
获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；及
利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。
上述点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质中，在获取目标物体的第一点云与第一平面图像后，首先将第一点云转换为第一深度图像，再获取能够反映第一平面图像与第一深度图像之间坐标转换关系的映射矩阵，最后利用该映射矩阵将第一深度图像与第一平面图像转 换到同一坐标系下，并根据第一深度图像与第一点云之间的转换关系将第一平面图像与第一点云融合。因此，该点云与平面图像融合算法在进行数据融合时，只需确定两个二维图像(即深度图像与平面图像)之间的映射矩阵即可完成对点云与平面图像之间的融合，而无需考虑二维平面图像与三维点云之间的映射模型，从而简化了映射矩阵的计算过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1为用来执行一实施方式提供的点云与平面图像融合方法的智能设备的框图；
图2为图1所示实施方式的点云与平面图像融合方法的流程图；
图3为图2所示实施方式的点云与平面图像融合方法中步骤S300其中一种实施例的流程图；
图4为图3所示实施例的点云与平面图像融合方法中步骤S340的其中一种具体流程图；
图5为图2所示实施方式的点云与平面图像融合方法中步骤S200的其中一种实施例的流程图；
图6为图5所示实施例的点云与平面图像融合方法中关于笛卡尔坐标系与球极坐标系的转换示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使 对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
一实施方式提供了一种点云与平面图像融合方法，可以由具有数据处理能力的智能设备(例如计算机等)执行，图1示出了该智能设备的其中一种组成框图。该智能设备包括处理器及存储器。其中，存储器储存有用于实现该点云与平面图像融合方法的计算机可读指令。该处理器用于提供计算和控制能力，支撑整个智能设备的运行。该智能设备可以是计算机、平板电脑等。本领域技术人员可以理解，图1示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的智能设备的限定，具体的智能设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
请参考图2，该点云与平面图像融合方法包括以下内容。
步骤S100，获取目标物体的第一点云与第一平面图像。
其中，第一点云的数据类型为点云，可以提供三维信息，例如第一点云可以由三维激光雷达对目标物体进行扫描而得出。第一平面图像的数据类型为二维图像，并且各像素值为灰度值或颜色值，其可以提供颜色信息。第一平面图像例如可以由相机对目标物体拍摄得到。
步骤S200，将第一点云转换为第一深度图像。
其中，第一深度图像的数据类型为深度图像，同样属于二维图像，但其各像素值代表了相对的深度信息。因此，该步骤相当于将三维数据(第一点云)转换成了二维数据(即第一深度图像)。
步骤S300，获取能够反映第一平面图像与第一深度图像之间坐标转换关系的映射矩阵。
该步骤中，映射矩阵能够将第一平面图像和第一深度图像转换到同一坐 标系下，因此只要获取了映射矩阵，就可以将第一平面图像和第一深度图像转换到同一坐标系下。另外，需要说明的是，如果目标物体替换为另外的物体，只要采集装置相同，并且点云的采集装置与平面图像的采集装置之间的相对位置保持不变，那么映射矩阵同样适用于该新物体。举例来说，假设由三维激光雷达获取目标物体的第一点云，由相机获取目标物体的第一平面图像，那么只要保持该三维激光雷达和该相机之间的相对位置不变，不管目标物体替换为什么物体，都可以利用上述映射矩阵对各物体的平面图像与由点云生成的深度图进行融合。
步骤S400，利用映射矩阵将第一深度图像与第一平面图像转换到同一坐标系下，并根据第一深度图像与第一点云之间的转换关系将第一平面图像与第一点云融合。
该步骤中，利用映射矩阵将第一深度图像与第一平面图像转换到同一坐标系下，换言之，根据映射矩阵即可找到目标物体上的任一点分别在第一平面图像、第一深度图像中的位置。在此基础上，由于第一深度图像是由第一点云转换而来的，因此再根据第一深度图像与第一点云之间的转换关系(可以参考步骤S200中采用的转换关系)，即可进一步找到目标物体上的任一点分别在第一平面图像、第一点云中的位置(相当于建立了第一平面图像与第一点云之间的映射关系)，进而能够完成第一点云与第一平面图像之间的融合(即能够同时获取目标物体上任一点的三维信息和颜色信息)。
在传统点云与平面图像融合的方法中，需要计算三维点云与二维平面图像之间的映射矩阵，而由于维数不同，使得这一计算过程较为困难。而本发明提供的实施方式中，由于第一平面图像与第一深度图像都属于二维图像，因此基于维数相同的优势，使得获取两者之间的映射矩阵较为简单，从而降低了点云与平面图像融合的难度。
在其中一个实施例中，上述步骤S300的具体实现过程包括以下内容，请参考图3。
步骤S310，获取标定物的第二点云与第二平面图像。其中，第二点云、 第二平面图像的采集装置分别对应与第一点云、第一平面图像的采集装置相同。并且，第二点云的采集装置相对第二平面图像的采集装置的位置，和第一点云的采集装置相对第一平面图像的采集装置的位置相同。
该步骤中，第二点云的数据类型同样为点云，与第一点云的区别仅在于所反映的物体不同(即第一点云用来反映目标物体，而第二点云用来反映标定物)。第二平面图像的数据类型同样为二维图像，与第一平面图像的区别仅在于所反映的物体不同(即第一平面图像用来反映目标物体，第二平面图像用来反映标定物)。并且，与目标物体相比，标定物的结构更简单，从而便于计算映射矩阵，例如标定物可以为设有几个空心圆的板状结构。
另外，第二点云、第二平面图像的采集装置分别对应与第一点云、第一平面图像的采集装置相同，换言之，第一点云、第二点云是由同一个采集装置(例如三维激光雷达)分别对目标物体、标定物扫描得到的点云。第一平面图像、第二平面图像是由同一个采集装置(例如相机)分别对目标物体、标定物进行拍摄而得到的平面图像。
步骤S320，将第二点云转换为第二深度图像。
其中，第二深度图像的数据类型为深度图像，同样属于二维图像，且其各像素值代表了相对的深度信息。
步骤S330，获取标定物上各标定点分别在第二平面图像、第二深度图像的坐标。
其中，标定点可以为标定物上具有较明显特征的点，例如如果标的物上设置了多个空心圆，则可以将这些空心圆作为标定点，从而便于分别在第二平面图像、第二深度图像上找出这些空心圆圆心的坐标。
在具体操作过程中，可以由操作员观察第二平面图像、第二深度图像上各标定点的坐标，并将观察到的坐标值输入至智能设备中。或者，也可以由操作员在智能设备的屏幕上指定各标定点的位置，智能设备根据操作员触摸的位置利用触摸屏的触摸位置检测原理来自动识别标定点分别第二平面图像、第二深度图像中的坐标。
步骤S340，根据所有标定点分别在第二平面图像、第二深度图像的坐标计算出映射矩阵。
本发明实施例中，标定点的数量需保证至少能够计算出映射矩阵，例如可以选择4个标定点。由于第二平面图像、第二深度图像分别与第一平面图像、第一深度图像的产生方式相同，因此计算出了第二平面图像与第二深度图像之间的映射矩阵，就相当于计算出了第一平面图像与第一深度图像之间的映射矩阵，进而能够利用该映射矩阵将第一平面图像与第一深度图像转换到同一坐标系下。
具体地，上述步骤S340的其中一种具体实现方式包括以下内容，请参考图4。
步骤S341，建立第二平面图像与第二深度图像之间的映射模型。
其中，映射模型用来描述第二平面图像与第二深度图像之间的映射关系，换言之，任一点分别在第二平面图像、第二深度图像的坐标代入到该映射模型中都成立。并且，映射模型中含有未知参数，这些未知参数可以通过各标定点的坐标计算出来，因此标定点的数量至少要等于或大于这些未知参数的数量。
具体地，映射模型可以为：
Figure PCTCN2017079233-appb-000001
其中，P为映射矩阵，(x，y)为第二平面图像的点坐标，(x′，y′)为第二深度图像的点坐标，w为缩放系数。缩放系数用来反映第二平面图像、第二深度图像分别对标定物进行的缩放程度之间的相对比值，从而提高计算的精确性。
步骤S342，将各标定点分别在第二平面图像、第二深度图像的坐标代入上述映射模型中，从而得到映射矩阵。
在上述具体的映射模型(1)中，P和w均为未知参数，找出各标定点分别在第二平面图像、第二深度图像中的坐标的目的就是对这两个参数进行求 解。因此，当求出了映射矩阵后，就相当于得到了第一平面图像与第一深度图像之间的坐标转换关系，从而能够利用该映射矩阵P将第一平面图像与第一深度图像转换到同一坐标系下，例如：将第一深度图像各点的坐标分别代入上述映射模型中的(x′，y′)，即可转换得到第一平面图像所在的坐标系下的各坐标(x，y)。
可以理解的是，计算映射矩阵的具体方式不限于上述情况，例如：如果目标物体本身就存在特征较为明显且容易识别的点时，则可以直接利用目标物体上这些点的坐标来求出映射矩阵，而无需再另外使用标定物进行标定。
在其中一个实施例中，上述步骤S200的其中一种具体实现方式包括以下内容，请参考图5。
步骤S210，将第一点云转换为球极坐标系(r，alpha，beta)下的点云。其中，r表示各点到球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度。其中，z轴与重力方向平行；
本发明实施例中，如果第一点云是由三维激光雷达扫描得出，则第一点云所在的坐标系为笛卡尔坐标系。那么，该步骤相当于将笛卡尔坐标系转换至球极坐标系，这两个坐标系之间的转换关系请参考图6。其中，两条虚线相交的点为点(r，alpha，beta)在xy平面的投影。
步骤S220，根据各点在球极坐标系下的坐标得到第一深度图像。
在球极坐标系下，alpha代表深度图像中的水平位置(即x坐标值)，beta代表深度图像中的竖直位置(即y坐标值)，因此即可根据alpha、beta的上述特征得到第一深度图像。
具体地，第一深度图像中各点的坐标为：
Figure PCTCN2017079233-appb-000002
其中，β为最小角分辨率，代表点云的生成装置(例如三维激光雷达)的指向精度。(x0，y0)为第一深度图像的中心点坐标。因此，根据上述坐标变化公式，即可将球极坐标系下各点的坐标转换为深度图像的坐标，并且各点的值 为r，从而最终得到深度图像。
另外，上述步骤S320中，也可采用图5所示的上述具体方式将第二点云转换为第二深度图像，即先将第二点云转换到球极坐标系下，然后利用上述公式(2)再转换为深度图像。并且，β和(x0，y0)这两个设定值对于第一点云和第二点云都为相同的值。
需要说明的是，图2至图5为本发明实施例的方法的流程示意图。应该理解的是，虽然图2至图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图2至图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (18)

  1. 一种点云与平面图像融合方法，包括：
    获取目标物体的第一点云与第一平面图像；
    将所述第一点云转换为第一深度图像；
    获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；及
    利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。
  2. 根据权利要求1所述的方法，其特征在于，获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵包括：
    获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；
    将所述第二点云转换为第二深度图像；其中，所述第二深度图像属于所述深度图像；
    获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；及
    根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。
  3. 根据权利要求2所述的方法，其特征在于，根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵包括：
    建立所述第二平面图像与所述第二深度图像之间的映射模型；及
    将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。
  4. 根据权利要求3所述的方法，其特征在于，所述映射模型为：
    Figure PCTCN2017079233-appb-100001
    其中，P为所述映射矩阵，(x，y)为所述第二平面图像的点坐标，(x′，y′)为所述第二深度图像的点坐标，w为缩放系数。
  5. 根据权利要求1所述的方法，其特征在于，将所述第一点云转换为第一深度图像包括：
    将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；
    根据各点在所述球极坐标系下的坐标得到所述第一深度图像。
  6. 根据权利要求5所述的方法，其特征在于，所述第一深度图像中各点的坐标为：
    x＝alpha/β+x0
    y＝beta/β+y0
    其中，β为最小角分辨率；(x0，y0)为所述第一深度图像的中心点坐标。
  7. 一种智能设备，包括存储器和处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行以下步骤：
    获取目标物体的第一点云与第一平面图像；
    将所述第一点云转换为第一深度图像；
    获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；及
    利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。
  8. 根据权利要求7所述的智能设备，其特征在于，获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵包括：
    获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；
    将所述第二点云转换为第二深度图像；其中，所述第二深度图像属于所述深度图像；
    获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；及
    根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。
  9. 根据权利要求8所述的智能设备，其特征在于，根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵包括：
    建立所述第二平面图像与所述第二深度图像之间的映射模型；及
    将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。
  10. 根据权利要求9所述的智能设备，其特征在于，所述映射模型为：
    Figure PCTCN2017079233-appb-100002
    其中，P为所述映射矩阵，(x，y)为所述第二平面图像的点坐标，(x′，y′)为所述第二深度图像的点坐标，w为缩放系数。
  11. 根据权利要求7所述的智能设备，其特征在于，将所述第一点云转换为第一深度图像包括：
    将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转 到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；
    根据各点在所述球极坐标系下的坐标得到所述第一深度图像。
  12. 根据权利要求11所述的智能设备，其特征在于，所述第一深度图像中各点的坐标为：
    x＝alpha/β+x0
    y＝beta/β+y0
    其中，β为最小角分辨率；(x0，y0)为所述第一深度图像的中心点坐标。
  13. 一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以下步骤：
    获取目标物体的第一点云与第一平面图像；
    将所述第一点云转换为第一深度图像；
    获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；及
    利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。
  14. 根据权利要求13所述的非易失性计算机可读存储介质，其特征在于，获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵包括：
    获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；
    将所述第二点云转换为第二深度图像；其中，所述第二深度图像属于所述深度图像；
    获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；及
    根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。
  15. 根据权利要求14所述的非易失性计算机可读存储介质，其特征在于，根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵包括：
    建立所述第二平面图像与所述第二深度图像之间的映射模型；及
    将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。
  16. 根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述映射模型为：
    Figure PCTCN2017079233-appb-100003
    其中，P为所述映射矩阵，(x，y)为所述第二平面图像的点坐标，(x′，y′)为所述第二深度图像的点坐标，w为缩放系数。
  17. 根据权利要求13所述的非易失性计算机可读存储介质，其特征在于，将所述第一点云转换为第一深度图像包括：
    将所述第一点云转换为球极坐标系(r，alpha，beta)下的点云；其中，r表示各点到所述球极坐标系中心的距离，alpha为各点在xy平面的投影旋转到x轴的角度，beta为各点旋转到z轴的角度；其中，z轴与重力方向平行；
    根据各点在所述球极坐标系下的坐标得到所述第一深度图像。
  18. 根据权利要求17所述的非易失性计算机可读存储介质，其特征在于，所述第一深度图像中各点的坐标为：
    x＝alpha/β+x0
    y＝beta/β+y0
    其中，β为最小角分辨率；(x0，y0)为所述第一深度图像的中心点坐标。
PCT/CN2017/079233 2017-04-01 2017-04-01 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质 WO2018176440A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/079233 WO2018176440A1 (zh) 2017-04-01 2017-04-01 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/079233 WO2018176440A1 (zh) 2017-04-01 2017-04-01 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2018176440A1 true WO2018176440A1 (zh) 2018-10-04

Family

ID=63673988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/079233 WO2018176440A1 (zh) 2017-04-01 2017-04-01 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质

Country Status (1)

Country Link
WO (1) WO2018176440A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738730A (zh) * 2019-10-15 2020-01-31 业成科技（成都）有限公司 点云匹配方法、装置、计算机设备和存储介质
CN111006676A (zh) * 2019-11-14 2020-04-14 广东博智林机器人有限公司 地图构建方法、装置及系统
CN112183285A (zh) * 2020-09-22 2021-01-05 合肥科大智能机器人技术有限公司 一种变电站巡检机器人的3d点云地图融合方法和系统
CN113344789A (zh) * 2021-06-29 2021-09-03 Oppo广东移动通信有限公司 图像拼接方法及装置、电子设备、计算机可读存储介质
EP3915089A4 (en) * 2019-02-25 2022-04-13 Sony Group Corporation POINT CLOUD FUSION METHOD THAT IDENTIFIES AND RETAINS FAVORITE POINTS
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN104952075A (zh) * 2015-06-16 2015-09-30 浙江大学 面向激光扫描三维模型的多图像自动纹理映射方法
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3915089A4 (en) * 2019-02-25 2022-04-13 Sony Group Corporation POINT CLOUD FUSION METHOD THAT IDENTIFIES AND RETAINS FAVORITE POINTS
CN110738730A (zh) * 2019-10-15 2020-01-31 业成科技（成都）有限公司 点云匹配方法、装置、计算机设备和存储介质
CN110738730B (zh) * 2019-10-15 2023-07-18 业成科技（成都）有限公司 点云匹配方法、装置、计算机设备和存储介质
CN111006676A (zh) * 2019-11-14 2020-04-14 广东博智林机器人有限公司 地图构建方法、装置及系统
CN112183285A (zh) * 2020-09-22 2021-01-05 合肥科大智能机器人技术有限公司 一种变电站巡检机器人的3d点云地图融合方法和系统
CN112183285B (zh) * 2020-09-22 2022-07-12 合肥科大智能机器人技术有限公司 一种变电站巡检机器人的3d点云地图融合方法和系统
CN113344789A (zh) * 2021-06-29 2021-09-03 Oppo广东移动通信有限公司 图像拼接方法及装置、电子设备、计算机可读存储介质
CN115272493A (zh) * 2022-09-20 2022-11-01 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115272493B (zh) * 2022-09-20 2022-12-27 之江实验室 一种基于连续时序点云叠加的异常目标检测方法及装置

Similar Documents

Publication Publication Date Title
CN107194962B (zh) 点云与平面图像融合方法及装置
WO2018176440A1 (zh) 点云与平面图像融合方法、智能设备及非易失性计算机可读存储介质
Vasconcelos et al. A minimal solution for the extrinsic calibration of a camera and a laser-rangefinder
WO2020019962A1 (zh) 一种增强现实设备的坐标系校准方法及装置
JP2022522279A (ja) 優先点を識別して保持する点群の併合方法
US11816810B2 (en) 3-D reconstruction using augmented reality frameworks
US10276075B1 (en) Device, system and method for automatic calibration of image devices
JP2010020487A (ja) 任意視点映像生成装置及び任意視点映像生成プログラム
US10318102B2 (en) 3D model generation from 2D images
WO2020258445A1 (zh) 实时双向结构光三维成像
US20170078570A1 (en) Image processing device, image processing method, and image processing program
US11694405B2 (en) Method for displaying annotation information, electronic device and storage medium
Wilm et al. Accurate and simple calibration of DLP projector systems
JP2022548608A (ja) ３ｄモデルのテクスチャを取得するための方法および関連する装置
JP6228239B2 (ja) プリミティブの組を用いてデータをレジストレーションする方法
WO2022134328A1 (zh) 一种建筑信息模型的构建方法及装置
CN112634366B (zh) 位置信息的生成方法、相关装置及计算机程序产品
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
US9197882B2 (en) Mobile communication terminal having image conversion function and method
JP2016130693A (ja) 画像データ処理方法、画像データ処理装置および画像データ処理プログラム
CN115578515B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN112634439A (zh) 一种3d信息展示方法及装置
WO2023199583A1 (ja) ビューワ制御方法及び情報処理装置
RU2740435C2 (ru) Способ определения положения области поиска соответствий на дисторсионно-искажённых изображениях

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903617

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17903617

Country of ref document: EP

Kind code of ref document: A1