WO2019127049A1 - 一种图像匹配方法、装置及存储介质 - Google Patents

一种图像匹配方法、装置及存储介质 Download PDF

Info

Publication number
WO2019127049A1
WO2019127049A1 PCT/CN2017/118752 CN2017118752W WO2019127049A1 WO 2019127049 A1 WO2019127049 A1 WO 2019127049A1 CN 2017118752 W CN2017118752 W CN 2017118752W WO 2019127049 A1 WO2019127049 A1 WO 2019127049A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
pixels
feature information
matched
Prior art date
Application number
PCT/CN2017/118752
Other languages
English (en)
French (fr)
Inventor
阳光
Original Assignee
深圳配天智能技术研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳配天智能技术研究院有限公司 filed Critical 深圳配天智能技术研究院有限公司
Priority to CN201780035664.3A priority Critical patent/CN109313809B/zh
Priority to PCT/CN2017/118752 priority patent/WO2019127049A1/zh
Publication of WO2019127049A1 publication Critical patent/WO2019127049A1/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Definitions

  • FIG. 10 is a schematic structural diagram of an embodiment of an image matching apparatus according to the present invention.
  • FIG. 1 is a schematic flow chart of a first embodiment of an image matching method according to the present invention. As shown in FIG. 1, the image matching method of this embodiment may include the following steps:
  • FIG. 2 is a schematic flowchart of step S12 in this embodiment. As shown in FIG. 2, step S12 may include the following steps:
  • step S122 the feature information of the pixel to be matched is compared with the feature information of the pixel in the second image.
  • step S11 may further include the following steps:
  • step S123 may include the following steps:
  • step S1231 according to the comparison result, the first search is performed, and at least one pixel having the same number of special points in the second image as the pixel to be matched is obtained.
  • the first lookup is performed based on the number of edge points and/or corner points around the pixel to be matched, and the number of edge points and/or corner points around each pixel of the plurality of pixels in the second image.
  • a pixel having the same number of edge points and/or corner points as the number of edge points and/or corner points of the pixel to be matched is found from a plurality of pixels of the second image.
  • step S21 feature information of pixels in the first image and the second image is acquired.
  • step S231 determining a first sub-segment of the pixel to be matched on the polar line, and determining a second sub-segment corresponding to the first sub-segment in the second image, wherein the first sub-segment and the second sub-segment It is formed by dividing the edge line of the image containing the corner points.
  • the edge line including the corner point in the first image is L1, L2, and L3.
  • L1, L2, and L3 can divide the polar line into four sub-segments S1, S2, S3, and S4, and can determine that the pixel A is on the S3 segment between L2 and L3, so that S3 is the first sub-segment. segment. Due to the corresponding distribution of the corner points of the first image and the second image, the division of the epipolar line is consistent with the first image, and thus the second image is not additionally mapped.
  • step S24 according to the comparison result, the pixels matching the pixels to be matched on the polar line in the second image are found to complete the matching of the pixels to be matched.
  • step S26 the feature information of the pixel to be matched is compared with the feature information of the pixels in the remaining regions outside the depolarization line in the second image.
  • step S26 may include the following steps:
  • the pixels are continuously extracted in the remaining regions except the polar line in the first image, and the depolarization line is continued.
  • the feature information of the pixels in the remaining area is compared until the alignment of the feature information of all the pixels in the remaining areas except the polar line is completed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像匹配方法、装置及存储介质,该图像匹配方法包括获取第一图像和第二图像中像素的特征信息,其中,所述像素的特征信息为所述像素与其所在图像中的若干特殊点像素之间的关系特征,所述特殊点包括以下至少一种:角点和边缘点;其中,所述第一图像与所述第二图像为在不同角度对同一目标拍摄得到的图像;利用所述像素的特征信息将所述第一图像和第二图像中的像素进行匹配,以实现所述第一图像和第二图像的匹配。通过上述方法能够通过获取像素的特征点及像素与特征点之间的关系特征对像素进行匹配,而不需要获得图像的全局约束信息,即能得到较高的匹配精度,又能减少匹配所需的计算量。

Description

一种图像匹配方法、装置及存储介质
【技术领域】
本发明涉及图像处理技术领域,尤其涉及一种图像匹配方法、装置及存储介质。
【背景技术】
图像处理领域中,立体匹配算法是常用来对同一目标拍摄的两张图像进行匹配的方法,立体匹配算法包括局部算法和全局算法。其中,由于全局算法的图像匹配精度高于局部算法的图像匹配精度,全局算法成为立体匹配算法中更受到关注的立体匹配算法。
全局匹配算法是利用图像的全局约束信息进行图像匹配,对局部图像的模糊不敏感,但计算量较大。全局匹配算法包括动态规划、置信传播、模拟退火、图割法、遗传学法等。但上述的任何全局匹配算法通常是通过构建全局能量函数,然后通过优化方法最小化全局能量函数以求得致密视差图;虽然能够得到较高的图像匹配精度,但所需算法相对复杂,计算量大。
【发明内容】
本发明的目的在于提供一种图像匹配方法、装置及存储介质,能够减少图像匹配时所需的计算量。
为实现上述目的,本发明提供一种图像匹配方法,该方法包括:
获取第一图像和第二图像中像素的特征信息,其中,所述像素的特征信息为所述像素与其所在图像中的若干特殊点像素之间的关系特征,所述特殊点包括以下至少一种:角点和边缘点;其中,所述第一图像与所述第二图像为在不同角度对同一目标拍摄得到的图像;
利用所述像素的特征信息将所述第一图像和第二图像中的像素进行匹配,以实现所述第一图像和第二图像的匹配。
另一方面,本发明提出了一种图形匹配装置,该装置包括:
通过总线连接的存储器和处理器;
所述存储器用于存储所述处理器执行的操作指令、第一图像和第二图像;
所述处理器用于运行所述操作指令以实现如权利要求1-9任意一项所述的图像匹配方法。
另一方面,本发明提出了一种存储介质,该存储介质存储有程序数据,所述程序数据能够被执行以实现上述的图像匹配方法。
有益效果:区别于现有技术的情况,本发明的图像匹配方法通过在第一图像和第二图像中获取像素、以及该像素与其所在的图像中的若干特殊点像素之间的特征关系,将该特征关系作为表述该像素的特征信息;通过第一图像和第二图像中每个像素的特征信息进行比对,根据比对结果完成第一图像和第二图像中每个像素的匹配。本发明利用像素点之间的关系特征作为特征信息将全局的图像信息进行了简化,以减少图像匹配时的计算量。
【附图说明】
图1是本发明图像匹配方法第一实施例的流程示意图;
图2是图1中步骤S12的一实施方式的流程示意图;
图3是图1中步骤S11的一实施方式的流程示意图;
图4是第一图像的示意图;
图5是图1中步骤S11的另一实施方式的流程示意图;
图6是图1中步骤S14的流程示意图;
图7是本发明图像匹配方法第二实施例的流程示意图;
图8是图7中步骤S23的流程示意图;
图9是图7中步骤S26的流程示意图;
图10是本发明图像匹配装置一实施例的结构示意图;
图11是本发明图像匹配装置另一实施例的结构示意图;
图12是是本发明存储介质实施例的结构示意图。
【具体实施方式】
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明做进一步详细描述。显然,所描述的实施方式仅仅是本发明的一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,均属于本发明保护的范围。
参阅图1,图1是本发明图像匹配方法第一实施例的流程示意图。如图1所示,本实施例的图像匹配方法可包括如下步骤:
在步骤S11中,获取第一图像和第二图像中像素的特征信息。
本实施例中,第一图像和第二图像是在不同角度下对同一目标拍摄得到的图像,可以理解为双目视觉系统中分别通过左相机和右相机对目标拍摄得到的两幅图像。由此,第一图像和第二图像中的像素应当是匹相互配的,换言之,对于目标上的同一点在第一图像和第二图像中的对应的像素的特征信息应当是相对应的。因此,通过对第一图像的像素的特征信息和第二图像的像素的特征信息进行比对即可完成对第一图像和第二图像的匹配。
本实施例中的像素的特征信息为像素与其所在的图像中的若干特殊点像素之间的关系特征,该特殊点可以为角点和/或边缘点。例如,图像中的某一像素,在该像素的周边存在有特定的角点和/或边缘点,这些角点和/或边缘点与该像素之间的关系特征即为该像素的特征信息,对于某一特定像素,其特征信息应当也是一定的。
在步骤S12中,利用所述像素的特征信息将第一图像和第二图像中的像素进行匹配,以实现第一图像和第二图像的匹配。
本实施例中,利用步骤S11获得的第一图像和第二图像的像素的特征信息,对第一图像和第二图像进行匹配。
进一步,请参阅图2,图2是本实施例中步骤S12的流程示意图,如图2所示,步骤S12可包括如下步骤:
在步骤S121中,分别提取第一图像的每个像素作为待匹配像素。
本实施例中,在第一图像中分别提取每一个像素作为待匹配像素,对每个待匹配像素逐一进行匹配。
在步骤S122中,将待匹配像素的特征信息与第二图像中的像素的特征信息进行比对。
根据步骤S11和步骤S121得到的第一图像中的待匹配像素及其特征信息,则要在第二图像中找出与待匹配像素匹配的像素。此时,在第二图像中并不能确定哪个像素与待匹配像素匹配,因此,本步骤在第二像素中提取若干个像素,并获取若干个像素的特征信息,将待匹配像素的特征信息与在第二图像中提取的若干个像素的特征信息进行逐一比对,即可得待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的比对结果,并根据比对结果继续执行下一步骤。
本实施例中,待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的比对结果为待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的差异情况。
在步骤S123中,根据比对结果,查找出第二图像中与待匹配像素匹配的像素,以完成对待匹配像素的匹配。
根据上述分析可知,在步骤S121中提取的待匹配像素的特征信息的可以确定的,而在第二图像中与待匹配像素匹配的像素的特征信息应当与待匹配像素的特征信息相对应,一般来说,与待匹配像素匹配的像素的特征信息与待匹配像素的特征信息一致,但由于第一图像和第二图像拍摄目标时的角度不一致,因此,在实际情况下,第二图像与待匹配像素匹配的像素的特征信息相对于与待匹配像素的特征信息的差异应当比第二图像中其他像素的特征信息相对于与待匹配像素的特征信息的差异小。
根据步骤S122得到待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的差异情况,进一步,从若干个像素中查找出其特征信息与待匹配像素的特征信息之间的差异最小的像素,将查找出的像素作为与待匹配像素匹配的像素,由此即可完成对待匹配像素的匹配。重复上述步骤,即可完成对第一图像和第二图像的匹配。
本实施例中,图像匹配方法通过在第一图像和第二图像中获取像素以及该像素与其所在的图像中的若干特殊点像素之间的特征关系,将该特征关系作为表述该像素的特征信息;通过第一图像和第二图像中每个像素的特征信息进行比对,根据比对结果完成第一图像和第二图像中每个像素的匹配。本发明利用像素点之间的关系特征作为特征信息将全局的图像信息进行了简化,以减少图像匹配时的计算量,且不会降低图像的匹配精度。
进一步,请参阅图3,如图3所示,步骤S11可包括如下步骤:
在步骤S111中,在图像中进行边缘提取,得到边缘线。
可以理解的是,此处的图像指的是第一图像和第二图像中的每一个图像,即本步骤分别对第一图像和第二图像进行边缘提取,分别在第一图像和第二图像中得到各自的边缘线。由于第一图像和第二图像的对同一目标拍摄得到的图像,因此,在第一图像和第二图像中分别提取到的边缘线的轮廓也应当是相似的。
在步骤S112中,以图像的每个像素为中心,向若干个预设方向作虚拟射线,将虚拟射线与边缘线的交点作为边缘点,并将边缘点与像素之间的关系特征作为像素的特征信息。
可以理解的是,该步骤也是分别在第一图像和第二图像中进行的,此处的图像包括第一图像和第二图像中的每一个图像。如图4所示,以第一图像为例,在第一图像中以像素A为中心,向8个预设方向分别做虚拟射线D1、D2、D3……D8(图4中的虚线)。该8个虚拟射线在第一图像中会与像素A周边的边缘线(图4中的实线)相交,将8个虚拟射线与边缘线的交点作为边缘点(如图4中实线原点),这些边缘点与像素A之间具有相应的关系特征,则将这些边缘点与像素A之间的关系特征作为像素A的特征信息。可以理解的是,第二图像中提取边缘点的方式和在第一图像中提取边缘点的方式相同,因此不再对第二图像进行图示,参考图4所示的方式执行即可。
具体的,这些边缘点的数量是一定的,且这些边缘点中每个边缘点与像素A之间的位置关系也是一定的,即这些边缘点与像素A之间的关系特征即为像素A与在像素A周边得到的边缘点之间的位置关系以及边缘点的数量。同样,在第二图像中提取像素,采用同样的方式得到提取的像素及其周边的边缘点,得到该像素与其周边的边缘点之间是位置关系以及边缘点的数量。由此,即可得到第一图像和第二图像中像素的特征信息。
进一步,请参阅图5,如图5所示,步骤S11还可包括如下步骤:
在步骤S113中,在图像中提取角点。
此处的图像指的同样的第一图像和第二图像中的每一个图像,换言之,本步骤分别对第一图像和第二图像提取角点。由于第一图像和第二图像的对同一目标拍摄得到的图像,因此,在第一图像和第二图像中分别提取到的角点应当是相应的。
在步骤S114中,以图像的每个像素为中心,向若干个预设方向作虚拟射线,查找出每条虚拟射线的预设角度区域内的角点,并将查找出的角点与像素之间的关系特征作为像素的特征信息。
可以理解的是,该步骤也是分别在第一图像和第二图像中进行的,此处的图像包括第一图像和第二图像中的每一个图像。进一步参阅图4,仍以第一图像为例,在第一图像中以像素A为中心,向8个预设方向分别做虚拟射线D1、D2、D3……D8,每个虚拟射线对应有预设角度区域,该角度区域的角度值可以根据实际情况进行设置,可以设置为20°、30°或35°。在每个虚拟射线的预设角度区域内查找在角点(如图4中虚线原点)。这些角点与像素A之间具有相应的关系特征,则将这些角点与像素A之间的关系特征作为像素A的特征信息。可以理解的是,第二图像中提取角点的方式和在第一图像中提取角点的方式相同,因此不再对第二图像进行图示,参考图4所示的方式执行即可。
具体的,这些角点的数量是一定的,且这些角点中每个角点与像素A之间的位置关系也是一定的,即这些角点与像素A之间的关系特征即为像素A与在像素A周边得到的角点之间的位置关系以及角点的数量。同样,在第二图像中提取像素,采用同样的方式得到提取的像素及其周边的角点,得到该像素与其周边的角点之间是位置关系以及角点的数量。由此,即可得到第一图像和第二图像中像素的特征信息。
由此,本实施例中的像素的特征信息为像素与其所在图像中的若干特殊点像素之间的位置关系以及若干特殊点像素的数量。
值得注意的是,图3和图5的步骤S11的两种实施方式可以相互独立,即仅利用图3所示的实施方式提取图像中像素周边的边缘点,利用边缘点的数量和边缘点与像素之间的位置关系构成像素的特征信息;或仅利用图5所示的实施方式提取图像中像素周边的角点,利用角点的数量和角点与像素之间的位置关系构成像素的特征信息;又或同时执行图3和图5所示的实施方式,即利用利用边缘点的数量和边缘点与像素之间的位置关系,以及角点的数量和角点与像素之间的位置关系共同构成像素的特征信息。
根据上述对第一图像和第二图像的解释可知,第一图像中待匹配像素的特征信息与第二图像中与待匹配像素匹配的像素的特征信息的差异最小。换言之,第二图像中与待匹配像素匹配的像素周边的边缘点和/或角点的数量与待匹配像素周边的边缘点和/或角点的数量相同;第二图像中与待匹配像素匹配的像素与其边缘点和/或角点之间的位置关系与待匹配像素与其边缘点和/或角点之间的位置关系相对应。
由此,进一步参阅图6,如图6所示,步骤S123可包括如下步骤:
在步骤S1231中,根据比对结果,执行第一次查找,获得第二图像中特殊点的数量与待匹配像素相同的至少一个像素。
根据待匹配像素周边的边缘点和/或角点的数量,以及第二图像中多个像素的每个像素周边的边缘点和/或角点的数量,执行第一次查找。从第二图像的多个像素中找到边缘点和/或角点的数量与待匹配像素的边缘点和/或角点的数量相同的像素。
若此时查找出的像素仅有一个,则可以不需要进行执行后续步骤,直接令查找出的像素与待匹配像素匹配即可。若查找出的像素不止一个,则继续执行后续步骤,从第一次查找得到的多个像素中进一步找到与待匹配像素匹配的像素。
在步骤S1232中,执行第二次查找,从至少一个像素中获得与特殊点的位置关系与待匹配像素一致的像素,将第二次查找获得的像素作为与待匹配像素匹配的像素。
在第一次查找到的多个像素中,进一步利用多个像素与其周边的边缘点和/或角点的位置关系和待匹配像素与其周边的边缘点和/或角点的位置关系的比对结果,从多个像素中查找位置关系与待匹配像素与其周边的边缘点和/或角点的位置关系最接近的像素,令此时查找到的像素与待匹配像素匹配。
进一步,根据双目视觉系统中得到的第一图像和第二图像的特征,第一图像的极线上的像素必定在第二图像的极线上,即第一图像和第二图像的极线上的像素的对应的,因此,在对第一图像和第二图像进行匹配时,可以先匹配图像的极线上的像素。
因此,在步骤S121中提取第一图像的每个像素作为待匹配像素可以分为:先提取第一图像中的极线上的像素作为待匹配像素,且待完成对极线上的待匹配像素的匹配后,再提取第一图像中除极线外的其余区域中的像素作为待匹配像素。
进一步,请参阅图7,图7是本发明图像匹配方法第二实施例的流程示意图。如图7,本实施例的图像匹配方法可包括如下步骤:
在步骤S21中,获取第一图像和第二图像中像素的特征信息。
本实施例中的像素的特征信息为像素与其所在的图像中的若干特殊点像素之间的关系特征,该特殊点可以为角点和/或边缘点。例如,图像中的某一像素,在该像素的周边存在有特定的角点和/或边缘点,这些角点和/或边缘点与该像素之间的关系特征即为该像素的特征信息,对于某一特定像素,其特征信息应当也是一定的。
本步骤在第一图像和第二图像中分别提取像素,并得到像素的特征信息,以用于后续步骤中利用像素的特征信息对第一图像和第二图像中的像素进行匹配。
本实施例中提取像素的特征信息的实施方式可参照图3和图5所示的步骤S11的实施方式,此处不再赘述。
在步骤S22中,提取第一图像中的极线上的像素作为待匹配像素。
本实施例中先对第一图像和第二图像的极线上的像素进行匹配,因此,先提取第一图像中的极线上的像素作为待匹配像素。
在步骤S23中,将待匹配像素的特征信息与第二图像中的极线上像素的特征信息进行比对。
根据第一图像中极线上的待匹配像素及其特征信息,则要在第二图像的极线上找出与待匹配像素匹配的像素。即在第二像素的极线上提取若干个像素,并获取若干个像素的特征信息,将待匹配像素的特征信息与在第二图像的极线上提取的若干个像素的特征信息进行逐一比对,即可得待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的比对结果,并根据比对结果继续执行下一步骤。
本实施例中,待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的比对结果为待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的差异情况。
进一步,参阅图8,如图8所示,步骤S23可包括如下步骤:
在步骤S231中,确定待匹配像素在极线上中的第一子段,并确定第二图像中与第一子段对应的第二子段,其中,所第一子段和第二子段是由所在图像的包含角点的边缘线对极线划分形成的。
根据得到的角点确定在极线周边确定包含角点的边缘线,这些边缘线会将极线分割为若干段,由此在对第一图像和第二图像的极线上的点进行比对时,可以分别极线上的若干段分别进行比对,如此可以令每次比对时的数据量相对较少。
进一步参阅图4,假设第一图像中极线与D1-D5这条虚拟射线重叠,提取的极线上的像素A,此时,第一图像中包含角点的边缘线为L1、L2和L3,此时L1、L2和L3可将极线划分为S1、S2、S3和S4这四个子段,且可以确定像素A在L2和L3之间的S3这一段上,则令S3为第一子段。由于第一图像和第二图像的角点分布的对应的,因此其在对极线的划分情况与第一图像一致,因此对第二图像不再另外作图。可以理解的是,在第二图像中同样能够得到与S1、S2、S3和S4分别对应的四个子段。此时,既可以在第二图像中找到与像素A所在的S3对应的子段,令第二图像中与S3对应的子段为与第一子段对应的第二子段。
在步骤S232中,将待匹配像素的特征信息与第二图像中的极线上的第二子段中的像素的特征信息进行比对。
本步骤仅需在第二图像中的第二子段内提取像素,及像素的特征信息。将待匹配像素的特征信息与第二图像中的极线上的第二子段内的像素的特征信息进行比对,得到比对结果。
需要说明的是,当完成当前的第一子段和第二子段的像素的特征信息的比对之后,在第一图像中的极线上的其他段内继续提取像素,重新确定第一子段和第二子段,进而对重新确定的第一子段和第二子段内的像素的特征信息进行比对,直至完成极线上所有像素的特征信息的比对。
本实施例通过将极线划分为若干段的方式,缩小每次匹配时在第二图像中需要获取的像素及像素的特征信息,即相当于缩小了匹配范围,即可提高匹配精度,又提高匹配速度。
在步骤S24中,根据比对结果,查找出第二图像中的极线上与待匹配像素匹配的像素,以完成对待匹配像素的匹配。
根据步骤S23得到像素的特征信息的比对结果,即可得知第二图像中极线上的像素的特征信息与待匹配像素的特征信息之间的差异,进一步,极线上的像素的特征信息与待匹配像素的特征信息之间的差异最小的一像素即为与待匹配像素匹配的像素,由此即可完成对当前的待匹配像素的匹配。重复步骤S23和步骤S24完成极线上的所有像素的匹配。进一步,步骤S24可以采用如图6中步骤S123的实施方式相同,此处不再赘述。
在步骤S25中,提取第一图像中除极线外的其余区域中的像素作为待匹配像素。
待第一图像和第二图像中极线上的像素匹配完成后,则开始对第一图像中除极线外的其余区域中的像素进行匹配,此时,提起第一图像中除极线外的其余区域中的像素作为当前的待匹配像素。
在步骤S26中,将待匹配像素的特征信息与第二图像中除极线外的其余区域中像素的特征信息进行比对。
根据第一图像除极线外的其余区域中的待匹配像素及其特征信息,则要在第二图像除极线外的其余区域中找出与待匹配像素匹配的像素。即在第二像素除极线外的其余区域中提取若干个像素,并获取若干个像素的特征信息,将待匹配像素的特征信息与在第二图像除极线外的其余区域中提取的若干个像素的特征信息进行逐一比对,即可得待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的比对结果,并根据比对结果继续执行下一步骤。
本实施例中,待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的比对结果为待匹配像素的特征信息与若干个像素中每个像素的特征信息之间的差异情况。
进一步,参阅图9,如图9所示,步骤S26可包括如下步骤:
在步骤S261中,确定待匹配像素在其余区域中的第一子区域,并确定第二图像中与第一子区域对应的第二子区域,其中,所第一子区域和第二子区域是根据所在图像的极线的第一子段、第二子段和包含角点的边缘线对其余区域划分形成的。
在步骤S23中利用包含角点的边缘线将极线划分为了若干段,而每个子段两侧的边缘线则是确定的,因此,可以根据步骤S23中对极线划分的若干段和包含角点的边缘线将图像中除极线外的其余区域划分为若干子区域,并令步骤S25中在第一图像上提取的除极线外的其余区域的像素所在的子区域为第一子区域。由于第二图像的子区域的划分与第一图像的子区域的划分相同,因此,可以在第二图像中找到与第一子区域对应的第二子区域。
例如,进一步参阅图4,根据边缘线L1、L2和L3,以及极线上的S1、S2、S3和S4这四个子段,可以将第一图形中在边缘线L1左侧的区域为一子区域,边缘线L1和边缘线L2之间的区域为一子区域,边缘线L2和边缘线L3之间的区域为一子区域,边缘线L3右侧的区域为一子区域,即,通过边缘线将第一图像划分成了多个子区域,进而可以确定步骤S25中提取的像素B在边缘线L2和边缘线L3之间的子区域内,即令边缘线L2和边缘线L3之间的子区域为第一子区域。由于第一图像和第二图像的角点和边缘线分布的对应的,因此在对第二图像进行子区域划分时也是与第一图像一致的,因此对第二图像不再另外作图。可以理解的是,在第二图像中同样可以得到与第一图像中的各个子区域对应的子区域,进而在第二图像中确定与像素B所在的第一子区域对应的第二子区域。
在步骤S262中,将待匹配像素的特征信息与第二图像中的第二子区域中的像素的特征信息进行比对。
本步骤仅需在第二图像中的第二子区域内提取像素,及像素的特征信息。将待匹配像素的特征信息与第二图像中除极线外的第二子区域内的像素的特征信息进行比对,得到比对结果。
需要说明的是,当完成当前的第一子区域和第二子区域的像素的特征信息的比对之后,在第一图像中除极线外的其余区域内继续提取像素,继续对除极线外的其余区域内的像素的特征信息进行比对,直至完成除极线外的其余区域内所有像素的特征信息的比对。
在步骤S27中,根据比对结果,查找出第二图像中除极线外的其余区域中与待匹配像素匹配的像素,以完成对待匹配像素的匹配。
根据步骤S26得到像素的特征信息的比对结果,即可得知第二图像中除极线外的其余区域中的像素的特征信息与待匹配像素的特征信息之间的差异,进一步,第二图像的除极线外的其余区域中像素的特征信息与待匹配像素的特征信息之间的差异最小的一像素即为与待匹配像素匹配的像素,由此即可完成对当前的待匹配像素的匹配。重复步骤S23和步骤S24完成第一图像和第二图像中除极线外的其余区域中的像素的匹配。
进一步,步骤S27可以采用如图6中步骤S123的实施方式相同,此处不再赘述。
本实施例通过在进行第一图像和第二图像中的像素的匹配时,将图像划分为若干区域,分别对每个区域的像素进行匹配,相当于缩小了每次匹配时在第二图像中需要获取的像素及像素的特征信息,即缩小了匹配范围,能够提高匹配速度。
请参阅图10,图10是本发明图像匹配装置一实施例的结构示意图。如图10所示,本实施例的图像匹配装置100可包括存储器12和处理器11,其中,存储器12和处理器11通过总线连接。存储器12用于保存处理器11执行的操作指令,以及需要匹配的第一图像和第二图像。处理器11用于运行存储器12中存储的操作指令,以实现如图1至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例的各个步骤,完成第一图像和第二图像的匹配。详细的步骤说明请参见图1至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例的说明,此处不再赘述。
进一步,请参阅图11,图11是本发明图像匹配装置另一实施例的结构示意图,本实施例的图像匹配装置为双目视觉系统200。如图11所示,本实施例的双目视觉系统200包括通过总线连接的21处理器和存储器22,此外,处理器21分别与第一相机23、第二相机24和结构光源25连接。
存储器22用于保存处理器21执行的操作指令。处理器21用于运行存储器22中存储的操作指令,以控制结构光源25出射结构光在目标物体26上,并控制第一相机23和第二相机24分别对该目标物体26拍摄获得第一图像和第二图像,并将获得的第一图像和第二图像保存至存储器22中。此外,处理器21还用于运行存储器22中存储的操作指令,以实现如图1至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例,进而对第一图像和第二图像进行匹配。
请参阅图12,图12是本发明存储介质实施例的结构示意图。如图12所示,本实施例中的存储介质300中存储有能够被执行的程序数据31,该程序数据31被执行能够实现图1至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例。本实施例中,该存储介质可以是智能终端的存储模块、移动存储装置(如移动硬盘、U盘等)、网络云盘或应用存储平台等具备存储功能的介质。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围。

Claims (12)

  1. 一种图像匹配方法,其中,包括:
    获取第一图像和第二图像中像素的特征信息,其中,所述像素的特征信息为所述像素与其所在图像中的若干特殊点像素之间的关系特征,所述特殊点包括以下至少一种:角点和边缘点;其中,所述第一图像与所述第二图像为在不同角度对同一目标拍摄得到的图像;
    利用所述像素的特征信息将所述第一图像和第二图像中的像素进行匹配,以实现所述第一图像和第二图像的匹配。
  2. 根据权利要求1所述的方法,其中,
    所述利用所述像素的特征信息将所述第一图像和第二图像中的像素进行匹配,以实现所述第一图像和第二图像的匹配,包括:
    分别提取所述第一图像的每个像素作为待匹配像素;
    将所述待匹配像素的特征信息与所述第二图像中的像素的特征信息进行比对;
    根据比对结果,查找出所述第二图像中与所述待匹配像素匹配的像素,以实现对所述待匹配像素的匹配。
  3. 根据权利要求1所述的方法,其中,
    所述获取第一图像和第二图像中像素的特征信息,包括:
    对第一图像和第二图像中的每个图像进行如下处理:
    在所述图像中进行边缘提取,得到边缘线;
    以所述图像的每个像素为中心,向若干个预设方向作虚拟射线,将所述虚拟射线与所述边缘线的交点作为边缘点,并将所述边缘点与所述像素之间的关系特征作为所述像素的特征信息。
  4. 根据权利要求1所述的方法,其中,
    所述获取第一图像和第二图像中像素的特征信息,包括:
    对第一图像和第二图像中的每个图像进行如下处理:
    在所述图像中提取角点;
    以所述图像的每个像素为中心,向若干个预设方向作虚拟射线,查找出每条所述虚拟射线的预设角度区域内的角点,并将所述查找出的角点与所述像素之间的关系特征作为所述像素的特征信息。
  5. 根据权利要求2所述的方法,其中,
    在所述分别提取所述第一图像的每个像素作为所述待匹配像素的步骤中,先提取所述第一图像中的极线上的像素作为待匹配像素,且待完成对所述极线上的待匹配像素的匹配后,再提取所述第一图像中除所述极线外的其余区域中的像素作为待匹配像素。
  6. 根据权利要求5所述的方法,其中,当所述待匹配像素为极线上的像素时;
    所述将所述待匹配像素的特征信息与所述第二图像中的像素的特征信息进行比对,包括:
    确定所述待匹配像素在所述极线上中的第一子段,并确定所述第二图像中与所述第一子段对应的第二子段,其中,所第一子段和第二子段是由所在图像的包含角点的边缘线对所述极线划分形成的;
    将所述待匹配像素的特征信息与所述第二图像中的极线上的第二子段中的像素的特征信息进行比对。
  7. 根据权利要求5所述的方法,其中,当所述待匹配像素为所述极线外的其余区域中的像素时;
    所述将所述待匹配像素的特征信息与所述第二图像中的像素的特征信息进行比对,包括:
    确定所述待匹配像素在所述其余区域中的第一子区域,并确定所述第二图像中与所述第一子区域对应的第二子区域,其中,所第一子区域和第二子区域是根据所在图像的极线的第一子段、第二子段和包含角点的边缘线对所述其余区域划分形成的;
    将所述待匹配像素的特征信息与所述第二图像中的第二子区域中的像素的特征信息进行比对。
  8. 根据权利要求1所述的方法,其中,
    所述像素的特征信息为所述像素与其所在图像中的若干特殊点像素之间的位置关系以及所述若干特殊点像素的数量。
  9. 根据权利要求8所述的方法,其中,
    所述根据比对结果,查找出所述第二图像中与所述待匹配像素匹配的像素,包括:
    根据比对结果,查找出所述第二图像中特征信息与所述待匹配像素的特征信息差异最小的像素,并将所述查找出的像素作为与所述待匹配像素匹配的像素。
  10. 根据权利要求9所述的方法,其中,
    所述根据比对结果,查找出所述第二图像中特征信息与所述待匹配像素的特征信息差异最小的像素,将所述查找出的像素作为与所述待匹配像素匹配的像素,包括:
    根据比对结果,执行第一次查找,获得所述第二图像中特殊点的数量与所述待匹配像素相同的至少一个像素;
    执行第二次查找,从所述至少一个像素中获得与所述特殊点的位置关系与所述待匹配像素一致的像素,将所述第二次查找获得的像素作为与所述待匹配像素匹配的像素。
  11. 一种图像匹配装置,其中,包括相互连接的处理器和存储器;
    所述存储器用于存储所述处理器执行的操作指令、第一图像和第二图像;
    所述处理器用于运行所述操作指令以实现如权利要求1-10任意一项所述的图像匹配方法。
  12. 一种存储介质,其中,保存有程序数据,所述程序数据被执行以实现权利要求1-10任意一项所述的图像匹配方法。
PCT/CN2017/118752 2017-12-26 2017-12-26 一种图像匹配方法、装置及存储介质 WO2019127049A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780035664.3A CN109313809B (zh) 2017-12-26 2017-12-26 一种图像匹配方法、装置及存储介质
PCT/CN2017/118752 WO2019127049A1 (zh) 2017-12-26 2017-12-26 一种图像匹配方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/118752 WO2019127049A1 (zh) 2017-12-26 2017-12-26 一种图像匹配方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2019127049A1 true WO2019127049A1 (zh) 2019-07-04

Family

ID=65225735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/118752 WO2019127049A1 (zh) 2017-12-26 2017-12-26 一种图像匹配方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN109313809B (zh)
WO (1) WO2019127049A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332349A (zh) * 2021-11-17 2022-04-12 浙江智慧视频安防创新中心有限公司 一种双目结构光边缘重建方法、系统及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754572B (zh) * 2019-03-29 2024-04-05 浙江宇视科技有限公司 图像处理方法及装置
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质
CN110717935B (zh) * 2019-08-26 2022-05-17 北京中科慧眼科技有限公司 一种基于图像特征信息的图像匹配方法,装置与系统
CN114155304A (zh) * 2020-09-04 2022-03-08 株式会社理光 空间平面图像比较方法、装置和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750537A (zh) * 2012-05-08 2012-10-24 中国矿业大学 一种高精度图像自动配准方法
CN103679720A (zh) * 2013-12-09 2014-03-26 北京理工大学 一种基于小波分解与Harris角点检测的快速图像配准方法
JP2015087941A (ja) * 2013-10-30 2015-05-07 オリンパス株式会社 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム
CN104966281A (zh) * 2015-04-14 2015-10-07 中测新图(北京)遥感技术有限责任公司 多视影像的imu/gnss引导匹配方法
CN105701766A (zh) * 2016-02-24 2016-06-22 网易(杭州)网络有限公司 图形匹配方法和装置
CN106127755A (zh) * 2016-06-21 2016-11-16 奇瑞汽车股份有限公司 基于特征的图像匹配方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702056B (zh) * 2009-11-25 2011-07-20 中航华东光电有限公司 基于立体图像对的立体图像显示方法
CN104123715B (zh) * 2013-04-27 2017-12-05 株式会社理光 配置视差值的方法和系统
KR102350232B1 (ko) * 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
CN104679831B (zh) * 2015-02-04 2020-07-07 腾讯科技(深圳)有限公司 一种匹配人体模型的方法及装置
CN106887021B (zh) * 2015-12-15 2020-11-24 株式会社理光 立体视频的立体匹配方法、控制器和系统
CN106067172B (zh) * 2016-05-27 2018-10-26 哈尔滨工程大学 一种基于适配性分析的水下地形图像粗匹配与精匹配结合的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750537A (zh) * 2012-05-08 2012-10-24 中国矿业大学 一种高精度图像自动配准方法
JP2015087941A (ja) * 2013-10-30 2015-05-07 オリンパス株式会社 特徴点マッチング処理装置、特徴点マッチング処理方法、およびプログラム
CN103679720A (zh) * 2013-12-09 2014-03-26 北京理工大学 一种基于小波分解与Harris角点检测的快速图像配准方法
CN104966281A (zh) * 2015-04-14 2015-10-07 中测新图(北京)遥感技术有限责任公司 多视影像的imu/gnss引导匹配方法
CN105701766A (zh) * 2016-02-24 2016-06-22 网易(杭州)网络有限公司 图形匹配方法和装置
CN106127755A (zh) * 2016-06-21 2016-11-16 奇瑞汽车股份有限公司 基于特征的图像匹配方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332349A (zh) * 2021-11-17 2022-04-12 浙江智慧视频安防创新中心有限公司 一种双目结构光边缘重建方法、系统及存储介质
CN114332349B (zh) * 2021-11-17 2023-11-03 浙江视觉智能创新中心有限公司 一种双目结构光边缘重建方法、系统及存储介质

Also Published As

Publication number Publication date
CN109313809B (zh) 2022-05-31
CN109313809A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
WO2019127049A1 (zh) 一种图像匹配方法、装置及存储介质
CN111754579B (zh) 多目相机外参确定方法及装置
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2019054593A1 (ko) 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치
WO2017222301A1 (ko) 부호화 장치 및 방법, 복호화 장치 및 방법
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
EP3818689A1 (en) Method and electronic device for switching between first lens and second lens
EP3877942A1 (en) Electronic device and method for processing image
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2020071573A1 (ko) 딥러닝을 이용한 위치정보 시스템 및 그 제공방법
WO2021158057A1 (en) Electronic device and method for displaying image at the electronic device
WO2014051309A1 (en) Stereo matching apparatus using image property
WO2019194544A1 (en) Method and system for handling 360 degree image content
WO2019160262A1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
WO2023136414A1 (ko) 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
WO2019151808A1 (ko) 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
WO2022030943A1 (ko) 딥러닝에 기반한 이미지 분할 장치 및 방법
WO2023128112A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2022014831A1 (ko) 오브젝트 검출 방법 및 장치
WO2019127287A1 (zh) 第一智能设备及其连接方法以及具有存储功能的装置
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2021235884A1 (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
WO2023008671A1 (ko) 특징점에 대한 기술자를 생성하기 위한 전자 장치 및 그 동작 방법
WO2019061128A1 (zh) 图像处理方法及其相关设备、存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936781

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17936781

Country of ref document: EP

Kind code of ref document: A1