WO2021169334A1 - 一种高分辨率图像的宽视角快速拼接方法 - Google Patents

一种高分辨率图像的宽视角快速拼接方法 Download PDF

Info

Publication number
WO2021169334A1
WO2021169334A1 PCT/CN2020/122297 CN2020122297W WO2021169334A1 WO 2021169334 A1 WO2021169334 A1 WO 2021169334A1 CN 2020122297 W CN2020122297 W CN 2020122297W WO 2021169334 A1 WO2021169334 A1 WO 2021169334A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
spliced
overlap
sampled
Prior art date
Application number
PCT/CN2020/122297
Other languages
English (en)
French (fr)
Inventor
李向春
张�浩
贾欣鑫
王雷
王起维
程岩
王鑫
段利亚
蔡玉龙
李恒
Original Assignee
山东省科学院海洋仪器仪表研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 山东省科学院海洋仪器仪表研究所 filed Critical 山东省科学院海洋仪器仪表研究所
Publication of WO2021169334A1 publication Critical patent/WO2021169334A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Definitions

  • the present invention belongs to the technical field of image processing, and specifically, relates to a method for stitching multiple pictures of the same scene with overlapping parts into a wide viewing angle image.
  • Image stitching technology is a technology that stitches several overlapping images (which may be images obtained at different times, different viewing angles, or different sensors) into a seamless wide-view panoramic image.
  • Image splicing technology has become an important research topic in computer graphics and computer vision, and has a wide range of applications in military and civilian applications. According to different applications, image stitching technology can be divided into real-time video image stitching technology and static image stitching technology. The demand for wide-field video and panoramic images is reflected in the daily surveillance video, which can greatly improve people's dynamic perception and monitoring capabilities of things and scenes.
  • image registration is the key technology of image stitching.
  • the main technical problems in image registration are the speed and accuracy of image matching.
  • Matching time, matching accuracy, and robustness of matching algorithms are the main indicators to measure the pros and cons of an image matching algorithm.
  • the purpose of the present invention is to provide a wide viewing angle fast splicing method of high-resolution images to improve the speed and accuracy of image matching.
  • the present invention adopts the following technical solutions to achieve:
  • a fast splicing method for high-resolution images with a wide viewing angle including: down-sampling the multiple original images to be spliced; determining the overlap area between the down-sampling images; using the SURF algorithm to detect the overlap area Feature points; for the detected feature points, the BRIEF algorithm is used to generate feature point descriptors; for feature point descriptors, the Brute-Froce Matcher algorithm is used for feature point pair rough matching; the Hamming between two feature point descriptors is calculated Distance, eliminate false matching; use RANSAC algorithm for fine matching, solve the homography matrix, and get the relative position relationship between each image; perform image fusion processing on the overlapping area of each original image based on the weighted average algorithm of gradual in and out , To merge and splice into a wide viewing angle image.
  • the multiple original images are three spatially continuous images of the same scene with overlapping parts
  • the intermediate image is defined as the reference image
  • the other two images are the left image to be spliced and the right image to be spliced.
  • the reference image and the left image to be spliced and the right image to be spliced are respectively subjected to the wide viewing angle quick splicing method to merge and splice the three original images into a wide viewing angle image.
  • the downsampling processing is preferably to reduce the resolution of the multiple images to be stitched to 10% of the original image.
  • the process of determining the overlap area between the down-sampled images it preferably includes: calculating the down-sampled reference image and the down-sampled left image to be stitched and the down-sampled left image by using the following formula The degree of overlap between the right images to be spliced:
  • Overlap 1 is the degree of overlap between the down-sampled left image to be spliced and the down-sampled reference image
  • Overlap 2 is the degree of overlap between the down-sampled right image to be spliced and the down-sampled reference image
  • l LM is the width of the overlapping area between the down-sampled left image to be stitched and the down-sampled reference image
  • l MR is the width of the overlapping area between the down-sampled right image to be stitched and the down-sampled reference image
  • W reducing the original image width sampled
  • the parameter l LM, l MR an empirical value
  • overlapping area a L is determined to be spliced the down-sampled left image is: a width from W * (1-overlap 1) to W Determine the overlap area of the reference image after downsampling as: the area A LM with a width from 0 to W*Overlap 1 , and the area A MR with a width
  • the process of calculating the Hamming distance between two feature point descriptors and eliminating mismatches it preferably includes: calculating the Hamming distance between any two feature point descriptors; From the Hamming distance, the minimum value of the Hamming distance is selected as the best matching value, and the maximum value of the Hamming distance is selected as the worst matching value; the rough matching feature point pair with the Hamming distance greater than the threshold T is selected as the wrong matching pair and eliminated.
  • the threshold T is preferably set to 2.5 times the best matching value.
  • the present invention performs down-sampling processing on the original image to be spliced, which can solve the calculation caused by a large number of redundant feature points in the high-resolution image during the image splicing process.
  • the problem of large amount of data by using the overlapping area of two images as the detection area for feature point detection, the matching time can be shortened and the matching speed can be improved; the SURF algorithm is used to detect the feature points in the overlapping area of the image, and the BRIEF algorithm is used to describe the feature points.
  • FIG. 1 is an overall flowchart of an embodiment of a method for fast stitching of high-resolution images with a wide viewing angle proposed by the present invention
  • Figure 2 shows three images to be spliced after downsampling
  • FIG. 3 is a diagram of the result of brute force matching on the overlapping area of the left image and the middle image in FIG. 2;
  • FIG. 4 is a diagram of the matching result after optimizing the Hamming distance on the overlapping area of the left image and the middle image in FIG. 2;
  • Figure 5 is a wide viewing angle image formed after fusion and splicing of three original images
  • FIG. 6 is a diagram showing the result of feature point matching when the entire image of the left image and the middle image is used as the detection area;
  • FIG. 7 is a diagram showing the result of feature point matching when the overlapping area of the left image and the middle image is used as the detection area.
  • the wide viewing angle rapid splicing method of high-resolution images of this embodiment completes the seamless splicing of multiple images by converting the images to be spliced to the same coordinate system of the same reference image, which is particularly suitable for three or more images.
  • the stitching process of more than three high-resolution images can speed up the stitching and improve the stitching accuracy.
  • FIG. 1 three high-resolution original images are taken as an example to specifically describe the fast stitching method of wide-view images, as shown in FIG. 1, which specifically includes the following processes:
  • the resolution of the reference image M and the two images L and R to be stitched is preferably reduced to about 10% of the original image, for example, the original image with a resolution of 4912 ⁇ 3264 is down-sampled to a resolution of 480 ⁇ 318 down-sampled image.
  • the reference image M J and the images to be spliced L J and R J formed after down-sampling processing of three high-resolution original images are shown in FIG. 2.
  • the following formula can be used to calculate the degree of overlap between the reference image M J and the images to be spliced L J , R J:
  • Overlap 1 is the degree of overlap between the left image L J to be spliced and the reference image M J ;
  • Overlap 2 is the degree of overlap between the right image R J to be spliced and the reference image M J ;
  • l LM is the left image L J to be spliced
  • l MR is the width of the overlap area between the right image R J to be spliced and the reference image M J ;
  • W is the width of the down-sampled image M J /L J /R J.
  • the parameters l LM and l MR can be determined artificially based on experience.
  • the overlapping area A L is determined to be spliced to the left image L J: width from W * (1-Overlap 1) to the region W;
  • the area A MR with a width from W*(1-Overlap 2 ) to W;
  • the overlap area AR of the right image R J to be spliced is: an area with a width from 0 to W*Overlap 2 .
  • the specific process includes:
  • the Hamming distance between any two feature point descriptors is calculated. Filter out the best matching value (minimum Hamming distance) and worst matching value (maximum Hamming distance) from all the calculated Hamming distances, and preferably the Hamming distance greater than 2.5 times the best matching value.
  • the rough matching feature point pair is regarded as the wrong matching pair and is eliminated.
  • the current Hamming distance is set as the best matching value; if the Hamming distance between the two feature point descriptors is greater than the worst matching value , Let the current Hamming distance be the worst matching value;
  • the optimal homography transformation matrix H (3 rows ⁇ 3 columns) of the perspective transformation can be solved.
  • An adjustment matrix adjustMat is used to adjust the homography matrix H.
  • the optimal matching pair after optimization is 57 pairs, which takes 151.5ms; when the overlap area is used as the detection area, the optimal matching pair is the best match after optimization.
  • the optimal matching pair is 40 pairs, which takes 117.843ms and the matching speed is increased by 70%.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

一种高分辨率图像的宽视角快速拼接方法，旨在提高图像匹配的速度和精度，包括：对待拼接的多幅原始图像进行降采样处理；确定降采样后的各图像之间的重叠区域；采用SURF算法检测出重叠区域内的特征点；针对检测出的特征点，采用BRIEF算法生成特征点描述子；针对特征点描述子，采用Brute-Froce Matcher算法进行特征点对粗匹配；计算两个特征点描述子之间的汉明距离，剔除错误匹配；使用RANSAC算法进行精细匹配，求解出单应性矩阵，得到各图像之间的相对位置关系；基于渐入渐出的加权平均算法对各原始图像的重叠区域进行图像融合处理，以融合拼接成一幅宽视角图像。

Description

一种高分辨率图像的宽视角快速拼接方法 技术领域
本发明属于图像处理技术领域，具体地说，是涉及一种用于将多幅相互有重叠部分的同一场景图片拼接成一幅宽视角图像的方法。
背景技术
图像拼接技术是一种将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的图像)拼成一幅无缝的宽视角全景图像的技术。
图像拼接技术已经成为计算机图形学、计算机视觉中的一个重要研究课题，在军事和民用方面都有广泛的应用。根据应用场合的不同，图像拼接技术又可分为实时视频图像拼接技术和静态图像拼接技术。对宽视场视频和全景图像的需求体现在日常所用到的监控视频中，能大大提高人们对事物和场景的动态感知与监控能力。
图像拼接过程中技术要点涉及数据采集、图像配准、图像重投影、图像融合等方面，其中，图像配准是图像拼接的关键技术。目前，图像配准存在的主要技术难题在于图像匹配的速度和精度，匹配时间、匹配精度、匹配算法的鲁棒性是衡量一个图像匹配算法优劣的主要指标。
发明内容
本发明的目的在于提供一种高分辨率图像的宽视角快速拼接方法，以提高图像匹配的速度和精度。
为解决上述技术问题，本发明采用以下技术方案予以实现：
一种高分辨率图像的宽视角快速拼接方法，包括：对待拼接的多幅原始图像进行降采样处理；确定降采样后的各幅图像之间的重叠区域；采用SURF算法检测出重叠区域内的特征点；针对检测出的特征点，采用BRIEF算法生成特征点描述子；针对特征点描述子，采用Brute-Froce Matcher算法进行特征点对粗匹配；计算两个特征点描述子之间的汉明距离，剔除错误匹配；使用RANSAC 算法进行精细匹配，求解出单应性矩阵，得到各图像之间的相对位置关系；基于渐入渐出的加权平均算法对各原始图像的重叠区域进行图像融合处理，以融合拼接成一幅宽视角图像。
优选的，所述多幅原始图像为三幅空间上连续且相互有重叠部分的同一场景图像，定义中间图像为参考图像，另外两幅图像为待拼接的左图像和待拼接的右图像，将参考图像分别与待拼接的左图像和待拼接的右图像分别进行所述的宽视角快速拼接方法，以将三幅原始图像融合拼接成一幅宽视角图像。
优选的，所述降采样处理优选为将待拼接的多幅图像的分辨率缩小至原图像的10％。
优选的，在所述确定降采样后的各幅图像之间的重叠区域的过程中，优选包括：采用以下公式计算降采样后的参考图像与降采样后的待拼接的左图像以及降采样后的待拼接的右图像之间的重叠度：
Figure PCTCN2020122297-appb-000001
Figure PCTCN2020122297-appb-000002
公式中，Overlap 1为降采样后的待拼接的左图像与降采样后的参考图像的重叠度；Overlap 2为降采样后的待拼接的右图像与降采样后的参考图像的重叠度；l LM为降采样后的待拼接的左图像与降采样后的参考图像的重叠区域的宽度；l MR为降采样后的待拼接的右图像与降采样后的参考图像的重叠区域的宽度；W为原始图像降采样后的宽度；其中，参数l LM、l MR为经验值；确定降采样后的待拼接的左图像的重叠区域A L为：宽度从W*(1-Overlap 1)到W的区域；确定降采样后的参考图像的重叠区域为：宽度从0到W*Overlap 1的区域A LM，以及，宽度从W*(1-Overlap 2)到W的区域A MR；确定降采样后的待拼接的右图像的重叠区域A R为：宽度从0到W*Overlap 2的区域。
优选的，在所述计算两个特征点描述子之间的汉明距离，剔除错误匹配的过程中，优选包括：计算任意两个特征点描述子之间的汉明距离；从计算出的 所有汉明距离中筛选出汉明距离最小值作为最佳匹配值、汉明距离最大值作为最差匹配值；将汉明距离大于阈值T的粗匹配特征点对作为错误匹配对，予以剔除。
优选的，所述阈值T优选设定为所述最佳匹配值的2.5倍。
与现有技术相比，本发明的优点和积极效果是：本发明通过对待拼接的原始图像进行降采样处理，可以解决图像拼接过程中由于高分辨率图像产生大量冗余特征点而导致的计算数据量大的问题；通过将两幅图像的重叠区域作为检测区域进行特征点检测，可以缩短匹配时间，提高匹配速度；在图像的重叠区域使用SURF算法检测特征点，采用BRIEF算法描述特征子，可以减少内存的空间占用，提高特征点的生成速率；使用Brute-Force Matcher算法、汉明距离、RANSC算法进行三级特征点对匹配，可以求解出较为精确的单应性矩阵，从而得到图像的相对位置关系。最后，使用渐入渐出的加权平均算法对待拼接的各幅图像的重叠区域进行融合处理，可以拼接成一幅宽视角图像，实现快速、精确、无缝拼接。
结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1为本发明所提出的高分辨率图像的宽视角快速拼接方法的一种实施例的整体流程图；
图2为三幅降采样后的待拼接图像；
图3为对图2中的左图像和中间图像的重叠区域进行暴力匹配的结果图；
图4为对图2中的左图像和中间图像的重叠区域进行汉明距离优化后的匹配结果图；
图5为将三幅原始图像融合拼接后形成的宽视角图像；
图6为将左图像和中间图像的整幅图像作为检测区域时，特征点匹配结果图；
图7为将左图像和中间图像的重叠区域作为检测区域时，特征点匹配结果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细地描述。
本实施例的高分辨率图像的宽视角快速拼接方法，通过将待拼接的图像转换到同一幅参考图像的相同坐标系下，来完成多幅图像的无缝拼接，尤其适合应用在三幅或者三幅以上的高分辨率图像的拼接过程，以加快拼接速度，提高拼接精度。
本实施例以三幅高分辨率的原始图像为例，具体阐述宽视角图像的快速拼接方法，结合图1所示，具体包括以下过程：
S101、提取三幅空间上连续且相互有重叠部分的同一场景图像作为待拼接的原始图像，并将位于中间的原始图像作为参考图像M，另外两幅原始图像作为待拼接图像，例如将左图像L和右图像R分别作为待拼接图像，执行后续的拼接过程。
S102、分别对参考图像M和两幅待拼接图像L、R进行降采样处理；
在本实施例中，优选将参考图像M和两幅待拼接图像L、R的分辨率缩小至原图像的10％左右，例如将分辨率为4912×3264的原始图像降采样成分辨率为480×318的降采样图像。
三幅高分辨率的原始图像经降采样处理后形成的参考图像M J和待拼接图像L J、R J，如图2所示。
S103、针对降采样后的参考图像M J和待拼接图像L J、R J，确定出各图像之间的重叠区域；
在本实施例中，优选采用人为预判重叠度的方式，分别确定出参考图像M J与待拼接的左图像L J之间的重叠区域以及参考图像M J与待拼接的右图像R J之间的重叠区域。
作为本实施例的一种优选设计方案，可以采用如下公式计算参考图像M J与 待拼接图像L J、R J的重叠度：
Figure PCTCN2020122297-appb-000003
Figure PCTCN2020122297-appb-000004
其中，Overlap 1为待拼接的左图像L J与参考图像M J的重叠度；Overlap 2为待拼接的右图像R J与参考图像M J的重叠度；l LM为待拼接的左图像L J与参考图像M J的重叠区域的宽度；l MR为待拼接的右图像R J与参考图像M J的重叠区域的宽度；W为降采样后的图像M J/L J/R J的宽度。其中，参数l LM、l MR可以凭经验人为确定。
确定出待拼接的左图像L J的重叠区域A L为：宽度从W*(1-Overlap 1)到W的区域；
确定出位于中间的参考图像M J的重叠区域，包括两个，分别为：
宽度从0到W*Overlap 1的区域A LM，
宽度从W*(1-Overlap 2)到W的区域A MR；
确定出待拼接的右图像R J的重叠区域A R为：宽度从0到W*Overlap 2的区域。
S104、采用SURF算法检测出重叠区域内的特征点；
在本实施例中，优选采用目前图像拼接技术中普遍采用的SURF(Speeded Up Robust Features)算法检测出各重叠区域A L、A LM、A MR、A R内的特征点。由于采用SURF算法计算图像中的特征点是已成熟的现有技术，因此，本实施例在此不做详细说明。
S105、针对检测出的特征点，采用BRIEF算法进行特征描述，生成特征点描述子；
具体过程包括：
(1)使用高斯滤波(方差为2，滤波窗口大小为9×9)对各重叠区域A L、A LM、A MR、A R进行平滑处理，以降低对噪声的敏感度；
(2)假设p为重叠区域A L、A LM、A MR、A R中的一个特征点，以p为中心，取S×S的邻域窗口。在窗口内定义一个τ测试，随机选取两个点x和y，比较二者 像素的大小，进行如下二进制赋值：
Figure PCTCN2020122297-appb-000005
其中，p(x)，p(y)分别是随机点x＝(u 1,v 1)，y＝(u 2,v 2)在图像经过平滑后的灰度值。
(3)在窗口中随机选取N对随机点，重复步骤(2)的二进制赋值，形成一个N维的二进制编码，这个编码就是对特征点的描述，即，特征描述子。在本实施例中，优选配置N＝128。
利用BRIEF算法生成特征点描述子的具体方法可以参考文献Calonder M,Lepetit V,Strecha C,et al.BRIEF:Binary Robust Independent Elementary Features[M]Computer Vision–ECCV 2010.Springer Berlin Heidelberg,2010:778-792.中的相关描述，本实施例在此不做详细说明。
S106、针对特征点描述子，采用Brute-Froce Matcher算法进行特征点对粗匹配；
经过步骤S105，针对每一幅图像中提取出的每一个特征点，均得到了一个256bit的二进制编码。对左中两幅图像L J、M J和中右两幅图像M J、R J的特征描述子分别使用暴力匹配(Brute-Froce Matcher)算法进行匹配，可以得到粗匹配特征点对。
暴力匹配(Brute-Froce Matcher)算法是一种计算某一个特征点描述子与其他所有特征点描述子之间的距离的方法。将得到的距离进行排序，取距离最近的一个作为匹配点。这种方法简单粗暴，左中两幅图像L J、M J暴力匹配后的结果图如图3所示，从图3中可以看出有大量的错误匹配，需要利用一些机制进一步优化匹配结果。
S107、在粗匹配特征点对中，计算两个特征点描述子之间的汉明距离，剔除错误匹配，完成匹配特征点对的优化；
针对步骤S106得到的粗匹配特征点对，计算任意两个特征点描述子之间的汉明距离。从计算出的所有汉明距离中筛选出最佳匹配值(汉明距离最小值)和最差匹配值(汉明距离最大值)，并优选将汉明距离大于最佳匹配值的2.5 倍的粗匹配特征点对作为错误匹配对，予以剔除。
利用两个特征点描述子之间的汉明距离(两个不同二进制之间的汉明距离指的是两个二进制串不同位的个数)作为特征点匹配的相似度准则，在计算过程中可以具体执行以下步骤：
①设定最差匹配值max_dist的初始值为0，最佳匹配值min_dist的初始值为100；
②分别从参考图像M J和待拼接图像L J、R J的重叠区域中选择对应特征点计算两个特征点描述子之间的汉明距离；
③若两个特征点描述子之间的汉明距离小于最佳匹配值，则令当前汉明距离为最佳匹配值；若两个特征点描述子之间的汉明距离大于最差匹配值，则令当前汉明距离为最差匹配值；
④从参考图像M J和待拼接图像L J、R J的重叠区域中选取其他特征点计算汉明距离，重复执行步骤③，直到遍历参考图像M J和待拼接图像L J、R J的重叠区域中的所有特征点后，便找出了最佳匹配值和最差匹配值；
⑤设定汉明距离不大于阈值T作为判断依据，筛选出正确匹配的特征点对；在本实施例中，所述阈值T优选取值为2.5倍的最佳匹配值，如果不大于该阈值T，则认为是一个正确的匹配；如果大于该阈值T，则认为是一个错误的匹配，过滤掉，由此便完成匹配特征点对的优化。
左中两幅图像L J、M J优化匹配后结果如图4所示。
S108、针对优化后的匹配特征点对，使用RANSAC算法进行精细匹配，求解出单应性矩阵，得到目标图像之间的相对位置关系；
在本实施例中，针对步骤S107优化后得到的匹配特征点对，本实施例优选采用RANSAC(RANdom Sample Consensus，随机采样一致性)算法进一步过滤掉错误的匹配，求解出最优单应性矩阵，从而将参考图像M和待拼接图像L、R转换到同一坐标系下，进而得到三幅图像的相对位置关系。
具体而言，可以利用OpenCV中封装求解单应性矩阵的findHomography() 函数，使用RANSAC方法去除误匹配点，利用匹配点计算两个图像之间单应性矩阵，然后利用重投影误差来判定某一个匹配是不是正确的匹配，从而求解透视变换的最优单应性变换矩阵H(3行×3列)。使用一个调整矩阵adjustMat对单应性矩阵H进行调整，将待拼接图像L、R通过调整的矩阵进行透视变换后，待拼接图像L、R可以被转换到与参考图像M的相同坐标系下。
使用RANSAC算法对特征点进行精细匹配的具体过程可以参考申请号为201410626230.9、发明名称为《一种基于改进型SURF算法的图像快速拼接方法》的中国专利申请中的相关描述，本实施例在此不做详细说明。
S109、基于渐入渐出的加权平均算法对原始的参考图像M和原始的待拼接图像L、R的重叠区域进行图像融合处理，以将原始的参考图像M和原始的待拼接图像L、R融合拼接成一幅宽视角图像；
渐入渐出法是在图像重叠区域内使用线性加权过渡函数将两幅图像的灰度值进行加权得到融合后图像的灰度值，以实现重叠区域边界的平滑过渡。
具体而言，基于渐入渐出的加权平均算法的计算公式如下：
Figure PCTCN2020122297-appb-000006
式中，f 1表示原始的待拼接图像L或R；f 2表示原始的参考图像M；f表示融合后得到的宽视角图像；w 1与w 2表示对应像素的权重值，且w 1+w 2＝1，0＜w 1＜1，0＜w 2＜1。其中，w 1的取值是根据图像重叠区域的大小来决定的，且w 1由1渐变到0的过程中，w 2由0渐变到1，从而能够很好地实现参考图像M与待拼接图像L、R的平滑过渡，避免出现拼接痕迹。
由此，便完成了三幅图像的无缝拼接，拼接后的宽视角图像如图5所示。
本实施例将三幅图像拼接成一幅宽视角图像时，以中间图像作为同一参考图像，左右两边的图像作为待拼接图像，将待拼接图像通过映射变换矩阵转换到与参考图像同一坐标系下，由此可以快速、高效地实现三幅图像的无缝拼接。
将拼接后的三幅图像作为一幅图像，与剩余待拼接的图像采用上述过程 S101-S109继续拼接，直到全部图像拼接完成为止。
下面列举一个具体的应用实例：
仿真实验的硬件环境为联想工作台，硬件配置为Intel Core i3-4170 CPU，主频3.70GHz，内存为3.42GB，操作系统为Windows7/32位。软件环境为Visual Studio 2010。
在仿真实验中，调取三幅相互具有重叠区域的三幅图像，图像分辨率为480×318像素，格式为.jpg，如图2所示。以中间图像为参考图像，左右两幅图像为待拼接图像，三幅图像均在重叠区域采用SURF算法提取特征点，BRIEF算法描述特征点，使用BFMatcher()函数(Brute-Froce Matcher算法)对特征点进行粗匹配，使用汉明距离进一步剔除误匹配点，使用RANSAC算法进行精细匹配。
对比图6和图7，在将整幅图像作为检测区域时，优化后匹配到的最优匹配对为57对，耗时151.5ms；在将重叠区域作为检测区域时，优化后匹配到的最优匹配对为40对，耗时117.843ms，匹配速度提高70％。
对左中两幅图像、中右两幅图像分别进行渐入渐出加权平均的融合拼接完成后，对左中两幅拼接结果重采样整幅图像的3/4，中右两幅拼接结果重采样整幅图像的3/4，最终参考图像和待拼接图像融合拼接成的宽视角图像如图5所示。
本发明中提出的方法可移植到DM8168中实现，开发具有实时视频拼接的系统。
本发明将多幅相互有重叠部分的同一场景图片进行空间匹配对准，经重采样融合后形成一幅包含多幅图像信息、宽视角场景、完整、高清晰的新图像，可以有效降低获取宽视角图像的设备(例如广角镜头、鱼眼镜头等)的硬件成本和人工成本，很好地解决了宽视角图像和图像拼接中数据量冗余之间的矛盾。
本发明的高分辨率图像的宽视角快速拼接方法，可以适用于大场景视频监控、电视会议、交通安全、虚拟现实、超分辨率重构、医学图像分析、遥感图 像处理以及视觉SLAM等领域。
当然，以上所述仅是本发明的一种优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

  1. 一种高分辨率图像的宽视角快速拼接方法，其特征在于，包括：
    对待拼接的多幅原始图像进行降采样处理；
    确定降采样后的各幅图像之间的重叠区域；
    采用SURF算法检测出重叠区域内的特征点；
    针对检测出的特征点，采用BRIEF算法生成特征点描述子；
    针对特征点描述子，采用Brute-Froce Matcher算法进行特征点对粗匹配；
    计算两个特征点描述子之间的汉明距离，剔除错误匹配；
    使用RANSAC算法进行精细匹配，求解出单应性矩阵，得到各图像之间的相对位置关系；
    基于渐入渐出的加权平均算法对各原始图像的重叠区域进行图像融合处理，以融合拼接成一幅宽视角图像。
  2. 根据权利要求1所述的高分辨率图像的宽视角快速拼接方法，其特征在于，所述多幅原始图像为三幅空间上连续且相互有重叠部分的同一场景图像，定义中间图像为参考图像，另外两幅图像为待拼接的左图像和待拼接的右图像，将参考图像分别与待拼接的左图像和待拼接的右图像分别进行所述的宽视角快速拼接方法，以将三幅原始图像融合拼接成一幅宽视角图像。
  3. 根据权利要求1所述的高分辨率图像的宽视角快速拼接方法，其特征在于，所述降采样处理为将待拼接的多幅图像的分辨率缩小至原图像的10％。
  4. 根据权利要求2所述的高分辨率图像的宽视角快速拼接方法，其特征在于，在所述确定降采样后的各幅图像之间的重叠区域的过程中，包括：
    采用以下公式计算降采样后的参考图像与降采样后的待拼接的左图像以及降采样后的待拼接的右图像之间的重叠度：
    Figure PCTCN2020122297-appb-100001
    Figure PCTCN2020122297-appb-100002
    公式中，Overlap 1为降采样后的待拼接的左图像与降采样后的参考图像的重叠度；Overlap 2为降采样后的待拼接的右图像与降采样后的参考图像的重叠度；l LM为降采样后的待拼接的左图像与降采样后的参考图像的重叠区域的宽度；l MR为降采样后的待拼接的右图像与降采样后的参考图像的重叠区域的宽度；W为原始图像降采样后的宽度；其中，参数l LM、l MR为经验值；
    确定降采样后的待拼接的左图像的重叠区域A L为：宽度从W*(1-Overlap 1)到W的区域；
    确定降采样后的参考图像的重叠区域为：宽度从0到W*Overlap 1的区域A LM，以及，宽度从W*(1-Overlap 2)到W的区域A MR；
    确定降采样后的待拼接的右图像的重叠区域A R为：宽度从0到W*Overlap 2的区域。
  5. 根据权利要求1所述的高分辨率图像的宽视角快速拼接方法，其特征在于，在所述计算两个特征点描述子之间的汉明距离，剔除错误匹配的过程中，包括：
    计算任意两个特征点描述子之间的汉明距离；
    从计算出的所有汉明距离中筛选出汉明距离最小值作为最佳匹配值、汉明距离最大值作为最差匹配值；
    将汉明距离大于阈值T的粗匹配特征点对作为错误匹配对，予以剔除。
  6. 根据权利要求5所述的高分辨率图像的宽视角快速拼接方法，其特征在于，所述阈值T为所述最佳匹配值的2.5倍。
PCT/CN2020/122297 2020-02-24 2020-10-21 一种高分辨率图像的宽视角快速拼接方法 WO2021169334A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010112722.1 2020-02-24
CN202010112722.1A CN111445389A (zh) 2020-02-24 2020-02-24 一种高分辨率图像的宽视角快速拼接方法

Publications (1)

Publication Number Publication Date
WO2021169334A1 true WO2021169334A1 (zh) 2021-09-02

Family

ID=71655656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/122297 WO2021169334A1 (zh) 2020-02-24 2020-10-21 一种高分辨率图像的宽视角快速拼接方法

Country Status (2)

Country Link
CN (1) CN111445389A (zh)
WO (1) WO2021169334A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677365A (zh) * 2022-04-18 2022-06-28 北京林业大学 一种高精度的树木年轮分析方法及系统
CN115002427A (zh) * 2022-04-28 2022-09-02 江苏通纺互联科技有限公司 一种基于神经网络的投影融合方法
CN115131213A (zh) * 2022-07-27 2022-09-30 成都市晶林科技有限公司 一种实时红外双目图像拼接方法及系统
CN116402693A (zh) * 2023-06-08 2023-07-07 青岛瑞源工程集团有限公司 一种基于遥感技术的市政工程图像处理方法及装置
CN117422617A (zh) * 2023-10-12 2024-01-19 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法
CN112365404B (zh) * 2020-11-23 2023-03-17 成都唐源电气股份有限公司 一种基于多相机的接触网全景图像拼接方法、系统及设备
CN112669278A (zh) * 2020-12-25 2021-04-16 中铁大桥局集团有限公司 一种基于无人机的梁底巡检及病害可视化方法及系统
CN113066010B (zh) * 2021-04-06 2022-11-15 无锡安科迪智能技术有限公司 全景拼接图像的二次调整方法、装置、电子设备及存储介质
CN113205457B (zh) * 2021-05-11 2023-03-10 华中科技大学 一种微观图像拼接方法及系统
CN113298853B (zh) * 2021-06-28 2022-05-27 郑州轻工业大学 一种逐级递进的二阶段医学图像配准方法
CN114125178A (zh) * 2021-11-16 2022-03-01 阿里巴巴达摩院(杭州)科技有限公司 视频拼接方法、设备和可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443295A (zh) * 2019-07-30 2019-11-12 上海理工大学 改进的图像匹配与误匹配剔除算法
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104167003B (zh) * 2014-08-29 2017-01-18 福州大学 一种遥感影像的快速配准方法
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN107918927B (zh) * 2017-11-30 2021-06-04 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN108010045A (zh) * 2017-12-08 2018-05-08 福州大学 基于orb的视觉图像特征点误匹配提纯方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443295A (zh) * 2019-07-30 2019-11-12 上海理工大学 改进的图像匹配与误匹配剔除算法
CN111445389A (zh) * 2020-02-24 2020-07-24 山东省科学院海洋仪器仪表研究所 一种高分辨率图像的宽视角快速拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAICHANG ZENG: "Dissertation", 1 June 2018, NANCHANG HANGKONG UNIVERSITY, CN, article HAICHANG ZENG: "Research on Remote Sensing Image Stitching Based on Features by Unmanned Aerial Vehicle", pages: 1 - 62, XP055841630 *
LU LIUJIE, HU GUANGPENG; BAO WENXIANG: "Image Fusion Technology Based on Improved SURF Algorithm", JISUANJI YU SHUZI GONGCHENG - COMPUTER AND DIGITAL ENGINEERING, ZHONGGUO CHUANBO ZHONGGONG JITUAN GONGSI. DI-709 YANJIUSUO, CN, vol. 47, no. 7, 1 July 2019 (2019-07-01), CN, pages 1684 - 1687,1814, XP055841646, ISSN: 1672-9722, DOI: 10.3969/j.issn.1672-9722.2019.07.25 *
WEN ERYA: "Master Thesis", 30 June 2017, UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY, CN, article WEN ERYA: "Research and Implementation of Unmanned Aerial Vehicle Image Processing Technology", pages: 1 - 80, XP055841635 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677365A (zh) * 2022-04-18 2022-06-28 北京林业大学 一种高精度的树木年轮分析方法及系统
CN114677365B (zh) * 2022-04-18 2024-04-05 北京林业大学 一种高精度的树木年轮分析方法及系统
CN115002427A (zh) * 2022-04-28 2022-09-02 江苏通纺互联科技有限公司 一种基于神经网络的投影融合方法
CN115131213A (zh) * 2022-07-27 2022-09-30 成都市晶林科技有限公司 一种实时红外双目图像拼接方法及系统
CN116402693A (zh) * 2023-06-08 2023-07-07 青岛瑞源工程集团有限公司 一种基于遥感技术的市政工程图像处理方法及装置
CN116402693B (zh) * 2023-06-08 2023-08-15 青岛瑞源工程集团有限公司 一种基于遥感技术的市政工程图像处理方法及装置
CN117422617A (zh) * 2023-10-12 2024-01-19 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统
CN117422617B (zh) * 2023-10-12 2024-04-09 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统

Also Published As

Publication number Publication date
CN111445389A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
WO2021169334A1 (zh) 一种高分辨率图像的宽视角快速拼接方法
CN111784576B (zh) 一种基于改进orb特征算法的图像拼接方法
CN110992263B (zh) 一种图像拼接方法及系统
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
Liao et al. Model-free distortion rectification framework bridged by distortion distribution map
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN111553939B (zh) 一种多目摄像机的图像配准算法
CN113506342B (zh) 一种基于多相机全景视觉的slam全向回环校正方法
CN105787876A (zh) 一种基于surf特征跟踪匹配的全景视频自动拼接方法
TW201926244A (zh) 即時視訊畫面拼接方法
CN109697696B (zh) 用于全景视频的补盲方法
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
Yang et al. Unsupervised fisheye image correction through bidirectional loss with geometric prior
US8731326B2 (en) Object recognition system and method
CN110009670A (zh) 基于fast特征提取和piifd特征描述的异源图像配准方法
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及系统
Zoidi et al. Stereo object tracking with fusion of texture, color and disparity information
CN115883988A (zh) 视频图像拼接方法、系统、电子设备及存储介质
CN112614167A (zh) 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
Fan et al. Wide-angle image rectification: A survey
Liao et al. OIDC-Net: Omnidirectional image distortion correction via coarse-to-fine region attention
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN106971381B (zh) 一种具有重叠视域的广角相机视野分界线生成方法
CN110796680B (zh) 一种基于相似模板更新的目标跟踪方法和装置
CN113674340A (zh) 一种基于路标点的双目视觉导航方法与装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20921211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20921211

Country of ref document: EP

Kind code of ref document: A1