WO2019134531A1 - 一种全景图像拼接最优缝合线搜索方法 - Google Patents
一种全景图像拼接最优缝合线搜索方法 Download PDFInfo
- Publication number
- WO2019134531A1 WO2019134531A1 PCT/CN2018/122396 CN2018122396W WO2019134531A1 WO 2019134531 A1 WO2019134531 A1 WO 2019134531A1 CN 2018122396 W CN2018122396 W CN 2018122396W WO 2019134531 A1 WO2019134531 A1 WO 2019134531A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- suture
- optimal
- stitching
- population
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013441 quality evaluation Methods 0.000 claims abstract description 8
- 230000002068 genetic effect Effects 0.000 claims abstract description 7
- 108090000623 proteins and genes Proteins 0.000 claims description 36
- 210000000349 chromosome Anatomy 0.000 claims description 27
- 230000035772 mutation Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Definitions
- the present invention relates to the field of digital image processing technology, and more particularly to a suture search method for panoramic image stitching.
- panoramic images are an important technology for realizing virtual reality.
- High quality panoramic images give a good immersive experience.
- a wide-angle lens can be obtained to a certain extent by using a wide-angle lens, if the shooting range is too large, the resolution of the image detail will be lowered, and the edge of the image will be greatly deformed. Therefore, it is an effective method to take multiple shots and then synthesize the panoramic image by the stitching algorithm.
- panoramic image mosaic refers to a plurality of overlapping small-sized images taken in the same scene. After registration and transformation, they are combined into a high-quality, large-scale panorama. .
- the panoramic image stitching method in the prior art mainly includes three steps of image preprocessing, image registration, and image fusion.
- the image preprocessing includes denoising, edge extraction, histogram processing, Fourier transform, wavelet transform, etc.; image registration refers to finding the corresponding position of the feature points in the image to be stitched in the reference image. Then, the geometric transformation relationship between the two images is determined; the image fusion is to fuse the overlapping regions of the image to be stitched to obtain a smooth seamless panoramic image.
- Stitch-based image stitching is an important step in image fusion, and is mainly used to solve the "ghost (ghost) phenomenon" caused by moving objects in overlapping regions during the fusion process.
- the optimal suture search is to find an optimal path from the top to the bottom of the image so that the image difference of the position of the suture is minimized.
- optimal suture search methods include graph cutting, shortest path, dynamic programming, and evolutionary computation-based methods (such as genetic algorithms, particle swarm optimization).
- existing methods generally define image differences as color differences between images, structural differences between images, or a combination of the two in some form (eg, image difference is defined as the square of the color difference and the structural difference and ).
- image difference is defined as the square of the color difference and the structural difference and .
- the existing optimal search for sutures is about the optimization of the single objective function, but in essence, the optimal stitching needs to simultaneously minimize the color difference between the images and the structural difference between the images, which is a typical two.
- Target optimization problem there is a need for a panoramic stitching suture search method based on multi-objective optimization.
- the technical problem to be solved by the present invention is to provide an optimal stitching search method for panoramic image stitching based on multi-objective optimization.
- a panoramic image stitching optimal suture search method includes the following steps:
- Step A1 Construct a color difference map YS AB and a structure difference map JG AB of the two images A and B, and the overlapping areas of the image A and the image B are the same, equal in size, and registered;
- x represents a stitch
- the stitch is a vector of length H and the value of each variable in the vector is an integer and within the closed interval [1, W], each variable in the vector represents the stitching of each line point;
- Step A3 Using the genetic algorithm to solve the two suture search models in step A2, a set of Pareto optimal suture sets is obtained;
- Step A4 Using an image quality evaluation algorithm, an optimal suture is selected from the set of sutures.
- an image gradation processing step is further included, and the image A and the image B are converted into a grayscale image.
- the structural difference of the pixel points in the overlap region with the image B can be realized by modifying the gradient operator Sobel. When the gradient calculation is performed by the Sobel operator, the gradients of the image A and the
- the step A3 includes the following steps:
- Step A32 If gen is greater than maxGen, the Pareto optimal suture set in the population S is output. Otherwise, based on the current population S, the N new individuals S NEW are generated by the crossover operator and the mutation operator.
- the mutation operator in S32 includes: randomly extracting an individual from the new population S generated after the crossover operator operation, and recording it as s3, and for each gene position, discriminating whether to perform the mutation operation with a probability of 0.9, if a gene position If mutation is required, it is judged whether the values of two adjacent gene positions are equal. If they are equal, the values of two adjacent gene positions are equally given to the gene position or The value of the gene position is kept constant. If the difference between the two adjacent gene positions is 1, the gene position is decremented by one, and no other operation is performed.
- the fitness of the population Sal all is calculated by the expression 4 in the step A33, Where s denotes the chromosome, num1 Pareto dominance can be expressed in the number of chromosomes in the population S all, num2 represents S all populations in the number of chromosomes can be Pareto disposal.
- step A4 includes the following steps:
- Step A41 uniformly selecting five sutures from the obtained suture set, and splicing the image A and the image B based on the selected five sutures to obtain five panoramic mosaics;
- Step A42 Using the peak signal-to-noise ratio to evaluate the quality of the five panoramic mosaics respectively, and selecting the suture corresponding to the panoramic mosaic with the highest peak signal-to-noise ratio as the optimal suture.
- the peak signal to noise ratio in step A42 is calculated by Expression 5. among them I(i,j) and K(i,j) respectively represent images of size m*n, c represents image bit depth, and the larger the peak signal to noise ratio, the better the stitching quality.
- the invention has the beneficial effects that the invention aims at minimizing the color difference and the structural difference of the image, and constructs an optimal suture search model, thereby effectively avoiding the problem that the image difference cannot be reasonably defined, and searching for the model through the suture line.
- a set of Pareto optimal sutures is obtained.
- the best panoramic mosaic is selected for the stitching results under different stitches.
- the stitching corresponding to the panoramic stitching is the optimal stitching. .
- the present invention creates an optimal suture for searching two images.
- FIG. 1 is a flow chart of a search method of the present invention
- a is a color difference map normalized to the pixel values of the image A and the image B
- b is a structural difference map normalized to the pixel values of the image A and the image B
- Figure 4 is a set of Pareto optimal sutures obtained and five optimal sutures drawn;
- Figure 5 is a panoramic mosaic of the image A and the image B stitched together using an optimal stitch.
- the present invention discloses a method for searching for an optimal suture line for panoramic image stitching, comprising the following steps:
- Step A1 Construct a color difference map YS AB and a structure difference map JG AB of the two images A and B, and the overlapping areas of the image A and the image B are the same, equal in size, and registered;
- x represents a stitch
- the stitch is a vector of length H and the value of each variable in the vector is an integer and within the closed interval [1, W], each variable in the vector represents the stitching of each line point;
- Step A3 Using the genetic algorithm to solve the two suture search models in step A2, a set of Pareto optimal suture sets is obtained;
- Step A4 Using an image quality evaluation algorithm, an optimal suture is selected from the set of sutures.
- the present invention simultaneously designs an optimal suture search model with the aim of minimizing the color difference and structural difference of the image, thereby effectively avoiding the problem that the image difference cannot be properly defined, and finding a set of Pareto through the suture search model.
- the optimal stitching set using the image quality evaluation algorithm, selects the best panoramic mosaic for the stitching results under different stitches, and the stitching corresponding to the panoramic stitching is the optimal stitching.
- an image gradation processing step is further included to convert the image A and the image B into a grayscale image.
- the step A3 includes the following steps:
- Step A32 If gen is greater than maxGen, the Pareto optimal suture set in the population S is output. Otherwise, based on the current population S, the N new individuals S NEW are generated by the crossover operator and the mutation operator.
- the gene value of the row; the mutation operator in step S32 includes: randomly extracting an individual from the new population S generated after the crossover operator operation, and recording it as s3, and determining whether to proceed with a probability of 0.9 for each gene position. Mutation operation, if a gene position needs to be mutated, it is judged whether the values of two adjacent gene positions are equal, and if they are equal, the two adjacent genes are equally likely The value of the position is assigned to the gene position or the value of the gene position is kept constant. If the difference between the two adjacent gene positions is 1, the gene position is decremented by one, and no other operation is performed.
- the fitness of the population Sal all is calculated by the expression 4 in the step A33.
- s denotes the chromosome
- num1 Pareto dominance can be expressed in the number of chromosomes in the population S all
- num2 represents S all populations in the number of chromosomes can be Pareto disposal.
- the step A4 includes the following steps:
- Step A41 uniformly selecting five sutures from the obtained set of sutures, and splicing the image A and the image B based on the selected five sutures to obtain five panoramic mosaics;
- Step A42 Using the peak signal-to-noise ratio to evaluate the quality of the five panoramic mosaics respectively, and selecting the suture corresponding to the panoramic mosaic with the highest peak signal-to-noise ratio as the optimal suture.
- the peak signal to noise ratio in step A42 is calculated by using Expression 5. among them I(i,j) and K(i,j) respectively represent images of size m*n, c represents image bit depth, and the larger the peak signal to noise ratio, the better the stitching quality.
- Fig. 2 two figures as shown in Fig. 2 are known, which are image A and image B, respectively, whose overlapping regions are the same, equal in size, and registered, and the color difference map YS AB and structure of image A and image B are calculated.
- a genetic algorithm is used to solve two suture search models, and a set of Pareto optimal suture sets as shown in FIG. 4 is obtained;
- the quality of the five panoramic mosaics is evaluated by the peak signal-to-noise ratio, and the suture corresponding to the panoramic mosaic with the highest peak signal-to-noise ratio is selected as the optimal suture, as shown in Fig. 5, which is the most utilized.
- a stitching diagram that stitches together image A and image B.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Genetics & Genomics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
一种全景图像拼接最优缝合线搜索方法，包括步骤：构建两个图像A和图像B的颜色差图YS AB和结构差图JG AB；建立最小化颜色差值和结构差值的缝合线搜索模型；运用遗传算法求解两个缝合线搜索模型，得到一组Pareto最优的缝合线集合；运用图像质量评价算法，从缝合线集合中选出一条最优的缝合线。上述方法以最小化图像的颜色差和结构差为目标，构造最优缝合线搜索模型，避免无法合理定义图像差异的问题，此外通过缝合线搜索模型，找出一组Pareto最优的缝合线集合，利用图像质量评价算法，针对不同缝合线下的拼接结果，选择出最好的全景拼接图，该全景拼接图所对应的缝合线即为最优缝合线。上述方法用于搜索两图像的最优缝合线。
Description
本发明涉及数字图像处理技术领域，更具体地说涉及一种用于全景图像拼接的缝合线搜索方法。
虚拟现实技术的兴起给人们带来了丰富的视觉体验。全景图像是实现虚拟现实的一个重要技术。高质量的全景图像能够给以良好的沉浸式体验。虽然采用广角镜头拍摄在一定程度上可以获取宽视角的图像，但是如果拍摄范围过大，就会使得图像细节的分辨率下降，同时图像边缘会发生较大的形变。因此，采用多个镜头拍摄，然后通过拼接算法合成全景图像是一个有效的方法。在在计算机视觉或者图像处理领域，全景图像拼接具体是指将多幅拍摄于同一场景的有重叠的小尺寸图像，经过配准和变换之后，合成为一幅高质量的、较大的全景图。
现有技术中的全景图像拼接方法，主要包括图像预处理、图像配准、图像融合三个步骤。其中图像预处理包括对图像进行去噪、边缘提取、直方图处理、进行傅里叶变换、小波变换等操作；图像配准是指找出待拼接图像中的特征点在参考图像中对应的位置,进而确定两幅图像之间的几何变换关系；图像融合是将待拼接图像的重合区域进行融合得到平滑无缝全景图像。
基于缝合线的图像拼接是图像融合中的一个重要步骤，主要用于解决融合过程中因重叠区域运动物体造成的“鬼影(重影)现象”。所述最优缝合线搜索即是寻找一条自图像顶端到底端的最优路径使得缝合线经过位置的图像差异最小。
常用的最优缝合线搜索方法包括图切割、最短路径、动态规划和基于进化计 算的方法(如遗传算法、粒子群算法)等。但是现有方法通常将图像差异定义为图像之间的颜色差，图像之间的结构差，或者是二者在某种形式下的组合(如图像差定义为颜色差的平方与结构差值和)。换言之，现有的缝合线最优搜索都是关于单目标函数的优化，然而实质上，最优缝合线需要同时最小化图像之间的颜色差以及图像之间的结构差，是一个典型的两目标优化问题，亟需基于多目标优化的全景拼接缝合线搜索方法。
发明内容
本发明要解决的技术问题是：提供一种基于多目标优化的全景图像拼接最优缝合线搜索方法。
本发明解决其技术问题的解决方案是：
一种全景图像拼接最优缝合线搜索方法，包括以下步骤：
步骤A1.构建两个图像A和图像B的颜色差图YS
AB和结构差图JG
AB，所述图像A与图像B的重叠区域相同、大小相等且已配准；
步骤A2.建立最小化颜色差值和结构差值的缝合线搜索模型，所述缝合线搜索模型如表达式1所示，min{f1＝YS
AB(x),f2＝JG
AB(x)}，其中x表示一条缝合线，所述缝合线是一个长度为H的向量且向量中每个变量的值为整数且在闭区间[1，W]内，向量中每个变量表示每一行的缝合点；
步骤A3.运用遗传算法求解步骤A2中的两个缝合线搜索模型，得到一组Pareto(帕累托)最优的缝合线集合；
步骤A4.运用图像质量评价算法，从缝合线集合中选出一条最优的缝合线。
作为上述技术方案的进一步改进，所述步骤A1之前，还包括图像灰度化处理步骤，将图像A和图像B转换成为灰度图像。
作为上述技术方案的进一步改进，步骤A1中图像A和图像B的颜色差图YS
AB通过对两个图像的像素值归一化处理后相减并取绝对值得到的，具体如表达式2所示，YS
ABij＝abs(A
ij-B
ij)/max(A
ij,B
ij)，其中A
ij和B
ij分别表示图像A和图像B第i行第j列的像素值；步骤A1中图像A和图像B的结构差图JG
AB是通过表达式3获取的，JG
AB＝diff(A,B)，其中diff表示图像A和图像B分别在x和y方向上梯度差的乘积，图像A和图像B重合区域中的像素点的结构差值，可通过修改梯度算子Sobel实现，利用Sobel算子进行梯度计算时，图像A和图像B在x和y方向上的梯度分别采用如下模板。
作为上述技术方案的进一步改进，所述步骤A3包括以下步骤：
步骤A31.设置并初始化父代种群S，随机生成N条备选缝合线，所述备选缝合线是长度为H的向量且向量中每个变量的值为整数且在闭区间[1，W]内，参数W和参数H分别为图像A和图像B重叠区域的宽和高，同时设定进化代数为maxGen，即遗传算法最大迭代次数，设定当前代数为gen且gen＝1；
步骤A32.若gen大于maxGen，输出种群S中Pareto(帕累托)最优的缝合线集合，否则，基于当前种群S，先后通过交叉算子和变异算子产生由N个新个体S
NEW组成的子代种群Sc。以最小化为例，所述Pareto支配关系是指个体p支配个体q，当且仅当
f
i(p)<f
i(q)，M表示目标函数个数，即个体p在所有目标函数上不差于个体q，并且个体p至少在一个目标函数上优于个体q，Pareto最优解是指不能被种群中任何个体Pareto支配的解；
步骤A33.将父代种群S和子代种群Sc合并，得到规模为2N的种群S
all，即S
all＝SUSc，计算S
all中个体的适应度值，选择适应度值最大的N个个体，组成新的父代种群S；
步骤A34.令gen＝gen+1，返回步骤A32。
作为上述技术方案的进一步改进，步骤A32中交叉算子包括：随机从种群S中选择两个个体作为父代染色体，记为s1和s2，每个染色体即代表一条备选缝合线，且有H＝1920个基因位，每个基因位代表了一个缝合点，判断两个父代染色体是否存在交叉点，若不存在交叉点，则重新选择两个父代染色体，若存在交叉点，则交换两个父代染色体第一行到交叉点所在行的基因值，若存在多个交叉点，则随机选取其中一个交叉点，交换两个父代染色体第一行到交叉点所在行的基因值；步骤S32中变异算子包括：从经过交叉算子操作后所产生的新的种群S中随机抽取一个个体，记为s3，针对每一个基因位，以概率0.9判别是否进行变异操作，若一个基因位需要进行变异，则判断其相邻两个基因位的值是否相等，若相等，则等概率地将其相邻两个基因位的值赋予该基因位或者使该基因位的值保持不变，如果相邻两个基因位相差为1，则令该基因位自减1，其他情况不进行如何操作。
作为上述技术方案的进一步改进，步骤A33中通过表达式4计算种群S
all个体的适应度，
其中s表示染色体，num1表示在种群S
all中能够以Pareto支配染色体的个数，num2表示在种群S
all能够被染色体Pareto支配的个数。
作为上述技术方案的进一步改进，所述步骤A4包括以下步骤：
步骤A41.从得到的缝合线集合中均匀地选取5条缝合线，基于所选取的5 条缝合线，对图像A和图像B进行拼接，得到5个全景拼接图；
步骤A42.利用峰值信噪比分别评价5个全景拼接图的质量，选择峰值信噪比最高的全景拼接图所对应的缝合线为最优缝合线。
作为上述技术方案的进一步改进，步骤A42中所述峰值信噪比通过表达式5计算得到，
其中
I(i,j)和K(i,j)分别表示大小为m*n的图像，c表示图像位深，所述峰值信噪比越大，拼接质量越好。
本发明的有益效果是：本发明同时以最小化图像的颜色差和结构差为目标，构造了最优缝合线搜索模型，有效避免无法合理定义图像差异的问题，此外通过缝合线搜索模型，找出一组Pareto最优的缝合线集合，利用图像质量评价算法，针对不同缝合线下的拼接结果，选择出最好的全景拼接图，该全景拼接图所对应的缝合线即为最优缝合线。本发明创造用于搜索两图像的最优缝合线。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1是本发明的搜索方法流程图；
图2是作为图像A和图像B的一个例子；
图3中a是对图像A和图像B的像素值归一化处理后的颜色差图，b是对图像A和图像B的像素值归一化处理后的结构差图；
图4是求得的Pareto最优的缝合线集合以及所抽取的5个最优缝合线；
图5是利用最优缝合线将图像A和图像B拼接得到的全景拼接图。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
参照图1，本发明创造公开了一种全景图像拼接最优缝合线搜索方法，包括以下步骤：
步骤A1.构建两个图像A和图像B的颜色差图YS
AB和结构差图JG
AB，所述图像A与图像B的重叠区域相同、大小相等且已配准；
步骤A2.建立最小化颜色差值和结构差值的缝合线搜索模型，所述缝合线搜索模型如表达式1所示，min{f1＝YS
AB(x),f2＝JG
AB(x)}，其中x表示一条缝合线，所述缝合线是一个长度为H的向量且向量中每个变量的值为整数且在闭区间[1，W]内，向量中每个变量表示每一行的缝合点；
步骤A3.运用遗传算法求解步骤A2中的两个缝合线搜索模型，得到一组Pareto(帕累托)最优的缝合线集合；
步骤A4.运用图像质量评价算法，从缝合线集合中选出一条最优的缝合线。
具体地，本发明同时以最小化图像的颜色差和结构差为目标，构造了最优缝合线搜索模型，有效避免无法合理定义图像差异的问题，此外通过缝合线搜索模型，找出一组Pareto最优的缝合线集合，利用图像质量评价算法，针对不同缝合 线下的拼接结果，选择出最好的全景拼接图，该全景拼接图所对应的缝合线即为最优缝合线。
进一步作为优选的实施方式，本发明创造具体实施方式中，所述步骤A1之前，还包括图像灰度化处理步骤，将图像A和图像B转换成为灰度图像。
进一步作为优选的实施方式，本发明创造具体实施方式中，本发明创造具体实施方式中，步骤A1中图像A和图像B的颜色差图YS
AB通过对两个图像的像素值归一化处理后相减并取绝对值得到的，具体如表达式2所示，YS
ABij＝abs(A
ij-B
ij)/max(A
ij,B
ij)，其中A
ij和B
ij分别表示图像A和图像B第i行第j列的像素值；步骤A1中图像A和图像B的结构差图JG
AB是通过表达式3获取的，JG
AB＝diff(A,B)，其中diff表示图像A和图像B分别在x和y方向上梯度差的乘积，图像A和图像B重合区域中的像素点的结构差值，可通过修改梯度算子Sobel实现，利用Sobel算子进行梯度计算时，图像A和图像B在x和y方向上的梯度分别采用如下模板。
进一步作为优选的实施方式，本发明创造具体实施方式中，所述步骤A3包括以下步骤：
步骤A31.设置并初始化父代种群S，随机生成N条备选缝合线，所述备选缝合线是长度为H的向量且向量中每个变量的值为整数且在闭区间[1，W]内，参数W和参数H分别为图像A和图像B重叠区域的宽和高，同时设定进化代数为maxGen，设定当前代数为gen且gen＝1；
步骤A32.若gen大于maxGen，输出种群S中Pareto(帕累托)最优的缝合 线集合，否则，基于当前种群S，先后通过交叉算子和变异算子产生由N个新个体S
NEW组成的子代种群Sc。以最小化为例，所述Pareto支配关系是指个体p支配个体q，当且仅当
f
i(p)<f
i(q)，M表示目标函数个数，即个体p在所有目标函数上不差于个体q，并且个体p至少在一个目标函数上优于个体q，Pareto最优解是指不能被种群中任何个体Pareto支配的解；
步骤A33.将父代种群S和子代种群Sc合并，得到规模为2N的种群S
all，即S
all＝SUSc，计算S
all中个体的适应度值，选择适应度值最大的N个个体，组成新的父代种群S；
步骤A34.令gen＝gen+1，返回步骤A32。
进一步作为优选的实施方式，本发明创造具体实施方式中，步骤A32中交叉算子包括：随机从种群S中选择两个个体作为父代染色体，记为s1和s2，每个染色体即代表一条备选缝合线，且有H＝1920个基因位，每个基因位代表了一个缝合点，判断两个父代染色体是否存在交叉点，若不存在交叉点，则重新选择两个父代染色体，若存在交叉点，则交换两个父代染色体第一行到交叉点所在行的基因值，若存在多个交叉点，则随机选取其中一个交叉点，交换两个父代染色体第一行到交叉点所在行的基因值；步骤S32中变异算子包括：从经过交叉算子操作后所产生的新的种群S中随机抽取一个个体，记为s3，针对每一个基因位，以概率0.9判别是否进行变异操作，若一个基因位需要进行变异，则判断其相邻两个基因位的值是否相等，若相等，则等概率地将其相邻两个基因位的值赋予该基因位或者使该基因位的值保持不变，如果相邻两个基因位相差为1，则令该基因位自减1，其他情况不进行如何操作。
进一步作为优选的实施方式，本发明创造具体实施方式中，步骤A33中通过表达式4计算种群S
all个体的适应度，
其中s表示染色体，num1表示在种群S
all中能够以Pareto支配染色体的个数，num2表示在种群S
all能够被染色体Pareto支配的个数。
进一步作为优选的实施方式，本发明创造具体实施方式中，所述步骤A4包括以下步骤：
步骤A41.从得到的缝合线集合中均匀地选取5条缝合线，基于所选取的5条缝合线，对图像A和图像B进行拼接，得到5个全景拼接图；
步骤A42.利用峰值信噪比分别评价5个全景拼接图的质量，选择峰值信噪比最高的全景拼接图所对应的缝合线为最优缝合线。
进一步作为优选的实施方式，本发明创造具体实施方式中，步骤A42中所述峰值信噪比通过表达式5计算得到，
其中
I(i,j)和K(i,j)分别表示大小为m*n的图像，c表示图像位深，所述峰值信噪比越大，拼接质量越好。
参照图2至图5，以图2所示的两个图片为基础说明本发明创造的具体操作过程。
第一步，已知如图2所示的两个图，分别为图像A和图像B，其重叠区域相同、大小相等且已配准，计算图像A和图像B的颜色差图YS
AB和结构差图JG
AB，结果分别如图3中图a和图b所示，其中图像A和图像B的颜色差图YS
AB和结构差图JG
AB的宽和高(即像素)分别为W＝600，H＝1920；
第二步，建立最小化颜色差值和结构差值的缝合线搜索模型；
第三步，利用遗传算法求解两个缝合线搜索模型，得到一组如图4所示的Pareto(帕累托)最优的缝合线集合；
第四步，运用图像质量评价算法，从得到的缝合线集合中均匀地选取5条缝合线，如图4所示；
第五步，利用峰值信噪比分别评价5个全景拼接图的质量，选择峰值信噪比最高的全景拼接图所对应的缝合线为最优缝合线，如图5所示，即为利用最优缝合线将图像A和图像B拼接起来的全景拼接图。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
- 一种全景图像拼接最优缝合线搜索方法，其特征在于，包括以下步骤：步骤A1.构建两个图像A和图像B的颜色差图YS AB和结构差图JG AB，所述图像A与图像B的重叠区域相同、大小相等且已配准；步骤A2.建立最小化颜色差值和结构差值的缝合线搜索模型，所述缝合线搜索模型如表达式1所示，min{f1＝YS AB(x),f2＝JG AB(x)}，其中x表示一条缝合线，所述缝合线是一个长度为H的向量且向量中每个变量的值为整数且在闭区间[1，W]内，向量中每个变量表示每一行的缝合点；步骤A3.运用遗传算法求解步骤A2中的两个缝合线搜索模型，得到一组Pareto(帕累托)最优的缝合线集合；步骤A4.运用图像质量评价算法，从缝合线集合中选出一条最优的缝合线。
- 根据权利要求1所述的一种全景图像拼接最优缝合线搜索方法，其特征在于，所述步骤A1之前，还包括图像灰度化处理步骤，将图像A和图像B转换成为灰度图像。
- 根据权利要求1所述的一种全景图像拼接最优缝合线搜索方法，其特征在于，步骤A1中图像A和图像B的颜色差图YS AB通过对两个图像的像素值归一化处理后相减并取绝对值得到的，具体如表达式2所示，YS ABij＝abs(A ij-B ij)/max(A ij,B ij)，其中A ij和B ij分别表示图像A和图像B第i行第j列的像素值；步骤A1中图像A和图像B的结构差图JG AB是通过表达式3获取的，JG AB＝diff(A,B)，其中diff表示图像A和图像B分别在x和y方向上梯度差的乘积。
- 根据权利要求3所述的一种全景图像拼接最优缝合线搜索方法，其特征在于， 所述步骤A3包括以下步骤：步骤A31.设置并初始化父代种群S，随机生成N条备选缝合线，所述备选缝合线是长度为H的向量且向量中每个变量的值为整数且在闭区间[1，W]内，参数W和参数H分别为图像A和图像B重叠区域的宽和高，同时设定进化代数为maxGen，设定当前代数为gen且gen＝1；步骤A32.若gen大于maxGen，输出种群S中Pareto(帕累托)最优的缝合线集合，否则，基于当前种群S，先后通过交叉算子和变异算子产生由N个新个体S NEW组成的子代种群Sc；步骤A33.将父代种群S和子代种群Sc合并，得到规模为2N的种群S all，即S all＝SUSc，计算S all中个体的适应度值，选择适应度值最大的N个个体，组成新的父代种群S；步骤A34.令gen＝gen+1，返回步骤A32。
- 根据权利要求4所述的一种全景图像拼接最优缝合线搜索方法，其特征在于，步骤A32中交叉算子包括：随机从种群S中选择两个个体作为父代染色体，记为s1和s2，每个染色体即代表一条备选缝合线，且有H＝1920个基因位，每个基因位代表了一个缝合点，判断两个父代染色体是否存在交叉点，若不存在交叉点，则重新选择两个父代染色体，若存在交叉点，则交换两个父代染色体第一行到交叉点所在行的基因值，若存在多个交叉点，则随机选取其中一个交叉点，交换两个父代染色体第一行到交叉点所在行的基因值；步骤S32中变异算子包括：从经过交叉算子操作后所产生的新的种群S中随机抽取一个个体，记为s3，针对每一个基因位，以概率0.9判别是否进行变异操作，若一个基因位需要进行变异，则判断其相邻两个基因位的值是否相等，若相等，则等概率地将其相邻两个基因位 的值赋予该基因位或者使该基因位的值保持不变，如果相邻两个基因位相差为1，则令该基因位自减1，其他情况不进行如何操作。
- 根据权利要求5所述的一种全景图像拼接最优缝合线搜索方法，其特征在于，步骤A33中通过表达式4计算种群S all个体的适应度，其中s表示染色体，num1表示在种群S all中能够以Pareto支配染色体的个数，num2表示在种群S all能够被染色体Pareto支配的个数。
- 根据权利要求1所述的一种全景图像拼接最优缝合线搜索方法，其特征在于，所述步骤A4包括以下步骤：步骤A41.从得到的缝合线集合中均匀地选取5条缝合线，基于所选取的5条缝合线，对图像A和图像B进行拼接，得到5个全景拼接图；步骤A42.利用峰值信噪比分别评价5个全景拼接图的质量，选择峰值信噪比最高的全景拼接图所对应的缝合线为最优缝合线。
- 根据权利要求7所述的一种全景图像拼接最优缝合线搜索方法，其特征在于，步骤A42中所述峰值信噪比通过表达式5计算得到，其中
I(i,j)和K(i,j)分别表示大小为m*n的图像，c表示图像位深，所述峰值信噪比越大，拼接质量越好。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810001205.XA CN108198135B (zh) | 2018-01-02 | 2018-01-02 | 一种全景图像拼接最优缝合线搜索方法 |
| CN201810001205.X | 2018-01-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019134531A1 true WO2019134531A1 (zh) | 2019-07-11 |
Family
ID=62588027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/122396 WO2019134531A1 (zh) | 2018-01-02 | 2018-12-20 | 一种全景图像拼接最优缝合线搜索方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108198135B (zh) |
| WO (1) | WO2019134531A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160048A (zh) * | 2021-02-02 | 2021-07-23 | 重庆高新区飞马创新研究院 | 一种缝合线引导的图像拼接方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198135B (zh) * | 2018-01-02 | 2020-06-09 | 佛山科学技术学院 | 一种全景图像拼接最优缝合线搜索方法 |
| CN110290365B (zh) * | 2019-07-12 | 2021-02-02 | 广东技术师范大学天河学院 | 一种边缘融合方法 |
| CN114066723A (zh) * | 2021-11-11 | 2022-02-18 | 贝壳找房(北京)科技有限公司 | 设备检测方法、装置及存储介质 |
| CN115239724B (zh) * | 2022-09-22 | 2022-11-22 | 鹰驾科技（深圳）有限公司 | 一种360度全景环视拼接图像分析评价方法 |
| CN117153325B (zh) * | 2023-10-30 | 2024-01-30 | 佛山科学技术学院 | 一种基于图对比学习的抗癌药物有效性评估方法及系统 |
| CN117455766A (zh) * | 2023-12-19 | 2024-01-26 | 新乡北方车辆仪表有限公司 | 基于改进拼接线寻优及平滑过渡的图像融合方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204437A (zh) * | 2016-06-28 | 2016-12-07 | 深圳市凌云视迅科技有限责任公司 | 一种图像融合方法 |
| CN106447612A (zh) * | 2016-09-21 | 2017-02-22 | 湖南子午天地科技文化发展有限公司 | 一种图像拼接方法和生成装置 |
| US20170061703A1 (en) * | 2015-08-27 | 2017-03-02 | Samsung Electronics Co., Ltd. | Image processing device and electronic system including the same |
| CN106485658A (zh) * | 2016-09-21 | 2017-03-08 | 湖南子午天地科技文化发展有限公司 | 一种用于图像拼接的最优缝合线搜索方法 |
| CN108198135A (zh) * | 2018-01-02 | 2018-06-22 | 佛山科学技术学院 | 一种全景图像拼接最优缝合线搜索方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103856727B (zh) * | 2014-03-24 | 2017-01-25 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
-
2018
- 2018-01-02 CN CN201810001205.XA patent/CN108198135B/zh not_active Expired - Fee Related
- 2018-12-20 WO PCT/CN2018/122396 patent/WO2019134531A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170061703A1 (en) * | 2015-08-27 | 2017-03-02 | Samsung Electronics Co., Ltd. | Image processing device and electronic system including the same |
| CN106204437A (zh) * | 2016-06-28 | 2016-12-07 | 深圳市凌云视迅科技有限责任公司 | 一种图像融合方法 |
| CN106447612A (zh) * | 2016-09-21 | 2017-02-22 | 湖南子午天地科技文化发展有限公司 | 一种图像拼接方法和生成装置 |
| CN106485658A (zh) * | 2016-09-21 | 2017-03-08 | 湖南子午天地科技文化发展有限公司 | 一种用于图像拼接的最优缝合线搜索方法 |
| CN108198135A (zh) * | 2018-01-02 | 2018-06-22 | 佛山科学技术学院 | 一种全景图像拼接最优缝合线搜索方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160048A (zh) * | 2021-02-02 | 2021-07-23 | 重庆高新区飞马创新研究院 | 一种缝合线引导的图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108198135A (zh) | 2018-06-22 |
| CN108198135B (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019134531A1 (zh) | 一种全景图像拼接最优缝合线搜索方法 | |
| CN104376548B (zh) | 一种基于改进型surf算法的图像快速拼接方法 | |
| CN110390640A (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| CN107516319A (zh) | 一种高精度简易交互式抠图方法、存储设备及终端 | |
| KR100591608B1 (ko) | 영상 정합시 대응점 검색방법 | |
| CN104463859B (zh) | 一种基于跟踪指定点的实时视频拼接方法 | |
| WO2019024610A1 (zh) | 图像识别方法、装置、计算机设备和可读存储介质 | |
| CN106485658A (zh) | 一种用于图像拼接的最优缝合线搜索方法 | |
| JP4160050B2 (ja) | 画像検索プログラム | |
| CN113160048A (zh) | 一种缝合线引导的图像拼接方法 | |
| CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
| Mitra et al. | A large dataset for improving patch matching | |
| CN112365518A (zh) | 基于最佳缝合线自选区域渐入渐出算法的图像拼接方法 | |
| CN116012721A (zh) | 一种基于深度学习的水稻叶片病斑检测方法 | |
| CN111179173A (zh) | 一种基于离散小波变换和坡度融合算法的图像拼接方法 | |
| CN103733207B (zh) | 图像分割方法 | |
| CN106851130A (zh) | 一种视频拼接方法及装置 | |
| CN106447612A (zh) | 一种图像拼接方法和生成装置 | |
| CN110717910A (zh) | Ct图像目标检测方法及ct扫描仪 | |
| Gu et al. | Dynamic image stitching for moving object | |
| CN109166079B (zh) | 一种混合合成运动矢量与亮度聚类的去遮挡方法 | |
| CN114943823B (zh) | 基于深度学习语义感知的无人机图像拼接方法及系统 | |
| CN113688680B (zh) | 一种智能识别与追踪系统 | |
| JP2011150626A (ja) | 画像分類方法、装置、及びプログラム | |
| JP7144384B2 (ja) | オブジェクト検出装置、方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18898908 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18898908 Country of ref document: EP Kind code of ref document: A1 |