WO2024000950A1 - 一种面向多光谱相机的图像快速配准方法及装置 - Google Patents

一种面向多光谱相机的图像快速配准方法及装置 Download PDF

Info

Publication number
WO2024000950A1
WO2024000950A1 PCT/CN2022/127362 CN2022127362W WO2024000950A1 WO 2024000950 A1 WO2024000950 A1 WO 2024000950A1 CN 2022127362 W CN2022127362 W CN 2022127362W WO 2024000950 A1 WO2024000950 A1 WO 2024000950A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
registration
registered
grid
smooth
Prior art date
Application number
PCT/CN2022/127362
Other languages
English (en)
French (fr)
Inventor
王勋
陈书界
董建锋
周迪
徐千倩
Original Assignee
浙江工商大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江工商大学 filed Critical 浙江工商大学
Publication of WO2024000950A1 publication Critical patent/WO2024000950A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Definitions

  • the invention belongs to the field of multispectral image processing, and in particular relates to a fast image registration method and device for multispectral cameras.
  • the multispectral camera uses a dichroic prism system to separate the light into several bands, which are collected by multiple sensors and imaged separately. Affected by the physical imaging optical path, there is a parameterizable offset between the spectral band images, which requires registration before they can be fused to generate true color images.
  • the lens adjustment system can largely improve the initial offset between subspectral band images.
  • Spectral band image registration belongs to the category of multispectral image registration. Different from general image registration, multispectral image registration is difficult to perform directly on image brightness due to local differences in brightness and contrast between images in different spectral bands. At present, the academic community uses measures such as mutual information and local normalized correlation coefficient as objective functions to optimize the registration parameters between the two band images. This type of measure is computationally complex and time-consuming, making it difficult to be popularized and used by the industry.
  • the present invention provides a rapid image registration method and device for multispectral cameras.
  • the present invention uses the normalized total gradient as a measure for solving registration parameters. This measure is calculated on the gradient characteristics of the image, and has the characteristics of low calculation cost and fast speed.
  • the normalized total gradient objective has the problem of small convergence domain, and good initial value parameters are needed to make the optimization results quickly converge to the optimal solution.
  • the present invention uses grid block-based offset estimation and global registration parameter initial value fitting technology based on non-smooth grid offset to quickly solve the initial value of the registration parameter.
  • the initial value parameters are sent to the registration parameter optimizer based on the normalized total gradient, and the registration parameters are fine-tuned and optimized.
  • a phase correlation algorithm based on robust gradient features is used for grid block offset estimation.
  • the method of the present invention has higher registration accuracy and faster registration speed.
  • a fast image registration method for multispectral cameras includes the following steps:
  • S1 select one of the bands of the multispectral band image collected by the multispectral camera as the reference image, and the remaining bands are the images to be registered, and calculate the robust gradient characteristics of the reference image and the image to be registered respectively;
  • S6 Apply the registration parameters obtained in S5 to the image to be registered to obtain an accurately registered image result.
  • step S1 is specifically:
  • f′ x (x, y) and f′ y (x, y) are the gradients of the image f′ (x, y) to be registered along the x and y directions respectively, which are calculated by convolving the reference image with the convolution kernel.
  • step S2 the reference robust gradient feature map and the robust gradient feature map to be registered obtained in S1 are divided into regular grid blocks.
  • step S2 the non-smooth grid is selected as follows:
  • S21 create a training data set of robust gradient feature grid images, that is, construct a robust gradient feature grid image set, and label the grid images with categories.
  • the smooth grid images are marked as category 0, and the non-smooth grid images are marked as Category 1;
  • step S3 the calculation of the offset is specifically:
  • step S4 the fitting of the initial value of the global registration parameter includes the following steps:
  • step S5 is specifically:
  • step S52 is specifically:
  • step S6 is specifically:
  • S61 Perform coordinate transformation on the image to be registered based on the registration parameters obtained in S5 to obtain the target pixel position;
  • a rapid image registration device for multispectral cameras including a memory and one or more processors.
  • the memory stores executable code
  • the processor executes the executable code.
  • the code is executed, it is used to implement the fast image registration method for multispectral cameras as described in the first aspect.
  • the present invention has the following beneficial effects:
  • the present invention uses gridded robust gradient feature maps to effectively solve the problem of rapid estimation of initial values of registration parameters for multispectral camera images.
  • the present invention uses an improved registration parameter optimizer based on normalized total gradient to solve the problem of rapid and refined registration of multispectral images.
  • Figure 1 is a flow chart of an image rapid registration method provided by an exemplary embodiment.
  • Figure 2 is a framework diagram of a rapid image registration method provided by an exemplary embodiment.
  • Figure 3 is a framework diagram of a normalized total gradient optimizer provided by an exemplary embodiment.
  • Figures 4 and 5 are respectively schematic diagrams of the misregistration effect and the registration effect provided by an exemplary embodiment.
  • Figures 6 and 7 are respectively schematic diagrams of the misregistration effect and the registration effect provided by another exemplary embodiment.
  • Figures 8, 9 and 10 are respectively the original image, the robust gradient feature map and the non-smooth area effect of an exemplary embodiment.
  • Figure 11 is a structural diagram of a rapid image registration device for multispectral cameras provided by an exemplary embodiment.
  • the multispectral camera uses a spectroscopic device to divide the input visible light into several spectral bands, and then uses an independent CCD sensor to collect full-resolution spectral band images. Since the physical imaging optical path is affected by uncontrollable factors such as temperature changes and vibrations in the actual use environment, there is a parameterizable offset between sub-spectral band images.
  • the present invention proposes a fast image registration method for multispectral cameras. As shown in Figure 1 and Figure 2, the method includes the following steps:
  • S1 use a multispectral camera to collect target scene images and obtain multispectral band images.
  • One of the band images is selected as the reference image, and the remaining band images are the images to be registered, and the robust gradient features of the reference image and the image to be registered are calculated respectively.
  • the reference image be the robust gradient feature map g(x, y) of the reference image f(x, y).
  • the calculation expression is as follows:
  • (x, y) is the global coordinate of the image; p is the exponential parameter, p is (0, 1), in this embodiment, p is 0.5; f x (x, y), f y (x, y) respectively represent the reference
  • the gradient of image f (x, y) along the x, y direction can be calculated by convolving the reference image with a convolution kernel. Specifically, f x (X, y (can be calculated using the Sobel operator in the x direction Perform two-dimensional convolution on the reference image f(x, y). f y (x, y) can be obtained by using the Sobel operator in the y direction. It is obtained by performing two-dimensional convolution on the reference image f(x, y).
  • f′ x (x, y) and f′ y (x, y) respectively represent the gradient of the image f′ (x, y) to be registered along the x and y directions. They can also be calculated by convolving the reference image with a convolution kernel. get.
  • the reference robust gradient feature map obtained by S1 and the robust gradient feature map to be registered are divided into regular grid blocks, and the grid size is rectangle, where H and W represent the height and width of the image respectively, that is, the image is divided into 100 grid areas.
  • the non-smooth mesh is selected as follows:
  • S21 create a training data set of robust gradient feature grid images, that is, construct a robust gradient feature grid image set, and label the grid images with categories.
  • the smooth grid images are marked as category 0, and the non-smooth grid images are marked as Category 1;
  • the calculation of the offset includes the following sub-steps:
  • the following steps are used to fit the initial values of the global registration parameters:
  • K is the number of non-smooth grids.
  • S5 Send the initial values of the registration parameters to the improved optimizer based on the normalized total gradient to optimize and solve for accurate registration parameters.
  • the normalized total gradient of the reference image and the image to be registered is used as the objective function to measure whether the image is registered.
  • the normalized total gradient between the reference image and the image to be registered is minimum.
  • the image to be registered is f′(x, y)
  • the objective function is a non-convex real-valued function about M, which can be simply expressed as NTG(M).
  • the gradient descent method is used to iteratively solve the optimal registration parameters.
  • the mark t represents the t-th iteration
  • ⁇ M t represents the parameter adjustment amount of the t-th iteration.
  • the present invention uses the gradient descent method to iteratively solve the optimal registration parameters, which has lower computational complexity and faster calculation speed.
  • w (x, y) is the weight of the pixel point (x, y)
  • L is the coordinate matrix
  • T represents the transpose operation. Indicates that the gradient of the image to be registered f′(u, v) after coordinate transformation is found at the pixel point (x, y);
  • ⁇ f f(x, y)-f′(u, v)
  • h ⁇ f (x, y) is the second-order gradient feature value of the difference image ⁇ f at the pixel point (x, y)
  • h f′ (x, y) is the image f′ (u, v) to be registered after coordinate transformation at Second-order gradient feature value of pixel point (x, y);
  • ⁇ f x , ⁇ f y respectively represent the gradient of the difference image ⁇ f along the x, y direction
  • f′ x , f′ y respectively represent the coordinate transformed image f′(u, v) to be registered along the x, y direction gradient
  • S5 specifically includes the following sub-steps:
  • S52 use the normalized total gradient of the reference image and the image to be registered as the objective function to construct an optimization problem, and use the gradient descent method to iteratively optimize the registration parameters.
  • the specific steps include:
  • S6 is as follows:
  • the rapid image registration method for multispectral cameras adopted in the present invention has the advantages of fast speed and high accuracy compared with similar methods.
  • the image size used in the test is 480 ⁇ 640 pixels
  • the processor used to run the algorithm is 11th Gen Intel(R)Core(TM) i5-1135G7@2.40GHz 2.42 GHz
  • the memory is 16.0 GB.
  • Registration method mutual information local normalization correlation global phase correlation Normalized total gradient Method of the present invention Registration accuracy (pixels) 0.77 1.23 2.3 0.42 0.40 Registration speed (seconds) 68 33 0.42 10 1.5
  • Figures 4-7 are schematic diagrams of implementation effects of the present invention.
  • Figures 4 and 5 are respectively schematic diagrams of the misregistration effect and the registration effect in one embodiment.
  • Figures 6 and 7 are respectively schematic diagrams of the misregistration effect and the registration effect in another embodiment.
  • Figures 8 to 10 are schematic diagrams of the output effects of smooth and non-smooth grid classifiers in the present invention.
  • Figures 8, 9 and 10 are respectively the original image, robust gradient feature map and non-smooth area effect of an embodiment; The classifier selects non-smooth grid regions in the robust gradient feature map well.
  • the present invention also provides embodiments of a rapid image registration device for multispectral cameras.
  • an embodiment of the present invention provides a rapid image registration device for multispectral cameras, including a memory and one or more processors.
  • the memory stores executable code
  • the processor executes the When the code is executable, it is used to implement the fast image registration method for multispectral cameras in the above embodiment.
  • the embodiments of the rapid image registration device for multispectral cameras of the present invention can be applied to any device with data processing capabilities, and any device with data processing capabilities can be a device or device such as a computer.
  • the device embodiments may be implemented by software, or may be implemented by hardware or a combination of software and hardware. Taking software implementation as an example, as a logical device, it is formed by reading the corresponding computer program instructions in the non-volatile memory into the memory and running them through the processor of any device with data processing capabilities. From the hardware level, as shown in Figure 11, it is a hardware structure diagram of any device with data processing capabilities where the rapid image registration device for multispectral cameras of the present invention is located.
  • any device with data processing capabilities where the device in the embodiment is located may also include other hardware based on the actual functions of any device with data processing capabilities. This will not be discussed here. Repeat.
  • the device embodiment since it basically corresponds to the method embodiment, please refer to the partial description of the method embodiment for relevant details.
  • the device embodiments described above are only illustrative.
  • the units described as separate components may or may not be physically separated.
  • the components shown as units may or may not be physical units, that is, they may be located in One location, or it can be distributed across multiple network units. Some or all of the modules can be selected according to actual needs to achieve the purpose of the solution of the present invention. Persons of ordinary skill in the art can understand and implement the method without any creative effort.
  • Embodiments of the present invention also provide a computer-readable storage medium on which a program is stored.
  • the program is executed by a processor, the fast image registration method for multispectral cameras in the above embodiments is implemented.
  • the computer-readable storage medium may be an internal storage unit of any device with data processing capabilities as described in any of the foregoing embodiments, such as a hard disk or a memory.
  • the computer-readable storage medium can also be an external storage device of any device with data processing capabilities, such as a plug-in hard disk, smart memory card (Smart Media Card, SMC), SD card, flash memory card equipped on the device (Flash Card) etc.
  • the computer-readable storage medium may also include both an internal storage unit and an external storage device of any device with data processing capabilities.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by any device with data processing capabilities, and can also be used to temporarily store data that has been output or is to be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种面向多光谱相机的图像快速配准方法及装置。首先，选定某个光谱波段图像作为参考图像，其余波段图像为待配准图像，对参考图像与待配准图像的鲁棒梯度特征图进行网格分块；然后，选取非平滑网格，用相位相关算法计算非平滑网格的偏移量，用网格偏移量与参数化坐标变换关系构建方程组，求解整幅图像的配准参数初值；最后，将配准参数初值送入到基于归一化总梯度的配准参数优化器中，对配准参数进行细调优化，将细调后的参数应用到待配准图像上，实现两幅不同波段图像之间的精细化快速配准。与同类配准方法相比，本发明方法具有更高的配准精度、更快的配准速度。

Description

一种面向多光谱相机的图像快速配准方法及装置 技术领域
本发明属于多光谱图像处理领域，尤其涉及一种面向多光谱相机的图像快速配准方法及装置。
背景技术
传统单传感器摄像机采用拜耳格式进行图像采集，每个像素点仅采集RGB三个分量中的一个分量，另外两个分量基于附近像素点信息进行插值估计，因此实际所获得的图像存在一定的色彩失真。为了获得高色彩还原的成像效果，多光谱相机采用了分光棱镜系统，将光线分离成若干波段，由多传感器分别采集，各自成像。受物理成像光路影响，分光谱波段图像之间存在可参数化偏移，需要配准之后才能融合生成真彩图像。镜头调校系统可较大程度上改善分光谱波段图像之间的初始偏移，但在相机的使用过程中，物理振动、温度变化等实际不可控因素会导致调校后的分光谱波段图像发生二次偏移。这种二次偏移是随机发生的，且发生概率较大，难以被调校系统完全消除，需要软件算法辅助进行快速校正，以保证生成图像的色彩真实度。
分光谱波段图像配准属于多光谱图像配准范畴。有别于一般的图像配准，由于不同光谱波段图像之间存在局部的亮度、对比度差异，多光谱图像配准很难直接在图像亮度上进行。目前学术界采用互信息、局部归一化相关系数等测度作为目标函数，对两个波段图像之间的配准参数进行优化求解。这类测度的计算复杂度较高，耗时大，难以被工业界推广使用。
发明内容
为了解决多光谱相机分光谱波段图像快速配准问题，本发明提供了一种面向多光谱相机的图像快速配准方法及装置。本发明采用归一化总梯度作为配准参数求解的测度，该测度是在图像梯度特征上展开计算，具有计算成本低、速度快的特点。然而，归一化总梯度目标存在收敛域小的问题，需要较好的初值 参数才能使得优化结果快速收敛到最优解。为此，本发明采用基于网格块的偏移估计、基于非平滑网格偏移的全局配准参数初值拟合技术，对配准参数初值进行快速求解。然后将初值参数送入到基于归一化总梯度的配准参数优化器中，对配准参数进行细调优化。为减弱多光谱图像局部亮度、对比度差异带来的影响，保证网格块偏移估计的准确性，网格块的偏移估计采用基于鲁棒梯度特征的相位相关算法。与同类配准方法相比，本发明方法具有更高的配准精度、更快的配准速度。
本发明的目的是通过以下技术方案来实现的：
根据本说明书的第一方面，提供一种面向多光谱相机的图像快速配准方法，该方法包括以下步骤：
S1，选定多光谱相机采集的多光谱波段图像的其中一个波段为参考图像，其余波段为待配准图像，分别计算参考图像与待配准图像的鲁棒梯度特征；
S2，对参考图像与待配准图像的鲁棒梯度特征图用网格分块，并选取非平滑网格；
S3，用相位相关算法计算非平滑网格的偏移量；
S4，依据非平滑网格的网格偏移量拟合全局配准参数初值；
S5，将配准参数初值送入到基于归一化总梯度的优化器中，采用梯度下降法迭代求解准确的配准参数；
S6，将S5得到的配准参数应用于待配准图像，得到精确配准的图像结果。
进一步地，步骤S1具体为：
记参考图像为f(x，y)，f(x，y)的鲁棒梯度特征图g(x，y)计算表达式如下：
g(x，y)＝(|f x(x，y)| p+|f y(x，y)| p) 1/p|
其中(x，y)为图像全局坐标，p为指数参数，f x(x，y)，f y(x，y)分别为参考图像f(x，y)沿着x，y方向的梯度，通过卷积核卷积参考图像计算得到；
记待配准图像为f′(x，y)，f′(x，y)的鲁棒梯度特征图g′(x，y)计算表达式如下：
g′(x，y)＝(|f′ x(x，y)| p+|f′ y(x，y)| p) 1/p
其中f′ x(x，y)，f′ y(x，y)分别为待配准图像f′(x，y)沿着x，y方向的梯度，通过卷积核卷积参考图像计算得到。
进一步地，步骤S2中，对S1得到的参考鲁棒梯度特征图和待配准鲁棒梯度特征图做规则网格分块。
进一步地，步骤S2中，选取非平滑网格具体为：
S21，创建鲁棒梯度特征网格图像的训练数据集，即构建鲁棒梯度特征网格图像集，对网格图像进行类别标注，平滑网格图像标注为类别0，非平滑网格图像标注为类别1；
S22，训练平滑与非平滑网格分类器；
S23，用训练好的分类器对网格分类，选取非平滑网格。
进一步地，步骤S3中，偏移量的计算具体为：
S31，对S2得到的非平滑网格中的参考与待配准鲁棒梯度特征图进行二维傅里叶变换，得到参考、待配准网格图像的二维傅里叶变换结果；
S32，用二维傅里叶变换结果计算规约化互功率谱密度；
S33，对规约化互功率谱密度进行二维傅里叶反变换，得到互相关特征图；
S34，得到最大互相关值对应的局部坐标，即为非平滑网格的偏移量。
进一步地，步骤S4中，全局配准参数初值的拟合包括以下步骤：
S41，构建配准参数线性方程组，记第i个非平滑网格中心的全局坐标为
Figure PCTCN2022127362-appb-000001
由S3得到的对应偏移量为(Δx i，Δy i)，记待求配准参数初值矩阵为
Figure PCTCN2022127362-appb-000002
表示实数域，依据坐标变换关系有：
Figure PCTCN2022127362-appb-000003
对所有非平滑网格应用上述坐标变换关系，得到矩阵方程MD＝D′，其中D为网格中心全局坐标矩阵，D′为偏移量矩阵；
S42，求解矩阵方程，得到配准参数初值矩阵为M＝D′D T(DD T) -1，T表示转置操作，(·) -1表示矩阵求逆操作。
进一步地，步骤S5具体为：
S51，将S4得到的配准参数初值作为基于归一化总梯度的优化器的初值参数；
S52，以参考图像与待配准图像的归一化总梯度作为目标函数，构建优化问题，用梯度下降法对配准参数进行迭代优化；
S53，输出优化后的配准参数。
进一步地，步骤S52具体为：
S521，计算当前配准参数M t+1＝M t+ΔM t，上标t表示第t次迭代，ΔM t表示第t次迭代的参数调整量；
S522，将当前配准参数M t+1应用到待配准图像f′(x，y)上，(x，y)为图像全局坐标，对待配准图像f′(x，y)做坐标变换得到f′(u，v)，(u，v)为待配准图像坐标变换后的新坐标；
S523，计算坐标变换后的待配准图像f′(u，v)与参考图像f(x，y)的归一化总梯度对配准参数的梯度，得到参数调整量ΔM t+1；
S524，返回S521，直到满足迭代结束条件；所述迭代结束条件为当迭代次数超出设置的最大迭代次数。
进一步地，步骤S6具体为：
S61，依据S5得到的配准参数对待配准图像进行坐标变换，得到目标像素位置；
S62，依据目标像素位置用双线性插值算法得到最终输出图像。
根据本说明书的第二方面，提供一种面向多光谱相机的图像快速配准装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现如第一方面所述的面向多光谱相机的图像快速配准方法。
与现有技术相比，本发明具有如下有益效果：
1.本发明利用网格化的鲁棒梯度特征图，有效地解决了多光谱相机图像的配准参数初值快速估计问题。
2.本发明利用改进后的基于归一化总梯度的配准参数优化器，解决了多光谱图像的快速精细化配准问题。
附图说明
图1为一示例性实施例提供的图像快速配准方法流程图。
图2为一示例性实施例提供的图像快速配准方法框架图。
图3为一示例性实施例提供的归一化总梯度优化器的框架图。
图4、图5分别为一示例性实施例提供的未配准效果和配准效果示意图。
图6、图7分别为另一示例性实施例提供的未配准效果和配准效果示意图。
图8、图9和图10分别为一示例性实施例的原图、鲁棒梯度特征图和非平滑区域效果。
图11为一示例性实施例提供的面向多光谱相机的图像快速配准装置结构图。
具体实施方式
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
多光谱相机采用分光器件将输入的可见光分为若干光谱波段，然后用独立的CCD传感器采集全分辨率分光谱波段图像。由于物理成像光路受实际使用环境的温度变换、振动等不可控因素影响，分光谱波段图像之间存在可参数化偏移。为估计配准参数，本发明提出了一种面向多光谱相机的图像快速配准方法。如图1、图2所示，该方法包括以下步骤：
S1，用多光谱相机采集目标场景图像，得到多光谱波段图像。选定其中一个波段图像为参考图像，其余波段图像为待配准图像，分别计算参考图像与待配准图像的鲁棒梯度特征。
在一个实施例中，详细描述鲁棒梯度特征的计算方法。记参考图像为f(x，y)参考图像的鲁棒梯度特征图g(x，y)计算表达式如下：
g(x，y)＝(|f x(x，y)| p+|f y(x，y)| p) 1/p|
其中(x，y)为图像全局坐标；p为指数参数，p取(0,1)，本实施例中p取0.5；f x(x，y)，f y(x，y)分别表示参考图像f(x，y)沿着x，y方向的梯度，可用卷积核卷积参考图像计算得到，具体地，f x(X，y(可用x方向的索贝尔算子
Figure PCTCN2022127362-appb-000004
对参考图像f(x，y)做二维卷积得到，f y(x，y)可用y方向的索贝尔算子
Figure PCTCN2022127362-appb-000005
对参考图像f(x，y)做二维卷积得到。
记待配准图像为f′(x，y)，待配准图像的鲁棒梯度特征图g′(x，y)的计算方法与参考图像相同，计算表达式如下：
g′(x，y)＝(|f′ x(x，y)| p+|f′ y(x，y)|p) 1/p
其中f′ x(x，y)，f′ y(x，y)分别表示待配准图像f′(x，y)沿着x，y方向的梯度，同样可用卷积核卷积参考图像计算得到。
S2，对参考图像与待配准图像的鲁棒梯度特征图用网格分块，并选取非平滑网格。
在一个实施例中，对S1得到的参考鲁棒梯度特征图和待配准鲁棒梯度特征图做规则网格分块，网格大小为
Figure PCTCN2022127362-appb-000006
的矩形，其中H，W分别表示图像的高与宽，即将图像规整地划分为100个网格区域。
在一个实施例中，采用如下方式选取非平滑网格：
S21，创建鲁棒梯度特征网格图像的训练数据集，即构建鲁棒梯度特征网格图像集，对网格图像进行类别标注，平滑网格图像标注为类别0，非平滑网格图像标注为类别1；
S22，用通用分类器模型训练平滑与非平滑网格分类器；
S23，用训练好的分类器对网格分类，选取非平滑网格。
S3，用相位相关算法计算非平滑网格的偏移量。
在一个实施例中，偏移量的计算包括如下子步骤：
S31，记S2得到的非平滑网格中的参考与待配准鲁棒梯度特征图分别为pi与qi，其中i表示第i个非平滑网格。对网格图像进行二维傅里叶变换FFT2(·)，得到参考、待配准网格图像的二维傅里叶变换结果P i＝FFT2(p i)与
Q i＝FFT2(q i)；
S32，计算规约化互功率谱密度
Figure PCTCN2022127362-appb-000007
其中
Figure PCTCN2022127362-appb-000008
表示Q i的共轭结果；
S33，对R i进行二维傅里叶反变换IFFT2(·)，得到互相关特征图r i＝IFFT2(R i)；
S34，得到最大互相关值对应的局部坐标
Figure PCTCN2022127362-appb-000009
即第i个非平滑网格偏移量，其中(x i，y i)表示第i个非平滑网格的局部坐标。
S4，依据网格偏移量拟合全局配准参数初值。
在一个实施例中，采用如下步骤拟合全局配准参数初值：
S41，构建有关配准参数的线性方程组，记第i个非平滑网格中心的全局坐标为
Figure PCTCN2022127362-appb-000010
由S3得到的对应偏移量为(Δx i，Δy i)，记待求配准参数初值矩阵为
Figure PCTCN2022127362-appb-000011
表示实数域，依据坐标变换关系有：
Figure PCTCN2022127362-appb-000012
对所有非平滑网格应用上述坐标变换关系，可得矩阵方程MD＝D′；
其中网格中心全局坐标矩阵
Figure PCTCN2022127362-appb-000013
偏移量矩阵
Figure PCTCN2022127362-appb-000014
K为非平滑网格个数。
S42，求解矩阵方程，可得配准参数初值矩阵为M＝D′D T(DD T) -1，T表示转置操作，(·) -1表示矩阵求逆操作。
S5，将配准参数初值送入到改进的基于归一化总梯度的优化器中，优化求解准确的配准参数。
在一个实施例中，如图3所示，采用如下方式求解最优配准参数：
以参考图像与待配准图像的归一化总梯度作为衡量图像是否配准的目标函数。当图像完全配准时，参考图像与待配准图像之间的归一化总梯度最小。记 待配准图像为f′(x，y)，配准目标是找到一个最优配准参数M *，使得NTGf(x，y)，f′(u，v))最小，其中NTG为归一化总梯度函数，(u，v)为待配准图像坐标变换后的新坐标，u＝x+M 11x+M 12y+M 13，v＝y+M 21x+M 22y+M 23，M kl表示矩阵M的第k行第l列元素值。此时目标函数是关于M的非凸实值函数，可以简单表示为NTG(M)，用梯度下降法迭代求解最优配准参数，迭代式为M t+1＝M t+ΔM t，上标t表示第t次迭代，ΔM t表示第t次迭代的参数调整量。本发明采用梯度下降法迭代求解最优配准参数，其计算复杂度更低，计算速度更快。具体地，参数调整量
Figure PCTCN2022127362-appb-000015
其中λ表示每次迭代步长，本实施例中取λ＝0.01，
Figure PCTCN2022127362-appb-000016
表示在第t次迭代中，归一化总梯度函数NTG关于M的导数，其计算公式如下：
Figure PCTCN2022127362-appb-000017
其中w(x，y)为像素点(x，y)的权值，L为坐标矩阵，T表示转置操作，
Figure PCTCN2022127362-appb-000018
表示坐标变换后的待配准图像f′(u，v)在像素点(x，y)求梯度；
Figure PCTCN2022127362-appb-000019
w(x，y)＝h Δf(x，y)-NTG×h f′(x，y)
其中Δf＝f(x，y)-f′(u，v)，表示参考图像f(x，y)和坐标变换后的待配准图像f′(u，v)的差值图像，h Δf(x，y)为差值图像Δf在像素点(x，y)的二阶梯度特征值，h f′(x，y)为坐标变换后的待配准图像f′(u，v)在像素点(x，y)的二阶梯度特征值；
Figure PCTCN2022127362-appb-000020
Figure PCTCN2022127362-appb-000021
其中
Figure PCTCN2022127362-appb-000022
为鲁棒函数，
Figure PCTCN2022127362-appb-000023
参数∈＝0.001；
Δf x，Δf y分别表示差值图像Δf沿着x，y方向的梯度，f′ x，f′ y分别表示坐标变换后的待配准图像f′(u，v)沿着x，y方向的梯度；
Figure PCTCN2022127362-appb-000024
分别表示x，y方向的梯度操作的伴随算子，分别可用算子
Figure PCTCN2022127362-appb-000025
与
Figure PCTCN2022127362-appb-000026
对图像做二维卷积得到。
综上，S5具体包括以下子步骤：
S51，将S4得到的配准参数初值作为归一化总梯度优化器的初值参数M 0，初始化参数调整量ΔM 0＝0；
S52，以参考图像与待配准图像的归一化总梯度作为目标函数，构建优化问题，用梯度下降法对配准参数进行迭代优化，其具体步骤包括：
S521，计算当前参数M t+1＝M t+ΔM t；
S522，将当前参数M t+1应用到待配准图像上，对待配准图像f′(x，y)做坐标变换，得到f′(u，v)；
S523，计算坐标变换后的待配准图像f′(u，v)与参考图像f(x，y)的归一化总梯度对配准参数的梯度
Figure PCTCN2022127362-appb-000027
得到参数调整量ΔM t+1；
S524，返回S521，直到满足迭代结束条件；迭代结束条件为当迭代次数超出设置的最大迭代次数T，本实施例中取T＝6；
S53，输出优化后的配准参数。
S6，将优化后的配准参数应用于待配准图像，得到精确配准的图像结果。
在一个实施例中，S6具体如下：
S61，依据S5得到的配准参数对待配准图像f′(x，y)进行坐标变换，得到目标像素位置(u，v)；
S62，依据目标像素位置(u，v)用双线性插值算法得到最终输出图像。
实施效果说明
如表1所示，经过测试，本发明所采用的面向多光谱相机的图像快速配准方法，与同类方法相比，具有速度快、精度高等优势。测试时所采用的图像大小为480×640像素，算法运行采用的处理器为11th Gen Intel(R)Core(TM)i5-1135G7@2.40GHz 2.42 GHz，内存为16.0 GB。
表1测试结果对比表
配准方法 互信息 局部归一化相关 全局相位相关 归一化总梯度 本发明方法
配准精度(像素) 0.77 1.23 2.3 0.42 0.40
配准速度(秒) 68 33 0.42 10 1.5
图4-图7为本发明的实施效果示意图。图4、图5分别为一实施例的未配准效果和配准效果示意图，图6、图7分别为另一实施例的未配准效果和配准效果示意图。经过本发明的快速配准方法校正，由多光谱相机合成的彩色图像其颜色偏移与虚影问题得到了较大改善。
图8-图10为本发明中平滑与非平滑网格分类器的输出效果示意图，图8、图9和图10分别为一实施例的原图、鲁棒梯度特征图和非平滑区域效果；分类器很好地选取了鲁棒梯度特征图中的非平滑网格区域。
与前述面向多光谱相机的图像快速配准方法的实施例相对应，本发明还提供了面向多光谱相机的图像快速配准装置的实施例。
参见图11，本发明实施例提供的一种面向多光谱相机的图像快速配准装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理 器执行所述可执行代码时，用于实现上述实施例中的面向多光谱相机的图像快速配准方法。
本发明面向多光谱相机的图像快速配准装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图11所示，为本发明面向多光谱相机的图像快速配准装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图11所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的面向多光谱相机的图像快速配准方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card) 等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

Claims (9)

  1. 一种面向多光谱相机的图像快速配准方法，其特征在于，包括以下步骤：
    S1，选定多光谱相机采集的多光谱波段图像的其中一个波段为参考图像，其余波段为待配准图像，分别计算参考图像与待配准图像的鲁棒梯度特征；
    S2，对参考图像与待配准图像的鲁棒梯度特征图用网格分块，并选取非平滑网格；
    S3，用相位相关算法计算非平滑网格的偏移量；
    S4，依据非平滑网格的网格偏移量拟合全局配准参数初值；全局配准参数初值的拟合包括以下步骤：
    S41，构建配准参数线性方程组，记第i个非平滑网格中心的全局坐标为
    Figure PCTCN2022127362-appb-100001
    由S3得到的对应偏移量为(Δx i，Δy i)，记待求配准参数初值矩阵为
    Figure PCTCN2022127362-appb-100002
    表示实数域，依据坐标变换关系有：
    Figure PCTCN2022127362-appb-100003
    对所有非平滑网格应用上述坐标变换关系，得到矩阵方程MD＝D′，其中D为网格中心全局坐标矩阵，D′为偏移量矩阵；
    S42，求解矩阵方程，得到配准参数初值矩阵为M＝D′D T(DD T) -1，T表示转置操作，(·) -1表示矩阵求逆操作；
    S5，将配准参数初值送入到基于归一化总梯度的优化器中，采用梯度下降法迭代求解准确的配准参数；
    S6，将S5得到的配准参数应用于待配准图像，得到精确配准的图像结果。
  2. 根据权利要求1所述的方法，其特征在于，步骤S1具体为：
    记参考图像为f(x，y)，f(x，y)的鲁棒梯度特征图g(x，y)计算表达式如下：
    g(x，y)＝(|f x(x，y)| p+|f y(x，y)| p) 1/p|
    其中(x，y)为图像全局坐标，p为指数参数，f x(x，y)，f y(x，y)分别为参考图像f(x，y)沿着x，y方向的梯度，通过卷积核卷积参考图像计算得到；
    记待配准图像为f′(x，y)，f′(x，y)的鲁棒梯度特征图g′(x，y)计算表达式如下：
    g′(x，y)＝(|f′ x(x，y)| p+|f′ y(x，y)| p) 1/p
    其中f′ x(x，y)，f′ y(x，y)分别为待配准图像f′(x，y)沿着x，y方向的梯度，通过卷积核卷积参考图像计算得到。
  3. 根据权利要求1所述的方法，其特征在于，步骤S2中，对S1得到的参考鲁棒梯度特征图和待配准鲁棒梯度特征图做规则网格分块。
  4. 根据权利要求1所述的方法，其特征在于，步骤S2中，选取非平滑网格具体为：
    S21，创建鲁棒梯度特征网格图像的训练数据集，即构建鲁棒梯度特征网格图像集，对网格图像进行类别标注，平滑网格图像标注为类别0，非平滑网格图像标注为类别1；
    S22，训练平滑与非平滑网格分类器；
    S23，用训练好的分类器对网格分类，选取非平滑网格。
  5. 根据权利要求1所述的方法，其特征在于，步骤S3中，偏移量的计算具体为：
    S31，对S2得到的非平滑网格中的参考鲁棒梯度特征和待配准鲁棒梯度特征图进行二维傅里叶变换，得到参考鲁棒梯度特征图和待配准鲁棒梯度特征图的二维傅里叶变换结果；
    S32，用二维傅里叶变换结果计算规约化互功率谱密度；
    S33，对规约化互功率谱密度进行二维傅里叶反变换，得到互相关特征图；
    S34，得到最大互相关值对应的局部坐标，即为非平滑网格的偏移量。
  6. 根据权利要求1所述的方法，其特征在于，步骤S5具体为：
    S51，将S4得到的配准参数初值作为基于归一化总梯度的优化器的初值参数；
    S52，以参考图像与待配准图像的归一化总梯度作为目标函数，构建优化问题，用梯度下降法对配准参数进行迭代优化；
    S53，输出优化后的配准参数。
  7. 根据权利要求6所述的方法，其特征在于，步骤S52具体为：
    S521，计算当前配准参数M t+1＝M t+ΔM t，上标t表示第t次迭代，ΔM t表示第t次迭代的参数调整量；
    S522，将当前配准参数M t+1应用到待配准图像f′(x，y)上，(x，y)为图像全局坐标，对待配准图像f′(x，y)做坐标变换得到f′(u，v)，(u，v)为待配准图像坐标变换后的新坐标；
    S523，计算坐标变换后的待配准图像f′(u，v)与参考图像f′(x，y)的归一化总梯度对配准参数的梯度，得到参数调整量ΔM t+1；
    S524，返回S521，直到满足迭代结束条件。
  8. 根据权利要求1所述的方法，其特征在于，步骤S6具体为：
    S61，依据配准参数对待配准图像进行坐标变换，得到目标像素位置；
    S62，依据目标像素位置用双线性插值算法得到最终输出图像。
  9. 一种面向多光谱相机的图像快速配准装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-8中任一项所述的面向多光谱相机的图像快速配准方法。
PCT/CN2022/127362 2022-07-01 2022-10-25 一种面向多光谱相机的图像快速配准方法及装置 WO2024000950A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210765686.8 2022-07-01
CN202210765686.8A CN114820739B (zh) 2022-07-01 2022-07-01 一种面向多光谱相机的图像快速配准方法及装置

Publications (1)

Publication Number Publication Date
WO2024000950A1 true WO2024000950A1 (zh) 2024-01-04

Family

ID=82523123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/127362 WO2024000950A1 (zh) 2022-07-01 2022-10-25 一种面向多光谱相机的图像快速配准方法及装置

Country Status (2)

Country Link
CN (1) CN114820739B (zh)
WO (1) WO2024000950A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726658A (zh) * 2024-02-09 2024-03-19 湖南省第一测绘院 一种基于局部迭代策略的大场景sar影像配准的方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820739B (zh) * 2022-07-01 2022-10-11 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置
CN117372485B (zh) * 2023-10-12 2024-04-16 长光辰英(杭州)科学仪器有限公司 基于相位谱与幅度谱重组的一维相位相关图像配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218811A (zh) * 2013-03-29 2013-07-24 中国资源卫星应用中心 一种基于统计分布的卫星多光谱图像波段配准方法
CN105427298A (zh) * 2015-11-12 2016-03-23 西安电子科技大学 基于各向异性梯度尺度空间的遥感图像配准方法
US20200380703A1 (en) * 2019-05-31 2020-12-03 Mitsubishi Electric Research Laboratories, Inc. Robust Image Registration For Multiple Rigid Transformed Images
CN112184785A (zh) * 2020-09-30 2021-01-05 西安电子科技大学 基于mcd度量和vtm的多模态遥感图像配准方法
CN114820739A (zh) * 2022-07-01 2022-07-29 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303767B (zh) * 2007-11-15 2012-05-09 复旦大学 基于块图像内容自适应分类的数字剪影图像配准方法
CN103440676B (zh) * 2013-08-13 2017-02-15 南方医科大学 一种基于运动估计的肺4d‑ct图像的超分辨率冠矢状面图像重建方法
CN103679714B (zh) * 2013-12-04 2016-05-18 中国资源卫星应用中心 一种基于梯度互相关的光学和sar图像自动配准方法
CN104200448A (zh) * 2014-07-10 2014-12-10 南方医科大学 基于分块的肺4d-ct图像冠矢状面超分辨率重建方法
CN104732532B (zh) * 2015-03-11 2017-05-31 中国空间技术研究院 一种遥感卫星多光谱图像配准方法
CN105425216B (zh) * 2015-11-24 2018-02-02 西安电子科技大学 基于图像分割的重复航过极化InSAR图像配准方法
CN105894443B (zh) * 2016-03-31 2019-07-23 河海大学 一种基于改进的surf算法的实时视频拼接方法
CN106530334B (zh) * 2016-10-21 2019-10-08 北京无线电测量研究所 一种机载干涉合成孔径雷达复图像配准方法及复图像配准系统
CN108053431A (zh) * 2018-02-24 2018-05-18 中原工学院 一种基于梯度分布的非刚体医学图像配准方法
CN110349193A (zh) * 2019-06-27 2019-10-18 南京理工大学 适用于傅里叶变换光谱仪的快速图像配准方法
CN110517300B (zh) * 2019-07-15 2022-03-18 温州医科大学附属眼视光医院 基于局部结构算子的弹性图像配准算法
CN110751680A (zh) * 2019-10-17 2020-02-04 中国科学院云南天文台 一种具有快速对齐算法的图像处理方法
CN111145362B (zh) * 2020-01-02 2023-05-09 中国航空工业集团公司西安航空计算技术研究所 一种机载综合视景系统虚实融合显示方法及系统
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218811A (zh) * 2013-03-29 2013-07-24 中国资源卫星应用中心 一种基于统计分布的卫星多光谱图像波段配准方法
CN105427298A (zh) * 2015-11-12 2016-03-23 西安电子科技大学 基于各向异性梯度尺度空间的遥感图像配准方法
US20200380703A1 (en) * 2019-05-31 2020-12-03 Mitsubishi Electric Research Laboratories, Inc. Robust Image Registration For Multiple Rigid Transformed Images
CN112184785A (zh) * 2020-09-30 2021-01-05 西安电子科技大学 基于mcd度量和vtm的多模态遥感图像配准方法
CN114820739A (zh) * 2022-07-01 2022-07-29 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN, SHUJIE: "Investigation of Registration and Deblurring Methods for Multispectral Images", INFORMATION & TECHNOLOGY, CHINA DOCTORAL DISSERTATIONS FULL-TEXT DATABASE, no. 1, 15 January 2019 (2019-01-15), ISSN: 1674-022X *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726658A (zh) * 2024-02-09 2024-03-19 湖南省第一测绘院 一种基于局部迭代策略的大场景sar影像配准的方法及装置
CN117726658B (zh) * 2024-02-09 2024-05-03 湖南省第一测绘院 一种基于局部迭代策略的大场景sar影像配准的方法及装置

Also Published As

Publication number Publication date
CN114820739B (zh) 2022-10-11
CN114820739A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
WO2024000950A1 (zh) 一种面向多光谱相机的图像快速配准方法及装置
JP7159057B2 (ja) 自由視点映像生成方法及び自由視点映像生成システム
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
CN109190581B (zh) 图像序列目标检测识别方法
US7523078B2 (en) Bayesian approach for sensor super-resolution
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
Müller et al. Illumination-robust dense optical flow using census signatures
US20130208997A1 (en) Method and Apparatus for Combining Panoramic Image
KR20140109439A (ko) 잡음에 강한 영상 정합 방법 및 시스템
Micheli et al. A linear systems approach to imaging through turbulence
CN108171735B (zh) 基于深度学习的十亿像素视频对齐方法及系统
CN112037109A (zh) 一种改进的基于显著性目标检测的图像水印添加方法和系统
CN111062895B (zh) 一种基于多视场分割的显微图像复原方法
CN111127353B (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
Zhang et al. Automatic stitching for hyperspectral images using robust feature matching and elastic warp
Halder et al. A fast restoration method for atmospheric turbulence degraded images using non-rigid image registration
CN111951178A (zh) 显著提升图像质量的图像处理方法、装置和电子设备
CN111951295A (zh) 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备
WO2022247394A1 (zh) 图像拼接方法及装置、存储介质及电子设备
Yu et al. Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration
Xia et al. A coarse-to-fine ghost removal scheme for HDR imaging
Tezaur et al. A system for estimating optics blur psfs from test chart images
Hu et al. Digital video stabilization based on multilayer gray projection
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
CN112837217A (zh) 一种基于特征筛选的室外场景图像拼接方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22949035

Country of ref document: EP

Kind code of ref document: A1