WO2023045149A1 - 图像融合方法、装置、电子设备和存储介质 - Google Patents

图像融合方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2023045149A1
WO2023045149A1 PCT/CN2021/140347 CN2021140347W WO2023045149A1 WO 2023045149 A1 WO2023045149 A1 WO 2023045149A1 CN 2021140347 W CN2021140347 W CN 2021140347W WO 2023045149 A1 WO2023045149 A1 WO 2023045149A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
fusion
homogeneous
heterogeneous
image
Prior art date
Application number
PCT/CN2021/140347
Other languages
English (en)
French (fr)
Inventor
王越辉
Original Assignee
上海闻泰电子科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海闻泰电子科技有限公司 filed Critical 上海闻泰电子科技有限公司
Publication of WO2023045149A1 publication Critical patent/WO2023045149A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to an image fusion method, device, electronic equipment and medium.
  • Image fusion is to use a specific algorithm to combine two or more images into a new image, so as to extract and summarize the effective data in each image.
  • there may be heterogeneous feature correlation data or homogeneous feature correlation data between two images heterogeneous feature correlation data is different types of correlation data between different types of images, and homogeneous feature correlation data is the Existing homogeneous associated data.
  • the technical problem to be solved in the present disclosure is: how to improve the image fusion accuracy in the data conversion process.
  • an image fusion method, device, computer equipment and storage medium are provided.
  • An image fusion method comprising:
  • the image data including: heterogeneous feature association data between different types of images and/or homogeneous feature association data between images of the same type;
  • the target fusion model includes: a heterogeneous feature fusion sub-model and a homogeneous feature fusion sub-model, and the heterogeneous feature fusion sub-model is used for data fusion of the heterogeneous feature association data between the different types of images,
  • the homogeneous feature fusion sub-model is used to perform data fusion on the homogeneous feature association data between the same type of images.
  • the training process of the target fusion model includes: determining a heterogeneous feature fusion sub-model, and determining a homogeneous feature fusion sub-model; according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion Submodel, to determine the target fusion model.
  • the determination of the heterogeneous feature fusion sub-model includes: performing collaborative matrix decomposition on the sample image on the first preset network to obtain the heterogeneous representation matrix of the sample image;
  • the heterogeneous representation matrix is used to train the first preset network to obtain a heterogeneous feature fusion sub-model.
  • the determination of the homogeneous feature fusion sub-model includes: performing collaborative matrix decomposition on the sample image on the second preset network to obtain a homogeneous representation matrix of the sample image; A homogeneous representation matrix is used to train the second preset network to obtain a homogeneous feature fusion sub-model.
  • the determining the target fusion model according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model includes: according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion The sub-model is to determine an initial fusion model; optimize the initial parameters of the initial fusion model to obtain target parameters; and determine the target fusion model according to the target parameters.
  • the initial parameters include: a first parameter, a second parameter, a third parameter, and a fourth parameter; the optimization of the initial parameters of the initial fusion model to obtain the target parameters includes: based on A preset optimization rule is used to sequentially optimize one of the initial parameters to obtain a target parameter corresponding to the one parameter; wherein, the preset optimization rule includes: a preset number of iterations and/or model convergence.
  • the optimizing one of the initial parameters to obtain the target parameter corresponding to the one parameter includes: selecting one of the initial parameters as the parameter to be optimized, and keeping Other parameters in the initial parameters remain unchanged, and the parameters to be optimized are optimized based on preset constraint functions; until the optimization of each parameter in the initial parameters is completed, the target parameters corresponding to each parameter are obtained.
  • the heterogeneous feature association data between the different types of images can be determined by the following formula:
  • m represents the number of image types
  • R ij represents the heterogeneous feature association of n i samples of the i-th type of image
  • R represents the Hadamard product
  • the homogeneous feature association data between images of the same type can be determined by the following formula:
  • the determination of the heterogeneous feature fusion sub-model includes:
  • k i , k j represent the reduced dimensions, W r ⁇ R m ⁇ n , W r pairs weights assigned by a heterogeneous feature association network.
  • the determination of the homogeneous feature fusion sub-model includes:
  • the determining an initial fusion model according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model includes:
  • vec(W r ) is the vector after stacking and splicing the rows of W r , and ⁇ >0, ⁇ >0 are used to control the complexity of vec(W r ) and vec(W h ).
  • ⁇ , ⁇ can also help selectively integrate different heterogeneous data sources and homogeneous data sources.
  • An image fusion device comprising:
  • An acquisition module configured to acquire image data, the image data including: heterogeneous feature association data between different types of images and/or homogeneous feature association data between images of the same type;
  • a determining module configured to input the image data into a pre-trained target fusion model, and determine fusion data according to an output result of the target fusion model
  • the target fusion model includes: a heterogeneous feature fusion sub-model and a homogeneous feature fusion sub-model, and the heterogeneous feature fusion sub-model is used for data fusion of the heterogeneous feature association data between the different types of images,
  • the homogeneous feature fusion sub-model is used to perform data fusion on the homogeneous feature association data between the same type of images.
  • the training module includes: a first determination unit, a second determination unit and a third determination unit;
  • the first determination unit is configured to determine the heterogeneous feature fusion sub-model
  • the second determination unit is configured to determine a homogeneous feature fusion sub-model
  • the third determining unit is configured to determine a target fusion model according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model.
  • the first determining unit is specifically configured as:
  • the first preset network is trained to obtain a heterogeneous feature fusion sub-model.
  • the second determining unit is specifically configured as:
  • the second preset network is trained to obtain a homogeneous feature fusion sub-model.
  • the third determination unit includes: a determination subunit and an optimization subunit;
  • the determining subunit is configured to determine an initial fusion model according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model;
  • the optimization subunit is configured to optimize the initial parameters of the initial fusion model to obtain target parameters
  • the determining subunit is further configured to determine a target fusion model according to the target parameters.
  • the initial parameters include: a first parameter, a second parameter, a third parameter and a fourth parameter;
  • the preset optimization rules include: preset iteration times and/or model convergence.
  • determine the subunit specifically configured as:
  • An electronic device comprising a memory and one or more processors, the memory is configured as a module storing computer-readable instructions; when the computer-readable instructions are executed by the processor, the one or more A processor executes the steps of the image fusion method provided by any embodiment of the present disclosure.
  • One or more non-volatile storage media storing computer-readable instructions, when the computer-readable instructions are executed by one or more processors, the one or more processors perform the image fusion provided by any embodiment of the present disclosure method steps.
  • Fig. 1 is a schematic flowchart of an image fusion method provided by one or more embodiments of the present disclosure
  • Fig. 2 is a schematic flowchart of another image fusion method provided by one or more embodiments of the present disclosure
  • Fig. 3 is a schematic flowchart of another image fusion method provided by one or more embodiments of the present disclosure
  • Fig. 4 is a schematic structural diagram of an image fusion device provided by one or more embodiments of the present disclosure.
  • Fig. 5 is a schematic structural diagram of an electronic device provided by one or more embodiments of the present disclosure.
  • an image fusion method is provided.
  • This embodiment uses the method applied to a mobile terminal as an example for illustration. It can be understood that this method can also be applied to a server of a mobile terminal. It can also be applied to a system including a mobile terminal and a server, and is realized through the interaction between the mobile terminal and the server.
  • the method includes the following steps:
  • the image data may include: heterogeneous feature association data between different types of images and/or homogeneous feature association data between images of the same type.
  • the image data may include: heterogeneous feature association data between different types of images, or, homogeneous feature association data between the same type of images, or, heterogeneous feature association data between different types of images and the same type Homogeneous feature association data across images.
  • the heterogeneous feature association data between different types of images can be determined by the following formula (1).
  • R ij represents the heterogeneous feature association of n i samples of the i-th type of image, and R represents the Hadamard product.
  • the homogeneous feature association data between images of the same type can be determined by the following formula (2).
  • the target fusion model includes: heterogeneous feature fusion sub-model and homogeneous feature fusion sub-model, heterogeneous feature fusion sub-model is used for data fusion of heterogeneous feature association data between different types of images, homogeneous feature fusion sub-model It is used for data fusion of homogeneous feature association data between images of the same type.
  • the target fusion model can be determined by the algorithm based on Selective Non-Matrix Factorization (SNMF).
  • SNMF can decompose the collaborative matrix of multiple heterogeneous feature association networks into low-rank matrices of various types of nodes , and automatically optimize the weights of different networks.
  • SNMF draws on the idea of network alignment, and performs regularization constraints by aligning these low-rank matrices to the multi-source homogeneous feature network during the optimization process.
  • the optimized low-rank matrix is used to reconstruct the target image representation matrix.
  • SNMF can also be applied to image classification, wherein the specific classification method can choose the implementation method of support vector machine.
  • image data is input into a pre-trained target fusion model, and the fusion data is determined according to the output result of the target fusion model, wherein the heterogeneous features included in the target fusion model can be used
  • the fusion sub-model performs data fusion on the heterogeneous feature-related data between different types of images, and uses the homogeneous feature fusion sub-model to perform data fusion on the homogeneous feature-related data between the same type of images, which solves the problem of information loss in the fusion process , thereby improving the image fusion accuracy in the data conversion process and effectively improving the image fusion efficiency.
  • Fig. 2 is a schematic flowchart of another image fusion method provided by an embodiment of the present disclosure. This embodiment is further expanded and optimized on the basis of the foregoing embodiments. Further, before S120, this embodiment may also include:
  • the heterogeneous feature fusion sub-model can effectively perform data fusion on heterogeneous feature-related data between different types of images, and the homogeneous feature fusion sub-model can effectively perform data fusion on homogeneous feature-related data between images of the same type.
  • determining the heterogeneous feature fusion sub-model includes:
  • the first preset network is trained to obtain a heterogeneous feature fusion sub-model.
  • the first preset network may be a multi-type heterogeneous feature association network, and performing collaborative matrix decomposition on the multi-type heterogeneous feature association network can mine the latent representation matrix of the image.
  • the heterogeneous feature fusion sub-model can be determined by the following formula (3).
  • W r ⁇ R m ⁇ n , W r pair weights assigned by a heterogeneous feature association network are examples of W r ⁇ R m ⁇ n , W r pair weights assigned by a heterogeneous feature association network.
  • Equation (3) uses low-rank matrix decomposition to mine the internal correlation of the i-th type or the j-th type hidden in R ij , and then specifically discover the potential features of the image.
  • a homogeneous feature fusion sub-model is determined, including:
  • the second preset network is trained to obtain a homogeneous feature fusion sub-model.
  • the second preset network can be a homogeneous feature network based on network alignment, and performing collaborative matrix decomposition on the homogeneous feature network based on network alignment can mine the latent representation matrix of the image.
  • the homogeneous feature fusion sub-model can be determined by the following formula (4).
  • Formula (4) can simultaneously consider the impact of different heterogeneous feature association data and different homogeneous feature association data on the potential association of the target by calculating the weight.
  • the entity values in the homogeneous feature correlation matrix take positive values for dissimilar objects, and take negative values for similar objects. Entities that take positive values are called don’t connect constraints, because they force pairs of the same type of image samples Different objects are far away from each other in the low-rank representation space. Entities that take negative values are called must-connected constraints, because they force a pair of objects of the same type of image samples to be close in the low-rank space.
  • G i is a low-rank representation of n i image samples
  • G i is a low-rank representation of n i image features
  • the target fusion model can be effectively trained by combining the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model, thereby avoiding the problem of information loss during the fusion process of image data.
  • Fig. 3 is a schematic flowchart of another image fusion method provided by an embodiment of the present disclosure. This embodiment is further expanded and optimized on the basis of the above embodiments, wherein a possible implementation of S112 is as follows:
  • the initial fusion model can be determined by the following formula (5).
  • vec(W r ) is the vector after stacking and splicing the rows of W r , and ⁇ >0, ⁇ >0 are used to control the complexity of vec(W r ) and vec(W h ).
  • ⁇ , ⁇ can also help selectively integrate different heterogeneous data sources and homogeneous data sources.
  • the objective function of SNMF is non-convex on G, S, W r , W h , so it can be optimized and solved by Alternating Direction Method of Multipliers (ADMM) to obtain the objective parameters.
  • ADMM Alternating Direction Method of Multipliers
  • the initial parameters may include: a first parameter, a second parameter, a third parameter and a fourth parameter.
  • the initial parameters of the initial fusion model are optimized to obtain target parameters, including:
  • one parameter in the initial parameters is optimized in turn to obtain the target parameter corresponding to one parameter
  • the preset optimization rules include: preset number of iterations and/or model convergence.
  • one parameter among the initial parameters may be optimized sequentially to obtain target parameters corresponding to all parameters.
  • the second parameter, the third parameter, and the fourth parameter can be fixed first, and the first parameter can be optimized, and after obtaining the target parameter corresponding to the first parameter, the second parameter, the The third parameter and the fourth parameter are optimized.
  • one parameter among the initial parameters is optimized in sequence, and the target parameter corresponding to each parameter is effectively obtained.
  • one of the initial parameters is optimized to obtain a target parameter corresponding to one parameter, including:
  • an iterative process can be used to alternately optimize and solve each initial parameter, that is, to fix three of the parameters unchanged each time, and optimize the other parameter at the same time until the specified number of iterations or convergence is reached.
  • formula (6) can be calculated for the partial derivative with respect to G i , and formula (9) can be obtained.
  • Equation (10), Equation (11) and Equation (12) can be defined as and Therefore, the low-rank representation G can be updated as:
  • the target parameters corresponding to each initial parameter included in the initial fusion model can be obtained, so that the target fusion model can be effectively constructed based on the target parameters corresponding to the initial parameters.
  • FIG. 4 is a schematic structural diagram of an image fusion device provided by an embodiment of the present disclosure; the device is configured in an electronic device , the image fusion method described in any embodiment of the present disclosure can be implemented.
  • the device specifically includes the following:
  • the acquisition module 410 is configured to acquire image data, the image data including: heterogeneous feature association data between different types of images and/or homogeneous feature association data between images of the same type;
  • the determining module 420 is configured to input the image data into a pre-trained target fusion model, and determine fusion data according to an output result of the target fusion model;
  • the target fusion model includes: a heterogeneous feature fusion sub-model and a homogeneous feature fusion sub-model, and the heterogeneous feature fusion sub-model is used for data fusion of the heterogeneous feature association data between the different types of images,
  • the homogeneous feature fusion sub-model is used to perform data fusion on the homogeneous feature association data between the same type of images.
  • the device of this embodiment further includes: a training module; the training module includes: a first determination unit, a second determination unit, and a third determination unit;
  • the first determination unit is configured to determine the heterogeneous feature fusion sub-model
  • the second determination unit is configured to determine a homogeneous feature fusion sub-model
  • the third determining unit is configured to determine a target fusion model according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model.
  • the first determination unit is specifically configured to:
  • the second determining unit is specifically configured to:
  • the third determination unit includes: a determination subunit and an optimization subunit; the determination subunit is configured to fuse submodels according to the heterogeneous feature and the homogeneous feature fusion submodel, The initial fusion model is determined; the optimization subunit is configured to optimize the initial parameters of the initial fusion model to obtain target parameters; the determination subunit is also configured to determine the target fusion model according to the target parameters.
  • the initial parameters include: a first parameter, a second parameter, a third parameter, and a fourth parameter; the determining subunit is specifically configured to: based on preset optimization rules, sequentially One of the initial parameters is optimized to obtain a target parameter corresponding to the one parameter; wherein, the preset optimization rule includes: a preset number of iterations and/or model convergence.
  • the determining subunit is specifically configured to: select one of the initial parameters to be determined as the parameter to be optimized, and keep other parameters in the initial parameters unchanged, based on the preset The constraint function optimizes the parameters to be optimized; until the optimization of each parameter in the initial parameters is completed, the target parameter corresponding to each parameter is obtained.
  • the image data is input into the pre-trained target fusion model, and the fusion data is determined according to the output result of the target fusion model, wherein the heterogeneous feature fusion included in the target fusion model can be used
  • the sub-model performs data fusion on the heterogeneous feature-related data between different types of images, and uses the homogeneous feature fusion sub-model to perform data fusion on the homogeneous feature-related data between the same type of images, which solves the problem of information loss during the fusion process. Therefore, the image fusion efficiency is effectively improved.
  • Each module in the above-mentioned image fusion device can be fully or partially realized by software, hardware and a combination thereof.
  • the above-mentioned modules can be embedded in or independent of the processor in the electronic device in the form of hardware, and can also be stored in the memory of the electronic device in the form of software, so that the processor can invoke and execute the corresponding operations of the above-mentioned modules.
  • an electronic device is provided.
  • the electronic device may be a terminal, and its internal structure may be as shown in FIG. 5 .
  • the electronic device includes a processor, a memory, a communication interface, a display screen and an input device connected through a system bus.
  • the processor of the electronic device is used to provide calculation and control capabilities.
  • the memory of the electronic device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system and computer readable instructions.
  • the internal memory provides an environment for the execution of the operating system and computer readable instructions in the non-volatile storage medium.
  • the communication interface of the electronic device is used to communicate with an external terminal in a wired or wireless manner, and the wireless manner can be realized through WIFI, an operator network, near field communication (NFC) or other technologies.
  • WIFI wireless fidelity
  • NFC near field communication
  • the computer-readable instructions are executed by the processor, a method for adjusting abnormal screen brightness is realized.
  • the display screen of the electronic device may be a liquid crystal display screen or an electronic ink display screen
  • the input device of the electronic device may be a touch layer covered on the display screen, or a button, a trackball or a touch pad provided on the housing of the electronic device , and can also be an external keyboard, touchpad, or mouse.
  • FIG. 5 is only a block diagram of a partial structure related to the disclosed solution, and does not constitute a limitation on the electronic device to which the disclosed solution is applied.
  • the specific electronic device can be More or fewer components than shown in the figures may be included, or some components may be combined, or have a different arrangement of components.
  • the image fusion apparatus provided in the present disclosure may be implemented in the form of a computer-readable instruction, and the computer-readable instruction may be run on an electronic device as shown in FIG. 5 .
  • Each program module constituting the electronic device can be stored in the memory of the electronic device, and the computer-readable instructions formed by each program module enable the processor to execute the steps in the image fusion method of each embodiment of the present disclosure described in this specification.
  • an electronic device including a memory and one or more processors, the memory stores computer-readable instructions, and the processor implements the following steps when executing the computer-readable instructions: acquiring image data; wherein , the image data includes: heterogeneous feature association data between different types of images and/or homogeneous feature association data between images of the same type; the image data is input into the target fusion model obtained in advance, and according to the output of the target fusion model As a result, the fusion data is determined; wherein, the target fusion model includes: a heterogeneous feature fusion sub-model and a homogeneous feature fusion sub-model, and the heterogeneous feature fusion sub-model is used for data fusion of heterogeneous feature association data between different types of images, and The homogeneous feature fusion sub-model is used for data fusion of homogeneous feature association data between images of the same type.
  • the processor when the processor executes the computer-readable instructions, the following steps are also implemented: acquiring image data; determining the heterogeneous feature fusion sub-model, and determining the homogeneous feature fusion sub-model; according to the heterogeneous feature fusion sub-model and the homogeneous
  • the feature fusion sub-model determines the target fusion model; the image data is input into the target fusion model obtained in advance training, and the fusion data is determined according to the output result of the target fusion model.
  • the processor executes the computer-readable instructions, the following steps are also implemented: acquiring image data; determining the heterogeneous feature fusion sub-model, and determining the homogeneous feature fusion sub-model; according to the heterogeneous feature fusion sub-model and the homogeneous
  • the feature fusion sub-model determines the initial fusion model; optimizes the initial parameters of the initial fusion model to obtain the target parameters; determines the target fusion model according to the target parameters; inputs the image data into the target fusion model obtained in advance training, and according to the target The output of the fused model determines the fused data.
  • one or more non-volatile storage media storing computer-readable instructions are provided, and the computer-readable instructions are executed by one or more processors to implement the following steps: acquiring image data; wherein, the image The data includes: heterogeneous feature association data between different types of images and/or homogeneous feature association data between images of the same type; the image data is input into the target fusion model obtained in advance, and determined according to the output result of the target fusion model Fusion data; wherein, the target fusion model includes: heterogeneous feature fusion sub-model and homogeneous feature fusion sub-model, heterogeneous feature fusion sub-model is used for data fusion of heterogeneous feature association data between different types of images, homogeneous feature fusion sub-model The fusion sub-model is used for data fusion of homogeneous feature association data between images of the same type.
  • the following steps are also implemented: acquiring image data; determining the heterogeneous feature fusion sub-model, and determining the homogeneous feature fusion sub-model; according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model
  • the qualitative feature fusion sub-model is used to determine the target fusion model; the image data is input into the target fusion model obtained by pre-training, and the fusion data is determined according to the output result of the target fusion model.
  • the following steps are also implemented: acquiring image data; determining the heterogeneous feature fusion sub-model, and determining the homogeneous feature fusion sub-model; according to the heterogeneous feature fusion sub-model and the homogeneous feature fusion sub-model
  • the quality feature fusion sub-model is used to determine the initial fusion model; the initial parameters of the initial fusion model are optimized to obtain the target parameters; according to the target parameters, the target fusion model is determined; the image data is input into the target fusion model obtained in advance training, and The output of the target fusion model determines the fusion data.
  • the image data is input into the pre-trained target fusion model, and the fusion data is determined according to the output result of the target fusion model.
  • Data fusion of heterogeneous feature correlation data between images, using homogeneous feature fusion sub-model for data fusion of homogeneous feature correlation data between images of the same type which solves the problem of information loss in the fusion process, thus effectively improving image quality. fusion efficiency.
  • Non-volatile memory may include read-only memory (Read-Only Memory, ROM), magnetic tape, floppy disk, flash memory or optical memory, etc.
  • Volatile memory can include random access memory (Random Access Memory, RAM) or external cache memory.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • the image fusion method provided by the disclosure can solve the problem of information loss in the process of image fusion, improve the accuracy of image fusion in the process of data conversion, thereby effectively improving the efficiency of image fusion, and has strong industrial applicability.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像融合方法、装置、电子设备和介质；其中，该方法包括：获取图像数据，图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据；将图像数据输入预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据；其中，目标融合模型包括：异质特征融合子模型和同质特征融合子模型，异质特征融合子模型用于对不同类型图像间的异质特征关联数据进行数据融合，同质特征融合子模型用于对同种类型图像间的同质特征关联数据进行数据融合。本公开实施例能够有效提升图像融合效率。

Description

图像融合方法、装置、电子设备和存储介质
本公开要求于2021年9月26日提交中国专利局、申请号为202111130226.X、发明名称为“图像融合方法、装置、电子设备和介质”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及一种图像融合方法、装置、电子设备和介质。
背景技术
图像融合是采用特定的算法将两幅或多幅图像综合成一幅新的图像，以对每幅图像中的有效数据进行提取汇总。其中，两幅图像之间可能会存在异质特征关联数据或同质特征关联数据，异质特征关联数据为不同类型图像间存在的不同类关联数据，同质特征关联数据为同种类型图像间存在的同类关联数据。
相关技术中，主要是采用将不同类型数据进行转换，得到同一类型数据，以得到图像融合，如将图像的异质特征数据转换为其同质数据，或者，将图像的同质特征数据转换为其异质数据。
然而，数据转换过程中存在信息损失，导致图像融合精度较低。
发明内容
(一)要解决的技术问题
本公开要解决的技术问题为：如何提高数据转换过程中的图像融合精度。
(二)技术方案
根据本公开公开的各种实施例，提供一种图像融合方法、装置、计算机设备和存储介质。
一种图像融合方法，所述方法包括：
获取图像数据，所述图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据；
将所述图像数据输入预先训练得到的目标融合模型中，并根据所述目标融合模型的输出结果确定融合数据；
其中，所述目标融合模型包括：异质特征融合子模型和同质特征融合子模型，所述异质特征融合子模型用于对所述不同类型图像间的 异质特征关联数据进行数据融合，所述同质特征融合子模型用于对所述同种类型图像间的同质特征关联数据进行数据融合。
在一个实施例中，所述目标融合模型的训练过程，包括：确定异质特征融合子模型，以及确定同质特征融合子模型；根据所述异质特征融合子模型和所述同质特征融合子模型，确定目标融合模型。
在一个实施例中，所述确定异质特征融合子模型，包括：在第一预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的异质表征矩阵；基于所述样本图像的异质表征矩阵，对所述第一预设网络进行训练，得到异质特征融合子模型。
在一个实施例中，所述确定同质特征融合子模型，包括：在第二预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的同质表征矩阵；基于所述样本图像的同质表征矩阵，对所述第二预设网络进行训练，得到同质特征融合子模型。
在一个实施例中，所述根据所述异质特征融合子模型和所述同质特征融合子模型，确定目标融合模型，包括：根据所述异质特征融合子模型和所述同质特征融合子模型，确定初始融合模型；对所述初始融合模型的初始参数进行优化处理，得到目标参数；根据所述目标参数，确定目标融合模型。
在一个实施例中，所述初始参数包括：第一参数、第二参数、第三参数和第四参数；所述对所述初始融合模型的初始参数进行优化处理，得到目标参数，包括：基于预设优化规则，依次对所述初始参数中的一个参数进行优化，得到所述一个参数对应的目标参数；其中，所述预设优化规则包括：预设迭代次数和/或模型收敛。
在一个实施例中，所述对所述初始参数中的一个参数进行优化，得到所述一个参数对应的目标参数，包括：选出所述初始参数中的一个参数确定为待优化参数，且保持所述初始参数中的其他参数不变，基于预设约束函数对所述待优化参数进行优化；直至所述初始参数中的每个参数优化完成，得到所述每个参数对应的目标参数。
在一个实施例中，所述不同类型图像间的异质特征关联数据可通过如下公式确定：
Figure PCTCN2021140347-appb-000001
其中，m表示图像类型的数量，R ij表示第种i种类型图像的n i个样本异质特征关联，R表示哈达玛积。
在一个实施例中，所述同种类型图像间的同质特征关联数据，可通过如下公式确定：
Figure PCTCN2021140347-appb-000002
其中，
Figure PCTCN2021140347-appb-000003
表示第种i类型图像的n i个样本之间的多源同质特征关联。
在一个实施例中，所述确定异质特征融合子模型，包括：
Figure PCTCN2021140347-appb-000004
其中，
Figure PCTCN2021140347-appb-000005
表示第i种或第j种类型图像的低秩表示，k i,k j表示降低后的维度，W r∈R m×n，W r对
Figure PCTCN2021140347-appb-000006
个异质特征关联网络所赋予的权重。
在一个实施例中，所述确定同质特征融合子模型，包括：
Figure PCTCN2021140347-appb-000007
其中，
Figure PCTCN2021140347-appb-000008
表示第i种类型图像样本共收集到n i种来源的同质特征关联数据，t i表示第i种类型图像样本共收集到t i种来源的同质特征关联数据。
Figure PCTCN2021140347-appb-000009
如果，t>t i，则沿着
Figure PCTCN2021140347-appb-000010
主对角线的的第i个矩阵块为0。
在一个实施例中，所述根据所述异质特征融合子模型和所述同质特征融合子模型，确定初始融合模型，包括：
Figure PCTCN2021140347-appb-000011
其中，vec(W r)是将W r的行堆叠拼接后的向量，α>0,β>0被用来控 制vec(W r)和vec(W h)的复杂度。同时，α,β还可以帮助选择性的集成不同的异质数据源和同质数据源。
一种图像融合装置，包括：
获取模块，配置成获取图像数据，所述图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据；
确定模块，配置成将所述图像数据输入预先训练得到的目标融合模型中，并根据所述目标融合模型的输出结果确定融合数据；
其中，所述目标融合模型包括：异质特征融合子模型和同质特征融合子模型，所述异质特征融合子模型用于对所述不同类型图像间的异质特征关联数据进行数据融合，所述同质特征融合子模型用于对所述同种类型图像间的同质特征关联数据进行数据融合。
可选的，还包括：训练模块；训练模块，包括：第一确定单元、第二确定单元和第三确定单元；
第一确定单元，配置成确定异质特征融合子模型；
第二确定单元，配置成确定同质特征融合子模型；
第三确定单元，配置成根据所述异质特征融合子模型和所述同质特征融合子模型，确定目标融合模型。
可选的，第一确定单元，具体配置成：
在第一预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的异质表征矩阵；
基于所述样本图像的异质表征矩阵，对所述第一预设网络进行训练，得到异质特征融合子模型。
可选的，第二确定单元，具体配置成：
在第二预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的同质表征矩阵；
基于所述样本图像的同质表征矩阵，对所述第二预设网络进行训练，得到同质特征融合子模型。
可选的，第三确定单元，包括：确定子单元和优化子单元；
确定子单元，配置成根据所述异质特征融合子模型和所述同质特征融合子模型，确定初始融合模型；
优化子单元，配置成对所述初始融合模型的初始参数进行优化处理，得到目标参数；
确定子单元，还配置成根据所述目标参数，确定目标融合模型。
可选的，所述初始参数包括：第一参数、第二参数、第三参数和第四参数；
确定子单元，具体配置成：
基于预设优化规则，依次对所述初始参数中的一个参数进行优化，得到所述一个参数对应的目标参数；
其中，所述预设优化规则包括：预设迭代次数和/或模型收敛。
可选的，确定子单元，具体配置成：
选出所述初始参数中的一个参数确定为待优化参数，且保持所述初始参数中的其他参数不变，基于预设约束函数对所述待优化参数进行优化；
直至所述初始参数中的每个参数优化完成，得到所述每个参数对应的目标参数。
一种电子设备，包括存储器和一个或多个处理器，将所述存储器配置成存储有计算机可读指令的模块；所述计算机可读指令被所述处理器执行时，使得所述一个或多个处理器执行本公开任意实施例所提供的图像融合方法的步骤。
一个或多个存储有计算可读指令的非易失性存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本公开任意实施例所提供的图像融合方法的步骤。
本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得，本公开的一个或多个实施例的细节在下面的附图和描述中提出。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本公开一个或多个实施例提供的一种图像融合方法的流程示意图；
图2是本公开一个或多个实施例提供的另一种图像融合方法的流程示意图；
图3是本公开一个或多个实施例提供的又一种图像融合方法的流程示意图；
图4是本公开一个或多个实施例提供的一种图像融合装置的结构示意图；
图5是本公开一个或多个实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
在一个实施例中，如图1所示，提供了一种图像融合方法，本实施例以该方法应用于移动终端进行举例说明，可以理解的是，该方法也可以应用于移动终端的服务器，还可以应用于包括移动终端和服务器的系统，并通过移动终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S110、获取图像数据。
其中，图像数据可包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据。
示例性地，图像数据可包括：不同类型图像间的异质特征关联数据，或者，同种类型图像间的同质特征关联数据，或者，不同类型图像间的异质特征关联数据和同种类型图像间的同质特征关联数据。
其中，假设图像类型有m种，不同类型图像间的异质特征关联数据可通过如下公式(1)确定。
Figure PCTCN2021140347-appb-000012
公式(1)中，R ij表示第种i种类型图像的n i个样本异质特征关联，R表示哈达玛积。
同种类型图像间的同质特征关联数据，可通过如下公式(2)确定。
Figure PCTCN2021140347-appb-000013
公式(2)中，
Figure PCTCN2021140347-appb-000014
表示第种i类型图像的n i个样本之间的多源同质特征关联。
S120、将图像数据输入预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据。
其中，目标融合模型包括：异质特征融合子模型和同质特征融合子模型，异质特征融合子模型用于对不同类型图像间的异质特征关联数据进行数据融合，同质特征融合子模型用于对同种类型图像间的同质特征关联数据进行数据融合。
其中，目标融合模型可由基于选择性矩阵分解(Selective Non-Matrix Factorization,SNMF)的算法实现确定出，具体的，SNMF能够将多个异质特征关联网络协同矩阵分解为各类型节点的低秩矩阵，并自动优化不同网络的权重。SNMF同时借鉴网络对齐的思想，通过将这些低秩矩阵在优化过程中向多源同质特征网络对齐的方式来进行正则化约束。进而，使用优化后的低秩矩阵来重构目标图像表示矩阵。
进一步地，SNMF还可应用到图像分类中，其中，具体的分类方法可选择支持向量机的实现方法。
本实施例提供的一种图像融合方法，通过将图像数据输入至预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据，其中，可采用目标融合模型包括的异质特征融合子模型对不同类型图像间的异质特征关联数据进行数据融合，采用同质特征融合子模型对同种类型图像间的同质特征关联数据进行数据融合，解决了融合过程中信息损失的问题，从而，提高了数据转换过程中的图像融合精度，有效提升了图像融合效率。
图2是本公开实施例提供的另一种图像融合方法的流程示意图。本实施例是在上述实施例的基础上进一步扩展与优化，进一步地，在S120之前，本实施例还可以包括：
S111、确定异质特征融合子模型，以及确定同质特征融合子模型。
其中，异质特征融合子模型能够有效对不同类型图像间的异质特征关联数据进行数据融合，同质特征融合子模型能够有效对同种类型图像间的同质特征关联数据进行数据融合。
在本实施例中，可选的，确定异质特征融合子模型，包括：
在第一预设网络上对样本图像进行协同矩阵分解，得到样本图像 的异质表征矩阵；
基于样本图像的异质表征矩阵，对第一预设网络进行训练，得到异质特征融合子模型。
其中，第一预设网络可为多类型异质特征关联网络，在多类型异质特征关联网络上进行协同矩阵分解能够挖掘出图像的潜在表示矩阵。
示例性地，异质特征融合子模型可通过如下公式(3)确定。
Figure PCTCN2021140347-appb-000015
其中，
Figure PCTCN2021140347-appb-000016
表示第i种或第j种类型图像的低秩表示，k i,k j表示降低后的维度。
由于所收集到的不同类型的图像样本的同质特征关联网络数量不同，假设τ＝max it i，
Figure PCTCN2021140347-appb-000017
相比R ij规模更小，可被视为低秩压缩后的异质特征关联网络。
Figure PCTCN2021140347-appb-000018
分别在压缩的k i,k j维空间以实数化的形式描述第i种类型图像样本的n i个对象的属性信息和第j种类型图像样本的n j个对象的属性信息。
其中，W r∈R m×n，W r对
Figure PCTCN2021140347-appb-000019
个异质特征关联网络所赋予的权重。
公式(3)通过低秩矩阵分解挖掘隐藏在R ij中第i种类型或第j种类型内在关联，进而具体发现图像的潜在特征。
W r对
Figure PCTCN2021140347-appb-000020
个异质特征关联网络所赋予的权重，对于
Figure PCTCN2021140347-appb-000021
公式(3)忽略了同质特征数据源的对于目标关联预测的贡献，这样，预测性能可能会受到噪声的同质特征数据源的影响而有所损失。因此，本实施例可进一步引入基于网络对齐的协同矩阵分解的方案来选择性地融合不同的同质特征关联网络。
在本实施例中，可选的，确定同质特征融合子模型，包括：
在第二预设网络上对样本图像进行协同矩阵分解，得到样本图像的同质表征矩阵；
基于样本图像的同质表征矩阵，对第二预设网络进行训练，得到同质特征融合子模型。
其中，第二预设网络可为基于网络对齐的同质特征网络，在基于网络对齐的同质特征网络上进行协同矩阵分解能够挖掘出图像的潜在 表示矩阵。
示例性地，同质特征融合子模型可通过如下公式(4)确定。
Figure PCTCN2021140347-appb-000022
其中，对于
Figure PCTCN2021140347-appb-000023
公式(4)可以通过计算权重来同时考虑不同的异质特征关联数据和不同的同质特征关联数据对于目标潜在关联的影响。
Figure PCTCN2021140347-appb-000024
表示第i种类型图像样本共收集到n i种来源的同质特征关联数据，其中，t i表示第i种类型图像样本共收集到t i种来源的同质特征关联数据。
Figure PCTCN2021140347-appb-000025
如果，t>t i，则沿着
Figure PCTCN2021140347-appb-000026
主对角线的的第i个矩阵块为0。
同质特征关联矩阵中的实体数值对于不相似的对象取正值，对于相似的对象取负值，取正值的实体被称为勿连约束，因为它们会迫使成对的同一类型图像样本的不同对象在低秩表示空间中彼此远离，取负值的实体被称为必连的约束，因为它们迫使同一类型图像样本的一对对象在低秩空间中接近，这些同质特征关联可以协同指导对于低秩矩阵G i的求解。
假设，G i是n i个图像样本的低秩表示，而G i是n i个图像特征的低秩表示，则可以通过重构
Figure PCTCN2021140347-appb-000027
来完成对目标图像的表示重构。
S112、根据异质特征融合子模型和同质特征融合子模型，确定目标融合模型。
其中，可通过结合异质特征融合子模型和同质特征融合子模型，有效训练出目标融合模型，从而，避免图像数据在融合过程中信息损失的问题。
图3是本公开实施例提供的又一种图像融合方法的流程示意图。本实施例是在上述实施例的基础上进一步扩展与优化，其中，S112的一种可能的实现方式如下：
S1121、根据异质特征融合子模型和同质特征融合子模型，确定初始融合模型。
其中，初始融合模型可通过如下公式(5)确定。
Figure PCTCN2021140347-appb-000028
其中，vec(W r)是将W r的行堆叠拼接后的向量，α>0,β>0被用来控制vec(W r)和vec(W h)的复杂度。同时，α,β还可以帮助选择性的集成不同的异质数据源和同质数据源。
S1122、对初始融合模型的初始参数进行优化处理，得到目标参数。
其中，SNMF的目标函数在G,S,W r,W h上是非凸的，因此可以借助交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对其进行优化求解，得到目标参数。
其中，初始参数可包括：第一参数、第二参数、第三参数和第四参数。
在本实施例中，可选的，对初始融合模型的初始参数进行优化处理，得到目标参数，包括：
基于预设优化规则，依次对初始参数中的一个参数进行优化，得到一个参数对应的目标参数；
其中，预设优化规则包括：预设迭代次数和/或模型收敛。
其中，可依次对初始参数中的一个参数进行优化，得到所有参数对应的目标参数。
示例性地，可先固定第二参数、第三参数和第四参数不变，对第一参数进行优化处理，得到第一参数对应的目标参数后，再依次采用相同方式对第二参数、第三参数和第四参数进行优化。
从而，基于预设优化规则，依次对初始参数中的一个参数进行优化，有效得到每个参数对应的目标参数。
在本实施例中，可选的，对初始参数中的一个参数进行优化，得到一个参数对应的目标参数，包括：
选出初始参数中的一个参数确定为待优化参数，且保持初始参数中的其他参数不变，基于预设约束函数对待优化参数进行优化；
直至初始参数中的每个参数优化完成，得到每个参数对应的目标参数。
其中，可采用迭代过程来交替优化求解每个初始参数，即每次先固定其中3个参数不变，同时优化另外1个参数，直至达到指定的迭 代次数或者收敛。
引入约束G i≥0的拉格朗日乘数
Figure PCTCN2021140347-appb-000029
则公式(5)可等价为如下公式(6)。
Figure PCTCN2021140347-appb-000030
其中，假设G,W r,W h已知，可以优化S ij(如果
Figure PCTCN2021140347-appb-000031
)，因此对公式(6)求关于S ij的偏导数，并对于
Figure PCTCN2021140347-appb-000032
使得
Figure PCTCN2021140347-appb-000033
可以得到公式(7)。
Figure PCTCN2021140347-appb-000034
假设G,W r,W h已知，可以优化S ii因此对公式(6)求关S ii的偏导数，并对于
Figure PCTCN2021140347-appb-000035
使得
Figure PCTCN2021140347-appb-000036
可以得到公式(8)。
Figure PCTCN2021140347-appb-000037
类似地，假设S,W r,W h已知，可以对公式(6)求关于G i的偏导数，可以得到公式(9)。
Figure PCTCN2021140347-appb-000038
多项式因子可以通过令
Figure PCTCN2021140347-appb-000039
获得，由Karush-Kuhn-Tucker(KKT) 条件可得：0＝λ iRG i。
0＝λ iRG i是一个定点方程且解必须满足收敛条件，因此可使得：
Figure PCTCN2021140347-appb-000040
对于
Figure PCTCN2021140347-appb-000041
有：
Figure PCTCN2021140347-appb-000042
对于t＝1,2,...,max it i，有：
Figure PCTCN2021140347-appb-000043
公式(10)、公式(11)和公式(12)中的正值和负值符号可分别定义为
Figure PCTCN2021140347-appb-000044
和
Figure PCTCN2021140347-appb-000045
因此，低秩表示G可更新为：
Figure PCTCN2021140347-appb-000046
在S,G更新结束之后，可以将其视为已知的常数并继续对公式(5)求W r和W h的偏导。当W r求偏导时，可得：
Figure PCTCN2021140347-appb-000047
令
Figure PCTCN2021140347-appb-000048
代表异质关联R ij的重构损失，公式(14)可简化为：
Figure PCTCN2021140347-appb-000049
同求解W r类似，当对W h求偏导时，进而可得：
Figure PCTCN2021140347-appb-000050
令
Figure PCTCN2021140347-appb-000051
代表低秩表示G i的同质内部约束，公式(16)可简化为：
Figure PCTCN2021140347-appb-000052
需要说明的是，对公式(15)和公式(17)的求解可看作是关于vec(W r)和vec(W h)的二次规划问题，可同算法SNMF引入拉格朗日乘数来进行求解。
S1123、根据目标参数，确定目标融合模型。
其中，对每个初始参数进行优化后，可得到初始融合模型中包括的每个每个初始参数对应的目标参数，从而，基于初始参数对应的目标参数，能够有效构建出目标融合模型。
应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于同一发明构思，作为对上述方法的实现，本公开实施例还提供了一种图像融合装置，图4是本公开实施例提供的一种图像融合装置的结构示意图；该装置配置于电子设备中，可实现本公开任意实施例所述的图像融合方法。该装置具体包括如下：
获取模块410，配置成获取图像数据，所述图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据；
确定模块420，配置成将所述图像数据输入预先训练得到的目标融合模型中，并根据所述目标融合模型的输出结果确定融合数据；
其中，所述目标融合模型包括：异质特征融合子模型和同质特征融合子模型，所述异质特征融合子模型用于对所述不同类型图像间的异质特征关联数据进行数据融合，所述同质特征融合子模型用于对所述同种类型图像间的同质特征关联数据进行数据融合。
在本实施例中，可选的，本实施例装置还包括：训练模块；训练模块，包括：第一确定单元、第二确定单元和第三确定单元；
第一确定单元，配置成确定异质特征融合子模型；
第二确定单元，配置成确定同质特征融合子模型；
第三确定单元，配置成根据所述异质特征融合子模型和所述同质特征融合子模型，确定目标融合模型。
在本实施例中，可选的，第一确定单元，具体配置成：
在第一预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的异质表征矩阵；基于所述样本图像的异质表征矩阵，对所述第一预设网络进行训练，得到异质特征融合子模型。
在本实施例中，可选的，第二确定单元，具体配置成：
在第二预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的同质表征矩阵；基于所述样本图像的同质表征矩阵，对所述第二预设网络进行训练，得到同质特征融合子模型。
在本实施例中，可选的，第三确定单元，包括：确定子单元和优化子单元；确定子单元，配置成根据所述异质特征融合子模型和所述同质特征融合子模型，确定初始融合模型；优化子单元，配置成对所述初始融合模型的初始参数进行优化处理，得到目标参数；确定子单元，还配置成根据所述目标参数，确定目标融合模型。
在本实施例中，可选的，所述初始参数包括：第一参数、第二参数、第三参数和第四参数；确定子单元，具体配置成：基于预设优化规则，依次对所述初始参数中的一个参数进行优化，得到所述一个参数对应的目标参数；其中，所述预设优化规则包括：预设迭代次数和/或模型收敛。
在本实施例中，可选的，确定子单元，具体配置成：选出所述初始参数中的一个参数确定为待优化参数，且保持所述初始参数中的其他参数不变，基于预设约束函数对所述待优化参数进行优化；直至所述初始参数中的每个参数优化完成，得到所述每个参数对应的目标参数。
通过本公开实施例的图像融合装置，通过将图像数据输入至预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融 合数据，其中，可采用目标融合模型包括的异质特征融合子模型对不同类型图像间的异质特征关联数据进行数据融合，采用同质特征融合子模型对同种类型图像间的同质特征关联数据进行数据融合，解决了融合过程中信息损失的问题，从而，有效提升了图像融合效率。
关于图像融合装置的具体限定可以参见上文中对于图像融合方法的限定，在此不再赘述。上述图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机可读指令被处理器执行时以实现一种异常屏幕亮度的调整方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本公开提供的图像融合装置可以实现为一种计算机可读指令的形式，计算机可读指令可在如图5所示的电子设备上运行。电子设备的存储器中可存储组成该电子设备的各个程序模块，各个程序模块构成的计算机可读指令使得处理器执行本说明书中描述的本公开各个实施例的图像融合方法中的步骤。
在一个实施例中，提供了一种电子设备，包括存储器和一个或多个处理器，该存储器存储有计算机可读指令，该处理器执行计算机可读指令时实现以下步骤：获取图像数据；其中，图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联 数据；将图像数据输入预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据；其中，目标融合模型包括：异质特征融合子模型和同质特征融合子模型，异质特征融合子模型用于对不同类型图像间的异质特征关联数据进行数据融合，同质特征融合子模型用于对同种类型图像间的同质特征关联数据进行数据融合。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：获取图像数据；确定异质特征融合子模型，以及确定同质特征融合子模型；根据异质特征融合子模型和同质特征融合子模型，确定目标融合模型；将图像数据输入预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：获取图像数据；确定异质特征融合子模型，以及确定同质特征融合子模型；根据异质特征融合子模型和同质特征融合子模型，确定初始融合模型；对初始融合模型的初始参数进行优化处理，得到目标参数；根据目标参数，确定目标融合模型；将图像数据输入预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据。
在一个实施例中，提供了一个或多个存储有计算机可读指令的非易失性存储介质，计算机可读指令被一个或多个处理器执行时实现以下步骤：获取图像数据；其中，图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据；将图像数据输入预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据；其中，目标融合模型包括：异质特征融合子模型和同质特征融合子模型，异质特征融合子模型用于对不同类型图像间的异质特征关联数据进行数据融合，同质特征融合子模型用于对同种类型图像间的同质特征关联数据进行数据融合。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：获取图像数据；确定异质特征融合子模型，以及确定同质特征融合子模型；根据异质特征融合子模型和同质特征融合子模型，确定目标融合模型；将图像数据输入预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：获取图像数据；确定异质特征融合子模型，以及确定同质特征融合子模型；根据异质特征融合子模型和同质特征融合子模型，确定初始融合模型；对初始融合模型的初始参数进行优化处理，得到目标参数；根据目标参数，确定目标融合模型；将图像数据输入预先训练得 到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据。
本公开实施例通过将图像数据输入至预先训练得到的目标融合模型中，并根据目标融合模型的输出结果确定融合数据，其中，可采用目标融合模型包括的异质特征融合子模型对不同类型图像间的异质特征关联数据进行数据融合，采用同质特征融合子模型对同种类型图像间的同质特征关联数据进行数据融合，解决了融合过程中信息损失的问题，从而，有效提升了图像融合效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，比如静态随机存取存储器(Static Random Access Memory，SRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开专利的保护范围应以所附权利要求为准。
工业实用性
本公开提供的图像融合方法，可解决图像融合过程中信息损失的问题，提高了数据转换过程中的图像融合精度，从而，有效提升了图像融合效率，具有很强的工业实用性。

Claims (20)

  1. 一种图像融合方法，其特征在于，包括：
    获取图像数据，所述图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据；
    将所述图像数据输入预先训练得到的目标融合模型中，并根据所述目标融合模型的输出结果确定融合数据；
    其中，所述目标融合模型包括：异质特征融合子模型和同质特征融合子模型，所述异质特征融合子模型用于对所述不同类型图像间的异质特征关联数据进行数据融合，所述同质特征融合子模型用于对所述同种类型图像间的同质特征关联数据进行数据融合。
  2. 根据权利要求1所述的方法，其中，所述目标融合模型的训练过程，包括：
    确定异质特征融合子模型，以及确定同质特征融合子模型；
    根据所述异质特征融合子模型和所述同质特征融合子模型，确定目标融合模型。
  3. 根据权利要求2所述的方法，其中，所述确定异质特征融合子模型，包括：
    在第一预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的异质表征矩阵；
    基于所述样本图像的异质表征矩阵，对所述第一预设网络进行训练，得到异质特征融合子模型。
  4. 根据权利要求2所述的方法，其中，所述确定同质特征融合子模型，包括：
    在第二预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的同质表征矩阵；
    基于所述样本图像的同质表征矩阵，对所述第二预设网络进行训练，得到同质特征融合子模型。
  5. 根据权利要求2-4中任一项所述的方法，其中，所述根据所述异质特征融合子模型和所述同质特征融合子模型，确定目标融合模型，包括：
    根据所述异质特征融合子模型和所述同质特征融合子模型，确定初始融合模型；
    对所述初始融合模型的初始参数进行优化处理，得到目标参数；
    根据所述目标参数，确定目标融合模型。
  6. 根据权利要求5所述的方法，其中，所述初始参数包括：第一参数、第二参数、第三参数和第四参数；
    所述对所述初始融合模型的初始参数进行优化处理，得到目标参数，包括：
    基于预设优化规则，依次对所述初始参数中的一个参数进行优化，得到所述一个参数对应的目标参数；
    其中，所述预设优化规则包括：预设迭代次数和/或模型收敛。
  7. 根据权利要求6所述的方法，其中，所述对所述初始参数中的一个参数进行优化，得到所述一个参数对应的目标参数，包括：
    选出所述初始参数中的一个参数确定为待优化参数，且保持所述初始参数中的其他参数不变，基于预设约束函数对所述待优化参数进行优化；
    直至所述初始参数中的每个参数优化完成，得到所述每个参数对应的目标参数。
  8. 根据权利要求1所述的方法，其中，所述不同类型图像间的异质特征关联数据可通过如下公式确定：
    Figure PCTCN2021140347-appb-100001
    其中，m表示图像类型的数量，R ij表示第种i种类型图像的n i个样本异质特征关联，R表示哈达玛积。
  9. 根据权利要求1所述的方法，其中，所述同种类型图像间的同质特征关联数据，可通过如下公式确定：
    Figure PCTCN2021140347-appb-100002
    其中，
    Figure PCTCN2021140347-appb-100003
    表示第种i类型图像的n i个样本之间的多源同质特征关联。
  10. 根据权利要求2所述的方法，其中，所述确定异质特征融合子模型，包括：
    Figure PCTCN2021140347-appb-100004
    其中，
    Figure PCTCN2021140347-appb-100005
    表示第i种或第j种类型图像的低秩表示，k i,k j表示降低后的维度，W r∈R m×n，W r对
    Figure PCTCN2021140347-appb-100006
    个异质特征关联网络所赋予的权重。
  11. 根据权利要求2所述的方法，其中，所述确定同质特征融合子模型，包括：
    Figure PCTCN2021140347-appb-100007
    其中，
    Figure PCTCN2021140347-appb-100008
    表示第i种类型图像样本共收集到n i种来源的同质特征关联数据，t i表示第i种类型图像样本共收集到t i种来源的同质特征关联数据。
    Figure PCTCN2021140347-appb-100009
    如果，t>t i，则沿着
    Figure PCTCN2021140347-appb-100010
    主对角线的的第i个矩阵块为0。
  12. 根据权利要求5所述的方法，其中，所述根据所述异质特征融合子模型和所述同质特征融合子模型，确定初始融合模型，包括：
    Figure PCTCN2021140347-appb-100011
    其中，vec(W r)是将W r的行堆叠拼接后的向量，α>0,β>0被用来控制vec(W r)和vec(W h)的复杂度。同时，α,β还可以帮助选择性的集成不同的异质数据源和同质数据源。
  13. 一种图像融合装置，包括：
    获取模块，配置成获取图像数据，所述图像数据包括：不同类型图像间的异质特征关联数据和/或同种类型图像间的同质特征关联数据；
    确定模块，配置成将所述图像数据输入预先训练得到的目标融合模型中，并根据所述目标融合模型的输出结果确定融合数据；
    其中，所述目标融合模型包括：异质特征融合子模型和同质特征融合子模型，所述异质特征融合子模型用于对所述不同类型图像间的异质特征关联数据进行数据融合，所述同质特征融合子模型用于对所述同种类型图像间的同质特征关联数据进行数据融合。
  14. 根据权利要求13所述的装置，其中，所述装置还包括：训练模块；所述训练模块，包括：第一确定单元、第二确定单元和第三确定单元；
    第一确定单元，配置成确定异质特征融合子模型；
    第二确定单元，配置成确定同质特征融合子模型；
    第三确定单元，配置成根据所述异质特征融合子模型和所述同质特征融合子模型，确定目标融合模型。
  15. 根据权利要求14所述的装置，其中，所述第一确定单元，具体配置成：
    在第一预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的异质表征矩阵；
    基于所述样本图像的异质表征矩阵，对所述第一预设网络进行训练，得到异质特征融合子模型。
  16. 根据权利要求14所述的装置，其中，所述第二确定单元，具体配置成：
    在第二预设网络上对样本图像进行协同矩阵分解，得到所述样本图像的同质表征矩阵；
    基于所述样本图像的同质表征矩阵，对所述第二预设网络进行训练，得到同质特征融合子模型。
  17. 根据权利要求14所述的装置，其中，所述第三确定单元，包括：确定子单元和优化子单元；
    确定子单元，配置成根据所述异质特征融合子模型和所述同质特征融合子模型，确定初始融合模型；
    优化子单元，配置成对所述初始融合模型的初始参数进行优化处理，得到目标参数；
    确定子单元，还配置成根据所述目标参数，确定目标融合模型。
  18. 根据权利要求17所述的装置，其中，所述初始参数包括：第一参数、第二参数、第三参数和第四参数；
    确定子单元，具体配置成：
    基于预设优化规则，依次对所述初始参数中的一个参数进行优化，得到所述一个参数对应的目标参数；
    其中，所述预设优化规则包括：预设迭代次数和/或模型收敛。
  19. 一种电子设备，包括：存储器和一个或多个处理器，所述存储器存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1至12中任一项所述的图像融合方法的步骤。
  20. 一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1至12中任一项所述的图像融合方法的步骤。
PCT/CN2021/140347 2021-09-26 2021-12-22 图像融合方法、装置、电子设备和存储介质 WO2023045149A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111130226.X 2021-09-26
CN202111130226.XA CN113808064A (zh) 2021-09-26 2021-09-26 图像融合方法、装置、电子设备和介质

Publications (1)

Publication Number Publication Date
WO2023045149A1 true WO2023045149A1 (zh) 2023-03-30

Family

ID=78938657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/140347 WO2023045149A1 (zh) 2021-09-26 2021-12-22 图像融合方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113808064A (zh)
WO (1) WO2023045149A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116935083A (zh) * 2023-09-12 2023-10-24 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置
CN117173438A (zh) * 2023-09-04 2023-12-05 之江实验室 一种深度耦合多源传感特性的景象匹配方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808064A (zh) * 2021-09-26 2021-12-17 上海闻泰电子科技有限公司 图像融合方法、装置、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472684B1 (en) * 2010-06-09 2013-06-25 Icad, Inc. Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
CN112070093A (zh) * 2020-09-22 2020-12-11 网易（杭州）网络有限公司 生成图像分类模型的方法、图像分类方法、装置和设备
CN112288663A (zh) * 2020-09-24 2021-01-29 山东师范大学 一种红外与可见光图像融合方法及系统
CN113076953A (zh) * 2021-03-01 2021-07-06 深圳市捷顺科技实业股份有限公司 一种黑色车检测方法、系统、装置以及存储介质
CN113112439A (zh) * 2021-04-14 2021-07-13 展讯半导体(南京)有限公司 图像融合方法、图像融合模型的训练方法、装置和设备
CN113808064A (zh) * 2021-09-26 2021-12-17 上海闻泰电子科技有限公司 图像融合方法、装置、电子设备和介质
CN113822290A (zh) * 2021-09-26 2021-12-21 上海闻泰电子科技有限公司 数据融合方法、装置、电子设备和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472684B1 (en) * 2010-06-09 2013-06-25 Icad, Inc. Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
CN112070093A (zh) * 2020-09-22 2020-12-11 网易（杭州）网络有限公司 生成图像分类模型的方法、图像分类方法、装置和设备
CN112288663A (zh) * 2020-09-24 2021-01-29 山东师范大学 一种红外与可见光图像融合方法及系统
CN113076953A (zh) * 2021-03-01 2021-07-06 深圳市捷顺科技实业股份有限公司 一种黑色车检测方法、系统、装置以及存储介质
CN113112439A (zh) * 2021-04-14 2021-07-13 展讯半导体(南京)有限公司 图像融合方法、图像融合模型的训练方法、装置和设备
CN113808064A (zh) * 2021-09-26 2021-12-17 上海闻泰电子科技有限公司 图像融合方法、装置、电子设备和介质
CN113822290A (zh) * 2021-09-26 2021-12-21 上海闻泰电子科技有限公司 数据融合方法、装置、电子设备和计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245779A (zh) * 2023-05-11 2023-06-09 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN116245779B (zh) * 2023-05-11 2023-08-22 四川工程职业技术学院 一种图像融合方法、装置、存储介质及电子设备
CN117173438A (zh) * 2023-09-04 2023-12-05 之江实验室 一种深度耦合多源传感特性的景象匹配方法
CN117173438B (zh) * 2023-09-04 2024-02-27 之江实验室 一种深度耦合多源传感特性的景象匹配方法
CN116935083A (zh) * 2023-09-12 2023-10-24 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置
CN116935083B (zh) * 2023-09-12 2023-12-12 深圳须弥云图空间科技有限公司 一种图像聚类方法和装置

Also Published As

Publication number Publication date
CN113808064A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
WO2023045149A1 (zh) 图像融合方法、装置、电子设备和存储介质
US11341417B2 (en) Method and apparatus for completing a knowledge graph
JP6798021B1 (ja) 畳み込みニューラルネットワークの高速計算
US10304008B2 (en) Fast distributed nonnegative matrix factorization and completion for big data analytics
US20190362222A1 (en) Generating new machine learning models based on combinations of historical feature-extraction rules and historical machine-learning models
WO2018227800A1 (zh) 一种神经网络训练方法及装置
CN111126668B (zh) 基于图卷积网络的Spark作业时间预测方法和装置
US11928583B2 (en) Adaptation of deep learning models to resource constrained edge devices
CN111047563B (zh) 一种应用于医学超声图像的神经网络构建方法
WO2017181866A1 (en) Making graph pattern queries bounded in big graphs
US20160210718A1 (en) Data-parallel parameter estimation of the latent dirichlet allocation model by greedy gibbs sampling
US11900263B2 (en) Augmenting neural networks
WO2023045137A1 (zh) 数据融合方法、装置、电子设备和计算机可读存储介质
Sun et al. An improved multiclass LogitBoost using adaptive-one-vs-one
WO2023160290A1 (zh) 神经网络推理加速方法、目标检测方法、设备及存储介质
US9773327B2 (en) Modified flow graph depiction
WO2022166320A1 (zh) 图像处理方法、装置、电子设备及存储介质
US11023101B2 (en) System and method for implementing a self service machine learning framework
Baranger et al. Combined energy method and regularization to solve the Cauchy problem for the heat equation
CN109711555A (zh) 一种预测深度学习模型单轮迭代时间的方法和系统
CN111353585A (zh) 神经网络模型的结构搜索方法和装置
WO2023019427A1 (en) Method and apparatus for graph-based recommendation
US20240005181A1 (en) Domain exploration using sparse graphs
DeWitt et al. cpr: An R Package For Finding Parsimonious B-Spline Regression Models via Control Polygon Reduction and Control Net Reduction
US20220383164A1 (en) Methods and Systems for Generating Example-Based Explanations of Link Prediction Models in Knowledge Graphs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958260

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE