WO2025129752A1 - 基于混合特征交互Transformer的单帧图像超分辨率方法及装置 - Google Patents

基于混合特征交互Transformer的单帧图像超分辨率方法及装置 Download PDF

Info

Publication number
WO2025129752A1
WO2025129752A1 PCT/CN2023/143017 CN2023143017W WO2025129752A1 WO 2025129752 A1 WO2025129752 A1 WO 2025129752A1 CN 2023143017 W CN2023143017 W CN 2023143017W WO 2025129752 A1 WO2025129752 A1 WO 2025129752A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
layer
hybrid
deep
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2023/143017
Other languages
English (en)
French (fr)
Inventor
曾焕强
朱显丞
朱建清
陈婧
施一帆
林琦
陈斌
陈志达
卢伟
夏至贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Solex High Tech Industries Co Ltd
Huaqiao University
Original Assignee
Xiamen Solex High Tech Industries Co Ltd
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Solex High Tech Industries Co Ltd, Huaqiao University filed Critical Xiamen Solex High Tech Industries Co Ltd
Priority to JP2025551563A priority Critical patent/JP2026508397A/ja
Publication of WO2025129752A1 publication Critical patent/WO2025129752A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Definitions

  • the present invention relates to the field of image processing, and in particular to a single-frame image super-resolution method and device based on a hybrid feature interactive Transformer.
  • SwinIR adopts a hierarchical design that limits similarity calculations to local windows and uses a moving window mechanism to enhance information interaction across windows.
  • SwinIR uses window-based self-attention and abandons global information reasoning, which limits the performance of the Transformer.
  • HAT in which channel attention is introduced to better aggregate cross-window information.
  • Omni-SR which can simultaneously model pixel-level information interactions between spatial and window dimensions.
  • existing Transformer-based SR methods generally capture spatial and channel relationships through serial or parallel operations, but ignore the potential correlation between features of different dimensions, thereby limiting the performance of Transformer-based SR methods.
  • the purpose of the embodiments of the present application is to propose a single-frame image super-resolution method and device based on a hybrid feature interaction Transformer, which overcomes the problem that the existing Transformer method ignores the potential correlation between features of different dimensions, and significantly improves the global feature expression ability and detail reconstruction ability of the image super-resolution method by encouraging cross-dimensional feature interaction.
  • the present invention provides a single-frame image super-resolution method based on a hybrid feature interactive Transformer, comprising the following steps:
  • HELF ( ⁇ ) represents the function of the efficient local feature extraction unit
  • F shift-conv ( ⁇ ) represents the shift convolution operation of the first shift convolution layer, the second shift convolution layer or the third shift convolution layer
  • F SE ( ⁇ ) represents the function of the SE module
  • GeLU ( ⁇ ) represents the GeLU activation function.
  • the hybrid feature interactive self-attention unit includes a local window self-attention branch, a deep convolution The product branch and the bidirectional feature interaction unit
  • the bidirectional feature interaction unit includes a spatial interaction unit and a channel interaction unit
  • the channel interaction unit includes a global average pooling layer, a first convolution layer, a first batch of standardization layers, a second GeLU activation function layer, a second convolution layer and a first Sigmoid activation function layer connected in sequence
  • the spatial interaction unit includes a third convolution layer, a second batch of standardization layers, a third GeLU activation function layer, a fourth convolution layer and a second Sigmoid activation function connected in sequence
  • the local window self-attention branch includes a query linear layer, a key linear layer, a value linear layer and a local window self-attention module
  • the deep convolution branch includes a first deep convolution layer with a convolution kernel size of 3 ⁇ 3
  • the local features output by the first deep convolution layer are input into the channel interaction unit to obtain channel-
  • the calculation process of the hybrid feature interactive self-attention unit is as follows: the first feature map of the input hybrid feature interactive self-attention unit Input the first deep convolutional layer to obtain local features in, represents the real multidimensional space, C, H, and W represent the number of channels, length, and width of the first feature map, respectively. Represents three-dimensional data with a shape of C ⁇ H ⁇ W and a window size of S.
  • F local DwConv 3 ⁇ 3 (X);
  • DwConv 3 ⁇ 3 ( ⁇ ) represents the function of the first depthwise convolutional layer
  • CI( ⁇ ) represents the function of the channel interaction unit
  • L Q , L K , and LV represent the functions of the query linear layer, key linear layer, and value linear layer, respectively;
  • the data format of the value feature map V is converted from NS 2 ⁇ C to C ⁇ H ⁇ W and multiplied by the channel-level dynamic weight W ca to adaptively correct the value feature map V, and then the data format is restored to NS2 ⁇ C.
  • the corrected result is recorded as V′;
  • T represents the transposed matrix
  • Softmax represents the Softmax function
  • Si( ⁇ ) represents the function of the spatial interaction unit
  • the global feature F local is adaptively corrected by multiplying the spatial level dynamic weight W sa with the global feature F local , and the corrected result is recorded as F′ local ;
  • the mixed-scale feedforward neural network includes a first branch, a second branch and a fifth convolution layer
  • the first branch includes a second depth convolution layer, a first ReLU activation function layer, a third depth convolution layer and a second ReLU activation function layer connected in sequence
  • the second branch includes a fourth depth convolution layer, a third ReLU activation function layer, a fifth depth convolution layer and a fourth ReLU activation function layer connected in sequence
  • the convolution kernel size of the second depth convolution layer and the fifth depth convolution layer is 7 ⁇ 7
  • the convolution kernel size of the third depth convolution layer and the fourth depth convolution layer is 5 ⁇ 5
  • the specific calculation process is as follows:
  • the second feature map of the input mixed-scale feedforward neural network is fed along the channel dimension Divide X' into two equal parts and get the features after division and Represents the shape
  • the three-dimensional data will and
  • the first branch and the second branch are input respectively for mixed cross feature extraction, and the first cross feature and the second cross feature are output respectively.
  • the first cross feature and the second cross feature are concatenated and input into the fifth convolution layer.
  • the output of the fifth convolution layer is added to the second feature map to obtain the mixed scale feature.
  • ReLU( ⁇ ) represents the ReLU activation function
  • DwConv 5 ⁇ 5 ( ⁇ ) and DwConv 7 ⁇ 7 ( ⁇ ) represent the functions of the deep convolutional layer with kernels of 5 ⁇ 5 and 7 ⁇ 7, respectively
  • Conv 1 ⁇ 1 ( ⁇ ) represents the function of the fifth convolutional layer with a kernel size of 1 ⁇ 1
  • [ ⁇ ] represents the concatenation operation.
  • the specific structure and calculation process of the single-frame image super-resolution model are as follows:
  • the shallow feature extraction unit uses the sixth convolutional layer.
  • F 0 represents the shallow feature Conv 3 ⁇ 3 ( ⁇ ) represents convolution
  • the kernel is the function of the sixth convolutional layer of 3 ⁇ 3
  • I LR represents the low-resolution image
  • Fi -1 represents the output of the i-1th mixed feature interaction Transformer module
  • MF P represents the function of the Pth mixed feature interaction Transformer module
  • MF 1 represents the function of the first mixed feature interaction Transformer module
  • MF 2 represents the function of the second mixed feature interaction Transformer module
  • MF i represents the function of the i-th mixed feature interaction Transformer module
  • Fi represents the output of the i-th mixed feature interaction Transformer module
  • F P0 represents the deep feature
  • a model building module is configured to build and train a single-frame image super-resolution model based on a hybrid feature interactive Transformer to obtain a trained single-frame image super-resolution model, wherein the single-frame image super-resolution model includes a shallow feature extraction unit, a deep feature extraction unit, and an upsampling reconstruction unit connected in sequence, and the deep feature extraction unit includes P hybrid feature interactive Transformer modules connected in sequence;
  • FIG. 1 shows an exemplary device architecture 100 to which a single-frame image super-resolution method based on a hybrid feature interactive Transformer or a single-frame image super-resolution device based on a hybrid feature interactive Transformer according to an embodiment of the present application can be applied.
  • the device architecture 100 may include a terminal device 1 101, a terminal device 2 102, a terminal device 3 103, a network 104, and a server 105.
  • the network 104 is used to provide a medium for a communication link between the terminal device 1 101, the terminal device 2 102, the terminal device 3 103, and the server 105.
  • the network 104 may include various connection types, such as wired, wireless communication links, or optical fiber cables, etc.
  • FIG2 shows a single-frame image super-resolution method based on a hybrid feature interactive Transformer provided in an embodiment of the present application, comprising the following steps:
  • a low-resolution image to be reconstructed is collected, where the low-resolution image is a single-frame image.
  • the hybrid feature interaction Transformer module includes an efficient local feature extraction unit, a first standardization layer, a hybrid feature interaction self-attention unit, a second standardization layer and a hybrid scale feedforward neural network.
  • the input of the hybrid feature interaction Transformer module passes through the efficient local feature extraction unit and the first standardization layer in sequence.
  • the output of the first standardization layer is added to the input of the hybrid feature interaction Transformer module to obtain a first hybrid feature.
  • the first hybrid feature passes through the hybrid feature interaction self-attention unit and the second standardization layer in sequence.
  • the output of the second standardization layer is added to the first hybrid feature to obtain a second hybrid feature.
  • the second hybrid feature is input into the hybrid scale feedforward neural network to obtain a hybrid feature interaction. Output of the Transformer module.
  • HELF ( ⁇ ) represents the function of the efficient local feature extraction unit
  • F shift-conv ( ⁇ ) represents the shift convolution operation of the first shift convolution layer, the second shift convolution layer or the third shift convolution layer
  • F SE ( ⁇ ) represents the function of the SE module
  • GeLU ( ⁇ ) represents the GeLU activation function.
  • L Q , L K , and LV represent the functions of the query linear layer, key linear layer, and value linear layer, respectively;
  • T represents the transposed matrix
  • Softmax represents the Softmax function
  • SI( ⁇ ) represents the function of spatial interaction unit
  • the global feature F local is adaptively corrected by multiplying the spatial level dynamic weight W sa with the global feature F local , and the corrected result is recorded as F′ local ;
  • the mixed-scale feedforward neural network includes a first branch, a second branch and a fifth convolution layer
  • the first branch includes a second depth convolution layer, a first ReLU activation function layer, a third depth convolution layer and a second ReLU activation function layer connected in sequence
  • the second branch includes a fourth depth convolution layer connected in sequence.
  • the specific calculation process is as follows:
  • the second feature map of the input mixed-scale feedforward neural network is fed along the channel dimension Divide X' into two equal parts and get the features after division and Represents the shape
  • the three-dimensional data will and
  • the first branch and the second branch are input respectively for mixed cross feature extraction, and the first cross feature and the second cross feature are output respectively.
  • the first cross feature and the second cross feature are concatenated and input into the fifth convolution layer.
  • the output of the fifth convolution layer is added to the second feature map to obtain the mixed scale feature.
  • ReLU( ⁇ ) represents the ReLU activation function
  • DwConv 5 ⁇ 5 ( ⁇ ) and DwConv 7 ⁇ 7 ( ⁇ ) represents the function of the deep convolutional layer with kernel size of 5 ⁇ 5 and 7 ⁇ 7, respectively.
  • Conv 1 ⁇ 1 ( ⁇ ) represents the function of the fifth convolutional layer with kernel size of 1 ⁇ 1.
  • [ ⁇ ] represents the concatenation operation. represent the first and second characteristics respectively, Represent the first cross feature and the second cross feature respectively.
  • an efficient local feature extraction unit can be first constructed.
  • the efficient local feature extraction unit is sequentially composed of a first shifted convolution layer, a first GeLU activation function layer, a second shifted convolution layer, an SE module, and a third shifted convolution layer, wherein the SE module is a Squeeze-Excitation Module.
  • a hybrid feature interactive self-attention unit is then constructed.
  • the hybrid feature interactive self-attention unit is constructed on the basis of a standard local window self-attention unit by adding two key designs: (1) a dual-branch structure, including a local window self-attention branch and a deep convolution branch; (2) a bidirectional feature interaction unit.
  • a deep convolution layer parallel to the standard local window self-attention unit is introduced to enhance cross-window feature interaction.
  • the bidirectional feature interaction unit includes a spatial interaction unit and a channel interaction unit.
  • the information of the deep convolution branch first flows into the local window self-attention branch through the spatial interaction unit; then, the information of the local window self-attention branch flows into the deep convolution branch through the spatial interaction unit. Therefore, the bidirectional feature interaction unit proposed in the embodiment of the present application can provide complementary clues for the dual-branch structure to enhance information utilization.
  • the channel interaction unit is composed of a global average pooling layer, a first convolution layer with a convolution kernel size of 3 ⁇ 3, a first batch of standardization layers, a second GeLU activation function layer, a second convolution layer with a convolution kernel size of 3 ⁇ 3, and a first Sigmoid activation function layer cascaded.
  • the spatial interaction unit is composed of a third convolution layer with a convolution kernel size of 3 ⁇ 3, a second batch of standardization layers, a third GeLU activation function layer, a fourth convolution layer with a convolution kernel size of 3 ⁇ 3, and a second Sigmoid activation function cascaded.
  • the two multi-scale deep convolution branches realize mixed feature extraction by alternately using a deep convolution layer with a convolution kernel size of 5 ⁇ 5 and a deep convolution layer with a convolution kernel size of 7 ⁇ 7.
  • Each deep convolution layer is connected to a ReLU activation function layer, and finally the outputs of the two branches are fused using the fifth convolution layer with a convolution kernel size of 1 ⁇ 1 to obtain a mixed-scale feature.
  • an efficient local feature extraction unit, a hybrid feature interactive self-attention unit and a mixed-scale feedforward neural network are integrated to construct a hybrid feature interactive Transformer module, which is composed of a high-efficiency local feature extraction unit, a first normalization layer, a hybrid feature interactive self-attention unit, a second normalization layer, and a mixed-scale feedforward neural network in cascade.
  • a single-frame image super-resolution model based on a hybrid feature interactive Transformer is constructed and trained to obtain a trained single-frame image super-resolution model.
  • S3 input the low-resolution image to be reconstructed into the trained single-frame image super-resolution model, extract shallow features through the shallow feature extraction unit, input the shallow features into the deep feature extraction unit to extract deep features, input the deep features into the upsampling reconstruction unit, and reconstruct a high-resolution reconstructed image.
  • the specific structure and calculation process of the single-frame image super-resolution model are as follows:
  • the shallow feature extraction unit uses the sixth convolutional layer.
  • F 0 represents the shallow feature Conv 3 ⁇ 3 ( ⁇ ) represents the function of the sixth convolution layer with a convolution kernel of 3 ⁇ 3, and I LR represents a low-resolution image;
  • P hybrid feature interaction Transformer modules are used to extract features, and F0 is transmitted to the end of the network using long skip connections, and added to the output of the Pth hybrid feature interaction Transformer module for residual learning.
  • Fi -1 represents the output of the i-1th mixed feature interaction Transformer module
  • MF P represents the function of the Pth mixed feature interaction Transformer module
  • MF 1 represents the function of the first mixed feature interaction Transformer module
  • MF 2 represents the function of the second mixed feature interaction Transformer module
  • MF i represents the function of the i-th mixed feature interaction Transformer module
  • Fi represents the The output of i mixed feature interaction Transformer modules
  • F P0 represents the deep feature
  • the trained single-frame image super-resolution module is used to reconstruct the low-resolution image to be reconstructed to obtain a reconstruction result.
  • the trained single-frame image super-resolution module consists of three parts: a shallow feature extraction unit, a deep feature extraction unit, and an upsampling reconstruction unit. For a given low-resolution image to be reconstructed
  • the scaling factor scale is used as input, where the value of scale is the required magnification factor, for example, scale is 2, 3, 4 or 8.
  • a single-frame image super-resolution method based on a hybrid feature interactive Transformer proposed in an embodiment of the present application is compared with the most advanced single-frame image super-resolution method.
  • DIV2K is used as the training set
  • Set5, Se14, BSD100 and Urban100 are used as test sets
  • the target scaling factor is 2.
  • the quantitative indicators PSNR and SSIM are used to evaluate the quality of the reconstructed image. The higher the PSNR and SSIM values correspond to higher SR performance.
  • the quantitative indicators parameter quantity (Params) and Flops are used to measure the model scale and execution speed. The lower the parameter quantity, the smaller the model scale, and the lower the Flops value, the faster the model execution speed.
  • the present application provides an embodiment of a single-frame image super-resolution device based on a hybrid feature interactive Transformer, which corresponds to the method embodiment shown in FIG2, and can be specifically applied to various electronic devices. Prepared in.
  • An image acquisition module 1 is configured to acquire a low-resolution image to be reconstructed
  • an embodiment of the present disclosure includes a computer program product, which includes a computer program carried on a computer-readable medium, and the computer program includes a program code for executing the method shown in the flowchart.
  • the computer program can be downloaded and installed from a network through a communication part 910, and/or installed from a removable medium 912.
  • CPU central processing unit
  • GPU graphics processing unit
  • the computer-readable medium described in the present application may be a computer-readable signal medium or a computer-readable medium or any combination of the above two.
  • the computer-readable medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared or semiconductor device, device or component, or any combination of the above.
  • Computer-readable media may include, but are not limited to: an electrical connection with one or more wires, a portable computer disk, a hard disk, a random access memory (RAM), a read-only memory (ROM), an erasable programmable read-only memory (EPROM or flash memory), an optical fiber, a portable compact disk read-only memory (CD-ROM), an optical storage device, a magnetic storage device, or any suitable combination of the above.
  • a computer-readable medium may be any tangible medium containing or storing a program that can be used by or in combination with an instruction execution device, device or device.
  • a computer-readable signal medium may include a data signal propagated in a baseband or as part of a carrier wave, which carries a computer-readable program code.
  • This propagated data signal may take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the above.
  • the computer-readable signal medium may also be any computer-readable medium other than a computer-readable medium that can send, propagate or transmit a program for use by or in conjunction with an instruction execution device, apparatus or device.
  • the program code contained on the computer-readable medium may be transmitted using any appropriate medium, including but not limited to: wireless, wire, optical cable, RF, etc., or any suitable combination of the above.
  • Computer program code for performing the operations of the present application may be written in one or more programming languages, or a combination thereof, including object-oriented programming languages such as Java, Smalltalk, C++, and conventional procedural programming languages such as "C" or similar programming languages.
  • the program code may be executed entirely on the user's computer, partially on the user's computer, as a stand-alone software package, partially on the user's computer, or partially on the user's computer.
  • the program may be executed partially on a remote computer, or entirely on a remote computer or server.
  • the remote computer may be connected to the user's computer through any type of network, including a local area network (LAN) or a wide area network (WAN), or it may be connected to an external computer (e.g., through the Internet using an Internet service provider).
  • LAN local area network
  • WAN wide area network
  • each box in the flowchart or block diagram can represent a module, a program segment or a part of a code, and the module, a program segment or a part of the code contains one or more executable instructions for realizing the specified logical function.
  • the functions marked in the box can also occur in a different order from the order marked in the accompanying drawings. For example, two boxes represented in succession can actually be executed substantially in parallel, and they can sometimes be executed in the opposite order, depending on the functions involved.
  • each box in the block diagram and/or flowchart and the combination of boxes in the block diagram and/or flowchart can be implemented with a dedicated hardware-based device that performs a specified function or operation, or can be implemented with a combination of dedicated hardware and computer instructions.
  • modules involved in the embodiments described in this application may be implemented by software or hardware, and the modules described may also be set in a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，涉及图像处理领域，包括：获取待重建的低分辨率图像；构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。

Description

基于混合特征交互Transformer的单帧图像超分辨率方法及装置 技术领域
本发明涉及图像处理领域，具体涉及一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置。
背景技术
图像超分辨率(image Super-Resolution,SR)是计算机视觉和图像处理的关键任务之一，它旨在从已有的低分辨率(Low-Resolution,LR)图像中重建高质量的高分辨率(High-Resolution,HR)图像。近来，基于卷积神经网络(Convolutional Neural Network,CNN)的SR方法由于其强大的特征表示、端到端的可训练范式、卓越的性能，在图像SR领域占据主导地位。然而，由于卷积操作通过使用固定的滑动窗口来提取小邻域内的局部特征，基于CNN的SR方法的信息性像素有限。当前，Transformer作为一种新颖的CNN代替方案，在多种低级视觉任务上取得良好的表现。
对于图像SR，Liang等人提出了一种基于Swin Transformer的SR模型，即SwinIR。SwinIR采用了一种分层设计，将相似性计算限制在局部窗口中，并利用移动窗口机制来增强跨窗口的信息交互。然而，SwinIR由于使用基于窗口的自注意力，放弃了全局信息推理，Transformer的性能受到限制。为了激活更多有助于图像SR的信息性像素，Chen等人提出了HAT，其中引入通道注意力以更好地聚合跨窗口信息。Wang等人提出了Omni-SR，能够同时建模空间和窗口维度之间的像素级信息交互。然而，现有的基于Transformer的SR方法一般通过串行或并行的操作捕捉空间、通道间的关系，却忽略了不同维度的特征之间的潜在关联性，从而限制了基于Transformer的SR方法的性能。
发明内容
针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，克服现有Transformer方法忽略不同维度的特征之间的潜在关联性的问题，通过鼓励跨维度的特征交互，显著提升图像超分辨率方法的全局特征表达能力和细节重建能力。
第一方面，本发明提供了一种基于混合特征交互Transformer的单帧图像超分辨率方法，包括以下步骤：
获取待重建的低分辨率图像；
构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；
将待重建的低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像。
作为优选，混合特征交互Transformer模块包括高效局部特征提取单元、第一层标准化层、混合特征交互自注意力单元、第二层标准化层和混合尺度前馈神经网络，混合特征交互Transformer模块的输入依次经过高效局部特征提取单元和第一层标准化层，第一层标准化层的输出与混合特征交互Transformer模块的输入相加，得到第一混合特征，第一混合特征依次经过混合特征交互自注意力单元和第二层标准化层，第二层标准化层的输出与第一混合特征相加，得到第二混合特征，第二混合特征输入混合尺度前馈神经网络，得到混合特征交互Transformer模块的输出。
作为优选，高效局部特征提取单元包括依次连接的第一位移卷积层、第一GeLU激活函数层、第二位移卷积层、SE模块和第三位移卷积层，高效局部特征提取单元的计算过程如下：
HELF(·)＝Fshift-conv(FSE(Fshift-conv(GeLU(Fshift-conv(·)))))
；
其中，HELF(·)表示高效局部特征提取单元的函数，Fshift-conv(·)表示第一位移卷积层、第二位移卷积层或第三位移卷积层的位移卷积操作，FSE(·)表示SE模块的函数，GeLU(·)表示GeLU激活函数。
作为优选，混合特征交互自注意力单元包括局部窗口自注意力分支、深度卷 积分支和双向特征交互单元，双向特征交互单元包括空间交互单元和通道交互单元，通道交互单元包括依次连接的全局平均池化层、第一卷积层、第一批标准化层，第二GeLU激活函数层、第二卷积层和第一Sigmoid激活函数层，空间交互单元包括依次连接的第三卷积层、第二批标准化层、第三GeLU激活函数层、第四卷积层和第二Sigmoid激活函数，局部窗口自注意力分支包括查询线性层、键线性层、值线性层和局部窗口自注意力模块，深度卷积分支包括卷积核大小为3×3的第一深度卷积层，第一深度卷积层输出的局部特征输入通道交互单元，得到通道级动态权重，通道级动态权重输入局部窗口自注意力分支中对值线性层输出的值特征图进行自适应校正；局部窗口自注意力模块输出的全局特征输入空间交互单元，得到空间级动态权重，空间级动态权重输入深度卷积分支中对局部特征进行自适应校正。
作为优选，混合特征交互自注意力单元的计算过程如下：将输入混合特征交互自注意力单元的第一特征图输入第一深度卷积层，得到局部特征其中，表示实数多维空间，C、H、W分别表示第一特征图的通道数量、长度和宽度，表示形状为C×H×W的三维数据，窗口尺寸为S，其表达式如下：
Flocal＝DwConv3×3(X)；
其中，DwConv3×3(·)表示第一深度卷积层的函数；
将局部特征Flocal输入通道交互单元，获得通道级动态权重其表达式如下：
Wca＝CI(Flocal)；
其中，CI(·)表示通道交互单元的函数；
将第一特征图X分割为N个窗口尺寸为S×S的非重叠窗口其中N＝H×W/S2，表示形状为NS2×C的二维数据，分别通过查询线性层、键线性层、值线性层将非重叠窗口Xwin分别转换为查询特征图键特征图和值特征图其表达式如下：
Q，K，V＝LQ(Xwin)，LK(Xwin)，LV(Xwin)；
其中，LQ、LK、LV分别表示查询线性层、键线性层、值线性层的函数；
将值特征图V的数据格式由NS2×C转换为C×H×W并与通道级动态权重Wca相乘，以对值特征图V进行自适应校正，随后再将数据格式还原为NS2×C，校正后的结果记作V′；
执行局部窗口自注意力模块的计算，以获得全局特征表达式如下：
其中，T表示转置矩阵，Softmax表示Softmax函数；
将全局特征Fglobal的数据格式由NS2×C转换为C×H×W，并输入空间交互单元，以获得空间级动态权重其表达式如下：
Wsa＝SI(Fglobal)；
其中，Si(·)表示空间交互单元的函数；
通过将空间级动态权重Wsa与全局特征Flocal相乘，以对全局特征Flocal进行自适应校正，其校正后的结果记作F′local；
最后，将全局特征Flocal与F′local相加，以获得混合特征
作为优选，混合尺度前馈神经网络包括第一分支、第二分支和第五卷积层，第一分支包括依次连接的第二深度卷积层、第一ReLU激活函数层、第三深度卷积层和第二ReLU激活函数层，第二分支包括依次连接的第四深度卷积层、第三ReLU激活函数层、第五深度卷积层和第四ReLU激活函数层，其中第二深度卷积层和第五深度卷积层的卷积核大小为7×7，第三深度卷积层和第四深度卷积层的卷积核大小为5×5，具体计算过程如下：
沿着通道维度将输入混合尺度前馈神经网络的第二特征图将X’切分为均等的两份，得到切分后的特征和表示形状为的三维数据，将和分别输入第一分支和第二分支进行混合交叉特征提取，分别输出第一交叉特征和第二交叉特征，将第一交叉特征和第二交叉特征进行拼接后输入第五卷积层，第五卷积层的输出与第二特征图相加，得到混合尺度特征 其表达式如下：




其中，ReLU(·)表示ReLU激活函数，DwConv5×5(·）和DwConv7×7(·）分别表示卷积核为5×5和7×7的深度卷积层的函数，Conv1×1(·）表示卷积核大小为1×1的第五卷积层的函数，[·]表示拼接操作，分别表示第一特征和第二特征，分别表示第一交叉特征和第二交叉特征。
作为优选，单帧图像超分辨率模型的具体结构和计算过程如下：
浅层特征提取单元采用第六卷积层，浅层特征提取单元的计算过程如下：
F0＝Conv3×3(ILR)；
其中，F0表示浅层特征Conv3×3(·)表示卷积 核为3×3的第六卷积层的函数，ILR表示低分辨率图像；
利用P个混合特征交互Transformer模块提取特征，并利用长跳跃连接将F0传递至网络末端，与第P个混合特征交互Transformer模块的输出相加以进行残差学习，其表达式如下：
Fi＝MFi(Fi-1)，i∈[1，P]；
FP0＝MFP(…(MF2(MF1(F0))))+F0；
其中，Fi-1表示第i-1个所述混合特征交互Transformer模块的输出，MFP表示第P个所述混合特征交互Transformer模块的函数，MF1表示第1个所述混合特征交互Transformer模块的函数，MF2表示第2个所述混合特征交互Transformer模块的函数，MFi表示第i个混合特征交互Transformer模块的函数，Fi表示第i个混合特征交互Transformer模块的输出，FP0表示深层特征，
上采样重建单元包括尺度因子为scale的亚像素卷积层和卷积核为3×3的第七卷积层，其表达式如下：
ISR＝Conv3×3(fup(FP0))；
其中，fup(·)表示亚像素卷积层的函数，Conv3×3(·）表示第七卷积层的函数，ISR表示高分辨率重建图像， 表示形状为3×(H×scale)×(W×scale)的三维数据。
第二方面，本发明提供了一种基于混合特征交互Transformer的单帧图像超分辨率装置，包括：
图像获取模块，被配置为获取待重建的低分辨率图像；
模型构建模块，被配置为构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；
重建模块，被配置为将待重建的低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像。
第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
(1)本发明提出的基于混合特征交互Transformer的单帧图像超分辨率方法中的混合特征交互自注意力单元采用双分支结构结合双向特征交互单元，双分支结构在标准的局部窗口自注意力单元的基础上，额外引入一个与局部窗口自注意力单元平行的深度卷积分支，能够增强Transformer的跨窗口特征交互能力，该双向特征交互单元能为双分支结构提供互补的线索，充分考虑不同类型特征之间的互补性，能够显著提升信息利用率和图像超分辨率性能。
(2)本发明提出的基于混合特征交互Transformer的单帧图像超分辨率方法能够克服现有Transformer方法忽略不同维度的特征之间的潜在关联性的问题，通过鼓励跨维度的特征交互，显著提升图像超分辨率方法的全局特征表达能力和细节重建能力。
(3)本发明提出的基于混合特征交互Transformer的单帧图像超分辨率方法与现有的单帧图像超分辨率方法相比，具有较低的参数量和Flops值，综合性能最优，能够利用更少的计算资源实现高性能的图像超分辨率重建。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本申请的实施例的基于混合特征交互Transformer的单帧图像超分辨率方法的流程示意图；
图3为本申请的实施例的基于混合特征交互Transformer的单帧图像超分辨率方法的高效局部特征提取单元的结构示意图；
图4为本申请的实施例的基于混合特征交互Transformer的单帧图像超分辨率方法的混合特征交互自注意力单元的结构示意图；
图5为本申请的实施例的基于混合特征交互Transformer的单帧图像超分辨率方法的混合尺度前馈神经网络的结构示意图；
图6为本申请的实施例的基于混合特征交互Transformer的单帧图像超分辨率方法的混合特征交互Transformer模块的结构示意图；
图7为本申请的实施例的基于混合特征交互Transformer的单帧图像超分辨率方法的基于混合特征交互Transformer的单帧图像超分辨率模型的结构示意图；
图8为本申请的实施例的基于混合特征交互Transformer的单帧图像超分辨率装置的示意图；
图9是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于混合特征交互Transformer的单帧图像超分辨率方法或基于混合特征交互Transformer的单帧图像超分辨率装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备一101、终端设备二102、终端设备三103，网络104和服务器105。网络104用以在终端设备一101、终端设备二102、终端设备三103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
需要说明的是，本申请实施例所提供的基于混合特征交互Transformer的单帧图像超分辨率方法可以由服务器105执行，也可以由终端设备一101、终端设备二102、终端设备三103执行，相应地，基于混合特征交互Transformer的单帧图像超分辨率装置可以设置于服务器105中，也可以设置于终端设备一101、终端设备二102、终端设备三103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于混合特征交互Transformer的单帧图像超分辨率方法，包括以下步骤：
S1，获取待重建的低分辨率图像。
具体的，收集待重建的低分辨率图像，该低分辨率图像为单帧图像。
S2，构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块。
在具体的实施例中，混合特征交互Transformer模块包括高效局部特征提取单元、第一层标准化层、混合特征交互自注意力单元、第二层标准化层和混合尺度前馈神经网络，混合特征交互Transformer模块的输入依次经过高效局部特征提取单元和第一层标准化层，第一层标准化层的输出与混合特征交互Transformer模块的输入相加，得到第一混合特征，第一混合特征依次经过混合特征交互自注意力单元和第二层标准化层，第二层标准化层的输出与第一混合特征相加，得到第二混合特征，第二混合特征输入混合尺度前馈神经网络，得到混合特征交互 Transformer模块的输出。
在具体的实施例中，高效局部特征提取单元包括依次连接的第一位移卷积层、第一GeLU激活函数层、第二位移卷积层、SE模块和第三位移卷积层，高效局部特征提取单元的计算过程如下：
HELF(·)＝Fshift-conv(FSE(Fshift-conv(GeLU(Fshift-conv(·)))))
；
其中，HELF(·)表示高效局部特征提取单元的函数，Fshift-conv(·)表示第一位移卷积层、第二位移卷积层或第三位移卷积层的位移卷积操作，FSE(·)表示SE模块的函数，GeLU(·)表示GeLU激活函数。
在具体的实施例中，混合特征交互自注意力单元包括局部窗口自注意力分支、深度卷积分支和双向特征交互单元，双向特征交互单元包括空间交互单元和通道交互单元，通道交互单元包括依次连接的全局平均池化层、第一卷积层、第一批标准化层，第二GeLU激活函数层、第二卷积层和第一Sigmoid激活函数层，空间交互单元包括依次连接的第三卷积层、第二批标准化层、第三GeLU激活函数层、第四卷积层和第二Sigmoid激活函数，局部窗口自注意力分支包括查询线性层、键线性层、值线性层和局部窗口自注意力模块，深度卷积分支包括卷积核大小为3×3的第一深度卷积层，第一深度卷积层输出的局部特征输入通道交互单元，得到通道级动态权重，通道级动态权重输入局部窗口自注意力分支中对值线性层输出的值特征图进行自适应校正；局部窗口自注意力模块输出的全局特征输入空间交互单元，得到空间级动态权重，空间级动态权重输入深度卷积分支中对局部特征进行自适应校正。
在具体的实施例中，混合特征交互自注意力单元的计算过程如下：将输入混合特征交互自注意力单元的第一特征图输入第一深度卷积层，得到局部特征其中，表示实数多维空间，C、H、W分别表示第一特征图的通道数量、长度和宽度，窗口尺寸为S， 表示形状为C×H×W的三维数据，其表达式如下：
Flocal＝DwConv3×3(X)；
其中，DwConv3×3(·)表示第一深度卷积层的函数；
将局部特征Flocal输入通道交互单元，获得通道级动态权重其表达式如下：
Wca＝CI(Flocal)；
其中，CI(·)表示通道交互单元的函数；
将第一特征图X分割为N个窗口尺寸为S×S的非重叠窗口其中N＝H×W/S2，表示形状为NS2×C的二维数据，分别通过查询线性层、键线性层、值线性层将非重叠窗口Xwin分别转换为查询特征图键特征图和值特征图其表达式如下：
Q，K，V＝LQ(Xwin)，LK(Xwin)，LV(Xwin)；
其中，LQ、LK、LV分别表示查询线性层、键线性层、值线性层的函数；
将值特征图V的数据格式由NS2×C转换为C×H×W并与通道级动态权重Wca相乘，以对值特征图V进行自适应校正，随后再将数据格式还 原为NS2×C，校正后的结果记作V′；
执行局部窗口自注意力模块的计算，以获得全局特征表达式如下：
其中，T表示转置矩阵，Softmax表示Softmax函数；
将全局特征Fglobal的数据格式由NS2×C转换为C×H×W，并输入空间交互单元，以获得空间级动态权重其表达式如下：
Wsa＝SI(Fglobal)；
其中，SI(·)表示空间交互单元的函数；
通过将空间级动态权重Wsa与全局特征Flocal相乘，以对全局特征Flocal进行自适应校正，其校正后的结果记作F′local；
最后，将全局特征Flocal与F′local相加，以获得混合特征
在具体的实施例中，混合尺度前馈神经网络包括第一分支、第二分支和第五卷积层，第一分支包括依次连接的第二深度卷积层、第一ReLU激活函数层、第三深度卷积层和第二ReLU激活函数层，第二分支包括依次连接的第四深度卷积 层、第三ReLU激活函数层、第五深度卷积层和第四ReLU激活函数层，其中第二深度卷积层和第五深度卷积层的卷积核大小为7×7，第三深度卷积层和第四深度卷积层的卷积核大小为5×5，具体计算过程如下：
沿着通道维度将输入混合尺度前馈神经网络的第二特征图将X’切分为均等的两份，得到切分后的特征和表示形状为的三维数据，将和分别输入第一分支和第二分支进行混合交叉特征提取，分别输出第一交叉特征和第二交叉特征，将第一交叉特征和第二交叉特征进行拼接后输入第五卷积层，第五卷积层的输出与第二特征图相加，得到混合尺度特征其表达式如下：




其中，ReLU(·)表示ReLU激活函数，DwConv5×5(·)和 DwConv7×7(·）分别表示卷积核为5×5和7×7的深度卷积层的函数，Conv1×1(·）表示卷积核大小为1×1的第五卷积层的函数，[·]表示拼接操作，分别表示第一特征和第二特征，分别表示第一交叉特征和第二交叉特征。
具体的，参考图3，可先构建高效局部特征提取单元，该高效局部特征提取单元依次由第一位移卷积层、第一GeLU激活函数层、第二位移卷积层、SE模块和第三位移卷积层级联构成，其中，SE模块为压缩-激励模块(Squeeze-Excitation Module)。参考图4，再构建混合特征交互自注意力单元，混合特征交互自注意力单元在标准的局部窗口自注意力单元的基础上，通过增加两个关键设计而构建：(1)双分支结构，包括局部窗口自注意力分支和深度卷积分支；(2)双向特征交互单元。具体地，通过设计一个简洁的双分支结构，为标准的局部窗口自注意力单元引入一个与其平行的深度卷积层，以增强跨窗口的特征交互。双向特征交互单元包括空间交互单元和通道交互单元，深度卷积分支的信息首先通过空间交互单元流入局部窗口自注意力分支；然后，局部窗口自注意力分支的信息通过空间交互单元流入深度卷积分支。因此，本申请的实施例所提出的双向特征交互单元能为双分支结构提供互补的线索，以增强信息利用率。具体的，该通道交互单元由全局平均池化层、卷积核大小为3×3的第一卷积层、第一批标准化层，第二GeLU激活函数层、卷积核大小为3×3的第二卷积层和第一Sigmoid激活函数层级联构成。该空间交互单元由卷积核大小为3×3的第三卷积层、第二批标准化层、第三GeLU激活函数层、卷积核大小为3×3的第四卷积层和第二Sigmoid激活函数级联构成。而后，参考图5，再构建混合尺度前馈神经网络包括两条多尺度深度卷积分支，该两条多尺度深度卷积分支通过交替使用卷积核大小为5×5的深度卷积层、卷积核大小为7×7的深度卷积层实现混合特征提取，每个深度卷积层后面均连接一个ReLU激活函数层，最后利用卷积核大小为1×1的第五卷积层融合两条分支的输出，得到混合尺度特征
进一步的，参考图6，整合高效局部特征提取单元、混合特征交互自注意力单元和混合尺度前馈神经网络构建混合特征交互Transformer模块，该混合特征交互Transformer模块通过依次由高效局部特征提取单元、第一层标准化层、混合特征交互自注意力单元、第二层标准化层、混合尺度前馈神经网络级联构成。
最后，参考图7，构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型。
S3，将待重建的低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像。
在具体的实施例中，单帧图像超分辨率模型的具体结构和计算过程如下：
浅层特征提取单元采用第六卷积层，浅层特征提取单元的计算过程如下：
F0＝Conv3×3(ILR)；
其中，F0表示浅层特征Conv3×3(·)表示卷积核为3×3的第六卷积层的函数，ILR表示低分辨率图像；
利用P个混合特征交互Transformer模块提取特征，并利用长跳跃连接将F0传递至网络末端，与第P个混合特征交互Transformer模块的输出相加以进行残差学习，其表达式如下：
Fi＝MFi(Fi-1)，i∈[1，P]；
FP0＝MFP(…(MF2(MF1(F0))))+F0；
其中，Fi-1表示第i-1个所述混合特征交互Transformer模块的输出，MFP表示第P个所述混合特征交互Transformer模块的函数，MF1表示第1个所述混合特征交互Transformer模块的函数，MF2表示第2个所述混合特征交互Transformer模块的函数，MFi表示第i个混合特征交互Transformer模块的函数，Fi表示第 i个混合特征交互Transformer模块的输出，FP0表示深层特征，
上采样重建单元包括尺度因子为scale的亚像素卷积层和卷积核为3×3的第七卷积层，其表达式如下：
ISR＝Conv3×3(fup(FP0))；
其中，fup(·)表示亚像素卷积层的函数，Conv3×3(·)表示第七卷积层的函数，ISR表示高分辨率重建图像， 表示形状为3×(H×scale)×(W×scale)的三维数据。
具体的，使用经训练的单帧图像超分辨率模块对待重建的低分辨率图像进行重建，得到重建结果。该经训练的单帧图像超分辨率模块由三个部分组成：浅层特征提取单元、深层特征提取单元、上采样重建单元。针对给定的待重建的低分辨率图像缩放因子scale作为输入，其中，scale的值为需求的放大倍数，例如scale为2、3、4或8。
将本申请的实施例提出的一种基于混合特征交互Transformer的单帧图像超分辨率方法与目前最先进的单帧图像超分辨率方法进行比较。在本对比实验中，使用DIV2K作为训练集，Set5、Se14、BSD100和Urban100作为测试集，目标缩放因子为2。利用定量指标PSNR和SSIM评价重建图像质量，越高的PSNR和SSIM数值对应越高的SR性能。利用定量指标参数量(Params)和Flops衡量模型规模和执行速度，参数量越低，表示模型规模越小，Flops值越低，表示模型执行速度越快。为了满足真实应用场景的需求，设计具有低参数量、低Flops值却能生成具有高PSNR和SSIM的重建图像的图像超分辨率方法是图像超分辨率领域的重要目标。如表1所示，与其他方法相比，本申请的实施例所提出的方法以最低的参数量、最低的Flops值在四个测试集获得最高的PSNR和SSIM。因 此，表1充分说明了本申请的实施例所提出的一种基于混合特征交互Transformer的单帧图像超分辨率方法与其他方法相比，展示了最优的综合性能。
表1
以上步骤S1-S3并不仅仅代表步骤之间的顺序，而是步骤符号表示。
进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种基于混合特征交互Transformer的单帧图像超分辨率装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设 备中。
本申请实施例提供了一种基于混合特征交互Transformer的单帧图像超分辨率装置，包括：
图像获取模块1，被配置为获取待重建的低分辨率图像；
模型构建模块2，被配置为构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；
重建模块3，被配置为将待重建的低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像。
下面参考图9，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机装置900包括中央处理单元(CPU)901和图形处理器(GPU)902，其可以根据存储在只读存储器(ROM)903中的程序或者从存储部分909加载到随机访问存储器(RAM)904中的程序而执行各种适当的动作和处理。在RAM 904中，还存储有计算机装置900操作所需的各种程序和数据。CPU 901、GPU902、ROM 903以及RAM 904通过总线905彼此相连。输入/输出(I/O)接口906也连接至总线905。
以下部件连接至I/O接口906：包括键盘、鼠标等的输入部分907；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分908；包括硬盘等的存储部分909；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分910。通信部分910经由诸如因特网的网络执行通信处理。驱动器911也可以根据需要连接至I/O接口906。可拆卸介质912，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器911上，以便于从其上读出的计算机程序根据需要被安装入存储部分909。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分910从网络上被下载和安装，和/或从可拆卸介质912被安装。在该计算机程序被中央处理单元(CPU)901和图形处理器(GPU)902执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部 分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，也可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
工业实用性
本发明一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，通过其提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。

Claims (10)

  1. 一种基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，包括以下步骤：
    获取待重建的低分辨率图像；
    构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，所述单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，所述深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；
    将所述待重建的低分辨率图像输入所述经训练的单帧图像超分辨率模型，通过所述浅层特征提取单元提取浅层特征，将所述浅层特征输入所述深层特征提取单元提取得到深层特征，将所述深层特征输入所述上采样重建单元，重建得到高分辨率重建图像。
  2. 根据权利要求1所述的基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，所述混合特征交互Transformer模块包括高效局部特征提取单元、第一层标准化层、混合特征交互自注意力单元、第二层标准化层和混合尺度前馈神经网络，所述混合特征交互Transformer模块的输入依次经过所述高效局部特征提取单元和第一层标准化层，所述第一层标准化层的输出与所述混合特征交互Transformer模块的输入相加，得到第一混合特征，所述第一混合特征依次经过所述混合特征交互自注意力单元和第二层标准化层，所述第二层标准化层的输出与所述第一混合特征相加，得到第二混合特征，所述第二混合特征输入所述混合尺度前馈神经网络，得到所述混合特征交互Transformer模块的输出。
  3. 根据权利要求2所述的基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，所述高效局部特征提取单元包括依次连接的第一位移卷积层、第一GeLU激活函数层、第二位移卷积层、SE模块和第三位移卷积层，所述高效局部特征提取单元的计算过程如下：
    HELF(·)＝Fshift-conv(FSE(Fshift-conv(GeLU(Fshift-conv(·)))))
    ；
    其中，HELF(·)表示高效局部特征提取单元的函数，Fshift-conv(·)表示第 一位移卷积层、第二位移卷积层或第三位移卷积层的位移卷积操作，FSE(·)表示SE模块的函数，GeLU(·)表示GeLU激活函数。
  4. 根据权利要求2所述的基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，所述混合特征交互自注意力单元包括局部窗口自注意力分支、深度卷积分支和双向特征交互单元，所述双向特征交互单元包括空间交互单元和通道交互单元，所述通道交互单元包括依次连接的全局平均池化层、第一卷积层、第一批标准化层，第二GeLU激活函数层、第二卷积层和第一Sigmoid激活函数层，所述空间交互单元包括依次连接的第三卷积层、第二批标准化层、第三GeLU激活函数层、第四卷积层和第二Sigmoid激活函数，所述局部窗口自注意力分支包括查询线性层、键线性层、值线性层和局部窗口自注意力模块，所述深度卷积分支包括卷积核大小为3×3的第一深度卷积层，所述第一深度卷积层输出的局部特征输入所述通道交互单元，得到通道级动态权重，所述通道级动态权重输入所述局部窗口自注意力分支中对所述值线性层输出的值特征图进行自适应校正；所述局部窗口自注意力模块输出的全局特征输入所述空间交互单元，得到空间级动态权重，所述空间级动态权重输入所述深度卷积分支中对所述局部特征进行自适应校正。
  5. 根据权利要求4所述的基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，所述混合特征交互自注意力单元的计算过程如下：
    将输入所述混合特征交互自注意力单元的第一特征图输入所述第一深度卷积层，得到所述局部特征其中，表示实数多维空间，C、H、W分别表示所述第一特征图的通道数量、长度和宽度，表示形状为C×H×W的三维数据，窗口尺寸为S，其表达式如下：
    Flocal＝DwConv3×3(X)；
    其中，DwConv3×3(·)表示第一深度卷积层的函数；
    将所述局部特征Flocal输入通道交互单元，获得通道级动态权重其表达式如下：
    Wca＝CI(Flocal)；
    其中，CI(·)表示通道交互单元的函数；
    将所述第一特征图X分割为N个窗口尺寸为S×S的非重叠窗口其中N＝H×W/S2，表示形状为NS2×C的二维数据，分别通过所述查询线性层、键线性层、值线性层将所述非重叠窗口Xwin分别转换为查询特征图键特征图和值特征图其表达式如下：
    Q,K,V＝LQ(Xwin),LK(Xwin),LV(Xwin)；
    其中，LQ、LK、LV分别表示查询线性层、键线性层、值线性层的函数；
    将所述值特征图V的数据格式由NS2×C转换为C×H×W并与所述通道级动态权重Wca相乘，以对所述值特征图V进行自适应校正，随后再将数据格式还原为NS2×C，校正后的结果记作V′；
    执行局部窗口自注意力模块的计算，以获得全局特征表达式如下：
    其中，T表示转置矩阵，Softmax表示Softmax函数；
    将所述全局特征Fglobal的数据格式由NS2×C转换为C×H×W，并输入所述空间交互单元，以获得空间级动态权重其表达式如下：
    Wsa＝SI(Fglobal)；
    其中，SI(·)表示空间交互单元的函数；
    通过将所述空间级动态权重Wsa与全局特征Flocal相乘，以对全局特征Flocal进行自适应校正，其校正后的结果记作F′local；
    最后，将所述全局特征Flocal与F′local相加，以获得混合特征
  6. 根据权利要求2所述的基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，所述混合尺度前馈神经网络包括第一分支、第二分支和第五卷积层，所述第一分支包括依次连接的第二深度卷积层、第一ReLU激活函数层、第三深度卷积层和第二ReLU激活函数层，所述第二分支包括依次连接的第四深度卷积层、第三ReLU激活函数层、第五深度卷积层和第四ReLU激活函数层，其中所述第二深度卷积层和第五深度卷积层的卷积核大小为7×7，所述第三深度卷积层和第四深度卷积层的卷积核大小为5×5，具体计算过程如下：
    沿着通道维度将输入所述混合尺度前馈神经网络的第二特征图将X’切分为均等的两份，得到切分后的特征和表示形状为的三维数据，将和分别输入所述第一分支和第二分支进行混合交叉特征提取，分别输出第一交叉特征和第二交叉特征，将所述第一交叉特征和第二交叉特征进行拼接后输入所述第五卷积层，所述第五卷积层的输出与所述第二特征图相加，得到混合尺度特征其表达式如下：




    其中，ReLU(·)表示ReLU激活函数，DwConv5×5(·)和DwConv7×7(·)分别表示卷积核为5×5和7×7的深度卷积层的函数，Conv1×1(·)表示卷积核大小为1×1的第五卷积层的函数，[·]表示拼接操 作，分别表示第一特征和第二特征，分别表示第一交叉特征和第二交叉特征。
  7. 根据权利要求1所述的基于混合特征交互Transformer的单帧图像超分辨率方法，其特征在于，所述单帧图像超分辨率模型的具体结构和计算过程如下：
    所述浅层特征提取单元采用第六卷积层，所述浅层特征提取单元的计算过程如下：
    F0＝Conv3×3(ILR)；
    其中，F0表示浅层特征Conv3×3(·)表示卷积核为3×3的第六卷积层的函数，ILR表示低分辨率图像；
    利用P个所述混合特征交互Transformer模块提取特征，并利用长跳跃连接将F0传递至网络末端，与第P个混合特征交互Transformer模块的输出相加以进行残差学习，其表达式如下：
    Fi＝MFi(Fi-1),i∈[1，P]；
    FP0＝MFP(…(MF2(MF1(F0))))+F0；
    其中，Fi-1表示第i-1个所述混合特征交互Transformer模块的输出，MFP表示第P个所述混合特征交互Transformer模块的函数，MF1表示第1个所述混合特征交互Transformer模块的函数，MF2表示第2个所述混合特征交互Transformer模块的函数，MFi表示第i个所述混合特征交互Transformer模块的函数，Fi表示第i个所述混合特征交互Transformer模块的输出，FP0表示深层特征，
    所述上采样重建单元包括尺度因子为scale的亚像素卷积层和卷积核为3×3 的第七卷积层，其表达式如下：
    ISR＝Conv3×3(fup(FP0))；
    其中，fup(·)表示亚像素卷积层的函数，Conv3×3(·)表示第七卷积层的函数，ISR表示高分辨率重建图像， 表示形状为3×(H×scale)×(W×scale)的三维数据。
  8. 一种基于混合特征交互Transformer的单帧图像超分辨率装置，应用权利要求1-7中任一所述的方法,其特征在于，包括：
    图像获取模块，被配置为获取待重建的低分辨率图像；
    模型构建模块，被配置为构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，所述单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，所述深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；
    重建模块，被配置为将所述待重建的低分辨率图像输入所述经训练的单帧图像超分辨率模型，通过所述浅层特征提取单元提取浅层特征，将所述浅层特征输入所述深层特征提取单元提取得到深层特征，将所述深层特征输入所述上采样重建单元，重建得到高分辨率重建图像。
  9. 根据权利要求8所述的基于混合特征交互Transformer的单帧图像超分辨率装置，其特征在于，所述混合特征交互Transformer模块包括高效局部特征提取单元、第一层标准化层、混合特征交互自注意力单元、第二层标准化层和混合尺度前馈神经网络。
  10. 一种电子设备，包括：
    一个或多个处理器；
    存储装置，用于存储一个或多个程序，
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
PCT/CN2023/143017 2023-12-19 2023-12-29 基于混合特征交互Transformer的单帧图像超分辨率方法及装置 Pending WO2025129752A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025551563A JP2026508397A (ja) 2023-12-19 2023-12-29 混合特徴相互作用Ｔｒａｎｓｆｏｒｍｅｒに基づく単一フレーム画像超解像方法および装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311745925.4A CN117422614B (zh) 2023-12-19 2023-12-19 基于混合特征交互Transformer的单帧图像超分辨率方法及装置
CN202311745925.4 2023-12-19

Publications (1)

Publication Number Publication Date
WO2025129752A1 true WO2025129752A1 (zh) 2025-06-26

Family

ID=89525195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/143017 Pending WO2025129752A1 (zh) 2023-12-19 2023-12-29 基于混合特征交互Transformer的单帧图像超分辨率方法及装置

Country Status (3)

Country Link
JP (1) JP2026508397A (zh)
CN (1) CN117422614B (zh)
WO (1) WO2025129752A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120449128A (zh) * 2025-07-04 2025-08-08 长沙矿冶研究院有限责任公司 一种基于时序大模型的球磨机粒度软测量方法
CN120471915A (zh) * 2025-07-14 2025-08-12 国家心血管病中心 先天性心脏病的胎儿超声心动图信息处理方法及系统
CN120495087A (zh) * 2025-07-17 2025-08-15 浙江大学 多层次注意力的可见光引导红外图像超分辨率方法和系统
CN120526278A (zh) * 2025-07-24 2025-08-22 东北大学 基于异构双分支协同的高光谱与多光谱图像融合方法
CN120525723A (zh) * 2025-07-25 2025-08-22 天津师范大学 基于生成对抗网络的oct图像超分辨率重建方法及系统
CN120707882A (zh) * 2025-07-01 2025-09-26 广东电网有限责任公司中山供电局 一种基于深度学习的隔离开关开合状态检测方法和装置
CN120746839A (zh) * 2025-09-05 2025-10-03 哈尔滨工业大学（威海） 基于状态空间模型的红外图像超分辨率方法、设备及介质
CN120747037A (zh) * 2025-08-18 2025-10-03 华侨大学 基于改进DETR模型的Mini-LED晶圆表面缺陷检测方法及装置
CN120956720A (zh) * 2025-08-26 2025-11-14 广州市安思柏科技有限公司 基于分布式边缘计算的广播报文实时处理系统及方法
CN121073781A (zh) * 2025-11-05 2025-12-05 中国地质大学（武汉） 一种遥感图像深度学习超分辨率重建方法
CN121073774A (zh) * 2025-11-06 2025-12-05 江西财经大学 基于Mamba及变体的深度图超分辨率方法与系统
CN121117981A (zh) * 2025-11-17 2025-12-12 山东大学 基于多模态动态融合的低温吊艇架故障诊断方法及系统
CN121147019A (zh) * 2025-08-22 2025-12-16 安徽大学 一种基于空间光谱聚合与交互的图像增强方法
CN121147024A (zh) * 2025-11-18 2025-12-16 杭州觅睿科技股份有限公司 基于提示校准与多尺度级联的移动端图像超分辨率方法
CN121169694A (zh) * 2025-11-19 2025-12-19 江西师范大学 一种基于频域和Transformer的图像超分方法
CN121235904A (zh) * 2025-08-06 2025-12-30 中国科学院西安光学精密机械研究所 一种跨领域适用的轻量级超分辨率重建方法
CN121258798A (zh) * 2025-12-05 2026-01-02 湖南大学 一种基于多尺度多特征交互学习的人脸图像超分辨率重建方法和系统
CN121304450A (zh) * 2025-12-15 2026-01-09 中国科学院长春光学精密机械与物理研究所 基于自适应门控Transformer的遥感图像超分辨率重建方法
CN121329792A (zh) * 2025-12-15 2026-01-13 齐鲁空天信息研究院 一种基于轻量化模型的红外与可见光图像融合方法及装置
CN121724838A (zh) * 2026-02-11 2026-03-24 华侨大学 基于小波-空间协同的渐进式超分辨率重构方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118229532B (zh) * 2024-05-21 2024-10-22 华侨大学 一种基于复合Transformer的图像超分辨率方法及系统
CN118446899B (zh) * 2024-07-05 2024-08-30 杭州电子科技大学 基于层级感受野Transformer的图像超分辨率方法
CN119399493B (zh) * 2024-10-17 2025-04-15 山西省信息产业技术研究院有限公司 基于多角度感知和混合尺度Transformer特征聚合的煤矸石检测方法
CN120339064A (zh) * 2025-03-12 2025-07-18 徐州市妇幼保健院 一种基于仿生视觉的变分辨率超声成像方法
CN120163712B (zh) * 2025-03-26 2026-02-27 安徽大学 一种基于跨维度的Transformer图像超分方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387161A (zh) * 2020-10-16 2022-04-22 四川大学 基于增强深层特征提取和残差上下采样块的视频超分辨率
CN114926337A (zh) * 2022-05-24 2022-08-19 闽江学院 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统
CN117173025A (zh) * 2023-11-01 2023-12-05 华侨大学 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统
CN117237197A (zh) * 2023-11-08 2023-12-15 华侨大学 基于交叉注意力机制与Swin-Transformer的图像超分辨率方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734646B (zh) * 2021-01-19 2024-02-02 青岛大学 一种基于特征通道划分的图像超分辨率重建方法
CN113409191B (zh) * 2021-06-02 2023-04-07 广东工业大学 一种基于注意力反馈机制的轻量级图像超分方法及系统
CN114612479B (zh) * 2022-02-09 2023-03-24 苏州大学 基于全局与局部特征重建网络的医学图像分割方法和装置
CN115222601B (zh) * 2022-08-06 2025-07-29 福州大学 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN115619643B (zh) * 2022-11-02 2025-05-30 昆明理工大学 一种用于旋转体图像超分辨率网络模型的构建方法
CN117196960B (zh) * 2023-11-08 2024-03-01 华侨大学 全尺度特征细化轻量级图像超分辨率方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387161A (zh) * 2020-10-16 2022-04-22 四川大学 基于增强深层特征提取和残差上下采样块的视频超分辨率
CN114926337A (zh) * 2022-05-24 2022-08-19 闽江学院 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统
CN117173025A (zh) * 2023-11-01 2023-12-05 华侨大学 基于跨层混合注意力Transformer的单帧图像超分辨率方法及系统
CN117237197A (zh) * 2023-11-08 2023-12-15 华侨大学 基于交叉注意力机制与Swin-Transformer的图像超分辨率方法及装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120707882A (zh) * 2025-07-01 2025-09-26 广东电网有限责任公司中山供电局 一种基于深度学习的隔离开关开合状态检测方法和装置
CN120449128A (zh) * 2025-07-04 2025-08-08 长沙矿冶研究院有限责任公司 一种基于时序大模型的球磨机粒度软测量方法
CN120471915A (zh) * 2025-07-14 2025-08-12 国家心血管病中心 先天性心脏病的胎儿超声心动图信息处理方法及系统
CN120495087A (zh) * 2025-07-17 2025-08-15 浙江大学 多层次注意力的可见光引导红外图像超分辨率方法和系统
CN120526278A (zh) * 2025-07-24 2025-08-22 东北大学 基于异构双分支协同的高光谱与多光谱图像融合方法
CN120525723A (zh) * 2025-07-25 2025-08-22 天津师范大学 基于生成对抗网络的oct图像超分辨率重建方法及系统
CN120525723B (zh) * 2025-07-25 2025-09-26 天津师范大学 基于生成对抗网络的oct图像超分辨率重建方法及系统
CN121235904A (zh) * 2025-08-06 2025-12-30 中国科学院西安光学精密机械研究所 一种跨领域适用的轻量级超分辨率重建方法
CN120747037A (zh) * 2025-08-18 2025-10-03 华侨大学 基于改进DETR模型的Mini-LED晶圆表面缺陷检测方法及装置
CN121147019A (zh) * 2025-08-22 2025-12-16 安徽大学 一种基于空间光谱聚合与交互的图像增强方法
CN120956720A (zh) * 2025-08-26 2025-11-14 广州市安思柏科技有限公司 基于分布式边缘计算的广播报文实时处理系统及方法
CN120746839B (zh) * 2025-09-05 2025-11-07 哈尔滨工业大学（威海） 基于状态空间模型的红外图像超分辨率方法、设备及介质
CN120746839A (zh) * 2025-09-05 2025-10-03 哈尔滨工业大学（威海） 基于状态空间模型的红外图像超分辨率方法、设备及介质
CN121073781A (zh) * 2025-11-05 2025-12-05 中国地质大学（武汉） 一种遥感图像深度学习超分辨率重建方法
CN121073774A (zh) * 2025-11-06 2025-12-05 江西财经大学 基于Mamba及变体的深度图超分辨率方法与系统
CN121117981A (zh) * 2025-11-17 2025-12-12 山东大学 基于多模态动态融合的低温吊艇架故障诊断方法及系统
CN121147024A (zh) * 2025-11-18 2025-12-16 杭州觅睿科技股份有限公司 基于提示校准与多尺度级联的移动端图像超分辨率方法
CN121169694A (zh) * 2025-11-19 2025-12-19 江西师范大学 一种基于频域和Transformer的图像超分方法
CN121258798A (zh) * 2025-12-05 2026-01-02 湖南大学 一种基于多尺度多特征交互学习的人脸图像超分辨率重建方法和系统
CN121258798B (zh) * 2025-12-05 2026-03-20 湖南大学 一种基于多尺度多特征交互学习的人脸图像超分辨率重建方法和系统
CN121304450A (zh) * 2025-12-15 2026-01-09 中国科学院长春光学精密机械与物理研究所 基于自适应门控Transformer的遥感图像超分辨率重建方法
CN121329792A (zh) * 2025-12-15 2026-01-13 齐鲁空天信息研究院 一种基于轻量化模型的红外与可见光图像融合方法及装置
CN121724838A (zh) * 2026-02-11 2026-03-24 华侨大学 基于小波-空间协同的渐进式超分辨率重构方法及装置

Also Published As

Publication number Publication date
CN117422614A (zh) 2024-01-19
CN117422614B (zh) 2024-03-12
JP2026508397A (ja) 2026-03-10

Similar Documents

Publication Publication Date Title
WO2025129752A1 (zh) 基于混合特征交互Transformer的单帧图像超分辨率方法及装置
CN117237197B (zh) 基于交叉注意力机制的图像超分辨率方法及装置
CN112488923B (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
WO2022227886A1 (zh) 超分修复网络模型生成方法、图像超分修复方法及装置
CN113658122B (zh) 图像质量评价方法、装置、存储介质与电子设备
CN114494022B (zh) 模型训练方法、超分辨率重建方法、装置、设备及介质
CN110782395A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
WO2023179385A1 (zh) 一种视频超分方法、装置、设备及存储介质
CN110852948A (zh) 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN107392189A (zh) 用于确定无人车的驾驶行为的方法和装置
CN111369475A (zh) 用于处理视频的方法和装置
CN118134763A (zh) 一种超分辨率图像重建方法及装置
WO2024221696A1 (zh) 生成图像超分数据集的方法、图像超分模型及训练方法
CN114331845A (zh) 影像处理设备以及方法
CN112419179B (zh) 修复图像的方法、装置、设备和计算机可读介质
EP4439444B1 (en) Image processing method and apparatus, electronic device, and storage medium
Zhang et al. Network architecture for single image super‐resolution: A comprehensive review and comparison
CN117196960A (zh) 全尺度特征细化轻量级图像超分辨率方法及装置
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN117196959B (zh) 基于自注意力的红外图像超分辨率方法、装置及可读介质
CN117495679B (zh) 基于非局部稀疏注意力的图像超分辨率方法和装置
CN118710502A (zh) 视频超分辨率重建方法、装置及电子设备
CN117114981A (zh) 超分网络参数调整方法、装置、设备、介质及程序产品
CN118279230A (zh) 图像质量评价方法、装置、存储介质与电子设备
Xue et al. TBag: Three recipes for building up a lightweight hybrid network for real-time SISR

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23962074

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025551563

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025551563

Country of ref document: JP