WO2022262660A1 - 针对超分辨率网络的剪枝量化压缩方法、系统及介质 - Google Patents
针对超分辨率网络的剪枝量化压缩方法、系统及介质 Download PDFInfo
- Publication number
- WO2022262660A1 WO2022262660A1 PCT/CN2022/098207 CN2022098207W WO2022262660A1 WO 2022262660 A1 WO2022262660 A1 WO 2022262660A1 CN 2022098207 W CN2022098207 W CN 2022098207W WO 2022262660 A1 WO2022262660 A1 WO 2022262660A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- resolution
- model
- super
- pruning
- original
- Prior art date
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000013139 quantization Methods 0.000 title claims abstract description 60
- 230000006835 compression Effects 0.000 title claims abstract description 42
- 238000007906 compression Methods 0.000 title claims abstract description 42
- 230000009977 dual effect Effects 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 5
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000001994 activation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种针对超分辨率网络的剪枝量化压缩方法、系统及介质，其中方法包括以下步骤：获取原始超分辨率模型；对原始超分辨率模型进行闭环对偶重构训练；对获得训练的原超分辨率模型进行闭环对偶剪枝，获得剪枝模型；对剪枝模型进行参数优化，获得轻量的超分辨率剪枝模型；对超分辨率剪枝模型进行量化压缩，获得压缩超分辨率模型。本发明通过使用对偶重构损失函数，在通道剪枝过程中，减小超分辨率任务的求解空间，进而能更准确评价原始模型中各个通道对超分辨率重构的重要性，通过保留这些通道得到更加紧凑的压缩模型，可广泛应用于计算机视觉技术领域。
Description
本发明涉及计算机视觉技术领域，尤其涉及一种针对超分辨率网络的剪枝量化压缩方法、系统及介质。
随着深度学习的发展，使用深度学习的超分辨率随之兴起，这些方法性能显著超过传统基于机器学习的方法。然而，现有基于深度学习的超分辨率模型通常模型参数多，计算成本大，因而难以用于计算资源受限的设备，如手机，笔记本电脑等。为了减少计算成本，人们可以直接设计轻量级超分辨率模型，使其可应用于具有有限计算资源的硬件设备。但这些轻量级模型的性能通常较差。另外一种做法是使用模型压缩方法，如模型通道剪枝和模型低比特量化方法，压缩模型以减低模型计算成本。
但是现有剪枝算法通常是为高层视觉任务进行设计，而超分辨率视底层视觉任务，直接应用这些方法对超分辨率模型进行剪枝仅能得到次优的压缩模型，导致压缩模型的性能不能满足实际需求。此外，超分辨率任务是一个典型的病态问题，其函数求解空间十分大，在剪枝中如何选择更加重要的通道进行保留是一个极具挑战的难题。
此外，现有针对超分辨率模型的低比特量化方法通常使用2比特甚至1比特量化，其通常导致性能损失较大，同时低比特量化方法的实际加速情况依赖于特殊硬件设备，因而其应用受到限制，难以在普通终端设备上进行模型加速。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种针对超分辨率网络的剪枝量化压缩方法、系统及介质。
本发明所采用的技术方案是：
一种针对超分辨率网络的剪枝量化压缩方法，包括以下步骤：
获取原始超分辨率模型；
对原始超分辨率模型进行闭环对偶重构训练；
对获得训练的原超分辨率模型进行闭环对偶剪枝，获得剪枝模型；
对剪枝模型进行参数优化，获得轻量的超分辨率剪枝模型；
对超分辨率剪枝模型进行量化压缩，获得压缩超分辨率模型。
进一步，所述对原始超分辨率模型进行闭环对偶重构训练，包括：
在原始超分辨率模型的回归任务基础上，增加一个对偶回归任务，形成闭环对偶约束；
所述对偶回归任务用于将重构图片重新投影到低分辨率空间，所述重构图片与原始图片保持一致。
进一步，所述闭环对偶约束的目标函数为：
其中，N为训练样本对的数量，x
i和y
i是第i个样本对中的低分辨率图片和高分辨率图片，||·||
1是L1范数。
进一步，所述对获得训练的原超分辨率模型进行闭环对偶剪枝，包括：
将闭环对偶约束和特征重构损失函数进行结合，获得结合损失函数；
在通道剪枝过程中，根据结合损失函数选择保留通道或去除通道；
所述特征重构损失函数用于使得剪枝模型和原始超分辨率模型中间输出的特征保持一致。
进一步，所述特征重构损失函数的表达式为：
其中，
和
分别代表剪枝模型和原始超分辨率模型第l层卷积网络的输出特征。
进一步，所述对超分辨率剪枝模型进行量化压缩，包括：
采用8比特线性量化方式，对超分辨率剪枝模型的参数进行量化压缩，将模型参数数据类型从浮点数转为8比特整数；
在量化压缩过程中，采用闭环对偶约束和特征重构损失函数对超分辨率剪枝模型进行调优。
进一步，所述剪枝量化压缩方法还包括获取数据集的步骤，包括：
采用DIV2K数据集和Flickr2K数据集作为训练集；
采用Set5数据集、Set14数据集、BSDS100数据集、Urban10数据集以及Manga109数据集作为测试集；
其中，训练集和测试集中的低分辨率图片均是从原始高分辨率图片进行特定倍数的bicubic下采样获得。
本发明所采用的另一技术方案是：
一种针对超分辨率网络的剪枝量化压缩系统，包括：
模型构建模块，用于获取原始超分辨率模型；
模型训练模块，用于对原始超分辨率模型进行闭环对偶重构训练；
模型剪枝模块，用于对获得训练的原超分辨率模型进行闭环对偶剪枝，获得剪枝模型；
参数优化模块，用于对剪枝模型进行参数优化，获得轻量的超分辨率剪枝模型；
量化压缩模块，用于对超分辨率剪枝模型进行量化压缩，获得压缩超分辨率模型。
本发明所采用的另一技术方案是：
一种针对超分辨率网络的剪枝量化压缩系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过使用对偶重构损失函数，在通道剪枝过程中，减小超分辨率任务的求解空间，进而能更准确评价原始模型中各个通道对超分辨率重构的重要性，通过保留这些通道得到更加紧凑的压缩模型。
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种针对超分辨率网络的剪枝量化压缩方法的步骤流程图；
图2是本发明实施例中闭环对偶约束示的示意图；
图3是本发明实施例中剪枝过程中闭环对偶约束在通道选择中的作用示意图。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中 的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供一种针对超分辨率网络的剪枝量化压缩方法，为了约束超分辨率模型剪枝中的求解空间的大小，本实施例使用对偶回归的方法，通过约束输出的重构图片投影到低分辨率空间后，其重投影图片需要与输入低分辨率图片保持一致。该闭环对偶重构约束可减小超分辨率的求解空间，进而有利于对模型通道输出的特征进行评价，进而在精度不明显下降的情况下，得到更轻量的超分辨率模型。具体该方法包括以下步骤：
S1、获取原始超分辨率模型。
S2、对原始超分辨率模型进行闭环对偶重构训练。
通过对偶重构训练，超分辨率模型可在更小的超分辨率求解空间中进行学习，最终得到一个满足实际使用需求的超分辨率模型。对偶重构的方式如图2所示，其在原始超分辨率回归任务基础上，增加一个对偶回归任务与原始重构任务形成一个闭环，可以减小模型的求解空间。
基于深度学习的超分辨率算法，旨在学习一个从低分辨率图片到高分辨率图片之间的映射。给定特定的低分辨率图片，这些方法目标是学习一个模型，其输出对应的高分辨率图片。而本方案中的闭环对偶约束通过增加一个对偶回归任务，增加一个额外的小模型，其将重构图片重新投影到低分辨率空间，要求其与原始图片保持一致。其中，重构图片是指使用超分辨率模型将一张低分辨率图片放大后的图片，如输入一张224×224×3的图片，模型输出448×448×3的图片，该输出图片便是重构图片。低分辨率空间是指输入低分辨率图片的维度空间，如输入低分辨率图片大小为224×224×3，那低分辨率空间就是
原始图片指的是训练数据中原始的高分辨率图片，训练数据中低分辨率图片从高分辨率图片进行下采样得到，因而称原始图片为高分辨率图片。显然，如果重构图片与原始高分辨率图片一致，其投影到低分辨率空间后，重投影图片必然与输入低分辨率图片保持一致。这里提到的重构图片和原始高分辨率图片保持一致是超分辨率任务学习的普遍目标，参见图2，右边是一般超分辨率算法学习的目标，其约束重构图片和原始高分辨率图片保持一致，而左边才是我们提出的对偶重构约束，其约束重投影低分辨率图片和输入低分辨率图片保持一致。
给定低分辨率输入
原始超分辨率任务旨在学习一个模型P：
使得P(x)与原始高分辨率图片
尽可能接近。而其对偶任务则是旨在学习一个模型D：
使得D(P(x))与输入低分辨率图片尽可能保持一致。在闭环对偶训练过程中，本方案通过同时学习两个任务，在更小的求解空间学习一个更好的超分辨率模型P。该闭环对偶约束的目标函数为：
其中，N为训练样本对的数量，x
i和y
i是第i个样本对中的低分辨率图片和高分辨率图片，||·||
1是L1范数。
S3、对获得训练的原超分辨率模型进行闭环对偶剪枝，获得剪枝模型。
在剪枝过程中，将闭环对偶约束和模型特征重构损失结合。在通道剪枝过程中，需要对通道的重要性进行评断，进而保留重要通道，去除不重要的通道，最终得到轻量的模型。而在通道选择过程中，闭环对偶约束作用于通道选择的过程如图3所示。本发明实施例通过使用闭环重构约束以减小超分辨率求解空间，可更准确评估模型的通道重要性，进而更好地保留重要的超分辨率模型的通道，得到性能损失较小的剪枝模型。
当模型通道输出的特征对Loss影响越大，则该通道越重要。因此，在梯度回传过程中，本发明实施例根据贪心算法思想选择梯度Frobenius范数最大的通道进行保留。参见图3，
是正常超分辨率的目标函数，而
是对偶任务的目标函数，两者组合成闭环对偶约束。而
是剪枝模型和原始模型中间通道的输出特征重构损失函数，优化该函数目标是使得剪枝模型和原始模型中间输出的特征尽量保持一致，以避免剪枝后模型性能大幅度下降，其计算形式如下所示：
其中，
和
分别代表剪枝模型和原始模型第l层卷积网络的输出特征。
S4、对剪枝模型进行参数优化，获得轻量的超分辨率剪枝模型。
在剪枝后，需要对剪枝模型的参数进行重新调优，以减少剪枝导致的模型性能损失。在这一过程，使用闭环对偶约束公式(1)和特征重构损失函数公式(2)对模型参数进行微调。
S5、对超分辨率剪枝模型进行量化压缩，获得压缩超分辨率模型。
由于目前大部分硬件设备支持8比特运算操作，该量化方式对于设备依赖性不高，其与设备无关的剪枝方法结合后，得到的模型在多种设备上均可以明显加速模型推理速度。因此，在获得轻量的超分辨率剪枝模型后，可以进一步使用8比特线性量化方式，对模型参数进行量化压缩。
在获得轻量的超分辨率剪枝模型后，进一步使用8比特线性量化方式，对模型参数进行量化压缩，将模型参数数据类型从浮点数转为8比特整数，范围为[-127,127]。量化过程需要根据原始模型参数和特征激活量的最大范围，计算参数和激活量到8比特空间的量化比例。该过程受限使用KL散度，选择最优的阈值T使得量化前后两个分布的差异最小，然后根据阈值T计算量化比例。得到量化比例后，对原始模型进行8比特模拟量化以调整模型参数，降低模型量化导致的性能损失。在调优后，最终进行实际量化得到目标量化模型。需要提及的是，在模拟量化过程中，同样使用闭环对偶重构约束和特征重构损失函数对模型参数进行调优，在梯度回传过程中，由于量化操作不可导，因此使用梯度近似的方式进行梯度更新。
进一步作为可选的实施方式，在模型参数训练，模型通道搜索和模型量化过程中，均需要使用成对的低分辨率数据集合高分辨率数据。为此，本发明主要使用DIV2K和Flickr2K数据作为训练数据，并使用五个常见数据集Set5，Set14，BSDS100，Urban100，Manga109作为测试数据集。这几个数据均是从原始高分辨率图片进行特定倍数的bicubic下采样得到对应低分辨率图片。
综上所述，本实施例相对于现有技术，具有如下有益效果：
(1)本发明实施例通过使用对偶重构损失函数，在通道剪枝过程中，减小超分辨率任务的求解空间，进而能更准确评价原始模型中各个通道对超分辨率重构的重要性，通过保留这些通道得到更加紧凑的压缩模型。对偶剪枝算法可以减少超分辨率任务求解空间，可更好评价模型通道的重要性，最终在压缩率相同情况下，模型重构效果更优。
(2)现有方法通常只单独使用剪枝算法或者量化方法压缩超分辨率模型，而本发明实施例通过结合提出的对偶剪枝方法和8比特训练中线性量化的方法，得到更加紧凑的超分辨率模型。经过对偶剪枝和量化后，压缩的超分辨率模型在性能损失不大的情况下，能明显降低计算成本，加快模型推理速度。
当需要在手机端这类计算资源受限的设备上部署超分辨率相关应用时，将现有深度超分 辨率模型进行压缩，减低模型计算成本，进而使得手机设备可部署模型以对输入图片进行超分辨率，提升图片的视觉效果。为此，可对原始模型进行闭环对偶剪枝和8比特线性量化，得到一个轻量的超分辨率网络，然后再将该轻量网络部署到手机设备上。
本实施例还提供一种针对超分辨率网络的剪枝量化压缩系统，包括：
模型构建模块，用于获取原始超分辨率模型；
模型训练模块，用于对原始超分辨率模型进行闭环对偶重构训练；
模型剪枝模块，用于对获得训练的原超分辨率模型进行闭环对偶剪枝，获得剪枝模型；
参数优化模块，用于对剪枝模型进行参数优化，获得轻量的超分辨率剪枝模型；
量化压缩模块，用于对超分辨率剪枝模型进行量化压缩，获得压缩超分辨率模型。
本实施例的一种针对超分辨率网络的剪枝量化压缩系统，可执行本发明方法实施例所提供的一种针对超分辨率网络的剪枝量化压缩方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种针对超分辨率网络的剪枝量化压缩系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
本实施例的一种针对超分辨率网络的剪枝量化压缩系统，可执行本发明方法实施例所提供的一种针对超分辨率网络的剪枝量化压缩方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种针对超分辨率网络的剪枝量化压缩方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例 以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必 要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
- 一种针对超分辨率网络的剪枝量化压缩方法，其特征在于，包括以下步骤：获取原始超分辨率模型；对原始超分辨率模型进行闭环对偶重构训练；对获得训练的原超分辨率模型进行闭环对偶剪枝，获得剪枝模型；对剪枝模型进行参数优化，获得轻量的超分辨率剪枝模型；对超分辨率剪枝模型进行量化压缩，获得压缩超分辨率模型。
- 根据权利要求1所述的一种针对超分辨率网络的剪枝量化压缩方法，其特征在于，所述对原始超分辨率模型进行闭环对偶重构训练，包括：在原始超分辨率模型的回归任务基础上，增加一个对偶回归任务，形成闭环对偶约束；所述对偶回归任务用于将重构图片重新投影到低分辨率空间，所述重构图片与原始图片保持一致。
- 根据权利要求2所述的一种针对超分辨率网络的剪枝量化压缩方法，其特征在于，所述闭环对偶约束的目标函数为：
其中，N为训练样本对的数量，x i和y i是第i个样本对中的低分辨率图片和高分辨率图片，||·|| 1是L1范数。 - 根据权利要求2所述的一种针对超分辨率网络的剪枝量化压缩方法，其特征在于，所述对获得训练的原超分辨率模型进行闭环对偶剪枝，包括：将闭环对偶约束和特征重构损失函数进行结合，获得结合损失函数；在通道剪枝过程中，根据结合损失函数选择保留通道或去除通道；所述特征重构损失函数用于使得剪枝模型和原始超分辨率模型中间输出的特征保持一致。
- 根据权利要求4所述的一种针对超分辨率网络的剪枝量化压缩方法，其特征在于，所述特征重构损失函数的表达式为：
其中，和
分别代表剪枝模型和原始超分辨率模型第l层卷积网络的输出特征。
- 根据权利要求4所述的一种针对超分辨率网络的剪枝量化压缩方法，其特征在于，所 述对超分辨率剪枝模型进行量化压缩，包括：采用8比特线性量化方式，对超分辨率剪枝模型的参数进行量化压缩，将模型参数数据类型从浮点数转为8比特整数；在量化压缩过程中，采用闭环对偶约束和特征重构损失函数对超分辨率剪枝模型进行调优。
- 根据权利要求1所述的一种针对超分辨率网络的剪枝量化压缩方法，其特征在于，所述剪枝量化压缩方法还包括获取数据集的步骤，包括：采用DIV2K数据集和Flickr2K数据集作为训练集；采用Set5数据集、Set14数据集、BSDS100数据集、Urban10数据集以及Manga109数据集作为测试集；其中，训练集和测试集中的低分辨率图片均是从原始高分辨率图片进行特定倍数的bicubic下采样获得。
- 一种针对超分辨率网络的剪枝量化压缩系统，其特征在于，包括：模型构建模块，用于获取原始超分辨率模型；模型训练模块，用于对原始超分辨率模型进行闭环对偶重构训练；模型剪枝模块，用于对获得训练的原超分辨率模型进行闭环对偶剪枝，获得剪枝模型；参数优化模块，用于对剪枝模型进行参数优化，获得轻量的超分辨率剪枝模型；量化压缩模块，用于对超分辨率剪枝模型进行量化压缩，获得压缩超分辨率模型。
- 一种针对超分辨率网络的剪枝量化压缩系统，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
- 一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110660271.X | 2021-06-15 | ||
| CN202110660271.XA CN113379604B (zh) | 2021-06-15 | 2021-06-15 | 针对超分辨率网络的剪枝量化压缩方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022262660A1 true WO2022262660A1 (zh) | 2022-12-22 |
Family
ID=77574390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/098207 WO2022262660A1 (zh) | 2021-06-15 | 2022-06-10 | 针对超分辨率网络的剪枝量化压缩方法、系统及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113379604B (zh) |
| WO (1) | WO2022262660A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912637A (zh) * | 2023-09-13 | 2023-10-20 | 国网山东省电力公司济南供电公司 | 输变电缺陷识别的方法、装置、计算机设备和存储介质 |
| CN117540780A (zh) * | 2024-01-09 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 一种神经网络模型的压缩方法和相关装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379604B (zh) * | 2021-06-15 | 2022-09-20 | 华南理工大学 | 针对超分辨率网络的剪枝量化压缩方法、系统及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009565A (zh) * | 2019-04-04 | 2019-07-12 | 武汉大学 | 一种基于轻量化网络的超分辨率图像重建方法 |
| CN110222820A (zh) * | 2019-05-28 | 2019-09-10 | 东南大学 | 基于权值剪枝和量化的卷积神经网络压缩方法 |
| CN111652366A (zh) * | 2020-05-09 | 2020-09-11 | 哈尔滨工业大学 | 一种基于通道剪枝和量化训练的联合神经网络模型压缩方法 |
| CN112329922A (zh) * | 2020-11-24 | 2021-02-05 | 北京大学 | 一种基于质谱数据集的神经网络模型压缩方法及系统 |
| US20210089922A1 (en) * | 2019-09-24 | 2021-03-25 | Qualcomm Incorporated | Joint pruning and quantization scheme for deep neural networks |
| CN112580381A (zh) * | 2020-12-23 | 2021-03-30 | 成都数之联科技有限公司 | 一种基于深度学习的二维码超辨率重构增强方法及系统 |
| CN112861996A (zh) * | 2021-03-15 | 2021-05-28 | 北京智芯微电子科技有限公司 | 深度神经网络模型压缩方法及装置、电子设备、存储介质 |
| CN113379604A (zh) * | 2021-06-15 | 2021-09-10 | 华南理工大学 | 针对超分辨率网络的剪枝量化压缩方法、系统及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443359A (zh) * | 2019-07-03 | 2019-11-12 | 中国石油大学(华东) | 基于自适应联合剪枝-量化的神经网络压缩算法 |
| CN111768342B (zh) * | 2020-09-03 | 2020-12-01 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
-
2021
- 2021-06-15 CN CN202110660271.XA patent/CN113379604B/zh active Active
-
2022
- 2022-06-10 WO PCT/CN2022/098207 patent/WO2022262660A1/zh unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009565A (zh) * | 2019-04-04 | 2019-07-12 | 武汉大学 | 一种基于轻量化网络的超分辨率图像重建方法 |
| CN110222820A (zh) * | 2019-05-28 | 2019-09-10 | 东南大学 | 基于权值剪枝和量化的卷积神经网络压缩方法 |
| US20210089922A1 (en) * | 2019-09-24 | 2021-03-25 | Qualcomm Incorporated | Joint pruning and quantization scheme for deep neural networks |
| CN111652366A (zh) * | 2020-05-09 | 2020-09-11 | 哈尔滨工业大学 | 一种基于通道剪枝和量化训练的联合神经网络模型压缩方法 |
| CN112329922A (zh) * | 2020-11-24 | 2021-02-05 | 北京大学 | 一种基于质谱数据集的神经网络模型压缩方法及系统 |
| CN112580381A (zh) * | 2020-12-23 | 2021-03-30 | 成都数之联科技有限公司 | 一种基于深度学习的二维码超辨率重构增强方法及系统 |
| CN112861996A (zh) * | 2021-03-15 | 2021-05-28 | 北京智芯微电子科技有限公司 | 深度神经网络模型压缩方法及装置、电子设备、存储介质 |
| CN113379604A (zh) * | 2021-06-15 | 2021-09-10 | 华南理工大学 | 针对超分辨率网络的剪枝量化压缩方法、系统及介质 |
Non-Patent Citations (3)
| Title |
|---|
| GUO YONG; CHEN JIAN; WANG JINGDONG; CHEN QI; CAO JIEZHANG; DENG ZESHUAI; XU YANWU; TAN MINGKUI: "Closed-Loop Matters: Dual Regression Networks for Single Image Super-Resolution", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 13 June 2020 (2020-06-13), pages 5406 - 5415, XP033803531, DOI: 10.1109/CVPR42600.2020.00545 * |
| JING LIU; BOHAN ZHUANG; ZHUANGWEI ZHUANG; YONG GUO; JUNZHOU HUANG; JINHUI ZHU; MINGKUI TAN: "Discrimination-aware Network Pruning for Deep Model Compression", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 4 January 2020 (2020-01-04), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081572196 * |
| ZHUANGWEI ZHUANG; MINGKUI TAN; BOHAN ZHUANG; JING LIU; YONG GUO; QINGYAO WU; JUNZHOU HUANG; JINHUI ZHU: "Discrimination-aware Channel Pruning for Deep Neural Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 28 October 2018 (2018-10-28), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080925940 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912637A (zh) * | 2023-09-13 | 2023-10-20 | 国网山东省电力公司济南供电公司 | 输变电缺陷识别的方法、装置、计算机设备和存储介质 |
| CN116912637B (zh) * | 2023-09-13 | 2023-12-22 | 国网山东省电力公司济南供电公司 | 输变电缺陷识别的方法、装置、计算机设备和存储介质 |
| CN117540780A (zh) * | 2024-01-09 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 一种神经网络模型的压缩方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379604A (zh) | 2021-09-10 |
| CN113379604B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022262660A1 (zh) | 针对超分辨率网络的剪枝量化压缩方法、系统及介质 | |
| CN110363279B (zh) | 基于卷积神经网络模型的图像处理方法和装置 | |
| JP7373554B2 (ja) | クロスドメイン画像変換 | |
| WO2021208151A1 (zh) | 一种模型压缩方法、图像处理方法以及装置 | |
| WO2022160980A1 (zh) | 一种超分辨率方法、装置、终端设备及存储介质 | |
| JP2019208259A (ja) | リアル・タイム・ビデオ要約 | |
| CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
| WO2021135715A1 (zh) | 一种图像压缩方法及装置 | |
| CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| Fan et al. | Neural sparse representation for image restoration | |
| US10699443B2 (en) | Reducing the search space for real time texture compression | |
| WO2023151529A1 (zh) | 人脸图像的处理方法及相关设备 | |
| Guo et al. | CBANet: Toward Complexity and Bitrate Adaptive Deep Image Compression Using a Single Network | |
| CN113642710B (zh) | 一种网络模型的量化方法、装置、设备和存储介质 | |
| US20240013354A1 (en) | Deep SDR-HDR Conversion | |
| WO2019090876A1 (zh) | 一种基于直线扩展收缩模式的图像缩放方法 | |
| Luo et al. | A fast denoising fusion network using internal and external priors | |
| WO2023045297A1 (zh) | 图像超分辨率方法、装置、计算机设备和可读介质 | |
| CN110728732A (zh) | 一种图像重建方法、装置、设备及介质 | |
| US11645786B2 (en) | Compressing digital images utilizing deep perceptual similarity | |
| Zhang et al. | Design of network cascade structure for image super-resolution | |
| CN114821368A (zh) | 一种基于强化学习和Transformer的电力缺陷检测方法 | |
| CN115375909A (zh) | 一种图像处理方法及装置 | |
| CN112308215B (zh) | 基于神经网络中数据稀疏特性的智能训练加速方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22824140 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |