WO2020014862A1

WO2020014862A1 - 无参考型图像质量评价系统及方法

Info

Publication number: WO2020014862A1
Application number: PCT/CN2018/095953
Authority: WO
Inventors: 储颖; 游为麟
Original assignee: 深圳大学
Priority date: 2018-07-17
Filing date: 2018-07-17
Publication date: 2020-01-23

Abstract

本发明涉及无参考型图像质量评价系统及方法，本发明的无参考型图像质量评价系统包括多个图像信息提取通路、与图像信息提取通路连接的非线性子网络；图像信息提取通路包括依次连接的第一信息提取网络、第二信息提取网络和第三信息提取网络；其中，第一信息提取网络用于提取图像的基本原始结构，第二信息提取网络用于提取图像的线性表达，第三信息提取网络用于提取图像的统计独立分量；非线性子网络用于对统计独立分量进行特征映射以获取最终的图像质量评分。实施本发明能够实现图像质量评价结果与人类视觉感受的高度吻合。

Description

无参考型图像质量评价系统及方法

技术领域

本发明涉及图像质量评价技术领域，更具体地说，涉及一种无参考型图像质量评价系统及方法。

背景技术

大数据时代，随着互联网、移动通信、多媒体技术的不断发展，以及移动终端设备如智能手机、平板电脑等的快速普及，图像的数量呈现出爆炸式的增长，在国民生活中的地位进一步提升。然而，数字图像从被获取到被人类视觉系统感知的过程中，往往伴随着图像质量的退化。同时，许多图像、视频处理技术以图像质量为标准对算法结果进行评测，要求图像的主观感知质量准确传递其原始信息。因此，有必要研究能对图像质量进行客观评价、并与人类视觉系统感知结果高度一致的图像质量评价模型。

根据算法所需原始参考图像信息的多少，一般来讲，客观图像质量评价方法分为三种：全参考型(Full-Reference,FR)、部分参考型(Reduced-Reference,RR)和无参考型(No-Reference,NR)。其中，全参考型图像质量评价方法通过对原始图像和退化图像的全部信息做比较以计算两幅图像的感知差异，适用于参考图像能很方便获取的场合，例如图像压缩算法设计；部分参考型图像质量评价方法仅利用原始参考图像的部分信息(通常以一系列RR特征形式出现)来预测图像质量退化程度，一般适用于仅能获取原始图像少量统计信息的应用场合，例如网络图像传输；无参考型图像质量评价是最具挑战性的质量评价任务，因为没有原始图像的任何信息可供参考，适用于无法获得原始图像信息的情形，例如图像质量监控。而上述的无论哪种方法尤其是现有的无参考型图像质量评价方法都同人类视觉判断结果存在着或大或小的差异。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述现有的无参考型图像质量评价与人力视觉判断结果存在差异的缺陷，提供一种无参考型图像质量评价系统及方法。

本发明解决其技术问题所采用的技术方案是：构造一种无参考型图像质量评价系统，包括：多个图像信息提取通路、与所述图像信息提取通路连接的非线性子网络；所述图像信息提取通路包括依次连接的第一信息提取网络、第二信息提取网络和第三信息提取网络；

其中，所述第一信息提取网络用于提取所述图像的基本原始结构，所述第二信息提取网络用于提取所述图像的线性表达，所述第三信息提取网络用于提取所述图像的统计独立分量；所述非线性子网络用于对所述独立统计分量进行特征映射以获取最终的图像质量评分。

优选地，所述第一信息提取网络的目标函数和约束条件包括：

其中，I代表图像，(x,y)代表像素坐标，W代表第一信息提取网络权值，i,j代表神经元编号。

优选地，所述第二信息提取网络的目标函数和约束条件包括：

其中，h代表概率密度，v代表第二信息提取网络权值，z代表第二信息提取网络的输入值，i代表第二信息提取网络神经元编号。

优选地，所述第三信息提取网络的约束函数包括：

其中，T代表第三信息提取网络输出神经元数目，V代表第三信息提取网络权值，n代表第三信息提取网络输入神经元数目，h代表概率密度，z代表第三信息提取网络输出值，i,j代表神经元编号。

优选地，所述非线性子网络包括广义回归网络。

本发明还构造一种无参考型图像质量评价方法，包括以下步骤：

S1、通过多个通路提取图像的基本原始结构；

S2、根据所述基本原始结构提取对应的所述图像的线性表达，以获取多个与所述通路对应的线性表达；

S3、根据所述线性表达提取所述图像的统计独立分量，以获取多个与所述通路对应的统计独立分量；

S4、对多个所述统计独立分量进行特征合并，输出所述图像的图像质量评分。

优选地，所述步骤S1中，所述提取图像的基本原始结构包括：通过目标函数和约束条件满足：

的第一信息提取网络进行提取；

优选地，所述步骤S2中，所述根据所述基本原始结构提取对应的所述图像的线性表达包括：通过目标函数和约束条件满足：

的第二信息提取网络进行提取；

优选地，所述步骤S3中，所述根据所述线性表达提取所述图像的统计独立分量包括：通过约束函数满足：

的第三信息提取网络进行提取；

优选地，在所述步骤S4中，所述对多个所述统计独立分量进行特征合并包括：通过广义回归网络对多个所述统计独立分量进行特征合并。

实施本发明的无参考型图像质量评价系统及方法，具有以下有益效果：实现图像质量评价结果与人类视觉感受的高度吻合。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明无参考型图像质量评价系统一实施例的逻辑框图；

图2是图1中第一信息提取网络输出示意图；

图3是图1中第二信息提取网络输出示意图；

图4是图1中第三信息提取网络输出示意图；

图5是图1中非线性子网络一实施例的示意图；

图6是本发明无参考型图像质量评价方法一实施例的程序流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，在本发明的无参考型图像质量评价系统一实施例中，包括：多个图像信息提取通路、与图像信息提取通路连接的非线性子网络；图像信息提取通路包括依次连接的第一信息提取网络、第二信息提取网络和第三信息提取网络；其中，第一信息提取网络用于提取图像的基本原始结构，第二信息提取网络用于提取图像的线性表达，第三信息提取网络用于提取图像的统计独立分量；非线性子网络用于对统计独立分量进行特征映射以获取最终的图像质量评分。具体的，多个图像信息提取通路呈并列设置，每个图像信息提取通路互不影响，都独立的进行对图像信息的提取。这里的图像信息提取通路可以为两个，也可以为两个以上。这里设置在每个图像信息提取通路中的第一信息提取网络、第二信息提取网络和第三信息提取网络依次对图像信息进行提取。分布在多个图像信息提取通路中的第三信息提取网络的输出端均与同一个非线性子网络连接，对图像信息提取通路经第三信息提取网络提取的最终图像信息进行特征合并处理。

在这里，如图2所示，第一信息提取网络对输入的图像信息进行分解，获得该图像的基本原始结构。即在此阶段，第一信息提取网络进行零交叉检测，以得到边缘图像。也可以理解，自然图像是尺度不变的，且自然图像可由边缘特征构成，说明自然图像沿边缘方向具有高度可预测性。自然图像中隐含大量冗余信息，且该冗余基本可经第一信息提取网络消除。如图3所示，第二信息提取网络对上述的基本原始结构进行进一步的分解，得到图像的线性表达。可以理解，在第一信息提取网络只能去除图像的二阶相关性，更高阶的图像系数之间的相关性需要进行进一步的处理，在这里通过第二信息提取网络对自然图像进行线性编码以表达第二信息提取网络的方向、尺度和空间位置的选择性。如图4所示，第三信息提取网络在第二信息提取网络的基础上，对图像的线性表达进一步的处理，对图像进行区分归一化变换之后所得到的其独立统计分量特征。也可以理解为线性表达即线性分解值经过非线性映射以及区分归一化操作，得到图像的稀疏表达，也就是图像的统计独立分量。这里非线性子网络可以包含前序卷积层、池化层、全连接层等不同功能的网络结构，通过不同的网络结构的有机整合完成对图像质量的评价任务。这里还可以理解，这里的第一信息提取网络、第二信息提取网络和第三信息提取网络均采用深度学习网络，例如采用人工神经网络，有助于获取更接近实际的人类视觉差异感知模型。

进一步的，在一些实施例中，第一信息提取网络的目标函数和约束条件包括：

其中，I代表图像，(x,y)代表像素坐标，W代表第一信息提取网络权值，i,j代表神经元编号。当然，在一些实施例中，第一信息提取网络也可以满足其他的约束条件。

进一步的，在一些实施例中，第二信息提取网络的目标函数和约束条件包括：

其中，h代表概率密度，v代表第二信息提取网络权值，z代表第二信息提取网络的输入值，i代表第二信息提取网络神经元编号。当然，在一些实施例中，第二信息提取网络也可以满足其他的约束条件。

进一步的，在一些实施例中，第三信息提取网络的约束函数包括：

其中，T代表第三信息提取网络输出神经元数目，V代表第三信息提取网络权值，n代表第三信息提取网络输入神经元数目，h代表概率密度，z代表第三信息提取网络输出值，i,j代表神经元编号。当然，在一些实施例中，第三信息提取网络也可以满足其他的约束条件。

进一步的，如图5所示，在一些实施例中，非线性子网络包括广义回归网络。具体的，第三信息提取网络提取的独立统计分量分别为X1、X2……Xm，经过该广义回归网络的输入层、进入图案层进行处理，最后经加和层处理后的参数合并，通过输出层输出最终的图像质量评分Y，在这里，广义回归网络中图案层和加和层的参数可以进行微调，以保证其输出的图像质量评分Y同人类视觉感知更吻合。当然，还有一些实施例中，也可以采用其他的非线性网络进行特征合并，而不局限于上述的广义回归网络。此外，这里的广义回归网络在进行特征合并的过程中，会进行一个深度学习，以实现从原始、简单特征，到抽象、复杂特征的抽象化、语义化过程，使该系统与人类视觉更加接近，其对图像质量的评价结果更加接近人类视觉效果。

另，本发明的无参考型图像质量评价方法，包括以下步骤：

S1、通过多个通路提取图像的基本原始结构；具体的，这里每个通路之间相互独立，互不影响。这里的多个通路可以为两个或者两个以上的通路，每个通路均对相同的图像进行信息提取，提取图像的的基本原始结构。

S2、根据基本原始结构提取对应的图像的线性表达，以获取多个与通路对应的线性表达；具体的，在上述的基础上，对图像的基本原始结构进行分解，从中提取对应的图像的线性表达，这里可以理解提取的线性表达也是与通路对应的，是多个的。

S3、根据线性表达提取图像的统计独立分量，以获取多个与通路对应的统计独立分量；具体的，在获取了图像的线性表达的基础上，进一步进行信息提取，提取图像的统计独立分量。还可以理解为，线性表达即线性分解值经过非线性映射以及区分归一化操作，得到图像的稀疏表达，也就是统计独立分量。

S4、对多个统计独立分量进行特征合并，输出图像的图像质量评分。具体的，通过非线性子网络对多个独立分量进行特征合并，根据合并结果输出最终的图像质量评分。这里非线性子网络可以包含前序卷积层、池化层、全连接层等不同功能的网络结构，通过不同的网络结构的有机整合完成对图像质量的评价任务。

这里还可以理解，上面的步骤均可以采用深度学习网络进行，例如采用人工神经网络，有助于获取更接近实际的人类视觉差异感知模型。

进一步的，步骤S1中，提取图像的基本原始结构包括：通过目标函数和约束条件满足：

的第一信息提取网络进行提取；

其中，I代表图像，(x,y)代表像素坐标，W代表第一信息提取网络权值， i,j代表神经元编号。当然，在一些实施例中，也可以采用其他的约束条件对提取图像的基本原始结构的过程进行约束。。

进一步的，步骤S2中，根据基本原始结构提取对应的图像的线性表达包括：通过目标函数和约束条件满足：

的第二信息提取网络进行提取；

其中，h代表概率密度，v代表第二信息提取网络权值，z代表第二信息提取网络的输入值，i代表第二信息提取网络神经元编号。当然，在一些实施例中，也可以采用其他的约束条件对提取图像的线性表达的过程进行约束。

优选地，步骤S3中，所述根据线性表达提取图像的统计独立分量包括：通过约束函数满足：

的第三信息提取网络进行提取；

其中，T代表第三信息提取网络输出神经元数目，V代表第三信息提取网络权值，n代表第三信息提取网络输入神经元数目，h代表概率密度，z代表第三信息提取网络输出值，i,j代表神经元编号。当然，在一些实施例中，也可以采用其他的约束条件对提取图像的统计独立分量的过程进行约束。

优选地，在步骤S4中，对多个统计独立分量进行特征合并包括：通过广义回归网络对多个统计独立分量进行特征合并。具体的，如图5所示，在步骤S3中提取的独立统计分量分别为X1、X2……Xm，经过该广义回归网络的输入层、进入图案层进行处理，最后经加和层处理后的参数合并，通过输出层输出最终的图像质量评分Y，在这里，广义回归网络中图案层和加和层的参数可以进行微调，以保证其输出的图像质量评分Y同人类视觉感知更吻合。当然，还有一些实施例中，也可以采用其他的非线性网络进行特征合并，而不局限于上述的广义回归网络。此外，这里的广义回归网络在进行特征合并的过程中，会进行一个深度学习，以实现从原始、简单特征，到抽象、复杂特征的抽象化、语义化过程，使该系统与人类视觉更加接近，其对图像质量的评价结果更加接近人类视觉效果。

本发明的通过深度网络架构实现的新型图像质量评价系统不仅能得到准确、有效的图像质量评价指标，更重要地，可以有效搭建图像质量评价、机器学习与视神经生理学之间的桥梁，有助于人们更好地实现与人类视觉系统高度一致的图像质量评价系统。

可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。

Claims

一种无参考型图像质量评价系统，其特征在于，包括：多个图像信息提取通路、与所述图像信息提取通路连接的非线性子网络；所述图像信息提取通路包括依次连接的第一信息提取网络、第二信息提取网络和第三信息提取网络；

其中，所述第一信息提取网络用于提取所述图像的基本原始结构，所述第二信息提取网络用于提取所述图像的线性表达，所述第三信息提取网络用于提取所述图像的统计独立分量；所述非线性子网络用于对所述统计独立分量进行特征映射以获取最终的图像质量评分。
权利要求1所述的无参考型图像质量评价系统，其特征在于，所述第一信息提取网络的目标函数和约束条件包括：

其中，I代表图像，(x,y)代表像素坐标，W代表第一信息提取网络权值，i,j代表神经元编号。
权利要求1所述的无参考型图像质量评价系统，其特征在于，所述第二信息提取网络的目标函数和约束条件包括：

其中，h代表概率密度，v代表第二信息提取网络权值，z代表第二信息提取网络的输入值，i代表第二信息提取网络神经元编号。
权利要求1所述的无参考型图像质量评价系统，其特征在于，所述第三信息提取网络的约束函数包括：

其中，T代表第三信息提取网络输出神经元数目，V代表第三信息提取网络权值，n代表第三信息提取网络输入神经元数目，h代表概率密度，z代表第三信息提取网络输出值，i,j代表神经元编号。
权利要求1所述的无参考型图像质量评价系统，其特征在于，所述非线性子网络包括广义回归网络。
一种无参考型图像质量评价方法，其特征在于，包括以下步骤：

S1、通过多个通路提取图像的基本原始结构；

S2、根据所述基本原始结构提取对应的所述图像的线性表达，以获取多个与所述通路对应的线性表达；

S3、根据所述线性表达提取所述图像的统计独立分量，以获取多个与所述通路对应的统计独立分量；

S4、对多个所述统计独立分量进行特征合并，输出所述图像的图像质量评分。
根据权利要求6所述的无参考型图像质量评价方法，其特征在于，所述步骤S1中，所述提取图像的基本原始结构包括：通过目标函数和约束条件满足：

的第一信息提取网络进行提取；

其中，I代表图像，(x,y)代表像素坐标，W代表第一信息提取网络权值，i,j代表神经元编号。
根据权利要求6所述的无参考型图像质量评价方法，其特征在于，所述步骤S2中，所述根据所述基本原始结构提取对应的所述图像的线性表达包括：通过目标函数和约束条件满足：

的第二信息提取网络进行提取；

其中，h代表概率密度，v代表第二信息提取网络权值，z代表第二信息提取网络的输入值，i代表第二信息提取网络神经元编号。
根据权利要求6所述的无参考型图像质量评价方法，其特征在于，所述步骤S3中，所述根据所述线性表达提取所述图像的统计独立分量包括：通过约束函数满足：

的第三信息提取网络进行提取；

其中，T代表第三信息提取网络输出神经元数目，V代表第三信息提取网络权值，n代表第三信息提取网络输入神经元数目，h代表概率密度，z代表第三信息提取网络输出值，i,j代表神经元编号。
根据权利要求6所述的无参考型图像质量评价方法，其特征在于，在所述步骤S4中，所述对多个所述统计独立分量进行特征合并包括：通过广义回归网络对多个所述统计独立分量进行特征合并。