WO2012146042A1 - 一种基于三维栅格平滑模型的图像细节增强方法 - Google Patents

Description

一种基于三维栅格平滑模型的图像细节增强方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于三维栅格平滑模型的图 像细节增强方法。

背景技术 说

随着数字科技技术的进步， 人们开始走进数字化生活， 随时随地都可以接 触到与数字图像相关的技术。视觉是人类最高级的感知器官，而图像则在人类 的感知中扮演重要的角色。数码相机、摄像机、手机等数码电子产品的快速发 展， 使得人们对图像处理有了越来越高的要求。传统的以信号处理为基础的图 像去噪、滤波等方法己经无法满足人们对于图像处理的需要。 当前， 以图像缩 放、图像修复、图像合成及图像增强等涉及图像几何变换操作为代表的新型应 用，促进了数字几何处理方法与传统图像处理方法的相互结合。如何使得数字 几何处理方法与传统图像处理方法更好的结合已经成为图像处理研究工作者 的热点研究问题。这些新型应用将为人们提供更好的视觉效果， 为数字生活建 设提供极大的支持。

数字电视正由标清向高清、平面向三维转变。随着显示技术的发展， 人们 对画面的要求不仅是高清晰度， 还要求色彩艳丽、 画质逼真。 为了不断提高画 面视觉效果， 一方面要大力发展硬件技术， 另一方面也要提升软件技术。高质 量的图像增强算法是对图像在获得过程中丢失的部分数据的恢复。图像增强不 仅在标清片源在高清数字电视上播放时有着重要的作用，而且对于高清数字电 视片源的播放质量也有重要的作用。

因此， 为了给人们提供更高质量的视觉显示效果，现有的图像增强技术还 需改进。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于三维栅格平滑模型 的图像细节增强方法， 提升图像的显示效果。

本发明提供一种基于三维栅格平滑模型的图像细节增强方法，能够较好地 突出图像的边缘的同时达到较好的平滑效果。 本发明的目的通过以下技术方案予以实现。本发明提供一种基于三维栅格 平滑模型的图像细节增强方法， 包括以下歩骤：

首先构建三维栅格， 将二维源图像 /_w用三维栅格结构形式表示。 三维栅 格上的每个结点以 ("，^V， 表示三维空间坐标， 其中 _W、 V表示像素的空间位置， p表示像素的亮度值。

其次对三维栅格结构形式表示的图像进行边缘保持平滑操作。 步骤包括： 利用高斯核函数可分离性质， 构造三维高斯空间卷积核，根据三维高斯空间卷 积核和图像三维栅格结构表示形式，将双边平滑模型从二维空间上的操作转化 为三维空间上的线性卷积操作。

然后把完成平滑操作的图像由三维表示形式转回二维表示形式，得到所需 要的平滑图像输出 / 。 对平滑图像 进行颜色空间还原， 然后进行图像细 节增强操作。

所述采用三维栅格平滑模型，对源图像进行边缘保持的平滑操作包括以下 步骤：

( 1 ) 构建三维栅格， 将二维源图像 /_w用三维栅格结构形式表示； ( 2 ) 对三维栅格结构形式表示的图像进行边缘保持的平滑操作； ( 3 ) 把完成平滑操作的图像由三维表示形式转回二维表示形式。 所述构建三维栅格， 将二维源图像 /_w用三维栅格结构形式表示的步骤包 括：

将二维图像转为三维结构的形式，首先以离散的脉冲函数的形式定义数字 图像 这里所采用的离散脉冲函数的定义为：

其次， 结合离散脉冲函数将双边平滑模型改写如下：

最后， 根据数字图像直方图的思想， 计算图像局部区域内的图像直方图， 并定义局部直方图函数如下：

//(!') = 5 (/- /(_P +k))， 图像直方图反映了图像像素亮度的分布情况，利用这 特点构建基于直方 图分布特性的亮度域维度， 即以直方图的层次作为图像空间的第三维度量， 取 代由离散脉冲函数所构建的第三维度量；由此即可构造三维空间内的三维栅格 结构， 来表示原始图像信号； 设三维栅格上的每个结点以 ( ,_V，_P)表示三维空间 坐标， 每个结点表示为 W«，v， ) _; 根据局部直方图性质和三维栅格结构特性， 定义如下的三维栅格构建公式：

Ψ ([k._v/5J, [k_y/S_y], [I(p + k)/R]) += (/((p + k)), l )

其中符号 "表示局部区域内亮度值相同但空间坐标相异的像素在数 量上累加， 即等价于局部直方图中的某一像素值的像素数量累增；将上述三维 栅格构造公式推广到整个图像区域，则可得到由结点构造的三维空间内的栅格 结构； 三维栅格内的每个结点， 反映了局部区域内的像素分布情况， 并记录了 某一像素值的数量。

所述对三维栅格结构形式表示的图像进行边缘保持的平滑操作的步骤包 括：

a.根据向量空间的思想， 双边平滑实际上是定义在 S X ? _≡ X 空间中的 操作； 利用高斯核函数可分离性质， 构造三维高斯空间卷积核：

S, φ€ R)

b.根据三维高斯空间卷积核和所得的图像三维栅格结构表示形式， 将双边 平滑模型从二维空间上的操作转化为三维空间上的线性卷积操作；定义基于三 维栅格结构的平滑模型如下- 其中 ®表示三维空间卷积操作；

C,根据所构造的三维栅格和三维线性卷积操作， 二维的双边平滑操作可以 视作是三维的线性卷积操作， 实现双边平滑操作的优化加速算法。

所述把完成平滑操作的图像由三维表示形式转回二维表示形式， 歩骤包 -'操作通过简单的线性插值方式进行， 定义三维线性插值操作如下:

K ^(P + k)

W_hI_b(p) interpolate WMV)

S. ' 5. R

W_b — interpolate

其中 ^表示三维空间卷积所产生的加权系数； ¾和[.]₃分别表示二维平面 图像形式和三维栅格结构形式；

得到插值形式之后，对加权的图像进行归一化操作，归一化过程如下所示:

最终可以得到所需要的平滑图像输出 r_R

所述进行增强细节图像操作之前，需要对平滑图像 _:PS进行颜色空间还原， 然后进行图像细节增强操作。

传统的图像细节增强过程定义如 F :

其中 表示图像细节增强后的图像， /_w是输入图像， /'是经过空间平滑后的 图像， 是增强因子。 这样的细节增强方法， 必须先利用细节检测方法对图像 细节进行检测。但是， 若输入图像包含噪声等干扰信息时， 由于细节检测方法 的不完善， 往往将噪声等信息也误作为图像细节而进行了加强。 这种情况下， 非但起不到增强图像视觉效果的作用， 反而进一步降低了图像的信息表达能 力。 虽然可以在细节增强之前， 对输入图像进行一定的去噪操作， 但是， 这样 会影响对原始图像细节信息的检测效果。

因此，提出了基于三维栅格平滑模型的图像细节增强方法。借助三维栅格 平滑模型的边缘保持能力和去噪能力之间的相互统一，可以在突出图像边缘等 细节信息的同时，避免受到噪声等千扰信息的影响。定义基于三维栅格平滑模 型的细节增强过程如下： 其中 /_∞表示图像细节增强后的图像， / 是输入图像， 是经过边缘保持的三 维栅格平滑处理后的图像， r是细节增强因子。

本发明的有益效果是通过本发明能够保持图像边缘清晰的同时达到较好 的平滑效果， 通过图像细节增强， 提升了图像的显示质量。

附图说明

下面将结合本发明实施例和附图， 对本发明作进一步的详地描述。

图 1是本发明的控制流程图；

图 2 三维栅格模型结构示意图；

图 3原始的苹果图像与进行细节增强后的效果；

图 4原始的鹦鹉图像与进行细节增强后的效果

具体实施方式

下面将结合本发明实施例和附图，对本发明的一种基于三维栅格平滑模型 的图像细节增强方法作进一步的详地描述。

如图 1所示是该发明的一个实施方案的控制流程图， 主要包括以下步骤：

( 1 ) 输入源图像 /_{w ;}

( 2 ) 颜色空间转换；

( 3 ) 采用三维栅格平滑模型， 对源图像进行边缘保持的平滑操作；

( 4 ) 颜色空间还原；

( 5 ) 进行图像细节增强操作；

( 6 ) 输出目标图像/_∞。

下面作详细介绍。 本发明方法首先把一幅图像 作为输入， 进行颜色空 间转换后， 构建三维栅格结构， 把二维的图像 用三维栅格结构表示。 然后构 建三维高斯空间卷积核 (Ξ^ , φ)，根据所构建的三维高斯空间卷积核及图像 三维栅格表示形式，进行双边平滑模型操作， 实质上进行三维空间上的线性卷 积， 通过线性插值方法及归一化操作， 把三维栅格结构形式的图像展平， 输出 边缘保持的平滑图像 / 。 对平滑图像 进行颜色空间还原， 然后对还原颜 色空间后的图像进行细节增强， 得到目标图像 I_DF。 其中， 步骤 （3) 中所述采用三维栅格平滑模型， 对源图像进行边缘保持 的平滑操作包括以下步骤：

1 ) 构建三维栅格， 将二维源图像 /_w用三维栅格结构形式表示；

2 ) 对三维栅格结构形式表示的图像进行边缘保持的平滑操作；

3) 把完成平滑操作的图像由三维表示形式转回二维表示形式。

所述构建三维栅格， 将二维源图像 /,_Λ,用三维栅格结构形式表示的步骤包 括：

将二维图像转为三维结构的形式，首先以离散的脉冲函数的形式定义数字 图像， 这里所采用的离散脉冲函数的定义为：

ίΐ, χ = 0

[0, χ≠0 其次， 结合离散脉冲函数将双边平滑模型改写如下：

W_b {p)I_b (p) =∑G₅ [tp) - (p + k)] [/(p)— /(p + — /(p + k》

W_h (p) =∑ G_s [(p) - (p + k)] G, [/(p) - /(p + k)] 最后， 根据数字图像直方图的思想， 计算图像局部区域内的图像直方图， 并定义局部直方图函数如 F:

图像直方图反映了图像像素亮度的分布情况，利用这一特点构建基于直方 图分布特性的亮度域维度， 即以直方图的层次作为图像空间的第三维度量，取 代由离散脉冲函数所构建的第三维度量；由此即可构造三维空间内的三维栅格 结构， 来表示原始图像信号； 设三维栅格上的每个结点以 (_W，v,_P)表示三维空间 坐标， 每个结点表示为 根据局部直方图性质和三维栅格结构特性， 定义如下的三维栅格构建公式： 其中符号 " "表示局部区域内亮度值相同但空间坐标相异的像素在数 量上累加， 即等价于局部直方图中的某一像素值的像素数量累增； 将上述三维 栅格构造公式推广到整个图像区域，则可得到由结点构造的三维空间内的栅格 结构； 三维栅格内的每个结点， 反映了局部区域内的像素分布情况， 并记录了 某一像素值的数量。

所述对三维栅格结构形式表示的图像进行边缘保持的平滑操作的步骤包 括：

a.根据向量空间的思想， 双边平滑实际上是定义在 S _≡ S_X X S_F χ ?空间中的 操作； 利用高斯核函数可分离性质， 构造三维高斯空间卷积核：

g ( S R)

b.根据三维高斯空间卷积核和权利要求 3所得的图像三维栅格结构表示形 式， 将双边平滑模型从二维空间上的操作转化为三维空间上的线性卷积操作； 定义基于三维栅格结构的平滑模型如 F: 其中 ®表示三维空间卷积操作；

C.根据所构造的三维栅格和三维线性卷积操作， 二维的双边平滑操作可以 视作是三维的线性卷积操作， 实现双边平滑操作的优化加速算法。

所述把完成平滑操作的图像由三维表示形式转回二维表示形式， 步骤包 括：

这一操作通过简单的线性插值方式进行， 定义三维线性插值操作如下：

其中^表示三维空间卷积所产生的加权系数； [.]₂和[.]₃分别表示二维平面 像形式和三维栅格结构形式； 得到插值形式之后，对加权的图像进行归一化操作，归一化过程如下所示:

WP) 最终可以得到所需要的平滑图像输出 r_t:l 。

所述进行增强细节图像操作之前，需要对平滑图像 r_EPS进行颜色空间还原， 然后进行图像细节增强操作。

传统的图像细节增强过程定义如下：

其中 /。_£表示图像细节增强后的图像， 是输入图像， /'是经过空间平滑后的 图像， 是增强因子。 这样的细节增强方法， 必须先利用细节检测方法对图像 细节进行检测。但是， 若输入图像包含噪声等干扰信息时， 由于细节检测方法 的不完善， 往往将噪声等信息也误作为图像细节而进行了加强。 这种情况下， 非但起不到增强图像视觉效果的作用， 反而进一歩降低了图像的信息表达能 力。 虽然可以在细节增强之前， 对输入图像进行一定的去噪操作， 但是， 这样 会影响对原始图像细节信息的检测效果。

因此，提出了基于三维栅格平滑模型的图像细节增强方法。借助三维栅格 平滑模型的边缘保持能力和去噪能力之间的相互统一，可以在突出图像边缘等 细节信息的同时，避免受到噪声等千扰信息的影响。定义基于三维栅格平滑模 型的细节增强过程如下：

= I + (

其中 /。_£表示图像细节增强后的图像， / 是输入图像， ，是经过边缘保持的三 维栅格平滑处理后的图像， r是细节增强因子。

图 2为三维栅格模型的结构示意图， 图中栅格的层次表示亮度的灰度级， 每个栅格结点表示亮度值相同但空间坐标相异的像素在数量上累加，即等价于 局部直方图中的某一像素值的像素数量累增。 图 3、 图 4为该方法的两组应用 实例。 图 3原始的苹果图像与进行细节增强后的效果比较， 其中 （a)是原图， ( b ) 是本发明方法处理输出结果图， 细节增强因子取值 4。 图 4原始的鹦鹉 图像与进行细节增强后的效果， 其中 （a ) 是原图， （b ) 是本发明方法处理输 出结果图， 细节增强因于取值 4。

综上， 本发明实施例的一种基于三维栅格平滑模型的图像细节增强方法， 能够保持图像边缘清晰的同时达到较好的平滑效果，通过图像细节增强，提升 了图像的显示质量。

Claims

权 禾!] 要 求 书 i、 一种基于三维栅格平滑模型的图像细节增强方法， 其特征在于， 包括 以下步骤：

C D 输入源图像 /_{w ;}

(2 ) 颜色空间转换；

(3 ) 釆用三维栅格平滑模型， 对源图像进行边缘保持的平滑操作；

(4) 颜色空间还原；

(5) 进行图像细节增强操作；

（6) 输出目标图像 DE

2、 根据权利要求 1所述的一种基于三维栅格平滑模型的图像细节增强方 法， 其特征在于：

( 1 ) 构建三维栅格， 将二维源图像 / _ν用三维栅格结构形式表示；

(2) 对三维栅格结构形式表示的图像进行边缘保持的平滑操作；

( 3) 把完成平滑操作的图像由三维表示形式转回二维表示形式。

3、 根据权利要求 1或 2所述的一种基于三维栅格平滑模型的图像细节增强 方法， 其特征在于， 所述构建三维栅格， 将二维源图像 用三维栅格结构形 式表示的歩骤包括：

将二维图像转为三维结构的形式，首先以离散的脉冲函数的形式定义数字 图像， 的离散脉冲函数的定义为：

其次， 结合离散脉冲函数将双边平滑模型改写如下:

W_b (ρ)/_ή (p) =∑G, [(p)-(p + k)] G_R [/(p) -/(p + k)]^-/(p + k))

W_b (p) =∑G_S [(p) - (p + k)] G_K [/(p) -/(p + k)] 最后， 根据数字图像直方图的思想， 计算图像局部区域内的图像直方图， 并定义局部直方图函数如下：

H( ) = X^ ( - (p + k)), ^i≡R 图像直方图反映了图像像素亮度的分布情况，利用这一特点构建基于直方 图分布特性的亮度域维度， 即以直方图的层次作为图像空间的第三维度量， 取 代由离散脉冲函数所构建的第三维度量；由此即可构造三维空间内的三维栅格 结构， 来表示原始图像信号； 设三维栅格上的每个结点以 (_H，v,p)表示三维空间 坐标， 每个结点表示为 w«，_v，p) _; 根据局部直方图性质和三维栅格结构特性， 定义如下的三维栅格构建公式： 其中符号 " += "表示局部区域内亮度值相同但空间坐标相异的像素在数 量上累加， 即等价于局部直方图中的某 - 象素值的像素数量累增；将上述三维 栅格构造公式推广到整个图像区域，则可得到由结点构造的三维空间内的栅格 结构； 三维栅格内的每个结点， 反映了局部区域内的像素分布情况， 并记录了 某一像素值的数量。

4、 根据权利要求 1或 2所述的一种基于三维栅格平滑模型的图像细节增强 方法， 其特征在于，所述对三维栅格结构形式表示的图像进行边缘保持的平滑 操作的歩骤包括：

a.根据向量空间的思想， 双边平滑实际上是定义在 S ^ . x X 空间中的 操作； 利用高斯核函数可分离性质， 构造三维高斯空间卷积核：

g ( , ή

b.根据三维高斯空间卷积核和所得的图像三维栅格结构表示形式， 将双边 平滑模型从二维空间上的操作转化为三维空间上的线性卷积操作；定义基于三 维栅格结构的平滑模型如下：

UP) = g ®Ψ(Ρ)

其中 ®表示三维空间卷积操作； C.根据所构造的三维栅格和三维线性卷积操作， 二维的双边平滑操作可以 视作是三维的线性卷积操作， 实现双边平滑操作的优化加速算法。

5、 根据权利要求 1或 2所述的一种基于三维栅格平滑模型的图像细节增强 方法， 其特征在于：

所述把完成平滑操作的图像由三维表示形式转回二维表示形式， 步骤包 括：

这一操作通过简单的线性插值方式进行， 定义三维线性插值操作如下： k_x k /(p + k)

W_bI_b (p) interpolate

^7' ~ R ~~

W_b \ — interpolate 其中 ^表示三维空间卷积所产生的加权系数； H₂和 ¾分别表示二维平面 图像形式和三维栅格结构形式；

得到 加权的图像进行归一化操作，归一化过程如下所示:

最终可以得到所需要的平滑图像输出

6、 根据权利要求 1所述的一种基于三维栅格平滑模型的图像细节增强方 法， 其特征在于：

所述进行增强细节图像操作之前，需要对平滑图像 进行颜色空间还原， 然后进行图像细节增强操作；

定义基于三维栅格平滑模型的细节增强过程如 ' :

/ Γ - f/ —Γ * r

DE ^J EPS IN ¹ EPS )

其中 /_∞表示图像细节增强后的图像， /_w是输入图像， 是经过边缘保持的三 维栅格平滑处理后的图像， r是细节增强因子。