WO2021102702A1 - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
WO2021102702A1
WO2021102702A1 PCT/CN2019/121045 CN2019121045W WO2021102702A1 WO 2021102702 A1 WO2021102702 A1 WO 2021102702A1 CN 2019121045 W CN2019121045 W CN 2019121045W WO 2021102702 A1 WO2021102702 A1 WO 2021102702A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
processed
progressive
filter
Prior art date
Application number
PCT/CN2019/121045
Other languages
English (en)
French (fr)
Inventor
李恒杰
赵文军
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/121045 priority Critical patent/WO2021102702A1/zh
Publication of WO2021102702A1 publication Critical patent/WO2021102702A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/0012Context preserving transformation, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/003Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Abstract

提供一种图像处理方法和装置。该方法包括:获取待处理图像,该待处理图像包括第一感兴趣区域和与第一感兴趣区域相邻的第一渐进虚化区域;对该第一渐进虚化区域中的各待处理像素点进行滤波,以得到虚化后的图像;其中,该第一渐进虚化区域对应的第一滤波核中各数值点的滤波权重和第一渐进虚化区域中的待处理像素点与第一感兴趣区域之间的距离相关。由此,可以实现图像不同区域间的平滑过渡,缓解滤波边界给视觉带来的不良体验,视觉效果较好。

Description

图像处理方法和装置
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域,并且更为具体地,涉及一种图像处理方法和装置。
背景技术
在图传应用中,通常将拍摄到的图像和视频进行实时传输,这需要占用较大的带宽。为了减少对图传资源的占用,可以采用滤波的方式对图像进行虚化。例如,对感兴趣区域(region of interest,ROI)保持像素点的原值,对其他区域基于相同或不同的滤波半径,通过均值滤波或高斯滤波等方式来减少高频信息。然而,在ROI和滤波区域之间,存在明显的滤波边界,视觉效果差。
发明内容
本申请提供一种图像处理方法和装置,可以实现图像不同区域间的平滑过渡,缓解滤波边界给视觉带来的不良体验,视觉效果较好。
第一方面,提供一种图像处理方法,该方法包括:获取待处理图像,该待处理图像包括第一感兴趣区域和与第一感兴趣区域相邻的第一渐进虚化区域;对该第一渐进虚化区域中的各待处理像素点进行滤波,以得到虚化后的图像;其中,该第一渐进虚化区域对应的第一滤波核中各像素点的滤波权重和第一渐进虚化区域中的待处理像素点与第一感兴趣区域之间的距离相关。
第二方面,提供一种图像处理装置,所述装置用于执行上述第一方面中的方法。
在一种可能设计中,该图像处理装置为芯片。该芯片包括处理模块与通信接口,所述处理模块用于控制所述通信接口与外部进行通信,所述处理模 块还用于实现第一方面的方法。
第三方面,提供一种图像处理装置,所述装置包括存储器和处理器,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,并且对所述存储器中存储的指令的执行使得所述处理器执行第一方面的方法。
第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被计算机执行时使得所述计算机实现第一方面的方法。可选地,所述计算机可以为上述图像处理装置。
第五方面,提供一种包含指令的计算机程序产品,所述指令被计算机执行时使得所述计算机实现第一方面的方法。可选地,所述计算机可以为上述图像处理装置。
附图说明
图1是均值滤波的示意图;
图2是权重滤波的示意图;
图3是高斯滤波的示意图;
图4和图5是本申请实施例提供的图像处理方法的示意性流程图;
图6是本申请实施例提供的第一滤波核中的外部数值点和内部数值点的示意图;
图7是本申请实施例提供的待处理图像中第一渐进虚化区域和第一ROI的示意图;
图8是本申请实施例提供的待处理图像中多个虚化层次和第一ROI的示意图;
图9是本申请实施例提供的第一滤波核和第二滤波核的示意图;
图10是本申请实施例提供的与多个虚化层次对应的滤波核的示意图;
图11是本申请实施例提供的多种滤波模式的示意图;
图12是本申请实施例提供的镜像扩展的示意图;
图13是本申请实施例提供的待处理图像中第一渐进锐化区域、第一非渐进锐化区域和原值保持区域的示意图;
图14是本申请实施例提供的锐化的示意图;
图15是本申请实施例提供的羽化的示意图;
图16是本申请实施例提供的锐化处理的另一示意图;
图17是本申请实施例提供的图像处理方法的另一示意性流程图;
图18是本申请实施例提供的图像处理装置的示意性框图;
图19是本申请实施例提供的图像处理装置的另一示意性框图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
1、图像滤波:是对输入信号进行卷积处理的一个过程。若通过一个函数来表示:滤波后的信号=卷积(输入信号,卷积模板)。其中,卷积模板的一种表现形式滤波核(或者称卷积核)。卷积模板的不同决定了不同的滤波方式,也因此产生了高通、低通、带通、带阻等滤波方式。
低通滤波,就是保留信号中的低频部分,减少高频部分,要达到这个目的,可以利用均值卷积模板(即,均值滤波)、高斯卷积模板(即,高斯滤波)等对输入信号进行处理。
高通滤波的概念与低通滤波是相对应的,即,保留信号的高频部分,减少低频部分。由于本申请主要涉及低通滤波,这里对高通滤波不作详述。
在本申请实施例中,图像滤波可以包括空域(spatial domain)滤波和频域(frequency domain)滤波。
其中,空域滤波是一种邻域处理方法。在图像空间中借助模板对图像进行邻域操作,处理后的图像中每一个像素点的值都是根据模板对像素点相应邻域内的像素值进行计算得到的。
在一种实现方式中,空域滤波的过程例如可以通过如下公式来体现:
Figure PCTCN2019121045-appb-000001
式中,w(i,j)表示模板;(x+i,y+j)表示像素点(x,y)的邻域内的像素点,g(x,y)表示像素点(x,y)经滤波之后的值;r为滤波半径,r为正整数。
频域滤波的处理过程为:将图像从空域转换到频域,在频域使用滤波函数进行滤波,最后将结果反变换到空域。其中,频域可以是由傅里叶变换(Fourier Transform)和频率变量(u,v)定义的空间。
在一种实现方式中,频域滤波的过程例如可以通过如下公式来体现:
Figure PCTCN2019121045-appb-000002
式中,F(u,v)表示原始图像f(x,y)的傅里叶变换,H(u,v)表示频域滤波函数,G(u,v)表示经滤波之后的图像g(x,y)的傅里叶变换。
应理解,这里所列举的傅里叶变换、傅里叶逆变换以及FFT和IFFT仅为便于理解而示例,不应对本申请构成任何限定。本申请对于图像在空域和频域间转换的具体方式不作限定。
在本申请实施例中,对图像的处理主要包括图像虚化和图像锐化。其中,图像虚化可以是通过空域滤波来实现,图像锐化可以是通过频域滤波来实现。
2、滤波核(kernel)与滤波半径:滤波核也可以称为卷积核(convolution kernel)。滤波核的长宽可以是人为定义的,长×宽可以称为滤波核的尺寸。例如常用的尺寸由3×3,5×5,7×7等。滤波核的尺寸由滤波半径确定。滤波核也就是以待处理的像素点为中心,向该待处理的像素点的上、下、左、右四个方向分别扩展出一个滤波半径的宽度。简单地说,假设滤波半径为r,滤波核的长、宽为s,则s=2r+1。例如,滤波半径为1,则滤波核的尺寸为3×3;滤波半径为2,则滤波核的尺寸为5×5。为了简洁,这里不一一列举。
在本申请实施例中,滤波核可以理解为由多个滤波权重数值组成的数值矩阵。当滤波核用于处理某一待处理像素点时,数值矩阵中的每一个数值分别对应于该待处理像素点及其周围不同位置的像素点(即,邻域内的像素点),以进行卷积(或者,乘法)运算。从图上看,该滤波核包括多个点。例如尺寸为5×5的滤波核包括25个点。滤波核中的每一个点具有一个数值,故每一个点可以称为一个数值点。每一个数值点可以与一个像素点对应,可用于表示所对应的像素点的滤波权重。
3、图像虚化(blur):为了减少图像噪声,降低细节层次,可以对图像进行虚化处理。经过虚化处理后的图像变得模糊、平滑;且,图像大小也得以减小。图像虚化例如可以通过均值滤波、高斯滤波等方式来实现。
4、图像锐化(sharpen):为了补偿图像的轮廓,增强图像的边缘及灰度跳变的部分,使图像变得清晰,对图像进行锐化处理。图像锐化就是为了突出图像上地物的边缘、轮廓或某些目标要素的特征等。可以理解,图像锐化与图像虚化是相对应的,经不同的处理后所得到的图像也具有不同的视觉效果。
在一种实现方式中,可以通过高通滤波器提取图像的高频信息,叠加到原图中,实现图像的细节增强。在图像领域,一般使用边缘检测算子提取图像的边缘信息(即,细节),实现图像细节提升。常用的边缘提取算子包括:Sobel算子、Prewitt算子、Roberts算子、Laplacian算子等。
在另一种实现方式中,可以通过低通滤波器提取图像低频信息,再用原图减去低频信息,得到高频信息,叠加到原图中,实现图像增强。
在本申请实施例中,对ROI区域内的细节增强采用了上述第二种实现方式。但应理解,这不应对本申请构成任何限定。
5、均值滤波:是一种线性滤波方式。均值滤波是指,对待处理的像素点选择一个模板,该模板由待处理的像素点及其临近的若干个像素点组成,用模板内全部像素点的均值来替代该待处理的像素点的值。该模板可以称为均值卷积模板。
若通过公式来表示均值滤波,则待处理的像素点(x,y)经均值滤波后的值可以由如下公式得到:
Figure PCTCN2019121045-appb-000003
其中,M表示该滤波核内的数值点个数,M为正整数;当滤波核用于对像素点(x,y)进行滤波时,像素点(x,y)位于该滤波核的中心;(x+i,y+j)为该滤波核中的各个像素点。
为便于理解,下面结合图1简单说明均值滤波。
图1中的左图示出了待处理图像的一例。该待处理图像包括5×5个像素点。该待处理图像的黑色区域对应一个3×3的滤波核。即,该滤波核的滤波半径为1。对该黑色区域内的像素点求均值,便可得到右图中左上角黑色区域的像素点的值。换句话说,右图中左上角的像素点的值由左图中左上角的9个像素点的均值所替代,也就是被滤波核内的9个像素点的均值所替代。
将该滤波核逐个像素点地移动,例如按照从左到右、从上到下地顺序移动,或者按照从上到小、从左到右地顺序移动,便可以得到图1中右图示出的滤波后的图像。可以看到,滤波后的图像中包括3×3个像素点。滤波后的图像中的每个像素点的值由待处理的图像中相应区域中的9个像素点的均值所替代。
6、权重滤波:一种线性滤波方式。与均值滤波不同的是,滤波核内的 各数值点的权重可配置,因此各数值点的权重可以是不同的。
若通过公式来表示均值滤波,则待处理的像素点(x,y)经权重滤波后的值可以由如下公式得到:
Figure PCTCN2019121045-appb-000004
其中,M、r和像素点(x,y)所表示的含义在均值滤波中已经做了说明,为了简洁,这里不再重复。w(i,j)表示像素点(x+i,y+j)的权重,w(i,j)>0。
为便于理解,下面结合图2简单说明权重滤波。图2示出了权重滤波的一例。
图2中示出了对以包含有8×8个像素点的待处理图像经过一3×3的滤波核的权重滤波后得到的滤波后的图像。即,滤波半径为1。图中滤波核中每个数值点的权重分别在图中示出。将待处理图像中左上角黑色区域内的9个像素点基于该滤波核进行权重滤波后,便可以得到右图中左上角黑色区域内的像素点的值。与均值滤波所不同的是,滤波核内各数值点的权重可能是不同的。
将该滤波核在该待处理的图像中逐个像素点地移动,例如按照从左到右、从上到下地顺序移动,或者按照从上到小、从左到右地顺序移动,便可以得到图1中右图示出的滤波后的图像。可以看到,滤波后的图像中包括3×3个像素点。滤波后的图像中每个像素点的值由待处理的图像中相应区域中的9个像素点的加权所替代。
7、高斯滤波:一种线性滤波方式。高斯滤波利用二维高斯函数的分布方式对图像进行滤波。在高斯滤波过程中,首先确定高斯模板,然后进行卷积。该高斯模板也可以称为高斯核,可以理解为上述滤波核中的一种。
若通过公式来表示均值滤波,则待处理的像素点(x,y)经权重滤波后的值可以由如下公式得到:
Figure PCTCN2019121045-appb-000005
其中,σ为高斯分布的标准差,其取值可以预先设定。
为便于理解,下面结合图3简单说明高斯滤波。图3示出的高斯核的尺寸为3×3。假设中心点的坐标为(0,0),那么与其相邻的8个数值点的坐标分别为(-1,1)、(0,1)、(1,1),(-1,0),(1,0),(-1,-1),(0,-1)、(1,-1)。为了确定高斯核中各数值点的权重,需要设定σ的值。假设σ=1.5, 则可以得到滤波半径为1的高斯核中,中心点的权重及其临近的各数值点的权重分别如图中所示。再进一步对各数值点的权重进行归一化处理,便可以得到该高斯核中各数值点的权重。
应理解,上文结合附图列举的各种滤波方式、滤波核以及涉及到的各类参数的取值仅为示例,不应对本申请构成任何限定。
8、高频信息与低频信息:图像的频率是表征图像中灰度变化剧烈程度的指标。低频信息(或者称,低频分量)代表着图像中灰度缓慢变化的区域。低频信息对应了图像中平缓变化的部分、背景灯。图像的主要成分是低频信息,它形成了图像的基本灰度等级,对图像结构的决定作用较小。高频信息(或者称,高频分量)对应着图像的灰度值急剧变化的部分。高频信息对应了图像的边缘、细节以及噪声等。中频信息(或者称,中频分量)决定了图像的基本结构,形成了图像的主要边缘结构。因此,高频信息可以理解为在中频信息上对图像内容的进一步强化。
本申请实施例中,为了区分不同的信息,还引入了高频信息、低频信息、中频信息、中低频信息,这些信息的不同命名只是为了区分经不同的处理而获得的信号。具体地,若采用不同的滤波半径对待处理图像进行滤波,所得到的信息有所不同。例如,将采用5×5的滤波核进行均值滤波与采用7×7的滤波核进行均值滤波相比,前者对细节的保留较后者更多,为了区分,将经前者滤波所得的信息称为中低频信息,经后者滤波所得的信息称为低频信息。而中低频信息可以理解为包含了低频信息和中频信息,若将经5×5的滤波核均值滤波后得到的中低频信息与经7×7的滤波核均值滤波后得到的低频信息做差,所得到的信息可以认为是中频信息。而将原图与中低频信息做差,所得到的信息可以认为是高频信息。
本申请提供的图像处理方法主要包括了图像虚化处理和图像锐化处理。下文结合附图详细说明了本申请提供的图像处理方法。其中,图4所示的方法实施例主要描述了对图像进行虚化处理的过程。图5所示的方法实施例主要描述了对图像进行虚化处理和锐化处理的过程。
应理解,图4和图5示出的方法实施例可以由图像处理装置或配置在该图像处理装置中的部件(如芯片等)来执行。本申请对此不作限定。下文中为便于理解和说明,以图像处理装置为执行主体来详细说明本申请实施例。
该图像处理装置例如可以配置在无人驾驶设备中,如无人机、无人驾驶 汽车等。该无人驾驶设备可以包括一个或多个摄像头,该一个或多个摄像头可用于拍摄图像。拍摄到的图像经图像处理装置的虚化处理后,可以被传输至用户端,例如控制台等。
应理解,上文所描述的应用场景仅为示例,不应对本申请构成任何限定。本申请所提供的图像处理方法并不限于上述应用场景。
下面分别对图4所示的方法400和图5所示的方法500做详细说明。
图4是本申请实施例提供的图像处理方法400的示意性流程图。图4所示的方法400包括步骤410和步骤420。下面详细说明方法400的各步骤。
在步骤410中,获取待处理图像。
具体地,该待处理图像例如可以是数字图像。示例性地,摄像头拍摄到的图像经感光元件转换为电信号后,被传至图像信号处理器(image signal processor,ISP)处理,从而转化为数字图像。该数字图像可以进一步被发送至图像处理装置。发送至图像处理装置的数字图像即为待处理图像。
应理解,这里所述的待处理图像例如可以是摄像头通过拍照获取到的一帧图像,也可以是通过录像获取到的多帧图像中的一帧,本申请对此不作限定。
在本申请实施例中,该待处理图像可以包括至少一个ROI和至少一个渐进虚化区域。本申请对于ROI的数量和渐进虚化区域的数量均不作限定。且ROI的数量也并不一定与渐进虚化区域的数量相同或成倍数关系。ROI和渐进虚化区域的数量和位置均取决于对该待处理图像的区域划分,本申请对此不作限定。
举例来说,该至少一个ROI可以是待处理图像的左上角、右上角、左下角或右下角中的至少一块区域。每个ROI都可以与至少一个渐进虚化区域相邻。比如,每个ROI区域都可以被至少一个渐进虚化区域包围。包围每个ROI的至少一个渐进虚化区域还可能在该待处理图像的中间区域合成一整块渐进虚化区域,或者,包围每个ROI的至少一个渐进虚化区域也可能各自独立。本申请对此不作限定。
又例如,该待处理图像可以是一长条画幅,该至少一个ROI例如可以是该待处理图像中间的一段或多段。每个ROI的两侧都可以与至少一个渐进虚化区域相邻。
还例如,该待处理图像包括一个ROI,该ROI位于该待处理图像的中间 区域。该ROI可以与至少一个渐进虚化区域相邻,比如,被至少一个渐进虚化区域包围。
下文中为便于理解和说明,首先以待处理图像中的一个ROI和一个渐进虚化区域为例来说明本申请实施例提供的方法。其中,将该ROI例如可以记作第一ROI,将该渐进虚化区域例如可以记作第一渐进虚化区域。该第一ROI可以是上述至少一个ROI中的任意一个ROI,该第一渐进虚化区域可以与该第一ROI相邻。
在一个示例中,第一渐进虚化区域包围第一ROI。即,第一ROI与第一渐进虚化区域相交于该第一渐进虚化区域的内边界。
这里所述的内边界是相对于与第一ROI的距离的远近而言的。在同一方向上,第一渐进虚化区域的内边界较第一渐进虚化区域外边界更加靠近第一ROI,比如更加靠近第一ROI的中心。或者说,第一渐进虚化区域的内边界与第一ROI的中心的距离小于第一虚化渐进区域的外边界与第一ROI的中心的距离。
应理解,这里仅为便于理解,以第一ROI的中心作为参照来区分第一渐进虚化区域的内边界和外边界,不应对本申请构成任何限定。例如也可以第一ROI中的任意一个像素点为参照来区分第一渐进虚化区域的内边界和外边界,本申请对此不作限定。
在步骤420中,对该第一渐进虚化区域中的各待处理像素点进行滤波,以得到虚化后的图像。
为便于区分和说明,将用于对第一渐进虚化区域进行滤波处理的滤波核记为第一滤波核。在本申请实施例中,该第一滤波核中各数值点的滤波权重和第一渐进虚化区域中的待处理像素点与第一ROI之前的距离相关。关于滤波核中各数值点与各像素点的对应关系已经在上文做了详细说明,为了简洁,这里不再重复。
也就是说,该第一滤波核在用于对第一渐进虚化区域进行滤波时,随着待处理像素点与第一ROI之间的距离的变化,第一滤波核中各数值点的滤波权重也有所改变。
例如,距离第一ROI较近的像素点可以尽可能的保留细节信息,距离第一ROI较远的像素点可以加大虚化程度。在一种实现方式中,在对距离第一ROI较近的像素点进行滤波时,可以对第一滤波核内靠近中心的数值点施加 较高的滤波权重,对第一滤波核边缘的数值点施加较低的滤波权重,以使得细节信息能够尽可能的保留。在对距离第一ROI较远的像素点进行滤波时,可以对第一滤波核内的数值点施加比较均匀的滤波权重,以获得较明显的虚化效果。
基于上述滤波处理,便可以得到虚化后的图像。
因此,本申请实施例根据第一渐进虚化区域中的待处理像素点调整第一滤波核中各数值点的滤波权重,使得该待处理图像中第一ROI周围的区域能够随着与第一ROI的距离的增大而加大虚化程度,也就是随着与第一ROI的距离的增大而逐渐变得模糊。因此可以实现由第一ROI与第一渐进虚化区域之间的平滑过渡,减弱滤波边界给视觉带来的不良体验,从而获得较好的视觉效果。
应理解,上文仅为便于理解,示例性地给出了一种基于待处理像素点与第一ROI的距离的不同,对第一滤波核内的各数值点施加不同滤波权重的例子。但这不应对本申请构成任何限定。后文的方法500中会结合更为具体的实现方式来对该步骤420做进一步地阐述。这里暂且不作详述。
图5是本申请实施例提供的图像处理方法500的示意性流程图。图5示出的方法500可以包括步骤510至步骤550。下面详细说明方法500中的各步骤。
在步骤510中,获取待处理图像。
步骤510与步骤410的具体过程相同。因此步骤510的相关说明可以参考上文方法400中的步骤410的相关描述。为了简洁,这里不再重复。
在步骤520中,对包含第一渐进虚化区域在内的至少一个渐进虚化区域中的各待处理像素点进行滤波。
如前所述,该待处理图像可以包括至少一个渐进虚化区域。下文中为便于理解和说明,以第一渐进虚化区域为例详细说明滤波的具体过程。可以理解,上文步骤420中所述对第一渐进虚化区域中的各待处理像素点进行滤波的具体过程可以理解为是步骤520中的一部分。在一种实现方式中,步骤420可以通过对步骤520的执行来实现。
还应理解,对各渐进虚化区域的滤波处理过程是相似的,只是随着虚化层次的不同,滤波半径可能会有不同。
在本申请实施例中,可以采用与第一渐进虚化区域对应的第一滤波核对 第一渐进虚化区域中的待处理像素点进行滤波。且,该第一滤波核中的各数值点的权重与待处理像素点与第一ROI的之间的距离相关。也就是说,用于对第一渐进虚化区域进行滤波处理所使用的第一滤波核中,各数值点的权重会随着待处理像素点与第一ROI的距离的变化而变化。
下文将结合两种不同的滤波方式(即,权重滤波和高斯滤波),详细说明对第一渐进虚化区域进行滤波的具体过程。
方式一:权重滤波
由于滤波半径越大,虚化效果越好,也就是滤波后的图像越模糊。在本申请实施例中,对第一渐进虚化区域进行滤波处理时,可以考虑将靠近第一ROI的待处理像素点较大程度地保留图像的细节信息,而远离第一ROI的待处理像素点较大程度地虚化。为了获得上述效果,可以对第一滤波核中各数值点的滤波权重做出设计。
具体而言,第一滤波核可以包括内部数值点和外部数值点,外部数值点包围内部数值点。图6示出了第一滤波核的一例。图6所示的第一滤波核是滤波半径为2的滤波核。即,该滤波核为5×5的滤波核。该滤波核的中间以深色阴影示出的9个数值点为内部数值点,该滤波核的外圈以浅色阴影示出的16个数值点为外部数值点。应理解,图6仅为便于理解而示例,不应对本申请构成任何限定。本申请对于第一滤波核的滤波半径的大小以及其中外部数值点、内部数值点的个数均不做限定。
该第一滤波核在用于对第一渐进虚化区域中的某一像素点(例如记作第一像素点)进行滤波时,外部数值点的滤波权重与第一像素点与第一渐进虚化区域的内边界的距离正相关。换言之,外部数值点的滤波权重随第一像素点与第一渐进虚化区域的内边界的距离的增大而增大。或者说,第一像素点越靠近第一渐进虚化区域的外边界,外部数值点的滤波权重越大。
在一种可能的实现方式中,外部数值点的滤波权重可以由
Figure PCTCN2019121045-appb-000006
确定。式中D blur表示第一像素点与第一渐进虚化区域的内边界的距离,B blur表示第一渐进虚化区域的宽度,W表示预定义的滤波权重。
图7示出了B blur和D blur的一例。如图所示,第一像素点可以为该第一渐进虚化区域中的任意一个像素点。图中仅为示例,将第一像素点以矩形框示出。事实上,像素点的尺寸很小,可以忽略不计。第一渐进虚化区域的内边界与外边界之间的距离为第一渐进虚化区域的宽度B blur。应理解,在不同的 方向(比如图中x方向和y方向)上,第一渐进虚化区域的宽度可以不同,也可以相同,本申请对此不作限定。但需要注意的是,在不同方向上,若第一渐进虚化区域的宽度不同,则用于确定外部数值点滤波权重基于的D blur的值也可能不同,这与待处理像素点在第一渐进虚化区域中的位置相关。例如,待处理图像为矩形。ROI距离待处理图像的左侧边界有50个像素的距离,距离待处理图像的右侧边界有500个像素的距离。第一渐进虚化区域成环状,环绕包围所述ROI。在ROI左侧,第一渐进虚化区域的宽度为25个像素;在ROI右侧,第一渐进虚化区域的宽度为100个像素。
进一步地,针对ROI左侧较窄的第一渐进虚化区域,上述D blur的取值与待处理图像中的待处理像素点与ROI的距离相关,可以介于1~25的区间。比如,若待处理像素点距离ROI5个像素,则D blur取值为5。
针对ROI右侧较宽的第一渐进虚化区域,上述D blur的取值可以介于1~100的区间,上述D blur的取值与待处理图像中的待处理像素点与ROI的距离相关,可以介于1~100的区间。比如,若待处理像素点距离ROI有76个像素点,则D blur取值为76。
可以看到,在这一示例中,D blur/B blur的取值是一个不大于1的值。本申请对于D blur的具体取值不作限定。具体实施时,也可以灵活地设置D blur的取值范围,使之适应计算设备的计算能力。
由上式可以看到,外部数值点的滤波权重和第一像素点与第一渐进虚化区域的内边界的距离成正比。
基于第一滤波核中的外部数值点的滤波权重和第一像素点与第一渐进虚化区域的内边界的距离之间的关系可以确定,第一像素点滤波后的值至少由以下几项参数确定:
1)第一滤波核在用于对第一像素点进行滤波时,第一渐进虚化区域中与第一滤波核中的外部数值点重合的各像素点的值x o和第一渐进虚化区域中与第一滤波核中的内部数值点重合的各像素点的值x i
2)第一滤波核中的外部数值点的个数N o和内部数值点的个数N i
3)第一像素点与第一渐进虚化区域的内边界的距离D blur
4)预定义的滤波权重。
结合图6来说,当图6所示的第一滤波核在用于对第一像素点进行滤波时,该第一渐进虚化区域中与第一滤波核的外部数值点重合的像素点为16 个,即,N o为16;进而可以得到该16个像素点中每个像素点的值x o。将该16个像素点的值相加,可以得到第一渐进虚化区域中与第一滤波核的外部数值点重合的各像素点的值之和∑x o。同理,该第一渐进虚化区域中与第一滤波核的内部数值点重合的像素点为9个,即,N i为9;进而可以得到该9个像素点中每个像素点的值x i。将该9个像素点的值相加,可以得到第一渐进虚化区域中与第一滤波核的内部数值点重合的各像素点的值之和∑x i
进一步地,第一像素点经滤波后的值x可以由公式
Figure PCTCN2019121045-appb-000007
确定。其中各参数的定义在上文已经结合附图做了详细说明,为了简洁,这里不再重复。
对于靠近ROI的待处理像素点来说,内部数值点类似于采用了一个比第一滤波核更小的滤波核对该待处理像素点进行滤波处理。由于滤波半径越小,图像的虚化效果越不明显。如果对内部数值点施加较大的滤波权重,也就是较大程度地保留了图像的细节信息。
对于距离ROI较远的待处理像素点来说,随着外部数值点的滤波权重的增大,也就是对图像的模糊效果越来越明显。
本申请实施例通过对外部数值点施加的权重随着待处理像素点与第一渐进虚化区域的内边界的距离的增大而增大,也就是在远离第一ROI的区域,实现了较好的平滑效果,图像虚化较明显;而在靠近第一ROI的区域,图像虚化程度较弱,较大程度地保留了图像的细节信息。由此实现了由第一ROI至第一渐进虚化区域的平滑过渡。
应理解,上文公式仅为一种可能的实现方式,不应对本申请构成任何限定。例如,外部数值点的滤波权重也可以由
Figure PCTCN2019121045-appb-000008
确定。其中α为系数,α>0。此外,权重W也可以是一个根据需求可变化的值。
方式二:高斯滤波
由于高斯模板的生成与参数σ相关。σ代表着数据的离散程度。σ越小,所生成的高斯模板的中心系数越大,周围的系数就越小。换言之,对图像的平滑效果不是很明显。σ越大,所生成的高斯模板的中心系数越小,周围的系数就越大。换言之,对图像的平滑效果较明显,与均值滤波的平滑效果较接近。
如前所述,对第一渐进虚化区域进行滤波处理时,可以考虑将靠近第一ROI的待处理像素点较大程度地保持原值,而远离第一ROI的待处理像素点 较大程度地虚化。为了获得上述效果,可以基于第一渐进虚化区域中的待处理像素点与第一ROI的距离的远近对σ设计不同的取值。例如,参数σ的值随着待处理像素点与第一渐进虚化区域的内边界的距离的增大而增大。
如此一来,在靠近第一ROI的位置,图像虚化程度较弱,能够较大程度地保持待处理像素点的原值;在远离第一ROI的位置,平滑效果较好,图像虚化较明显,由此实现了由第一ROI至第一渐进虚化区域的平滑过渡。
应理解,上文结合两种不同的滤波方式详细说明了对第一渐进虚化区域进行滤波处理的具体过程。但这不应对本申请构成任何限定。本申请对于滤波处理的具体方式不作限定。
还应理解,上文仅为便于理解,对第一虚化滤波区域的滤波处理的过程做了详细说明。但这不应对本申请构成任何限定。如前所述,该待处理图像包括至少一个ROI和至少一个渐进虚化区域。图像处理装置还可以对ROI进行锐化处理。图像处理装置在对待处理图像进行处理时,可以根据预先划分好的区域,对处于不同区域的待处理像素点采用相应的方式进行处理。后文中会结合图像锐化做详细说明,这里暂且不作详述。
需要说明的是,上述至少一个ROI和至少一个渐进虚化区域例如可以是在待处理图像被发送至图像处理装置之前就已经划分好的,也可以是由图像处理装置执行划分的。本申请对此不作限定。
事实上,待处理图像并不仅限于包含渐进虚化区域和ROI,在非渐进虚化区域的外侧还可以进一步包含非渐进虚化区域。
可选地,该待处理图像还包括至少一个非渐进虚化区域,每个非渐进虚化区域与一个渐进虚化区域相邻。为便于理解和说明,将与上述第一渐进虚化区域相邻的非渐进虚化区域记作第一非渐进虚化区域。
其中,每个渐进虚化区域和与其相邻的非渐进虚化区域可以作为一个虚化层次。例如,第一渐进虚化区域和第一非渐进虚化区域可以作为一个虚化层次,例如记作第一虚化层次。
作为一个示例,该待处理图像包括至少一个虚化层次和至少一个ROI。每个ROI被至少一个虚化层次由内而外依次包围,每个虚化层次包括一渐进虚化区域和一非渐进虚化区域。上述第一虚化层次便是包围第一ROI的一个虚化层次,且该第一虚化层次是紧邻该第一ROI的虚化层次。
图8示出了该待处理图像的一例。图8所示的待处理图像包括一个ROI 和三个虚化层次(图中以1、2、3区分不同的虚化层次)。如图所示,第一ROI被第一虚化层次(即,图中所示的1)包围,第一虚化层次又被第二虚化层次(即,图中所示的2)包围,第二虚化层次又被第三虚化层次(即,图中所示的3)包围。其中,第一虚化层次包括第一渐进虚化区域和第一非渐进虚化区域,第二虚化层次包括第二渐进虚化区域和第二非渐进虚化区域。图中为便于区分,将不同的虚化层次以实线区分,同一虚化层次中的不同区域以虚线区分,同一虚化层次中的渐进虚化区域以阴影填充,非渐进虚化区域未填充阴影,以示区分。
应理解,图8所示仅为示例,不应对本申请构成任何限定。上述多个虚化层次的包围形态可以灵活调整。例如,根据ROI在图像中的位置设置每一虚化层次的包围形态。
在另一些可能的实施方式中,存在任意虚化层次为非完整的全包围形态。例如,第一虚化层全包围,第二虚化层包围3/4圈,第三虚化层仅在对应ROI一侧的区域形成1/4包围。图8中的a)所示的第一ROI的边界包括与该待处理图像的水平方向(即图中x轴方向)平行的水平边界以及与水平方向垂直(即图中y轴方向)的垂直边界。可选地,可以对该两个垂直边界增加弧度,例如采用二次曲线来实现该弧度,可以得到如图8中的b)所示的近似椭圆形的第一ROI。与之对应地,各虚化层次的边界也分别包括两个与待处理图像水平边界相垂直的线条,即,各虚化层次的垂直边界。对各虚化层次的垂直边界增加弧度,也可以得到如图8中的b)所示的近似椭圆形的多个虚化层次。
应理解,图8仅为示例,不应对本申请构成任何限定。本申请对于待处理图像中的ROI的数量和位置以及虚化层次的数量均不作限定。
可选地,该方法还包括:步骤530,对包含第一非渐进虚化区域在内的至少一个非渐进虚化区域进行滤波。
对非渐进虚化区域进行滤波的具体方法可以参考现有技术中的滤波方式。例如可以通过均值滤波、高斯滤波等方式来实现。还可以混合均值滤波、高斯滤波的方式来实现,例如,滤波核内部数值点的滤波权重通过上文高斯滤波的方式设置,滤波核外部数值点的滤波权重通过上文均值滤波的方式设置。
为便于理解和说明,下文中以第一非渐进虚化区域为例来详细说明对第 一非渐进虚化区域进行滤波的具体过程。可以理解,对各非渐进虚化区域的滤波处理过程是相似的,只是随着虚化层次的不同,滤波半径可能会有不同。
在本申请实施例中,为了获得较好的平滑过渡的效果,可以对同一个虚化层次中的非渐进虚化区域和渐进虚化区域分别对应的滤波核做出合理的设计。下面分别结合上述两种滤波方式来详细说明非渐进虚化区域和渐进虚化区域分别对应的滤波核之间的关系。
为便于理解和说明,仍然以一个虚化层次为例来说明。该虚化层次例如可以是上述第一虚化层次,与第一虚化层次中的第一渐进虚化区域对应的滤波核为第一滤波核,与第一虚化层次中的第一非渐进虚化区域对应的滤波核为第二滤波核。
由于在第一渐进虚化区域已经实现了平滑过渡,在第一非渐进虚化区域可以直接采用均值滤波的方式进行滤波处理。
在上文方式一中所述,第一滤波核的外部数值点的滤波权重与预定义的滤波权重W相关,该预定义的滤波权重W可以进一步与第二滤波核中的外部数值点的滤波权重相关。
这里所述的第二滤波核的外部数值点可以是指第二滤波核中除去内部数值点之外的数值点。其中,第二滤波核的内部数值点与第一滤波核的内部数值点可以包含相同个数的数值点,且第二滤波核的内部数值点相对于第二滤波核的中心的位置与第一滤波核中的内部数值点相对于第一滤波核的中心的位置相同。
其中,第二滤波核的内部数值点与第一滤波核的内部数值点的个数相同,可以理解为第二滤波核的内部数值点所占的区域大小与第一滤波核中的内部数值点所占的区域大小一致。将内部数值点看成一块区域,则在第一滤波核中相对于滤波核中心的位置和在第二滤波核中相对于滤波核中心的位置相同。换言之,若将第一滤波核和第二滤波核的中心重叠,则第一滤波核中的内部数值点和第二滤波核中的内部数值点也完全重叠。
为便于理解,图9示出了第一滤波核和第二滤波核的几例。
图9中的a)和b)所示的第一滤波核和第二滤波核的滤波半径不同。图9中的c)所示的第一滤波核和第二滤波核的半径相同。
如图所示,图9中的a)所示的第一滤波核包括9个内部数值点,第二滤波核也包括9个内部数值点。第一滤波核中的内部数值点位于第一滤波核 的中部,其中心数值点与第一滤波核的中心数值点重合。或者说,第二滤波核的内部数值点的中心与第一滤波核的中心重合。换言之,第二滤波核的内部数值点的中心与第一滤波核的中心没有发生偏移。与之对应,第二滤波核的内部数值点也位于第二滤波核的中部,即,第二滤波核的内部数值点的中心与第二滤波核的中心重合。由于第一滤波核和第二滤波核的滤波半径不同,外部数值点的个数与第二滤波核中的外部数值点的个数不同。例如,第一滤波核中的第一滤波核中包括16个外部数值点,第二滤波核中包括40个外部数值点。
图9中的b)所示的第一滤波核包括4个内部数值点,第二滤波核也包括4个内部数值点。第一滤波核中的内部数值点的中心相对于第一滤波核的中心有所偏移,如图中所示,在x轴方向和y轴方向均偏移了一个数值点。与之对应,第二滤波核中的内部数值点也相对于第二滤波核的中心有所偏移,在x轴方向和y轴方向均偏移了一个数值点。由于第一滤波核和第二滤波核的滤波半径不同,第一滤波核中的外部数值点的个数与第二滤波核中的外部数值点的个数不同。例如,第一滤波核中包括21个外部数值点,第二滤波核中包括45个外部数值点。
图9中的c)所示的第一滤波核包括9个内部数值点,第二滤波核也包括9个内部数值点。且第一滤波核中的内部数值点位于第一滤波核的中部,第二滤波核中的内部数值点也位于第二滤波核的中部。由于第一滤波核和第二滤波核的滤波半径相同,第一滤波核中的外部数值点的个数与第二滤波核中的外部数值点的个数相同,均为16个。
由图9中的几个示例可以看到,若将第一滤波核的中心与第二滤波核的中心重合,不管第一滤波核与第二滤波核的滤波半径是否相同,第一滤波核中的内部数值点与第一滤波核的中心是否重合,第一滤波核中的内部数值点和第二滤波核中的内部数值点均完全重合。
可选地,第一滤波核中的内部数值点的中心与第一滤波核的中心重合。也就是说,内部数值点位于第一滤波核的中部。由于第一滤波核中的内部数值点与第二滤波核中的内部数值点相对应,故第二滤波核中的内部数值点的中心也与第二滤波核的中心重合。图9中的a)和c)示出了第一滤波核中的内部数值点的中心与第一滤波核的中心重合的两例。
可选地,第一滤波核和第二滤波核的滤波半径相同。即,第一滤波核和 第二滤波核包含相同个数的数值点。图9中的c)示出了第一滤波核和第二滤波核的滤波半径相同的一例。
在一种可能的设计中,第一滤波核中的内部数值点的中心与第一滤波核的中心重合,且第一滤波核和第二滤波核的滤波半径相同。即,如图9中的c)所示。换言之,第二滤波核中的外部数值点与第一滤波核中的外部数值点的个数相同。
可选地,该预定义的滤波权重W为第二滤波核中的外部数值点的滤波权重。
若采用均值滤波的方式对第二滤波核进行滤波,则第二滤波核中的外部数值点的滤波权重可以表示为N o'/N sum。其中,N sum表示第二滤波核中的数值点的总个数,N o'表示第二滤波核中的外部数值点的总个数。
若第二滤波核中的外部数值点与第一滤波核中的外部数值点的个数相同,且第二滤波核与第一滤波核的滤波半径相同,则第二滤波核中的外部数值点的滤波权重也可以表示为N o/(N o+N i)。
当然,对第一非渐进虚化区域的滤波方式并不仅限于均值滤波,例如也可以采用高斯滤波的方式对第一非渐进虚化区域进行滤波处理。
在上文方式二中所述,对第一渐进虚化区域可以采用高斯滤波的方式进行滤波处理。若对第一非渐进虚化区域也采用高斯滤波的方式进行滤波处理,则可以考虑对滤波参数σ采用不同的取值。
如前所述,σ越小,所生成的高斯模板的中心系数越大,周围的系数就越小。σ越大,所生成的高斯模板的中心系数越小,周围的系数就越大。因此,可以对第一渐进虚化区域采用较小取值的滤波参数,对第一非渐进虚化区域可以采用较大取值的滤波参数。换言之,在同一虚化层次,渐进虚化区域所对应的滤波参数的值小于非渐进虚化区域所对应的滤波参数的值。
如此一来,可以实现由第一渐进虚化区域至第一非渐进虚化区域的平滑过渡。也就是实现了各个虚化层次中渐进虚化区域至非渐进虚化区域的平滑过渡。再结合前文所述的由ROI至渐进虚化区域的平滑过渡,使得该图像中由ROI至渐进虚化区域再至非渐进虚化区域可以平滑过渡,有利于缓解滤波边界给视觉带来的不良体验,带来较好的视觉效果。
更进一步地,至少一个虚化层次对应的滤波半径由内至外依次增大。
如前所述,滤波半径越大,图像虚化效果越好,也就是图像越模糊。在 本申请实施例中,对ROI以外的区域,可以按照虚化层次由内至外的顺序依次增大虚化强度,因此可以按照由内而外的顺序依次增大滤波半径。
举例而言,假设虚化层次为3个,则对应的滤波半径由内至外可以分别为1、2、3,或2、3、4,或2、4、6,或3、6、9等。为了简洁,这里不一一列举。本申请对于各虚化层次对应的滤波半径的具体取值不作限定。
可以理解,随着滤波半径的增大,滤波核也相应增大,滤波核中的内部数值点的个数也可以随之增加。本申请对于内部数值点的个数的具体取值不作限定。
在一种可能的设计中,至少一个虚化层次对应的滤波半径为连续的正整数。
由于滤波半径的大小与虚化效果相关,为了获得较为平滑的过渡效果,可以减缓滤波半径增大的幅度,采用连续的正整数。
作为一个示例,假设虚化层次为3,对应的滤波半径由内而外依次为1、2、3。与之对应的滤波核的大小依次为3×3、5×5、7×7,所对应的内部数值点的个数依次可以为1、9、25。图10示出了三个虚化层次分别对应的滤波核的一例。如图10中所示,从左至右依次示出了与第一虚化层次、第二虚化层次、第三虚化层次对应的滤波核及其内部数值点。其中,第一虚化层次被第二虚化层次包围,第二虚化层次被第三虚化层次包围。该三个虚化层次共同包围了ROI,如上述第一ROI。
应理解,上文列举的虚化层次数、滤波半径、滤波核、内部数值点个数的取值等仅为便于理解而示例,不应对本申请构成任何限定。
如前所述,图像处理装置在对图像进行滤波处理之前,已经划分好了区域。可选地,该方法还包括:根据每个ROI的位置和渐进虚化区域的宽度,确定包围每个ROI的各虚化层次中的渐进虚化区域。
具体来说,对于不同的待处理图像,ROI的位置和大小可能不同。随着ROI的位置和/或大小的变化,包围ROI的虚化层次的数量和/或位置也会变化。因此,可以根据每个ROI的位置确定虚化层次,进而确定每个虚化层次中的渐进虚化区域。可以理解的是,每个虚化层次可以包括一个渐进虚化区域和非渐进虚化区域,因此,确定了每个虚化层次中的渐进虚化区域,也就是确定了每个虚化层次中的非渐进虚化区域。
在一种可能的设计中,渐进虚化区域的宽度与待处理图像的尺寸之比为 预定义值。
例如,假设预先定义了渐进虚化区域的宽度与待处理图像的尺寸之比为β,在x轴方向上,渐进虚化区域的宽度与待处理图像在x轴方向的尺寸的比值可以为β;在y轴方向上,渐进虚化区域的宽度与待处理图像在y轴方向的尺寸的比值也可以为β。可选地,β为1/32。可选地,β为1/64。可选地,应理解,β的取值并不限于上文所列举。本申请对于该比值β的具体取值不作限定。
在另一种可能的设计中,渐进虚化区域的宽度为预定义值。
例如,可以预先定义渐进虚化区域的宽度为某一固定值,如50个像素点。又例如,可以预先定义渐进虚化区域在x轴方向的宽度为某一固定值,在y轴方向的宽度为另一固定值,等等。为了简洁,这里不一一举例说明。
可选地,非渐进虚化区域的宽度与渐进虚化区域的宽度相同。例如,若将渐进虚化区域的宽度与待处理图像的尺寸之比设置为预定义值,则非渐进虚化区域的宽度与待处理图像的尺寸之比也为预定义值。在待处理图像的尺寸确定的情况下,便可以直接确定出渐进虚化区域的宽度和非渐进虚化区域的宽度。又例如,若渐进虚化区域的宽度为固定值,则非渐进虚化区域的宽度也为固定值。
非渐进虚化区域的宽度与待处理图像的尺寸之比也可以预先确定。
可选地,非渐进虚化区域的宽度与渐进虚化区域的宽度不同。例如,渐进虚化区域的宽度可以小于非渐进虚化区域的宽度,或,渐进虚化区域的宽度可以大于非渐进虚化区域的宽度。本申请对此不作限定。
进一步可选地,该方法还包括:根据待处理图像的传输带宽,确定虚化层次的数量。
由于感光元件采集到图像后可以传输到图像处理装置进行实时的图像处理。采集到的图像可以以行为单位依次到达存储设备中,进行实时计算,处理过的数据会被新到来的数据覆盖。
以移位寄存器(LineBuffer)为例,一行LineBuffer用来存储一行图像数据。滤波操作时,根据滤波核大小的不同,需要不同规模的LineBuffer资源开销。对于滤波来说,LineBuffer开销的大小可以为滤波半径的2倍。
如滤波半径为2,开销为4行。具体来说,滤波半径为2时,一次滤波操作需要5行数据。开始阶段,当前4行依次到来并存储在4行LineBuffer 中后,随着第5行中的像素的到来,开始滤波操作。随着滤波的进行,第五行图像数据存储在LineBuffer中的第1行,覆盖原来第1行中存储的图像第1行数据,如此反复。因此LineBuffer开销为滤波半径的2倍。
因此,本申请实施例中提供了不同开销的多种滤波模式,以根据计算资源进行滤波模式的实时切换,实现最优的虚化效果,最大程度地减小传输时的带宽消耗。
这里,滤波模式可以基于虚化层次的不同而定义。由于虚化层次的数量不同,滤波半径也不同,所对应的LineBuffer开销也不同。
图11是本申请实施例提供的不同的滤波模式。图11中的a)、b)、c)所示的三种滤波模式中,虚化层次依次减少。图11中的a)所示的虚化层次为4个,图11中的b)所示的虚化层次为3个,图11中的c)所示的虚化层次为2个。随着虚化层次的减少,最外层的虚化层次所对应的滤波半径也得以减小,所对应的LineBuffer开销也可以减少。比如,图11中的a)中4个虚化层次由内至外滤波半径依次可以为1、2、3、4,则所对应的LineBuffer开销为8行;图11中的b)中3个虚化层次由内至外滤波半径依次可以为1、2、3,则所对应的LineBuffer开销为6行;图11中的c)中2个虚化层次由内至外滤波半径依次可以为1、2,所对应的LineBuffer开销为4行。
因此,可以预先计算各种滤波模式下所需的LineBuffer资源,根据系统所能够提供的传输带宽,实时地调整滤波模式。换句话说,可以通过预先计算所需的LineBuffer资源采用合理的滤波模式,实现最优的虚化效果。同时,也可以较大程度地降低编码编的码流大小,减小传输时的带宽占用。
应理解,上文仅为便于理解,以LineBuffer开销为例来说明了不同的滤波模式与不同的LineBuffer开销的对应关系,但这不应对本申请构成任何限定。本申请对用滤波过程中所使用的存储设备不作限定。但可以理解,即便采用其他的存储设备,其所需的计算资源大小也可能与所采用的滤波模式相关。
在确定了待处理图像中的各个区域的位置和大小,以及滤波模式之后,图像处理装置便可以基于每个待处理像素点所处的区域,采用相应的滤波模式对该待处理图像进行虚化。
应理解,上文仅为便于理解,示出三种可能的滤波模式,但这不应对本申请构成任何限定。该图像处理装置可以预先配置好更多或更少的滤波模 式。比如,该图像处理装置也可以仅设置一种滤波模式,基于预先配置好的滤波模式化对待处理图像进行虚化。
更进一步地,对每个虚化层次的宽度也可以预先定义。
这里,虚化层次的宽度可以按照如下定义来理解:后一个虚化层次的宽度可以是指包围前一个虚化层次的环状或条状区域的宽度,或者,紧邻ROI的虚化层次的宽度可以是指包围ROI的环状或条状区域的宽度,如图8中的a)中d1所示。
可选地,虚化层次的宽度可以根据待处理图像的尺寸设定。每个虚化层次的宽度与待处理图像的尺寸之比可以为预定义值。
例如,在x轴方向上和y轴方向上,每个虚化层次的宽度与待处理图像的尺寸之比分别为预定义值。示例性地,由内而外的多个虚化层次的宽度与待处理图像的尺寸之比依次为0.25、0.16、0.1、0.08等。又例如,每个虚化层次的宽度与待处理图像的尺寸之比为1/16。为了简洁,这里不一一列举。本申请对于每个虚化层次的宽度与待处理图像的尺寸之比的具体取值并不做限定。
如图所示,虚化层次具有内边界和外边界。其中,内边界比外边界更加靠近ROI。在一种实现方式中,可以根据待处理图像的尺寸确定内边界尺寸和外边界尺寸,进一步得到虚化层次的宽度。其中,内边界尺寸具体可以是指虚化层次的两个相对的内边界之间的距离,如图8中的a)中d2所示;外边界尺寸具体可以是指虚化层次的两个相对的外边界之间的距离,如图8中的a)中d3所示。可以理解的是,对于两个紧邻的虚化层次来说,前一个虚化层次的外边界可以为后一个虚化层次的内边界,因此前一个虚化层次的外边界尺寸可以为后一个虚化层次的内边界尺寸。相应地,对于与ROI紧邻的虚化层次来说,ROI的宽度可以为该虚化层次的内边界尺寸。
多个虚化层次的外边界尺寸或内边界尺寸可以按照由内而外的顺序依次增加。示例性地,在x轴和y轴方向上,多个虚化层次的外边界尺寸与待处理图像的尺寸之比依次为0.5、0.6、0.7、0.8。
进一步地,ROI以及各个虚化层次的区域均可以为矩形的变形,即在矩形的竖直边界上增加一个弧度,来降低边界效应。由于上文中已经结合图8中的b)对此作了详细说明,为了简洁,这里不再赘述。
为了获得较好的滤波效果,可以对该待处理图像边界上的待处理像素点 进行扩展。可选地,该方法还包括:根据待处理图像中处于边界的像素点所属区域对应的滤波半径,对该待处理图像进行扩展。
在一种实现方式中,可以以该待处理图像中的每个边界为对称轴,以边界上的像素点所属区域对应的滤波半径为扩展宽度,对该待处理图像进行扩展。这种扩展方式可以简称为镜像扩展。
图12是本申请实施例提供的对待处理图像边界上的像素点进行镜像扩展的示意图。为便于理解,这里以图中左上角的像素点为例来说明。在y轴方向的扩展可以以与x轴平行的边界上的一行像素点为对称轴(例如记作对称轴1,图中以虚线示出),将该对称轴以下的各像素点的值镜像扩展到对称轴以上的相应位置。假设边界上的像素点所属区域对应的滤波半径为2,则可以将对称轴以下的两行像素点的值镜像扩展到对称轴以上的相应位置。在x轴方向上的扩展可以以与y轴平行的边界上的一列像素点为对称轴(例如记作对称轴2,图中以虚线示出),将该对称轴右侧的各像素点的值镜像扩展到对称轴左侧的相应位置。以滤波半径2为例,该对称轴右侧的两列像素点的值被镜像扩展到对称轴左侧的相应位置。此后,可以进一步扩展,例如以上述对称轴1为对称轴,将基于对称轴2镜像扩展到其左侧的两列像素点再次镜像扩展到对称轴1的上方;或者,以对称轴2为对称轴,将基于对称轴1镜像扩展到其上方的两行像素点再次镜像扩展到对称轴2的左侧。由此对该左上角的像素点的扩展完成。图中为便于区分,图中用相同的阴影表示具有相同像素值的像素点。本申请对于各像素点的值并不限定。此外,图中用圆形示意了各个像素点,这仅为便于区分而示意,不应对本申请构成任何限定。
应理解,对待处理图像边界上的像素点进行扩展的具体方式并不限于上述镜像扩展。例如,也可以使用0值填充,或者,还可以对边界上的像素值做复制扩展等。本申请对此不作限定。为了简洁,这里不一一附图说明。
可选地,该待处理图像包括一个或多个图像通道的图像数据;虚化后的图像由上述一个或多个图像通道经虚化后的图像数据融合得到,所述图像通道经虚化后的图像数据包括对图像通道中的各待处理像素点进行滤波后得到的值。
经过实验发现,将多个通道对应的滤波半径采用不同的数值来对待处理图像进行虚化,并不会造成显著影响。因此多个通道的虚化可各自单独进行, 所使用的滤波方式以及相关参数也可以单独设计。
举例而言,该待处理图像可以包括Y通道、U通道和V通道的图像数据。上述虚化后的图像则可以是对Y通道、U通道和V通道的图像数据分别进行虚化后所得到的图像数据经融合处理后的结果。其中,每个通道的图像数据都可以基于上文所述的方法来虚化。
在一种可能的设计中,该待处理图像中的同一个待处理像素点在不同数据通道对应的滤波半径不同。
目前主要的YUV格式包括YUV444、YUV422、YUV520等格式。其中,YUV422、YUV520两种数据格式的UV两个通道的图像数据存在着下采样的操作,这导致图像数据在Y、U、V三个通道的图像数据维度不一致。因此可以通过对不同的通道采用不同的滤波半径来进行滤波处理。
比如,U通道或V通道对应的滤波半径可以为Y通道的滤波半径的1/2。因此,U通道或V通道对应的滤波核小于Y通道对应的滤波核。
作为一个示例,Y通道的图像数据可以分为三个虚化层次,对应的滤波半径由内而外依次递增。例如由内而外依次为1、2和3。U通道和V通道的滤波半径可以设计为Y通道的滤波半径的1/2。此情况下,U通道和V通道的图像数据可以不划分虚化层次,滤波半径统一设置为1。即,U通道和V通道的图像数据,除了ROI之外,其他区域的待处理像素点全部按照滤波半径为1进行滤波处理。
此外,在对待处理图像边界上的像素点进行扩展时,也可以对每个通道单独进行扩展。具体地,对于多个通道中的每个通道,根据处于边界的像素点所属区域对应的滤波半径,对图像数据进行扩展。
结合上例,Y通道的图像数据可以分为三个虚化层次,滤波半径由内而外依次为1、2和3,则对边界上的像素点进行扩展时,以滤波半径3为扩展宽度,对图像数据进行扩展。而在U通道和V通道,图像数据仅被分为一个虚化层次,以滤波半径1为扩展宽度,则对边界上的像素点进行扩展时,可以根据滤波半径1,对图像数据进行扩展。由此可以看到,对多个通道的图像数据的扩展宽度是不同的。
应理解,上文仅为便于理解,以Y通道、U通道和V通道为例说明了对多个通道的图像数据单独进行处理(例如包括滤波处理和扩展)的过程。但这不应对本申请构成任何限定。例如,该待处理图像也可以为RGB格式, 该待处理图像包括的多个通道也可以为R通道、G通道和B通道,为了简洁,这里不一一列举。
因此,本申请实施例为了减小图像虚化过程中存在的明显的滤波边界,引入了渐进虚化区域,根据渐进虚化区域中待处理像素点与ROI的距离的远近调整滤波核中各数值点的滤波权重。比如,在权重滤波中,将滤波核中的数值点分为外部数值点和内部数值点,根据待处理像素点与渐进虚化区域的内边界的距离设置滤波核中外部数值点的滤波权重和内部数值点的滤波权重,使得外部数值点的滤波权重随着待处理像素点与渐进虚化区域的内边界的距离的增大而增大,即,对图像的虚化效果也逐渐增强;又比如,在高斯滤波中,根据待处理像素点与渐进虚化区域的内边界的距离设置滤波参数σ的取值,使得随着待处理像素点与渐进虚化区域的内边界的距离的增大,虚化效果也逐渐增强。如此一来,可以实现由ROI至渐进虚化区域的平滑过度,减弱滤波边界给视觉带来的不良体验。
并且,待处理图像可以进一步划分一个或多个虚化层次,与不同的滤波半径对应。该一个或多个虚化层次可以按照由内而外的顺序依次排布在ROI外侧,所对应的滤波半径也按照由内而外的顺序依次增大,也就是使得虚化效果按照由内而外的顺序依次增强。从而实现多个虚化层次之间的平滑过度。
为了获得更好的视觉效果,该图像处理装置还可以进一步对ROI进行锐化处理。可选地,该方法还包括步骤540:对至少一个ROI中的每个ROI进行锐化。
在本申请实施例中,每个ROI可以包括渐进锐化区域。为便于理解和说明,下面结合图13来说明。
图13示出了待处理图像中的渐进虚化区域。图13所示的待处理图像中包括第一ROI和紧邻该第一ROI的第一虚化层次(包括第一渐进虚化区域和第一非渐进虚化区域)。图中为便于区分,将第一ROI的边界用粗实线示意。在第一ROI中,由外至内依次可以包括原值保持区域、第一渐进锐化区域和第一非渐进锐化区域。换言之,第一渐进锐化区域包围第一非渐进锐化区域,原值保持区域包围第一渐进锐化区域。
其中,原值保持区域是指不需要做处理的区域。原值保持区域中的像素点可以保持原值不变。第一非渐进锐化区域可以基于现有的锐化方式进行锐 化。为了缓解原值保持区域和第一非渐进锐化区域之间的滤波边界给视觉带来的不良体验,在原值保持区域和第一非渐进锐化区域之间加入了第一渐进锐化区域,以实现原值保持区域和第一非渐进锐化区域之间的平滑过度。
应理解,图13所示的第一ROI例如可以是上文结合图7和图8所描述的第一ROI。为了便于理解和说明,以第一ROI为例来说明待处理图像中的渐进锐化区域。该第一ROI中的渐进锐化区域例如记作第一渐进锐化区域。应理解,下文仅为便于理解和说明,下面以第一渐进锐化区域为例详细说明锐化过程。可以理解,图像处理装置对每个渐进锐化区域的锐化处理过程是相似的。
在本申请实施例中,第一渐进锐化区域内的待处理像素点的值和待处理像素点与第一渐进锐化区域的外边界的距离相关。其中,第一渐进锐化区域的外边界相比于第一渐进锐化区域的内边界来说,更加远离第一ROI的中心。
可选地,对渐进锐化区域的锐化过程具体可以包括:
提取第一渐进锐化区域的高频信息;
基于该第一渐进锐化区域中的各待处理像素点的原值和高频信息,确定各待处理像素点经锐化后的值。
其中,该第一渐进锐化区域中的任意一个像素点经锐化后的值和该像素点与第一渐进锐化区域的外边界的距离正相关。
这里所述的高频信息具体可以包括,将待处理图像由空间域(spatial domain)转换为频域(frequency domain),大于某一预设门限的频率点与该门限值的差值。例如可以包括边缘和其他尖锐变化(如噪声)在图像的灰度级中主要处于高频的分量。本申请对于该预设门限的具体大小不作限定。前文已经对高频信息做了详细说明,为了简洁,这里不再重复。
为便于理解和说明,下面以第一渐进锐化区域中的一个像素点为例来详细说明,该像素点例如记作第二像素点。该第二像素点可以是该第一渐进锐化区域中的任意一个像素点。则第二像素点经锐化后的值和第二像素点与第一渐进锐化区域的外边界的距离正相关。在一种可能的设计中,第二像素点经锐化后的值y可以由
Figure PCTCN2019121045-appb-000009
计算得到。在另一种可能的设计中,第二像素点经锐化后的值y可以由
Figure PCTCN2019121045-appb-000010
计算得到。
其中,D sharpen表示第二像素点与第一渐进锐化区域的外边界的距离; B sharpen表示第一渐进锐化区域的宽度;y h表示第二像素点的高频信息,y o表示第二像素点的原值。
应理解,上文列举的两种可用于计算第二像素点经锐化后的值的公式仅为示例,不应对本申请构成任何限定。第二像素点经锐化后的值的计算并不限于上文所列举的两种方式。例如还可以在
Figure PCTCN2019121045-appb-000011
乘以一个系数。
其中,提取第一渐进锐化区域的高频信息具体可以包括:
对第一渐进锐化区域进行滤波,得到该第一渐进锐化区域的初始高频信息;
对第一渐进锐化区域的初始高频信息进行增益处理和限制处理,以得到第一渐进锐化区域的高频信息。
后文会结合附图对锐化过程中的提取高频信息、增益处理、限制处理等各步骤做详细说明,这里暂且不作详述。
事实上,对该第一ROI进行锐化处理的过程中,可以根据每个待处理像素点所属的区域执行相应的操作。上文所述的对第一渐进锐化区域的锐化处理的过程也同样适用于第一非渐进锐化区域。但需要注意的是,对第一非渐进锐化区域的锐化处理可以不考虑待处理像素点与第一非渐进锐化区域的内边界或外边界的距离。换言之,对第一非渐进锐化区域中任意一个待处理像素点的锐化处理可以是一致的,不依赖于待处理像素点的位置的变化。
为便于理解,下面首先结合图14和图16详细说明对第一非渐进锐化区域进行锐化的具体过程。
如图14所示,待处理图像首先可以被输入至低通滤波器(low pass filter,LPF),以提取中低频信息。其中,低通滤波器例如可以采用均值滤波或权重滤波等方式来提取中低频信息。具体地,可以通过预设的低通滤波模板,执行卷积运算,以提取中低频信息。该低通滤波器例如可以采用7×7的滤波核进行均值滤波;该低通滤波器例如也可以采用5×5的滤波核进行权重滤波;本申请对于滤波半径的大小以及各像素点的滤波权重的配置不作限定。基于不同的滤波半径和不同的配置,该低通滤波器所提取到的中低频信息也可能有所不同。这可以根据实际效果进行调整。
应理解,上述提取中低频信息的过程可以通过频域滤波来实现。例如,将待处理图像输入至低通滤波器之前,可以将待处理图像从空域转换到频域,在频域使用滤波函数进行滤波,以提取中低频信息。
此后,被提取的中低频信息可用于和原始图像做差,以提取初始高频信息。例如,可以将待处理图像转换到频域的频率信息减去上文所提及的中低频信息,由此可以获得待处理图像的高频信息。但由此获得的高频信息可能还携带了很多噪声,还需要经过进一步的处理,因此称为初始高频信息。此后,可以对初始高频信息进行增益处理。对初始高频信息进行增益处理旨在将噪声排除,将明显的细节信息增强。对初始高频信息的增益处理可以根据各像素点对应的初始高频信息的值来确定增益后的值。例如可以根据各像素点对应的初始高频信息的值来确定各自对应的增益系数。此过程可以称为羽化(coring)。然后将各像素点对应的初始高频信息的值与所对应的增益系数相乘,得到增益后的值。
图15示出了羽化的示意图。如图15所示,横轴表示输入的初始高频信息的值,以x表示;纵轴表示输出的羽化后的值,以w x表示。初始高频信息中小于某一预设值(例如记作第一预设值,见图中p 0)的值可以取值为w 0,大于另一预设值(例如记作第二预设值,见图中p 1)的值可以取值为w 1。处于第一预设值与第二预设值之间的值可以取值为k×(x-p 0)。其中,k表示斜率,可以由(w 1-w 0)/(p 1-p 0)确定。
上述羽化的过程例如可以通过下文公式来表示:
Figure PCTCN2019121045-appb-000012
示例性地,w 0为0,w 1为1,p 0为0或1,p 1为2。
在获得了增益系数之后,便可以将输入值较小的高频信息(如处于(-p 0,p 0)之间的高频信息)乘以w 0,这里w 0取值为0,也就是直接将该值去除。将输入值较大的高频信息(如大于p 1或小于-p 1)的高频信息乘以w 1,这里w 1取值为1,也就是保留该值。因此,经过增益处理之后的高频信息被去除了噪声,保留了细节信息。
经增益处理之后的高频信息还可以进一步进行限制处理,以将过高的高频信息进行截断处理。由此可以得到该待处理图像的高频信息。
该待处理图像的高频信息可以进一步与输入的待处理图像叠加,以得到锐化后的图像。可以看到,此时的图像中细节信息被增强。
由上述过程可以看到,第一非渐进锐化区域中的任意一个待处理像素点 经锐化后的值z可以z h+z 0由确定。其中,z 0表示该待处理像素点的原值,z h表示该待处理图像中的高频信号转换到空域后待处理像素点的值。
应理解,上文为便于理解,结合公式来详细说明了锐化过程。但这不应对本申请构成任何限定。在具体实施时,上述z 0、z h等可能仅为中间变量,并不一定会有输出。
还应理解,锐化的实现方式并不限于上文图14所描述的过程。图16示出了锐化的另一种实现方式。
如图16所述,待处理图像首先可以被输入到低通滤波器中,以分别提取中低频信息和低频信息。为了将中低频信息和低频信息区分开,可以设置两个不同滤波半径的低通滤波器。如前所述,滤波半径越大,滤波后的图像越模糊。因此可以将一个低通滤波器的滤波半径设置为2,对应的滤波核为5×5,用于提取中低频信息;将另一个低通滤波器的滤波半径设置为3,对应的滤波核为7×7,用于提取低频信息。
此后,被提取的中低频信息可用于和原始图像做差,以获得初始高频信息。这与图14中的过程相同,为了简洁,这里不再重复。
被提取的中低频信息还可用于和被提取的低频信息做差,以获得初始中频信息。该过程与上述获得高频信息的过程相似,为了简洁,这里不做详述。
可以理解的是,上述初始中频信息和初始高频信息都可能携带了噪声,还需要进一步处理。
此后,可以分别对初始中频信息和初始高频信息进行增益处理和限制处理,以获得图像的细节信息。该细节信息最后与输入的待处理图像叠加,可以得到锐化后的图像。从而使得该图像中的细节信息被增强。
由于增益处理和限制处理的具体过程已经在上文结合图14和图15做了详细说明,为了简洁,这里不再赘述。
应理解,上文所示的对第一非渐进锐化区域的锐化处理的过程仅为示例,本申请对于其具体实现方式不作限定。由于对第一非渐进锐化区域的锐化处理可以参考现有技术中的方法,为了简洁,这里不再详述。
在本申请实施例中,结合上文所描述的对非渐进锐化区域的锐化过程,该图像处理装置在对渐进锐化区域的锐化过程还需要进一步考虑待处理像素点与第一渐进锐化区域的外边界的距离。
如前所述,第一渐进锐化区域中的任意一个像素点的锐化后的值可以由
Figure PCTCN2019121045-appb-000013
Figure PCTCN2019121045-appb-000014
计算得到。因此,可以在提取到该待处理图像的高频信息之后,可以将该高频信息转换到空域,以获得每个像素点的值,如上述y h,然后基于
Figure PCTCN2019121045-appb-000015
确定每个像素点锐化后的值;或者,也可以在提取到该待处理图像的高频信息之后,直接与原始图像转换到频域的频率信息叠加,并将叠加后的结果转换到空域,由此可以得到经叠加后每个像素点的值y h+y o,进而可以基于
Figure PCTCN2019121045-appb-000016
确定每个像素点锐化后的值。
基于上述处理,图像中的细节信息被增强。
应理解,上文为便于理解,结合公式来详细说明了锐化过程。但这不应对本申请构成任何限定。在具体实施时,上述y h、y 0等可能仅为中间变量,并不一定会有输出。
还应理解,上文所示的基于每个像素点与第一渐进锐化区域的外边界的距离来确定像素值的锐化处理的过程仅为示例,本申请对于其具体实现方式不作限定。
可以理解的是,上述锐化后的图像具体可以是指该待处理图像中第一渐进锐化区域和第一非渐进锐化区域中各像素点经锐化后的值而获得。
相比于第一非渐进区域的待处理像素点经锐化后的值而言,第一渐进锐化区域中的待处理像素点注重与第一渐进锐化区域的外边界的距离,随着距离的增大,经锐化后的值也增大,对细节信息的锐化程度也更高,对细节信息的增强程度也更高。而由第一渐进锐化区域过度到第一非渐进锐化区域之后,就直接将像素点的原值与高频信息叠加,对细节信息的增强程度也达到最大。由此,可以实现由原值保持区域至第一渐进锐化区域,再至第一非渐进锐化区域的平滑过渡,各区域的边界不明显,而锐化效果越来越明显。因此可以带来较好的视觉效果。
应理解,锐化的实现方式并不限于本申请实施例中所列举的两种实现方式。例如可以直接使用高通滤波器来提取高频信息。由于锐化的具体实现方式可以参考现有技术,为了简洁,这里不作详述。
与虚化相对应,该待处理图像可以包括一个或多个通道的图像数据。上述锐化后的图像也可以是对该一个或多个通道中至少一个通道的图像数据分别进行锐化后所得到的图像数据以及未经过锐化的图像数据进行融合处 理后的结果。
换言之,在待处理图像包括多个通道的图像数据的情况下,可以仅对其中的部分通道的图像数据进行锐化。
举例而言,该待处理图像包括Y通道、U通道和V通道的图像数据。由于人眼对亮度信息比较敏感,因此可以仅对Y通道的图像数据进行锐化处理,从而可以减小计算复杂度。
此情况下,锐化后的图像可以是对Y通道的图像数据进行锐化后得到的图像数据和U通道、V通道未经过锐化的图像数据进行融合处理得到。
与虚化处理相对应,在对ROI进行锐化时,可能也需要对处于边界上的像素点进行扩展。图13所示的待处理图像中,第一渐进锐化区域被第一ROI包围,因此可以对第一渐进锐化区域的外边界上的像素点进行扩展。具体的扩展方式例如可以参看上文结合图12所作出的描述,为了简洁,这里不再赘述。
可以理解的是,若仅对其中的部分通道(例如上述Y通道)的图像数据进行锐化处理,则可以仅对这部分通道中处于边界上的像素点进行扩展。
应理解,YUV格式仅为便于理解和说明而示例,不应对本申请构成任何限定。本申请对于待处理图像的具体格式不作限定。例如,该待处理图像也可以为RGB格式,该待处理图像包括的多个通道也可以为R通道、G通道和B通道,为了简洁,这里不一一列举。
可选地,该方法还包括步骤550:输出处理后的图像。
结合上文所述的对待处理图像的虚化处理和锐化处理,本申请实施例中所述的处理后的图像可以是指对各虚化层次进行虚化处理,且对ROI进行锐化处理后所得到的图像。图像处理装置可以对虚化后的图像和锐化后的图像进行融合,得到并输出处理后的图像。
应理解,上述虚化处理和锐化处理并不一定是分成两个独立的过程来执行。图中的步骤520、步骤530和步骤540的过程仅为便于理解而示出,并不应对执行的先后顺序构成任何限定。如前所述,当待处理图像被输入至图像处理装置之后,该图像处理装置可以根据各待处理像素点所属的区域采用相应的处理方式来处理。又或者,图像处理装置可以将虚化过程和锐化过程分成两个流程来处理,这两个流程可以并行处理,也可以串行处理。本申请对此不作限定。
基于上述技术方案,本申请实施例通过将渐进虚化和渐进锐化相结合,可以对ROI由外至内实现渐进锐化,对ROI之外的区域由内至外实现渐进虚化,使得处理后的图像由内之外整体上都能够平滑过渡,缓解了滤波边界给视觉带来的不良体验,给人带来较好的视觉效果。
为了便于理解,下面结合图17对本申请实施例提供的方法的具体流程做简单说明。图17是本申请实施例提供的图像处理方法的另一示意性流程图。
如图17所示,待处理图像和配置被输入至图像处理装置中。可选地,图像处理装置在获取到待处理图像和配置后,可以根据配置对该待处理图像进行区域划分。图像处理装置还可以根据划分后的区域对处于该待处理图像边界上的像素点进行扩展,例如采用镜像扩展等方式。经扩展后的图像分别进行虚化和锐化。可以理解,基于图像中各待处理像素点所属的区域的不同,可以对其中的部分像素点进行虚化,并对其中的部分像素点进行锐化。各像素点经虚化和锐化后的值分别可用于确定虚化后的图像区域和锐化后的图像区域。将虚化后的图像和锐化后的图像融合便可以得到处理后的图像。图像处理装置可以将处理后的图像输出,例如通过通信接口输出。
由于上述区域划分、扩展、虚化、锐化以及融合等过程在上文方法实施例400中已经结合多个附图做了详细说明,为了简洁,这里不再赘述。
以上,结合图4至图16详细说明了本申请实施例提供的图像处理方法。下文将结合图18和图19图详细说明本申请实施例提供的图像处理装置。
图18是本申请实施例提供的图像处理装置1000的示意性框图。如图18所示,该装置1000包括:获取单元1100和虚化单元1200。
获取单元1100用于获取待处理图像,所述待处理图像包括第一ROI,和,与所述第一ROI相邻的第一渐进虚化区域;虚化单元1200用于对所述第一渐进虚化区域中的各待处理像素点进行滤波,以得到虚化后的图像;其中,所述第一渐进虚化区域对应的第一滤波核中各数值点的滤波权重,和所述第一渐进虚化区域中的待处理像素点与所述第一ROI之间的距离相关。
可选地,所述第一滤波核中包括内部数值点和外部数值点,所述外部数值点包围所述内部数值点;所述第一滤波核在用于对所述第一渐进虚化区域中的第一像素点进行滤波时,所述外部数值点的滤波权重和所述第一像素点与所述第一渐进虚化区域的内边界的距离正相关;所述第一像素点是所述第 一渐进虚化区域中的任意一个待处理像素点,所述第一渐进虚化区域的内边界较所述第一渐进虚化区域的外边界靠近所述第一ROI。
可选地,所述外部数值点的滤波权重为
Figure PCTCN2019121045-appb-000017
其中D blur表示所述第一像素点与所述第一渐进虚化区域的内边界的距离,B blur表示所述第一渐进虚化区域的宽度,W表示预定义的滤波权重。
可选地,所述第一像素点经滤波后的值至少由以下参数确定:所述第一滤波核在用于对所述第一像素点进行滤波时,所述第一渐进虚化区域中与所述第一滤波核中的外部数值点重合的各像素点的值和所述第一渐进虚化区域中与所述第一滤波核中的内部数值点重合的各像素点的值;所述第一滤波核中的外部数值点的个数和内部数值点的个数;所述第一像素点与所述第一渐进虚化区域的内边界的距离;以及所述预定义的滤波权重。
示例性地,所述第一像素点经滤波后的值x为:
Figure PCTCN2019121045-appb-000018
其中,N o表示所述第一滤波核中的外部数值点的个数,∑x o表示所述第一滤波核在用于对所述第一像素点进行滤波时所述第一渐进虚化区域中与所述外部数值点重合的各像素点的值之和;N i表示所述第一滤波核中的内部数值点的个数,∑x i表示所述第一滤波核在用于对所述第一像素点进行滤波时所述第一渐进虚化区域中与内部数值点重合的各像素点的值之和。
可选地,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域,所述第一非渐进虚化区域与第二滤波核对应;所述预定义的滤波权重W为所述第二滤波核中的外部数值点的滤波权重;其中,所述第二滤波核中的外部数值点包围内部数值点,所述第二滤波核中的内部数值点与所述第一滤波核中的内部数值点的个数相同,且所述第二滤波核中的内部数值点相对于所述第二滤波核的中心的位置与所述第一滤波核中的内部数值点相对于所述第一滤波核中心的位置相同
可选地,所述第一滤波核中的内部数值点的中心与所述第一滤波核的中心重合。
可选地,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域;所述虚化后的图像由对所述第一渐进虚化区域和所述第一非渐进虚化区域中的待处理像素点进行滤波后的值确 定;
其中,对所述第一非渐进虚化区域中的待处理像素点进行滤波所采用的滤波方式为均值滤波。
作为另一个实施例,对所述第一渐进虚化区域的滤波方式为高斯滤波。
可选地,用于对所述第一渐进虚化区域进行滤波的滤波参数σ的值和待处理像素点与所述第一渐进虚化区域的内边界的距离正相关。
可选地,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域;所述虚化后的图像由对所述第一渐进虚化区域和所述第一非渐进虚化区域中的待处理像素点进行滤波后的值确定;其中,对所述第一非渐进虚化区域中的待处理像素点进行滤波所采用的滤波方式为高斯滤波,且所述第一渐进虚化区域对应的滤波参数σ的值小于所述第一非渐进虚化区域的滤波参数σ的值。
进一步地,所述第一ROI被至少一个虚化层次由内而外依次包围,每个虚化层次包括渐进虚化区域和非渐进虚化区域;其中,所述第一渐进虚化区域所属的第一虚化层次是所述至少一个虚化层次中紧邻所述第一ROI的一个虚化层次,所述第一虚化层次包括所述第一渐进虚化区域和包围所述第一渐进虚化区域的第一非渐进虚化区域。
可选地,同一个虚化层次中的渐进虚化区域和非渐进虚化区域对应相同的滤波半径。
可选地,所述至少一个虚化层次对应的滤波半径由内至外依次增大。
示例性地,所述至少一个虚化层次对应的滤波半径为连续的正整数。
可选地,所述待处理图像包括至少一个ROI,每个ROI被至少一个虚化层次由内之外依次包围;所述第一ROI是所述至少一个ROI中的任意一个。
可选地,该装置1000还包括确定单元,用于根据每个ROI的位置和渐进虚化区域的宽度,确定包围每个ROI的各虚化层次中的渐进虚化区域。
示例性地,所述渐进虚化区域的宽度与所述待处理图像的尺寸之比为预定义值。
可选地,每个ROI的边界包括未与所述待处理图像的水平边界平行和/或垂直的线条。
可选地,所述待处理图像包括一个或多个图像通道的图像数据;所述虚化后的图像由所述一个或多个图像通道经虚化后的图像数据融合得到,所述 图像通道经虚化后的图像数据包括对所述图像通道中的各待处理像素点进行滤波后得到的值。
示例性地,所述一个或多个图像通道包括Y通道、U通道和V通道,所述待处理图像的图像数据包括所述Y通道、所述U通道和所述V通道的图像数据。
在一种可能的设计中,所述Y通道的图像数据包括分属于三个虚化层次的图像数据,所述U通道的图像数据包括一个虚化层次的图像数据,所述V通道的图像数据包括一个虚化层次的图像数据。
可选地,所述Y通道的图像数据所包括的三个虚化层次对应的滤波半径由内至外依次递增。
可选地,对于所述待处理图像中的同一个虚化层次中的同一个区域,所述U通道或所述V通道的滤波半径为所述Y通道的滤波半径的1/2。
可选地,上述确定单元还用于根据所述待处理图像的传输带宽,确定虚化层次的数量。
可选地,该装置1000还包括锐化单元1300,用于对所述至少一个ROI中的每个ROI进行锐化,以得到锐化后的图像。
可选地,每个ROI包括渐进锐化区域;其中,所述渐进锐化区域内的待处理像素点的值和所述待处理像素点与所述渐进锐化区域的外边界的距离相关,所述渐进锐化区域的外边界较所述渐进锐化区域的内边界远离所包围的ROI的中心。
可选地,锐化单元1300具体用于:
提取每个ROI中所述渐进锐化区域的高频信息;
基于每个ROI中所述渐进锐化区域中的各待处理像素点的原值和所提取的高频信息,确定各待处理像素点经锐化后的值;所述渐进锐化区域中的第二像素点经锐化后的值和所述第二像素点与所述渐进锐化区域的外边界的距离正相关;
根据所述渐进锐化区域中的各待处理像素点经锐化后的值,获得所述锐化后的图像。
可选地,锐化单元1300具体用于:
对每个ROI中所述渐进锐化区域进行滤波,得到所述渐进锐化区域的初始高频信息;
对每个ROI中所述渐进锐化区域的初始高频信息进行增益处理和限制处理,以得到每个ROI中所述渐进锐化区域的高频信息。
可选地,每个ROI还包括非渐进锐化区域和原值保持区域,所述原值保持区域包围所述渐进锐化区域,所述渐进锐化区域包围所述非渐进锐化区域;
锐化单元1300还用于:
提取每个ROI中所述非渐进锐化区域的高频信息;
基于每个ROI中所述非渐进锐化区域中的各待处理像素点的原值和所提取的高频信息,获得各待处理像素点经锐化后的值;
根据所述渐进锐化区域和所述非渐进锐化区域中的各待处理像素点经锐化后的值,获得锐化后的图像。
可选地,所述待处理图像包括一个或多个图像通道的图像数据;锐化单元1300还用于:
对所述一个或多个图像通道中的至少一个图像通道中每个ROI内的图像数据进行锐化,以得到锐化后的图像数据;
将锐化后的图像数据与未经锐化的图像数据进行融合处理,得到锐化后的图像。
可选地,所述一个或多个图像通道包括Y通道、U通道和V通道,所述待处理图像的图像数据包括所述Y通道、所述U通道和所述V通道的图像数据。
可选地,进行所述锐化的所述至少一个图像通道包括所述Y通道。
可选地,该装置1000还包括扩展单元,用于根据所述待处理图像中处于边界的像素点所属区域对应的滤波半径,对所述待处理图像进行扩展。
可选地,该扩展单元具体用于以所述待处理图像中的每个边界为对称轴,以边界上的像素点所属区域对应的滤波半径为扩展宽度,对所述待处理图像进行扩展。
可选地,当所述待处理图像包括多个通道的图像数据时,该扩展单元1500具体用于:
对于所述多个通道中的每个通道,根据处于边界的像素点所属区域对应的滤波半径,对所述待处理图像进行扩展。
可选地,对所述多个通道的图像数据的扩展宽度互不相同。
应理解,图18所示的图像处理装置1000可对应于上文各实施例中的图像处理装置。各单元执行上述相应步骤的具体过程在上述方法实施例中已经详细说明,为了简洁,在此不再赘述。
还应理解,该装置中的获取单元可以通过通信接口实现,例如可对应于图19中的通信接口;虚化单元、确定单元、锐化单元和扩展单元可以通过至少一个处理器实现,例如可对应于图19中示出的图像处理装置中的处理器。
图19是本申请实施例提供的图像处理装置2000的另一示意性框图。如图19所示,该装置2000包括:通信接口2100、处理器2200和存储器2300。其中,存储器2300中存储有程序,处理器2200用于执行存储器2300中存储的程序,对存储器2300中存储的程序的执行,使得处理器2200用于执行上文方法实施例中的相关处理步骤,对存储器2300中存储的程序的执行,使得处理器2200控制通信接口2100执行上文方法实施例中的获取和输出的相关步骤。在一种可能的设计中,该图像处理装置2000为芯片。
在实现过程中,上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应注意,本申请实施例中的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写 可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
根据本申请实施例提供的方法,本申请还提供一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码在计算机上运行时,使得该计算机执行图4、图5或图17所示实施例中任意一个实施例的方法。
根据本申请实施例提供的方法,本申请还提供一种计算机可读介质,该计算机可读介质存储有程序代码,当该程序代码在计算机上运行时,使得该计算机执行图4、图5或图17所示实施例中任意一个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如, 所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (77)

  1. 一种图像处理方法,其特征在于,包括:
    获取待处理图像,所述待处理图像包括第一感兴趣区域,和,与所述第一感兴趣区域相邻的第一渐进虚化区域;
    对所述第一渐进虚化区域中的各待处理像素点进行滤波,以得到虚化后的图像;
    其中,所述第一渐进虚化区域对应的第一滤波核中各数值点的滤波权重,和所述第一渐进虚化区域中的待处理像素点与所述第一感兴趣区域之间的距离相关。
  2. 如权利要求1所述的方法,其特征在于,所述第一滤波核中包括内部数值点和外部数值点,所述外部数值点包围所述内部数值点;所述第一滤波核在用于对所述第一渐进虚化区域中的第一像素点进行滤波时,所述外部数值点的滤波权重和所述第一像素点与所述第一渐进虚化区域的内边界的距离正相关;所述第一像素点是所述第一渐进虚化区域中的任意一个待处理像素点,所述第一渐进虚化区域的内边界较所述第一渐进虚化区域的外边界靠近所述第一感兴趣区域。
  3. 如权利要求2所述的方法,其特征在于,所述外部数值点的滤波权重为
    Figure PCTCN2019121045-appb-100001
    其中D blur表示所述第一像素点与所述第一渐进虚化区域的内边界的距离,B blur表示所述第一渐进虚化区域的宽度,W表示预定义的滤波权重。
  4. 如权利要求3所述的方法,其特征在于,所述第一像素点经滤波后的值至少是由以下参数确定的:所述第一滤波核在用于对所述第一像素点进行滤波时,所述第一渐进虚化区域中与所述第一滤波核中的外部数值点重合的各像素点的值和所述第一渐进虚化区域中与所述第一滤波核中的内部数值点重合的各像素点的值;所述第一滤波核中的外部数值点的个数和内部数值点的个数;所述第一像素点与所述第一渐进虚化区域的内边界的距离;以及所述预定义的滤波权重。
  5. 如权利要求4所述的方法,其特征在于,所述第一像素点经滤波后的值x为:
    Figure PCTCN2019121045-appb-100002
    其中,N o表示所述第一滤波核中的外部数值点的个数,∑x o表示所述第一滤波核在用于对所述第一像素点进行滤波时所述第一渐进虚化区域中与所述外部数值点重合的各像素点的值之和;N i表示所述第一滤波核中的内部数值点的个数,∑x i表示所述第一滤波核在用于对所述第一像素点进行滤波时所述第一渐进虚化区域中与内部数值点重合的各像素点的值之和。
  6. 如权利要求3至5中任一项所述的方法,其特征在于,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域,所述第一非渐进虚化区域与第二滤波核对应;所述预定义的滤波权重W为所述第二滤波核中的外部数值点的滤波权重;其中,所述第二滤波核中的外部数值点包围内部数值点,所述第二滤波核中的内部数值点与所述第一滤波核中的内部数值点的个数相同,且所述第二滤波核中的内部数值点相对于所述第二滤波核的中心的位置与所述第一滤波核中的内部数值点相对于所述第一滤波核中心的位置相同。
  7. 如权利要求2至6中任一项所述的方法,其特征在于,所述第一滤波核中的内部数值点的中心与所述第一滤波核的中心重合。
  8. 如权利要求1至7中所述的方法,其特征在于,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域;所述虚化后的图像由对所述第一渐进虚化区域和所述第一非渐进虚化区域中的待处理像素点进行滤波后的值确定;
    其中,对所述第一非渐进虚化区域中的待处理像素点进行滤波所采用的滤波方式为均值滤波。
  9. 如权利要求1所述的方法,其特征在于,对所述第一渐进虚化区域的滤波方式为高斯滤波。
  10. 如权利要求9所述的方法,其特征在于,用于对所述第一渐进虚化区域进行滤波的滤波参数σ的值和待处理像素点与所述第一渐进虚化区域的内边界的距离正相关。
  11. 如权利要求10所述的方法,其特征在于,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域;所述虚化后的图像由对所述第一渐进虚化区域和所述第一非渐进虚化区域中的待处理像素点进行滤波后的值确定;
    其中,对所述第一非渐进虚化区域中的待处理像素点进行滤波所采用的 滤波方式为高斯滤波,且所述第一渐进虚化区域对应的滤波参数σ的值小于所述第一非渐进虚化区域对应的滤波参数σ的值。
  12. 如权利要求1至11中任一项所述的方法,其特征在于,所述第一感兴趣区域被至少一个虚化层次由内而外依次包围,每个虚化层次包括渐进虚化区域和非渐进虚化区域;其中,所述第一渐进虚化区域所属的第一虚化层次是所述至少一个虚化层次中紧邻所述第一感兴趣区域的一个虚化层次,所述第一虚化层次包括所述第一渐进虚化区域和包围所述第一渐进虚化区域的第一非渐进虚化区域。
  13. 如权利要求12所述的方法,其特征在于,同一个虚化层次中的渐进虚化区域和非渐进虚化区域对应相同的滤波半径。
  14. 如权利要求13所述的方法,其特征在于,所述至少一个虚化层次对应的滤波半径由内至外依次增大。
  15. 如权利要求14所述的方法,其特征在于,所述至少一个虚化层次对应的滤波半径为连续的正整数。
  16. 如权利要求12至15中任一项所述的方法,其特征在于,所述待处理图像包括至少一个感兴趣区域,每个感兴趣区域被至少一个虚化层次由内至外依次包围;所述第一感兴趣区域是所述至少一个感兴趣区域中的任意一个。
  17. 如权利要求16所述的方法,其特征在于,所述方法还包括:
    根据每个感兴趣区域的位置和渐进虚化区域的宽度,确定包围每个感兴趣区域的各虚化层次中的渐进虚化区域。
  18. 如权利要求17所述的方法,其特征在于,所述渐进虚化区域的宽度与所述待处理图像的尺寸之比为预定义值。
  19. 如权利要求16至18中任一项所述的方法,其特征在于,每个感兴趣区域的边界包括未与所述待处理图像的水平边界平行和/或垂直的线条。
  20. 如权利要求12至19中任一项所述的方法,其特征在于,所述待处理图像包括一个或多个图像通道的图像数据;所述虚化后的图像由所述一个或多个图像通道经虚化后的图像数据融合得到,所述图像通道经虚化后的图像数据包括对所述图像通道中的各待处理像素点进行滤波后得到的值。
  21. 如权利要求20所述的方法,其特征在于,所述一个或多个图像通道包括Y通道、U通道和V通道,所述待处理图像的图像数据包括所述Y 通道、所述U通道和所述V通道的图像数据。
  22. 如权利要求21所述的方法,其特征在于,所述Y通道的图像数据包括分属于三个虚化层次的图像数据,所述U通道的图像数据包括一个虚化层次的图像数据,所述V通道的图像数据包括一个虚化层次的图像数据。
  23. 如权利要求22所述的方法,其特征在于,所述Y通道的图像数据所包括的三个虚化层次对应的滤波半径由内至外依次递增。
  24. 如权利要求21所述的方法,其特征在于,所述待处理图像中的同一个待处理像素点在所述U通道或所述V通道对应的滤波半径为在所述Y通道对应的滤波半径的1/2。
  25. 如权利要求12至24中任一项所述的方法,其特征在于,所述方法还包括:
    根据所述待处理图像的传输带宽,确定虚化层次的数量。
  26. 如权利要求16至25中任一项所述的方法,其特征在于,所述方法还包括:
    对所述至少一个感兴趣区域中的每个感兴趣区域进行锐化,以得到锐化后的图像。
  27. 如权利要求26所述的方法,其特征在于,每个感兴趣区域包括渐进锐化区域;其中,所述渐进锐化区域内的待处理像素点的值和所述待处理像素点与所述渐进锐化区域的外边界的距离相关,所述渐进锐化区域的外边界较所述渐进锐化区域的内边界远离所属的感兴趣区域的中心。
  28. 如权利要求27所述的方法,其特征在于,所述对每个感兴趣区域进行锐化,以得到锐化后的图像,包括:
    提取每个感兴趣区域中所述渐进锐化区域的高频信息;
    基于每个感兴趣区域中所述渐进锐化区域中的各待处理像素点的原值和所提取的高频信息,确定各待处理像素点经锐化后的值;所述渐进锐化区域中的第二像素点经锐化后的值和所述第二像素点与所述渐进锐化区域的外边界的距离正相关;
    根据所述渐进锐化区域中的各待处理像素点经锐化后的值,获得所述锐化后的图像。
  29. 如权利要求28所述的方法,其特征在于,所述提取每个感兴趣区域中所述渐进锐化区域的高频信息,包括:
    对每个感兴趣区域中所述渐进锐化区域进行滤波,得到所述渐进锐化区域的初始高频信息;
    对每个感兴趣区域中所述渐进锐化区域的初始高频信息进行增益处理和限制处理,以得到每个感兴趣区域中所述渐进锐化区域的高频信息。
  30. 如权利要求27至29中任一项所述的方法,其特征在于,每个感兴趣区域还包括非渐进锐化区域和原值保持区域,所述原值保持区域包围所述渐进锐化区域,所述渐进锐化区域包围所述非渐进锐化区域;
    所述方法还包括:
    提取每个感兴趣区域中所述非渐进锐化区域的高频信息;
    基于每个感兴趣区域中所述非渐进锐化区域中的各待处理像素点的原值和所提取的高频信息,获得各待处理像素点经锐化后的值;
    所述根据所述渐进锐化区域中的各待处理像素点经锐化后的值,获得锐化后的图像,包括:
    根据所述渐进锐化区域和所述非渐进锐化区域中的各待处理像素点经锐化后的值,获得锐化后的图像。
  31. 如权利要求26至30中任一项所述的方法,其特征在于,所述待处理图像包括一个或多个图像通道的图像数据;
    所述对所述至少一个感兴趣区域中的每个感兴趣区域进行锐化,以得到锐化后的图像,包括:
    对所述一个或多个图像通道中的至少一个图像通道中每个感兴趣区域内的图像数据进行锐化,以得到锐化后的图像数据;
    将锐化后的图像数据与未经锐化的图像数据进行融合处理,得到锐化后的图像。
  32. 如权利要求30所述的方法,其特征在于,所述一个或多个图像通道包括Y通道、U通道和V通道,所述待处理图像的图像数据包括所述Y通道、所述U通道和所述V通道的图像数据。
  33. 如权利要求32所述的方法,其特征在于,进行所述锐化的所述至少一个图像通道包括所述Y通道。
  34. 如权利要求1至33中任一项所述的方法,其特征在于,所述方法还包括:
    根据所述待处理图像中处于边界的像素点所属区域对应的滤波半径,对 所述待处理图像进行扩展。
  35. 如权利要求34所述的方法,其特征在于,所述根据所述待处理图像中处于边界的像素点所属区域对应的滤波半径,对所述待处理图像进行扩展,包括:
    以所述待处理图像中的每个边界为对称轴,以边界上的像素点所属区域对应的滤波半径为扩展宽度,对所述待处理图像进行扩展。
  36. 如权利要求35所述的方法,其特征在于,当所述待处理图像包括多个通道的图像数据时,所述根据所述待处理图像中处于边界的像素点所属区域对应的滤波半径,对所述待处理图像进行扩展,包括:
    对于所述多个通道中的每个通道,根据处于边界的像素点所属区域对应的滤波半径,对所述待处理图像进行扩展。
  37. 如权利要求35或36所述的方法,其特征在于,对所述多个通道的图像数据的扩展宽度互不相同。
  38. 一种图像处理装置,其特征在于,包括:
    存储器,用于存储计算机程序;
    处理器,用于调用所述计算机程序,当所述计算机程序被所述处理器执行时,使得所述装置执行如下步骤:
    获取待处理图像,所述待处理图像包括第一感兴趣区域感兴趣区域,和,与所述第一感兴趣区域相邻的第一渐进虚化区域;
    对所述第一渐进虚化区域中的各待处理像素点进行滤波,以得到虚化后的图像;其中,所述第一渐进虚化区域对应的第一滤波核中各数值点的滤波权重与所述第一感兴趣区域之间的距离相关。
  39. 如权利要求38所述的装置,其特征在于,所述第一滤波核中包括内部数值点和外部数值点,所述外部数值点包围所述内部数值点;所述第一滤波核在用于对所述第一渐进虚化区域中的第一像素点进行滤波时,所述外部数值点的滤波权重和所述第一像素点与所述第一渐进虚化区域的内边界的距离正相关;所述第一像素点是所述第一渐进虚化区域中的任意一个待处理像素点,所述第一渐进虚化区域的内边界较所述第一渐进虚化区域的外边界靠近所述第一感兴趣区域。
  40. 如权利要求39所述的装置,其特征在于,所述外部数值点的滤波权重为
    Figure PCTCN2019121045-appb-100003
    其中D blur表示所述第一像素点与所述第一渐进虚化区域的内 边界的距离,B blur表示所述第一渐进虚化区域的宽度,W表示预定义的滤波权重。
  41. 如权利要求40所述的装置,其特征在于,所述第一像素点经滤波后的值至少是由以下参数确定的:所述第一滤波核在用于对所述第一像素点进行滤波时,所述第一渐进虚化区域中与所述第一滤波核中的外部数值点重合的各像素点的值和所述第一渐进虚化区域中与所述第一滤波核中的内部数值点重合的各像素点的值;所述第一滤波核中的外部数值点的个数和内部数值点的个数;所述第一像素点与所述第一渐进虚化区域的内边界的距离;以及所述预定义的滤波权重。
  42. 如权利要求41所述的装置,其特征在于,所述第一像素点经滤波后的值x为:
    Figure PCTCN2019121045-appb-100004
    其中,N o表示所述第一滤波核中的外部数值点的个数,∑x o表示所述第一滤波核在用于对所述第一像素点进行滤波时所述第一渐进虚化区域中与所述外部数值点重合的各像素点的值之和;N i表示所述第一滤波核中的内部数值点的个数,∑x i表示所述第一滤波核在用于对所述第一像素点进行滤波时所述第一渐进虚化区域中与内部数值点重合的各像素点的值之和。
  43. 如权利要求40至42中任一项所述的装置,其特征在于,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域,所述第一非渐进虚化区域与第二滤波核对应;所述预定义的滤波权重W为所述第二滤波核中的外部数值点的滤波权重;其中,所述第二滤波核中的外部数值点包围内部数值点,所述第二滤波核中的内部数值点与所述第一滤波核中的内部数值点的个数相同,且所述第二滤波核中的内部数值点相对于所述第二滤波核的中心的位置与所述第一滤波核中的内部数值点相对于所述第一滤波核中心的位置相同。
  44. 如权利要求39至43中任一项所述的装置,其特征在于,所述第一滤波核中的内部数值点的中心与所述第一滤波核的中心重合。
  45. 如权利要求38至43中任一项所述的装置,其特征在于,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域;所述虚化后的图像由对所述第一渐进虚化区域和所述第一非渐进虚化区域中的待处理像素点进行滤波后的值确定;
    其中,对所述第一非渐进虚化区域中的待处理像素点进行滤波所采用的滤波方式为均值滤波。
  46. 如权利要求38所述的装置,其特征在于,对所述第一渐进虚化区域的滤波方式为高斯滤波。
  47. 如权利要求46所述的装置,其特征在于,用于对所述第一渐进虚化区域进行滤波的滤波参数σ的值和待处理像素点与所述第一渐进虚化区域的内边界的距离正相关。
  48. 如权利要求47所述的装置,其特征在于,所述待处理图像还包括第一非渐进虚化区域,所述第一非渐进虚化区域包围所述第一渐进虚化区域;所述虚化后的图像由对所述第一渐进虚化区域和所述第一非渐进虚化区域中的待处理像素点进行滤波后的值确定;
    其中,对所述第一非渐进虚化区域中的待处理像素点进行滤波所采用的滤波方式为高斯滤波,且所述第一渐进虚化区域对应的滤波参数σ的值小于所述第一非渐进虚化区域的滤波参数σ的值。
  49. 如权利要求38至48中任一项所述的装置,其特征在于,所述第一感兴趣区域被至少一个虚化层次由内而外依次包围,每个虚化层次包括渐进虚化区域和非渐进虚化区域;其中,所述第一渐进虚化区域所属的第一虚化层次是所述至少一个虚化层次中紧邻所述第一感兴趣区域的一个虚化层次,所述第一虚化层次包括所述第一渐进虚化区域和包围所述第一渐进虚化区域的第一非渐进虚化区域。
  50. 如权利要求49所述的装置,其特征在于,同一个虚化层次中的渐进虚化区域和非渐进虚化区域对应相同的滤波半径。
  51. 如权利要求50所述的装置,其特征在于,所述至少一个虚化层次对应的滤波半径由内至外依次增大。
  52. 如权利要求51所述的装置,其特征在于,所述至少一个虚化层次对应的滤波半径为连续的正整数。
  53. 如权利要求49至52中任一项所述的装置,其特征在于,所述待处理图像包括至少一个感兴趣区域,每个感兴趣区域被至少一个虚化层次由内之外依次包围;所述第一感兴趣区域是所述至少一个感兴趣区域中的任意一个。
  54. 如权利要求53所述的装置,其特征在于,当所述计算机程序所述 处理器执行时,使得所述装置还执行如下步骤:
    根据每个感兴趣区域的位置和渐进虚化区域的宽度,确定包围每个感兴趣区域的各虚化层次中的渐进虚化区域。
  55. 如权利要求54所述的装置,其特征在于,所述渐进虚化区域的宽度与所述待处理图像的尺寸之比为预定义值。
  56. 如权利要求53至55中任一项所述的装置,其特征在于,每个感兴趣区域的边界包括未与所述待处理图像的水平边界平行和/或垂直的线条。
  57. 如权利要求49至56中任一项所述的装置,其特征在于,所述待处理图像包括一个或多个图像通道的图像数据;所述虚化后的图像由所述一个或多个图像通道经虚化后的图像数据融合得到,所述图像通道经虚化后的图像数据包括对所述图像通道中的各待处理像素点进行滤波后得到的值。
  58. 如权利要求57所述的装置,其特征在于,所述一个或多个图像通道包括Y通道、U通道和V通道,所述待处理图像的图像数据包括所述Y通道、所述U通道和所述V通道的图像数据。
  59. 如权利要求58所述的装置,其特征在于,所述Y通道的图像数据包括分属于三个虚化层次的图像数据,所述U通道的图像数据包括一个虚化层次的图像数据,所述V通道的图像数据包括一个虚化层次的图像数据。
  60. 如权利要求59所述的装置,其特征在于,所述Y通道的图像数据所包括的三个虚化层次对应的滤波半径由内之外依次递增。
  61. 如权利要求58所述的装置,其特征在于,所述待处理图像中的同一个待处理像素点在所述U通道或所述V通道对应的滤波半径为在所述Y通道对应的滤波半径的1/2。
  62. 如权利要求49至61中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置还执行如下步骤:
    根据所述待处理图像的传输带宽,确定虚化层次的数量。
  63. 如权利要求至53至62中任一项所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置还执行如下步骤:
    对所述至少一个感兴趣区域中的每个感兴趣区域进行锐化,以得到锐化后的图像。
  64. 如权利要求63所述的装置,其特征在于,每个感兴趣区域包括渐进锐化区域;其中,所述渐进锐化区域内的待处理像素点的值和所述待处理 像素点与所述渐进锐化区域的外边界的距离相关,所述渐进锐化区域的外边界较所述渐进锐化区域的内边界远离所属的感兴趣区域的中心。
  65. 如权利要求64所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置还执行如下步骤:
    提取每个感兴趣区域中所述渐进锐化区域的高频信息;
    基于每个感兴趣区域中所述渐进锐化区域中的各待处理像素点的原值和所提取的高频信息,确定各待处理像素点经锐化后的值;所述渐进锐化区域中的第二像素点经锐化后的值和所述第二像素点与所述渐进锐化区域的外边界的距离正相关;
    根据所述渐进锐化区域中的各待处理像素点经锐化后的值,获得所述锐化后的图像。
  66. 如权利要求65所述的装置,其特征在于,当所述计算机程序被所述处理器执行时,使得所述装置还执行如下步骤:
    对每个感兴趣区域中所述渐进锐化区域进行滤波,得到所述渐进锐化区域的初始高频信息;
    对每个感兴趣区域中所述渐进锐化区域的初始高频信息进行增益处理和限制处理,以得到每个感兴趣区域中所述渐进锐化区域的高频信息。
  67. 如权利要求64至66中任一项所述的装置,其特征在于,每个感兴趣区域还包括非渐进锐化区域和原值保持区域,所述原值保持区域包围所述渐进锐化区域,所述渐进锐化区域包围所述非渐进锐化区域;
    当所述计算机程序被所述处理器执行时,使得所述装置还执行如下步骤:
    提取每个感兴趣区域中所述非渐进锐化区域的高频信息;
    基于每个感兴趣区域中所述非渐进锐化区域中的各待处理像素点的原值和所提取的高频信息,获得各待处理像素点经锐化后的值;
    所述根据所述渐进锐化区域中的各待处理像素点经锐化后的值,获得锐化后的图像,包括:
    根据所述渐进锐化区域和所述非渐进锐化区域中的各待处理像素点经锐化后的值,获得锐化后的图像。
  68. 如权利要求63至67中任一项所述的装置,其特征在于,所述待处理图像包括一个或多个图像通道的图像数据;
    当所述计算机程序被所述处理器执行时,使得所述装置还执行如下步骤:
    对所述一个或多个图像通道中的至少一个图像通道中每个感兴趣区域内的图像数据进行锐化,以得到锐化后的图像数据;
    将锐化后的图像数据与未经锐化的图像数据进行融合处理,得到锐化后的图像。
  69. 如权利要求68所述的装置,其特征在于,所述一个或多个图像通道包括Y通道、U通道和V通道,所述待处理图像的图像数据包括所述Y通道、所述U通道和所述V通道的图像数据。
  70. 如权利要求69所述的方法,其特征在于,进行锐化的所述至少一个图像通道包括所述Y通道。
  71. 如权利要求38至70中任一项所述的装置,其特征在于,当所述计算机程序被所述执行时,使得所述装置还执行如下步骤:
    根据所述待处理图像中处于边界的像素点所属区域对应的滤波半径,对所述待处理图像进行扩展。
  72. 如权利要求71所述的装置,其特征在于,当所述计算机程序被所述执行时,使得所述装置还执行如下步骤:
    以所述待处理图像中的每个边界为对称轴,以边界上的像素点所属区域对应的滤波半径为扩展宽度,对所述待处理图像进行扩展。
  73. 如权利要求72所述的装置,其特征在于,当所述计算机程序被所述执行时,使得所述装置还执行如下步骤:
    对于所述待处理图像中的多个通道中的每个通道,根据处于边界的像素点所属区域对应的滤波半径,对所述待处理图像进行扩展。
  74. 如权利要求72或73所述的装置,其特征在于,当所述计算机程序被所述执行时,使得所述装置还执行如下步骤:
    对所述多个通道的图像数据的扩展宽度互不相同。
  75. 如权利要求38至74中任一项所述的装置,其特征在于,所述装置集成在芯片上。
  76. 一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被执行时,实现如权利要求1至37中任一项所述的方法。
  77. 一种包含指令的计算机程序产品,其特征在于,所述指令被计算机 执行时使得计算机执行如权利要求1至37中任一项所述的方法。
PCT/CN2019/121045 2019-11-26 2019-11-26 图像处理方法和装置 WO2021102702A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/121045 WO2021102702A1 (zh) 2019-11-26 2019-11-26 图像处理方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/121045 WO2021102702A1 (zh) 2019-11-26 2019-11-26 图像处理方法和装置
CN201980039169.9A CN112313700A (zh) 2019-11-26 2019-11-26 图像处理方法和装置

Publications (1)

Publication Number Publication Date
WO2021102702A1 true WO2021102702A1 (zh) 2021-06-03

Family

ID=74336555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/121045 WO2021102702A1 (zh) 2019-11-26 2019-11-26 图像处理方法和装置

Country Status (2)

Country Link
CN (1) CN112313700A (zh)
WO (1) WO2021102702A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090052780A1 (en) * 2007-08-23 2009-02-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
JP2014191430A (ja) * 2013-03-26 2014-10-06 Panasonic Corp 画像処理装置及び画像処理方法
CN104333700A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
CN104751405A (zh) * 2015-03-11 2015-07-01 百度在线网络技术(北京)有限公司 一种用于对图像进行虚化的方法和装置
CN104751407A (zh) * 2015-03-11 2015-07-01 百度在线网络技术(北京)有限公司 一种用于对图像进行虚化的方法和装置
CN107948517A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 预览画面虚化处理方法、装置及设备
CN107977940A (zh) * 2017-11-30 2018-05-01 广东欧珀移动通信有限公司 背景虚化处理方法、装置及设备
CN109618173A (zh) * 2018-12-17 2019-04-12 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090052780A1 (en) * 2007-08-23 2009-02-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
JP2014191430A (ja) * 2013-03-26 2014-10-06 Panasonic Corp 画像処理装置及び画像処理方法
CN104333700A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
CN104751405A (zh) * 2015-03-11 2015-07-01 百度在线网络技术(北京)有限公司 一种用于对图像进行虚化的方法和装置
CN104751407A (zh) * 2015-03-11 2015-07-01 百度在线网络技术(北京)有限公司 一种用于对图像进行虚化的方法和装置
CN107948517A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 预览画面虚化处理方法、装置及设备
CN107977940A (zh) * 2017-11-30 2018-05-01 广东欧珀移动通信有限公司 背景虚化处理方法、装置及设备
CN109618173A (zh) * 2018-12-17 2019-04-12 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN112313700A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Galdran Image dehazing by artificial multiple-exposure image fusion
US20150002545A1 (en) Variable blend width compositing
US9142009B2 (en) Patch-based, locally content-adaptive image and video sharpening
US9754356B2 (en) Method and system for processing an input image based on a guidance image and weights determined thereform
US20160063684A1 (en) Method and device for removing haze in single image
JP2009093323A (ja) 画像処理装置およびプログラム
US7983511B1 (en) Methods and apparatus for noise reduction in digital images
CN105005973A (zh) 一种图像快速去噪的方法及装置
US20180122051A1 (en) Method and device for image haze removal
US10424054B2 (en) Low-illumination image processing method and device
US8965141B2 (en) Image filtering based on structural information
Shin et al. Radiance–Reflectance Combined Optimization and Structure-Guided $\ell _0 $-Norm for Single Image Dehazing
CN108234826B (zh) 图像处理方法及装置
JP4862897B2 (ja) 画像処理方法
US20200118250A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
EP3438923B1 (en) Image processing apparatus and image processing method
EP3203439A2 (en) Method and device for reducing noise in a component of a picture
WO2021102702A1 (zh) 图像处理方法和装置
CN111917994A (zh) 将使用不同曝光设置捕获的图像帧组合成混合图像的方法和装置
WO2021102704A1 (zh) 图像处理方法和装置
WO2017100971A1 (zh) 一种失焦模糊图像的去模糊方法和装置
KR102045538B1 (ko) 패치 기반 다중 노출 영상 융합 방법 및 장치
Negru et al. Exponential image enhancement in daytime fog conditions
Kwok et al. Locally-equalized image contrast enhancement using pso-tuned sectorized equalization
Gao et al. Single fog image dehazing via fast multi-scale image fusion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19953895

Country of ref document: EP

Kind code of ref document: A1