WO2017185772A1 - 一种视频图像增强的方法、装置和计算机存储介质 - Google Patents

一种视频图像增强的方法、装置和计算机存储介质 Download PDF

Info

Publication number
WO2017185772A1
WO2017185772A1 PCT/CN2016/111380 CN2016111380W WO2017185772A1 WO 2017185772 A1 WO2017185772 A1 WO 2017185772A1 CN 2016111380 W CN2016111380 W CN 2016111380W WO 2017185772 A1 WO2017185772 A1 WO 2017185772A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
current frame
frame
pixel point
value
Prior art date
Application number
PCT/CN2016/111380
Other languages
English (en)
French (fr)
Inventor
文锦松
Original Assignee
深圳市中兴微电子技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市中兴微电子技术有限公司 filed Critical 深圳市中兴微电子技术有限公司
Publication of WO2017185772A1 publication Critical patent/WO2017185772A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Definitions

  • the present invention relates to image processing technologies, and in particular, to a video image enhancement method, apparatus, and computer storage medium.
  • image sharpening processing is currently performed on the video image, and the specific process is to extract the high frequency component of each pixel in the original image, and then add the high frequency component to the corresponding pixel point, thereby improving the image. Sharpness.
  • embodiments of the present invention are expected to provide a video image enhancement method, apparatus, and computer storage medium.
  • an embodiment of the present invention provides a video image enhancement method, including:
  • the obtaining, according to the current frame of the video image and the corresponding pixel of the previous frame, the frame-level noise intensity indication value of the current frame including:
  • the acquiring the noise weight and the direct current component corresponding to each pixel point according to each pixel point of the current frame and the preset first window including:
  • the sum of the absolute values of the differences between the two of the DC averages of all the sub-windows is used as the initial noise weight, and the noise weight of the corresponding pixel is obtained according to a preset selection strategy.
  • the pixel from the current frame is in accordance with a preset sorting strategy.
  • Obtaining a high frequency coefficient group corresponding to the current frame including:
  • a window centered on each pixel of the current image frame is convolved with a preset high-pass filter to obtain a high-frequency coefficient corresponding to each pixel;
  • the maximum preset number of high frequency coefficients are obtained according to the preset pixel point distance, and the high frequency coefficient group corresponding to the current frame is formed.
  • the obtaining the image enhancement gain value according to the frame level noise intensity indication value of the current frame and the high frequency coefficient group includes:
  • the acquiring the high frequency value corresponding to each pixel point according to the image enhancement gain value, each pixel point of the current frame, and the DC component corresponding to each pixel point including:
  • an embodiment of the present invention provides a video image enhancement apparatus, including: a frame level noise detection module, a pixel noise detection module, a frame level detail detection module, a gain acquisition module, a pixel high frequency generation module, and a pixel enhancement module. ;among them,
  • the frame level noise detection module is configured to: according to a current frame of the video image and a corresponding pixel point of the previous frame, a frame level noise intensity indication value of the current frame;
  • the pixel noise detecting module is configured to acquire a noise weight and a direct current component corresponding to each pixel point according to each pixel point of the current frame and a preset first window;
  • the frame level detail detecting module is configured to acquire, according to a preset sorting strategy, a high frequency coefficient group corresponding to the current frame from the pixel points of the current frame;
  • the gain obtaining module is configured to acquire an image enhancement gain value according to the frame level noise intensity indication value of the current frame and the high frequency coefficient group;
  • the pixel high-frequency generating module is configured to acquire a high-frequency value corresponding to each pixel point according to the image enhancement gain value, each pixel point of the current frame, and a DC component corresponding to each pixel point;
  • the pixel enhancement module is configured to perform, according to a preset image enhancement policy, each pixel point of the current frame according to a high frequency value corresponding to each pixel point of the current frame and a noise weight corresponding to each pixel point.
  • the image is enhanced to obtain a corresponding frame after the current frame image is enhanced.
  • the frame level noise detecting module is configured to:
  • the pixel noise detection module is configured to
  • the sum of the absolute values of the differences between the two of the DC averages of all the sub-windows is used as the initial noise weight, and the noise weight of the corresponding pixel is obtained according to a preset selection strategy.
  • the frame level detail detection module is configured to:
  • a window centered on each pixel of the current image frame is convolved with a preset high-pass filter to obtain a high-frequency coefficient corresponding to each pixel;
  • the maximum preset number of high frequency coefficients are obtained according to the preset pixel point distance, and the high frequency coefficient group corresponding to the current frame is formed.
  • the gain obtaining module is configured to:
  • the pixel high frequency generating module is configured to:
  • an embodiment of the present invention provides a computer storage medium, the computer storage medium comprising a set of instructions, when executed, causing at least one processor to perform the video image enhancement method described above.
  • Embodiments of the present invention provide a video image enhancement method, apparatus, and computer storage medium, which perform image enhancement based on noise levels of different granularities of video frames and details of video frames, and can not only adaptively control the amplitude of image enhancement. It is also possible to avoid enhancement of the noise portion so that the output video image has a strong sharpness.
  • FIG. 1 is a schematic flowchart of a video image enhancement method according to an embodiment of the present invention
  • FIG. 2 is a schematic flowchart of acquiring a frame level noise intensity indication value of the current frame according to an embodiment of the present invention
  • FIG. 3 is a schematic flowchart of acquiring noise weights and DC components corresponding to pixel points according to an embodiment of the present disclosure
  • FIG. 4 is a schematic flowchart of acquiring an image enhancement gain value according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of an apparatus for video image enhancement according to an embodiment of the present invention.
  • image enhancement is performed based on noise levels of different granularities of video frames and details of video frames, thereby being able to adaptively control the amplitude of image enhancement, and also to avoid enhancement of noise portions. To make the output video image have stronger definition.
  • FIG. 1 is a flowchart of a video image enhancement method according to an embodiment of the present invention.
  • the method may include:
  • S101 Obtain a frame level noise intensity indication value of the current frame according to the current frame of the video image and the corresponding pixel point of the previous frame.
  • S102 Acquire a noise weight and a DC component corresponding to each pixel point according to each pixel point of the current frame and a preset first window.
  • S103 Obtain a high frequency coefficient group corresponding to the current frame according to a preset sorting strategy from the pixel points of the current frame.
  • S104 Acquire an image enhancement gain value according to a frame level noise intensity indication value of the current frame and a high frequency coefficient group;
  • S105 Obtain a high frequency value corresponding to each pixel point according to an image enhancement gain value, each pixel point of the current frame, and a DC component corresponding to each pixel point;
  • S106 Perform image enhancement on each pixel of the current frame according to a preset image enhancement strategy according to a high frequency value corresponding to each pixel point of the current frame and a noise weight corresponding to each pixel point, to obtain an image enhancement of the current frame image. Corresponding frame.
  • step S101 since the difficulty in judging the noise is that a misjudgment occurs, the motion state in the video is also judged as noise. Therefore, the noise level cannot be judged for a single pixel, and therefore, a statistically significant method can be used to determine the noise level of one frame. Understandably, in a statistical sense, for a certain pixel point, if it is motion, then the difference between the frame and the frame It will be relatively large. If it is noise pollution, the difference between the front and back frames will be small.
  • the frame-level noise intensity indication value of the current frame is obtained according to the current frame of the video image and the corresponding pixel of the previous frame, and specifically includes steps S1011 to S1013:
  • S1011 Obtain an absolute value of a difference between a Y component of each pixel of the current frame and a Y component of a corresponding pixel of the previous frame;
  • S1013 Accumulate the low-pass filtering result exceeding the preset determination threshold in the low-pass filtering result, and obtain a frame-level noise intensity indication value of the current frame.
  • the Y component of the pixel is used to represent the brightness.
  • the specific implementation process for the solution shown in FIG. 2 may include:
  • a window of size m ⁇ n is selected; where m is the length of the row coordinate within the window, and n is the length of the ordinate within the window; in this embodiment, the window is a 3 ⁇ 3 window;
  • the difference between the Y component of each point in the 3x3 window and the Y component of the corresponding pixel point p(t-1) ij of the previous frame is calculated according to Equation 1.
  • the absolute value is convolved with the low-pass filter of the 3x3 window to obtain the difference value dif ij corresponding to the currently processed pixel:
  • the low pass filter of the 3x3 window is preferably
  • Equation 1 the operation shown in Equation 1 is performed on each pixel of the current frame, the corresponding difference value is obtained, and the difference value exceeding the preset threshold thr is accumulated, and the cumulative calculation formula is as shown in Equation 2:
  • the default value of thr is 128, that is, the point where the difference value is greater than 128 is regarded as the motion displacement. That is, when dif_total ⁇ [128,+ ⁇ ), it needs to be accumulated.
  • noise_total This characterizes the noise information of the current frame. The larger the noise information, the more the current frame noise is, and the smaller the smaller the current frame noise is.
  • the window may be a window having a size of 5 ⁇ 5
  • the corresponding low-pass filter is Equation 1 is also modified accordingly to
  • the default value of the preset threshold thr can be set to 1024, so that a point with a difference value greater than 1024 is regarded as a motion displacement. That is, when dif_total ⁇ [1024,+ ⁇ ), it needs to be accumulated.
  • S1021 respectively set a second window centering on each pixel of the current frame
  • S1022 Acquire a DC average value of all sub-windows in the second window, and obtain a DC average value of any sub-window from a DC average of all sub-windows according to a preset DC component division level as a DC component of the corresponding pixel;
  • S1023 The sum of the absolute values of the differences between the DC averages of all the sub-windows is used as the initial noise weight, and the noise weight of the corresponding pixel is obtained according to a preset selection strategy.
  • the specific implementation process for the solution shown in FIG. 3 may include:
  • Weight clip3(weight0,0,weight_max) (5)
  • the weight_max is preferably 64.
  • the operator clip3 (weight, 0, weight_max) represents:
  • weight 0;
  • weight_max weight_max
  • the high frequency coefficient group corresponding to the current frame is obtained from the pixel of the current frame according to a preset sorting policy, which may include:
  • a window centered on each pixel of the current image frame is convoluted with a preset high-pass filter to obtain a high-frequency coefficient corresponding to each pixel;
  • the maximum preset number of high frequency coefficients are obtained according to the preset pixel point distance, and the high frequency coefficient group corresponding to the current frame is formed.
  • the pixel point in the window with the window size of M ⁇ N is convoluted with the preset high-pass filter hpf_mask mn centering on the current pixel point p ij of the current frame, as shown in Equation 6. :
  • a preset distance is maintained between corresponding pixel points, and preferably, the preset pixel point distance disance_thr may be 6.
  • acquiring the image enhancement gain value according to the frame-level noise intensity indication value of the current frame and the high-frequency coefficient group specifically includes:
  • S1041 Acquire a noise characteristic mean value by using a frame-level noise intensity indication value corresponding to a current frame and a video frame in a preset time window before a current time corresponding to the current frame.
  • S1042 Acquire an initial value of the image enhancement gain according to a preset threshold condition according to a mean value of the noise characteristic
  • S1043 Acquire an image enhancement gain value according to the image enhancement gain initial value and the high frequency coefficient group corresponding to the current frame.
  • the specific implementation process for the solution shown in FIG. 4 may include:
  • the average noise of each frame in the sliding window Where width and height are the width and height of the current frame, respectively.
  • gain_init is the initialized gain, this can be set by the user, and noise_dc and frm_noise_thr are also initialized noise variables. And ⁇ indicates the left shift operator.
  • the image enhancement gain value gain may be obtained according to the image enhancement gain initial value and the high frequency coefficient group corresponding to the current frame, specifically:
  • the high frequency value corresponding to each pixel point is obtained according to the image enhancement gain value, each pixel point of the current frame, and the DC component corresponding to each pixel point, and specifically includes:
  • the input bit width is 8 bit as an example.
  • the image enhancement is performed according to a preset image enhancement strategy to obtain a current frame image.
  • the enhanced corresponding frame the specific implementation process can be as follows:
  • Equation 9 For each pixel point p ij of the current frame, the pixel point after the image enhancement is obtained by Equation 9, thereby obtaining the corresponding frame after the current frame image is enhanced.
  • the embodiment provides a video image enhancement method, which performs image enhancement based on noise levels of different granularity of video frames and details of video frames, thereby adaptively controlling the amplitude of image enhancement, and avoiding noise components. Enhanced to make the output video image more sharp.
  • the apparatus 50 may include: a frame level noise detection module 501, and a pixel noise detection module. 502, the frame level detail detection module 503, the gain acquisition module 504, the pixel high frequency generation module 505, and the pixel enhancement module 506; the connection relationship between the modules is characterized by a signal flow direction, wherein
  • the frame level noise detecting module 501 is configured to: according to a current frame of the video image and a corresponding pixel point of the previous frame, a frame level noise intensity indication value of the current frame;
  • the pixel noise detection module 502 is configured to acquire a noise weight and a DC component corresponding to each pixel point according to each pixel point of the current frame and a preset first window;
  • the frame level detail detection module 503 is configured to acquire, according to a preset sorting strategy, a high frequency coefficient group corresponding to the current frame from the pixel points of the current frame;
  • the gain obtaining module 504 is configured to acquire an image enhancement gain value according to the frame level noise intensity indication value of the current frame and the high frequency coefficient group;
  • the pixel high-frequency generating module 505 is configured to acquire a high-frequency value corresponding to each pixel point according to the image enhancement gain value, each pixel point of the current frame, and a DC component corresponding to each pixel point;
  • the pixel enhancement module 506 is configured to follow a preset image enhancement strategy for each pixel of the current frame according to a high frequency value corresponding to each pixel point of the current frame and a noise weight corresponding to each pixel point. Image enhancement is performed to obtain a corresponding frame after the current frame image is enhanced.
  • the frame level noise detecting module 501 is configured to:
  • the pixel noise detection module 502 is configured to
  • the sum of the absolute values of the differences between the two of the DC averages of all the sub-windows is used as the initial noise weight, and the noise weight of the corresponding pixel is obtained according to a preset selection strategy.
  • the frame level detail detecting module 503 is configured to:
  • a window centered on each pixel of the current image frame is convolved with a preset high-pass filter to obtain a high-frequency coefficient corresponding to each pixel;
  • the maximum preset number of high frequency coefficients are obtained according to the preset pixel point distance, and the high frequency coefficient group corresponding to the current frame is formed.
  • the gain obtaining module 504 is configured to:
  • the pixel high frequency generating module 505 is configured to:
  • the current frame may be input to the frame level noise detecting module 501, the pixel noise detecting module 502, the frame level detail detecting module 503, the pixel high frequency generating module 505, and the pixel enhancing module 506, respectively;
  • the frame can be input to the frame level noise detecting module 501.
  • the frame level noise detection module 501, the pixel noise detection module 502, the frame level detail detection module 503, the gain acquisition module 504, the pixel high frequency generation module 505, and the pixel enhancement module 506 may be processors in a device that is enhanced by video images. (such as CPU, Central Processing Unit, Microcontrol Unit (MCU), Digital Signal Processor (DSP), or Field-Programmable Gate Array (FPGA) )achieve.
  • MCU Microcontrol Unit
  • DSP Digital Signal Processor
  • FPGA Field-Programmable Gate Array
  • the embodiment provides a video image enhancement device 50, which performs image enhancement based on noise levels of different granularities of video frames and details of video frames, thereby being capable of adaptively controlling the amplitude of image enhancement and avoiding noise portions. Enhance to make the output video image Has a stronger definition.
  • embodiments of the present invention can be provided as a method, system, or computer program product. Accordingly, the present invention can take the form of a hardware embodiment, a software embodiment, or a combination of software and hardware. Moreover, the invention can take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage and optical storage, etc.) including computer usable program code.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.
  • an embodiment of the present invention further provides a computer storage medium, the computer storage medium comprising a set of instructions, when executed, causing at least one processor to perform the video image enhancement method described above.
  • Embodiments of the present invention provide a video image enhancement method, apparatus, and computer storage medium, which perform image enhancement based on noise levels of different granularities of video frames and details of video frames, and can not only adaptively control the amplitude of image enhancement. It is also possible to avoid enhancement of the noise portion so that the output video image has a strong sharpness.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明实施例公开了一种视频图像增强的方法、装置和计算机存储介质，方法包括：根据视频图像的当前帧以及上一帧的对应像素点获取当前帧的帧级噪声强度指示值；根据当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；从当前帧的像素点中，按照预设的排序策略获取当前帧对应的高频系数组；根据当前帧的帧级噪声强度指示值以及高频系数组获取图像增强增益值；根据图像增强增益值、当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到当前帧图像增强后的对应帧。

Description

一种视频图像增强的方法、装置和计算机存储介质 技术领域
本发明涉及图像处理技术，尤其涉及一种视频图像增强的方法、装置和计算机存储介质。
背景技术
随着互联网技术及终端技术的发展，越来越多的用户通过智能手机或平板电脑等终端观看视频，但是由于网络带宽、拍摄技术、编解码损失及传输干扰等客观因素的影响，会导致用户在终端观看视频时，视频图像会出现图像模糊、噪声严重甚至细节丢失的情况。
针对上述情况，目前都会对视频图像进行图像锐化处理，具体过程是提取原始图像中每个像素点的高频成分，然后将高频成分累加之后再增加至对应的像素点，从而提高图像的清晰度。
但是当前针对图像进行锐化处理的过程，提取高频成分的力度需要通过人为进行固定设置，并且由于针对每个像素点均进行锐化处理来进行图像增强，从而导致图像中的噪声部分也随之增强，反而造成了较低的视觉体验。
发明内容
为解决现有存在的技术问题，本发明实施例期望提供一种视频图像增强的方法、装置和计算机存储介质。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供了一种视频图像增强的方法，包括：
根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值；
根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；
从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；
根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；
根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；
根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。
在上述方案中，所述根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值，包括：
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值；
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。
在上述方案中，所述根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量，包括：
分别以所述当前帧每个像素点为中心设置第二窗口；
获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；
将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。
在上述方案中，所述从所述当前帧的像素点中，按照预设的排序策略 获取所述当前帧对应的高频系数组，包括：
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；
从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。
在上述方案中，所述根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值，包括：
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；
根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；
根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
在上述方案中，所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值，包括：
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。
第二方面，本发明实施例提供了一种视频图像增强的装置，包括：帧级噪声检测模块、像素噪声检测模块、帧级细节检测模块、增益获取模块、像素高频生成模块和像素增强模块；其中，
所述帧级噪声检测模块，配置为根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值；
所述像素噪声检测模块，配置为根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；
所述帧级细节检测模块，配置为从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；
所述增益获取模块，配置为根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；
所述像素高频生成模块，配置为根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；
所述像素增强模块，配置为根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。
在上述方案中，所述帧级噪声检测模块，配置为：
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值；以及，
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；以及，
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。
在上述方案中，所述像素噪声检测模块，配置为
分别以所述当前帧每个像素点为中心设置第二窗口；以及，
获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；以及，
将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。
在上述方案中，所述帧级细节检测模块，配置为：
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；
从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。
在上述方案中，所述增益获取模块，配置为：
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；
以及，根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；
以及，根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
在上述方案中，所述像素高频生成模块，配置为：
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；以及，
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。
第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行上述的视频图像增强的方法。
本发明实施例提供了一种视频图像增强的方法、装置和计算机存储介质，基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，不仅能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有较强的清晰度。
附图说明
图1为本发明实施例提供的一种视频图像增强的方法流程示意图；
图2为本发明实施例提供的一种获取所述当前帧的帧级噪声强度指示值的流程示意图；
图3为本发明实施例提供的一种获取像素点对应的噪声权重和直流分量的流程示意图；
图4为本发明实施例提供的一种获取图像增强增益值的流程示意图；
图5为本发明实施例提供的一种视频图像增强的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明实施例的各种实施例中：基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，从而能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有更强的清晰度。
实施例一
参见图1，其示出了本发明实施例提供的一种视频图像增强的方法流程，该方法可以包括：
S101：根据视频图像的当前帧以及上一帧的对应像素点获取当前帧的帧级噪声强度指示值；
S102：根据当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；
S103：从当前帧的像素点中，按照预设的排序策略获取当前帧对应的高频系数组；
S104：根据当前帧的帧级噪声强度指示值以及高频系数组获取图像增强增益值；
S105：根据图像增强增益值、当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；
S106：根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到当前帧图像增强后的对应帧。
对于步骤S101，需要说明的是，由于判断噪声的难点就是会出现误判，会将视频中的运动状态也判断为噪声。因此，对于单一像素点来说无法判断噪声级别，因此，可以采用统计意义的方法来判断一帧的噪声级别。可以理解地，在统计意义下对于某一像素点，如果是运动，那么前后帧差异 会比较大，如果是噪声污染，那么前后帧差异会比较小。因此，示例性地，参见图2，根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值，具体包括步骤S1011至S1013：
S1011：获取当前帧每个像素点的Y分量与上一帧的对应像素点的Y分量之间差值的绝对值；
S1012：将差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到当前帧每个像素点对应的低通滤波结果；
S1013：将低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取当前帧的帧级噪声强度指示值。
可以理解地，像素点的Y分量用于表示亮度。
在一实施例中，针对图2所示方案的具体实现过程可以包括：
首先，选择大小为m×n的窗口；其中，m为窗口内的行坐标长度，n为窗口内的纵坐标长度；本实施例中，窗口为3x3窗口；
接着，定义当前帧的帧级噪声强度初始指示值dif_total＝0；
随后，以当前帧的当前处理像素点p(t)ij为中心，按照式1计算3x3窗口内每一点Y分量与上一帧对应像素点p(t-1)ij的Y分量之间差的绝对值，并将该绝对值与3x3窗口的低通滤波器进行卷积，得到当前处理像素对应的差分值difij：
Figure PCTCN2016111380-appb-000001
其中，3x3窗口的低通滤波器优选为
Figure PCTCN2016111380-appb-000002
接着，对当前帧的每一个像素点进行式1所示的运算，获取对应的差分值，并且将超过预设阈值thr的差分值进行累加，累加的计算公式如式2：
Figure PCTCN2016111380-appb-000003
其中，thr的默认值为128，也就是将差分值大于128的点，视为运动位移。即dif_total∈[128,+∞)的时候，需要进行累加。
最后，当前帧的所有像素点按照式2进行累加完毕后，dif_total赋值给noise_total。这个表征当前帧的噪声信息。该噪声信息越大说明当前帧噪声越多，越小说明当前帧噪声越小。
可选地，在上述针对图2所示方案的具体实现过程中，窗口可以是大小为5x5窗口，相应的低通滤波器为
Figure PCTCN2016111380-appb-000004
式1也相应地修改为
Figure PCTCN2016111380-appb-000005
预设阈值thr的默认值可以设置为1024，从而将差分值大于1024的点，视为运动位移。即dif_total∈[1024,+∞)的时候，需要进行累加。
对于S102，需要说明的是，通过S101可以得到帧级别的噪声信息，但是无法对每个像素点的噪声进行估计，对于同样的噪声污染级别，根据图像具体内容不一样，人眼对噪声带来的不悦体验不一样。平坦区域，比如蓝天，噪声给人带来的不悦体验更明显。基于这个实验结果，还需要对噪声的像素级别进行检测。可以认为大部分噪声在统计意义上符合高斯或者泊松分布，基于这一假设，针对多个窗口大小的直流分量，如果是噪声主导的区域，那是趋于稳定的；如果是细节主导的区域，那是趋于一个值的。因此，示例性地，参见图3，根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量，具体包括S1021至S1023：
S1021：分别以所述当前帧每个像素点为中心设置第二窗口；
S1022：获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；
S1023：将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。
在一实施例中，针对图3所示方案的具体实现过程可以包括：
首先，对于每一个像素点，可以分别以当前点为中心，建立一个5x3的窗口，计算该窗口内所有子窗口，比如2x2，3x2，4x2，5x2，3x3，4x3，5x3的均值，分别记为dc_2x2，dc_3x2，dc_4x2，dc_5x2，dc_3x3，dc_4x3，dc_5x3。各子窗口对应的均值计算公式如式3：
Figure PCTCN2016111380-appb-000006
其中m＝2，3，4，5；n＝2，3；？:表示三目运算符，它是对第一个表达式作真/假检测，然后根据检测结果返回后续第二和第三两个表达式中的一个。
接着，根据式4计算各像素点的初始权重(weight)：
Figure PCTCN2016111380-appb-000007
最后，根据如式5所示的选择策略得到各像素点的噪声权重。
weight＝clip3(weight0,0,weight_max)             (5)
其中，weight_max优选为64。
在本实施例中，运算符clip3(weight,0,weight_max)表示：
当weight0＜0时，weight＝0；
当weight0＞weight_max时，weight＝weight_max；
其余情况weight＝weight0。
通过上述针对S102的具体实现过程，可以理解地，如果当前点噪声污染占主要的，那么weight将倾向于0，从而避免增强噪声；如果当前点噪声污染不严重的时候，那么weight倾向于weight_max，也就是此点按细节丰富程度来自适应的产生增强幅度，而不受weight影响。
对于S103，示例性地，从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组，具体可以包括：
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；以及，
从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。
在具体实现过程中，首先以当前帧的当前像素点pij为中心，窗口大小为M×N的窗口内的像素点与预设的高通滤波器hpf_maskmn进行卷积运算，如式6所示：
Figure PCTCN2016111380-appb-000008
以M＝3，N＝5为例，对应的高通滤波器
Figure PCTCN2016111380-appb-000009
接着获取当前像素点pij的高频系数hf_pij＝|tmp＞＞7|，其中，＞＞为右移运算符。
最后，从所有像素点中提取最大的N个高频系数，组成高频系数组hf_total。
需要说明的是，在高频系数组中，对应的像素点之间要保持预设的距离，优选地，预设的像素点距离disance_thr可以为6。
对于S104，需要说明的是，虽然有当前帧的帧级噪声强度指示值，但这只是当前帧的噪声表征，且准确度不一定精准，而在实际的视频流中，每帧都会有变化，但是在一个时间段内的均值差距是不大的。这个特性符合噪声的统计特性。因此，示例性地，参见图4，根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值，具体包括：
S1041：通过当前帧以及在当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；
S1042：根据噪声特性均值按照预设的门限条件获取图像增强增益初始值；
S1043：根据图像增强增益初始值以及当前帧对应的高频系数组获取图像增强增益值。
在一实施例中，针对图4所示方案的具体实现过程可以包括：
首先，以当前帧为参考点，向当前帧对应的当前时间之前取N帧，作 为帧的滑窗：这里取N为16。
接着，滑窗内各帧的平均噪声
Figure PCTCN2016111380-appb-000010
其中，width和height分别为当前帧的宽度和高度。
随后，计算16帧的噪声均值
Figure PCTCN2016111380-appb-000011
接着，根据式7获取图像增强增益初始值gain0：
Figure PCTCN2016111380-appb-000012
其中gain_init是被初始化了的增益，这个可以由用户设定，noise_dc和frm_noise_thr也是被初始化了的噪声变量。并且＜＜表示左移运算符。
最后，可以根据图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值gain，具体为：
首先，计算32个高频系数之和
Figure PCTCN2016111380-appb-000013
接着，修正增益
Figure PCTCN2016111380-appb-000014
最后，输出最终结果gain＝clip3(gain,0,gain0)。
对于S105，示例性地，根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值，具体包括：
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；以及，
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。
在具体实现过程中，以输入位宽为8bit为例，
首先，每个像素点对应的高频初值可以通过hfij0＝(pij-dc_3x3)*gain＞＞8计算得到，其中，dc_3x3为当前点为中心的3X3窗口的均值。也就是将像素点为中性的3X3窗口的均值作为直流分量。
随后，根据当前dc_3x3的值。按式8对高频初值进行修正：
Figure PCTCN2016111380-appb-000015
由此可以得出每个像素点对应的高频值。
对于S106所述的根据当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到当前帧图像增强后的对应帧，具体的实现过程可以如下：
针对当前帧每个像素点pij，通过式9获取图像增强之后的像素点，从而获得当前帧图像增强后的对应帧
Figure PCTCN2016111380-appb-000016
本实施例提供了一种视频图像增强的方法，基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，从而能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有更强的清晰度。
实施例二
基于前述实施例相同的技术构思，参见图5，其示出了本发明实施例提供的一种视频图像增强的装置50，所述装置50可以包括：帧级噪声检测模块501、像素噪声检测模块502、帧级细节检测模块503、增益获取模块504、像素高频生成模块505和像素增强模块506；各模块之间的连接关系通过信号流走向表征，其中，
所述帧级噪声检测模块501，配置为根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值；
所述像素噪声检测模块502，配置为根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；
所述帧级细节检测模块503，配置为从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；
所述增益获取模块504，配置为根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；
所述像素高频生成模块505，配置为根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；
所述像素增强模块506，配置为根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。
在上述方案中，所述帧级噪声检测模块501，配置为：
获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值；以及，
将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；以及，
将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。
在上述方案中，所述像素噪声检测模块502，配置为
分别以所述当前帧每个像素点为中心设置第二窗口；以及，
获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；以及，
将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。
在上述方案中，所述帧级细节检测模块503，配置为：
以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；
从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。
在上述方案中，所述增益获取模块504，配置为：
通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；
以及，根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；
以及，根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
在上述方案中，所述像素高频生成模块505，配置为：
所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；以及，
根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。
在具体实现过程中，当前帧可以分别输入至帧级噪声检测模块501、像素噪声检测模块502、帧级细节检测模块503、像素高频生成模块505和像素增强模块506；而当前帧的上一帧可以输入至帧级噪声检测模块501。
实际应用时，帧级噪声检测模块501、像素噪声检测模块502、帧级细节检测模块503、增益获取模块504、像素高频生成模块505和像素增强模块506可由视频图像增强的装置中的处理器(比如中央处理器(CPU，Central Processing Unit)、微处理器(MCU，Micro Control Unit)、数字信号处理器(DSP，Digital Signal Processor)或可编程逻辑阵列(FPGA，Field－Programmable Gate Array)等)实现。
本实施例提供了一种视频图像增强的装置50，基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，从而能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像 具有更强的清晰度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
基于此，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行上述的视频图像增强的方法。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
工业实用性
本发明实施例提供了一种视频图像增强的方法、装置和计算机存储介质，基于视频帧的不同粒度的噪声级别以及视频帧的细节程度进行图像增强，不仅能够自适应地控制图像增强的幅度，还能够避免对噪声部分进行增强，使得输出的视频图像具有较强的清晰度。

Claims (13)

  1. 一种视频图像增强的方法，所述方法包括：
    根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值；
    根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；
    从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；
    根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；
    根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；
    根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。
  2. 根据权利要求1所述的方法，其中，所述根据视频图像的当前帧以及上一帧的对应像素点获取所述当前帧的帧级噪声强度指示值，包括：
    获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值；
    将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；
    将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。
  3. 根据权利要求1所述的方法，其中，所述根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量，包括：
    分别以所述当前帧每个像素点为中心设置第二窗口；
    获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应像素点的直流分量；
    将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。
  4. 根据权利要求1所述的方法，其中，所述从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组，包括：
    以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；
    从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。
  5. 根据权利要求1所述的方法，其中，所述根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值，包括：
    通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；
    根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；
    根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
  6. 根据权利要求1所述的方法，其中，所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值，包括：
    所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；
    根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。
  7. 一种视频图像增强的装置，所述装置包括：帧级噪声检测模块、像素噪声检测模块、帧级细节检测模块、增益获取模块、像素高频生成模块 和像素增强模块；其中，
    所述帧级噪声检测模块，配置为根据视频图像的当前帧以及上一帧的对应像素点所述当前帧的帧级噪声强度指示值；
    所述像素噪声检测模块，配置为根据所述当前帧的每个像素点以及预设的第一窗口获取每个像素点对应的噪声权重和直流分量；
    所述帧级细节检测模块，配置为从所述当前帧的像素点中，按照预设的排序策略获取所述当前帧对应的高频系数组；
    所述增益获取模块，配置为根据所述当前帧的帧级噪声强度指示值以及所述高频系数组获取图像增强增益值；
    所述像素高频生成模块，配置为根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取每个像素点对应的高频值；
    所述像素增强模块，配置为根据所述当前帧的每个像素点对应的高频值以及每个像素点对应的噪声权重对所述当前帧的每个像素点按照预设的图像增强策略进行图像增强，得到所述当前帧图像增强后的对应帧。
  8. 根据权利要求7所述的装置，其中，所述帧级噪声检测模块，配置为：
    获取所述当前帧每个像素点的Y分量与所述上一帧的对应像素点的Y分量之间差值的绝对值；以及，
    将所述差值绝对值与预设第一窗口的低通滤波器模板进行卷积，获取得到所述当前帧每个像素点对应的低通滤波结果；以及，
    将所述低通滤波结果中超过预设判定门限值的低通滤波结果进行累加，获取所述当前帧的帧级噪声强度指示值。
  9. 根据权利要求7所述的装置，其中，所述像素噪声检测模块，配置为
    分别以所述当前帧每个像素点为中心设置第二窗口；以及，
    获取所述第二窗口内所有子窗口的直流均值，并根据预设的直流分量划分级别从所有子窗口的直流均值中获取任一子窗口的直流均值作为对应 像素点的直流分量；以及，
    将所有子窗口的直流均值之间两两相减之差的绝对值之和，作为初始噪声权重，并按照预设的选择策略获取对应像素点的噪声权重。
  10. 根据权利要求7所述的装置，其中，所述帧级细节检测模块，配置为：
    以当前图像帧的每个像素点为中心的窗口与预设的高通滤波器进行卷积，获取每个像素点对应的高频系数；
    从所有像素点对应的高频系数中，按照预设的像素点距离获取最大的预设数量的高频系数，组成所述当前帧对应的高频系数组。
  11. 根据权利要求7所述的装置，其中，所述增益获取模块，配置为：
    通过所述当前帧以及在所述当前帧对应的当前时间之前的预设时间窗内的视频帧对应的帧级噪声强度指示值获取噪声特性均值；
    以及，根据所述噪声特性均值按照预设的门限条件获取图像增强增益初始值；
    以及，根据所述图像增强增益初始值以及所述当前帧对应的高频系数组获取所述图像增强增益值。
  12. 权利要求7所述的装置，其中，所述像素高频生成模块，配置为：
    所述根据所述图像增强增益值、所述当前帧的每个像素点以及每个像素点对应的直流分量获取所述每个像素点对应的高频初值；以及，
    根据所述每个像素点对应的直流分量量对所述每个像素点对应的高频初值进行修正，获得每个像素点对应的高频值。
  13. 一种计算机存储介质，所述计算机存储介质包括一组指令，当执行所述指令时，引起至少一个处理器执行如权利要求1至6任一项所述的视频图像增强的方法。
PCT/CN2016/111380 2016-04-28 2016-12-21 一种视频图像增强的方法、装置和计算机存储介质 WO2017185772A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610278415.4A CN107333027B (zh) 2016-04-28 2016-04-28 一种视频图像增强的方法和装置
CN201610278415.4 2016-04-28

Publications (1)

Publication Number Publication Date
WO2017185772A1 true WO2017185772A1 (zh) 2017-11-02

Family

ID=60161745

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/111380 WO2017185772A1 (zh) 2016-04-28 2016-12-21 一种视频图像增强的方法、装置和计算机存储介质

Country Status (2)

Country Link
CN (1) CN107333027B (zh)
WO (1) WO2017185772A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369465A (zh) * 2020-03-04 2020-07-03 沈阳先进医疗设备技术孵化中心有限公司 Ct动态图像增强方法及装置
CN111932615A (zh) * 2020-07-10 2020-11-13 中国电子科技集团公司第十一研究所 一种偏振测距方法、装置及可读存储介质
CN113438386A (zh) * 2021-05-20 2021-09-24 珠海全志科技股份有限公司 一种应用于视频处理的动静判定方法及装置
CN113645424A (zh) * 2021-10-18 2021-11-12 杭州雄迈集成电路技术股份有限公司 一种固态噪声标定方法及系统、视频流处理方法及系统
CN114422853A (zh) * 2021-12-29 2022-04-29 南京汇川工业视觉技术开发有限公司 图像传输方法、装置、设备、视觉系统以及存储介质
CN116433537A (zh) * 2023-06-13 2023-07-14 济南科汛智能科技有限公司 基于物联网和云计算的智慧病房监控系统
CN117876971A (zh) * 2024-03-12 2024-04-12 武汉同创万智数字科技有限公司 基于机器视觉的建筑施工安全监测及预警方法
CN117876971B (zh) * 2024-03-12 2024-05-28 武汉同创万智数字科技有限公司 基于机器视觉的建筑施工安全监测及预警方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145158A (zh) * 2019-12-28 2020-05-12 国网山东省电力公司菏泽市定陶区供电公司 基于电力系统中导线脱皮装置、图像处理方法及储存介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289935A1 (en) * 2008-05-20 2009-11-26 Kabushiki Kaisha Toshiba Liquid crystal drive device, lcd apparatus and drive method
CN102035997A (zh) * 2010-12-14 2011-04-27 杭州爱威芯科技有限公司 一种基于模式预测和方向排序的图像锐化方法
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN104103040A (zh) * 2013-04-10 2014-10-15 上海联影医疗科技有限公司 一种图像增强的方法
CN104134191A (zh) * 2014-07-11 2014-11-05 三星电子（中国）研发中心 图像去噪方法及其装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473748A (zh) * 2013-09-23 2013-12-25 中国矿业大学(北京) 一种煤矿井下图像增强的方法
CN104580826A (zh) * 2015-02-03 2015-04-29 成都金本华科技股份有限公司 一种增强图像锐度的视频信号处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289935A1 (en) * 2008-05-20 2009-11-26 Kabushiki Kaisha Toshiba Liquid crystal drive device, lcd apparatus and drive method
CN102035997A (zh) * 2010-12-14 2011-04-27 杭州爱威芯科技有限公司 一种基于模式预测和方向排序的图像锐化方法
CN104103040A (zh) * 2013-04-10 2014-10-15 上海联影医疗科技有限公司 一种图像增强的方法
CN103369209A (zh) * 2013-07-31 2013-10-23 上海通途半导体科技有限公司 视频降噪装置及方法
CN104134191A (zh) * 2014-07-11 2014-11-05 三星电子（中国）研发中心 图像去噪方法及其装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369465A (zh) * 2020-03-04 2020-07-03 沈阳先进医疗设备技术孵化中心有限公司 Ct动态图像增强方法及装置
CN111369465B (zh) * 2020-03-04 2024-03-08 东软医疗系统股份有限公司 Ct动态图像增强方法及装置
CN111932615A (zh) * 2020-07-10 2020-11-13 中国电子科技集团公司第十一研究所 一种偏振测距方法、装置及可读存储介质
CN111932615B (zh) * 2020-07-10 2023-06-23 中国电子科技集团公司第十一研究所 一种偏振测距方法、装置及可读存储介质
CN113438386B (zh) * 2021-05-20 2023-02-17 珠海全志科技股份有限公司 一种应用于视频处理的动静判定方法及装置
CN113438386A (zh) * 2021-05-20 2021-09-24 珠海全志科技股份有限公司 一种应用于视频处理的动静判定方法及装置
CN113645424A (zh) * 2021-10-18 2021-11-12 杭州雄迈集成电路技术股份有限公司 一种固态噪声标定方法及系统、视频流处理方法及系统
CN113645424B (zh) * 2021-10-18 2022-01-18 杭州雄迈集成电路技术股份有限公司 一种固态噪声标定方法及系统、视频流处理方法及系统
CN114422853A (zh) * 2021-12-29 2022-04-29 南京汇川工业视觉技术开发有限公司 图像传输方法、装置、设备、视觉系统以及存储介质
CN114422853B (zh) * 2021-12-29 2023-09-26 南京汇川工业视觉技术开发有限公司 图像传输方法、装置、设备、视觉系统以及存储介质
CN116433537A (zh) * 2023-06-13 2023-07-14 济南科汛智能科技有限公司 基于物联网和云计算的智慧病房监控系统
CN116433537B (zh) * 2023-06-13 2023-08-11 济南科汛智能科技有限公司 基于物联网和云计算的智慧病房监控系统
CN117876971A (zh) * 2024-03-12 2024-04-12 武汉同创万智数字科技有限公司 基于机器视觉的建筑施工安全监测及预警方法
CN117876971B (zh) * 2024-03-12 2024-05-28 武汉同创万智数字科技有限公司 基于机器视觉的建筑施工安全监测及预警方法

Also Published As

Publication number Publication date
CN107333027A (zh) 2017-11-07
CN107333027B (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
WO2017185772A1 (zh) 一种视频图像增强的方法、装置和计算机存储介质
CN109325954B (zh) 图像分割方法、装置及电子设备
EP3488388B1 (en) Video processing method and apparatus
US10489892B2 (en) Method for signal processing
WO2017101489A1 (zh) 图像滤波方法及装置
CN111652814B (zh) 一种视频图像的去噪方法、装置、电子设备及存储介质
US9165346B2 (en) Method and apparatus for reducing image noise
US8244054B2 (en) Method, apparatus and integrated circuit capable of reducing image ringing noise
Zhang et al. A saliency dispersion measure for improving saliency-based image quality metrics
Ray Unsupervised edge detection and noise detection from a single image
CN111614867B (zh) 一种视频去噪方法、装置、移动终端和存储介质
EP2816526B1 (en) Filtering method and apparatus for recovering an anti-aliasing edge
WO2014070273A1 (en) Recursive conditional means image denoising
CN110796615A (zh) 一种图像去噪方法、装置以及存储介质
JP2022074098A (ja) 映像復元方法及び装置
CN111882578A (zh) 前景图像获取方法、前景图像获取装置和电子设备
CN112150368A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10706507B2 (en) Hybrid denoising of images and videos based on interest metrics
US20150187051A1 (en) Method and apparatus for estimating image noise
CN111539895A (zh) 一种视频去噪方法、装置、移动终端和存储介质
CN111696064A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111757100A (zh) 相机运动变化量的确定方法、装置、电子设备和介质
KR20230049231A (ko) 영상 개선 방법 및 장치
CN109934789A (zh) 图像去噪方法、装置及电子设备
CN111325671A (zh) 网络训练方法、装置、图像处理方法及电子设备

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16900276

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16900276

Country of ref document: EP

Kind code of ref document: A1