WO2015135241A1 - 一种自适应补偿视频压缩失真的系统及方法 - Google Patents
一种自适应补偿视频压缩失真的系统及方法 Download PDFInfo
- Publication number
- WO2015135241A1 WO2015135241A1 PCT/CN2014/076078 CN2014076078W WO2015135241A1 WO 2015135241 A1 WO2015135241 A1 WO 2015135241A1 CN 2014076078 W CN2014076078 W CN 2014076078W WO 2015135241 A1 WO2015135241 A1 WO 2015135241A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- edge
- block
- filter
- map
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Definitions
- the invention belongs to the technical field of digital video image processing and display, and particularly relates to an adaptive video compression distortion compensation system and method based on image feature detection and capable of protecting original image details.
- BDCT Discrete Cosine Transform
- Video compression distortion mainly includes ringing noise and blockiness. Near the edge of the image, coarse quantization of the high-frequency information of the image will cause ringing noise; in the block-based codec mode, the block-coded decoding does not consider the correlation between adjacent blocks, and the quantization difference between blocks This results in a discontinuity between the blocks, resulting in a blockiness. If these low-quality videos are played directly on a large-screen flat-panel TV, it will seriously affect the user's visual experience.
- U.S. Patent No. 7,894,468, B2 proposes a method and apparatus for reducing ringing noise.
- the method classifies pixels according to Mean Absolute Deviation (MAD) and gradient and other information, and then counts pixels in flat regions and strong and weak edges in 8 ⁇ 8 codec blocks. Points, find the edge block that satisfies the condition, and then perform Sigma filtering on the non-edge flat points in the block to reduce the ringing noise.
- the patent needs to control the filtering strength through information such as the Quantization Parameter (QP) of the codec, and its processing method based on the 8 ⁇ 8 codec block is not well compatible with many common international video coding and decoding standards.
- QP Quantization Parameter
- the implementation effect of the method is limited.
- the image details are blurred while effectively reducing the ringing noise, or the detail information is well protected, but the ringing noise is reduced in general, and it is difficult to Do a good balance between the two.
- the existing block effect detection method mainly performs the block boundary strength detection in the case of the known block boundary position. Due to the diversity of original resolution and codec standards in network video sources, the video arriving at the display may have been processed, such as simple scaling or up, down, left and right offsets. In this case, the result of detecting the block strength using the known block position is necessarily inaccurate.
- the object of the present invention is to provide a system and method for adaptively compensating for video compression distortion to overcome the disadvantages of the prior art; the present invention can better protect edge and detail information while effectively compensating for compression distortion, thereby improving the network.
- Video image effects making it suitable for playback on high-definition, even ultra-high definition displays.
- the present invention is not limited to video codec information and codec standards, nor is it limited by video source image offset or small amplitude scaling.
- the invention firstly performs feature detection on an input video image, classifies image pixel points, locates a ringing noise-prone area and a block-effect filtering area; secondly, adaptively filters different types of pixel points satisfying the condition in the area to compensate for compression Distortion, but for pixels on edges and textures Do not filter to retain important raw information.
- the invention provides an adaptive compensation system for video compression distortion, comprising an edge detector, a flat/texture detector, a ringing noise region locator, a line detector, a block boundary detector, a block effect filter region locator, and a suppression Block effect enabler, adaptive averaging filter, filter selector and output fuse.
- edges of the edge detector, flat/texture detector, line detector, block boundary detector, adaptive averaging filter, filter selector and output fuse are connected to the video image input port; the edge detector output and flat/ The output of the texture detector is connected to the input of the ringing noise region locator; the output of the line detector is connected to the input of the block effect filter region locator; the output of the block boundary detector is connected to the block effect filter region locator.
- the output of the filter selector is connected to the input of the output fuse.
- an edge detector for obtaining an edge of an input video image and its intensity information
- a flat/texture detector for obtaining flat/texture information of the input video image
- a line detector for assisting detection And retaining the single-pixel weak line of the flat region
- the block boundary detector for detecting the block boundary position and the intensity information of the block effect of the input video image
- the ringing noise region locator for the edge information, the flat/texture information Positioning the ringing noise-prone area and marking the intensity of the filtering
- a block-effect filtering area locator for locating the block-effect filtering area and marking it based on edge information, flat/texture information, single-pixel line information, and block boundary information
- the intensity of the filtering; the suppression block-effect filtering enablement determiner is configured to count the proportion of the block boundary detected in the current frame to the entire frame image, and when the block effect exceeds the threshold, turn on the suppression block-effect filter strength enable for later One frame is used; an adaptive averaging filter is used to generate filter
- a method for adaptively compensating for video compression distortion proposed by the present invention includes the following steps:
- Edge detection detecting the edge information of the input video image, and eroding it to obtain the edge and its intensity information
- flat/texture detection obtaining the flat/texture information of the input video image
- line detection detecting the input video image Pixel line
- block boundary detection detecting block boundary position and intensity information of block effect in the input video image
- after excluding the edge and texture information positioning the ringing noise-prone area according to the edge and flat/texture feature information and marking Required filtering strength
- after excluding edges, textures, and pixels on a single-pixel weak line of a flat region locate the block-effect filtering region based on the detected block boundary information and mark its required filtering strength; according to the block boundary detector
- the block boundary result is detected, and the ratio of the block boundary in the current frame to the entire frame image is counted.
- the suppression block filter strength is enabled to enable A*tt ⁇ fe for use in the next frame;
- the result of the feature detection and the suppression block filter filtering enabled in the previous frame select the pair
- the adaptive filter coefficient outputs the filtering results;
- the final result is the weighted value and the point of the original to be processed and the filtered result.
- the size of the weighting coefficient is determined by the degree of difference between the pixels around the point to be processed and the degree of difference.
- the present invention can be used on the video decoder side, and can also be relatively independent from the video codec for the video display processing end.
- the present invention is compatible with a plurality of existing video codec standards, and does not require known codec information such as QP, and is not limited to the selection of the codec block size;
- the invention can effectively protect original information such as edges and textures while effectively compensating for compression distortion
- the block boundary information detection of the present invention does not require predictive block boundary locations.
- the block boundary information detection result of the present invention corresponds to the block boundary of the actual picture without erroneous detection;
- the invention is based on airspace information processing, has low complexity, and is easy to implement in hardware to meet real-time requirements.
- FIG. 1 is a block diagram of a specific embodiment of a compression distortion compensation method for video display processing according to the present invention
- FIG. 2 is a block diagram of a specific implementation of a compression distortion compensation method and system according to the present invention
- FIG. 3 is a schematic diagram of Sobel edge detection four-direction gradient operators A, A h , A, and ;
- FIG. 4 is a 3 x 3 pixel luminance matrix X for line detection, edge detection, and flat/texture detection, where (2, 2) is the position of a pixel to be processed;
- FIG. 5 is a ringing noise in the embodiment of the present invention. Schematic diagram of an implementation method of regional positioning;
- FIG. 6 is a schematic diagram of a method for detecting single-pixel lines, mainly for detecting single-pixel lines in vertical and horizontal directions;
- FIG. 7(a) and FIG. 7(b) are block boundary detection in the embodiment of the present invention.
- FIG. 7(b) shows a block. Additional conditions are required during the effect detection process, and block boundaries with blockiness can be determined when one of the four conditions is satisfied.
- FIG. 8 is a 4 ⁇ 4 window used for positioning a block filter region in the embodiment of the present invention, where (3, 3) corresponds to a position of a point to be processed.
- the present invention can be combined with a video decoder or independently as part of a video display process.
- the present invention will be further described in detail below with reference to the drawings and embodiments.
- FIG. 1 is a block diagram showing a specific embodiment of a compression distortion compensating system used for video display processing in the compression distortion compensating method of the present invention.
- the original video source 100 is compressed by video encoding 101 and transmitted over the communication channel 102 to video decoding 103 at the user's receiving end.
- the decoded lossy video is input to the video display process 104, and after being subjected to compression distortion compensation and other video display processing for suppressing the ringing noise 105 and the suppression block effect 106, it is supplied to the video output 107 for display.
- a system for adaptively compensating video compression distortion proposed by the present invention mainly comprises an edge detector 201, a flat/texture detector 202, a ringing noise region locator 203, a line detector 204, a block boundary detector 205, and a block effect filter.
- the input video signal enters the edge detector 201, the flat/texture detector 202, the line detector 204, the block boundary detector 205, the adaptive averaging filter 208, the filter selector 209, and the input of the output fuser 210; the edge detector
- the output of the 201 and the output of the flat/texture detector 202 are both coupled to the ringing noise region locator 203; the output of the line detector 204 is coupled to the input of the block-effect filtering region locator 206; the output of the block boundary detector 205
- the output of filter 208 is coupled to the input of filter selector 209; the output of filter selector 209 is coupled to the input of output fuser 210.
- Edge detector 201, flat/texture detector 202, line detector 204, and block boundary detector 205 are four primary feature detectors of system 200 that adaptively compensate for video compression distortion for a particular embodiment.
- the edge detector 201 detects the edge information of the input video image and etches it to obtain a relatively accurate edge and its intensity information
- the flat/texture detector 202 obtains the flat/texture information of the input video image.
- the line detector 204 detects the single-pixel line of the input video image to assist in preserving the single-pixel weak line of the flat region, thereby avoiding erroneous filtering and loss of video image when performing blockiness suppression.
- block boundary detector 205 detects block boundary position and intensity information for the block effect of the input video image.
- the present invention can well protect important features such as edges, textures, and single-pixel weak lines of the flat region in the original image, so as to prevent the loss of the video image. Secondary damage, and can provide a basis for locating the noise area and determining the filter strength.
- the ringing noise region locator 203 locates the ringing noise-prone area according to the edge and the flat feature information and marks the required filtering strength; the block-effect filtering region locator 206 excludes After the pixel points on the edge of the single pixel weak line of the edge, the texture and the flat area are removed, the block effect filtering area is located according to the detected block boundary information and the required filtering strength is marked; the suppression block effect enabling determiner 207 detects the block boundary The block boundary result detected by the 205 is used to count the ratio of the block boundary in the current frame to the entire frame image. When the block effect is serious, the suppression block filter strength is enabled to enable A*tt ⁇ fe 3 ⁇ 4 for the next frame. .
- the adaptive filter 208 generates adaptive filtering results of different intensities for selection; the filter selector 209 selects the corresponding ifeWfc _ ⁇ len N _, according to the result of the above feature detection and the suppression block effect filtering obtained in the previous frame.
- the adaptive fusion filter 210 implements a weighted sum of the original value of the point to be processed and the filtering result, and the size of the weighting coefficient is determined by the degree of difference between the pixels surrounding the point to be processed and the degree of difference, so as to better protect the original image.
- FIG. 3 shows four direction gradient operators So Hedge edge detection, A h , and , used by the edge detector 201 in the embodiment 200 of the present invention.
- the gradient values G v G k , and G, in four directions are calculated in conjunction with the 3 x 3 pixel luminance matrix X of FIG. Then take the maximum value of the absolute value of the gradient
- G max which is compared with the threshold “?S£L_/i/G/i_r/i (270) and B «?S£L_LOW_r/i (65), respectively, to classify image pixels to obtain overall edge information and strong edge information. As shown in equations (1) and (2).
- e d ge _tmp(i, j) and stedg e _tmp(i, j) are the overall edge information and strong edge information of the pixel at the position of the image (i, j), respectively.
- the edge detector 201 also includes corrosion and expansion of the Sobel edge detection result obtained above to obtain relatively accurate edge information.
- the specific corrosion and expansion processes are shown in equations (3) and (4).
- the overall edge information output by the final edge detector 201 is as shown in equation (5).
- Edge_map( i, j) edge_corriosion( i, j) II edge_expansion( i, j) (5 ) where edge-corrosion(i, j) is the overall edge information after pixel pitting at the image (i, j) position , edge-expaion(i, j) is the overall edge information of the image (i, j) position pixel point expansion, ⁇ _ (, is the image of the edge detector 201 output image ( ) position pixel point more accurate overall edge information .
- the strong edge information of the position pixel is stedge_map( i, j)
- the flat/texture detector 202 of the embodiment of the present invention is implemented by performing mathematical statistics on the pixel brightness values around the processing points.
- the method mainly calculates the brightness average value and the brightness average absolute deviation MAD for the 3 x 3 pixel brightness matrix X to analyze the pixel matrix of the point to be processed.
- texto ⁇ _m ⁇ (, represents the degree of texture of the pixel at the position of the image (, ), and the smaller the value, the flatter the position of the point to be processed.
- Figure 5 shows the ringing in the embodiment 200 of the present invention.
- n'ng-mfl/ ⁇ represents the ringing noise condition of the pixel at the position of ( ) in the image:
- nVig-m ⁇ f 3
- n'ng-m ⁇ f 2
- a strong filtering method is needed to suppress the ringing.
- n'ng_m ⁇ (, is 1) it indicates that the to-be-processed point is near the weak edge, and a relatively weak filtering method is needed to suppress the ringing noise; when n'ng-m ⁇ f is 0, the description is pending. The point is not the ringing noise point, and no suppression of ringing noise is required.
- FIG. 6 shows an implementation method for detecting a single pixel line by the line detector 204 in the embodiment 200 of the present invention.
- a single-pixel line in the vertical direction when the conditions shown in FIG. 6(a) and FIG. 6(b) are satisfied, that is, three consecutive rows of pixel points Ai, A 2 and A 3 are simultaneously compared with D ⁇ PE ⁇ D 2 respectively.
- E 2 and D 3 and E 3 are both small or large L/W£_77i, and the difference between the maximum and minimum values of Ai, ⁇ 2, and ⁇ 3 is less than /7 ⁇ 3 ⁇ 4_7 ⁇ 2, the pixel at the current position The point is on a vertical single-pixel line and is marked as 1.
- Both LINE_TH1 and LINE-TH2 are set to 2.
- the output line_map (i, j) of the final line detector 204 is derived from equation (10).
- FIG. 7 shows a method of the block boundary detector 205 in the embodiment 200 of the present invention. Taking the vertical block boundary as an example, Figure 7(a) shows the brightness relationship of six pixel points, P], P 2 , P 3 , Q 3 , ⁇ 2 and ⁇ , which are connected near the assumed block boundary: The sum of the left and right sides of the block boundary of the effect
- the embodiment of the present invention determines whether the current pixel point is on the block boundary by observing the gradient change of the connected pixel point, and determines the block boundary by the size of the pixel on both sides of the block boundary and the magnitude of the two hops. Strength.
- P 2 , P 3 , Q 3 , and 3 ⁇ 4 simultaneously satisfy the three conditions in the formula (11), there may be a vertical block boundary between the pixel points P 3 and Q 3 .
- Condition 2 max(D, , D 2 , D 4 , D 5 ) ⁇ BLK_LOW_TH; (11)
- Condition 3 D 3 > max(D, , D 2 , D 4 , D 5 ).
- D, D 2 , Z3 ⁇ 4, and / 3 ⁇ 4 represent 1 -P 2 ⁇ , ⁇ P 2 -P 3 ⁇ , ⁇ P 3 -Q 3 ⁇ , ⁇ Q 3 -Q 2 ⁇ Q 2 - Q, ⁇ BLK-LOW-TH (2), BLK-MID-TH (1) and BLK_HIGH_TH (15) are the set empirical thresholds.
- the embodiment of the present invention uses the four cases in Fig. 7(b) to determine whether there is indeed a block effect between 3 and 3 ⁇ 4 .
- the i-th row is the current line
- the dashed line is the assumed vertical block boundary position
- the gray area is the continuous four lines satisfying the condition.
- the 7x6 window according to the continuity of the vertical block boundary in the vertical direction, when at least four consecutive rows satisfy the three conditions in the formula (11), and satisfy the continuous number of at least four rows ⁇ 3 - ⁇ 3 , the The processing point is on the vertical block boundary where there is a block effect.
- the strength of the block boundary is judged according to the formula (12) to control the strength of the subsequent filtering.
- the detection result of the block boundary in the vertical direction v ⁇ i_m (as shown in equation (12), where corresponds to the position of (i, j) in the image.
- vbd_map(i, j) (12)
- the horizontal block boundary is detected in a similar manner, but only the candidate pixel matrix of the 6x7 window is taken. Using a similar detection method, the detection result hbd_map(i, j) of the horizontal block boundary is finally obtained.
- the overall block boundary information bd_map (i, j'J and strong block boundary information S tbd_ma P (i, j) is finally obtained as the output of the block boundary detector 205.
- the block effect filter region locator 206 in the embodiment 200 of the present invention on the basis of the block boundary information bd_map(i, j) obtained by the block boundary detector 205, filtering is required on and near the boundary of the positioning block. Area. Since the block boundary detection process marks the pixel point on the left side or the upper side of the block boundary, the block effect filter area locator 206 uses the third row and the third column as the 4 4 window of the to-be-processed point to locate the block effect of the to-be-processed point. Filter the area and characterize the severity of the block effect, as shown in Figure 8. The positioning process is as shown in equation (15). 3.
- the suppression block effect filtering enablement unit 207 in the embodiment 200 of the present invention counts the current frame block boundary information ⁇ Lm ⁇ f obtained by the above detection, and is non-zero, and counts the counting result to occupy the entire frame image.
- the output block suppression filter with different intensities enables iM ⁇ _gfe niV for use in the next frame.
- TH—BLK—RATIO 1 and TH—BLK—RATI02 are the set empirical scale thresholds.
- deblk_glen N 2
- the block effect in the video image is more serious.
- ifeWfc ⁇ tov 1
- an adaptive averaging filter is used to suppress the ringing noise and the block effect, and the luminance filtering result is as shown in the formula (17).
- FILTER-TH4 block-effect suppression flat-area filter type, ⁇ 2 is the threshold adjustment coefficient, which is set to 1/8 and 3/32 in this embodiment respectively;
- FILTER-TH1, FILTER-TH2, FILTER_TH3 and FILTER_TH4 The values are 6, 15, 8, and 4.
- the adaptive filter 208 of this embodiment outputs five types of filtering results according to different thresholds / 3 ⁇ 4 ⁇ _ ⁇ / ⁇ , respectively, which are strong filtering results y sl Ji for suppressing ringing noise, and weak filtering results y wMr (i , j) and the strong filtering result y s , Ji, j) of the suppression block effect, the weak filtering result y wk Ji, j) and the flat region complementary filtering result y b (i, j).
- the filtering process of this embodiment takes a 5x7 filtering window.
- the filter selector 209 in the embodiment 200 of the present invention retains the single-pixel weak lines of the edges, textures, and flat regions according to the above obtained n'ng-mfl/ ⁇ ', and Wlmfl/ ⁇ ' information. Then, according to the area where the point to be processed and the noise intensity and the suppression block effect filtering from the previous frame, deblk eriN-,, JAy(i,j), 1
- the embodiment 200 of the present invention weights the original luminance value of the point to be processed and the filtering result before the final output result.
- the size of the weighting coefficient is adaptively obtained according to the degree of difference between the pixels around the point to be processed and the degree of difference, so as to better protect the original image. These are all done in the output fuser 210.
- + + ⁇ represents the difference in brightness between the other points in the 5 x 5 window centered on the (, j') pixel and the center point
- the threshold BLEND_TH is set to 3.
- the embodiment 200 of the present invention achieves the purpose of effectively suppressing ringing noise and blockiness while well protecting important original information such as edges and textures.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
一种自适应补偿视频压缩失真的系统及方法,该方法首先通过对图像进行边缘纹理检测和块边界检测,将待处理点所处区域进行分类以确定其是否处于振铃噪声易发区或者存在块效应的块边界附近。其次,根据待处理点的所属区域与失真强度,自适应地采用不同的滤波策略进行压缩失真补偿,以改善低码率传输的视频在显示端的图像效果,使其满足在高清、以及超高清分辨率显示器上高质量实时播放的需求。
Description
一种自适应补偿视频压缩失真的系统及方法
技术领域
本发明属于数字视频图像处理与显示技术领域, 具体涉及一种基于图像特征检测、 可保护原始图像细节的 自适应视频压缩失真补偿系统和方法。
背景技术
随着互联网电视与智能电视的迅速发展, 数字电视的视频内容来源日益丰富。 其中, 网络视频已成为通过 电视观看的主要视频内容之一。 由于受带宽和媒体存储等因素的限制, 网络视频一般采用压缩和解压缩技术来 去除冗余信息以达到低码率传输的目的。 其所采用的压缩标准一般为基于块的离散余弦变换 (Block-based Discrete Cosine Transform, BDCT) 的视频编解码标准, 如 MPEG-4 Visual、 H.264/AVC和 AVS等。
然而, 由于网络视频在传输过程中受传输方式和码率控制等因素的影响, 原始视频图像的内容会受到不同 程度的损失。 DCT正反变换本身对视频图像是无损的, 而编解码过程中的量化和反量化才是产生压缩失真的主 要根源。 视频压缩失真主要包括振铃噪声和块效应等。 在图像的边缘附近, 对图像高频信息的粗糙量化会引起 振铃噪声; 在基于块的编解码模式中, 由于块编解码时不考虑临近块间的相关性, 块与块间的量化差异导致了 块与块之间的不连续性, 从而产生块效应。 如果这些低质量的视频直接在大屏幕平板电视上播放, 将严重影响 用户的视觉体验。
在现有振铃噪声抑制的技术中,公告号为 US7894685B2的美国专利提出了一种减少振铃噪声的方法和装置。 该方法根据像素亮度的平均绝对差 (Mean Absolute Deviation, MAD)及梯度和等信息对像素点进行分类, 并依 此通过在 8 x 8编解码块内统计在平坦区域和强弱边缘上的像素点数, 寻找满足条件的边缘块, 从而对块内非边 缘的平坦点进行 Sigma滤波来减少振铃噪声。 该专利需要通过编解码的量化参数 (Quantization Parameter, QP) 等信息来控制滤波强度, 且其基于 8 x 8编解码块的处理方式并不能很好地兼容多种常用国际视频编解码标准。 因此当 QP等编解码信息不可知或者编解码采用可变块大小时, 该方法的实现效果就会受到限制。现有的其他振 铃噪声抑制技术中, 或者是在有效地减少振铃噪声的同时模糊了图像细节, 或者是很好地保护了细节信息却使 减少振铃噪声的效果一般, 难以在两者之间做很好的平衡。
现有块效应的检测方法主要是在已知块边界位置的情况下进行块边界强度检测。 由于网络视频源中原始分 辨率与编解码标准的多样性, 到达显示端的视频有可能已经过处理, 如简单的缩放或者上下左右的偏移。 在这 种情况下, 采用已知块位置检测块强度的结果必然不准确。
综上所述, 提出一种鲁棒性更高, 且在有效减少振铃噪声和块效应的同时又能保护边缘和纹理等重要原始 信息的方法是很有必要的。
发明内容
本发明的目的在于提出一种自适应补偿视频压缩失真的系统及方法, 以克服现有技术的缺点; 本发明在有 效补偿压缩失真的同时, 能够更好地保护边缘和细节信息, 从而改善网络视频图像效果, 使其满足在高清、 甚 至超高清显示器上的播放需求。 为提高鲁棒性, 本发明不受限于视频编解码信息和编解码标准, 也不受视频源 图像偏移或者小幅度缩放的限制。
为了实现上述目的, 本发明采用如下技术方案:
本发明首先对输入视频图像进行特征检测,将图像像素点分类,定位振铃噪声易发区域和块效应滤波区域; 其次, 对区域内满足条件的不同种类的像素点进行自适应滤波以补偿压缩失真, 而对处在边缘和纹理上的像素
不滤波, 以保留重要的原始信息。
本发明提出的一种自适应补偿视频压缩失真的系统, 包括边缘检测器、平坦 /纹理检测器、 振铃噪声区域定 位器、 线检测器、 块边界检测器、 块效应滤波区域定位器、 抑制块效应使能判决器、 自适应均值滤波器、 滤波 选择器和输出融合器。
边缘检测器、 平坦 /纹理检测器、 线检测器、 块边界检测器、 自适应均值滤波器、 滤波选择器和输出融合器 的输入端连接视频图像输入端口;边缘检测器的输出端和平坦 /纹理检测器的输出端均连接振铃噪声区域定位器 的输入端; 线检测器的输出端连接块效应滤波区域定位器的输入端; 块边界检测器的输出端连接块效应滤波区 域定位器的输出端和抑制块效应使能判决器的输入端; 振铃噪声区域定位器的输出端、 块效应滤波区域定位器 的输出端和自适应均值滤波器的输出端连接滤波选择器的输入端; 滤波选择器的输出端连接输出融合器的输入 端。
本发明进一步的改进在于: 边缘检测器, 用于获得输入视频图像的边缘及其强度信息; 平坦 /纹理检测器, 用于获得输入视频图像的平坦 /纹理信息; 线检测器, 用于辅助检测并保留平坦区的单像素弱线条; 块边界检测 器, 用于检测输入视频图像存在块效应的块边界位置及其强度信息; 振铃噪声区域定位器, 用于根据边缘信息、 平坦 /纹理信息, 定位振铃噪声易发区并标记其滤波的强度; 块效应滤波区域定位器, 用于根据边缘信息、 平坦 /纹理信息、 单像素线条信息和块边界信息, 定位块效应滤波区域并标记其滤波的强度; 抑制块效应滤波使能判 决器, 用于统计当前帧中检测到的块边界占整帧图像的比例, 当块效应超过阈值时, 打开抑制块效应滤波强度 使能, 以供后一帧使用; 自适应均值滤波器, 用于产生不同强度的滤波结果; 滤波选择器, 用于根据输入视频 图像、 振铃噪声区域定位器、 块效应滤波区域定位器和自适应均值滤波器的结果及前一帧得出的抑制块效应滤 波使能, 选择对应的滤波结果; 输出融合器, 最终输出输入视频图像的待处理点原始值和滤波结果的加权和。
本发明提出的一种自适应补偿视频压缩失真的方法, 包括以下步骤:
边缘检测, 检测出输入视频图像的边缘信息, 并对其进行腐蚀膨胀, 获得边缘及其强度信息; 平坦 /纹理检 测, 获得输入视频图像的平坦 /纹理信息; 线检测, 检测输入视频图像的单像素线条; 块边界检测, 检测输入视 频图像存在块效应的块边界位置及强度信息; 在排除掉边缘和纹理信息后, 根据边缘和平坦 /纹理特征信息, 定 位振铃噪声易发区并标记其需要的滤波强度; 在排除掉边缘、 纹理及平坦区的单像素弱线条上的像素点后, 根 据检测到的块边界信息定位块效应滤波区域并标记其需要的滤波强度;根据块边界检测器检测到的块边界结果, 统计当前帧中块边界占整帧图像的比例, 当块效应超过阈值时, 打开抑制块效应滤波强度使能 A*tt^fe , 以 供后一帧使用; 根据上述特征检测的结果及前一帧得出的抑制块效应滤波使能, 选择对应的自适应滤波系数输 出滤波结果; 最终结果输出为待处理点原始值和滤波结果的加权和。 其中, 加权系数的大小由待处理点周边像 素与其差异程度决定。
与已有技术相比, 本发明的技术优势与效果体现在:
1. 本发明可用于视频解码器端, 也可以与视频编解码器相对独立, 用于视频显示处理端。 本发明与现有 多种视频编解码标准兼容, 且不需要已知 QP等编解码信息, 也不受限于编解码块大小的选择;
2. 本发明在有效补偿压缩失真的同时, 能很好地保护边缘和纹理等原始信息;
3. 本发明的块边界信息检测不需要预知块边界位置。当视频图像经过了偏移或者小幅度缩放等预处理时, 本发明的块边界信息检测结果会与实际画面的块边界相对应, 而不会出现误检测;
4. 本发明基于空域信息处理, 复杂度低, 易于硬件实现, 以满足实时性要求。
附图说明
图 1为本发明所述压缩失真补偿方法用于视频显示端处理的一个具体实施例的框图;
图 2为本发明所述压缩失真补偿方法和系统的具体实施框图;
图 3为 Sobel边缘检测四方向梯度算子 A、 Ah , A,和 的示意图;
图 4为用于线检测、 边缘检测和平坦 /纹理检测的 3 x 3像素亮度矩阵 X , (2, 2)为待处理像素点的位置; 图 5为本发明所述实施例中振铃噪声区域定位的一种实施方法示意图;
图 6为单像素线条的一种检测方法示意图, 主要针对垂直和水平方向上的单像素线条的检测; 图 7 ( a) 和图 7 ( b ) 为本发明所述实施例中块边界检测的一种方法示意图, 其中图 7(a)示出了假设的垂直 块边界附近相连六个像素点, 、 P2、 P3、 Q3、 和 的亮度关系; 图 7(b)示出了块效应检测过程中需要额 外满足的条件, 当满足四种情形之一后才能确定存在块效应的块边界。
图 8为本发明所述实施例中块效应滤波区域定位时所采用的 4 x 4的窗, 其中(3, 3)对应待处理点的位置。 具体实施方式
本发明既可以和视频解码器结合在一起, 也可以独立作为视频显示处理的一部分, 以下将结合附图和实施 例对本发明作进一步的详细说明。
图 1所示为本发明所述压缩失真补偿方法被用于视频显示处理的压缩失真补偿系统的一个具体实施例的框 图。 原始视频源 100经过视频编码 101压缩后通过通信信道 102传输到用户接收端的视频解码 103处。 解码后的有 损视频作为视频显示处理 104的输入,经过抑制振铃噪声 105和抑制块效应 106的压缩失真补偿及其他视频显示处 理后, 送给视频输出 107以供显示。
图 2中的 200是图 1中压缩失真补偿系统的具体实施框图。本发明提出的一种自适应补偿视频压缩失真的系统 主要包括边缘检测器 201、 平坦 /纹理检测器 202、 振铃噪声区域定位器 203、 线检测器 204、 块边界检测器 205、 块效应滤波区域定位器 206、 抑制块效应使能判决器 207、 自适应均值滤波器 208、 滤波选择器 209和输出融合器
210。
输入视频信号进入边缘检测器 201、 平坦 /纹理检测器 202、 线检测器 204、 块边界检测器 205、 自适应均值滤 波器 208、 滤波选择器 209和输出融合器 210的输入端; 边缘检测器 201的输出端和平坦 /纹理检测器 202的输出端 均连接振铃噪声区域定位器 203 ;线检测器 204的输出端连接块效应滤波区域定位器 206的输入端;块边界检测器 205的输出端连接块效应滤波区域定位器 206的输入端和抑制块效应使能判决器 207的输入端;振铃噪声区域定位 器 203的输出端、 块效应滤波区域定位器 206的输出端和自适应均值滤波器 208的输出端连接滤波选择器 209的输 入端; 滤波选择器 209的输出端连接输出融合器 210的输入端。
边缘检测器 201、平坦 /纹理检测器 202、线检测器 204和块边界检测器 205为具体实施例自适应补偿视频压缩 失真的系统 200的四个主要的特征检测器。 其中, 边缘检测器 201检测出输入视频图像的边缘信息, 并对其进行 腐蚀膨胀, 以获得相对较准确的边缘及其强度信息; 平坦 /纹理检测器 202得到输入视频图像的平坦 /纹理信息, 以便保留纹理信息及协助定位失真易发区域;线检测器 204,检测输入视频图像的单像素线条以辅助保留平坦区 的单像素弱线条,避免在进行块效应抑制时被误滤波而损失视频图像的层次与细节;块边界检测器 205检测输入 视频图像存在块效应的块边界位置及强度信息。 通过对这四个特征检测器的检测结果进行分析, 本发明可以很 好地保护原始图像中的边缘、 纹理及平坦区的单像素弱线条等重要特征信息, 以防止对有损视频图像造成二次 损坏, 并能为定位噪声区域及决定滤波强度提供依据。
振铃噪声区域定位器 203在排除掉边缘和纹理等重要信息后,根据边缘和平坦特征信息,定位振铃噪声易发 区并标记其需要的滤波强度; 块效应滤波区域定位器 206, 在排除掉边缘、纹理及平坦区的单像素弱线条上的像 素点后, 根据检测到的块边界信息定位块效应滤波区域并标记其需要的滤波强度; 抑制块效应使能判决器 207 根据块边界检测器 205检测到的块边界结果, 统计当前帧中块边界占整帧图像的比例, 当块效应较严重时, 打开 抑制块效应滤波强度使能 A*tt^fe¾, 以供后一帧使用。
自适应滤波器 208产生不同强度的自适应滤波结果以供选择; 滤波选择器 209根据上述特征检测的结果及前 一帧得出的抑制块效应滤波使能 ifeWfc _^lenN_, , 选择对应的自适应滤波结果; 输出融合器 210实现待处理点原始 值和滤波结果的加权和, 而加权系数的大小是由待处理点周边像素与其差异程度来决定的, 以便更好地保护原 始图像。
图 3所示为本发明实施例 200中边缘检测器 201采用的 Sobel边缘检测的四个方向梯度算子 , Ah , 和 。 结合图 4的 3 x 3像素亮度矩阵 X , 计算出四个方向上的梯度值 Gv Gk、 和 G,。 然后取梯度绝对值的最大值
Gmax , 分别与阈值《?S£L_/i/G/i_r/i (270 ) 禾 B «?S£L_LOW_r/i (65 ) 比较, 将图像像素点分类得到整体边 缘信息和强边缘信息, 如公式 (1 )和 (2 )所示。
Graax = max(I GJ, I GJ, \ Gr \, \ G, \) ( 1 ) edge_tmp(i, j) = (G SOBEL_LOW_TH) ?1 : 0 Q ) stedge_tmp(i, j) = (G SOBEL_HIGH_TH ) ? 1 : 0
式中, edge_tmp(i, j)和 stedge_tmp(i, j)分别为图像 (i, j)位置像素点的整体边缘信息和强边缘信息。
由于受噪声等因素的干扰, 上述边缘检测后的结果在一定程度上并不准确。因此, 边缘检测器 201还包括了 对上述得到的 Sobel边缘检测结果的腐蚀和膨胀, 以得到相对较准确的边缘信息。具体的腐蚀和膨胀过程如公式 ( 3 )和 (4)所示。 最终边缘检测器 201输出的整体边缘信息如公式 (5 ) 所示。
edge_corrosion( i, j) = edge_tmp( i, j) & &(^ ^ edge_tmp( i + s, j + t) > 3) (3 ) edge_expansion( i, j) = [ledge _tmp(i, j)] & &
{ [edge_tmp( i - 1, j - 1) & & edge_tmp( i + 1, j + 1)] II
[edge_tmp( i, j - 1) & & edge_tmp( i, j + 1J II (4)
[edge_tmp( i + 1, j - 1) & & edge_tmp( i - 1, j + 1 )] II
[edge_tmp( i - 1, j) & & edge_tmp( i + 1, j)] }
edge_map( i, j) = edge_corriosion( i, j) II edge_expansion( i, j) (5 ) 式中, edge—corrosion(i, j)为图像 (i, j)位置像素点腐蚀后的整体边缘信息, edge—expa ion(i, j)为图像 (i, j) 位置像素点膨胀后的整体边缘信息, ^_ (, 为边缘检测器 201输出的图像 ( )位置像素点较准确的整体 边缘信息。
同样, 对强边缘信息进行相同的膨胀和腐蚀过程。 边缘检测器 201最终输出的图像 (, 位置像素点的强边 缘信息为 stedge_map( i, j)
本发明所述实施例的平坦 /纹理检测器 202, 采用对待处理点周围像素亮度值进行数理统计的方法实现。 该 方法主要对 3 x 3像素亮度矩阵 X计算亮度平均值/和亮度平均绝对偏差 MAD, 来分析待处理点所处像素矩阵
中的亮度变化情况, 如公式 (6 ) 和 (7 ) 所示。 y i=i 7=1
将统计的亮度变化值与设定阈值 TEXTURE_HIGH_TH ( 16 ) 、 2 · TEXTURE—LOW—TH 和 TEXTURE—LOW—TH (2 ) 比较, 当亮度平均绝对差 M4D较大时, 说明待处理点处于纹理区域; 而当亮度平均 绝对差 MAD较小时, 说明待处理点处于平坦区域。
3, if MAD ≥ TEXTURE_HIGH_TH
2, else if MAD > 2 · TEXTURE—LOW _TH
texture— map( i, j): ( 8 )
1, else if MAD > TEXTURE—LOW—TH
o, others
式中, texto^_m^(, 表示图像 (, )位置像素点的纹理程度, 其值越小说明待处理点所处位置越平坦。 图 5所示为本发明所述实施例 200中振铃噪声区域定位器 203的一种实施方法。 该方法在 7 x l l的窗内对上述 得到的边缘信息和平坦 /纹理信息进行综合分析, 从而定位待处理点是否处于振铃噪声区域并判断其严重程度, 如公式 (9 )所示。
[texture _map( i, j) == 2]
s, j + 1) > 3 j + t) >
式中, n'ng—mfl/^, 表示了图像中( )位置像素点的振铃噪声情况: 当 nVig—m^f, 为 3时, 说明待处理 点处在边缘上或者纹理区域, 需要保留之, 故不滤波; 当 n'ng—m^f, 为 2时, 说明待处理点在强边缘附近, 由 于强边缘附近的振铃噪声比较严重, 所以需要较强的滤波方式抑制振铃噪声; 当 n'ng_m^(, 为 1时, 说明待处 理点在弱边缘附近, 需要相对较弱的滤波方式抑制振铃噪声; 当 n'ng—m^f, 为 0时, 说明待处理点不是振铃噪 声点, 不需要进行振铃噪声的抑制。
图 6所示为本发明所述实施例 200中线检测器 204检测单像素线条的一种实施方法。以垂直方向的单像素线条 为例, 当满足图 6(a)和图 6(b)中所示条件, 即连续三行像素点 Ai、 A2和 A3同时分别比 D^PE^ D2和 E2及 D3和 E3 都小或者都大 L/W£_77i , 且 Ai、 八2和八3中最大值和最小值的差值小于 /7\¾_7^2时, 当前位置的像素点处在 垂直单像素线条上, 被标记为 1。 同样, 当满足图 6(c)和图 6(d)中所示条件, 即连续三列 A4、 A5 和八6同时分别比 B^P 、 82和<¾及 和<¾都小或者都大 L/W£_7W , 且 A4、 Α^ΡΑ6中最大值和最小值的差值小 于 L/A¾_rffi时, 当前位置的像素点处在水平单像素线条上, W e—m (z', )被标记为 1。 本实施例中阈值
LINE—TH1和 LINE—TH2均被设为 2。 最终线检测器 204的输出 line—map (i, j)由公式 ( 10 ) 所得。
line_map( i, j) = vline_map( i, j) II hline_map( i, j) ( 10 )
图 7所示为本发明所述实施例 200中块边界检测器 205的一种方法。 以垂直块边界为例, 图 7(a)示出了假设的 块边界附近相连六个像素点, P】、 P2, P3、 Q3、 β2和 β,的亮度关系: 在存在块效应的块边界左右两边的 和
2存在一定的亮度跳变, 而块边界左边或者右边的相连像素间的亮度变化较小。根据块边界的这一特性, 本发 明实施例通过观察相连像素点的梯度变化, 来判断当前像素点是否在块边界上, 以及通过块边界两边像素 和 2间跳变的大小, 来判断块边界的强弱。 当 P2, P3、 Q3、 和¾同时满足公式 (11) 中的三个条件时, 像素点 P3和 Q3之间可能存在垂直块边界。
条件 1: BLK—MID—TH <D3 < BLK—HIGH—TH;
条件 2: max(D, , D2, D4, D5)< BLK_LOW_TH; (11) 条件 3: D3 > max(D, , D2, D4, D5).
式中, D,、 D2、 Z¾、 和/ ¾分别表示 1 -P2 \, \P2 -P3 \, \P3-Q3 \, \Q3 -Q2 \^\Q2 -Q, \ BLK—LOW—TH (2)、 BLK—MID—TH (1) 和 BLK_HIGH_TH (15) 为设定的经验阈值。
在上述基础上, 本发明实施例采用图 7(b)中的四种情形, 来决定 3和¾之间是否确实存在块效应。 图 7(b) 中第 i行为当前行, 虚线为假设的垂直块边界位置, 灰色区域为满足条件的连续四行。在 7x6窗中, 根据垂直块 边界在垂直方向上的连续性, 当连续至少四行满足公式(11)中的三个条件, 且满足连续至少四行 Ρ3-β3同号, 才表示待处理点处在存在块效应的垂直块边界上。 在检测到存在块效应的块边界位置信息后, 根据公式 (12) 判断块边界的强弱, 以便控制后续滤波的强弱。 垂直方向上块边界的检测结果 v^i_m (, 如公式(12)所示, 其中 对应图像中 (i, j)的位置。 vbd_map(i, j) = (12)
水平块边界的检测方式类似, 只是取的是 6x7窗的候选像素矩阵。 采用类似的检测方法, 最终得到水平块 边界的检测结果 hbd_map(i, j)。
结合垂直和水平块边界信息, 最终得出整体的块边界信息 bd_map(i, j'J及强块边界信息 Stbd_maP(i, j) , 作为 块边界检测器 205的输出。
, / . . i1' if [vbd_map( i, j) == 2] 11 [hbd_map( i, j) ==2]
stbd_map( i, j) = {13)
[0, others
fl, if [vbd_map( i, j)≠ 0] 11 [hbd_map( i, j)≠ 0]
bd_map( i, j) = {14)
[0, others 本发明所述实施例 200中的块效应滤波区域定位器 206, 在块边界检测器 205得到的块边界信息 bd_map(i, j) 的基础上, 定位块边界上及附近需要滤波的区域。 由于块边界检测过程中标记的是块边界左边或者上边的像素 点, 所以块效应滤波区域定位器 206采用第三行第三列为待处理点的 4 4窗来定位待处理点所处块效应滤波区 域并定性该块效应的严重程度, 如图 8所示。 定位过程如公式 (15)所示。
3. if stbd_map( i + s, j + t)>\ blk_map( i, j) = j 2, else if ^ ^ bd_map( i + s, j + t)≥\ (15)
1, else if [texture _map(i, j)——0]Sc8c [-line_map(i, j)]
0, others
本发明所述实施例 200中的抑制块效应滤波使能判决器 207, 对上述检测得到的当前帧块边界信息 ^Lm^f, 非零的情况进行计数, 并统计该计数结果占整帧图像像素点数的比例, 用 rio表示。 根据块效应 的严重程度, 输出不同强度的抑制块效应滤波使能 iM^_gfeniV, 以供下一帧使用。
if ratio > TH—BLK—RATI02
deblk _glenN = else if ratio > TH—BLK—RATIOl ( 16)
others 式中, TH—BLK— RATIO 1 和 TH—BLK—RATI02 (23/512)为设定的经验比例阈值。 当 deblk_glenN为 2时, 说明视频图像中的块效应情况较严重; 当 ifeWfc^tov为 1时, 说明视频图像中的块效应较明显, 需要进 行块效应抑制处理; 、 deblk lenNMm, 说明视频图像中不存在块效应或者块效应不明显, 不需要进行块效 应的抑制处理。
在本发明所述实施例 200的自适应均值滤波器 208中, 一种自适应均值滤波器被用来抑制振铃噪声和块效 应, 亮度滤波结果如公式 (17)所示。
∑ ∑ o)(i + s,j + t)-y(i + s,j + t)
y'd )-- (17)
∑ ∑ o)(i + s,j + t)
[1, if I y(i + s, j + t)- y{i, j) k filter_th
ω(ί + s, j + t) - (18)
10, others 式中, , 为当前待处理像素点的亮度; 为亮度滤波结果, 滤波时所用的是以) ^, 为中心像素 点的 MxW的窗; ; y( + u' + i)为 MxW窗中 ( + ^· + ίΜ立置的像素亮度值; + & + 0为像素; y( + + ij对 应的权重; /¾^_ί/ί为自适应滤波阈值, 由公式 (19) 得到。
χ · y(i, j), 振铃噪声抑制强滤波 rmn[FILTER_THl, a2 · y(i, j)], 振铃噪声抑制弱滤波 filter h = FILTER—TH2, 块效应抑制强滤波 ( 19 )
FILTER— TH3, 块效应抑制弱滤波
FILTER— TH4, 块效应抑制平坦区滤波 式中, α^Ρα2为阈值调节系数, 本实施例中分别设为 1/8和 3/32; FILTER—TH1、 FILTER—TH2、 FILTER_TH3和 FILTER_TH4的取值为 6、 15、 8、 4。
本实施例的自适应滤波器 208, 根据不同的阈值/ ¾^_ί/ί, 将输出五类滤波结果, 分别为抑制振铃噪声的强 滤波结果 yslJi, 和弱滤波结果 ywMr(i, j)以及抑制块效应的强滤波结果 ys,Ji, j)、弱滤波结果 ywkJi, j)和平坦区 域补充滤波结果 y b(i, j)。 本实施例的滤波过程取的是 5x7的滤波窗。
本发明所述实施例 200中的滤波选择器 209,根据上述所得 n'ng—mfl/^', 和 Wlmfl/^', 信息, 保留边缘、纹 理和平坦区的单像素弱线条。 然后再根据待处理点所在的区域和噪声强度以及上一帧得出的抑制块效应滤波使 deblk eriN—,, JAy(i,j)、 1
ys,Ji12 1,
,401j)、 ywk i,j>、 ys,Ji, j)、 ) 和) ^', 中选择合适的结果作为最终 的滤波结果) V_ ^, 从滤波选择器 209输出。 具体选择过程如公式 (20) 所示。
(2Q) ] } II
2}
y , , ot ers 为了更好地防止过度滤波,本发明所述的实施例 200在最终输出结果前,将待处理点原始亮度值和滤波结果 进行加权和。加权系数的大小是根据待处理点周边像素与其差异程度来自适应取得, 以便更好地保护原始图像。 这些都是在输出融合器 210中完成的。
y0Ji, = · yd, J) + α - ) · yfJi, J) (21 ) 式中, ^, 为最终的亮度输出, 为融合权重系数。 的值由公式 (22)和 (23)求得。
ω'(ί + s,j + 1) - (23)
o, others
式中, + + ί)表示了以(, j')像素为中心的 5 x 5窗内其他点与中心点间的亮度差异情况, 阈值 BLEND— TH设为 3。
综上所述,本发明所述的实施例 200能够达到有效抑制振铃噪声和块效应的同时很好地保护边缘和纹理等重 要原始信息的目的。
Claims
权 利 要 求 书
1、 一种自适应补偿视频压缩失真的系统, 其特征在于, 包括边缘检测器(201 )、 平坦 /纹理检测器(202)、 振铃噪声区域定位器 (203 )、 线检测器 (204)、 块边界检测器 (205 )、 块效应滤波区域定位器 (206)、 抑制块 效应使能判决器 (207)、 自适应均值滤波器 (208)、 滤波选择器 (209) 和输出融合器 (210);
边缘检测器 (201 )、 平坦 /纹理检测器(202)、 线检测器 (204)、 块边界检测器(205 )、 自适应均值滤波器 (208)、 滤波选择器(209)和输出融合器(210) 的输入端连接视频图像输入端口; 边缘检测器(201 ) 的输出 端和平坦 /纹理检测器 (202) 的输出端均连接振铃噪声区域定位器 (203 ) 的输入端; 线检测器 (204) 的输出 端连接块效应滤波区域定位器(206)的输入端;块边界检测器(205 )的输出端连接块效应滤波区域定位器(206) 的输入端和抑制块效应使能判决器 (207 ) 的输入端; 振铃噪声区域定位器 (203 ) 的输出端、 块效应滤波区域 定位器(206)的输出端和自适应均值滤波器(208 )的输出端连接滤波选择器(209)的输入端;滤波选择器(209) 的输出端连接输出融合器 (210) 的输入端。
2、 根据权利要求 1所述的一种自适应补偿视频压缩失真的系统, 其特征在于:
边缘检测器 (201 ), 用于获得输入视频图像的边缘及其强度信息;
平坦 /纹理检测器 (202), 用于获得输入视频图像的平坦 /纹理信息;
线检测器 (204), 用于辅助检测并保留平坦区的单像素弱线条;
块边界检测器 (205 ), 用于检测输入视频图像存在块效应的块边界位置及其强度信息;
振铃噪声区域定位器(203 ), 用于根据边缘信息、 平坦 /纹理信息, 定位振铃噪声易发区并标记其滤波的强 度;
块效应滤波区域定位器(206), 用于根据边缘信息、 平坦 /纹理信息、 单像素线条信息和块边界信息, 定位 块效应滤波区域并标记其滤波的强度;
抑制块效应滤波使能判决器 (207), 用于统计当前帧中检测到的块边界占整帧图像的比例, 当块效应超过 阈值时, 打开抑制块效应滤波强度使能, 以供后一帧使用;
自适应均值滤波器 (208 ), 用于产生不同强度的滤波结果;
滤波选择器(209), 用于根据振铃噪声区域定位器 (203 )、 块效应滤波区域定位器(206)的结果及前一帧 得出的抑制块效应滤波使能,从原始输入视频图像和和自适应均值滤波器(208 )的结果中选择对应的滤波结果; 输出融合器 (210), 最终输出输入视频图像的待处理点原始值和滤波结果的加权和。
3、 根据权利要求 1所述的一种自适应补偿视频压缩失真的系统, 其特征在于, 边缘检测器(201 )检测出输 入视频图像的边缘信息, 并对其进行腐蚀膨胀, 获得边缘及其强度信息; 平坦 /纹理检测器 (202)检测输入视 频图像的平坦 /纹理信息; 线检测器(204)检测输入视频图像的单像素线条; 块边界检测器(205 )检测输入视 频图像存在块效应的块边界位置及强度信息; 振铃噪声区域定位器(203 )在排除掉边缘和纹理信息后, 根据边 缘和平坦 /纹理特征信息, 定位振铃噪声易发区并标记其需要的滤波强度; 块效应滤波区域定位器(206), 在排 除掉边缘、 纹理及平坦区的单像素弱线条上的像素点后, 根据检测到的块边界信息定位块效应滤波区域并标记 其需要的滤波强度; 抑制块效应使能判决器 (207 ) 根据块边界检测器 (205 ) 检测到的块边界结果, 统计当前 帧中块边界占整帧图像的比例, 当块效应超过阈值时, 打开抑制块效应滤波强度使能
, 以供后一帧 使用; 自适应滤波器 (208 )产生不同强度的自适应滤波结果以供滤波选择器 (209) 选择; 滤波选择器 (209) 根据振铃噪声区域定位器(203 )、 块效应滤波区域定位器(206)及前一帧得出的抑制块效应滤波使能, 从原始 输入视频图像和自适应均值滤波器 (208 ) 的结果中选择对应的滤波结果; 输出融合器 (210) 实现待处理点原
始值和滤波结果的加权和。
4、 根据权利要求 1所述的一种自适应补偿视频压缩失真的系统, 其特征在于:
边缘检测器 (201)采用 Sobel边缘检测的四个方向梯度算子 , Ah, Λ和 Λ结合 3x3像素亮度矩阵 X , 计算出四个方向上的梯度值 、(¾、 和 然后取梯度绝对值的最大值(3 ,分别与阈值《?S£L_fflG/i_7W 禾 P «?S£L_LOW_77i比较, 将图像像素点分类得到整体边缘信息和强边缘信息, 如公式 (1) 和 (2)所示:
Graax =max(l GJ, IGJ, IGJ, (1) edge_tmp(i, j) = (G > SOBEL_LOW_TH) ?1:0 ( 2 ) stedge_tmp(i, j) = (G > SOBEL_HIGH_TH)l\ 0
式中, edge mp(i, j)和 stedge—tmp(i, j)分别为图像 (i, j)位置像素点的整体边缘信息和强边缘信息; 阈值
SOBEL—HIGH—TH禾卩 SOBEL—LOW—TH分别为 270 65;
边缘检测器 (201) 对上述得到的 Sobel边缘检测结果进行腐蚀和膨胀, 具体的腐蚀和膨胀过程如公式 (3) 和 (4) 所示, 最终边缘检测器 (201) 输出的整体边缘信息如公式 (5) 所示: edge_corrosion( i, j) = edge—tmp( i, j) & &( ^ ^ edge_tmp( i + s, j + t)> 3) (3 ) edge— expansion , j) = [\edge_tmp(i, j)] & &
{ [edge_tmp( i - 1, j - 1) & & edge_tmp( i + 1, j + 1)] II
[edge_tmp( i, j -1) & & edge_tmp( i,j + l)] II (4)
[edge_tmp( i + 1, j - 1) & & edge_tmp( i- 1, j + 1 )] II
[edge_tmp( i - 1, j) & & edge_tmp( i + 1, j)] }
edge_map( i, j) = edge_corriosion( i, j) 11 edge_expansion( i, j) (5 ) 式中, edge_co ion i, j)为图像 (i, j)位置像素点腐蚀后的整体边缘信息, edge_expamiorii, j)为图像 (i, j) 位置像素点膨胀后的整体边缘信息, ^_m^(, 为边缘检测器 201输出的图像 (, ')位置像素点较准确的整体 边缘信息;
边缘检测器(201)对强边缘信息进行相同的膨胀和腐蚀过程, 边缘检测器(201)最终输出的图像 (, 位 置像素点的强边缘信息为 stedge—map(i, j)
平坦 /纹理检测器(202), 采用对待处理点周围像素亮度值进行数理统计的方法实现, 对 3x3像素亮度矩阵
X计算亮度平均值 ^和亮度平均绝对偏差 分析待处理点所处像素矩阵中的亮度变化情况, 如公式 (6) 和 (7) 所示:
将统计的亮度变化值与设定阈值 TEXTURE— HIGH— ΤΗ 2 · TEXTURE— LOW— TH和 TEXTURE—LOW—TH比
较:
3, if MAD > TEXTURE—HIGH—TH
2, else if MAD > 2. TEXTURE _LOW_TH
texture _map( i, jj -- (8)
1, else if MAD > TEXTURE— LOW— TH
条条条
件件件 0, others
式中, texiM _m^(, 表示图像 ( )位置像素点的纹理程度, 其值越小说明待处理点所处位置越平坦; 阈 惶 TEXTURE—HIGH—TH和 TEXTURE—LOW—TH的取值为 16、 2;
振铃噪声区域定位器 (203)在 7x11的窗内对上述得到的边缘信息和平坦 /纹理信息进行综合分析, 从而定 位待处理点是否处于振铃噪声区域并判断其严重程度, 如公式 (9) 所示:
[3, if [edge_map( i, j) == 1] II [texture _map( i, j) == 2]
I 2, else if ^ ^ stedge_map( i + s, j + 1)>3
ring_map( i, j) -- (9)
1, else if ^ ^ edge_map( i + s, j + t)~-
0, others
式中, n'ng—mfl/^', 表示了图像中(, ')位置像素点的振铃噪声情况: 当 n>¾_m (, 为 3时, 说明待处理 点处在边缘上或者纹理区域, 需要保留之, 故不滤波; 当 n'ng—m^f, 为 2时, 说明待处理点在强边缘附近, 由 于强边缘附近的振铃噪声比较严重, 所以需要较强的滤波方式抑制振铃噪声; 当 n'ng_m^(, 为 1时, 说明待处 理点在弱边缘附近, 需要相对较弱的滤波方式抑制振铃噪声; 当 n'ng_m (, 为 0时, 说明待处理点不是振铃噪 声点, 不需要进行振铃噪声的抑制;
线检测器 (204) 检测单像素线条的方法包括: 在垂直方向, 当满足连续三行像素点 Ai、 A2和 A3同时分别 比01和61、02和62及03和63都小或者都大 /^£_7¾? ,且 Ai、八2和八3中最大值和最小值的差值小于 L/W£_7W2时, 当前位置的像素点处在垂直单像素线条上, vtoM^m ( )被标记为 1; 同样, 当满足连续三列 A4、 A5和 A6同时 分别比 B^Pd、 82和<¾及 和<¾都小或者都大 L/W£_7W , 且 A4、 5和 6中最大值和最小值的差值小于 LINE_TH2吋, 当前位置的像素点处在水平单像素线条上, /i¾M?_m^( )被标记为 1; 阈值 L/A¾_7W 和 LINE_TH2均为 2·' 最终线检测器 (204) 的输出 ¾¾?_«^^', 由公式 (10) 所得:
line_map( i, j) = vline—map( i, j) II hline_map( i, j) (10) 块边界检测器 (205)进行块边界检测的方法包括: 对于垂直块边界, 假设的块边界附近相连六个像素点, P,、 P2、 P3、 Q3、 Q2和 Q,的亮度关系同时满足公式 ( 11 ) 中的三个条件时, 像素点 P3和 Q3之间可能存在垂 直块边界:
1: BLK—MID—TH <D3 < BLK—HIGH—TH;
2: max(D, , D2, D4, D5)< BLK_LOW_TH; (11) 3: D3 >max(Z)7, D2, D4, D5). 式中, D D2、 D3、 和 Z¾分别表示 I S I、 \P2 -P3 \ l - l、 1 -¾ 1和1 - BLK LOW TH、 BLK MID TH和 SZJT HIGH TH的取值为 2、 1、 15:
权 利 要 求 书 在 7x6窗中, 根据垂直块边界在垂直方向上的连续性, 当连续至少四行满足公式 (11) 中的三个条件, 且 满足连续至少四行 Ρ3 -β3同号, 表示待处理点处在存在块效应的垂直块边界上; 在检测到存在块效应的块边界 位置信息后, 根据公式 (12) 判断块边界的强弱, 垂直方向上块边界的检测结果 v^Lm^(, 如公式 (12) 所 示, 其中 对应图像中 (i, j)的位置:
-Q3 \>5- BLK—MID—TH
vbd_map(i, j) = -Q31> BLK—MID—TH (12)
选取 6x7窗的候选像素矩阵, 采用和垂直块边界检测相同的方法进行水平块边界的检测, 最终得到水平块 边界的检测结果 hbd_map(i, j);
结合垂直和水平块边界信息, 最终得出整体的块边界信息 bd_map(i, JJ及强块边界信息 Stbd_map(i, j) , 作为 块边界检测器 (205) 的输出:
1, if [vbd_map( i, j) == 2] II [hbd_map( i, j) == 2]
stbd_map(i, j) = (13)
others
if [vbd_map( i, j)≠ 0] II [hbd_map( i, j)≠ 0]
bd_map( i, j) - (14)
others
块效应滤波区域定位器 (206), 在块边界检测器 (205) 得到的块边界信息 ^_ (, 的基础上, 定位块 边界上及附近需要滤波的区域; 块效应滤波区域定位器 (206) 采用第三行第三列为待处理点的 4x4窗来定位 待处理点所处块效应滤波区域并定性该块效应的严重程度, 定位过程如公式 (15)所示:
I 3, if ∑∑ stbd_map( i + s, j + t)>\ blk—map( i, j): 2, else if ^ ^ bd—map( i + s, j + 1)>\ (15)
1, else if [texture _map(i, jj==0]&& \~line_
0, others
抑制块效应滤波使能判决器(207),对上述检测得到的当前帧块边界信息^ Lm^ j)非零的情况进行计数, 并统计该计数结果占整帧图像像素点数的比例, 用 rio表示; 根据块效应的严重程度, 输出不同强度的抑制块 效应滤波使能 iM^ tov, 以供下一帧使用;
2, if ratio > TH_BLK_RATI02
deblk_glenN 1, else if ratio > TH—BLK—RATIOl (16)
0, others 式中, 7W_fiZJ:_?A77a?和 7W_fiZJ:_M7702的取值为 1/64、 23/512; 当 为 2时, 说明视频图像 中的块效应情况较严重; 当 ^ ^«½为1时, 说明视频图像中的块效应较明显, 需要进行块效应抑制处理; 当 deblk lenN为 0时, 说明视频图像中不存在块效应或者块效应不明显, 不需要进行块效应的抑制处理; 自适应均值滤波器 (208) 中亮度滤波结果如公式 (17)所示:
)(i + s + t)-y(i + s + t)
(17)
∑ ∑ o)(i + s,j + t)
1
[l, if I y(i + s, j + t)- y(i, j) \< filter_th
ω(ί + s, j + t) - (18)
10, others 式中, , 为当前待处理像素点的亮度; 为亮度滤波结果, 滤波时所用的是以) ^, 为中心像素 点的 M X W的窗; ; y( + υ· + ί)为 M X W窗中 (7 + υ· + ίΜ立置的像素亮度值; 《G + s, 为像素; y( + s, 对 应的权重; /¾^_ί/ί为自适应滤波阈值, 由公式 (19) 得到:
振铃噪声抑制强滤波
in[FILTER_THl, a (i,j)], 振铃噪声抑制弱滤波
filter _th FILTER— TH2, 块效应抑制强滤波 (19)
FILTER—TH3, 块效应抑制弱滤波
FILTER—TH4, 块效应抑制平坦区滤波
式中, 6^和《2为阈值调节系数, 分别为 1/8和 3/32 ; FILTER— TH1、 FILTER—TH2、 FILTER— TH3和 F/L7¾?_r/«的取值分别为 6、 15、 8、 4;
自适应滤波器 (208), 根据不同的阈值/ ¾^_ί/ί , 输出五类滤波结果给滤波选择器 (209), 分别为抑制振 铃噪声的强滤波结果 }^ , 和弱滤波结果 wkJi, 以及抑制块效应的强滤波结果 stdb(i,j)、 弱滤波结果 M j)和平坦区域补充滤波结果 flal i j);
滤波选择器(209), 根据上述所得 n'ng—m^f, 和 Wlm^f, 信息, 保留边缘、纹理和平坦区的单像素弱 线条; 然后再根据待处理点所在的区域和噪声强度以及上一帧得出的抑制块效应滤波使能
, 从
)、 3 ^', 和) , 中选择合适的结果作为最终的滤波结果) , 从滤波选择器 (209) 输出, 具体选择过程如公式 (20) 所示:
输出融合器(210)将待处理点原始亮度值和滤波选择器(209)滤波结果进行加权和输出;具体如公式(21) 所示:
( '', ί) = i' j) + a— ) · y fUured ( i, j) (21)
式中, y0Ji, j)为最终的亮度输出, 为融合权重系数; 的值由公式 (22)和 (23) 求得: if [ J Jo (i + S,j + t)]>2l else if [ w'(i + s,j + t)]>l6 (22)
12 o 1 others
, ot ers
式中, + + ί)表示了以(, j')像素为中心的 5 x 5窗内其他点与中心点间的亮度差异情况, 阈值 fiL£ )_7W设为 3
5、 根据权利要求 1所述的一种自适应补偿视频压缩失真的系统, 其特征在于, 边缘检测器 (201)、 平坦 / 纹理检测器(202)、 线检测器(204)、 块边界检测器(205)、 自适应均值滤波器(208)、 滤波选择器(209)和 输出融合器 (210) 的输入端连接视频解码器的输出端; 输出融合器 (210) 的输出端连接其他视频显示处理器 的输入端。
6、 一种自适应补偿视频压缩失真的方法, 其特征在于, 包括以下步骤:
边缘检测器 (201) 检测出输入视频图像的边缘信息, 并对其进行腐蚀膨胀, 获得边缘及其强度信息; 平坦 /纹理检测器 (202) 得到输入视频图像的平坦 /纹理信息;
线检测器 (204) 检测输入视频图像的单像素线条;
块边界检测器 (205)检测输入视频图像存在块效应的块边界位置及强度信息;
振铃噪声区域定位器 (203) 在排除掉边缘和纹理信息后, 根据边缘和平坦 /纹理特征信息, 定位振铃噪声 易发区并标记其需要的滤波强度;
块效应滤波区域定位器 (206), 在排除掉边缘、 纹理及平坦区的单像素弱线条上的像素点后, 根据检测到 的块边界信息定位块效应滤波区域并标记其需要的滤波强度;
自适应滤波器 (208)产生不同强度的自适应滤波结果以供滤波选择器 (209) 选择;
滤波选择器 (209) 根据振铃噪声区域定位器 (203)、 块效应滤波区域定位器 (206) 的结果及前一帧得出 的抑制块效应滤波使能, 从原始输入视频图像和自适应均值滤波器 (208) 的结果中选择对应的滤波结果; 输出融合器 (210) 实现待处理点原始值和滤波结果的加权和。
7、 一种自适应补偿视频压缩失真的方法, 其特征在于, 包括以下步骤:
原始视频图像或者经过视频解码器解码的视频图像输入边缘检测器(201)、 平坦 /纹理检测器(202)、 线检 测器 (204)、 块边界检测器 (205)、 自适应均值滤波器 (208)、 滤波选择器 (209)和输出融合器 (210) 的输 入端;
边缘检测器 (201)采用 Sobel边缘检测的四个方向梯度算子 Λ, Ah, Λ和 Λ结合 3x3像素亮度矩阵 X , 计算出四个方向上的梯度值 、(¾、 和 然后取梯度绝对值的最大值(3 ,分别与阈值《?S£L_/i/G/i_7W
和《?S£L_LOW_77i比较, 将图像像素点分类得到整体边缘信息和强边缘信息, 如公式 (1) 和 (2)所示:
Gmax =max(l GJ, IGJ, \Gr \, (1) edge_tmp(i, j) = (Gmm > SOBEL_LOW_TH) ?1: 0
(2) stedge_tmp( i, j) = (G, > SOBEL—HIGH—TH )?1:0
式中, edge_tmp(i, j)和 stedge—tmp(i, j)分别为图像 (i, j)位置像素点的整体边缘信息和强边缘信息; 阈值 SOBEL—HIGH—TH禾卩 SOBEL—LOW—TH分别为 270、 65;
边缘检测器 (201) 对上述得到的 Sobel边缘检测结果进行腐蚀和膨胀, 具体的腐蚀和膨胀过程如公式 (3) 和 (4) 所示, 最终边缘检测器 (201) 输出的整体边缘信息如公式 (5) 所示:
edge_corrosion( i, j) = edge—tmp( i, j) & &( ^ ^ edge_tmp( i + s, j + t)> 3) (3) edge— expansion , j) = [ edge_tmp(i, j)] & &
{ [edge_tmp( j -1) & & edge_tmp( i + j + 1)] II
[edge_tmp( i, j -1) & & edge_tmp( i, j + 1)] II (4)
[edge_tmp( i + j -1) & & edge_tmp( j + 1 )] II
[edge_tmp( i - 1 j) & & edge_tmp( i + 1, j)] }
edge_map( i, j) = edge_corriosion (5) 式中, edge_co ion(i j)为图像 (i, j)位置像素点腐蚀后的整体边缘信息, edge_expamion(i, j)为图像 (i j) 位置像素点膨胀后的整体边缘信息, edge_map(i, j)为边缘检测器 201输出的图像 (,;)位置像素点较准确的整体 边缘信息;
边缘检测器(201)对强边缘信息进行相同的膨胀和腐蚀过程, 边缘检测器(201)最终输出的图像 (, 位 置像素点的强边缘信息为 stedge_map(i, j)
平坦 /纹理检测器(202), 采用对待处理点周围像素亮度值进行数理统计的方法实现, 对 3x3像素亮度矩阵 X计算亮度平均值 和亮度平均绝对偏差 A D , 分析待处理点所处像素矩阵中的亮度变化情况, 如公式 (6) 和 (7) 所示:
将统计的亮度变化值与设定阈值 TEXTURE—HIGH—TH、 2 · TEXTURE—LOW—TH和 TEXTURE—LOW—TH比 较:
3, if MAD ≥ TEXTURE_HIGH_TH
2, else if MAD > 2 · TEXTURE—LOW _TH
texture _map( i, jj -- (8)
1, else if MAD > TEXTURE— LOW— TH
o, others
式中, texiMnm^f, 表示图像 ( )位置像素点的纹理程度, 其值越小说明待处理点所处位置越平坦; 阈 惶 TEXTURE—HIGH—TH和 TEXTURE—LOW—TH的取值为 16、 2;
振铃噪声区域定位器 (203)在 7x11的窗内对上述得到的边缘信息和平坦 /纹理信息进行综合分析, 从而定 位待处理点是否处于振铃噪声区域并判断其严重程度, 如公式 (9) 所示:
条条条
件件件 3, if [edge_map( i, j) == 1] II texture _map( i, j) == 2]
2, else if ^ ^ stedge_map( i + s, j + 1)>3
ring_map( i, j) - (9)
1, else if ^ ^ edge_map( i + s, j + 1)>5
0, others
式中, n'ng—mfl/^', 表示了图像中(, ')位置像素点的振铃噪声情况: 当 n'ng_ma/^, 为 3时, 说明待处理 点处在边缘上或者纹理区域, 需要保留之, 故不滤波; 当 n'ng_m f, 为 2时, 说明待处理点在强边缘附近, 由 于强边缘附近的振铃噪声比较严重, 所以需要较强的滤波方式抑制振铃噪声; 当 n'ng_m^(, 为 1时, 说明待处 理点在弱边缘附近, 需要相对较弱的滤波方式抑制振铃噪声; 当 n>¾_m (, 为 0时, 说明待处理点不是振铃噪 声点, 不需要进行振铃噪声的抑制;
线检测器 (204) 检测单像素线条的方法包括: 在垂直方向, 当满足连续三行像素点 Ai、 A2和 A3同时分别 比01和61、02和62及03和63都小或者都大 /^£_7¾? ,且 Ai、八2和八3中最大值和最小值的差值小于 L/W£_7W2时, 当前位置的像素点处在垂直单像素线条上, v^ ^^ )被标记为 1; 同样, 当满足连续三列 A4、 A5和 A6同时 分别比 B^Pd、 82和<¾及 和<¾都小或者都大 L/W£_7W , 且 A4、 八5和八6中最大值和最小值的差值小于 LINE_TH2吋, 当前位置的像素点处在水平单像素线条上, ne—ma/^ )被标记为 1; 阈值 L/A¾_7W 和 LINE_TH2均为 2; 最终线检测器 (204) 的输出 ¾M?_m^( ')由公式 (10) 所得:
line_map( i, j) = vline_map( i, j) II hline_map( i, j) (10) 块边界检测器 (205)进行块边界检测的方法包括: 对于垂直块边界, 假设的块边界附近相连六个像素点, P,、 P2、 P3、 Q3、 Q2和 Q,的亮度关系同时满足公式 ( 11 ) 中的三个条件时, 像素点 P3和 Q3之间可能存在垂 直块边界:
1: BLK—MID—TH <D3 < BLK—HIGH—TH;
2: max(D, , D2, D4, D5)< BLK_LOW_TH; (11) 3: D3 >max(Z)7, D2, D4, D5). 式中, Dp D2、 D3、 和/¾分别表示1 -尸21、 IP2 -P3 K l _2J、 Ιβ _β2 Ι和 Ιβ2 _β, I ; BLK—LOW—TH、 BLK_MID_TH和 BLK_HIGH_TH的取值为 2、 1、 15;
在 7x6窗中, 根据垂直块边界在垂直方向上的连续性, 当连续至少四行满足公式 (11) 中的三个条件, 且 满足连续至少四行 Ρ3 -β3同号, 表示待处理点处在存在块效应的垂直块边界上; 在检测到存在块效应的块边界 位置信息后, 根据公式 (12) 判断块边界的强弱, 垂直方向上块边界的检测结果 v^Lm , 如公式 (12) 所 示' 其中 对应图像中 , 的位置: p, if \P3-Q3\>5-BLK_M1D_TH
vbd_map(i, j) = \ 1, else if \ P3 - Q3\> BLK—MID—TH (12) 选取 6x7窗的候选像素矩阵, 采) k)和垂直 ^&界检测相同的方法进行水平块边界的检测, 最终得到水平块
边界的检测结果 hbd_map(i, j);
结合垂直和水平块边界信息, 最终得出整体的块边界信息 bd_map(i, j'J及强块边界信息 Stbd_maP(i, j) , 作为 块边界检测器 (205) 的输出:
1, if [vbd_map( i, j) == 2] II [hbd_map( i, j) == 2]
stbd_map(i, j) = (13)
others
if [vbd_map( i, j)≠ 0] II [hbd_map( i, j)≠ 0]
bd_map( i, j) - (14)
lo: others 块效应滤波区域定位器 (206), 在块边界检测器 (205) 得到的块边界信息^ Lm (, 的基础上, 定位块 边界上及附近需要滤波的区域; 块效应滤波区域定位器 (206) 采用第三行第三列为待处理点的 4x4窗来定位 待处理点所处块效应滤波区域并定性该块效应的严重程度, 定位过程如公式 (15)所示:
3. if stbd_map( i + s, j + t)≥\ blk—map(i, j) - 2, else if "1, "1, bd_map( i + s, j + t)>\ (15)
1, else if texture _map( i, jj==0]&& \~line_
0, others
抑制块效应滤波使能判决器(207),对上述检测得到的当前帧块边界信息^ Lm^ j)非零的情况进行计数, 并统计该计数结果占整帧图像像素点数的比例, 用 rio表示; 根据块效应的严重程度, 输出不同强度的抑制块 效应滤波使能 iM^ tov, 以供下一帧使用;
if ratio > TH_BLK_RATI02
deblk_glenN else if ratio > TH—BLK—RATIOl (16)
others 式中, 7W_fiZJ:_?A77a?和 7W_fiZJ:_M7702的取值为 1/64、 23/512; 当 deblk_glenN为2时, 说明视频图像 中的块效应情况较严重; 当 ^ ^«½为1时, 说明视频图像中的块效应较明显, 需要进行块效应抑制处理; 当 deblk_glenN为 0时, 说明视频图像中不存在块效应或者块效应不明显, 不需要进行块效应的抑制处理; 自适应均值滤波器 (208) 中亮度滤波结果如公式 (17)所示:
∑ ∑ o)(i + s,j + t)-y(i + s,j + t)
y'(i )-- (17)
∑ ∑ o)(i + s,j + t)
[1, if I y(i + s, j + t)- y{i, j) k filter_th
ω(ί + s, j + t) - (18)
10, others 式中, , 为当前待处理像素点的亮度; 为亮度滤波结果, 滤波时所用的是以) ^, 为中心像素 点的 M X W的窗; ; y( + υ· + ί)为 M X W窗中 (i + s, j + 1)位置的像素亮度值; + s, + ί)为像素 y(i + s, j + 1)对
应的权重; /¾^_ί/ί为自适应滤波阈值, 由公式 (19) 得到:
振铃噪声抑制强滤波
in[FILTER_THl, a2 -y(i,j)], 振铃噪声抑制弱滤波 filter_th: FILTER— TH2, 块效应抑制强滤波 (19)
FILTER—TH3, 块效应抑制弱滤波
FILTER TH4, 块效应抑制平坦区滤波
式中, α^Ρα2为阈值调节系数, 分别为 1/8和 3/32 ; FILTER—TH1、 FILTER—TH2、 FILTER—TH3和 F/L7¾?_r/«的取值分别为 6、 15、 8、 4;
自适应滤波器 (208), 根据不同的阈值/ ¾^_ί/ί , 输出五类滤波结果给滤波选择器 (209), 分别为抑制振 铃噪声的强滤波结果 }^ , 和弱滤波结果 ywkJi, 以及抑制块效应的强滤波结果 ystdb(i,j)、 弱滤波结果 yM j)和平坦区域补充滤波结果 y Ji j);
滤波选择器(209), 根据上述所得 n'ng—m^f, 和 Wlm^f, 信息, 保留边缘、纹理和平坦区的单像素弱 线条; 然后再根据待处理点所在的区域和噪声强度以及上一帧得出的抑制块效应滤波使能
, 从 y(i, j)、 ystJi,j yJ )、 ys,Ji, j)、 3 ^', 和) , 中选择合适的结果作为最终的滤波结果 ^, 从滤波选择器 (209) 输出, 具体选择过程如公式 (20) 所示:
yd D, if ring _ map(i, j) == 3
else if ring _ map(i, j) == 2
else if ring _ map(i, j) == 1
else if [blk _ map(i, j) == 3] & Sc[deblk_glenN } = =1]
y (20) else if { [bik— map(i, j) == 2] & Sc[deblk_glenN ==i]}ii
{ [texture _ map(i, j) < 1] & Scdeblk_glenN ==2}
('', else if blk _ map(i, j) == 1
.yd f). others 输出融合器(210)将待处理点原始亮度值和滤波选择器(209)滤波结果进行加权和输出;具体如公式(21) 所示: y。Ji, j) = ^- y(i, j) + (1 - ) · yfi ^l)
J_
else if 、(i + s,j-- 16 (22)
4'
o, others if I y(i + s + t)- y(i j) \≤ BLEND— TH
ω'(ί + s, j + : (23)
式中, + + iJ表示了以 ('', j)像素为中心的 窗内其他点与中心点间的亮度差异情况, 阈值 BLEND— TH设为 3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/836,817 US9706209B2 (en) | 2014-03-14 | 2015-08-26 | System and method for adaptively compensating distortion caused by video compression |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410095798.2A CN103888764B (zh) | 2014-03-14 | 2014-03-14 | 一种自适应补偿视频压缩失真的系统及方法 |
| CN201410095798.2 | 2014-03-14 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US14/836,817 Continuation US9706209B2 (en) | 2014-03-14 | 2015-08-26 | System and method for adaptively compensating distortion caused by video compression |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015135241A1 true WO2015135241A1 (zh) | 2015-09-17 |
Family
ID=50957454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2014/076078 Ceased WO2015135241A1 (zh) | 2014-03-14 | 2014-04-24 | 一种自适应补偿视频压缩失真的系统及方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9706209B2 (zh) |
| CN (1) | CN103888764B (zh) |
| WO (1) | WO2015135241A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934768B (zh) * | 2015-12-30 | 2020-07-03 | 展讯通信(天津)有限公司 | 一种图像去噪的方法及装置 |
| CN106162184B (zh) | 2016-07-28 | 2020-01-10 | 华为技术有限公司 | 一种数据块编码方法及装置 |
| US10631012B2 (en) * | 2016-12-02 | 2020-04-21 | Centurylink Intellectual Property Llc | Method and system for implementing detection and visual enhancement of video encoding artifacts |
| DE112018007258T5 (de) * | 2018-04-12 | 2020-12-10 | Mitsubishi Electric Corporation | Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm |
| US11386642B2 (en) | 2020-10-12 | 2022-07-12 | Home Box Office, Inc. | Image difference detection |
| CN115034971B (zh) * | 2021-03-04 | 2025-09-09 | 海信视像科技股份有限公司 | 去除图像振铃噪声的方法及电子设备 |
| CN113114934B (zh) * | 2021-03-31 | 2022-08-05 | 太原理工大学 | 尿红细胞多焦距视频采集方法与系统 |
| CN113689364B (zh) * | 2021-10-27 | 2022-04-08 | 北京美摄网络科技有限公司 | 一种图像处理方法和装置 |
| CN114697633B (zh) * | 2022-03-29 | 2023-09-19 | 联想(北京)有限公司 | 视频传输方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0577350A2 (en) * | 1992-07-02 | 1994-01-05 | Matsushita Electric Industrial Co., Ltd. | A video signal coding and decoding apparatus with an adaptive edge enhancement filter |
| CN1170318A (zh) * | 1996-07-06 | 1998-01-14 | 三星电子株式会社 | 减少运动补偿图象的成组效应和振铃噪声的环形滤波方法 |
| CN1189652A (zh) * | 1997-01-29 | 1998-08-05 | 三星电子株式会社 | 环路滤波器和环路滤波方法 |
| CN1436006A (zh) * | 2002-01-31 | 2003-08-13 | 三星电子株式会社 | 消除成块假象和/或振铃噪声的滤波方法及其设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200910971A (en) * | 2007-08-22 | 2009-03-01 | Univ Nat Cheng Kung | Direction detection algorithms for H.264 intra prediction |
| US8098951B2 (en) | 2008-08-15 | 2012-01-17 | Sharp Laboratories Of America, Inc. | Image sharpening technique |
| KR101302660B1 (ko) * | 2009-09-14 | 2013-09-03 | 에스케이텔레콤 주식회사 | 고해상도 동영상의 부호화/복호화 방법 및 장치 |
| US20110123121A1 (en) * | 2009-10-13 | 2011-05-26 | Sony Corporation | Method and system for reducing blocking artefacts in compressed images and video signals |
| KR101663764B1 (ko) * | 2010-08-26 | 2016-10-07 | 에스케이 텔레콤주식회사 | 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 |
| WO2012037963A1 (en) * | 2010-09-20 | 2012-03-29 | Canon Kabushiki Kaisha | A method and device for encoding and decoding a digital image signal |
| CN103220529B (zh) * | 2013-04-15 | 2016-02-24 | 北京大学 | 一种视频编解码环路滤波的实现方法 |
-
2014
- 2014-03-14 CN CN201410095798.2A patent/CN103888764B/zh active Active
- 2014-04-24 WO PCT/CN2014/076078 patent/WO2015135241A1/zh not_active Ceased
-
2015
- 2015-08-26 US US14/836,817 patent/US9706209B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0577350A2 (en) * | 1992-07-02 | 1994-01-05 | Matsushita Electric Industrial Co., Ltd. | A video signal coding and decoding apparatus with an adaptive edge enhancement filter |
| CN1170318A (zh) * | 1996-07-06 | 1998-01-14 | 三星电子株式会社 | 减少运动补偿图象的成组效应和振铃噪声的环形滤波方法 |
| CN1189652A (zh) * | 1997-01-29 | 1998-08-05 | 三星电子株式会社 | 环路滤波器和环路滤波方法 |
| CN1436006A (zh) * | 2002-01-31 | 2003-08-13 | 三星电子株式会社 | 消除成块假象和/或振铃噪声的滤波方法及其设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160044315A1 (en) | 2016-02-11 |
| CN103888764A (zh) | 2014-06-25 |
| CN103888764B (zh) | 2017-02-15 |
| US9706209B2 (en) | 2017-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2015135241A1 (zh) | 一种自适应补偿视频压缩失真的系统及方法 | |
| US8805114B2 (en) | Content adaptive edge and detail enhancement for image and video processing | |
| US8558875B2 (en) | Video signal processing device | |
| EP2314073B1 (en) | Selection of watermarks for the watermarking of compressed video | |
| US8958656B2 (en) | Contour correction device | |
| JP2011250472A (ja) | ブロック歪み除去方法およびブロック歪み除去装置 | |
| US8503814B2 (en) | Method and apparatus for spectrum estimation | |
| US7705918B2 (en) | Noise reduction apparatus and noise reduction method | |
| US20100214472A1 (en) | Image Processing Apparatus and Image Processing Method | |
| JP2591441B2 (ja) | 動画像信号の動ベクトル検出装置 | |
| US8145006B2 (en) | Image processing apparatus and image processing method capable of reducing an increase in coding distortion due to sharpening | |
| CN107925761B (zh) | 动态图像编、解码装置及方法、以及计算机可读记录介质 | |
| KR101167645B1 (ko) | 장면 전환 검출 방법 및 장치 | |
| US20090316049A1 (en) | Image processing apparatus, image processing method and program | |
| CN104871536A (zh) | 减少数字视频流中的压缩噪声的方法和设备 | |
| CN104125474B (zh) | 一种自适应夜视视频降噪方法 | |
| US20150379693A1 (en) | Methods and apparatuses for edge preserving and/or edge enhancing spatial filter | |
| EP2232883A1 (en) | Method for measuring flicker | |
| JP4380498B2 (ja) | ブロック歪み低減装置 | |
| JP2005012641A (ja) | ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置 | |
| US20080181530A1 (en) | Image processing apparatus and method for reducing blocking effect and Gibbs effect | |
| US7405770B1 (en) | Adaptive equalization method and system for reducing noise and distortion in a sampled video signal | |
| CN104219526B (zh) | 基于恰可察感知质量判决准则的hevc率失真优化算法 | |
| KR101641966B1 (ko) | 동영상 화질 개선 방법 | |
| US10057601B2 (en) | Methods and apparatuses for filtering of ringing artifacts post decoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14885767 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 14885767 Country of ref document: EP Kind code of ref document: A1 |






