WO2022143421A1 - 噪声强度估计方法、装置及电子设备 - Google Patents

噪声强度估计方法、装置及电子设备 Download PDF

Info

Publication number
WO2022143421A1
WO2022143421A1 PCT/CN2021/140932 CN2021140932W WO2022143421A1 WO 2022143421 A1 WO2022143421 A1 WO 2022143421A1 CN 2021140932 W CN2021140932 W CN 2021140932W WO 2022143421 A1 WO2022143421 A1 WO 2022143421A1
Authority
WO
WIPO (PCT)
Prior art keywords
image block
image
value
target
noise
Prior art date
Application number
PCT/CN2021/140932
Other languages
English (en)
French (fr)
Inventor
郭莎
朱飞
杜凌霄
Original Assignee
百果园技术(新加坡)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 百果园技术(新加坡)有限公司 filed Critical 百果园技术(新加坡)有限公司
Publication of WO2022143421A1 publication Critical patent/WO2022143421A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present disclosure relates to the technical field of noise estimation, and in particular, to a noise intensity estimation method, apparatus, and electronic device.
  • noise estimation has become a key link in video noise reduction technology.
  • it is necessary to know whether the difference between the pixels (blocks) is due to misalignment or noise, and therefore the noise intensity needs to be estimated.
  • problems in existing noise estimation algorithms First, it cannot separate noise from complex textures/details; Textures similar to noise, such as marble/cement, are prone to misestimation, and the accuracy of noise estimation will directly affect the final effect.
  • noise distortion is generally introduced in the process of user-generated content (UGC) users collecting videos.
  • Noise reduction can not only make the subjective experience of the image/video better, but also save the code waste when compressing the image/video. At the same time, it will make the motion estimation in video coding more accurate.
  • Noise intensity is an important parameter for noise reduction algorithms. If the noise estimate is too high, the effective high-frequency detail signal will be removed, the denoising result will be blurred, and even pseudo-Gibbs phenomenon or ringing phenomenon will appear due to high-frequency loss; residual noise
  • the present disclosure provides a noise intensity estimation method, device, and electronic device, so as to solve the problem of interference of existing detailed textures on noise estimation results to a certain extent.
  • a noise intensity estimation method comprising:
  • a motion recognition device comprising:
  • the first acquisition module is used to acquire the target frame image in the video to be estimated
  • a first processing module configured to perform block processing on the target frame image to obtain a first set of image blocks
  • a first detection module configured to perform texture detection on each image block in the first image block set, and determine a second image block set with uniform texture in the first image block set;
  • a first analysis module configured to perform time domain analysis on each image block in the second image block set, and determine a third image block set in the second image block set for which noise estimation needs to be performed;
  • the first estimation module is configured to perform noise estimation according to the third image block set to obtain the noise intensity of the video to be estimated.
  • an electronic device including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory communicate with each other through the communication bus;
  • the processor is configured to implement the steps in the above-mentioned noise intensity estimation method when executing the program stored in the memory.
  • a computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, implements the above-mentioned noise intensity estimation method.
  • a computer program product comprising instructions, which, when executed on a computer, cause the computer to execute the noise intensity estimation method as described above.
  • a first image block set is obtained by performing block processing on the target frame image in the video to be estimated, and texture detection is performed on each image block in the first image block set to determine the first image block.
  • a second image block set with uniform texture in the set, and performing time domain analysis on each image block in the second image block set to determine a third image block in the second image block set that needs noise estimation Set perform noise estimation according to the third image block set, obtain the noise intensity of the video to be estimated, and obtain a uniformly distributed set of image blocks through texture detection.
  • the interference of the signal to the noise estimate value can make the result of the noise estimate value more accurate and stable.
  • FIG. 1 is a flowchart of a noise intensity estimation method provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of an application scenario of a noise intensity estimation method provided by an embodiment of the present disclosure
  • FIG. 3 is one of schematic diagrams of a preset template provided by an embodiment of the present disclosure.
  • FIG. 4 is a second schematic diagram of a preset template provided by an embodiment of the present disclosure.
  • FIG. 5 is a third schematic diagram of a preset template provided by an embodiment of the present disclosure.
  • FIG. 6 is a fourth schematic diagram of a preset template provided by an embodiment of the present disclosure.
  • FIG. 7 is a structural block diagram of a motion recognition apparatus provided by an embodiment of the present disclosure.
  • FIG. 8 is a structural block diagram of an electronic device provided by an embodiment of the present disclosure.
  • first, second, etc. in the description and claims of the present disclosure are used to distinguish similar objects, and are not used to describe a specific order or sequence. It is to be understood that the data so used are interchangeable under appropriate circumstances so that embodiments of the present disclosure can be practiced in sequences other than those illustrated or described herein, and distinguished by "first,” “second,” etc.
  • the objects are usually of one type, and the number of objects is not limited.
  • the first object may be one or more than one.
  • “and/or” in the description and claims indicates at least one of the connected objects, and the character “/" generally indicates that the associated objects are in an "or” relationship.
  • noise reduction algorithms can be classified into blind denoise and non-blind denoise.
  • the standard deviation ⁇ n of blind denoise is an unknown value, which is estimated at the same time in the process of noise reduction; while the standard deviation ⁇ n of non-blind denoise is a known value.
  • An important problem in the noise reduction algorithm is the value of the noise reduction strength.
  • Most of the existing algorithms are non-blind denoise, which means that the noise reduction strength is given manually or estimated by the algorithm. Even given the real noise value, the performance of the noise reduction algorithm may not be optimal. In such a case, the noise estimation algorithm can be optimized to provide accurate noise reduction values for the noise reduction algorithm.
  • Noise estimation algorithms can be divided into filter-based algorithms, block-based algorithms, and statistics-based algorithms.
  • the filtering-based algorithm first extracts the structure texture of the image by high-pass filtering, and then estimates the noise intensity by the difference between the noise map and the high-pass map.
  • the instability of the filtering-based noise estimation algorithm is that when there are many complex textures or details in the image, the method is often not robust enough.
  • the block-based algorithm decomposes the image into N x N image blocks, and the minimum value of the variance of each image block is expressed as the noise intensity. Weak noise sequences are overestimated and strong noise sequences are underestimated.
  • the embodiments of the present disclosure provide a noise intensity estimation method, device, and electronic device.
  • texture detection a uniformly distributed set of image blocks can be obtained, and then through time domain analysis, the noise estimation by high-frequency signals that are stable in timing can be eliminated.
  • the interference of the noise value can make the result of the noise estimation value more accurate and stable.
  • an embodiment of the present disclosure provides a noise intensity estimation method, and the method specifically includes:
  • Step 101 Acquire a target frame image in the video to be estimated.
  • Fig. 2 shows an application scenario of the noise intensity estimation method, which shows the position of the noise intensity estimation method and the necessity of performing noise intensity estimation before the video noise reduction algorithm.
  • the video to be estimated is obtained, the video to be estimated can be decoded, and multiple frame images can be obtained.
  • the target frame image can be obtained by extracting frames.
  • the extraction method of the target frame image can be extracted at regular intervals or randomly.
  • the present disclosure implements The example does not specifically limit this.
  • the target frame image can be a video frame image in YUV space.
  • YUV is a picture format, which is composed of three parts: Y, U, and V.
  • Y represents brightness, that is, grayscale value; U and V represent color respectively.
  • the chroma is used to describe the color and saturation of the image, and is used to specify the color of the pixel.
  • Step 102 Perform block processing on the target frame image to obtain a first set of image blocks.
  • the target frame image is subjected to block processing, and the target frame image is divided into blocks to obtain multiple image blocks, the image blocks and the image blocks do not overlap, and the multiple image blocks are combined into a The first set of image blocks.
  • Step 103 Perform texture detection on each image block in the first image block set, and determine a second image block set with uniform texture in the first image block set.
  • texture detection is first performed, and image blocks with uniform texture in the first image block set are detected, and a plurality of image blocks with uniform texture are combined into a The second set of image blocks.
  • the image block with uniform texture is reflected in that the image block is detected as a uniformly distributed weak texture block or a textureless block in the spatial domain, which is not specifically limited in this embodiment of the present disclosure.
  • Step 104 Perform time domain analysis on each image block in the second set of image blocks to determine a third set of image blocks in the second set of image blocks for which noise estimation needs to be performed.
  • each image block in the second image block set with uniform texture detected in the spatial domain can be analyzed in the time domain to determine the image blocks in the second image block set that need noise estimation, and a plurality of image blocks that need noise
  • the estimated image blocks are combined into a third image block set, and the time sequence of the image blocks in the time domain is further evaluated, so as to eliminate the interference of the stable high-frequency signal in the time series on the noise intensity estimate, which can make the result of the noise intensity estimate more accurate. robust.
  • Step 105 Perform noise estimation according to the third image block set to obtain the noise intensity of the video to be estimated.
  • a third image block set for which noise estimation needs to be performed can be determined, and noise estimation is performed on the image blocks in the third image block set to obtain the noise of the video to be estimated. strength.
  • step 201 the noise intensity of the video to be estimated is estimated; specifically, through the above steps 101 to 105, the noise intensity of the video to be estimated is estimated to obtain the noise intensity of the video to be estimated. Intensity decides whether noise reduction repair is required in the future.
  • Step 202 video noise reduction processing; specifically, if it is known that noise reduction and restoration needs to be performed according to the noise intensity, then go to step 202 to perform noise reduction processing on the estimated video to obtain a noise reduction video after noise reduction processing.
  • Step 203 image enhancement processing; specifically, performing image enhancement processing on the denoised video to obtain a processed enhanced video.
  • Step 204 multi-level transcoding; specifically, performing multi-level transcoding on the enhanced video to obtain multi-type videos, such as the high-definition video, the standard-definition video, and the like.
  • multi-type videos such as the high-definition video, the standard-definition video, and the like.
  • the multi-type video is delivered to the client so that the user can choose to watch it.
  • the video noise reduction process in step 202 can be directly omitted, and subsequent image enhancement processing can be performed to improve computational efficiency.
  • the target frame image in the video to be estimated is subjected to block processing to obtain a first image block set, and texture detection is performed on each image block in the first image block set to determine the first image block.
  • a second image block set with uniform texture in the block set, and performing time domain analysis on each image block in the second image block set to determine a third image in the second image block set that needs noise estimation Block set, perform noise estimation according to the third image block set, obtain the noise intensity of the video to be estimated, and obtain a uniformly distributed image block set through texture detection, and then through time domain analysis, can eliminate the time-stable high noise.
  • the interference of the frequency signal on the noise estimate value can make the result of the noise estimate value more accurate and stable, better repair the image quality distortion caused by the noise, and improve the subjective image quality.
  • the step 102 performs block processing on the target frame image to obtain a first set of image blocks, which may specifically include:
  • blurring the target frame image can obtain a blurred image after blurring; and extracting an edge feature map, that is, a gradient map of edge features, on the basis of the blurred image.
  • an edge feature map that is, a gradient map of edge features
  • the target frame image taking the target frame image as a continuous function, since the pixel value of the edge part is obviously different from the pixel value next to it, the local extrema of the target frame image can be obtained to obtain the edge information of the entire target frame image;
  • the image is a two-dimensional discrete function, and the derivative becomes the difference. This difference is called the gradient of the target frame image.
  • the blurring process of low-pass filtering can be performed only on the Y channel to obtain a blurred image, and the Y channel of the blurred image is a blurred Y channel.
  • the edge feature map is divided into blocks and divided into multiple image blocks, such as: divided into 16x16 image blocks, the image blocks do not overlap with the image blocks, so that the block-processed image containing multiple image blocks can be obtained.
  • the first set of image blocks is divided into blocks and divided into multiple image blocks, such as: divided into 16x16 image blocks, the image blocks do not overlap with the image blocks, so that the block-processed image containing multiple image blocks can be obtained.
  • the step 103 performs texture detection on each image block in the first image block set, and determines a second image block set with uniform texture in the first image block set, which may specifically include:
  • Step A1 Acquire a pixel variance value of each image block in the first image block set according to S preset templates; wherein, S is a positive integer, and S is greater than 1.
  • pixel variance values in the direction of the S preset preset templates may be extracted from the edge feature map.
  • FIG. 3 to FIG. 6 they are schematic diagrams of four different preset templates. If the value of S is 16, 16 different preset templates can be preset, and the preset templates shown in Fig. 3 to Fig. 6 are only examples; A preset template is rotated 90 degrees, 180 degrees, and 270 degrees clockwise or counterclockwise to obtain three preset templates in different directions, thereby obtaining 16 preset templates.
  • the rotation mode can be rotated with the pixel point b1 as the origin, a1 to a4 as one line, and b1 to b4 as the other line, and the rotation angle can be set as required.
  • the embodiment of the present disclosure does not limit the setting method of the preset templates. If more preset templates are obtained by using the rotation method, the rotation angle can be set as required, and the embodiment of the present disclosure does not limit this. Make specific restrictions.
  • Step A2 Determine, according to the pixel variance value of each image block in the first image block set, a second image block set with uniform texture in the first image block set.
  • an image block with uniform texture in the first set of image blocks may be determined, and a plurality of image blocks with uniform texture are combined into a second set of image blocks.
  • the step A1 obtains the pixel variance value of each image block in the first image block set according to S preset templates, including:
  • Step B1 according to the first position of the first type sampling point and the second position of the second type sampling point of the first preset template in the S preset templates, extract the target in the first image block set In the image block, the first pixel value at the first position corresponding to the first preset template and the second pixel value at the corresponding second position.
  • each preset template is provided with a plurality of sampling points, and the sampling points can be divided into the first type of sampling points and the second type of sampling points, and each type of sampling point can be set 4, that is, there are 4 first-type sampling points, which are respectively a1 to a4.
  • the first position of each first-type sampling in the preset template is shown in FIG. 3 to FIG. 6 .
  • the specific arrangement position of the points is not limited; there are 4 sampling points of the second type, which are b1 to b4 respectively, and the second position of each second type sampling in the preset template is shown in FIG. 3 to FIG. 6 .
  • the embodiment does not limit the specific arrangement positions of the sampling points.
  • the number of sampling points of each type can be set as required, which is not specifically limited in this embodiment of the present disclosure.
  • the target image block corresponding to the first preset template may be extracted.
  • Step B2 according to the first pixel value and the second pixel value, calculate the sum of the squares of the difference between the first pixel value and the second pixel value of the target image block of the first preset template the first value of .
  • a plurality of first pixel values and a plurality of second pixel values are calculated to obtain the sum of the squares of the differences between the first pixel values and the second pixel values, that is, the first value; In other words, calculate the square of the difference between each first pixel value and each second pixel value, and sum the squares of each difference to obtain the first value.
  • the step B2 calculates the difference between the first pixel value and the second pixel value of the target image block of the first preset template according to the first pixel value and the second pixel value
  • the first value of the sum of the squares of which can be achieved in the following ways:
  • X i represents the first numerical value of the target image block of the first preset template
  • i represents that the first preset template is the i-th preset template in the S preset templates
  • n the number of the first pixel value or the second pixel value
  • j represents the first position of the jth sampling point of the first type or the second position of the jth sampling point of the second type
  • a j represents the first pixel value of the first position of the jth first type sampling point corresponding to the first preset template in the target image block
  • b j represents the second pixel value at the second position of the j-th sampling point of the second type corresponding to the first preset template in the target image block.
  • the calculation method of the first value of the target image block is as the above formula.
  • Set the first pixel value (a 1 to a 4 ) corresponding to each first-type sampling point of the template, and the second pixel value corresponding to each second-type sampling point of the ith preset template in the target image block (b 1 to b 4 ) make a difference, square the obtained difference, and then add all the squares of the obtained difference to obtain the first value.
  • n 4, first find (a 1 -b 1 ) 2 , (a 1 -b 2 ) 2 , (a 1 -b 3 ) 2 , (a 1 -b 4 ) 2 , (a 2 -b 1 ) 2 , (a 2 -b 2 ) 2 , (a 2 -b 3 ) 2 , (a 2 -b 4 ) 2 , (a 3 -b 1 ) 2 , (a 3 - b 2 ) 2 , (a 3 -b 3 ) 2 , (a 3 -b 4 ) 2 , (a 4 -b 1 ) 2 , (a 4 -b 2 ) 2 , (a 4 -b 3 ) 2 , (a 4 -b 4 ) 2 16 values of the formula, and then these 16 values are summed, and finally the first value about the target image block is obtained.
  • Step B3 Obtain S first numerical values of the target image blocks of the S preset templates according to the first numerical values of the target image blocks of the first preset template.
  • the first numerical values of the target image blocks of other preset templates except the first preset template among the S preset templates are calculated, that is, S first numerical values can be finally obtained.
  • Step B4 Calculate the pixel variance value of the target image block according to the S first values of the target image block.
  • the above step B4 calculates the pixel variance value of the target image block according to the S first values of the target image block, which may specifically include:
  • a variance calculation is performed on the S first values of the target image block to obtain a pixel variance value of the target image block.
  • the variance of the S first numerical values is calculated, that is, the obtained variance value is the pixel variance value of the target image block.
  • Step B5 Obtain the pixel variance value of each image block in the first image block set according to the pixel variance value of the target image block.
  • the pixel variance value of the other image blocks in the first image block set except the target image block is calculated, that is, The pixel variance value corresponding to each image block can be obtained.
  • the step A2 determines, according to the pixel variance value of each image block in the first image block set, a second image block set with uniform texture in the first image block set, which may specifically include: :
  • a second image block set with uniform texture in the first image block set is obtained.
  • the pixel variance value of each image block in the first image block set is compared with the first threshold, and if the pixel variance value is less than the first threshold, the image corresponding to the pixel variance value is determined.
  • the blocks are uniform weak texture image blocks or non-textured image blocks; the weak texture image blocks or non-textured image blocks are formed into a second set of image blocks.
  • the step 104 performs time domain analysis on each image block in the second set of image blocks, and determines a third set of image blocks in the second set of image blocks for which noise estimation needs to be performed, which may specifically include: :
  • a third image block set that needs to be subjected to noise estimation in the second image block set is obtained.
  • the effective signal is stable in the time domain
  • the third image block set included in the noise estimate is to remove the time-series stable blocks from the second image block set, and the remaining image blocks form a third image block set.
  • the way to determine whether an image block is a timing stable block is as follows:
  • the pixel value of each pixel is obtained, and the pixel value of each pixel of the reference signal block is obtained; the two image blocks (the reference image block and the second image).
  • the pixel value of each pixel in one of the image blocks in the block set is calculated by a perfect square, and the calculated values are summed to obtain a second numerical value.
  • the step 105 performs noise estimation according to the third image block set to obtain the noise intensity of the video to be estimated, including:
  • Step C1 Perform discrete cosine transform DCT on each image block in the third set of image blocks to obtain a first set of magnitude matrices.
  • performing spatial spectrum analysis on the third image block set can quantify the noise intensity.
  • discrete cosine transform Discrete Cosine Transform, DCT
  • DCT Discrete Cosine Transform
  • Step C2 Determine, according to the first set of magnitude matrices, a fourth set of image blocks in the third set of image blocks that requires noise estimation.
  • the image blocks with stronger noise reflected in the first amplitude matrix set are retained, and the image blocks with weaker noise reflected in the first amplitude matrix set are eliminated to obtain a fourth image block set.
  • Step C3 Perform noise estimation according to the fourth image block set, and obtain a noise intensity set including the noise intensity of each image block in the fourth image block set.
  • noise estimation is performed on each image block in the fourth image block set, and the noise intensity of each image block can be obtained, and the noise intensity of multiple image blocks is combined to form a noise intensity set.
  • Step C4 Obtain the noise intensity of the video to be estimated according to the noise intensity set.
  • the noise intensity of the video to be estimated can be quantified through multiple noise intensities in the noise intensity set.
  • the step C2 determines, according to the first set of magnitude matrices, a fourth set of image blocks in the third set of image blocks that requires noise estimation, which may specifically include:
  • a fourth set of image blocks in the third set of image blocks that needs noise estimation is determined according to a plurality of the target magnitude matrices.
  • the size of the target amplitude in each amplitude matrix in the first amplitude matrix set is compared with the third threshold. If the target amplitude is greater than the third threshold, the target amplitude of the target amplitude is located.
  • the amplitude matrix is discretely distributed, and the image block corresponding to the amplitude matrix where the target amplitude is located is an image block with high noise intensity; if the target amplitude is less than or equal to the third threshold, then the target amplitude is located in the amplitude matrix.
  • the value matrix is centrally distributed, and the image block corresponding to the amplitude matrix where the target amplitude is located is an image block with weaker noise intensity.
  • the target amplitude value may be the lower right corner amplitude value in each amplitude value matrix.
  • the step C3 performs noise estimation according to the fourth image block set, and obtains a noise intensity set including the noise intensity of each image block in the fourth image block set, including:
  • An average value of the amplitudes in the first range in each of the target amplitude matrixes is calculated to obtain a noise intensity set including the noise intensity of each image block in the fourth image block set.
  • the first range may be a value range about the third threshold, for example, the lowest limit is the product of the third threshold and the first weight threshold, and the highest limit is the product of the third threshold and the second weight threshold. If the amplitude is in the range between the lower limit and the upper limit, then the amplitude is in the first range. Calculate the average value of all amplitude values in a target amplitude value matrix within the first range, and the obtained average value is the noise intensity of the image block corresponding to the target amplitude value matrix; calculate the fourth image through the above method The noise intensity of each image block in the block set, and the noise intensity of multiple image blocks is combined into a noise intensity set.
  • the first weight threshold may be a value of 0 to 0.1, preferably 0.1
  • the second weight threshold may be a value of 0.4 to 0.7, preferably 0.5.
  • the step C4 obtains the noise intensity of the video to be estimated according to the noise intensity set, which may specifically include:
  • the average value of the target noise intensities included in the target noise intensity set is calculated to obtain the noise intensity of the video to be estimated.
  • a first number of noise intensities with larger noise intensities in the noise intensity set may be eliminated, and a second number of noise intensities with smaller noise intensities in the noise intensity set may be eliminated, so as to avoid extreme values of the noise intensities of the video to be estimated impact on results.
  • the first number may be 10% of the noise intensity number in the noise intensity set
  • the second number may be 10% of the noise intensity number in the noise intensity set
  • the first number and the second number may be the same or different.
  • the noise intensity of the obtained video to be estimated is relatively large, and the probability is between 4 and 8; in the scenario of weak noise, the noise intensity of the obtained video to be estimated is relatively high. Small, the probability is greater between 0 and 1.
  • image blocks with uniform texture in the video to be estimated Such image blocks may be low-frequency blocks polluted by noise, or natural weak texture image blocks such as gravel and cement.
  • the former's high-frequency signal can be converted into noise value, while the latter will affect the result of noise intensity estimation, making the estimated noise intensity too large; through texture detection and time-domain analysis of image blocks, it is possible to filter out the natural weak signals that are stable in time series.
  • an apparatus 700 for estimating noise intensity includes:
  • the first acquisition module 701 is used to acquire the target frame image in the video to be estimated
  • a first processing module 702 configured to perform block processing on the target frame image to obtain a first set of image blocks
  • the first detection module 703 is configured to perform texture detection on each image block in the first image block set, and determine a second image block set with uniform texture in the first image block set;
  • a first analysis module 704 configured to perform time domain analysis on each image block in the second image block set, and determine a third image block set in the second image block set that needs to be subjected to noise estimation;
  • the first estimation module 705 is configured to perform noise estimation according to the third image block set to obtain the noise intensity of the video to be estimated.
  • the target frame image in the video to be estimated is subjected to block processing to obtain a first image block set, and texture detection is performed on each image block in the first image block set to determine the first image block.
  • a second image block set with uniform texture in the block set, and performing time domain analysis on each image block in the second image block set to determine a third image in the second image block set that needs noise estimation Block set perform noise estimation according to the third image block set, obtain the noise intensity of the video to be estimated, and obtain a uniformly distributed image block set through texture detection.
  • the interference of the frequency signal on the noise estimate value can make the result of the noise estimate value more accurate and stable, better repair the image quality distortion caused by the noise, and improve the subjective image quality.
  • the first processing module 702 includes:
  • a first processing unit used for blurring the target frame image to obtain a blurred image
  • a first extraction unit used for extracting the edge feature map of the blurred image
  • the second processing unit is configured to perform block processing on the edge feature map to obtain a first image block set after block processing.
  • the first detection module 703 includes:
  • a first obtaining unit configured to obtain the pixel variance value of each image block in the first image block set according to the S preset templates
  • a first determining unit configured to determine, according to the pixel variance value of each image block in the first image block set, a second image block set with uniform texture in the first image block set;
  • S is a positive integer, and S is greater than 1.
  • the first obtaining unit includes:
  • a first extraction subunit configured to extract the first image according to the first position of the first type of sampling point and the second position of the second type of sampling point of the first preset template in the S preset templates In the target image block in the block set, the first pixel value of the first position corresponding to the first preset template and the second pixel value of the corresponding second position;
  • a first calculation subunit configured to calculate the difference between the first pixel value and the second pixel value of the target image block of the first preset template according to the first pixel value and the second pixel value the first value of the sum of the squares of the differences;
  • a first obtaining subunit configured to obtain S first values of the target image blocks of the S preset templates according to the first values of the target image blocks of the first preset template
  • a second calculation subunit configured to calculate the pixel variance value of the target image block according to the S first values of the target image block
  • the second obtaining subunit is configured to obtain the pixel variance value of each image block in the first image block set according to the pixel variance value of the target image block.
  • the second calculation subunit is used for:
  • a variance calculation is performed on the S first values of the target image block to obtain a pixel variance value of the target image block.
  • the first determining unit includes:
  • a first determination subunit configured to compare the pixel variance value of each image block in the first image block set with a first threshold, and determine that the pixel variance value in the first image block set is smaller than the The image block of the first threshold is an image block with uniform texture;
  • a third obtaining subunit configured to obtain a second set of image blocks with uniform texture in the first set of image blocks according to a plurality of image blocks with uniform texture in the set of first image blocks.
  • the first analysis module 704 includes:
  • a second acquiring unit configured to acquire the pixel value of each pixel of each image block in the second image block set and the pixel value of each pixel of the reference signal block;
  • a first calculation unit configured to calculate the sum of squares of differences between the pixel value of each pixel of each image block in the second set of image blocks and the pixel value of each pixel of the reference signal block the second value of ;
  • a second determining unit configured to compare the second value with a second threshold, and determine that image blocks in the second image block set whose second value is greater than or equal to the second threshold are images that need noise estimation piece;
  • a third obtaining unit configured to obtain a third set of image blocks in the second set of image blocks for which noise estimation needs to be performed according to a plurality of image blocks in the second set of image blocks that need to be subjected to noise estimation.
  • the first estimation module 705 includes:
  • a fourth acquisition unit configured to perform discrete cosine transform DCT on each image block in the third set of image blocks to obtain a first set of magnitude matrices
  • a third determining unit configured to determine, according to the first set of magnitude matrices, a fourth set of image blocks that needs noise estimation in the third set of image blocks;
  • a fifth obtaining unit configured to perform noise estimation according to the fourth image block set, and obtain a noise intensity set including the noise intensity of each image block in the fourth image block set;
  • a sixth obtaining unit configured to obtain the noise intensity of the video to be estimated according to the noise intensity set.
  • the third determining unit includes:
  • the second determination subunit is configured to compare the target amplitude in each amplitude matrix in the first amplitude matrix set with a third threshold, and determine that the target amplitude in the first amplitude matrix set is greater than the target amplitude in the first amplitude matrix set.
  • the amplitude matrix of the third threshold is the target amplitude matrix;
  • the third determination subunit is configured to determine, according to a plurality of the target magnitude matrices, a fourth set of image blocks that needs noise estimation in the third set of image blocks.
  • the fifth obtaining unit includes:
  • a first judging subunit for judging whether each amplitude value in each of the target amplitude value matrices is within a first range
  • a fourth acquiring subunit configured to perform an average calculation on the amplitudes in the first range in each of the target amplitude matrices, and obtain the noise intensity including each image block in the fourth image block set The set of noise intensities.
  • the sixth obtaining unit includes:
  • a fifth acquisition subunit configured to screen the noise intensity set to obtain a filtered target noise intensity set
  • the sixth obtaining subunit is configured to perform average calculation on the target noise intensity included in the target noise intensity set to obtain the noise intensity of the to-be-estimated video.
  • this noise intensity estimation apparatus embodiment is an apparatus corresponding to the above noise intensity estimation method, and all implementations of the above method embodiment are applicable to this apparatus embodiment, and can also achieve the same technical effect. It is not repeated here.
  • image blocks with uniform texture in the video to be estimated Such image blocks may be low-frequency blocks polluted by noise, or natural weak texture image blocks such as gravel and cement.
  • the former's high-frequency signal can be converted into noise value, while the latter will affect the result of noise intensity estimation, making the estimated noise intensity too large; through texture detection and time-domain analysis of image blocks, it is possible to filter out the natural weak signals that are stable in time series.
  • Embodiments of the present disclosure also provide an electronic device. As shown in FIG. 8 , it includes a processor 801 , a communication interface 802 , a memory 803 and a communication bus 804 , wherein the processor 801 , the communication interface 802 , and the memory 803 communicate with each other through the communication bus 804 .
  • the memory 803 is used to store computer programs.
  • the processor 801 is configured to implement some or all of the steps in the noise intensity estimation method provided by the embodiment of the present disclosure when executing the program stored in the memory 803 .
  • the communication bus mentioned in the above electronic device may be a Peripheral Component Interconnect (PCI for short) bus or an Extended Industry Standard Architecture (EISA for short) bus or the like.
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Architecture
  • the communication bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of presentation, only one thick line is used in the figure, but it does not mean that there is only one bus or one type of bus.
  • the communication interface is used for communication between the above-mentioned terminal and other devices.
  • the memory may include random access memory (Random Access Memory, RAM for short), or may include non-volatile memory (non-volatile memory), such as at least one disk memory.
  • RAM Random Access Memory
  • non-volatile memory such as at least one disk memory.
  • the memory may also be at least one storage device located remotely from the aforementioned processor.
  • the above-mentioned processor may be a general-purpose processor, including a central processing unit (Central Processing Unit, referred to as CPU), a network processor (Network Processor, referred to as NP), etc.; may also be a digital signal processor (Digital Signal Processing, referred to as DSP) , Application Specific Integrated Circuit (ASIC), Field Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, and discrete hardware components.
  • CPU Central Processing Unit
  • NP Network Processor
  • DSP Digital Signal Processing
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • a computer-readable storage medium is also provided, where instructions are stored in the computer-readable storage medium, when the computer-readable storage medium is run on a computer, the computer is made to execute the above-mentioned embodiments. noise intensity estimation method.
  • a computer program product comprising instructions, which, when executed on a computer, cause the computer to execute the noise intensity estimation method described in the above embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种噪声强度估计方法、装置及电子设备，涉及噪声估计技术领域。该方法包括：获取待估计视频中的目标帧图像（101）；对所述目标帧图像进行分块处理，获得第一图像块集合（102）；对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合（103）；对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合（104）；根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度（105）。可以消除时序上稳定的高频信号对噪声估计值的干扰，使得噪声估计值的结果更加精确和稳定。

Description

噪声强度估计方法、装置及电子设备
相关申请的交叉引用
本申请要求在2020年12月31日提交中国专利局、申请号为202011639129.9、名称为“噪声强度估计方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及噪声估计技术领域，尤其涉及一种噪声强度估计方法、装置及电子设备。
背景技术
目前，噪声估计已成为视频降噪技术中很关键的环节。为了确定加权平均的权重值，需要了解像素(块)之间的差异是由于对齐不准造成的还是因为噪声造成的，因此需要估计噪声强度。现有的噪声估计算法存在两类问题：其一，无法将噪声与复杂的纹理/细节分离；其二，基于单帧图像的算法估计出的噪声值强依赖于图像的内容，无法区分沙砾/大理石/水泥等与噪声类似的纹理，因此容易出现误估，噪声估计的准确性会直接影响最终效果。
在用户生成内容(User Generated Content，UGC)用户采集视频的过程中普遍会引入噪声失真的问题，降噪不仅可以使得图像/视频的主观感受更好，也可以让图像/视频压缩时不必浪费码率在编码噪声上；同时，会使得视频编码中的运动估计更准确。对降噪算法来说，噪声强度是一个重要的参数。若噪声估计过高，则有效的高频细节信号将被去掉，去噪结果会模糊，甚至会由于高频损失出现伪吉布斯现象或者振铃现象；若噪声估计过低，则会导致较多的残留噪声
概述
本公开提供了一种噪声强度估计方法、装置及电子设备，以便在一定程度上解决现有细节纹理对噪声估计结果干扰等问题。
在本公开实施的第一方面，提供了一种噪声强度估计方法，所述方法包括：
获取待估计视频中的目标帧图像；
对所述目标帧图像进行分块处理，获得第一图像块集合；
对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合；
根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度。
在本公开实施的第二方面，提供了一种动作识别装置，所述装置包括：
第一获取模块，用于获取待估计视频中的目标帧图像；
第一处理模块，用于对所述目标帧图像进行分块处理，获得第一图像块集合；
第一检测模块，用于对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
第一分析模块，用于对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合；
第一估计模块，用于根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度。
在本公开实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如上所述的噪声强度估计方法中的步骤。
在本公开实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的噪声强度估计方法。
在本公开实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的噪声强度估计方法。
针对在先技术，本公开具备如下优点：
本公开实施例中，通过对待估计视频中的目标帧图像进行分块处理，获得第一图像块集合，对第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合，并对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合，根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度，通过纹理检测可以得到均匀分布的图像块集合，再通过时域分析，可以消除时序上稳定的高频信号对噪声估计值的干扰，可以使得噪声估计值的结果更加精确和稳定。
上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。
附图简述
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本公开实施例提供的噪声强度估计方法的流程图；
图2为本公开实施例提供的噪声强度估计方法的应用场景示意图；
图3为本公开实施例提供的预设模板的示意图之一；
图4为本公开实施例提供的预设模板的示意图之二；
图5为本公开实施例提供的预设模板的示意图之三；
图6为本公开实施例提供的预设模板的示意图之四；
图7为本公开实施例提供的动作识别装置的结构框图；
图8为本公开实施例提供的电子设备的结构框图。
详细描述
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
现有技术中，由噪声强度是否已知，降噪算法可以分为盲降噪blind denoise和非盲降噪non-blind denoise两类。blind denoise的标准差σ n为未知值，在降噪的过程中同时进行估算；而non-blind denoise的标准差σ n是已知值。降噪算法一个重要的难题是降噪强度的取值，大部分现有的算法是non-blind denoise，意味着降噪强度由手动给出或者由算法估计出来。即使给出真实的噪声值，降噪算法的表现也未必是最佳状态。在这样的情况下，可以优化噪声估计算法，为降噪算法提供精准的降噪值。
最常见的噪声统计模型为加性高斯噪声(Additive Gaussian Noise，AGN)，噪声估计的目标是估计出标准差σ n。噪声估计算法可以分为基于滤波的算法、基于块的算法、基于统计的算法等。基于滤波的算法首先通过高通滤波提取图像的结构纹理，然后通过噪声图和高通图的差分估算出噪声强度。基于滤波的噪声估计算法的不稳定之处在于图像中复杂的纹理或者细节比较多时，该方法往往不够鲁棒。基于块的算法是将图像分解为N x N的图像块，各个图像块方差的极小值表示为噪声强度，该算法对于图像块筛选的结果与画面的内容或者噪声的强度均相关，因此存在弱噪声序列估计过大和强噪声序列估计过小的问题。
因此，本公开实施例提供了一种噪声强度估计方法、装置及电子设备，通过纹理检测可以得到均匀分布的图像块集合，再通过时域分析，可以消除 时序上稳定的高频信号对噪声估计值的干扰，可以使得噪声估计值的结果更加精确和稳定。
具体的，如图1所示，本公开实施例提供了一种噪声强度估计方法，所述方法具体包括：
步骤101，获取待估计视频中的目标帧图像。
具体的，如图2所示为噪声强度估计方法的一个应用场景，其展示了噪声强度估计方法所处的位置以及在视频降噪算法前进行噪声强度估计的必要性。首先获取待估计视频，可以将待估计视频进行解码，得到多个帧图像，可以通过抽帧的方式获取目标帧图像，目标帧图像的抽取方式可以等间隔抽取，也可以随机抽取，本公开实施例对此不做具体限定。
其中，目标帧图像可以为YUV空间的视频帧图像，YUV是一种图片格式，是由Y、U、V三个部分组成，Y表示明亮度，也就是灰阶值；U和V分别表示颜色的色度，作用是描述影像色彩及饱和度，用于指定像素的颜色。
步骤102，对所述目标帧图像进行分块处理，获得第一图像块集合。
具体的，在获取到目标帧图像之后，将目标帧图像进行分块处理，将目标帧图像进行分块，得到多个图像块，图像块和图像块之间不重叠，多个图像块组合成第一图像块集合。
步骤103，对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合。
具体的，对于第一图像块集合中的每一个图像块P，首先进行纹理检测，将所述第一图像块集合中具有均匀纹理的图像块检测出来，多个具有均匀纹理的图像块组合成第二图像块集合。其中，均匀纹理的图像块体现在图像块在空域上检测为均匀分布的弱纹理块或者无纹理块，本公开实施例对此不做具体限定。
步骤104，对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合。
具体的，由于图像中存在天然的均匀弱纹理图像块，比如草叶、沙砾、水泥、大理石等，这样的图像块与噪声污染的均匀纹理图像块极为相似，在 空域上不容易分离，会导致估计出的噪声值偏高。由此，可以将空域上检测出来的具有均匀纹理的第二图像块集合中的每一个图像块进行时域分析，确定出第二图像块集合中需要进行噪声估计的图像块，多个需要噪声估计的图像块组合成第三图像块集合，进一步评估了图像块在时域上的时序，以便消除时序上稳定的高频信号对噪声强度估计值的干扰，可以使得噪声强度估计值的结果更加鲁棒。
步骤105，根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度。
具体的，通过上述空域上的纹理检测以及时域分析，可以确定需要进行噪声估计的第三图像块集合，通过对第三图像块集合中的图像块进行噪声估计，以获得待估计视频的噪声强度。
进一步的，如图2所示，步骤201，对待估计视频进行噪声强度估计；具体的，通过上述步骤101至步骤105对待估计视频进行噪声强度估计，以获取待估计视频的噪声强度，可以根据噪声强度决策后续是否需要进行降噪修复。
步骤202，视频降噪处理；具体的，若根据噪声强度得知需要进行降噪修复，则进入步骤202，对待估计视频进行降噪处理，得到降噪处理后的降噪视频。
步骤203，图像增强处理；具体的，将降噪视频进行图像增强处理，得到处理后的增强视频。
步骤204，多档位转码；具体的，将增强视频进行多档位转码，得到多类型视频，如：该高清视频、标清视频等。在进行多档位转码之后，将多类型视频下发到用户端，以便用户进行选择观看。
需要说明的是，对于没有噪声的序列可以直接省略步骤202的视频降噪处理过程，开展后续的图像增强处理，以提高计算效率。
本公开上述实施例中，通过对待估计视频中的目标帧图像进行分块处理，获得第一图像块集合，对第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合，并对所述第二图 像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合，根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度，通过纹理检测可以得到均匀分布的图像块集合，再通过时域分析，可以消除时序上稳定的高频信号对噪声估计值的干扰，可以使得噪声估计值的结果更加精确和稳定，更好地修复噪声带来的画质失真，提升主观画质。
可选地，所述步骤102对所述目标帧图像进行分块处理，获得第一图像块集合，具体可以包括：
对所述目标帧图像进行模糊处理，得到模糊图像；
提取所述模糊图像的边缘特征图；
将所述边缘特征图进行分块处理，获得分块处理后的第一图像块集合。
具体的，将目标帧图像进行模糊处理，可以得到模糊处理后的模糊图像；在模糊图像的基础上提取边缘特征图，即边缘特征的梯度图。例如：将目标帧图像当做连续函数，由于边缘部分的像素值是与旁边像素值明显有区别的，所以对目标帧图像局部求极值，就可以得到整个目标帧图像的边缘信息；由于目标帧图像是二维的离散函数，导数就变成了差分，这个差分就称为目标帧图像的梯度。其中，可以仅在Y通道进行低通滤波的模糊处理，获得模糊图像，模糊图像的Y通道为模糊的Y通道。
将边缘特征图进行分块处理，划分为多个图像块，如：划分为16x16的图像块，图像块与图像块之间不重叠，由此可以获得分块处理后的包含多个图像块的第一图像块集合。
可选地，所述步骤103对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合，具体可以包括：
步骤A1，根据S个预设模板，获取所述第一图像块集合中的每一图像块的像素方差值；其中，S为正整数，且S大于1。
具体的，对于第一图像块集合中的每一个图像块，在根据S个预设模板，可以在边缘特征图上提取S个预设设置的预设模板方向上的像素方差值。
例如：如图3至图6所示，分别为4个不同的预设模板的示意图。如果S取值为16，则可以预设16个不同的预设模板，图3至图6所示的预设模板仅为示例；或者，也可以预设4个不同的预设模板，将每一个预设模板顺时针或者逆时针旋转90度、180度、270度再得到三个不同方向的预设模板，由此可以得到16个预设模板。以图3为例，旋转方式可以以像素点b1为原点、以a1至a4为一条线、以b1至b4为另一条线进行旋转，旋转角度根据需要进行设定。
需要说明的是，本公开实施例对预设模板的设置方式并不进行限定，如果采用旋转方式得到更多的预设模板，则旋转角度可以根据需要进行设定，本公开实施例对此不做具体限定。
步骤A2，根据所述第一图像块集合中的每一图像块的像素方差值，确定所述第一图像块集合中具有均匀纹理的第二图像块集合。
具体的，针对每一个图像块对应的像素方差值，可以确定所述第一图像块集合中具有均匀纹理的图像块，多个具有均匀纹理的图像块组合成第二图像块集合。
可选地，所述步骤A1根据S个预设模板，获取所述第一图像块集合中的每一图像块的像素方差值，包括：
步骤B1，根据所述S个预设模板中的第一预设模板的第一类采样点的第一位置以及第二类采样点的第二位置，提取所述第一图像块集合中的目标图像块中，与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的第二像素值。
具体的，如图3至图6所示，每一个预设模板中均设置有多个采样点，采样点可以分为第一类采样点和第二类采样点，每一类采样点可以设置为4个，即第一类采样点为4个，分别为a1～a4，每一个第一类采样在预设模板中的第一位置如图3至图6所示，本公开实施例对采样点的具体排列位置不进行限定；第二类采样点为4个，分别为b1～b4，每一个第二类采样在预设模板中的第二位置如图3至图6所示，本公开实施例对采样点的具体排列位置不进行限定。其中，每一类采样点的数量可以根据需要进行设定，本公开 实施例对此不做具体限定。
针对S个预设模板中的第一预设模板中第一类采样点的第一位置以及第二类采样点的第二位置，可以提取到目标图像块中与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的第二像素值。
步骤B2，根据所述第一像素值和所述第二像素值，计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值。
具体的，针对目标图像块，将多个第一像素值和多个第二像素值进行计算，得到第一像素值和第二像素值之间差的平方之和，即第一数值；换句话说，计算每一个第一像素值与每一个第二像素值之间的差的平方，并将每一个差的平方求和，得到第一数值。
具体的，所述步骤B2根据所述第一像素值和所述第二像素值，计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值，具体可以通过以下方式实现：
Figure PCTCN2021140932-appb-000001
其中，X i表示关于第一预设模板的目标图像块的第一数值；
i表示第一预设模板为S个预设模板中的第i个预设模板；
n表示第一像素值或者第二像素值的数量；
j表示第j个第一类采样点的第一位置或者第j个第二类采样点的第二位置；
a j表示目标图像块中与第一预设模板对应的第j个第一类采样点的第一位置的第一像素值；
b j表示目标图像块中与第一预设模板对应的第j个第二类采样点的第二位置的第二像素值。
具体的，如图3至图6所示，对于S个预设模板中的第i个预设模板，目标图像块的第一数值的计算方式如上公式，将目标图像块中与第i个预设模板的每一个第一类采样点对应的第一像素值(a 1～a 4)，和目标图像块中与 第i个预设模板的每一个第二类采样点对应的第二像素值(b 1～b 4)做差，得到的差值求平方，然后再将得到的所有的差值平方相加，得到第一数值。
例如：如图3所示，n为4，首先求出(a 1-b 1) 2、(a 1-b 2) 2、(a 1-b 3) 2、(a 1-b 4) 2、(a 2-b 1) 2、(a 2-b 2) 2、(a 2-b 3) 2、(a 2-b 4) 2、(a 3-b 1) 2、(a 3-b 2) 2、(a 3-b 3) 2、(a 3-b 4) 2、(a 4-b 1) 2、(a 4-b 2) 2、(a 4-b 3) 2、(a 4-b 4) 216个公式的值，然后将这16个值求和，最后得到关于目标图像块的第一数值。
步骤B3，根据关于所述第一预设模板的所述目标图像块的第一数值，获得关于所述S个预设模板的所述目标图像块的S个第一数值。
具体的，根据上述方法计算关于S个预设模板中除第一预设模板之外的其他预设模板的目标图像块的第一数值，即最后可以得到S个第一数值。
步骤B4，根据所述目标图像块的S个第一数值，计算所述目标图像块的像素方差值。
具体的，上述步骤B4根据所述目标图像块的S个第一数值，计算所述目标图像块的像素方差值，具体可以包括：
将所述目标图像块的S个第一数值进行方差计算，得到所述目标图像块的像素方差值。
具体的，按照方差公式，计算S个第一数值的方差，即得到的方差值为目标图像块的像素方差值。
步骤B5，根据所述目标图像块的像素方差值，获得所述第一图像块集合中的每一图像块的像素方差值。
具体的，根据第一图像块集合中的目标图像块计算像素方差值的方法，计算所述第一图像块集合中除所述目标图像块之外的其他图像块的像素方差值，即可得到每一个图像块对应的像素方差值。
可选地，所述步骤A2根据所述第一图像块集合中的每一图像块的像素方差值，确定所述第一图像块集合中具有均匀纹理的第二图像块集合，具体可以包括：
将所述第一图像块集合中的每一图像块的像素方差值与第一阈值进行 比较，确定所述第一图像块集合中像素方差值小于所述第一阈值的图像块为具有均匀纹理的图像块；
根据所述第一图像块集合中多个具有均匀纹理的图像块，获得所述第一图像块集合中具有均匀纹理的第二图像块集合。
具体的，将第一图像块集合中的每一图像块的像素方差值均与第一阈值进行大小比较，如果像素方差值小于第一阈值，则判定将该像素方差值对应的图像块为均匀的弱纹理图像块或者无纹理图像块；将弱纹理图像块或者无纹理图像块组成第二图像块集合。
可选地，所述步骤104对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合，具体可以包括：
获取所述第二图像块集合中的每一图像块的每一像素点的像素值以及参考信号块的每一像素点的像素值；
计算所述第二图像块集合中的每一图像块的每一像素点的像素值与所述参考信号块的每一像素点的像素值之间差的平方之和的第二数值；
将所述第二数值与第二阈值进行比较，确定所述第二图像块集合中第二数值大于或等于所述第二阈值的图像块为需要进行噪声估计的图像块；
根据所述第二图像块集合中多个需要进行噪声估计的图像块，获得所述第二图像块集合中需要进行噪声估计的第三图像块集合。
具体的，根据有效信号在时域上稳定的先验，可以通过图像块在时序上的像素方差值大小判断该图像块是否为稳定的有效信号，若该图像块为时序稳定块，则不纳入噪声估计的第三图像块集合，即将第二图像块集合中时序稳定块剔除，剩余的图像块组成第三图像块集合。判断图像块是否为时序稳定块的方式如下：
首先针对第二图像块集合中的每一图像块，获取每一像素点的像素值，并获取参考信号块的每一像素点的像素值；将两个图像块(参考图像块以及第二图像块集合中的其中一个图像块)的每一像素点的像素值进行完全平方计算，并将计算得到的值求和，得到第二数值。将第二图像块集合中的每一 图像块的第二数值均与第二阈值进行大小比较，如果第二数值小于第二阈值，则判定将该第二数值对应的图像块为时序稳定块；将时序稳定块从第二图像块集合中剔除，剩余的图像块组合成第三图像块集合，可以消除时序上稳定的高频信号对噪声强度估计值的干扰，可以使得噪声强度估计值的结果更加精确和稳定。
其中，定位当前图像块在时序上对应的参考信号块有很多方法，比如：遍历前一帧图像中所有图像块，选取像素方差值最小的图像块作为参考信号块；或者，通过稀疏光流法得到的运动矢量所指向的图像块作为参考块等。
可选地，所述步骤105根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度，包括：
步骤C1，将所述第三图像块集合中的每一图像块进行离散余弦变换DCT，获得第一幅值矩阵集合。
具体的，对第三图像块集合做空域频谱分析，可以量化噪声强度。具体的是将所述第三图像块集合中的每一图像块进行离散余弦变换(Discrete Cosine Transform，DCT)，获得每一图像块对应的幅值矩阵，多个幅值矩阵组合成第一幅值矩阵集合；其中纹理均匀图像块DCT系数的幅值和离散程度能够反映噪声强度。
步骤C2，根据所述第一幅值矩阵集合，确定所述第三图像块集合中需要噪声估计的第四图像块集合。
具体的，将第一幅值矩阵集合中反映的噪声较强的图像块保留，将第一幅值矩阵集合中反映的噪声较弱的图像块剔除，得到第四图像块集合。
步骤C3，根据所述第四图像块集合进行噪声估计，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合。
具体的，对第四图像块集合中的每一个图像块进行噪声估计，可以获得每一个图像块的噪声强度，多个图像块的噪声强度组合形成噪声强度集合。
步骤C4，根据所述噪声强度集合，获得所述待估计视频的噪声强度。
具体的，通过所述噪声强度集合中的多个噪声强度，可量化出待估计视频的噪声强度。
可选地，所述步骤C2根据所述第一幅值矩阵集合，确定所述第三图像块集合中需要噪声估计的第四图像块集合，具体可以包括：
将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值与第三阈值进行比较，确定所述第一幅值矩阵集合中目标幅值大于所述第三阈值的幅值矩阵为目标幅值矩阵；
根据多个所述目标幅值矩阵，确定所述第三图像块集合中需要噪声估计的第四图像块集合。
具体的，将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值均与第三阈值进行大小比较，若目标幅值大于第三阈值，则该目标幅值所处的目标幅值矩阵离散分布，且该目标幅值所处的幅值矩阵对应的图像块为噪声强度较大的图像块；若目标幅值小于或等于第三阈值，则该目标幅值所处的幅值矩阵集中分布，且该目标幅值所处的幅值矩阵对应的图像块为噪声强度较弱的图像块。将噪声强度较强的图像块保留，并将噪声强度较弱的图像块剔除，最后得到噪声强度较强的第四图像块集合。其中，目标幅值可以是每一个幅值矩阵中的右下角幅值。
可选地，所述步骤C3根据所述第四图像块集合进行噪声估计，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合，包括：
判断每一所述目标幅值矩阵中的每一幅值是否处于第一范围内；
将每一所述目标幅值矩阵中处于所述第一范围内的幅值进行平均值计算，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合。
具体的，第一范围可以为关于第三阈值的取值范围，如：最低限值为第三阈值与第一权重阈值的乘积，最高限值为第三阈值与第二权重阈值的乘积。如果幅值处于最低限值和最高限值之间的范围内，则该幅值处于第一范围内。将一个目标幅值矩阵中处于所述第一范围内的所有幅值进行平均值计算，得到的平均值即为该目标幅值矩阵对应的图像块的噪声强度；通过上述方法计算出第四图像块集合中每一图像块的噪声强度，多个图像块的噪声强度组合成噪声强度集合。其中，第一权重阈值可以为0～0.1的取值，优选取值为0.1，第二权重阈值可以为0.4～0.7的取值，优选取值为0.5。
可选地，所述步骤C4根据所述噪声强度集合，获得所述待估计视频的噪声强度，具体可以包括：
将所述噪声强度集合进行筛选，获得筛选后的目标噪声强度集合；
将所述目标噪声强度集合中包含的目标噪声强度进行平均值计算，获得所述待估计视频的噪声强度。
具体的，可以将噪声强度集合中噪声强度较大的第一数量的噪声强度剔除，并将噪声强度集合中噪声强度较小的第二数量的噪声强度剔除，避免极端值对待估计视频的噪声强度结果的影响。其中，第一数量可以为噪声强度集合中噪声强度数量的10％，第二数量可以为噪声强度集合中噪声强度数量的10％，第一数量和第二数量可以相同也可以不同。
需要说明的是，在强噪声的场景下，得到的待估计视频的噪声强度较大，在4～8之间的几率较大；在弱噪声的场景下，得到的待估计视频的噪声强度较小，在0～1之间的几率较大。
综上所述，本公开上述实施例，提取待估计视频中纹理均匀的图像块，这样的图像块可能是被噪声污染的低频块，也可能是沙砾、水泥等天然弱纹理图像块。前者的高频信号能量化成噪声值，而后者会影响噪声强度估计的结果，使得估计出的噪声强度偏大；通过对图像块的纹理检测以及时域分析，可以筛选掉时序上稳定的天然弱纹理块，而保留时域上随机的被噪声污染的低频图像块，最后通过量化噪声污染的低频块的幅值系数，得到估测出的待估计视频的噪声强度，能调节降噪强度，从而改善视频的主观质量，还可以减少花费在编码噪声上的码率消耗，节约带宽成本的同时减少播放时的卡顿，提高秒开率，提升用户体验。
如图7所示，本公开实施例提供的一种噪声强度估计装置700，所述装置包括：
第一获取模块701，用于获取待估计视频中的目标帧图像；
第一处理模块702，用于对所述目标帧图像进行分块处理，获得第一图像块集合；
第一检测模块703，用于对所述第一图像块集合中的每一图像块进行纹 理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
第一分析模块704，用于对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合；
第一估计模块705，用于根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度。
本公开上述实施例中，通过对待估计视频中的目标帧图像进行分块处理，获得第一图像块集合，对第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合，并对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合，根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度，通过纹理检测可以得到均匀分布的图像块集合，再通过时域分析，可以消除时序上稳定的高频信号对噪声估计值的干扰，可以使得噪声估计值的结果更加精确和稳定，更好地修复噪声带来的画质失真，提升主观画质。
可选地，所述第一处理模块702，包括：
第一处理单元，用于对所述目标帧图像进行模糊处理，得到模糊图像；
第一提取单元，用于提取所述模糊图像的边缘特征图；
第二处理单元，用于将所述边缘特征图进行分块处理，获得分块处理后的第一图像块集合。
可选地，所述第一检测模块703，包括：
第一获取单元，用于根据S个预设模板，获取所述第一图像块集合中的每一图像块的像素方差值；
第一确定单元，用于根据所述第一图像块集合中的每一图像块的像素方差值，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
其中，S为正整数，且S大于1。
可选地，所述第一获取单元，包括：
第一提取子单元，用于根据所述S个预设模板中的第一预设模板的第一类采样点的第一位置以及第二类采样点的第二位置，提取所述第一图像块集 合中的目标图像块中，与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的第二像素值；
第一计算子单元，用于根据所述第一像素值和所述第二像素值，计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值；
第一获取子单元，用于根据关于所述第一预设模板的所述目标图像块的第一数值，获得关于所述S个预设模板的所述目标图像块的S个第一数值；
第二计算子单元，用于根据所述目标图像块的S个第一数值，计算所述目标图像块的像素方差值；
第二获取子单元，用于根据所述目标图像块的像素方差值，获得所述第一图像块集合中的每一图像块的像素方差值。
可选地，所述第二计算子单元，用于：
将所述目标图像块的S个第一数值进行方差计算，得到所述目标图像块的像素方差值。
可选地，所述第一确定单元，包括：
第一确定子单元，用于将所述第一图像块集合中的每一图像块的像素方差值与第一阈值进行比较，确定所述第一图像块集合中像素方差值小于所述第一阈值的图像块为具有均匀纹理的图像块；
第三获取子单元，用于根据所述第一图像块集合中多个具有均匀纹理的图像块，获得所述第一图像块集合中具有均匀纹理的第二图像块集合。
可选地，所述第一分析模块704，包括：
第二获取单元，用于获取所述第二图像块集合中的每一图像块的每一像素点的像素值以及参考信号块的每一像素点的像素值；
第一计算单元，用于计算所述第二图像块集合中的每一图像块的每一像素点的像素值与所述参考信号块的每一像素点的像素值之间差的平方之和的第二数值；
第二确定单元，用于将所述第二数值与第二阈值进行比较，确定所述第二图像块集合中第二数值大于或等于所述第二阈值的图像块为需要进行噪 声估计的图像块；
第三获取单元，用于根据所述第二图像块集合中多个需要进行噪声估计的图像块，获得所述第二图像块集合中需要进行噪声估计的第三图像块集合。
可选地，所述第一估计模块705，包括：
第四获取单元，用于将所述第三图像块集合中的每一图像块进行离散余弦变换DCT，获得第一幅值矩阵集合；
第三确定单元，用于根据所述第一幅值矩阵集合，确定所述第三图像块集合中需要噪声估计的第四图像块集合；
第五获取单元，用于根据所述第四图像块集合进行噪声估计，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合；
第六获取单元，用于根据所述噪声强度集合，获得所述待估计视频的噪声强度。
可选地，所述第三确定单元，包括：
第二确定子单元，用于将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值与第三阈值进行比较，确定所述第一幅值矩阵集合中目标幅值大于所述第三阈值的幅值矩阵为目标幅值矩阵；
第三确定子单元，用于根据多个所述目标幅值矩阵，确定所述第三图像块集合中需要噪声估计的第四图像块集合。
可选地，所述第五获取单元，包括：
第一判断子单元，用于判断每一所述目标幅值矩阵中的每一幅值是否处于第一范围内；
第四获取子单元，用于将每一所述目标幅值矩阵中处于所述第一范围内的幅值进行平均值计算，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合。
可选地，所述第六获取单元，包括：
第五获取子单元，用于将所述噪声强度集合进行筛选，获得筛选后的目标噪声强度集合；
第六获取子单元，用于将所述目标噪声强度集合中包含的目标噪声强度 进行平均值计算，获得所述待估计视频的噪声强度。
需要说明的是，该噪声强度估计装置实施例是与上述噪声强度估计方法相对应的装置，上述方法实施例的所有实现方式均适用于该装置实施例中，也能达到与其相同的技术效果，在此不再赘述。
综上所述，本公开上述实施例，提取待估计视频中纹理均匀的图像块，这样的图像块可能是被噪声污染的低频块，也可能是沙砾、水泥等天然弱纹理图像块。前者的高频信号能量化成噪声值，而后者会影响噪声强度估计的结果，使得估计出的噪声强度偏大；通过对图像块的纹理检测以及时域分析，可以筛选掉时序上稳定的天然弱纹理块，而保留时域上随机的被噪声污染的低频图像块，最后通过量化噪声污染的低频块的幅值系数，得到估测出的待估计视频的噪声强度，能调节降噪强度，从而改善视频的主观质量，还可以减少花费在编码噪声上的码率消耗，节约带宽成本的同时减少播放时的卡顿，提高秒开率，提升用户体验。
本公开实施例还提供了一种电子设备。如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。
存储器803，用于存放计算机程序。
处理器801用于执行存储器803上所存放的程序时，实现本公开实施例提供的一种噪声强度估计方法中的部分或者全部步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本公开提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的噪声强度估计方法。
在本公开提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的噪声强度估计方法。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进等，包含在本公开的保护范围内。

Claims (20)

  1. 一种噪声强度估计方法，其特征在于，所述方法包括：
    获取待估计视频中的目标帧图像；
    对所述目标帧图像进行分块处理，获得第一图像块集合；
    对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
    对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合；
    根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度。
  2. 根据权利要求1所述的方法，其特征在于，所述对所述目标帧图像进行分块处理，获得第一图像块集合，包括：
    对所述目标帧图像进行模糊处理，得到模糊图像；
    提取所述模糊图像的边缘特征图；
    将所述边缘特征图进行分块处理，获得分块处理后的第一图像块集合。
  3. 根据权利要求1所述的方法，其特征在于，所述对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合，包括：
    根据S个预设模板，获取所述第一图像块集合中的每一图像块的像素方差值；
    根据所述第一图像块集合中的每一图像块的像素方差值，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
    其中，S为正整数，且S大于1。
  4. 根据权利要求3所述的方法，其特征在于，所述根据S个预设模板，获取所述第一图像块集合中的每一图像块的像素方差值，包括：
    根据所述S个预设模板中的第一预设模板的第一类采样点的第一位置以及第二类采样点的第二位置，提取所述第一图像块集合中的目标图像块中，与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的 第二像素值；
    根据所述第一像素值和所述第二像素值，计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值；
    根据关于所述第一预设模板的所述目标图像块的第一数值，获得关于所述S个预设模板的所述目标图像块的S个第一数值；
    根据所述目标图像块的S个第一数值，计算所述目标图像块的像素方差值；
    根据所述目标图像块的像素方差值，获得所述第一图像块集合中的每一图像块的像素方差值。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述目标图像块的S个第一数值，计算所述目标图像块的像素方差值，包括：
    将所述目标图像块的S个第一数值进行方差计算，得到所述目标图像块的像素方差值。
  6. 根据权利要求3所述的方法，其特征在于，所述根据所述第一图像块集合中的每一图像块的像素方差值，确定所述第一图像块集合中具有均匀纹理的第二图像块集合，包括：
    将所述第一图像块集合中的每一图像块的像素方差值与第一阈值进行比较，确定所述第一图像块集合中像素方差值小于所述第一阈值的图像块为具有均匀纹理的图像块；
    根据所述第一图像块集合中多个具有均匀纹理的图像块，获得所述第一图像块集合中具有均匀纹理的第二图像块集合。
  7. 根据权利要求1所述的方法，其特征在于，所述对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合，包括：
    获取所述第二图像块集合中的每一图像块的每一像素点的像素值以及参考信号块的每一像素点的像素值；
    计算所述第二图像块集合中的每一图像块的每一像素点的像素值与所述参考信号块的每一像素点的像素值之间差的平方之和的第二数值；
    将所述第二数值与第二阈值进行比较，确定所述第二图像块集合中第二数值大于或等于所述第二阈值的图像块为需要进行噪声估计的图像块；
    根据所述第二图像块集合中多个需要进行噪声估计的图像块，获得所述第二图像块集合中需要进行噪声估计的第三图像块集合。
  8. 根据权利要求1所述的方法，其特征在于，所述根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度，包括：
    将所述第三图像块集合中的每一图像块进行离散余弦变换DCT，获得第一幅值矩阵集合；
    根据所述第一幅值矩阵集合，确定所述第三图像块集合中需要噪声估计的第四图像块集合；
    根据所述第四图像块集合进行噪声估计，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合；
    根据所述噪声强度集合，获得所述待估计视频的噪声强度。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述第一幅值矩阵集合，确定所述第三图像块集合中需要噪声估计的第四图像块集合，包括：
    将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值与第三阈值进行比较，确定所述第一幅值矩阵集合中目标幅值大于所述第三阈值的幅值矩阵为目标幅值矩阵；
    根据多个所述目标幅值矩阵，确定所述第三图像块集合中需要噪声估计的第四图像块集合。
  10. 根据权利要求9所述的方法，其特征在于，所述根据所述第四图像块集合进行噪声估计，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合，包括：
    判断每一所述目标幅值矩阵中的每一幅值是否处于第一范围内；
    将每一所述目标幅值矩阵中处于所述第一范围内的幅值进行平均值计算，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合。
  11. 根据权利要求8所述的方法，其特征在于，所述根据所述噪声强度集合，获得所述待估计视频的噪声强度，包括：
    将所述噪声强度集合进行筛选，获得筛选后的目标噪声强度集合；
    将所述目标噪声强度集合中包含的目标噪声强度进行平均值计算，获得所述待估计视频的噪声强度。
  12. 一种噪声强度估计装置，其特征在于，所述装置包括：
    第一获取模块，用于获取待估计视频中的目标帧图像；
    第一处理模块，用于对所述目标帧图像进行分块处理，获得第一图像块集合；
    第一检测模块，用于对所述第一图像块集合中的每一图像块进行纹理检测，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
    第一分析模块，用于对所述第二图像块集合中的每一图像块进行时域分析，确定所述第二图像块集合中需要进行噪声估计的第三图像块集合；
    第一估计模块，用于根据所述第三图像块集合进行噪声估计，获得所述待估计视频的噪声强度。
  13. 根据权利要求12所述的装置，其特征在于，所述第一处理模块，包括：
    第一处理单元，用于对所述目标帧图像进行模糊处理，得到模糊图像；
    第一提取单元，用于提取所述模糊图像的边缘特征图；
    第二处理单元，用于将所述边缘特征图进行分块处理，获得分块处理后的第一图像块集合。
  14. 根据权利要求12所述的装置，其特征在于，所述第一检测模块，包括：
    第一获取单元，用于根据S个预设模板，获取所述第一图像块集合中的每一图像块的像素方差值；
    第一确定单元，用于根据所述第一图像块集合中的每一图像块的像素方差值，确定所述第一图像块集合中具有均匀纹理的第二图像块集合；
    其中，S为正整数，且S大于1。
  15. 根据权利要求14所述的装置，其特征在于，所述第一获取单元，包括：
    第一提取子单元，用于根据所述S个预设模板中的第一预设模板的第一类采样点的第一位置以及第二类采样点的第二位置，提取所述第一图像块集合中的目标图像块中，与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的第二像素值；
    第一计算子单元，用于根据所述第一像素值和所述第二像素值，计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值；
    第一获取子单元，用于根据关于所述第一预设模板的所述目标图像块的第一数值，获得关于所述S个预设模板的所述目标图像块的S个第一数值；
    第二计算子单元，用于根据所述目标图像块的S个第一数值，计算所述目标图像块的像素方差值；
    第二获取子单元，用于根据所述目标图像块的像素方差值，获得所述第一图像块集合中的每一图像块的像素方差值。
  16. 根据权利要求14所述的装置，其特征在于，所述第一确定单元，包括：
    第一确定子单元，用于将所述第一图像块集合中的每一图像块的像素方差值与第一阈值进行比较，确定所述第一图像块集合中像素方差值小于所述第一阈值的图像块为具有均匀纹理的图像块；
    第三获取子单元，用于根据所述第一图像块集合中多个具有均匀纹理的图像块，获得所述第一图像块集合中具有均匀纹理的第二图像块集合。
  17. 根据权利要求12所述的装置，其特征在于，所述第一分析模块，包括：
    第二获取单元，用于获取所述第二图像块集合中的每一图像块的每一像素点的像素值以及参考信号块的每一像素点的像素值；
    第一计算单元，用于计算所述第二图像块集合中的每一图像块的每一像素点的像素值与所述参考信号块的每一像素点的像素值之间差的平方之和的第二数值；
    第二确定单元，用于将所述第二数值与第二阈值进行比较，确定所述第二图像块集合中第二数值大于或等于所述第二阈值的图像块为需要进行噪声估计的图像块；
    第三获取单元，用于根据所述第二图像块集合中多个需要进行噪声估计的图像块，获得所述第二图像块集合中需要进行噪声估计的第三图像块集合。
  18. 根据权利要求12所述的装置，其特征在于，所述第一估计模块，包括：
    第四获取单元，用于将所述第三图像块集合中的每一图像块进行离散余弦变换DCT，获得第一幅值矩阵集合；
    第三确定单元，用于根据所述第一幅值矩阵集合，确定所述第三图像块集合中需要噪声估计的第四图像块集合；
    第五获取单元，用于根据所述第四图像块集合进行噪声估计，获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合；
    第六获取单元，用于根据所述噪声强度集合，获得所述待估计视频的噪声强度。
  19. 根据权利要求18所述的装置，其特征在于，所述第三确定单元，包括：
    第二确定子单元，用于将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值与第三阈值进行比较，确定所述第一幅值矩阵集合中目标幅值大于所述第三阈值的幅值矩阵为目标幅值矩阵；
    第三确定子单元，用于根据多个所述目标幅值矩阵，确定所述第三图像块集合中需要噪声估计的第四图像块集合。
  20. 一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过通信总线完成相互间的 通信；
    存储器，用于存放计算机程序；
    处理器，用于执行存储器上所存放的程序时，实现如权利要求1至11任一项所述的噪声强度估计方法中的步骤。
PCT/CN2021/140932 2020-12-31 2021-12-23 噪声强度估计方法、装置及电子设备 WO2022143421A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011639129.9 2020-12-31
CN202011639129.9A CN112862753B (zh) 2020-12-31 2020-12-31 噪声强度估计方法、装置及电子设备

Publications (1)

Publication Number Publication Date
WO2022143421A1 true WO2022143421A1 (zh) 2022-07-07

Family

ID=76000520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/140932 WO2022143421A1 (zh) 2020-12-31 2021-12-23 噪声强度估计方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN112862753B (zh)
WO (1) WO2022143421A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993726A (zh) * 2023-09-26 2023-11-03 山东克莱蒙特新材料科技有限公司 一种矿物铸件检测方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862753B (zh) * 2020-12-31 2024-05-24 百果园技术(新加坡)有限公司 噪声强度估计方法、装置及电子设备
CN113674209A (zh) * 2021-07-20 2021-11-19 浙江大华技术股份有限公司 视频噪声检测方法、终端设备和计算机存储介质
CN113643210B (zh) * 2021-08-26 2024-09-03 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140193070A1 (en) * 2013-01-08 2014-07-10 Novatek Microelectronics Corp. Noise estimation apparatus and method thereof
CN105787893A (zh) * 2016-02-23 2016-07-20 西安电子科技大学 一种基于整数dct变换的图像噪声方差估计方法
US20170345131A1 (en) * 2016-05-30 2017-11-30 Novatek Microelectronics Corp. Method and device for image noise estimation and image capture apparatus
CN110503625A (zh) * 2019-07-02 2019-11-26 杭州电子科技大学 一种cmos图像信号相关噪声参数估计方法
CN111340839A (zh) * 2020-05-15 2020-06-26 杭州微帧信息科技有限公司 一种基于分块的视频噪声估计方法
CN112862753A (zh) * 2020-12-31 2021-05-28 百果园技术(新加坡)有限公司 噪声强度估计方法、装置及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910909A (en) * 1995-08-28 1999-06-08 C-Cube Microsystems, Inc. Non-linear digital filters for interlaced video signals and method thereof
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
WO2007096168A2 (en) * 2006-02-22 2007-08-30 Sony Deutschland Gmbh Method for discriminating textures regions and homogeneous or flat regions in an image and methods for estimating noise in an image sequence
CN101990057B (zh) * 2010-11-19 2012-05-30 清华大学 基于小波变换和块搜索的视频去噪方法和装置
CN107085839B (zh) * 2017-06-14 2020-01-07 西安电子科技大学 基于纹理增强与稀疏编码的sar图像降斑方法
CN109064418B (zh) * 2018-07-11 2022-03-08 成都信息工程大学 一种基于非局部均值的非均匀噪声图像去噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140193070A1 (en) * 2013-01-08 2014-07-10 Novatek Microelectronics Corp. Noise estimation apparatus and method thereof
CN105787893A (zh) * 2016-02-23 2016-07-20 西安电子科技大学 一种基于整数dct变换的图像噪声方差估计方法
US20170345131A1 (en) * 2016-05-30 2017-11-30 Novatek Microelectronics Corp. Method and device for image noise estimation and image capture apparatus
CN110503625A (zh) * 2019-07-02 2019-11-26 杭州电子科技大学 一种cmos图像信号相关噪声参数估计方法
CN111340839A (zh) * 2020-05-15 2020-06-26 杭州微帧信息科技有限公司 一种基于分块的视频噪声估计方法
CN112862753A (zh) * 2020-12-31 2021-05-28 百果园技术(新加坡)有限公司 噪声强度估计方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993726A (zh) * 2023-09-26 2023-11-03 山东克莱蒙特新材料科技有限公司 一种矿物铸件检测方法及系统
CN116993726B (zh) * 2023-09-26 2023-12-19 山东克莱蒙特新材料科技有限公司 一种矿物铸件检测方法及系统

Also Published As

Publication number Publication date
CN112862753A (zh) 2021-05-28
CN112862753B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
WO2022143421A1 (zh) 噪声强度估计方法、装置及电子设备
Liu et al. Practical signal-dependent noise parameter estimation from a single noisy image
WO2018214671A1 (zh) 一种失真图像的去失真方法、装置及电子设备
WO2011011445A1 (en) System and method for random noise estimation in a sequence of images
WO2020124873A1 (zh) 图像处理方法
CN107360435B (zh) 块效应检测方法、块噪声滤除方法及装置
Pei et al. A median filter method for image noise variance estimation
CN108932699B (zh) 基于变换域的三维匹配调和滤波图像去噪方法
CN101853497A (zh) 一种图像增强方法和装置
WO2014070489A1 (en) Recursive conditional means image denoising
Gong et al. Sub-window box filter
CN107392879B (zh) 一种基于参考帧的低照度监控图像增强方法
CN111445424A (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
Nevriyanto et al. Image enhancement using the image sharpening, contrast enhancement, and Standard Median Filter (Noise Removal) with pixel-based and human visual system-based measurements
CN105719251B (zh) 一种用于大像移线性模糊的压缩降质图像复原方法
Jeon et al. Low-light image enhancement using inverted image normalized by atmospheric light
Anjana et al. Color image enhancement using edge based histogram equalization
CN104616266B (zh) 一种基于广义自回归异方差模型的噪声方差估计方法
Park et al. Image enhancement for extremely low light conditions
CN109685729B (zh) 一种像素级阈值自适应的泊松去噪方法
Sonawane et al. Image quality assessment techniques: An overview
Sharma et al. A comparative analysis of various image enhancement techniques for facial images
Ishak et al. Image quality assessment for image filtering algorithm: Qualitative and quantitative analyses
CN107491746B (zh) 一种基于大梯度像素分析的人脸预筛选方法
Wang et al. Enhancement of low-light image based on wavelet u-net

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21914158

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21914158

Country of ref document: EP

Kind code of ref document: A1