WO2023011280A1 - 图像噪声程度估计方法、装置、电子设备及存储介质 - Google Patents

图像噪声程度估计方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023011280A1
WO2023011280A1 PCT/CN2022/108181 CN2022108181W WO2023011280A1 WO 2023011280 A1 WO2023011280 A1 WO 2023011280A1 CN 2022108181 W CN2022108181 W CN 2022108181W WO 2023011280 A1 WO2023011280 A1 WO 2023011280A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
noise
sample
noise level
Prior art date
Application number
PCT/CN2022/108181
Other languages
English (en)
French (fr)
Inventor
吴飞
Original Assignee
维沃移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 维沃移动通信有限公司 filed Critical 维沃移动通信有限公司
Publication of WO2023011280A1 publication Critical patent/WO2023011280A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present application belongs to the field of artificial intelligence, and specifically relates to an image noise degree estimation method, device, electronic equipment and storage medium.
  • the existing methods for estimating the image noise level mainly assume that the noise obeys a certain statistical distribution under normal lighting conditions, and then measure the image noise level by estimating the parameter values of the distribution.
  • the purpose of the embodiments of the present application is to provide a method, device, electronic device and storage medium for estimating image noise levels, which can solve the existing problems of inaccurate and low universality in estimating image noise levels.
  • the embodiment of the present application provides a method for estimating the degree of image noise, the method comprising:
  • the feature information determine a first estimated value and a second estimated value corresponding to the first image; wherein, the first estimated value is an estimated value that the first image belongs to a noise image, and the second estimated value The estimated value is an estimated value that the first image belongs to a noise-free image;
  • the difference is mapped to a target value within a preset continuous interval, and the target value is used as an estimated value of the noise level of the first image.
  • an image noise level estimation device which includes:
  • a first acquiring module configured to acquire a first image
  • a feature extraction module configured to extract feature information corresponding to the first image from the first image
  • An image estimation module configured to determine a first estimated value and a second estimated value corresponding to the first image according to the feature information; wherein the first estimated value is an estimate that the first image belongs to a noise image value, the second estimated value is an estimated value that the first image belongs to a noise-free image;
  • a difference calculation module configured to calculate a difference between the first estimated value and the second estimated value
  • a difference mapping module configured to map the difference to a target value within a preset continuous interval, and use the target value as an estimated value of the noise level of the first image.
  • an embodiment of the present application provides an electronic device, the electronic device includes a processor, a memory, and a program or instruction stored in the memory and operable on the processor, and the program or instruction is The processor implements the steps of the method described in the first aspect when executed.
  • an embodiment of the present application provides a readable storage medium, on which a program or an instruction is stored, and when the program or instruction is executed by a processor, the steps of the method described in the first aspect are implemented .
  • the embodiment of the present application provides a chip, the chip includes a processor and a communication interface, the communication interface is coupled to the processor, and the processor is used to run programs or instructions, so as to implement the first aspect The steps of the method.
  • the embodiment of the present application by extracting the feature information corresponding to the first image from the acquired first image, according to the feature information, it is determined that the first image belongs to the first estimated value of the noise image, and the first image belongs to the noise-free image
  • the second estimated value and then by mapping the difference between the first estimated value and the second estimated value to a target value within a preset continuous interval range, and using the target value as the estimated value of the noise level of the first image, Therefore, the estimation of the noise level of the first image can be realized without assuming whether the first image obeys a certain noise distribution, and the embodiment of the present application can estimate the noise level of the first image taken under any lighting condition, thereby improving The accuracy and universality of image noise level estimation are improved.
  • FIG. 1 is one of the flow charts of a method for estimating image noise levels according to an exemplary embodiment
  • Fig. 2 is a schematic diagram of a GRBG pixel array shown according to an exemplary embodiment
  • Fig. 3 is a schematic diagram of a Sigmoid activation function curve shown according to an exemplary embodiment
  • Fig. 4 is a schematic structural diagram of a noise level estimation model according to an exemplary embodiment
  • Fig. 5 is the second flowchart of a method for estimating image noise level according to an exemplary embodiment
  • Fig. 6a is an example diagram of a dark light image according to an exemplary embodiment
  • Fig. 6b is an example diagram of a Bayer image shown according to an exemplary embodiment
  • Fig. 6c is an example diagram of an image with Poisson noise added according to an exemplary embodiment
  • Fig. 6d is an example diagram of an image with Poisson noise and Gaussian noise added according to an exemplary embodiment
  • Fig. 6e is an example diagram of an RGB image according to an exemplary embodiment
  • Fig. 6f is an example diagram of a bilaterally filtered noisy dark light image according to an exemplary embodiment
  • Fig. 7 is a structural block diagram of a device for estimating image noise levels according to an exemplary embodiment
  • Fig. 8 is a structural block diagram of an electronic device according to an exemplary embodiment
  • FIG. 9 is a schematic diagram of a hardware structure of an electronic device implementing an embodiment of the present application.
  • the method for estimating the image noise level provided in the present application can be applied to the scene of estimating the image noise level.
  • the image noise level estimating method provided in the embodiment of the present application may be executed by an image noise level estimating device, or a control module in the image noise level estimating device for executing the image noise level estimating method.
  • the image noise level estimation method performed by the image noise level estimation device is taken as an example to illustrate the image noise level estimation method provided in the embodiment of the present application.
  • Fig. 1 is a flow chart showing a method for estimating image noise level according to an exemplary embodiment.
  • the method for estimating the image noise level may include steps 110 to 150 , which are specifically as follows.
  • Step 110 acquiring a first image.
  • the first image may be an image captured by the user, or may be an image obtained from an album. Ways to acquire the first image include but are not limited to user upload, real-time shooting, etc., which are not limited here.
  • the first image may contain certain noise, and the noise may be generated when the image is captured by an image sensor.
  • Step 120 extract feature information corresponding to the first image from the first image.
  • the feature information may be multi-dimensional information extracted from the first image, such as feature information extracted from the color dimension, and/or feature information extracted from the spatial dimension.
  • the spatial dimension may be the dimension of arrangement of pixels in the image.
  • feature information of other dimensions may also be extracted from the first image, which is not limited here.
  • step 120 may specifically include:
  • the first feature corresponding to the first image is extracted from the first image by using the first branch network in the noise level estimation model, and the first feature corresponding to the first image is extracted from the second image by using the second branch network in the noise level estimation model.
  • a second feature corresponding to an image is extracted from the first image by using the first branch network in the noise level estimation model, and the first feature corresponding to the first image is extracted from the second image by using the second branch network in the noise level estimation model.
  • feature information corresponding to the first image is generated.
  • the image features of the first image may be extracted from multiple dimensions using a pre-trained noise level estimation model.
  • the noise level estimation model may include at least two branch networks, and the noise level estimation model is used for estimating the noise level of the first image.
  • different branch networks may be used to perform feature extraction processing respectively.
  • the first feature may be, for example, a feature extracted from a color dimension
  • the second feature may be, for example, a feature extracted from a spatial dimension.
  • the Bayer image may be an image in which pixels are arranged in a GRBG pixel array, wherein the GRBG pixel array may be an array as shown in FIG. 2 . Since the Bayer image can make the model better distinguish the noise type and provide the model with more image noise information, the first image can be converted into the corresponding Bayer image before inputting the image into the noise degree estimation model, that is, the second Two images, to use the Bayer image to extract the spatial features of the arrangement of pixels in the first image.
  • the first image can be input to the first branch network, so as to use the first branch network to perform color feature extraction processing on the first image to obtain the first feature;
  • the Bayer image corresponding to the first image can also be , that is, the second image is input to the second branch network, so as to use the second branch network to perform spatial feature extraction processing on the second image to obtain the second feature, and then perform feature fusion on the first feature and the second feature, that is,
  • the first feature and the second feature can be stacked according to the channel dimension and then reshaped into a one-dimensional vector, and the one-dimensional vector can be the feature information corresponding to the first image. In this way, image features can be extracted from different dimensions.
  • the model can better distinguish the noise type and provide more noise information for the model, thereby improving the accuracy of the noise level estimation model for the noise level recognition of the first image .
  • the two dimensions of image color and pixel point arrangement are used to extract the features of the image, and provide the model with image feature information of different dimensions, so that the model can extract image features more comprehensively and accurately.
  • Step 130 Determine a first estimated value and a second estimated value corresponding to the first image according to the characteristic information.
  • the first estimated value may be an estimated value that the first image belongs to a noise image
  • the second estimated value may be an estimated value that the first image belongs to a noise-free image
  • the first image may be classified according to the extracted feature information, specifically, it may be classified into a noise image class and a noise-free image class.
  • the first estimated value may be an unnormalized probability value that the first image is a noise image
  • the second estimated value may be an unnormalized probability value that the first image is a noise-free image.
  • the first image may be classified through a binary classification network, and the logits output by the binary classification network may be used to obtain the first estimated value and the second estimated value.
  • step 130 may specifically include:
  • the feature information is input into the binary classification network in the noise level estimation model, the first image is classified by the binary classification network, and the first estimated value and the second estimated value corresponding to the first image are outputted.
  • the noise degree estimation model may further include a binary classification network, through which the first image may be classified, and then the first estimated value and the second estimated value may be obtained.
  • the feature information corresponding to the first image is input to the binary classification network in the noise level estimation model, and the binary classification network can be used to classify the first image.
  • the output logits are (90,10 )
  • the estimated value of the first image belongs to the noise image, that is, the first estimated value is 90
  • the estimated value of the first image belongs to the noise-free image, that is, the second estimated value is 10.
  • Step 140 calculating the difference between the first estimated value and the second estimated value.
  • the degree of noise of the first image may be represented by a difference between the first estimated value and the second estimated value.
  • the difference may be a value obtained by subtracting the second estimated value from the first estimated value.
  • the two can be calculated The difference is 2.5.
  • step 150 the difference is mapped to a target value within a preset continuous interval, and the target value is used as an estimated value of the noise level of the first image.
  • the preset continuous interval range may be, for example, [0,1], of course, it may also be other continuous interval ranges, which are not limited here.
  • the embodiment of the present application can estimate the noise level of the first image taken under any lighting conditions, thereby improving the estimation of the image noise level accuracy and generalizability.
  • the first branch network in the noise level estimation model mentioned above extracts the first feature corresponding to the first image from the first image, and uses the noise level estimation Before the second branch network in the model extracts the second feature corresponding to the first image from the second image, the method for estimating the image noise level provided by the embodiment of the present application may further include:
  • the transformation processing includes at least one of brightening processing and darkening processing, and N is a positive integer;
  • the first feature corresponding to the first image is extracted from the first image by using the first branch network in the noise level estimation model, and the first feature corresponding to the first image is extracted from the second image by using the second branch network in the noise level estimation model.
  • a second feature corresponding to an image including:
  • the first image may also be brightened and/or darkened to obtain corresponding brightened and/or darkened images, that is, the Nth Three images.
  • the N third images can also be converted into corresponding Bayer images, that is, N fourth images.
  • the pixel value of each pixel in the first image, its transformed image, and the Bayer image can also be divided by 255 for normalization, so as to facilitate subsequent calculations.
  • the normalized first image and N third images can be stacked according to the channel dimension, and the corresponding normalized Bayer images are also stacked according to the channel dimension, and input to the first branch network and the second branch respectively network.
  • the first branch network extracts the pixel value information of the image in the RGB three channels, that is, the color information, so that the acquired color feature is used as the first feature;
  • the second branch network can capture the arrangement information between pixels, so that the acquired space feature as the second feature.
  • the first branch network includes a first feature extraction subnetwork and a first cross attention subnetwork
  • the second branch network includes a second feature extraction subnetwork and a second cross attention subnetwork
  • the first branch network is used to extract color information from the first stacked image to obtain the first feature corresponding to the first image
  • the second branch network is used to extract spatial information from the second stacked image to obtain the first feature corresponding to the first image.
  • the second feature of can specifically include:
  • first feature extraction sub-network uses the first feature extraction sub-network to extract color information from the first stacked image to obtain the color features corresponding to the first image
  • second feature extraction sub-network uses the second feature extraction sub-network to extract spatial information from the second stacked image to obtain the color features corresponding to the first image spatial characteristics
  • the first processing result is fused with the spatial feature to obtain the second feature
  • the second processing result is fused with the color feature to obtain the first feature
  • CAB Cross Attention Block, cross-attention block
  • branch network that is, a cross-attention sub-network, which can be used for color features and Spatial features are combined.
  • the first branch network and the second branch network may be connected through a CAB.
  • the CAB can include a 1 ⁇ 1 convolutional layer and a Sigmoid function, which are used to perform dimensionality reduction and normalization processing on the input features, so that they can perform point multiplication operations with other features.
  • each image to be input is divided by 255 for normalization.
  • the first image, the darkened image, and the brightened image are stacked together according to the channel dimension to obtain a stacked image 42.
  • the Bayer images corresponding to these three images are also stacked accordingly to obtain a stacked image 43 .
  • the stacked image 42 is input to the color branch network 44, and the stacked image 43 is input to the space branch network 45, and after the corresponding feature extraction module, the color feature and the space feature can be obtained.
  • the color feature is processed by the CAB subnetwork 441, it is multiplied point by point with the spatial feature to obtain the cross color feature, and after the spatial feature is processed by the CAB subnetwork 451, it is multiplied point by point with the color feature to obtain the cross space feature . Then, stack the cross color feature and cross space feature according to the channel dimension, and generate a one-dimensional vector through the reshape function 46, input it to the classifier 47, and output the binary classification result 471, and then calculate the difference of the binary classification result 471 After the operation, the obtained difference is mapped to a target value in the interval [0,1] by using the Sigmoid function, and the target value is determined as the estimated value of the noise level of the first image.
  • the noise level estimation model before using the above noise level estimation model to estimate the noise level of the image, the noise level estimation model can be trained.
  • the method for estimating the degree of image noise may also include:
  • Step 1201 acquire a first sample image.
  • the first sample image may be a noise-free original sample image obtained from a sample image library, or a noise-free sample image obtained through transformation based on the original sample image, wherein the transformation method includes but is not limited to Darken, brighten, etc.
  • the electronic device In the process of using an electronic device to take pictures in a dark scene, due to insufficient light, the electronic device usually uses a higher ISO (International Standardization Organization, International Standardization Organization) standard to shoot to ensure the clarity of the captured image.
  • ISO International Standardization Organization
  • the model when the first image is an image captured in a dark-light scene, the model may be trained for a low-light shooting scene.
  • the acquired first sample image may be a noise-free sample image obtained after darkening, so that the model trained from the dark-light image can predict the noise level of the dark-light image more specifically .
  • the method for estimating the image noise level provided by the embodiment of the present application may further include:
  • the lightness V channel in the HSV color space corresponding to the original image is randomly darkened to obtain multiple noise-free sample images; wherein, the random darkening process includes at least one of linear darkening and exponential darkening, and multiple noise-free
  • the sample image includes a first sample image
  • the above-mentioned step 110 may specifically include:
  • a first sample image is obtained from a plurality of noise-free sample images.
  • the original image may be a noise-free original sample image obtained from a sample image library.
  • the RGB color space can be a space with red (Red), green (Green), and blue (Blue) as color parameters
  • the HSV color space can be with hue (Hue), saturation (Saturation), and lightness (Value) as color parameters Space.
  • the original image can be converted from the RGB color space to the HSV color space first, and then the value of the V channel is divided by 255 to normalize the value of the V channel to between 0 and 1. Then, random dimming is performed on the V channel, wherein random selection can be made from the following three dimming methods: linear dimming, random exponential dimming, and a combination of the two. In this way, a plurality of dark light maps with different darkening degrees can be obtained, and any image from the plurality of dark light maps can be selected as the first sample image, for example, the dark light map shown in Figure 6a is selected as the first sample image. this image.
  • the original image is darkened, and then any image is selected from multiple dark and noise-free sample images as the first sample image, so that in the subsequent model training process, Targeted processing of low-light images enables the model to more accurately predict the noise level of low-light images.
  • Step 1202 converting the first sample image into a corresponding first target image.
  • the first sample image as shown in Figure 6a can be converted from an RGB image to a Bayer image in the arrangement of a GRBG pixel array, that is, mosaicized, to obtain the first target image, and its image effect is shown in Figure 6b shown.
  • Step 1203 adding preset noise to the first target image to obtain a first noise image; wherein, the preset noise includes at least one of Poisson noise and Gaussian noise.
  • the first target image can be Add Poisson noise
  • the variance range of Poisson noise can be set to 0.5 ⁇ 1
  • the noise map obtained after noise synthesis is shown in Figure 6c.
  • the current signal obtained by the electronic device after the image is taken needs to be amplified by the analog amplifier, and the read noise (read noise) generated in the process of amplifying the signal by the analog amplifier obeys the Gaussian distribution, therefore, it can be shown in Figure 6c Gaussian noise is further added to the noise map, and the variance range can be set to 0.5 to 1.
  • the noise map obtained after synthesis that is, the first noise image, has an image effect as shown in Figure 6d.
  • the order of adding the Poisson noise and the Gaussian noise can be changed, that is, the Gaussian noise is added first, and then the Poisson noise is added, which is not limited here.
  • Step 1204 converting the first noise image into a corresponding second target image.
  • the first noise image may be converted from a noisy Bayer image to an RGB image, that is, demosaiced, to obtain a second target image, and its image effect is shown in FIG. 6e.
  • Step 1205 denoising the second target image to obtain a second sample image; wherein, the first target image and the first noise image are Bayer images, and the first sample image and the second target image are RGB images.
  • the electronic equipment Since the electronic equipment itself has an ISP (Image Signal Processing, image signal processing) module, it can process the image including black level compensation, color interpolation (demosaic), denoising, automatic white balance, color correction, etc., therefore,
  • ISP Image Signal Processing, image signal processing
  • the embodiment of the present application can use bilateral filtering to denoise the second target image as shown in Figure 6e, and remove a small amount of noise under the premise of ensuring that the image edge is clear, and obtain The image effect of the noise-added dark-light image, that is, the second sample image, is shown in FIG. 6f.
  • the method for estimating the image noise level provided in the embodiment of the present application may further include:
  • the data augmentation processing includes at least one of random flipping, random rotation, random cropping, and random tone transformation item;
  • the above-mentioned step 130 may specifically include:
  • data augmentation can be performed on the second sample image to enrich the noise image sample set corresponding to the first sample image , such as performing random flipping, random rotation, random cropping, and random hue transformation on the second sample image, which is not limited herein.
  • the first sample image can be combined with any one of the noisy sample images, so that multiple The positive and negative sample pairs are used for training.
  • Step 1206 using the first sample image and the second sample image as positive and negative sample pairs, training an initial noise level estimation model until the initial noise level estimation model converges, and a noise level estimation model is obtained.
  • the sample images used when training the initial noise level estimation model may include multiple positive and negative sample pairs, here only the first sample image and the second sample image are used as positive and negative sample pairs to train the initial noise level estimation model as an example.
  • the initial noise level estimation model may be a neural network that divides images into two types: noisy and non-noisy.
  • a negative sample label may be added to the first sample image
  • a positive sample label may be added to the second sample image.
  • the classification result output by the initial noise level estimation model can be the result obtained before the activation function is input, such as the logits output by the binary classification network, that is, the logarithm of the ratio of event occurrence to non-occurrence, which means unnormalized in the neural network The probability. Since the classification result output by the binary classification network is a two-dimensional value, such as (a,b), where a represents the unnormalized probability that the image is a noisy image, and b represents the unnormalized probability that the image is a noise-free image. Normalized probability.
  • the two-dimensional value can be mapped to a preset continuous interval range
  • a target activation function such as Sigmoid, Tanh, etc.
  • the image taken by the user or the noisy image obtained by other means, such as the first image can be input into the noise degree estimation model, and the corresponding image can be outputted. Noise level estimate.
  • the constructed noise sample image can be closer to the real noise image, and compared with the existing method of directly using the real noise image, artificially adding noise in the embodiment of the present application can
  • the degree of added noise is more controllable, so that a more ideal noise sample image is obtained, and the model trained according to the noise sample image is also more accurate.
  • the initial noise level estimation model can be trained, and then the noise level estimation model can be obtained. In this way, when training the binary classification network, it is only necessary to construct positive and negative sample pairs containing noisy images and noise-free images, and there is no need to label the noise level of each sample image, so the construction cost of the model can be reduced.
  • the present application also provides an image noise degree estimation device.
  • the apparatus for estimating the image noise level provided by the embodiment of the present application will be described in detail below with reference to FIG. 7 .
  • Fig. 7 is a structural block diagram of a device for estimating image noise levels according to an exemplary embodiment.
  • the image noise degree estimation device 700 may include:
  • a feature extraction module 702 configured to extract feature information corresponding to the first image from the first image
  • the image estimation module 703 is configured to determine a first estimated value and a second estimated value corresponding to the first image according to the characteristic information; wherein, the first estimated value is an estimated value that the first image belongs to a noise image, and the second estimated value is The first image belongs to the estimated value of the noise-free image;
  • the difference mapping module 705 is configured to map the difference to a target value within a preset continuous interval, and use the target value as an estimated value of the noise level of the first image.
  • the above-mentioned feature extraction module 702 may specifically include:
  • the first conversion sub-module is used to convert the first image into a corresponding second image; wherein, the second image is a Bayer image;
  • the feature extraction sub-module is used to extract the first feature corresponding to the first image from the first image by using the first branch network in the noise level estimation model, and, using the second branch network in the noise level estimation model, from extracting a second feature corresponding to the first image from the second image;
  • the information generation sub-module is used to generate feature information corresponding to the first image according to the first feature and the second feature.
  • the above-mentioned image estimation module 703 may specifically include:
  • the image classification sub-module is used to input the feature information into the binary classification network in the noise degree estimation model, utilize the binary classification network to classify the first image, and output the first estimated value and the second estimated value corresponding to the first image .
  • the feature extraction module 702 may also include:
  • the transformation processing sub-module is used to extract the first feature corresponding to the first image from the first image by using the first branch network in the noise level estimation model, and to use the second branch network in the noise level estimation model, Before extracting the second feature corresponding to the first image from the second image, the first image is transformed to obtain N third images corresponding to the first image; wherein, the transformation process includes brightening and darkening. At least one of, N is a positive integer;
  • the second conversion sub-module is used to convert N third images into corresponding N fourth images; wherein, the fourth image is a Bayer image;
  • the above-mentioned feature extraction sub-module may specifically include:
  • An image stacking unit configured to stack the first image and N third images according to the channel dimension to obtain a first stacked image, and stack the second image and N fourth images according to the channel dimension to obtain a second stacked image;
  • the feature extraction unit is used to extract color information from the first stacked image by using the first branch network to obtain the first feature corresponding to the first image, and extract spatial information from the second stacked image by using the second branch network to obtain the first feature corresponding to the first stacked image.
  • the first branch network may include a first feature extraction subnetwork and a first cross attention subnetwork
  • the second branch network may include a second feature extraction subnetwork and a second cross attention subnetwork
  • the above-mentioned feature extraction unit may specifically include:
  • the feature extraction subunit is used to extract color information from the first stacked image by using the first feature extraction subnetwork to obtain color features corresponding to the first image, and extract spatial information from the second stacked image by using the second feature extraction subnetwork , to obtain the spatial features corresponding to the first image;
  • the feature processing subunit is used to preprocess the color feature by using the first cross-attention subnetwork to obtain the first processing result, and use the second cross-attention subnetwork to preprocess the spatial feature to obtain the second processing result ;
  • the feature fusion subunit is configured to fuse the first processing result with the spatial feature to obtain the second feature, and fuse the second processing result with the color feature to obtain the first feature.
  • the above image noise level estimating device 700 may also include:
  • a sample acquisition module configured to acquire a first sample image before extracting feature information corresponding to the first image from the first image
  • a first conversion module configured to convert the first sample image into a corresponding first target image
  • a noise adding module configured to add preset noise to the first target image to obtain a first noise image; wherein the preset noise includes at least one of Poisson noise and Gaussian noise;
  • a second conversion module configured to convert the first noise image into a corresponding second target image
  • the image denoising module is used to denoise the second target image to obtain a second sample image; wherein, the first target image and the first noise image are Bayer images, and the first sample image and the second target image are RGB image;
  • the model training module is used to use the first sample image and the second sample image as positive and negative sample pairs to train the initial noise level estimation model until the initial noise level estimation model converges to obtain the noise level estimation model.
  • the above image noise level estimating device 700 may also include:
  • the data augmentation module is used to perform data augmentation processing on the second sample image after performing denoising processing on the second target image to obtain the second sample image to obtain a plurality of noisy samples corresponding to the first sample image An image; wherein, the data augmentation process includes at least one of random flipping, random rotation, random cropping, and random hue transformation;
  • the above model training modules may specifically include:
  • Combining sub-modules which are used to combine the first sample image with any image in a plurality of noisy sample images to obtain a plurality of positive and negative sample pairs;
  • the training sub-module is used to train the initial noise degree estimation model using multiple positive and negative sample pairs.
  • the above image noise level estimating device 700 may also include:
  • the second acquisition module is used to acquire the original image before acquiring the first sample image
  • a space conversion module for converting the original image from the RGB color space to the HSV color space
  • the darkening processing module is used to randomly darken the lightness V channel in the HSV color space corresponding to the original image to obtain a plurality of noise-free sample images; wherein, the random darkening process includes at least one of linear darkening and exponential darkening.
  • the first sample image is included in a plurality of noise-free sample images;
  • the embodiment of the present application can estimate the noise level of the first image taken under any lighting conditions, thereby improving the image noise level Estimated accuracy and generalizability.
  • the apparatus for estimating the image noise level in the embodiment of the present application may be a device, or may be a component, an integrated circuit, or a chip in a terminal.
  • the device may be a mobile electronic device or a non-mobile electronic device.
  • the mobile electronic device may be a mobile phone, a tablet computer, a notebook computer, a handheld computer, a vehicle electronic device, a wearable device, an ultra-mobile personal computer (ultra-mobile personal computer, UMPC), a netbook or a personal digital assistant (personal digital assistant).
  • non-mobile electronic devices can be servers, network attached storage (Network Attached Storage, NAS), personal computer (personal computer, PC), television (television, TV), teller machine or self-service machine, etc., this application Examples are not specifically limited.
  • Network Attached Storage NAS
  • personal computer personal computer, PC
  • television television
  • teller machine or self-service machine etc.
  • the apparatus for estimating the image noise level in the embodiment of the present application may be an apparatus with an operating system.
  • the operating system may be an Android operating system, an iOS operating system, or other possible operating systems, which are not specifically limited in this embodiment of the present application.
  • the apparatus for estimating the image noise level provided by the embodiment of the present application can implement various processes implemented by the method embodiments in FIG. 1 to FIG. 6 , and details are not repeated here to avoid repetition.
  • the embodiment of the present application also provides an electronic device 800, including a processor 801, a memory 802, and a program or instruction stored in the memory 802 and operable on the processor 801.
  • the program when the instruction is executed by the processor 801, each process of the above-mentioned embodiment of the method for estimating the image noise level can be achieved, and the same technical effect can be achieved. To avoid repetition, details are not repeated here.
  • the electronic devices in the embodiments of the present application include the above-mentioned mobile electronic devices and non-mobile electronic devices.
  • FIG. 9 is a schematic diagram of a hardware structure of an electronic device implementing an embodiment of the present application.
  • the electronic device 900 includes, but is not limited to: a radio frequency unit 901, a network module 902, an audio output unit 903, an input unit 904, a sensor 905, a display unit 906, a user input unit 907, an interface unit 908, a memory 909, and a processor 910, etc. part.
  • the electronic device 900 can also include a power supply (such as a battery) for supplying power to various components, and the power supply can be logically connected to the processor 910 through the power management system, so that the management of charging, discharging, and function can be realized through the power management system. Consumption management and other functions.
  • a power supply such as a battery
  • the structure of the electronic device shown in FIG. 9 does not constitute a limitation to the electronic device.
  • the electronic device may include more or fewer components than shown in the figure, or combine some components, or arrange different components, which will not be repeated here. .
  • the processor 910 is configured to acquire the first image; extract feature information corresponding to the first image from the first image; determine a first estimated value and a second estimated value corresponding to the first image according to the feature information; wherein , the first estimated value is the estimated value that the first image belongs to the noise image, and the second estimated value is the estimated value that the first image belongs to the noise-free image; calculate the difference between the first estimated value and the second estimated value; the difference The value is mapped to a target value within a preset continuous interval range, and the target value is used as an estimated value of the noise level of the first image.
  • the embodiment of the present application can estimate the noise level of the first image taken under any lighting conditions, thereby improving the image noise level Estimated accuracy and generalizability.
  • the processor 910 is further configured to convert the first image into a corresponding second image; wherein the second image is a Bayer image; using the first branch network in the noise degree estimation model, from the first image Extracting the first feature corresponding to the first image, and using the second branch network in the noise degree estimation model to extract the second feature corresponding to the first image from the second image; according to the first feature and the second feature, Feature information corresponding to the first image is generated.
  • the processor 910 is also configured to input the feature information into the binary classification network in the noise level estimation model, use the binary classification network to classify the first image, and output the first estimated value corresponding to the first image and second estimate.
  • the processor 910 is further configured to perform transformation processing on the first image to obtain N third images corresponding to the first image; wherein the transformation processing includes at least one of brightening processing and darkening processing, N is a positive integer; N third images are converted into corresponding N fourth images; wherein, the fourth image is a Bayer image; and, the first image and N third images are stacked according to the channel dimension to obtain the first Stacking images, stacking the second image and N fourth images according to the channel dimension to obtain a second stacked image; using the first branch network to extract color information from the first stacked image to obtain the first feature corresponding to the first image, Spatial information is extracted from the second stacked image by using the second branch network to obtain a second feature corresponding to the first image.
  • the transformation processing includes at least one of brightening processing and darkening processing, N is a positive integer; N third images are converted into corresponding N fourth images; wherein, the fourth image is a Bayer image; and, the first image and N third images are stacked according to the channel dimension
  • the processor 910 is further configured to use the first feature extraction subnetwork to extract color information from the first stacked image to obtain color features corresponding to the first image, and use the second feature extraction subnetwork to extract color information from the second stacked image Extract the spatial information from the first image to obtain the spatial features corresponding to the first image; use the first cross-attention sub-network to preprocess the color features to obtain the first processing result, and use the second cross-attention sub-network to process the spatial features Preprocessing to obtain a second processing result; fusing the first processing result with the spatial feature to obtain the second feature, and fusing the second processing result with the color feature to obtain the first feature.
  • the processor 910 is further configured to acquire a first sample image; convert the first sample image into a corresponding first target image; add preset noise to the first target image to obtain a first noise image; wherein , the preset noise includes at least one of Poisson noise and Gaussian noise; converting the first noise image into a corresponding second target image; performing denoising processing on the second target image to obtain a second sample image; wherein, A target image and the first noise image are Bayer images, and the first sample image and the second target image are RGB images; the first sample image and the second sample image are used as positive and negative sample pairs to train the initial noise level estimation model, Until the initial noise level estimation model converges, the noise level estimation model is obtained.
  • the processor 910 is further configured to perform data augmentation processing on the second sample image to obtain a plurality of noise sample images corresponding to the first sample image; wherein, the data augmentation processing includes random flipping, random rotation, At least one of random cropping and random tone transformation; and, combining the first sample image with any image in a plurality of noise sample images to obtain a plurality of positive and negative sample pairs; using a plurality of positive and negative sample pairs for training Initial noise level estimation model.
  • the embodiment of the present application can estimate the noise level of the first image taken under any lighting conditions, thereby improving the estimation of the image noise level accuracy and generalizability.
  • the input unit 904 may include a graphics processor (Graphics Processing Unit, GPU) 9041 and a microphone 9042, and the graphics processor 9041 is used for the image capture device (such as the image data of the still picture or video obtained by the camera) for processing.
  • the display unit 906 may include a display panel 9061, and the display panel 9061 may be configured in the form of a liquid crystal display, an organic light emitting diode, or the like.
  • the user input unit 907 includes a touch panel 9071 and other input devices 9072 .
  • the touch panel 9071 is also called a touch screen.
  • the touch panel 9071 may include two parts, a touch detection device and a touch controller.
  • Other input devices 9072 may include, but are not limited to, physical keyboards, function keys (such as volume control buttons, switch buttons, etc.), trackballs, mice, and joysticks, which will not be repeated here.
  • the memory 909 can be used to store software programs as well as various data, including but not limited to application programs and operating systems.
  • the processor 910 may integrate an application processor and a modem processor, wherein the application processor mainly processes an operating system, user interface, application program, etc., and the modem processor mainly processes wireless communication. It can be understood that the foregoing modem processor may not be integrated into the processor 910 .
  • the embodiment of the present application also provides a readable storage medium, the readable storage medium stores a program or an instruction, and when the program or instruction is executed by a processor, each process of the above embodiment of the method for estimating the image noise level is implemented, and can To achieve the same technical effect, in order to avoid repetition, no more details are given here.
  • the processor is the processor in the electronic device described in the above embodiments.
  • the readable storage medium includes computer readable storage medium, such as computer read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk, etc.
  • the embodiment of the present application further provides a chip, the chip includes a processor and a communication interface, the communication interface is coupled to the processor, and the processor is used to run programs or instructions to implement the above method for estimating the image noise level
  • the chip includes a processor and a communication interface
  • the communication interface is coupled to the processor
  • the processor is used to run programs or instructions to implement the above method for estimating the image noise level
  • chips mentioned in the embodiments of the present application may also be called system-on-chip, system-on-chip, system-on-a-chip, or system-on-a-chip.
  • the term “comprising”, “comprising” or any other variation thereof is intended to cover a non-exclusive inclusion such that a process, method, article or apparatus comprising a set of elements includes not only those elements, It also includes other elements not expressly listed, or elements inherent in the process, method, article, or device. Without further limitations, an element defined by the phrase “comprising a " does not preclude the presence of additional identical elements in the process, method, article, or apparatus comprising that element.
  • the scope of the methods and devices in the embodiments of the present application is not limited to performing functions in the order shown or discussed, and may also include performing functions in a substantially simultaneous manner or in reverse order according to the functions involved. Functions are performed, for example, the described methods may be performed in an order different from that described, and various steps may also be added, omitted, or combined. Additionally, features described with reference to certain examples may be combined in other examples.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像噪声程度估计方法、装置、电子设备及存储介质，属于人工智能领域。该图像噪声程度估计方法包括：获取第一图像；从所述第一图像中提取与所述第一图像对应的特征信息；根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；计算所述第一估计值和所述第二估计值之间的差值；将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。

Description

图像噪声程度估计方法、装置、电子设备及存储介质
相关申请的交叉引用
本申请要求享有于2021年08月02日提交的名称为“图像噪声程度估计方法、装置、电子设备及存储介质”的中国专利申请202110880750.2的优先权，该申请的全部内容通过引用并入本文中。
技术领域
本申请属于人工智能领域，具体涉及一种图像噪声程度估计方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的不断发展，人们对图像质量的要求也越来越高。由于电子设备在拍照过程中会产生大量热量，这些热量均匀分布在电子设备的CMOS晶体单元上，形成杂色斑点，即图像噪声，因此，往往需要对电子设备拍摄的图像进行降噪处理。在进行图像降噪过程中，若降噪程度过轻则会导致噪声去除不干净，而降噪程度过重则会导致图像变模糊，因此，通常需要对图像的噪声程度进行预估，从而为后续图像降噪过程中所需要依据的图像降噪的程度提供参考。
现有的图像噪声程度估计方式，主要是在正常光照条件下，假设噪声服从某种统计分布，进而通过估计该分布的参数值来衡量图像的噪声程度。
这样，由于现有技术主要针对的是正常光照条件下的图像噪声程度估计，因此，对其他光照条件下拍摄的图像中包含的噪声往往估计不准确。另外，其还需要依赖很强的假设条件，例如假设图像噪声服从某种噪声分布，但是现实的噪声类型千差万别，难以对所有噪声使用单一的某种特定的分布来建模。因此，对图像噪声程度的估计往往不够准确，且普适性较 低。
发明内容
本申请实施例的目的是提供一种图像噪声程度估计方法、装置、电子设备及存储介质，能够解决现有的对图像噪声程度的估计不够准确、普适性较低的问题。
第一方面，本申请实施例提供了一种图像噪声程度估计方法，该方法包括：
获取第一图像；
从所述第一图像中提取与所述第一图像对应的特征信息；
根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；
计算所述第一估计值和所述第二估计值之间的差值；
将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
第二方面，本申请实施例提供了一种图像噪声程度估计装置，该装置包括：
第一获取模块，用于获取第一图像；
特征提取模块，用于从所述第一图像中提取与所述第一图像对应的特征信息；
图像估计模块，用于根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；
差值计算模块，用于计算所述第一估计值和所述第二估计值之间的差值；
差值映射模块，用于将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤。
在本申请实施例中，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
附图说明
图1是根据一示例性实施例示出的图像噪声程度估计方法的流程图之一；
图2是根据一示例性实施例示出的GRBG像素阵列示意图；
图3是根据一示例性实施例示出的Sigmoid激活函数曲线示意图；
图4是根据一示例性实施例示出的噪声程度估计模型结构示意图；
图5是根据一示例性实施例示出的图像噪声程度估计方法的流程图之二；
图6a是根据一示例性实施例示出的暗光图像示例图；
图6b是根据一示例性实施例示出的Bayer图像示例图；
图6c是根据一示例性实施例示出的添加泊松噪声的图像示例图；
图6d是根据一示例性实施例示出的添加泊松噪声和高斯噪声的图像示例图；
图6e是根据一示例性实施例示出的RGB图像示例图；
图6f是根据一示例性实施例示出的经双边滤波的加噪暗光图像示例图；
图7是根据一示例性实施例示出的一种图像噪声程度估计装置的结构框图；
图8是根据一示例性实施例示出的一种电子设备的结构框图；
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像噪声程度估计方法、装置、电子设备及存储介质进行详细地说明。
本申请所提供的图像噪声程度估计方法，可以应用于对图像的噪声程度进行估计的场景中。另外，本申请实施例提供的图像噪声程度估计方法，执行主体可以为图像噪声程度估计装置，或者该图像噪声程度估计装置中的用于执行图像噪声程度估计方法的控制模块。本申请实施例中以图 像噪声程度估计装置执行图像噪声程度估计方法为例，说明本申请实施例提供的图像噪声程度估计方法。
图1是根据一示例性实施例示出的一种图像噪声程度估计方法的流程图。
如图1所示，该图像噪声程度估计方法可以包括步骤110至步骤150，具体如下所示。
步骤110，获取第一图像。
这里，第一图像可以是用户拍摄得到的图像，也可以是从相册获取的图像。获取第一图像的方式包括但不限于用户上传、实时拍摄等，在此不做限定。该第一图像中可包含一定的噪声，该噪声可以是利用图像传感器拍摄该图像时所产生的噪声。
步骤120，从第一图像中提取与第一图像对应的特征信息。
这里，特征信息可以是从第一图像中提取的多维度信息，例如从颜色维度提取的特征信息，和/或从空间维度提取的特征信息。其中，空间维度可以是图像中像素点排列的维度。当然，还可以从第一图像中提取其他维度的特征信息，在此不做限定。
在一种可选实施方式中，上述步骤120，具体可以包括：
将第一图像转换为对应的第二图像；其中，第二图像为拜耳Bayer图像；
利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征；
根据第一特征和第二特征，生成与第一图像对应的特征信息。
这里，为了提高图像特征提取的多样性，可利用预先训练的噪声程度估计模型从多个维度提取第一图像的图像特征。其中，噪声程度估计模型中可包括至少两个分支网络，该噪声程度估计模型用于对第一图像的噪声程度进行估计。具体的，根据特征提取维度的不同，可利用不同的分支网络分别进行特征提取处理。其中，第一特征例如可以是从颜色维度提取的特征，第二特征例如可以是从空间维度提取的特征。
另外，Bayer图像可以是将像素点以GRBG像素阵列的排列方式排列的图像，其中，GRBG像素阵列可以是如图2所示的阵列。由于Bayer图像可以让模型更好地区分噪声类型，给模型提供更多图像噪声信息，因此，可在将图像输入至噪声程度估计模型之前，将第一图像转换为对应的Bayer图像，也即第二图像，以利用Bayer图像提取第一图像中像素点排列的空间特征。
示例性地，可将第一图像输入至第一分支网络，以利用第一分支网络对第一图像进行颜色特征提取处理，得到第一特征；另外，还可将与第一图像对应的Bayer图像，也即第二图像，输入至第二分支网络，以利用第二分支网络对第二图像进行空间特征提取处理，得到第二特征，进而对第一特征和第二特征进行特征融合，即可生成与第一图像对应的特征信息，例如可将第一特征和第二特征按通道维度进行堆叠后重塑成一维向量，该一维向量即可为与第一图像对应的特征信息。如此，可实现从不同维度进行图像特征的提取。
这样，通过将第一图像转换为对应的Bayer图像，可以使模型更好地区分噪声类型，为模型提供更多的噪声信息，从而提升噪声程度估计模型对第一图像的噪声程度识别的准确性。另外，图像颜色和像素点排列两个维度来提取图像的特征，给模型提供不同维度的图像特征信息，从而使模型对图像特征的提取更为全面和准确。
步骤130，根据特征信息，确定与第一图像对应的第一估计值和第二估计值。
其中，第一估计值可以为第一图像属于噪声图像的估计值，第二估计值为第一图像属于无噪声图像的估计值。
这里，可根据提取的特征信息对第一图像进行分类，具体可分为噪声图像类和无噪声图像类。其中，第一估计值可以是第一图像为噪声图像的未归一化的概率值，第二估计值可以是第一图像为无噪声图像的未归一化的概率值。示例性地，可通过二分类网络对第一图像进行分类处理，该二分类网络输出的logits即可用于获取第一估计值和第二估计值。
在一种可选实施方式中，上述步骤130，具体可以包括：
将特征信息输入至噪声程度估计模型中的二分类网络，利用二分类网络对第一图像进行分类，输出得到与第一图像对应的第一估计值和第二估计值。
这里，噪声程度估计模型中还可包括二分类网络，通过该二分类网络可对第一图像进行分类，进而得到第一估计值和第二估计值。
在一个具体例子中，将与第一图像对应的特征信息输入至噪声程度估计模型中的二分类网络，即可利用该二分类网络对第一图像进行分类，当输出的logits为(90,10)时，则可得到第一图像属于噪声图像的估计值，也即第一估计值为90，第一图像属于无噪声图像的估计值，也即第二估计值为10。
如此，通过二分类网络对第一图像进行分类，可综合考虑各种噪声，无需区分其中具体包含哪些噪声类型，即可实现对第一图像中是否具有图像噪声以及噪声程度的准确预估，从而可以提高后续噪声程度估计值的准确性。
步骤140，计算第一估计值和第二估计值之间的差值。
这里，可通过第一估计值与第二估计值之间的差值来表示第一图像的噪声程度。具体地，该差值可以是第一估计值减去第二估计值得到的值。
例如，当第一图像属于噪声图像的估计值，也即第一估计值，为6.25，第一图像属于无噪声图像的估计值，也即第二估计值，为3.75，则可计算得到二者差值为2.5。
步骤150，将差值映射为预设连续区间范围内的目标值，将目标值作为第一图像的噪声程度估计值。
其中，预设连续区间范围例如可以是[0,1]，当然，也可以是其他连续的区间范围，在此不做限定。
在一个具体例子中，若第一估计值与第二估计值之间的差值为2.5，预设连续区间范围为[0,1]，则可通过二分类网络中设置的Sigmoid激活函数，将2.5映射为[0,1]中的某个值，如图3所示，当x＝2.5时，可映射为0.91左右的值，也即，该第一图像的噪声程度估计值为0.91。
需要说明的是，在预设连续区间范围为[0,1]的情况下，最终得到的 噪声程度估计值越靠近1说明图像噪声程度越高，越靠近0说明图像噪声程度越低。
这样，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
基于此，在一种可选实施方式中，在上述涉及的利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征之前，本申请实施例提供的图像噪声程度估计方法还可以包括：
对第一图像进行变换处理，得到与第一图像对应的N个第三图像；其中，变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
将N个第三图像转换为对应的N个第四图像；其中，第四图像为Bayer图像；
利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征，包括：
将第一图像和N个第三图像按通道维度堆叠，得到第一堆叠图像，将第二图像和N个第四图像按通道维度堆叠，得到第二堆叠图像；
利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征。
示例性地，为了提高二分类网络对亮度的鲁棒性，还可对第一图像进行变亮和/或变暗处理，得到对应的变亮和/或变暗的图像，也即N个第三 图像。这样，采用与第一图像相同的处理方式，可将该N个第三图像也转换为对应的Bayer图像，也即N个第四图像。在将图像输入至二分类网络之前，还可对第一图像及其变换图像、Bayer图像中各个像素点的像素值除以255进行归一化，以便于后续计算。然后，可将归一化后的第一图像与N个第三图像按通道维度进行堆叠，对应归一化后的Bayer图像也按通道维度进行堆叠，分别输入至第一分支网络和第二分支网络。第一分支网络提取图像在RGB三通道的像素值信息，也即颜色信息，从而将获取的颜色特征作为第一特征；第二分支网络能够捕获像素点之间的排列信息，从而将获取的空间特征作为第二特征。
这样，通过对目标样本图像进行变亮和/或变暗处理，可增加网络对图像亮度的鲁棒性，从而提高网络训练的效果。
在一种可选实施方式中，第一分支网络包括第一特征提取子网络和第一交叉注意力子网络，第二分支网络包括第二特征提取子网络和第二交叉注意力子网络；
上述涉及的利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征，具体可以包括：
利用第一特征提取子网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的颜色特征，利用第二特征提取子网络从第二堆叠图像中提取空间信息，得到与第一图像对应的空间特征；
利用第一交叉注意力子网络，对颜色特征进行预处理，得到第一处理结果，利用第二交叉注意力子网络，对空间特征进行预处理，得到第二处理结果；
将第一处理结果与空间特征进行融合，得到第二特征，将第二处理结果与颜色特征进行融合，得到第一特征。
这里，为了综合考虑颜色特征和空间特征，可在每个分支网络中均设置一个CAB(Cross Attention Block,交叉注意力块)，也即交叉注意力子网络，该CAB可以用于对颜色特征和空间特征进行融合。
示例性地，第一分支网络和第二分支网络可通过CAB连接。具体地， 可将第一分支网络中第一特征提取模块提取到的颜色特征通过第一CAB处理后，与第二分支网络提取到的空间特征进行点乘运算，从而得到交叉颜色特征，也即第二特征。另外，还可将第二分支网络中第二特征提取模块提取到的空间特征通过第二CAB处理后，与第一分支网络提取到的颜色特征进行点乘运算，从而得到交叉空间特征，也即第一特征。其中，CAB可包括1×1的卷积层和Sigmoid函数，用于对输入的特征进行降维和归一化处理，使得其能够与其他特征进行点乘运算。
这样，通过将图像的颜色特征和Bayer图像的空间特征进行深度融合，可以使进行模型训练时综合考虑的特征更多，更全面，从而使得网络训练效果更好。
综上所述，举一个具体例子，以将第一图像输入至噪声程度估计模型，利用噪声程度估计模型估计第一图像的噪声程度为例，对上述图像处理过程进行举例说明。
如图4所示，对第一图像41进行提亮和变暗操作，并分别转换成对应的Bayer图像，然后，对待输入的各个图像均除以255，以进行归一化。之后，将第一图像、变暗图、变亮图三张图按通道维度堆叠在一起，得到堆叠图像42，同时，这三张图分别对应的Bayer图像也进行相应的堆叠，得到堆叠图像43。将堆叠图像42输入至颜色分支网络44，并将堆叠图像43输入至空间分支网络45，经相应的特征提取模块后，可得到颜色特征和空间特征。将颜色特征经CAB子网络441的处理后与空间特征进行逐点相乘，得到交叉颜色特征，并将空间特征经CAB子网络451的处理后与颜色特征进行逐点相乘，得到交叉空间特征。然后，将交叉颜色特征与交叉空间特征按通道维度堆叠，并经reshape函数46，生成一维向量后，输入至分类器47，输出得到二分类结果471，再将该二分类结果471经求差运算后，利用Sigmoid函数将得到的差值映射为区间[0,1]中的目标值，并将该目标值确定为该第一图像的噪声程度估计值。
在上述实施例的基础上，在使用上述噪声程度估计模型对图像的噪声程度进行估计之前，可对噪声程度估计模型进行训练。具体的，如图5所示，在一种可能的实施例中，在上述步骤120之前，该图像噪声程度估计 方法还可以包括：
步骤1201，获取第一样本图像。
这里，第一样本图像可以是从样本图像库中获取的无噪声的原始样本图像，也可以是基于该原始样本图像经变换得到的无噪声的样本图像，其中，变换方式包括但不限于变暗、变亮等。
在暗光场景下使用电子设备进行拍照的过程中，由于光线不足，电子设备通常会使用较高ISO(International Standardization Organization，国际标准化组织)标准拍摄，以保证拍摄图像的清晰度。ISO标准越高，电子设备接收的光线越多，产生的热量也越大，因此暗光场景下拍摄的图像往往比正常光照图像存在更多的噪声，暗光图像更需要进行降噪。
基于此，在第一图像为暗光场景下拍摄的图像的情况下，可针对暗光拍摄场景对模型进行训练。具体的，获取的第一样本图像可以是经变暗处理后得到的无噪声的样本图像，这样，由暗光图像训练出来的模型，可以对暗光图像的噪声程度预估更具针对性。基于此，在一种可选实施方式中，在步骤1201之前，本申请实施例提供的图像噪声程度估计方法还可以包括：
获取原始图像；
将原始图像由RGB颜色空间转换至HSV颜色空间；
将原始图像对应的HSV颜色空间中的明度V通道进行随机变暗处理，得到多个无噪声样本图像；其中，随机变暗处理包括线性变暗、指数变暗中的至少一项，多个无噪声样本图像中包括第一样本图像；
上述步骤110具体可以包括：
从多个无噪声样本图像中获取第一样本图像。
这里，原始图像可以是从样本图像库中获取的无噪声的原始样本图像。RGB颜色空间可以是以红(Red)、绿(Green)、蓝(Blue)为颜色参数的空间，HSV颜色空间可以是以色调(Hue)、饱和度(Saturation)、明度(Value)为颜色参数的空间。
示例性地，可先将原始图像由RGB颜色空间转换至HSV颜色空间，然 后对V通道的值除以255，以将V通道的值归一化至0～1之间。再对V通道进行随机变暗处理，其中，可从以下三种变暗方式中进行随机选择：线性变暗、随机指数变暗和两者组合。这样，可得到变暗程度不同的多个暗光图，进而从该多个暗光图中选择任意一个图像作为第一样本图像，例如选择如图6a所示的暗光图作为第一样本图像。
这样，通过在构造训练样本的过程中，对原始图像进行变暗处理，进而从多个暗光的无噪声样本图像中选择任意一个图像作为第一样本图像，以便在后续模型训练过程中，针对性地对暗光图像进行处理，从而使得模型能够更准确地预估暗光图像的噪声程度。
步骤1202，将第一样本图像转换为对应的第一目标图像。
示例性地，可先将如图6a所示的第一样本图像以GRBG像素阵列的排列方式由RGB图像转换为Bayer图像，也即马赛克化，得到第一目标图像，其图像效果如图6b所示。
步骤1203，为第一目标图像添加预设噪声，得到第一噪声图像；其中，预设噪声包括泊松噪声和高斯噪声中的至少一项。
由于电子设备在拍摄图像时需要将光子转换为电子，而在光子转电子过程中，电流的离散特性导致产生的散粒噪声(shot noise)服从泊松分布，因此，可在第一目标图像上添加泊松噪声，泊松噪声的方差范围可设置为0.5～1，经噪声合成后得到的噪声图如图6c所示。
另外，由于电子设备在拍摄图像后得到的电流信号还需经模拟放大器进行信号放大，而模拟放大器放大信号过程中产生的读噪声(read noise)服从高斯分布，因此，可在图6c所示的噪声图的基础上进一步添加高斯噪声，方差范围可设置为0.5～1，合成后得到的噪声图，也即第一噪声图像，图像效果可如图6d所示。
当然，上述泊松噪声和高斯噪声的添加顺序可进行更换，也即先添加高斯噪声再添加泊松噪声，在此不作限定。
步骤1204，将第一噪声图像转换为对应的第二目标图像。
示例性地，可将第一噪声图像由加噪的Bayer图像转换为RGB图像，也即去马赛克，得到第二目标图像，其图像效果如图6e所示。
步骤1205，对第二目标图像进行去噪处理，得到第二样本图像；其中，第一目标图像和第一噪声图像为Bayer图像，第一样本图像和第二目标图像为RGB图像。
由于电子设备自身具有ISP(Image Signal Processing，图像信号处理)模块，可对图像进行包括黑电平补偿、颜色插值(去马赛克)、去噪、自动白平衡、色彩校正等流程的处理，因此，为了模拟电子设备ISP中的去噪过程，本申请实施例可采用双边滤波的方式对如图6e所示的第二目标图像进行去噪处理，在保证图像边缘清晰的前提下去除少量噪声，得到加噪后的暗光图像，也即第二样本图像，其图像效果如图6f所示。
在一种可选实施方式中，在步骤1205之后，本申请实施例提供的图像噪声程度估计方法还可以包括：
对第二样本图像进行数据增广处理，得到与第一样本图像对应的多个有噪声样本图像；其中，数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
上述步骤130具体可以包括：
将第一样本图像分别与多个有噪声样本图像中的任一图像组合，得到多个正负样本对；
使用多个正负样本对训练预设的二分类网络。
这里，在得到与第一样本图像对应的有噪声的图像，也即第二样本图像之后，可对第二样本图像做数据增广，以丰富与第一样本图像对应的噪声图像样本集，例如对第二样本图像进行随机翻转、随机旋转、随机裁剪以及随机色调变换等，在此不作限定。如此，可得到与第一样本图像对应的多个有噪声的样本图像，在训练二分类网络时，可将第一样本图像与其中任意一个有噪声样本图像进行组合，从而可得到多个正负样本对，利用该多个样本对进行训练。
这样，通过对暗光噪声图像进行数据增广，可利用有限的原始图像，得到多个正负样本对，从而可以降低样本构建的成本。
步骤1206，将第一样本图像和第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至初始噪声程度估计模型收敛，得到噪声程度估 计模型。
本申请实施例中训练初始噪声程度估计模型时所使用的样本图像可包括多个正负样本对，这里仅以第一样本图像和第二样本图像作为正负样本对来训练初始噪声程度估计模型为例进行说明。其中，初始噪声程度估计模型可以是将图像划分为有噪声和无噪声两类的神经网络。
示例性地，可为第一样本图像添加负样本标签，为第二样本图像添加正样本标签。将第一样本图像和第二样本图像分别输入至初始噪声程度估计模型中，输出得到与第一样本图像对应的分类结果，再将该分类结果经Softmax激活函数进行归一化，得到分类概率值，并根据该分类概率值与样本图像对应的标签计算交叉熵损失，采用Adam优化算法更新网络权重，直至该初始噪声程度估计模型收敛。
另外，初始噪声程度估计模型输出的分类结果可以是输入激活函数之前得到的结果，例如二分类网络输出的logits，也即事件发生与不发生的比值对数，在神经网络中表示未归一化的概率。由于二分类网络输出的分类结果是一个二维的数值，例如(a,b)，其中，a表示该图像为有噪声图像的未归一化的概率，b表示该图像为无噪声图像的未归一化的概率。因此，可通过在收敛的初始噪声程度估计模型的输出端增加求差函数，并将Softmax激活函数替换为目标激活函数，例如Sigmoid、Tanh等，实现将二维的数值映射为预设连续区间范围内的噪声程度估计值，例如将(a,b)映射为区间预设连续范围内的某个数值，作为噪声程度估计值。这样，可得到噪声程度估计模型。
由此，在构建得到噪声程度估计模型后，可将用户拍摄的图像或者其他途径获取的有噪声的图像，例如第一图像，输入至该噪声程度估计模型，即可输出得到与该图像对应的噪声程度估计值。
这样，通过模拟电子设备拍摄图像时噪声的产生过程，可使构造的噪声样本图像更贴近真实的噪声图像，且相较于现有的直接使用真实的噪声图像，本申请实施例人为添加噪声可使添加的噪声程度更加可控，从而得到较为理想的噪声样本图像，根据该噪声样本图像训练得到的模型也更加准确。另外，通过利用无噪声的第一样本图像，及其对应的有噪声的第二 样本图像，作为正负样本对，训练初始噪声程度估计模型，进而可得到噪声程度估计模型。这样，由于训练二分类网络时只需构建包含有噪声图像和无噪声图像的正负样本对，而无需对每个样本图像都进行噪声程度的标注，因此，可以降低模型的构造成本。
基于相同的发明构思，本申请还提供了一种图像噪声程度估计装置。下面结合图7对本申请实施例提供的图像噪声程度估计装置进行详细说明。
图7是根据一示例性实施例示出的一种图像噪声程度估计装置的结构框图。
如图7所示，图像噪声程度估计装置700可以包括：
第一获取模块701，用于获取第一图像；
特征提取模块702，用于从第一图像中提取与第一图像对应的特征信息；
图像估计模块703，用于根据特征信息，确定与第一图像对应的第一估计值和第二估计值；其中，第一估计值为第一图像属于噪声图像的估计值，第二估计值为第一图像属于无噪声图像的估计值；
差值计算模块704，用于计算第一估计值和第二估计值之间的差值；
差值映射模块705，用于将差值映射为预设连续区间范围内的目标值，将目标值作为第一图像的噪声程度估计值。
下面对上述图像噪声程度估计装置700进行详细说明，具体如下所示：
在其中一个实施例中，上述特征提取模块702，具体可以包括：
第一转换子模块，用于将第一图像转换为对应的第二图像；其中，第二图像为拜耳Bayer图像；
特征提取子模块，用于利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征；
信息生成子模块，用于根据第一特征和第二特征，生成与第一图像对应的特征信息。
在其中一个实施例中，上述图像估计模块703，具体可以包括：
图像分类子模块，用于将特征信息输入至噪声程度估计模型中的二分类网络，利用二分类网络对第一图像进行分类，输出得到与第一图像对应的第一估计值和第二估计值。
在其中一个实施例中，上述特征提取模块702，还可以包括：
变换处理子模块，用于在利用噪声程度估计模型中的第一分支网络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征之前，对第一图像进行变换处理，得到与第一图像对应的N个第三图像；其中，变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
第二转换子模块，用于将N个第三图像转换为对应的N个第四图像；其中，第四图像为Bayer图像；
上述特征提取子模块，具体可以包括：
图像堆叠单元，用于将第一图像和N个第三图像按通道维度堆叠，得到第一堆叠图像，将第二图像和N个第四图像按通道维度堆叠，得到第二堆叠图像；
特征提取单元，用于利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征。
在其中一个实施例中，第一分支网络可以包括第一特征提取子网络和第一交叉注意力子网络，第二分支网络可以包括第二特征提取子网络和第二交叉注意力子网络；
上述特征提取单元，具体可以包括：
特征提取子单元，用于利用第一特征提取子网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的颜色特征，利用第二特征提取子网络从第二堆叠图像中提取空间信息，得到与第一图像对应的空间特征；
特征处理子单元，用于利用第一交叉注意力子网络，对颜色特征进行预处理，得到第一处理结果，利用第二交叉注意力子网络，对空间特征进行预处理，得到第二处理结果；
特征融合子单元，用于将第一处理结果与空间特征进行融合，得到第二特征，将第二处理结果与颜色特征进行融合，得到第一特征。
在其中一个实施例中，上述图像噪声程度估计装置700还可以包括：
样本获取模块，用于在从第一图像中提取与第一图像对应的特征信息之前，获取第一样本图像；
第一转换模块，用于将第一样本图像转换为对应的第一目标图像；
噪声添加模块，用于为第一目标图像添加预设噪声，得到第一噪声图像；其中，预设噪声包括泊松噪声和高斯噪声中的至少一项；
第二转换模块，用于将第一噪声图像转换为对应的第二目标图像；
图像去噪模块，用于对第二目标图像进行去噪处理，得到第二样本图像；其中，第一目标图像和第一噪声图像为拜耳Bayer图像，第一样本图像和第二目标图像为RGB图像；
模型训练模块，用于将第一样本图像和第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至初始噪声程度估计模型收敛，得到噪声程度估计模型。
在其中一个实施例中，上述图像噪声程度估计装置700还可以包括：
数据增广模块，用于在对第二目标图像进行去噪处理，得到第二样本图像之后，对第二样本图像进行数据增广处理，得到与第一样本图像对应的多个有噪声样本图像；其中，数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
上述模型训练模块，具体可以包括：
组合子模块，用于将第一样本图像分别与多个有噪声样本图像中的任一图像组合，得到多个正负样本对；
训练子模块，用于使用多个正负样本对训练初始噪声程度估计模型。
在其中一个实施例中，上述图像噪声程度估计装置700还可以包括：
第二获取模块，用于在获取第一样本图像之前，获取原始图像；
空间转换模块，用于将原始图像由RGB颜色空间转换至HSV颜色空间；
变暗处理模块，用于将原始图像对应的HSV颜色空间中的明度V通道 进行随机变暗处理，得到多个无噪声样本图像；其中，随机变暗处理包括线性变暗、指数变暗中的至少一项，多个无噪声样本图像中包括第一样本图像；
由此，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
本申请实施例中的图像噪声程度估计装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像噪声程度估计装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像噪声程度估计装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图8所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述图像噪声程度估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这 里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器910，用于获取第一图像；从第一图像中提取与第一图像对应的特征信息；根据特征信息，确定与第一图像对应的第一估计值和第二估计值；其中，第一估计值为第一图像属于噪声图像的估计值，第二估计值为第一图像属于无噪声图像的估计值；计算第一估计值和第二估计值之间的差值；将差值映射为预设连续区间范围内的目标值，将目标值作为第一图像的噪声程度估计值。
由此，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
可选地，处理器910，还用于将第一图像转换为对应的第二图像；其中，第二图像为拜耳Bayer图像；利用噪声程度估计模型中的第一分支网 络，从第一图像中提取与第一图像对应的第一特征，以及，利用噪声程度估计模型中的第二分支网络，从第二图像中提取与第一图像对应的第二特征；根据第一特征和第二特征，生成与第一图像对应的特征信息。
可选地，处理器910，还用于将特征信息输入至噪声程度估计模型中的二分类网络，利用二分类网络对第一图像进行分类，输出得到与第一图像对应的第一估计值和第二估计值。
可选地，处理器910，还用于对第一图像进行变换处理，得到与第一图像对应的N个第三图像；其中，变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；将N个第三图像转换为对应的N个第四图像；其中，第四图像为Bayer图像；以及，将第一图像和N个第三图像按通道维度堆叠，得到第一堆叠图像，将第二图像和N个第四图像按通道维度堆叠，得到第二堆叠图像；利用第一分支网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的第一特征，利用第二分支网络从第二堆叠图像中提取空间信息，得到与第一图像对应的第二特征。
可选地，处理器910，还用于利用第一特征提取子网络从第一堆叠图像中提取颜色信息，得到与第一图像对应的颜色特征，利用第二特征提取子网络从第二堆叠图像中提取空间信息，得到与第一图像对应的空间特征；利用第一交叉注意力子网络，对颜色特征进行预处理，得到第一处理结果，利用第二交叉注意力子网络，对空间特征进行预处理，得到第二处理结果；将第一处理结果与空间特征进行融合，得到第二特征，将第二处理结果与颜色特征进行融合，得到第一特征。
可选地，处理器910，还用于获取第一样本图像；将第一样本图像转换为对应的第一目标图像；为第一目标图像添加预设噪声，得到第一噪声图像；其中，预设噪声包括泊松噪声和高斯噪声中的至少一项；将第一噪声图像转换为对应的第二目标图像；对第二目标图像进行去噪处理，得到第二样本图像；其中，第一目标图像和第一噪声图像为Bayer图像，第一样本图像和第二目标图像为RGB图像；将第一样本图像和第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至初始噪声程度估计模型收敛，得到噪声程度估计模型。
可选地，处理器910，还用于对第二样本图像进行数据增广处理，得到与第一样本图像对应的多个噪声样本图像；其中，数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；以及，将第一样本图像分别与多个噪声样本图像中的任一图像组合，得到多个正负样本对；使用多个正负样本对训练初始噪声程度估计模型。
这样，通过从获取的第一图像中提取与第一图像对应的特征信息，根据该特征信息确定第一图像属于噪声图像的第一估计值，以及第一图像属于无噪声图像的第二估计值，进而通过将第一估计值和第二估计值之间的差值映射为预设连续区间范围内的目标值，并将该目标值作为第一图像的噪声程度估计值，从而在无需假设第一图像是否服从某种噪声分布，即可实现对第一图像噪声程度的估计，并且本申请实施例可对任意光照条件下拍摄的第一图像的噪声程度进行估计，从而提高了图像噪声程度估计的准确性和普适性。
应理解的是，本申请实施例中，输入单元904可以包括图形处理器(Graphics Processing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像噪声程度估计方 法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像噪声程度估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手 机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (19)

  1. 一种图像噪声程度估计方法，包括：
    获取第一图像；
    从所述第一图像中提取与所述第一图像对应的特征信息；
    根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计值；
    计算所述第一估计值和所述第二估计值之间的差值；
    将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
  2. 根据权利要求1所述的方法，其中，所述从所述第一图像中提取与所述第一图像对应的特征信息，包括：
    将所述第一图像转换为对应的第二图像；其中，所述第二图像为拜耳Bayer图像；
    利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征；
    根据所述第一特征和所述第二特征，生成与所述第一图像对应的特征信息。
  3. 根据权利要求1所述的方法，其中，所述根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值，包括：
    将所述特征信息输入至噪声程度估计模型中的二分类网络，利用所述二分类网络对所述第一图像进行分类，输出得到与所述第一图像对应的第一估计值和第二估计值。
  4. 根据权利要求2所述的方法，其中，在利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征之前，所述方法还包括：
    对所述第一图像进行变换处理，得到与所述第一图像对应的N个第三 图像；其中，所述变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
    将所述N个第三图像转换为对应的N个第四图像；其中，所述第四图像为Bayer图像；
    所述利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征，包括：
    将所述第一图像和所述N个第三图像按通道维度堆叠，得到第一堆叠图像，将所述第二图像和所述N个第四图像按通道维度堆叠，得到第二堆叠图像；
    利用所述第一分支网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的第一特征，利用所述第二分支网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的第二特征。
  5. 根据权利要求4所述的方法，其中，所述第一分支网络包括第一特征提取子网络和第一交叉注意力子网络，所述第二分支网络包括第二特征提取子网络和第二交叉注意力子网络；
    所述利用所述第一分支网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的第一特征，利用所述第二分支网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的第二特征，包括：
    利用所述第一特征提取子网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的颜色特征，利用所述第二特征提取子网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的空间特征；
    利用所述第一交叉注意力子网络，对所述颜色特征进行预处理，得到第一处理结果，利用所述第二交叉注意力子网络，对所述空间特征进行预处理，得到第二处理结果；
    将所述第一处理结果与所述空间特征进行融合，得到所述第二特征，将所述第二处理结果与所述颜色特征进行融合，得到所述第一特征。
  6. 根据权利要求2-5任一项所述的方法，其中，在从所述第一图像中 提取与所述第一图像对应的特征信息之前，所述方法还包括：
    获取第一样本图像；
    将所述第一样本图像转换为对应的第一目标图像；
    为所述第一目标图像添加预设噪声，得到第一噪声图像；其中，所述预设噪声包括泊松噪声和高斯噪声中的至少一项；
    将所述第一噪声图像转换为对应的第二目标图像；
    对所述第二目标图像进行去噪处理，得到所述第二样本图像；其中，所述第一目标图像和所述第一噪声图像为Bayer图像，所述第一样本图像和所述第二目标图像为RGB图像；
    将所述第一样本图像和所述第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至所述初始噪声程度估计模型收敛，得到所述噪声程度估计模型。
  7. 根据权利要求6所述的方法，其中，在对所述第二目标图像进行去噪处理，得到所述第二样本图像之后，所述方法还包括：
    对所述第二样本图像进行数据增广处理，得到与所述第一样本图像对应的多个噪声样本图像；其中，所述数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
    所述将所述第一样本图像和所述第二样本图像作为正负样本对，训练初始噪声程度估计模型，包括：
    将所述第一样本图像分别与所述多个噪声样本图像中的任一图像组合，得到多个正负样本对；
    使用所述多个正负样本对训练所述初始噪声程度估计模型。
  8. 一种图像噪声程度估计装置，包括：
    第一获取模块，用于获取第一图像；
    特征提取模块，用于从所述第一图像中提取与所述第一图像对应的特征信息；
    图像估计模块，用于根据所述特征信息，确定与所述第一图像对应的第一估计值和第二估计值；其中，所述第一估计值为所述第一图像属于噪声图像的估计值，所述第二估计值为所述第一图像属于无噪声图像的估计 值；
    差值计算模块，用于计算所述第一估计值和所述第二估计值之间的差值；
    差值映射模块，用于将所述差值映射为预设连续区间范围内的目标值，将所述目标值作为所述第一图像的噪声程度估计值。
  9. 根据权利要求8所述的装置，其中，所述特征提取模块，包括：
    第一转换子模块，用于将所述第一图像转换为对应的第二图像；其中，所述第二图像为拜耳Bayer图像；
    特征提取子模块，用于利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征；
    信息生成子模块，用于根据所述第一特征和所述第二特征，生成与所述第一图像对应的特征信息。
  10. 根据权利要求8所述的装置，其中，所述图像估计模块，包括：
    图像分类子模块，用于将所述特征信息输入至噪声程度估计模型中的二分类网络，利用所述二分类网络对所述第一图像进行分类，输出得到与所述第一图像对应的第一估计值和第二估计值。
  11. 根据权利要求8或9所述的装置，其中，所述特征提取模块，还包括：
    变换处理子模块，用于在利用噪声程度估计模型中的第一分支网络，从所述第一图像中提取与所述第一图像对应的第一特征，以及，利用所述噪声程度估计模型中的第二分支网络，从所述第二图像中提取与所述第一图像对应的第二特征之前，对所述第一图像进行变换处理，得到与所述第一图像对应的N个第三图像；其中，所述变换处理包括变亮处理和变暗处理中的至少一项，N为正整数；
    第二转换子模块，用于将所述N个第三图像转换为对应的N个第四图像；其中，所述第四图像为Bayer图像；
    所述特征提取子模块，包括：
    图像堆叠单元，用于将所述第一图像和所述N个第三图像按通道维度堆叠，得到第一堆叠图像，将所述第二图像和所述N个第四图像按通道维度堆叠，得到第二堆叠图像；
    特征提取单元，用于利用所述第一分支网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的第一特征，利用所述第二分支网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的第二特征。
  12. 根据权利要求11所述的方法，其中，所述第一分支网络包括第一特征提取子网络和第一交叉注意力子网络，所述第二分支网络包括第二特征提取子网络和第二交叉注意力子网络；
    所述特征提取单元，包括：
    特征提取子单元，用于利用所述第一特征提取子网络从所述第一堆叠图像中提取颜色信息，得到与所述第一图像对应的颜色特征，利用所述第二特征提取子网络从所述第二堆叠图像中提取空间信息，得到与所述第一图像对应的空间特征；
    特征处理子单元，用于利用所述第一交叉注意力子网络，对所述颜色特征进行预处理，得到第一处理结果，利用所述第二交叉注意力子网络，对所述空间特征进行预处理，得到第二处理结果；
    特征融合子单元，用于将所述第一处理结果与所述空间特征进行融合，得到所述第二特征，将所述第二处理结果与所述颜色特征进行融合，得到所述第一特征。
  13. 根据权利要求9-12任一项所述的装置，还包括：
    样本获取模块，用于在从所述第一图像中提取与所述第一图像对应的特征信息之前，获取第一样本图像；
    第一转换模块，用于将所述第一样本图像转换为对应的第一目标图像；
    噪声添加模块，用于为所述第一目标图像添加预设噪声，得到第一噪声图像；其中，所述预设噪声包括泊松噪声和高斯噪声中的至少一项；
    第二转换模块，用于将所述第一噪声图像转换为对应的第二目标图 像；
    图像去噪模块，用于对所述第二目标图像进行去噪处理，得到所述第二样本图像；其中，所述第一目标图像和所述第一噪声图像为拜耳Bayer图像，所述第一样本图像和所述第二目标图像为RGB图像；
    模型训练模块，用于将所述第一样本图像和所述第二样本图像作为正负样本对，训练初始噪声程度估计模型，直至所述初始噪声程度估计模型收敛，得到所述噪声程度估计模型。
  14. 根据权利要求13所述的装置，还包括：
    数据增广模块，用于在对所述第二目标图像进行去噪处理，得到所述第二样本图像之后，对所述第二样本图像进行数据增广处理，得到与所述第一样本图像对应的多个有噪声样本图像；其中，所述数据增广处理包括随机翻转、随机旋转、随机裁剪以及随机色调变换中的至少一项；
    所述模型训练模块，包括：
    组合子模块，用于将所述第一样本图像分别与所述多个有噪声样本图像中的任一图像组合，得到多个正负样本对；
    训练子模块，用于使用所述多个正负样本对训练所述初始噪声程度估计模型。
  15. 一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的图像噪声程度估计方法的步骤。
  16. 一种电子设备，被配置为执行如权利要求1-7中任一项所述的图像噪声程度估计方法的步骤。
  17. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的图像噪声程度估计方法的步骤。
  18. 一种计算机程序产品，所述计算机程序产品被处理器执行以实现如权利要求1-7中任一项所述的图像噪声程度估计方法的步骤。
  19. 一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如权利要求1-7中 任一项所述的图像噪声程度估计方法的步骤。
PCT/CN2022/108181 2021-08-02 2022-07-27 图像噪声程度估计方法、装置、电子设备及存储介质 WO2023011280A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110880750.2 2021-08-02
CN202110880750.2A CN113658118A (zh) 2021-08-02 2021-08-02 图像噪声程度估计方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2023011280A1 true WO2023011280A1 (zh) 2023-02-09

Family

ID=78478239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/108181 WO2023011280A1 (zh) 2021-08-02 2022-07-27 图像噪声程度估计方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113658118A (zh)
WO (1) WO2023011280A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658118A (zh) * 2021-08-02 2021-11-16 维沃移动通信有限公司 图像噪声程度估计方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243466A1 (en) * 2010-03-30 2011-10-06 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method of estimating scale ratio and noise strength of encoded image
CN109190472A (zh) * 2018-07-28 2019-01-11 天津大学 基于图像与属性联合引导的行人属性识别方法
CN109523281A (zh) * 2018-11-26 2019-03-26 北京拓世寰宇网络技术有限公司 一种确定房源图片类别的方法及装置
CN111105417A (zh) * 2020-03-17 2020-05-05 珠海欧比特宇航科技股份有限公司 影像噪声定位方法及系统
CN111401485A (zh) * 2020-06-04 2020-07-10 深圳新视智科技术有限公司 实用的纹理分类方法
CN111612090A (zh) * 2020-05-29 2020-09-01 中国科学技术大学 基于内容颜色交叉相关的图像情感分类方法
CN112488162A (zh) * 2020-11-17 2021-03-12 中南民族大学 一种基于主动学习的垃圾分类方法
CN113658118A (zh) * 2021-08-02 2021-11-16 维沃移动通信有限公司 图像噪声程度估计方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678774A (zh) * 2016-01-11 2016-06-15 浙江传媒学院 一种基于主成分分析的图像噪声水平估计方法
CN110288547A (zh) * 2019-06-27 2019-09-27 北京字节跳动网络技术有限公司 用于生成图像去噪模型的方法和装置
CN112801906B (zh) * 2021-02-03 2023-02-21 福州大学 基于循环神经网络的循环迭代图像去噪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243466A1 (en) * 2010-03-30 2011-10-06 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method of estimating scale ratio and noise strength of encoded image
CN109190472A (zh) * 2018-07-28 2019-01-11 天津大学 基于图像与属性联合引导的行人属性识别方法
CN109523281A (zh) * 2018-11-26 2019-03-26 北京拓世寰宇网络技术有限公司 一种确定房源图片类别的方法及装置
CN111105417A (zh) * 2020-03-17 2020-05-05 珠海欧比特宇航科技股份有限公司 影像噪声定位方法及系统
CN111612090A (zh) * 2020-05-29 2020-09-01 中国科学技术大学 基于内容颜色交叉相关的图像情感分类方法
CN111401485A (zh) * 2020-06-04 2020-07-10 深圳新视智科技术有限公司 实用的纹理分类方法
CN112488162A (zh) * 2020-11-17 2021-03-12 中南民族大学 一种基于主动学习的垃圾分类方法
CN113658118A (zh) * 2021-08-02 2021-11-16 维沃移动通信有限公司 图像噪声程度估计方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113658118A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
EP3614333B1 (en) Image processing method, storage medium, and electronic apparatus
CN115442515B (zh) 图像处理方法和设备
CN109685746B (zh) 图像亮度调整方法、装置、存储介质及终端
EP2987134B1 (en) Generation of ghost-free high dynamic range images
WO2022179335A1 (zh) 视频处理方法、装置、电子设备以及存储介质
CN110163810B (zh) 一种图像处理方法、装置以及终端
CN105243371A (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
Ko et al. Artifact-free low-light video enhancement using temporal similarity and guide map
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
WO2020048359A1 (en) Method, system, and computer-readable medium for improving quality of low-light images
CN111047543A (zh) 图像增强方法、装置和存储介质
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
US7885458B1 (en) Illuminant estimation using gamut mapping and scene classification
CN113132695A (zh) 镜头阴影校正方法、装置及电子设备
WO2023011280A1 (zh) 图像噪声程度估计方法、装置、电子设备及存储介质
Sandoub et al. A low‐light image enhancement method based on bright channel prior and maximum colour channel
Wu et al. Reflectance-guided histogram equalization and comparametric approximation
CN112055190A (zh) 图像处理方法、装置及存储介质
Zhang et al. Single image dehazing based on bright channel prior model and saliency analysis strategy
CN113507570B (zh) 曝光补偿方法、装置和电子设备
US11640654B2 (en) Image processing method and apparatus
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
US8311358B2 (en) Method and system for image extraction and identification
CN111797694A (zh) 一种车牌检测方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22851994

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE