WO2023229288A1 - 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치 - Google Patents

이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치 Download PDF

Info

Publication number
WO2023229288A1
WO2023229288A1 PCT/KR2023/006708 KR2023006708W WO2023229288A1 WO 2023229288 A1 WO2023229288 A1 WO 2023229288A1 KR 2023006708 W KR2023006708 W KR 2023006708W WO 2023229288 A1 WO2023229288 A1 WO 2023229288A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
noise
raw image
electronic device
image
Prior art date
Application number
PCT/KR2023/006708
Other languages
English (en)
French (fr)
Inventor
이종석
박필규
이채은
김재환
박영오
양희철
최광표
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230000908A external-priority patent/KR20230165686A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023229288A1 publication Critical patent/WO2023229288A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This disclosure relates to a method and electronic device for performing denoising processing on image data.
  • the electronic devices may include one or more camera modules.
  • the camera module can be implemented not as a traditional film camera, but as a digital camera that uses an image sensor to convert light into an electrical image signal and store it as image data.
  • the present disclosure may be implemented in a variety of ways, including as a method, system, device, or computer program stored on a computer-readable storage medium.
  • a method in which an electronic device performs denoising processing on image data may include identifying raw image data of a first frame.
  • the method may include identifying first camera metadata for the raw image data.
  • the method may include generating a noise map corresponding to the raw image data based on the first camera metadata.
  • the method may include generating denoised image data for the first frame based on the raw image data and the noise map, using a neural network model. there is.
  • the noise map may represent the denoising intensity of the raw image data.
  • An electronic device that performs denoising processing on image data may include a memory that stores one or more instructions and at least one processor that executes the one or more instructions stored in the memory.
  • the at least one processor may identify raw image data of the first frame by executing the one or more instructions.
  • the at least one processor may identify first camera metadata for the raw image data.
  • the at least one processor may generate a noise map corresponding to the raw image data based on the first camera metadata.
  • the at least one processor may use a neural network model to generate denoised image data for the first frame based on the raw image data and the noise map.
  • the noise map may represent the denoising intensity of the raw image data.
  • a program for performing a method of performing denoising processing on image data according to an embodiment of the present disclosure on a computer may be recorded on a computer-readable recording medium.
  • FIG. 1 is a diagram illustrating an example of image processing according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart illustrating a method by which an electronic device performs denoising processing on image data according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example in which an electronic device generates a denoised image by performing denoising processing on raw image data, according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of an operation in which an electronic device generates a noise map according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of generating image analysis information based on noise map adjustment according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of an operation in which an electronic device generates a noise map according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of applying white balance gain (WBG) in denoising processing in an embodiment of the present disclosure.
  • WBG white balance gain
  • 8A to 8D are images showing denoising performance according to an embodiment of the present disclosure.
  • Figure 9 is an example block diagram of an electronic device according to an embodiment of the present disclosure.
  • the expression “at least one of a, b, or c” refers to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b and c”, or variations thereof.
  • a component when referred to as 'connected' or 'connected' to another component, the component may be directly connected or directly connected to the other component, but in particular, the contrary It should be understood that unless a base material exists, it may be connected or connected through another component in the middle.
  • components expressed as 'unit (unit)', 'module', etc. are two or more components combined into one component, or one component is divided into two or more components for each more detailed function. It may be differentiated into.
  • each of the components described below may additionally perform some or all of the functions of other components in addition to the main functions that each component is responsible for, and some of the main functions of each component may be different from other components. Of course, it can also be performed exclusively by a component.
  • raw image data refers to external light detected using a light receiving sensor after passing through a color filter corresponding to each pixel for a plurality of pixels. It can be understood as data representing the intensity of light.
  • Raw image data may have a specified pattern based on the pattern of a color filter array consisting of a plurality of types of color filters and may be understood as data that has not been demosaicing.
  • the raw image data having the specified pattern may have only color values corresponding to a specific color filter for each of the plurality of pixels.
  • raw image data may be data on which some processing, such as lens shading correction (LSC) and bad pixel correction (BPC), has been performed.
  • LSC lens shading correction
  • BPC bad pixel correction
  • 'demosaicing refers to calculating an actual color value from the color value corresponding to one of a plurality of color filters for each of a plurality of pixels included in the raw image data. It can be understood as a process. In one embodiment of the present disclosure, demosaicing is performed by predicting or calculating a color value for a color filter other than the specific color filter for each of the plurality of pixels, thereby creating an object corresponding to each of the plurality of pixels. It may refer to the process of calculating the actual color value of .
  • 'denoising' can be understood as a process of removing noise that may be included in raw image data.
  • a 'linear RGB image' may represent an RGB image converted to three channels (red channel, green channel, blue channel) by applying demosaicing to a Bayer image.
  • a 'linear RGB image' may represent an image that has been denoised and demosaiced from raw image data.
  • a linear RGB image may be an image to which no white balance gain (WBG) has been applied.
  • WBG white balance gain
  • a linear RGB image may be an image to which WBG has been applied. That is, by applying WBG, it can be a linear RGB image with corrected red and blue values.
  • a linear RGB image with WBG applied can appear with more natural colors overall than a linear RGB image without WBG applied.
  • a linear RGB image to which WBG is applied may appear darker and have distorted colors compared to the final output image (e.g., a standard RGB image) because gamma correction, etc. is not processed.
  • 'final image data' and 'final output image' may refer to an image that is finally provided to a user after a plurality of image processes are performed on raw image data. In other words, it may refer to an image output through a user terminal or an image finally stored in memory.
  • the final image data and the final output image may be an image to which image processing such as gamma correction has been applied to a linear RGB image.
  • the final image data and final output image may be a standard RGB (sRGB) image, but are not limited thereto.
  • 'pixel value' refers to data for a plurality of pixels consisting of N columns and M rows (e.g. raw image data, color data, image data, etc.), corresponding to each pixel. It can be understood as a color value.
  • a pixel value may include color values for a plurality of colors determined depending on the color filter array used. For example, if a Bayer pattern is used as the color filter array, the pixel value may include color values for red, green, and blue.
  • 'frame' may be used as a unit of image/video data.
  • one image may consist of image data for one frame.
  • an electronic device may generate raw image data for each frame over time.
  • different frames may represent different viewpoints.
  • images for different frames can be understood as images created at different times.
  • the electronic device may generate raw image data for a first frame at a first time point and generate raw image data for a second frame at a second time point.
  • image and ‘video’ may be used interchangeably.
  • FIG. 1 is a diagram illustrating an example of image processing according to an embodiment of the present disclosure.
  • the image sensor 110 may include a charged coupled device (CCD) sensor or a complementary metal-oxide semiconductor (CMOS) sensor, and a color filter array consisting of a plurality of types of color filters. , CFA) may be included.
  • CCD charged coupled device
  • CMOS complementary metal-oxide semiconductor
  • CFA color filter array
  • the image sensor 110 may generate raw image data based on the converted electrical image signal.
  • the image sensor 110 may convert, for each of a plurality of pixels, only components corresponding to a specified wavelength range among the received light into an electrical image signal.
  • the image sensor 110 may convert only components for a first wavelength range, for example, a wavelength range corresponding to red, from the received light into an electrical image signal.
  • the image sensor 110 may convert only the component for the second wavelength range, for example, the wavelength range corresponding to green, from the received light into an electrical image signal.
  • the image sensor 110 may convert only the component for the third wavelength range, for example, the wavelength range corresponding to blue, from the received light into an electrical image signal.
  • the wavelength range of the component converted into an electrical image signal for each pixel may be based on a designated pattern of the color filter array, and accordingly, raw image data having a plurality of pixels may have the designated pattern. It can have a shape.
  • the designated pattern may be a Bayer pattern, a red-green-blue-emerald (RGBE) pattern, a red-yellow-yellow-blue (RYYB) pattern, or a cyan-yellow-blue (CYYM) pattern.
  • the raw image data input through the image sensor 110 may be a Bayer image 120 in the form of a Bayer pattern, but is not limited thereto.
  • the electronic device may generate a linear RGB image 140 by performing first image processing 130 on the Bayer image 120 input through the image sensor 110.
  • the electronic device may perform a plurality of processes as first image processing 130 on raw image data.
  • the electronic device may perform lens shading correction (LSC), bad pixel correction (BPC), etc. on the Bayer image 120.
  • LSC lens shading correction
  • BPC bad pixel correction
  • the electronic device may use at least one neural network model, artificial intelligence model, machine learning model, algorithm, etc. to perform the first image processing 130.
  • the electronic device in the first image processing 130, may perform demosaicing and denoising processing on image data using a first neural network model.
  • the electronic device uses a first neural network model to perform low-light image processing, alignment processing, fusion processing, Temporal detail enhancement processing, etc. can be performed.
  • the electronic device may perform linear RGB processing based on multi-frame input in the first image processing 130. For example, the electronic device may generate a linear RGB image 140 based on image data input for a plurality of frames. That is, to generate the linear RGB image 140 for the first frame, data for a plurality of frames including the first frame and one or more frames before the first frame may be used.
  • the electronic device may include raw image data of a second frame, denoised image data of the second frame, and a second frame to generate denoised image data of the first frame.
  • Final image data for , a noise map for the second frame, or combinations thereof may be used.
  • the electronic device uses the first neural network model based on the raw image data of the first frame, as well as the raw image data of the second frame and/or the linear RGB image for the second frame, to create a A linear RGB image 140 for 1 frame can be generated.
  • the second frame may correspond to the previous frame of the first frame (eg, the frame immediately before the first frame).
  • the electronic device may generate a standard RGB (sRGB) image 160 by performing second image processing 150 on the linear RGB image 140.
  • an electronic device may perform image enhancement processing based on a single frame input.
  • the electronic device may generate a standard RGB (sRGB) image 160 (i.e., final image data) based on a single frame of linear RGB image 140 (i.e., denoised image data) input.
  • the electronic device may perform a plurality of processes as second image processing 150 on denoising image data.
  • the electronic device may perform white balance (WB) correction, color correction (CC), gamma correction, etc. on the linear RGB image 140.
  • WB white balance
  • CC color correction
  • gamma correction etc.
  • the electronic device may use at least one neural network model, artificial intelligence model, machine learning model, algorithm, etc. for the second image processing 150.
  • the electronic device in the second image processing 150, may perform brightness processing and contrast processing using a second neural network model.
  • the electronic device in the second image processing 150, uses a second neural network model to process global tone mapping, local tone mapping, and HDR (High dynamic range effect processing, color enhancement processing, sharpening processing, etc. can be performed.
  • the first neural network model and the second neural network model may be different models, and each neural network model may include one or more sub-models.
  • the electronic device may acquire at least one camera metadata through the image sensor 110.
  • an electronic device may use metadata (i.e., camera metadata) associated with raw image data when performing image processing.
  • Metadata may include the surrounding environment or camera settings at the time of acquiring image data for an object.
  • metadata may include at least one of ISO (International Organization for Standardization) information, shutter speed value, white balance value, color correction matrix (CCM) information, or readout noise information.
  • ISO information may be information indicating the sensitivity of the image sensor 110 to light
  • the shutter speed value may mean the time the camera's shutter opens
  • the white balance value may be a value for adjusting the color temperature of light.
  • the color adjustment matrix can be understood as information for adjusting the difference between the color of the actual object and the color of the raw image data
  • readout noise information may occur from heat or current in the dark area of the image sensor 110. It can be understood as information about existing noise.
  • the electronic device may use at least some of the acquired meta information for the first image processing 130.
  • the electronic device may perform denoising using ISO information, shutter speed value, read noise information, etc., which are information related to noise included in raw image data.
  • the electronic device may use at least some of the acquired meta information for second image processing 150.
  • the electronic device may perform the second image processing 150 using a white balance value and a color correction matrix.
  • FIG. 2 is a flowchart illustrating a method by which an electronic device performs denoising processing on image data according to an embodiment of the present disclosure.
  • a method 200 in which an electronic device performs denoising processing on image data may include steps 210 to 240.
  • steps 210 to 240 may be executed by at least one processor included in the electronic device.
  • the method 200 of performing denoising processing on image data is not limited to that shown in FIG. 2 and may further include steps not shown in FIG. 2 .
  • the electronic device may identify raw image data of the first frame.
  • the raw image data may be a Bayer image.
  • an electronic device may acquire raw image data.
  • an image sensor embedded in or connected to an electronic device may generate raw image data.
  • an electronic device may receive raw image data from another external device.
  • the electronic device may identify first camera metadata for the raw image data.
  • the first camera metadata may include a camera ISO (International Organization for Standardization) value, but is not limited thereto.
  • the electronic device may generate a noise map corresponding to the raw image data based on the first camera metadata.
  • the noise map may represent the denoising intensity of the raw image data.
  • the electronic device may generate the noise map based on the camera ISO value of the raw image data.
  • the electronic device adjusts the initial noise map generated based on the first camera metadata based on at least one of second camera metadata or image analysis information to adjust the noise map. can be created.
  • the electronic device may generate denoised image data for the first frame based on the raw image data and the noise map using a neural network model.
  • the neural network model may be a model learned to perform a process for removing noise from input image data, that is, a denoising process, based on the input image data and the noise map.
  • the electronic device may apply white balance gain (WBG) to the raw image data and apply WBG to the noise map.
  • WBG white balance gain
  • the electronic device may generate the denoised image data using the neural network model based on the raw image data to which the WBG is applied and the noise map to which the WBG is applied.
  • the neural network model may be a model learned based on training data to which WBG has been previously applied.
  • FIG. 3 is a diagram illustrating an example in which an electronic device generates a denoised image by performing denoising processing on raw image data, according to an embodiment of the present disclosure.
  • the image quality of some images may deteriorate. Even if the same image sensor is used, the degree of noise in the image data may differ depending on settings such as shutter speed, ISO, etc. For example, an image taken at night may have a greater degree of noise than an image taken during the day.
  • each area has different levels of sensitivity to noise. For example, in terms of user perception, it has the characteristic of perceiving noise more sensitively in a flat area than in a complex area.
  • the electronic device may adaptively adjust the denoising intensity for each image and/or each region based on at least one of image analysis information (i.e., video information) or camera metadata. .
  • the electronic device may adaptively adjust the denoising intensity for each image based on the camera metadata of each image.
  • the electronic device can adaptively adjust the denoising intensity for each image area based on image information for each image area.
  • the neural network model 380 that performs denoising processing on image data may be a deep learning-based artificial intelligence model. If WBG is applied after deep learning-based denoising processing, noise may be amplified by WBG, which may cause denoising performance to deteriorate. Specifically, as the red and blue signals are amplified by applying WBG, noise is also amplified, so denoising performance for image data may deteriorate.
  • an electronic device may perform denoising processing considering WBG on image data.
  • the electronic device may perform denoising processing after applying WBG in advance to prevent noise from being amplified by WBG after denoising processing.
  • the electronic device can adjust the denoising intensity for image data by considering WBG.
  • the electronic device can identify the Bayer image 120 input from the image sensor and camera metadata 310 corresponding to the Bayer image 120.
  • the electronic device may generate image analysis information 322 by performing an image analysis operation 320 on the Bayer image 120.
  • the electronic device performs a noise map generation operation 330 based on at least one of the generated image analysis information 322 or the identified camera metadata 310, thereby generating a noise map 340 corresponding to the Bayer image 120. can be created.
  • the electronic device may perform operation 350 of applying WBG to the Bayer image 120 and operation 360 of applying WBG to the noise map 340.
  • the electronic device may perform an operation 370 of concatenating a Bayer image to which WBG is applied and a noise map to which WBG is applied.
  • the electronic device may perform denoising processing based on data connected through the connection operation 370.
  • the electronic device may generate denoising image data by performing denoising processing using the neural network model 380.
  • the electronic device inputs connected data into the neural network model 380 to create a linear RGB image 140 (i.e., a denoised image) based on the output data from the neural network model 380. data) can be generated.
  • the output data of the neural network model 380 may be denoised image data (e.g., linear RGB image) or data for generating denoised image data.
  • the neural network model 380 may be trained to remove noise from image data equal to the size (i.e., denoising strength) of the noise appearing in the noise map (i.e., noise level map).
  • the neural network model 380 is based on training data including an input image with Poisson-Gaussian noise applied, a noise level map according to Poisson-Gaussian noise, and an output image with the noise removed. It can be learned to perform denoising processing.
  • the neural network model 380 may be trained to perform denoising processing based on training data to which WBG has been previously applied.
  • the linear RGB image 140 in FIG. 3 may be a linear RGB image to which WBG is applied. Additionally, the electronic device may perform image processing (eg, second image processing 150 of FIG. 1) on the generated linear RGB image 140 to generate a final output image. For example, the electronic device may perform image processing by applying CCM to the linear RGB image 140.
  • image processing eg, second image processing 150 of FIG. 1
  • Each operation shown in FIG. 3 may be performed by at least one processor of the electronic device.
  • each operation may be performed by executing at least one module (eg, a software module, a hardware module, or a combination thereof) under the control or command of at least one processor.
  • at least one module eg, a software module, a hardware module, or a combination thereof
  • some operations shown in FIG. 3 may be omitted.
  • components associated with the image analysis operation 320 of FIG. 3 may be omitted.
  • the electronic device may perform operation 330 of generating a noise map based only on camera metadata.
  • some image processing processes such as LSC and BPC for the Bayer image 120 may be omitted. Therefore, some image processing, such as LSC or BPC, may be performed on the Bayer image 120 to which WBG is actually applied or the Bayer image to which WBG is applied. Likewise, the image analysis operation 320 of FIG. 3 may be performed on the Bayer image 120 on which some image processing such as LSC or BPC has been performed.
  • FIG. 4 is a diagram illustrating an example of an operation in which an electronic device generates a noise map according to an embodiment of the present disclosure.
  • the electronic device may generate a noise map 340_1 corresponding to raw image data (i.e., Bayer image) based on one or more camera metadata.
  • the electronic device may generate the noise map 340_1 based on the camera ISO value of the raw image data.
  • FIG. 4 may illustrate an example of the noise map generating operation 330 of FIG. 3 .
  • the noise map generation operation 330 of FIG. 3 may include the initial noise map creation operation 410 and the noise map adjustment operation 420_1 of FIG. 4 .
  • the electronic device may generate the initial noise map 412 based on camera metadata (ie, first camera metadata).
  • the electronic device may perform an operation 410 of generating an initial noise map 412 of a Bayer image based on the ISO value 310_1.
  • the electronic device may generate the initial noise map 412 according to the ISO value using a predefined table and/or formula. Predefined tables and/or formulas may be empirically/experimentally generated, but are not limited thereto.
  • the electronic device may determine the shot noise value and the read noise value based on the camera ISO value of the raw image data. For example, the electronic device may determine values corresponding to the camera ISO value as a shot noise value and a read noise value in a predefined table. For example, the electronic device may determine the values calculated by substituting the camera ISO value into a predefined formula or function as the shot noise value and the read noise value. Accordingly, the user may not directly specify the shot noise value and read noise value for generating the noise map for each image.
  • the electronic device may generate a noise map based on the determined shot noise value and read noise value. For example, the electronic device may generate the initial noise map 412 based on the shot noise value and the read noise value. For example, the electronic device may generate a noise level map using the variance value calculated based on Equation (1) below, but is not limited to this.
  • Equation (1) above represents the read noise value
  • the electronic device may as the variance value
  • a noise level map can be created based on a Gaussian distribution with as the average value. That is, the electronic device can generate a noise level map including random noise values according to the Gaussian distribution.
  • the electronic device may generate a noise map by adjusting the generated initial noise map 412.
  • the electronic device may adjust the initial noise map 412 based on camera metadata 310_2 and/or image analysis information. For example, referring to FIG. 4 , the electronic device may generate the noise map 340_1 by performing an operation 420_1 of adjusting the initial noise map 412 based on the camera metadata 310_2.
  • the electronic device may perform an initial noise map adjustment operation 420_1 based on camera metadata 310_2 (i.e., second camera metadata) excluding the ISO value.
  • the electronic device may adjust the initial noise map 412 based on at least one of exposure time, shutter speed, or color correction matrix (CCM). Accordingly, a noise map 340_1 containing adaptive denoising intensity for each image data may be generated.
  • CCM color correction matrix
  • the electronic device may determine a scaling value (i.e., correction weight value) for the noise map according to the value of arbitrary camera metadata 310_2. For example, if the value of any camera metadata 310_2 is included in a predetermined range, the electronic device may determine the scaling value as a value corresponding to the range. For example, if a certain camera metadata 310_2 value satisfies a predetermined condition (e.g., threshold condition, etc.), the electronic device may determine the value corresponding to the condition as the scaling value.
  • a predetermined condition e.g., threshold condition, etc.
  • the electronic device may determine the scaling value for the noise map using a machine learning model learned to determine the scaling value according to the value of at least one camera metadata 310_2. For example, the electronic device may determine a value calculated by a predetermined function or formula according to the value of arbitrary camera metadata 310_2 as the scaling value. For example, the electronic device may determine a value corresponding to an arbitrary camera metadata value in a predefined table as a scaling value.
  • the electronic device may adjust the noise map to adaptively adjust the denoising intensity according to the exposure time value of the raw image data. Even if image data is captured at the same ISO value, the longer the exposure time, the smaller the noise value may be. To reflect these characteristics, the entire noise map corresponding to the raw image data can be scaled according to the exposure time when taking the image. In other words, the denoising intensity of the entire specific image can be adjusted.
  • the electronic device may adjust the noise map to adaptively adjust the denoising intensity according to the shutter speed value of the raw image data. Even if image data is captured at the same ISO value, noise may decrease (or increase) as the shutter speed is longer when shooting the image.
  • the electronic device may scale a noise map (e.g., the initial noise map 412) based on Equation (2) below, but is not limited to this.
  • equation (2) above represents the noise map before scaling based on shutter speed
  • represents the reference shutter speed value e.g. 1s
  • represents the shutter speed value of the image data e.g. 2s
  • the electronic device may adjust the noise map by considering at least some of the plurality of camera meta information sequentially and/or simultaneously.
  • a function, equation, algorithm, and/or table may be used to determine the scaling value by considering both shutter speed information and CCM information.
  • FIG. 5 is a diagram illustrating an example of generating image analysis information based on noise map adjustment according to an embodiment of the present disclosure.
  • the electronic device may generate a noise map for denoising processing by adjusting the noise map based on the image analysis information 322.
  • the electronic device may generate image analysis information 322 by analyzing raw image data. Referring to FIG. 5 , the electronic device may generate image analysis information 322 by performing an image analysis operation 320 on the Bayer image 120. The generated image analysis information 322 may be used in the noise map adjustment operation 420_2.
  • Image analysis information 322 may include information that may affect noise in image data and/or noise sensitivity in terms of user perception.
  • the image analysis information 322 may include information indicating the complexity of each region of the image, classification information of each region of the image, brightness information of each region of the image, statistical information for each region of the image, etc. It is not limited to this.
  • the image analysis information 322 may include information for each pixel or each region in one image.
  • the electronic device may generate a segmentation map 510 by classifying each region of raw image data (e.g., Bayer image 120). For example, an electronic device may classify each area (e.g., 'text area', 'object area', etc.) of raw image data using a learning model or algorithm for image segmentation. Referring to FIG. 5, the electronic device classifies each area of the Bayer image 120 into 'sky area', 'building area', 'helicopter area', 'road area', etc., and includes classification information for each area.
  • a segmentation map 510 can be created.
  • the electronic device may analyze brightness information for each pixel or each region of raw image data. For example, the electronic device may generate a brightness map 520 representing brightness information for each pixel or each region of raw image data. Referring to FIG. 5 , the electronic device may generate a brightness map 520 corresponding to the Bayer image 120 by analyzing brightness information for each pixel or each region of the Bayer image 120.
  • the electronic device may analyze the variance value of each area (or each pixel) of raw image data. For example, an electronic device may analyze the variance value of each region (or each pixel) of raw image data, thereby generating a detailed map indicating the complexity of each region.
  • the electronic device divides the Bayer image 120 into a plurality of blocks containing one or more pixels, and calculates the pixel variance value of each block (i.e., the variance of the pixel value of each block).
  • a detail map 530 corresponding to the Bayer image 120 can be generated.
  • the detailed map 530 corresponding to the Bayer image 120 may indicate the complexity of the area corresponding to each block.
  • the image analysis information 322 is shown as map data corresponding to each piece of information, but the type of data is not limited to this.
  • FIG. 5 shows that image analysis is performed directly on the Bayer image 120, this may mean that some image processing processes such as LSC and BPC on the Bayer image 120 are omitted.
  • FIG. 5 shows a segmentation map 510, a brightness map 520, and a detail map 530 as examples of image analysis information 322, but the present invention is not limited thereto.
  • the image analysis information 322 may include information about the high-frequency component area and the low-frequency component area of the image.
  • FIG. 6 is a diagram illustrating an example of an operation in which an electronic device generates a noise map according to an embodiment of the present disclosure.
  • the electronic device may generate the noise map 340_2 by adjusting the initial noise map 412 based on the image analysis information 322.
  • the electronic device may perform a noise map adjustment operation 420_2 based on the image analysis information 322 generated by the image analysis operation.
  • the initial noise map 412 is shown as being generated based on the ISO value 310_1, but the present invention is not limited thereto.
  • the electronic device can adaptively adjust the denoising intensity for each region based on region-specific classification information of raw image data (e.g., Bayer image).
  • the electronic device may scale (i.e., adjust) the initial noise map 412 based on the segmentation map (e.g., 510 in FIG. 5) corresponding to the raw image data. .
  • the electronic device determines that the value of the noise map area corresponding to the area classified as the first class is Adjusted by a factor of 2, the value of the noise map area corresponding to the area classified as the second class is Adjusted by a factor of 2, the value of the noise map area corresponding to the area classified as third class is It can be adjusted twice.
  • the electronic device may adjust the denoising intensity of the area classified as 'sky' in the image to be relatively strong, and the denoising intensity of the area classified as 'forest' may be adjusted to be relatively weak.
  • noise sensitivity may be high for dark areas and low noise sensitivity for bright areas.
  • the electronic device may adaptively adjust the denoising intensity for each region (or each pixel) based on brightness information for each region (or each pixel) of the raw image data. For example, the electronic device may scale the initial noise map 412 according to the brightness information of each area based on the brightness map (e.g., 520 in FIG. 5) corresponding to the raw image data. For example, the electronic device may adjust the denoising intensity to be stronger for dark areas and to make the denoising intensity weaker for bright areas in the image data.
  • the electronic device may scale the noise map based on brightness according to Equation (3) below, but is not limited to this.
  • equation (3) above represents the noise map before scaling based on brightness information
  • represents the pixel value i.e. the brightness value of the pixel
  • equation (3) above represents the pixel value normalized to a value from 0 to 1, is the value of each pixel about, If the value of is from 0 to 3, determine the correction weight value with that value, If the value of is less than 0, determine the correction weight value as 0, If the value of is greater than 3, 3 may be a function that determines the correction weight value.
  • the electronic device may adaptively adjust the denoising intensity for each region (or each pixel) based on region-wise (or pixel-wise) complexity information of the raw image data. For example, the electronic device may scale the initial noise map 412 according to the complexity information of each region based on the detailed map (e.g., 530 in FIG. 5) corresponding to the raw image data. For example, the electronic device may adjust the denoising intensity to be stronger for low-complexity areas in the image data and to make the denoising intensity weaker for complex areas.
  • the electronic device may scale the denoising intensity of noise map areas corresponding to blocks whose pixel variance value is less than or equal to a threshold value to be greater. For example, the electronic device determines that the values (e.g., denoising intensity value, noise value) of noise map areas corresponding to blocks whose pixel variance value is less than or equal to a threshold (e.g., 1.0) are (Example: 1.5) It can be adjusted to be doubled. That is, the electronic device can increase the denoising intensity so that stronger denoising processing is performed on areas with small pixel dispersion values (i.e., flat areas with low complexity).
  • a threshold e.g., 1.0
  • One or more embodiments disclosed with respect to camera meta data may also be applied to image analysis information, and similarly, one or more embodiments disclosed with respect to image analysis information may also be applied to camera meta data.
  • the image analysis information 322 in FIGS. 5 and 6 is shown as being generated by an electronic device performing denoising processing performing an image analysis operation, but the image analysis information 322 is not limited thereto.
  • the electronic device may receive image analysis information 322 from an external device or generate image analysis information 322 according to a user input signal.
  • the initial noise map 412 can be used as is.
  • the initial noise map 412 may be generated based on camera metadata or image analysis information other than the ISO value.
  • the initial noise map 412 is adjusted based on camera metadata and image analysis information, respectively, but the method is not limited to this.
  • the electronic device may adjust the initial noise map 412 based on both one or more camera metadata and one or more image analysis information.
  • noise map adjustment operations 420_1 and 420_2 shown in FIGS. 4 and 6 may include a plurality of adjustment operations.
  • noise map adjustment operations 420_1 and 420_2 may include respective information-based adjustment operations.
  • a noise map e.g., an initial noise map
  • the electronic device sequentially and/or simultaneously considers at least some of the plurality of information. You can adjust the noise map by doing this.
  • the electronic device may further scale the noise map adjusted based on shutter speed based on brightness information.
  • functions, equations, algorithms and/or tables may be used to determine scaling values taking into account both shutter speed and pixel dispersion values.
  • functions, equations, algorithms, and/or tables may be used to determine scaling values by considering both pixel distribution values and classification information.
  • Figure 7 is a diagram illustrating an example of applying WBG in denoising processing in an embodiment of the present disclosure.
  • the electronic device may apply WBG to the image data of the three channels (Red channel, Green channel, Blue channel) on which the denoising process was performed.
  • WBG is applied to image data on which denoising has been performed, noise may be amplified, and as a result, denoising performance may deteriorate. In other words, as the noise reduced through the denoising process is multiplied by the gain, the noise may be amplified again.
  • the electronic device can adjust the noise map to sufficiently remove noise amplified by applying WBG.
  • the noise map can be adjusted to remove noise amplified due to the gain applied to Red and Blue with WBG.
  • Electronic devices can reduce noise and improve denoising performance by scaling the noise map by the size of the WBG.
  • the electronic device may apply WBG before performing denoising processing.
  • the electronic device may apply WBG to raw image data and apply WBG to a noise map corresponding to the raw image data.
  • the electronic device may generate denoising image data using the neural network model 380 based on raw image data to which WBG is applied and a noise map to which WBG is applied. That is, the electronic device can achieve improved denoising performance by performing denoising processing considering WBG on image data.
  • the electronic device may perform a WBG application operation 350 on the Bayer image 120 and a WBG application operation 360 on the noise map 340 corresponding to the Bayer image 120. .
  • the electronic device may multiply the Bayer image 120 by the WBG and the noise map 340 by the square of the WBG.
  • the electronic device may perform an operation 370 of concatenating a Bayer image to which WBG is applied and a noise map to which WBG is applied, and input the concatenated data into the neural network model 380.
  • the neural network model 380 may generate a denoising linear RGB image 140 by performing denoising processing on the Bayer image 120 based on input data to which WBG has been previously applied. Accordingly, the linear RGB image 140 of FIG. 7 may be a linear RBG image to which WBG is applied.
  • the neural network model 380 may be a machine learning model (eg, deep learning model) learned to perform denoising processing on image data.
  • the neural network model 380 may be trained by applying WBG in advance, taking into account noise amplified by WBG.
  • the neural network model 380 may be trained to perform denoising processing using training data based on image data to which WBG is applied, but is not limited to this.
  • the electronic device may not deteriorate denoising performance on image data.
  • the Bayer image 120 shown in FIGS. 1 to 7 is shown as image data of one channel, but is not limited thereto.
  • the electronic device may separate the Bayer image 120 into four channels: Red, Green 1, Green 2, and Blue and perform an image processing operation.
  • the neural network model 380 can be learned with data separated into each channel. That is, the neural network model 380 can be learned for each of Red, Green 1, Green 2, and Blue.
  • the noise map 340 corresponding to the Bayer image 120 may include noise maps for each channel.
  • the noise map 340 may also include four channels, a noise map for the Red channel, a noise map for the Green 1 channel, a noise map for the Green 2 channel, and a noise map for the Blue channel. Additionally, as image processing is performed based on the Bayer image 120 and the noise map 340 separated into a plurality of channels, image data separated into a plurality of channels may be generated.
  • the Bayer image 120 and the noise map 340 are separated into a plurality of channels, thereby reducing the data size and the amount of calculation for image processing. That is, the size of data input to the neural network model 380 may decrease, and accordingly, the amount of calculation of the neural network model 380 may decrease.
  • the Bayer image 120 is directly multiplied by WBG, but this may mean that some image processing processes such as LSC and BPC are omitted. Therefore, some image processing such as LSC, BPC, etc. may be performed on the Bayer image 120 to be actually multiplied by WBG or the Bayer image multiplied by WBG.
  • WBG may be applied to raw image data on which some image processing has been performed, such as.
  • one or more embodiments disclosed for Bayer images may also be applied to raw image data other than Bayer images. Additionally, the above-described embodiments may be implemented in combination with each other.
  • 8A to 8D are images showing denoising performance according to an embodiment of the present disclosure.
  • the images in FIGS. 8A and 8C are comparative images showing improved denoising performance according to one or more embodiments of the present disclosure, and are images on which image processing was performed according to the prior art.
  • the images in FIGS. 8B and 8D are images on which image processing has been performed according to one or more embodiments of the present disclosure.
  • a noise map i.e., initial noise map
  • a noise map is created based on the brightness and variance values of each region of the image. This is the result of adjusting, applying WBG to the image and noise map, and then performing denoising using a neural network model.
  • FIGS. 8A and 8B text appears sharper and clearer in the image of FIG. 8B compared to FIG. 8A. In other words, an image with reduced blur caused by noise can be provided.
  • FIGS. 8C and 8D compared to FIG. 8C, in the image of FIG. 8D, complex areas such as tree branch areas do not visually stand out and appear in a natural form similar to an actual landscape. In other words, since it reflects noise sensitivity in terms of user perception, an image with improved perceived image quality can be provided.
  • Figure 9 is an example block diagram of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 900 shown in FIG. 9 is a device that performs denoising processing on image data and may be a user terminal or a server device.
  • the electronic device 900 may be a smart phone, tablet PC, mobile phone, smart watch, desktop computer, or laptop computer. ), laptop, smart glass, navigation device, wearable device, augmented reality device (AR device), virtual reality device (VR device), digital signal transceiver ), etc. may be a user terminal.
  • the electronic device 900 may include at least one processor 910 and a memory, but is not limited thereto.
  • the processor 910 is electrically connected to components included in the electronic device 900 and may perform operations or data processing related to control and/or communication of components included in the electronic device 900.
  • the processor 910 may load a request, command, or data received from at least one of the other components into a memory, process the request, and store the resulting data in the memory.
  • the processor 910 may be a general-purpose processor such as a central processing unit (CPU), an application processor (AP), a digital signal processor (DSP), a graphic processing unit (GPU), or a vision processing unit (VPU). It may include at least one of a processor dedicated to graphics, such as a processor dedicated to graphics, or a processor dedicated to artificial intelligence, such as a neural processing unit (NPU).
  • CPU central processing unit
  • AP application processor
  • DSP digital signal processor
  • GPU graphic processing unit
  • VPU vision processing unit
  • It may include at least one of a processor dedicated to graphics, such as a processor dedicated to graphics, or a processor dedicated to artificial intelligence, such as a neural processing unit (NPU).
  • NPU neural processing unit
  • the processor 910 may control input data to be processed according to predefined operation rules or artificial intelligence models (eg, neural network models) stored in memory.
  • artificial intelligence models eg, neural network models
  • the processor 910 is an artificial intelligence-specific processor
  • the artificial intelligence-specific processor may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • Predefined operation rules or artificial intelligence models may be characterized as being created through learning.
  • being created through learning means that the basic artificial intelligence model is learned using a large number of learning data by a learning algorithm, thereby creating a predefined operation rule or artificial intelligence model set to perform the desired characteristics (or purpose). It can mean a burden.
  • This learning may be performed on the device itself that performs the artificial intelligence according to the present disclosure, or may be performed through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
  • the memory 920 is electrically connected to the processor 910 and may store one or more modules, at least one learning model, program, command, or data related to the operation of components included in the electronic device 900.
  • the memory 920 may store one or more modules, learning models, programs, instructions, or data for processing and control of the processor 910.
  • the memory 920 is a flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include at least one type of storage medium: a magnetic disk or an optical disk.
  • the memory 920 may store data and information received or generated by the electronic device 900.
  • the memory 920 may store raw image data and camera metadata for the raw image data.
  • the memory 920 may store noise maps for raw image data, image analysis information, denoising-processed image data, etc.
  • the memory 920 may store data and information received or generated by the electronic device 900 in a compressed form.
  • the module or model included in the memory 920 is executed according to the control or command of the processor 910 and may include a program, model, or algorithm configured to perform operations that derive output data for input data.
  • the memory 920 may include at least one neural network model, artificial intelligence model, machine learning model, algorithm, etc. for image processing.
  • the memory 920 may include a neural network model that performs denoising processing on raw image data.
  • the memory 920 may include a plurality of parameter values (weight values) constituting a neural network model.
  • the neural network model may be, but is not limited to, a learning model trained using supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • a neural network model may be composed of multiple neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network calculation can be performed through calculation between the calculation result of the previous layer and the plurality of weights.
  • the plurality of weights of the plurality of neural network layers can be optimized based on the learning results of the neural network model. For example, a plurality of weights may be updated so that loss or cost values obtained from the neural network model are reduced or minimized during the learning process.
  • Neural network models may include deep neural networks (DNNs), such as convolutional neural networks (CNNs), deep neural networks (DNNs), recurrent neural networks (RNNs), and restricted Boltzmann machines (RBMs). , Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or Deep Q-Networks, etc., but are not limited thereto.
  • the memory 920 may include software modules that perform at least some of the operations of the electronic device 900 described above.
  • the memory 920 may include a noise map generation module, an image processing module, etc. that generate a noise map.
  • At least some of the modules included in the memory 920 may be composed of a plurality of sub-modules or may constitute one module.
  • the noise map generation module may include an initial noise map generation module and a noise map adjustment module.
  • each module included in the memory 920 may perform an operation by being executed by the processor 910.
  • the electronic device 900 may include more components than those shown in FIG. 9 .
  • the electronic device 900 may further include a communication interface (or communication module) for communication with an external device.
  • the electronic device 900 may further include a transceiver unit for transmitting and receiving signals to and from an external device.
  • the electronic device 900 may further include an input/output device and/or an input/output interface.
  • the electronic device 900 may further include a lens and an image sensor for capturing images.
  • the electronic device 900 may further include a display for outputting image data.
  • At least one processor 910 may control a series of processes so that the electronic device 900 can operate according to at least one embodiment disclosed in FIGS. 1 to 7 . That is, at least one processor 910 can control each component of the electronic device 900 to operate. In one embodiment of the present disclosure, at least one processor 910 may execute one or more instructions stored in memory. In one embodiment of the present disclosure, at least one processor 910 may perform an operation for denoising image data by executing one or more instructions.
  • the at least one processor 910 may identify raw image data of the first frame by executing the one or more instructions. In one embodiment of the present disclosure, the at least one processor 910 may identify first camera metadata for the raw image data. In one embodiment of the present disclosure, the at least one processor 910 may generate a noise map corresponding to the raw image data based on the first camera metadata. In one embodiment of the present disclosure, the at least one processor 910 uses a neural network model to generate denoised image data for the first frame based on the raw image data and the noise map. You can. In one embodiment of the present disclosure, the noise map may represent the denoising intensity of the raw image data.
  • the at least one processor 910 may generate a noise map corresponding to the raw image data based on the first camera metadata. In one embodiment of the present disclosure, the at least one processor 910 may generate the noise map based on a camera ISO (International Organization for Standardization) value of the raw image data.
  • a camera ISO International Organization for Standardization
  • the at least one processor 910 may determine the shot noise value and the read noise value based on the camera ISO value. In one embodiment of the present disclosure, the at least one processor 910 may generate the noise map based on the shot noise value and the read noise value.
  • the at least one processor 910 adjusts the initial noise map generated based on the first camera metadata based on at least one of second camera metadata or image analysis information. By doing so, the noise map can be generated.
  • the second camera metadata may include at least one of exposure time, shutter speed, or color correction matrix (CCM).
  • image analysis information may include at least one of segmentation information, brightness information, complexity information, or statistical information for the raw image data.
  • the at least one processor 910 may analyze the raw image data and generate image analysis information.
  • the image analysis information may include at least one of analysis information for each pixel or analysis information for each region.
  • the at least one processor 910 may apply white balance gain (WBG) to the raw image data. In one embodiment of the present disclosure, the at least one processor 910 may apply WBG to the noise map. In one embodiment of the present disclosure, the at least one processor 910 processes the denoised image data using the neural network model based on the raw image data to which the WBG is applied and the noise map to which the WBG is applied. can be created.
  • WBG white balance gain
  • the neural network model may be a model learned to perform a denoising task based on training data to which WBG has been previously applied.
  • the raw image data may be a Bayer image.
  • the denoising-processed image data may be a linear RGB image.
  • the at least one processor 910 may generate at least one of raw image data of a second frame, which is a previous frame of the first frame, or denoised image data of the second frame. Based on this, denoising-processed image data for the first frame can be generated.
  • Methods according to one or more embodiments described in the claims or specification of the present disclosure may be implemented in the form of hardware, software, or a combination of hardware and software.
  • a computer-readable storage medium that stores one or more programs (software modules) may be provided.
  • One or more programs stored in a computer-readable storage medium are configured to be executable by one or more processors in an electronic device (configured for execution).
  • One or more programs include instructions that cause the electronic device to execute methods according to embodiments described in the claims or specification of the present disclosure.
  • These programs may include random access memory, non-volatile memory, including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (electrically erasable programmable read only memory, EEPROM), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other types of disk storage. It can be stored in an optical storage device or magnetic cassette. Alternatively, it may be stored in a memory consisting of a combination of some or all of these. Additionally, multiple configuration memories may be included.
  • non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (electrically erasable programmable read only memory, EEPROM), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other types of disk storage. It can be stored in an optical storage device or magnetic cassette. Alternatively, it may be stored in a memory consisting of a combination of some or all of these. Additionally, multiple configuration memories may
  • the program may be distributed through a communication network such as the Internet, an intranet, a local area network (LAN), a wide area network (WAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that is accessible. This storage device can be connected to a device performing an embodiment of the present disclosure through an external port. Additionally, a separate storage device on a communication network may be connected to the device performing an embodiment of the present disclosure.
  • a communication network such as the Internet, an intranet, a local area network (LAN), a wide area network (WAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that is accessible. This storage device can be connected to a device performing an embodiment of the present disclosure through an external port. Additionally, a separate storage device on a communication network may be connected to the device performing an embodiment of the present disclosure.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as .
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • a method according to one or more embodiments disclosed in this document may be provided and included in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
  • a method in which an electronic device performs denoising processing on image data may include identifying raw image data of a first frame.
  • the method may include identifying first camera metadata for the raw image data.
  • the method may include generating a noise map corresponding to the raw image data based on the first camera metadata.
  • the method may include generating denoised image data for the first frame based on the raw image data and the noise map, using a neural network model. there is.
  • the noise map may represent the denoising intensity of the raw image data.
  • the step of generating a noise map corresponding to the raw image data based on the first camera metadata includes the camera ISO (International Organization for Standardization) value of the raw image data. It may include generating a noise map.
  • generating the noise map based on the camera ISO value of the raw image data may include determining a shot noise value and a read noise value based on the camera ISO value. there is. In one embodiment of the present disclosure, generating the noise map based on the camera ISO value of the raw image data may include generating the noise map based on the shot noise value and the read noise value. You can.
  • generating a noise map corresponding to the raw image data includes using the initial noise map generated based on the first camera metadata at least one of the second camera metadata or image analysis information. It may include generating the noise map by adjusting it based on one.
  • the second camera metadata may include at least one of exposure time, shutter speed, or color correction matrix (CCM).
  • image analysis information may include at least one of segmentation information, brightness information, complexity information, or statistical information for the raw image data.
  • the method may further include analyzing the raw image data to generate image analysis information.
  • the image analysis information may include at least one of analysis information for each pixel or analysis information for each region.
  • generating denoised image data for the first frame based on the raw image data and the noise map includes adding a white balance gain to the raw image data. It may include a step of applying WBG). In one embodiment of the present disclosure, generating denoised image data for the first frame based on the raw image data and the noise map may include applying WBG to the noise map. there is. In one embodiment of the present disclosure, generating denoised image data for the first frame based on the raw image data and the noise map includes the raw image data to which the WBG is applied and the noise to which the WBG is applied. Based on the map, it may include generating the denoised image data using the neural network model.
  • the neural network model may be a model learned to perform a denoising task based on training data to which WBG has been previously applied.
  • the raw image data may be a Bayer image.
  • the denoising-processed image data may be a linear RGB image.
  • generating denoised image data for the first frame based on the raw image data and the noise map includes generating the raw image data of the second frame, which is the previous frame of the first frame. It may include generating denoised image data for the first frame based on at least one of image data or denoised image data for the second frame.
  • a program for performing a method of performing denoising processing on image data according to one or more embodiments of the present disclosure on a computer may be recorded on a computer-readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 전자 장치가 이미지 데이터에 대한 디노이징 처리를 수행하는 방법에 관한 것이다. 상기 방법은, 제1 프레임의 원시 이미지 데이터를 식별하는 단계, 상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별하는 단계, 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성하는 단계 및 뉴럴 네트워크 모델을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함할 수 있다. 상기 노이즈 맵은, 상기 원시 이미지 데이터의 디노이징 강도를 나타낼 수 있다.

Description

이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치
본 개시는 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치에 관한 것이다.
IT(information technology)의 발달에 따라, 스마트폰(smartphone), 태블릿 PC(tablet personal computer) 등 다양한 유형의 전자 장치들이 광범위하게 보급되고 있다. 또한, 상기 전자 장치들에는 하나 이상의 카메라 모듈이 포함될 수 있다. 카메라 모듈은 전통적인 필름 카메라가 아닌 이미지 센서를 이용하여 빛을 전기적 영상 신호로 변환하고, 이를 이미지 데이터로서 저장할 수 있는 디지털 카메라로서 구현될 수 있다.
최근에는 집적화 기술 및 압축 기술의 발달에 따라, 카메라 모듈의 고화소화 경향이 두드러지며, 보다 선명하고 높은 화질의 이미지에 대한 사용자의 요구가 증가하고 있다.
본 개시는 방법, 시스템, 장치 또는 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따른 전자 장치가 이미지 데이터에 대한 디노이징 처리를 수행하는 방법은, 제1 프레임의 원시 이미지 데이터를 식별하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 방법은, 상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 방법은, 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 방법은, 뉴럴 네트워크 모델을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 노이즈 맵은, 상기 원시 이미지 데이터의 디노이징 강도를 나타낼 수 있다.
본 개시의 일 실시예에 따른 이미지 데이터에 대한 디노이징 처리를 수행하는 전자 장치는 하나 이상의 명령어를 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 하나 이상의 명령어(instruction)를 실행함으로써, 제1 프레임의 원시 이미지 데이터를 식별할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 뉴럴 네트워크 모델을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성할 수 있다. 본 개시의 일 실시예에서, 상기 노이즈 맵은, 상기 원시 이미지 데이터의 디노이징 강도를 나타낼 수 있다.
본 개시의 일 실시예에 따른 이미지 데이터에 대한 디노이징 처리를 수행하는 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
도 1은 본 개시의 일 실시예에 따른 이미지 처리의 일례를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치가 이미지 데이터에 대한 디노이징 처리를 수행하는 방법을 나타내는 흐름도이다.
도 3은 본 개시의 일 실시예에서, 전자 장치가 원시 이미지 데이터에 대한 디노이징 처리를 수행함으로써 디노이징 처리된 이미지를 생성하는 예시를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따라 전자 장치가 노이즈 맵을 생성하는 동작의 일례를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따라 노이즈 맵 조정에 기반이 되는 이미지 분석 정보를 생성하는 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따라 전자 장치가 노이즈 맵을 생성하는 동작의 일례를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에서 디노이징 처리에 있어서 WBG(white balance gain)을 선 적용하는 예를 나타내는 도면이다.
도 8a 내지 도 8d는 본 개시의 일 실시예에 따른 디노이징 성능을 나타내는 이미지이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 블록도를 나타내는 예시이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 "a", "b", "c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시는 다양한 변경을 가할 수 있고 하나 이상의 실시예를 가질 수 있는 바, 하나 이상의 실시예를 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 개시의 실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 개시의 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서 일 구성요소가 다른 구성요소와 '연결된다' 거나 '접속된다' 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
발명에 대한 구체적인 설명에 앞서, 이하 본 명세서에서 사용되는 용어는 다음과 같이 정의되거나 이해될 수 있다.
본 명세서에서, '원시 이미지 데이터(raw image data)'는 복수의 픽셀들에 대하여, 외부의 광이 각각의 픽셀에 대응하는 컬러 필터(color filter)를 통과한 후, 수광 센서를 이용하여 감지된 광의 세기를 나타내는 데이터로 이해될 수 있다. 원시 이미지 데이터는 복수의 종류의 컬러 필터들로 이루어진 컬러 필터 어레이(color filter array)의 패턴에 기초하여 지정된 패턴을 가질 수 있고 디모자이싱(demosaicing) 되지 않은 데이터로 이해될 수 있다. 본 개시의 하나 이상의 실시예에서, 상기 지정된 패턴을 가지는 원시 이미지 데이터는 상기 복수의 픽셀들 각각에 대해 특정 컬러 필터에 대응하는 색상 값만을 가지는 상태일 수 있다. 본 개시의 일 실시예에서, 원시 이미지 데이터는 렌즈 셰이딩 보정(Lens Shading Correction, LSC), 불량 픽셀 보정(Bad Pixel Correction, BPC) 등의 일부 처리가 수행된 데이터일 수 있다.
본 명세서에서, '디모자이싱(demosaicing)'은 원시 이미지 데이터에 포함되는 복수의 픽셀들 각각에 대하여, 복수의 컬러 필터들 중 어느 하나의 컬러 필터에 대응하는 색상 값으로부터 실제 색상 값을 산출하는 과정으로 이해할 수 있다. 본 개시의 일 실시예에서, 디모자이싱은 상기 복수의 픽셀들 각각에 대하여, 상기 특정 컬러 필터가 아닌 다른 컬러 필터에 대한 색상 값을 예측하거나 산출함으로써, 상기 복수의 픽셀들 각각에 대응하는 객체의 실제 색상 값을 산출해내는 과정을 의미할 수 있다.
본 명세서에서, '디노이징(denoising)'은 원시 이미지 데이터에 포함될 수 있는 노이즈를 제거하는 과정으로 이해될 수 있다.
본 명세서에서, '선형 RGB 이미지(linear RGB 이미지)'는 베이어 이미지에서 디모자이싱이 적용되어 3채널(red 채널, green 채널, blue 채널)로 변환된 RGB 영상을 나타낼 수 있다. 본 개시의 일 실시예에서, '선형 RGB 이미지'는 원시 이미지 데이터로부터 디노이징 및 디모자이싱 처리된 이미지를 나타낼 수 있다. 예를 들어, 선형 RGB 이미지는 WBG(white balance gain)이 적용되지 않은 이미지일 수 있다. 이 경우, 일반적으로 green 채널의 값이 크므로, 전반적으로 녹색빛으로 나타날 수 있다. 예를 들어, 선형 RGB 이미지는 WBG가 적용된 이미지일 수 있다. 즉, WBG가 적용됨으로써, red 및 blue 값이 보정된 선형 RGB 이미지일 수 있다. WBG가 적용된 선형 RGB 이미지는 WBG를 적용하지 않은 선형 RGB 이미지에 비해 전반적으로 자연스러운 색감으로 나타날 수 있다. 그러나, WBG가 적용된 선형 RGB 이미지라도 감마(gamma) 보정 등이 처리되지 않아 최종 출력 이미지(예: standard RGB 이미지)에 비해 어둡고 색상이 틀어진 상태로 나타날 수 있다.
본 명세서에서, '최종 이미지 데이터' 및 '최종 출력 이미지'는, 원시 이미지 데이터에 대하여 복수의 이미지 처리가 수행된 후, 최종으로 사용자에게 제공되는 이미지를 지칭할 수 있다. 즉, 사용자 단말을 통해 출력되는 이미지 또는 메모리에 최종을 저장되는 이미지를 지칭할 수 있다. 본 개시의 일 실시예에서, 최종 이미지 데이터 및 최종 출력 이미지는, 선형 RGB 이미지에 감마 보정 등의 이미지 처리가 적용된 이미지일 수 있다. 예를 들어, 최종 이미지 데이터 및 최종 출력 이미지는 standard RGB(sRGB) 이미지일 수 있으나, 이에 한정되지 않는다.
본 명세서에서, '픽셀 값'(pixel value)은 N 개의 열과 M 개의 행으로 이루어진 복수의 픽셀들에 대한 데이터(예: 원시 이미지 데이터, 색상 데이터, 이미지 데이터 등)에 있어서, 각각의 픽셀에 대응하는 색상 값으로 이해될 수 있다. 픽셀 값은 사용된 컬러 필터 어레이에 따라 결정되는 복수의 색상들에 대한 색상 값들을 포함할 수도 있다. 예를 들어, 컬러 필터 어레이로 베이어 패턴이 사용되는 경우, 픽셀 값은 빨간색, 초록색, 및 파란색에 대한 색상 값들을 포함할 수 있다.
본 명세서에서, '프레임'은 이미지/영상 데이터의 단위로서 사용될 수 있다. 예를 들어, 하나의 이미지는 하나의 프레임에 대한 이미지 데이터로 구성될 수 있다. 본 개시의 일 실시예에서, 전자 장치는 시간의 흐름에 있어서, 각 프레임에 대한 원시 이미지 데이터를 생성할 수 있다. 본 개시의 일 실시예에서, 하나의 전자 장치 및 이미지 센서에 대하여, 서로 다른 프레임은 서로 다른 시점을 나타낼 수 있다. 예를 들어, 서로 다른 프레임에 대한 이미지는 서로 다른 시점에 생성된 이미지로 이해될 수 있다. 예를 들어, 전자 장치는 제1 시점에 제1 프레임에 대한 원시 이미지 데이터를 생성하고, 제2 시점에 제2 프레임에 대한 원시 이미지 데이터를 생성할 수 있다.
본 명세서에서, '이미지'와 '영상'은 혼용되어 사용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 이미지 처리의 일례를 나타내는 도면이다.
카메라 렌즈를 통해 전자 장치 내부로 들어온 광은 이미지 센서(110)를 이용하여 전기적 영상 신호로 변환될 수 있다. 다양한 실시 예에서, 이미지 센서(110)는 CCD(charged coupled device) 센서 또는 CMOS(complementary metal-oxide semiconductor) 센서를 포함할 수 있고, 복수의 종류의 컬러 필터들로 이루어진 컬러 필터 어레이(color filter array, CFA)를 포함할 수 있다.
이미지 센서(110)는 변환된 전기적 영상 신호에 기초하여 원시 이미지 데이터(raw image data)를 생성할 수 있다. 본 개시의 일 실시예에서, 이미지 센서(110)는 복수의 픽셀들 각각에 대하여, 수광된 광 중에서 지정된 파장 범위에 해당하는 성분만을 전기적 영상 신호로 변환할 수 있다. 예를 들어, 이미지 센서(110)는 제1 픽셀에 대하여, 상기 수광된 광 중에서 제1 파장 범위, 예컨대, 빨간색에 해당하는 파장 범위에 대한 성분만을 전기적 영상 신호로 변환할 수 있다. 예를 들어, 이미지 센서(110)는 제2 픽셀에 대하여, 상기 수광된 광 중에서 제2 파장 범위, 예컨대, 초록색에 해당하는 파장 범위에 대한 성분만을 전기적 영상 신호로 변환할 수 있다. 예를 들어, 이미지 센서(110)는 제3 픽셀에 대하여, 상기 수광된 광 중에서 제3 파장 범위, 예컨대, 파란색에 해당하는 파장 범위에 대한 성분만을 전기적 영상 신호로 변환할 수도 있다.
본 개시의 일 실시예에서, 각 픽셀에 대하여 전기적 영상 신호로 변환되는 성분의 파장 범위는 컬러 필터 어레이의 지정된 패턴에 기초할 수 있고, 이에 따라 복수의 픽셀을 가지는 원시 이미지 데이터는 상기 지정된 패턴의 형태를 가질 수 있다. 본 개시의 하나 이상의 실시예에 따르면, 상기 지정된 패턴은 베이어(bayer) 패턴, RGBE(red-green-blue-emerald) 패턴, RYYB(red-yellow-yellow-blue) 패턴, CYYM(cyan-yellow-yellow-magenta) 패턴, CYGM(cyan-yellow-green-magenta) 패턴, RGBW(red-green-blue-white) 베이어 패턴, 및 X-trans 패턴 중 어느 하나의 패턴일 수 있고, 상기 나열되지 않은 패턴을 가질 수도 있다. 일례로, 도시된 바와 같이, 이미지 센서(110)를 통해 입력되는 원시 이미지 데이터는 베이어 패턴의 형태를 갖는 베이어 이미지(120)일 수 있으나, 이에 한정되지 않는다.
도 1을 참조하면, 전자 장치는 이미지 센서(110)를 통해 입력되는 베이어 이미지(120)에 대하여, 제1 이미지 처리(130)를 수행함으로써, 선형 RGB 이미지(140)를 생성할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터에 대하여 제1 이미지 처리(130)로서 복수의 처리를 수행할 수 있다. 예를 들어, 전자 장치는, 베이어 이미지(120)에 대한 렌즈 셰이딩 보정(Lens Shading Correction, LSC), 불량 픽셀 보정(Bad Pixel Correction, BPC) 등을 수행할 수 있다.
전자 장치는 제1 이미지 처리(130)를 수행하기 위해 적어도 하나의 뉴럴 네트워크 모델, 인공지능 모델, 기계학습 모델, 알고리즘 등을 사용할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 제1 이미지 처리(130)에서, 제1 뉴럴 네트워크 모델을 이용하여 이미지 데이터에 대한 디모자이싱(demosaicing) 및 디노이징(denoising) 처리를 수행할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 제1 이미지 처리(130)에서, 제1 뉴럴 네트워크 모델을 이용하여, 저조도(low-light) 영상 처리, 정렬(align) 처리, 퓨전(fusion) 처리, 시간적 디테일 개선(temporal detail enhancement) 처리 등을 수행할 수 있다.
전자 장치는 제1 이미지 처리(130)에서 멀티 프레임 입력 기반의 선형 RGB 처리를 수행할 수 있다. 예를 들어, 전자 장치는 복수의 프레임에 대한 이미지 데이터 입력에 기초하여, 선형 RGB 이미지(140)를 생성할 수 있다. 즉, 제1 프레임에 대한 선형 RGB 이미지(140)를 생성하기 위해, 제1 프레임과 제1 프레임 이전의 하나 이상의 프레임을 포함하는 복수의 프레임에 대한 데이터가 사용될 수 있다.
본 개시의 일 실시예에서, 전자 장치는 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하기 위해, 제2 프레임의 원시 이미지 데이터, 제2 프레임에 대한 디노이징 처리된 이미지 데이터, 제2 프레임에 대한 최종 이미지 데이터, 제2 프레임에 대한 노이즈 맵 또는 그 조합들을 사용할 수 있다. 예를 들어, 전자 장치는 제1 프레임의 원시 이미지 데이터뿐만 아니라, 제2 프레임의 원시 이미지 데이터 및/또는 제2 프레임에 대한 선형 RGB 이미지를 기초로, 상기 제1 뉴럴 네트워크 모델을 이용하여, 제1 프레임에 대한 선형 RGB 이미지(140)를 생성할 수 있다. 이 경우, 제2 프레임은 제1 프레임의 이전 프레임(예: 제1 프레임의 직전 프레임)에 해당할 수 있다.
도 1을 참조하면, 전자 장치는 선형 RGB 이미지(140)에 대하여, 제2 이미지 처리(150)를 수행함으로써, sRGB(standard RGB) 이미지(160)를 생성할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 단일 프레임 입력 기반의 이미지 향상 처리를 수행할 수 있다. 예를 들어, 전자 장치는 단일 프레임의 선형 RGB 이미지(140)(즉, 디노이징 처리된 이미지 데이터) 입력에 기초하여, sRGB(standard RGB) 이미지(160)(즉, 최종 이미지 데이터)를 생성할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 디노이징 처리된 이미지 데이터에 대하여 제2 이미지 처리(150)로서 복수의 처리를 수행할 수 있다. 예를 들어, 전자 장치는 선형 RGB 이미지(140)에 대한 화이트 밸런스(white balance, WB) 보정, 색 보정(color correction, CC), 감마(Gamma) 보정 등을 수행할 수 있다.
전자 장치는 제2 이미지 처리(150)를 위해 적어도 하나의 뉴럴 네트워크 모델, 인공지능 모델, 기계학습 모델, 알고리즘 등을 사용할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 제2 이미지 처리(150)에서, 제2 뉴럴 네트워크 모델을 이용하여 밝기(Brightness) 처리 및 대비(Contrast) 처리를 수행할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 제2 이미지 처리(150)에서, 제2 뉴럴 네트워크 모델을 이용하여 글로벌 톤 매핑(global tone mapping) 처리, 로컬 톤 맵핑(local tone mapping) 처리 , HDR(high dynamic range) 효과 처리, 컬러 향상(enhance) 처리, 샤프닝(sharpening) 처리 등을 수행할 수 있다. 제1 뉴럴 네트워크 모델 및 제2 뉴럴 네트워크 모델은 서로 상이한 모델일 수 있으며, 각 뉴럴 네트워크 모델은 하나 이상의 서브 모델을 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 이미지 센서(110)를 통해 적어도 하나의 카메라 메타 데이터를 획득할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 이미지 처리를 수행하는 데 있어서, 원시 이미지 데이터와 연관된 메타 데이터(즉, 카메라 메타 데이터)을 사용할 수 있다. 메타 데이터는 객체에 대한 이미지 데이터를 획득하는 시점의 주변 환경 또는 카메라의 설정 값을 포함할 수 있다. 예컨대, 메타 데이터는 ISO(International Organization for Standardization) 정보, 셔터 스피드 값, 화이트 밸런스 값, 색 보정 매트릭스(color correction matrix, CCM) 정보, 또는 판독 노이즈(readout noise) 정보 중 적어도 하나를 포함할 수 있다. ISO 정보는 빛에 대한 이미지 센서(110)의 감도를 나타내는 정보일 수 있고, 셔터 스피드 값은 카메라의 셔터가 열리는 시간을 의미할 수 있으며, 화이트 밸런스 값은 빛의 색 온도를 조정하기 위한 값일 수 있다. 색 조정 매트릭스는 실제 객체의 색상과 원시 이미지 데이터의 색상 사이의 차이를 조정해주기 위한 정보로 이해될 수 있으며, 판독 노이즈 정보는 이미지 센서(110)의 암부(dark area)의 열 또는 전류로부터 발생할 수 있는 노이즈에 대한 정보로 이해될 수 있다.
본 개시의 일 실시예에서, 전자 장치는 획득된 메타 정보들 중 적어도 일부를 제1 이미지 처리(130)에 사용할 수 있다. 예를 들어, 전자 장치는 원시 이미지 데이터에 포함되는 노이즈와 연관된 정보인 ISO 정보, 셔터 스피드 값, 판독 노이즈 정보 등을 이용하여, 디노이징을 수행할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 획득된 메타 정보들 중 적어도 일부를 제2 이미지 처리(150)에 사용할 수 있다. 예를 들어, 전자 장치는 화이트 밸런스 값 및 색 보정 매트릭스를 이용하여, 제2 이미지 처리(150)를 수행할 수 있다.
도 1에서 설명한 복수의 이미지 처리들 중 적어도 일부에 대한 설명은 후술하는 도면들에서 생략될 수 있다. 예를 들어, 베이어 이미지(즉, 원시 이미지 데이터)에 대하여 수행되는 복수의 이미지 처리들 중 LSC, BPC 등 일부의 처리에 대한 설명이 생략되더라도, 생략된 이미지 처리 역시 베이어 이미지에 대하여 수행되거나 수행된 것일 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치가 이미지 데이터에 대한 디노이징 처리를 수행하는 방법을 나타내는 흐름도이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 전자 장치가 이미지 데이터에 대한 디노이징 처리를 수행하는 방법(200)은 단계 210 내지 240을 포함할 수 있다. 본 개시의 일 실시예에서, 단계 210 내지 240은 전자 장치에 포함되는 적어도 하나의 프로세서에 의해 실행될 수 있다. 본 개시의 하나 이상의 실시예에서, 이미지 데이터에 대한 디노이징 처리를 수행하는 방법(200)은 도 2에 도시된 바에 한정되지 않으며, 도 2에 도시되지 않은 단계를 더 포함할 수도 있다.
단계 210에서, 전자 장치는, 제1 프레임의 원시 이미지 데이터를 식별할 수 있다. 예를 들어, 원시 이미지 데이터는 베이어 이미지일 수 있다. 본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터를 획득할 수 있다. 예를 들어, 전자 장치에 포함되거나 연결된 이미지 센서가 원시 이미지 데이터를 생성할 수 있다. 예를 들어, 전자 장치는 외부의 다른 장치 등으로부터 원시 이미지 데이터를 수신할 수 있다.
단계 220에서, 전자 장치는 상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별할 수 있다. 본 개시의 일 실시예에서, 제1 카메라 메타 데이터는 카메라 ISO(International Organization for Standardization) 값을 포함할 수 있으나, 이에 한정되지 않는다.
단계 230에서, 전자 장치는 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성할 수 있다. 상기 노이즈 맵은, 상기 원시 이미지 데이터의 디노이징 강도를 나타낼 수 있다. 본 개시의 일 실시예에서, 전자 장치는 상기 원시 이미지 데이터의 카메라 ISO값을 기초로 상기 노이즈 맵을 생성할 수 있다. 본 개시의 일 실시예에서, 전자 장치는, 상기 제1 카메라 메타 데이터를 기초로 생성된 초기 노이즈 맵을, 제2 카메라 메타 데이터 또는 이미지 분석 정보 중 적어도 하나를 기초로 조정함으로써, 상기 노이즈 맵을 생성할 수 있다.
단계 240에서, 전자 장치는 뉴럴 네트워크 모델을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성할 수 있다. 본 개시의 일 실시예에서, 뉴럴 네트워크 모델은 입력되는 이미지 데이터 및 노이즈 맵을 기초로, 입력 이미지 데이터로부터 노이즈를 제거하는 처리, 즉, 디노이징 처리를 수행하도록 학습된 모델일 수 있다.
본 개시의 일 실시예에서, 전자 장치는 상기 원시 이미지 데이터에 화이트 밸런스 게인(white balance gain, WBG)을 적용하고 상기 노이즈 맵에 WBG을 적용할 수 있다. 전자 장치는 상기 WBG이 적용된 원시 이미지 데이터 및 상기 WBG이 적용된 노이즈 맵을 기초로, 상기 뉴럴 네트워크 모델을 이용하여 상기 디노이징 처리된 이미지 데이터를 생성할 수 있다. 이 경우, 뉴럴 네트워크 모델은 WBG이 선 적용된 학습 데이터를 기초로 학습된 모델일 수 있다.
도 3은 본 개시의 일 실시예에서, 전자 장치가 원시 이미지 데이터에 대한 디노이징 처리를 수행함으로써 디노이징 처리된 이미지를 생성하는 예시를 나타내는 도면이다.
각 이미지의 노이즈 특성에 무관하게 모든 이미지에 동일한 디노이징 강도를 적용하는 경우, 일부 이미지의 화질이 저하될 수 있다. 동일한 이미지 센서를 사용하더라도, 셔터 스피드, ISO 등과 같은 설정 값에 따라 이미지 데이터의 노이즈 정도가 상이할 수 있기 때문이다. 예를 들어, 야간에 촬영된 이미지가 낮에 촬영된 이미지에 비해 노이즈 정도가 클 수 있다.
이미지 전체에 일괄적으로 동일한 디노이징 강도를 적용하는 경우, 일부 영역의 체감 화질이 저하되는 문제가 발생할 수 있다. 사용자 인지 측면에서, 각 영역 마다 노이즈에 대한 민감 정도가 상이하기 때문이다. 예를 들어, 사용자 인지 측면에서, 복잡한 영역보다 평이한(flat)한 영역에 대하여 노이즈를 더 민감하게 인지한다는 특징이 있다.
본 개시의 일 실시예에서, 전자 장치는 이미지 분석 정보(즉, 영상 정보) 또는 카메라 메타 데이터 중 적어도 하나를 기반으로, 각 이미지 별 및/또는 각 영역 별로 적응적으로 디노이징 강도를 조절할 수 있다. 예를 들어, 전자 장치는 각 이미지의 카메라 메타 데이터에 기초하여, 각 이미지에 적응적으로 디노이징 강도를 조절할 수 있다. 예를 들어, 전자 장치는 이미지 영역 별 영상 정보에 기초하여, 각 영역에 적응적으로 디노이징 강도를 조절할 수 있다.
이미지 데이터에 대한 디노이징 처리를 수행하는 뉴럴 네트워크 모델(380)은 딥 러닝 기반의 인공지능 모델일 수 있다. 딥 러닝 기반의 디노이징 처리 이후에 WBG을 적용하는 경우, WBG에 의해 노이즈가 증폭되어 디노이징 성능이 저하되는 문제가 발생할 수 있다. 구체적으로, WBG을 적용하여 Red 신호 및 Blue 신호를 증폭함에 따라, 노이즈가 함께 증폭되므로, 이미지 데이터에 대한 디노이징 성능이 저하될 수 있다.
본 개시의 일 실시예에서, 전자 장치는 이미지 데이터에 대하여 WBG을 고려한 디노이징 처리를 수행할 수 있다. 예를 들어, 전자 장치는 디노이징 처리 후 WBG으로 인해 노이즈가 증폭되지 않도록, 미리 WBG을 적용한 후 디노이징 처리를 수행할 수 있다. 예를 들어, 전자 장치는 WBG을 고려하여 이미지 데이터에 대한 디노이징 강도를 조절할 수 있다.
도 3을 참조하면, 전자 장치는 이미지 센서로부터 입력되는 베이어 이미지(120) 및 베이어 이미지(120)에 대응하는 카메라 메타 데이터(310)를 식별할 수 있다. 전자 장치는 베이어 이미지(120)에 대한 이미지 분석 동작(320)을 수행함으로써 이미지 분석 정보(322)를 생성할 수 있다. 전자 장치는 생성된 이미지 분석 정보(322) 또는 식별된 카메라 메타 데이터(310) 중 적어도 하나를 기초로 노이즈 맵 생성 동작(330)을 수행함으로써, 베이어 이미지(120)에 대응하는 노이즈 맵(340)을 생성할 수 있다.
전자 장치는 베이어 이미지(120)에 WBG을 적용하는 동작(350) 및 노이즈 맵(340)에 WBG을 적용하는 동작(360)을 수행할 수 있다. 전자 장치는 WBG이 적용된 베이어 이미지 및 WBG이 적용된 노이즈 맵을 연결(concatenate)하는 동작(370)을 수행할 수 있다. 전자 장치는 연결 동작(370)에 의해 연결된 데이터를 기초로 디노이징 처리를 수행할 수 있다.
전자 장치는 뉴럴 네트워크 모델(380)을 이용하여, 디노이징 처리를 수행함으로써, 디노이징 처리된 이미지 데이터를 생성할 수 있다. 도시된 바와 같이, 전자 장치는, 연결된 데이터를 뉴럴 네트워크 모델(380)에 입력함으로써 뉴럴 네트워크 모델(380)로부터 출력되는 출력 데이터를 기초로, 선형 RGB 이미지(140)(즉, 디노이징 처리된 이미지 데이터)를 생성할 수 있다. 뉴럴 네트워크 모델(380)의 출력 데이터는 디노이징 처리된 이미지 데이터(예: 선형 RGB 이미지) 또는 디노이징 처리된 이미지 데이터를 생성하기 위한 데이터일 수 있다.
본 개시의 일 실시예에서, 뉴럴 네트워크 모델(380)은 이미지 데이터에서 노이즈 맵(즉, 노이즈 레벨 맵)에 나타나는 노이즈의 크기만큼(즉, 디노이징 강도)의 노이즈를 제거하도록 훈련될 수 있다. 예를 들어, 뉴럴 네트워크 모델(380)은 포아송-가우시안 노이즈(poisson-gaussian noise)가 적용된 입력 이미지, 포아송-가우시안 노이즈에 따른 노이즈 레벨 맵 및 노이즈가 제거된 출력 이미지를 포함하는 학습 데이터를 기초로 디노이징 처리를 수행하도록 학습될 수 있다. 예를 들어, 뉴럴 네트워크 모델(380)은 WBG가 선 적용된 학습 데이터를 기초로 디노이징 처리를 수행하도록 학습될 수 있다.
도 3의 선형 RGB 이미지(140)는 WBG가 적용된 선형 RGB 이미지일 수 있다. 추가적으로, 전자 장치는 생성된 선형 RGB 이미지(140)에 대하여 최종 출력 이미지를 생성하기 위한 이미지 처리(예: 도 1의 제2 이미지 처리(150))를 수행할 수 있다. 예를 들어, 전자 장치는 선형 RGB 이미지(140)에 CCM를 적용하는 이미지 처리를 수행할 수 있다.
도 3에 도시된 각 동작은 전자 장치의 적어도 하나의 프로세서에 의해 수행될 수 있다. 예를 들어, 적어도 하나의 프로세서의 제어 또는 명령에 따라 적어도 하나의 모듈(예: 소프트웨어 모듈, 하드웨어 모듈, 또는 그 조합)이 실행됨으로써, 각 동작이 수행될 수 있다.
디노이징 처리를 수행하는데 있어서, 도 3에 도시된 일부의 동작은 생략될 수 있다. 예를 들어, 도 3의 이미지 분석 동작(320)과 연관된 구성은 생략될 수 있다. 이 경우, 전자 장치는 카메라 메타 데이터만을 기초로 노이즈 맵을 생성하는 동작(330)을 수행할 수도 있다.
도 3에서는 베이어 이미지(120)에 대한 LSC, BPC 등의 일부 이미지 처리 과정이 생략된 것일 수 있다. 따라서, 실질적으로 WBG가 적용될 베이어 이미지(120) 혹은 WBG가 적용된 베이어 이미지에 LSC, BPC 등의 일부 이미지 처리가 수행될 수 있다. 마찬가지로, 도 3의 이미지 분석 동작(320)은 LSC, BPC 등의 일부 이미지 처리가 수행된 베이어 이미지(120)에 대하여 수행될 수 있다.
도 4는 본 개시의 일 실시예에 따라 전자 장치가 노이즈 맵을 생성하는 동작의 일례를 나타내는 도면이다.
본 개시의 일 실시예에서, 전자 장치는 하나 이상의 카메라 메타 데이터를 기초로 원시 이미지 데이터(즉, 베이어 이미지)에 대응하는 노이즈 맵(340_1)을 생성할 수 있다. 예를 들어, 전자 장치는 원시 이미지 데이터의 카메라 ISO 값을 기초로 노이즈 맵(340_1)을 생성할 수 있다. 도 4는 도 3의 노이즈 맵 생성 동작(330)의 일례를 나타낼 수 있다. 도 3의 노이즈 맵 생성 동작(330)은 도 4의 초기 노이즈 맵 생성 동작(410) 및 노이즈 맵 조정 동작(420_1)을 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 카메라 메타 데이터(즉, 제1 카메라 메타 데이터)에 기초하여 초기 노이즈 맵(412)을 생성할 수 있다. 도 4를 참조하면, 전자 장치는 ISO 값(310_1)을 기초로 베이어 이미지의 초기 노이즈 맵(412)을 생성하는 동작(410)을 수행할 수 있다. 예를 들어, 전자 장치는 미리 정의된 테이블 및/또는 수식을 이용하여, ISO 값에 따른 초기 노이즈 맵(412)을 생성할 수 있다. 미리 정의된 테이블 및/또는 수식은 경험적/실험적으로 생성된 것일 수 있으나, 이에 한정되지 않는다.
본 개시의 일 실시예에서, 전자 장치는, 원시 이미지 데이터의 카메라 ISO 값을 기초로, 샷 노이즈 값 및 리드 노이즈 값을 결정할 수 있다. 예를 들어, 전자 장치는 미리 정의된 테이블에서 카메라 ISO 값에 대응하는 값들을, 샷 노이즈 값 및 리드 노이즈 값으로 결정할 수 있다. 예를 들어, 전자 장치는 미리 정의된 수식 또는 함수에 카메라 ISO 값을 대입함으로써 산출되는 값들을 샷 노이즈 값 및 리드 노이즈 값으로 결정할 수 있다. 따라서, 각 이미지에 대한 노이즈 맵을 생성하기 위한 샷 노이즈 값 및 리드 노이즈 값을 사용자가 직접 지정하지 않을 수 있다.
본 개시의 일 실시예에서, 전자 장치는 결정된 샷 노이즈 값 및 리드 노이즈 값을 기초로 노이즈 맵을 생성할 수 있다. 예를 들어, 전자 장치는 샷 노이즈 값 및 리드 노이즈 값을 기초로 초기 노이즈 맵(412)을 생성할 수 있다. 일례로, 전자 장치는 아래 수학식 (1)을 기초로 산출되는 분산 값을 이용하여 노이즈 레벨 맵을 생성할 수 있으나, 이에 한정되지 않는다.
수학식 (1)
Figure PCTKR2023006708-appb-img-000001
상기 수학식 (1)에서,
Figure PCTKR2023006708-appb-img-000002
은 리드 노이즈 값을 나타내고,
Figure PCTKR2023006708-appb-img-000003
은 샷 노이즈 값을 나타내고,
Figure PCTKR2023006708-appb-img-000004
는 픽셀 값을 나타내고,
Figure PCTKR2023006708-appb-img-000005
은 분산 값을 나타낼 수 있다. 예를 들어, 전자 장치는 상기 산출된
Figure PCTKR2023006708-appb-img-000006
을 분산 값으로,
Figure PCTKR2023006708-appb-img-000007
를 평균 값으로 하는 가우시안 분포를 기반으로 노이즈 레벨 맵을 생성할 수 있다. 즉, 전자 장치는 상기 가우시안 분포에 따른 랜덤 노이즈 값들을 포함하는 노이즈 레벨 맵을 생성할 수 있다.
전자 장치는 생성된 초기 노이즈 맵(412)을 조정함으로써 노이즈 맵을 생성할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 카메라 메타 데이터(310_2) 및/또는 이미지 분석 정보를 기초로 초기 노이즈 맵(412)을 조정할 수 있다. 예를 들어, 도 4를 참조하면, 전자 장치는 카메라 메타 데이터(310_2)를 기초로 초기 노이즈 맵(412)을 조정하는 동작(420_1)을 수행함으로써, 노이즈 맵(340_1)을 생성할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 ISO 값을 제외한 카메라 메타 데이터(310_2)(즉, 제2 카메라 메타 데이터)에 기초하여 초기 노이즈 맵 조정 동작(420_1)을 수행할 수 있다. 예를 들어, 전자 장치는 노출 시간(exposure time), 셔터 스피드(shutter speed) 또는 CCM(color correction matrix) 중 적어도 하나를 기초로, 초기 노이즈 맵(412)을 조정할 수 있다. 이에 따라, 각 이미지 데이터에 적응적인 디노이징 강도를 포함하는 노이즈 맵(340_1)이 생성될 수 있다.
본 개시의 일 실시예에서, 전자 장치는 임의의 카메라 메타 데이터(310_2)의 값에 따라 노이즈 맵에 대한 스케일링 값(즉, 보정 웨이트 값)을 결정할 수 있다. 예를 들어, 전자 장치는 임의의 카메라 메타 데이터(310_2) 값이 미리 결정된 범위에 포함되는 경우, 해당 범위에 대응하는 값으로 스케일링 값을 결정할 수 있다. 예를 들어, 전자 장치는 임의의 카메라 메타 데이터(310_2) 값이 미리 결정된 조건(예: 임계값 조건 등)을 만족하는 경우, 해당 조건에 대응하는 값을 스케일링 값으로 결정할 수 있다.
예를 들어, 전자 장치는 적어도 하나의 카메라 메타 데이터(310_2)의 값에 따라 스케일링 값을 결정하도록 학습된 기계학습 모델을 이용하여, 노이즈 맵에 대한 스케일링 값을 결정할 수 있다. 예를 들어, 전자 장치는 임의의 카메라 메타 데이터(310_2) 값에 따라 미리 결정된 함수 또는 수식에 의해 산출되는 값을 스케일링 값으로 결정할 수 있다. 예를 들어, 전자 장치는 미리 정의된 테이블에서 임의의 카메라 메타 데이터 값에 대응하는 값을 스케일링 값으로 결정할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터의 노출 시간 값에 따라 적응적으로 디노이징 강도를 조절하기 위해 노이즈 맵을 조정할 수 있다. 동일한 ISO 값으로 촬영된 이미지 데이터라도 노출 시간이 길수록 노이즈 값이 작을 수 있다. 이러한 특징을 반영하기 위해, 이미지 촬영 시의 노출 시간에 따라 원시 이미지 데이터에 대응하는 노이즈 맵 전체를 스케일링 할 수 있다. 즉, 특정 이미지 전반의 디노이징 강도를 조절할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터의 셔터 스피드 값에 따라 적응적으로 디노이징 강도를 조절하기 위해 노이즈 맵을 조정할 수 있다. 동일한 ISO 값으로 촬영된 이미지 데이터라도 이미지 촬영 시 셔터 스피드가 길수록 노이즈가 감소(또는 증가)할 수 있다. 일례로, 전자 장치는 아래 수학식 (2)을 기초로, 노이즈 맵(예: 초기 노이즈 맵(412))을 스케일링 할 수 있으나, 이에 한정되지 않는다.
수학식 (2)
Figure PCTKR2023006708-appb-img-000008
상기 수학식 (2)에서,
Figure PCTKR2023006708-appb-img-000009
은 셔터 스피드 기반의 스케일링 전 노이즈 맵을 나타내고,
Figure PCTKR2023006708-appb-img-000010
는, 기준 셔터 스피드 값(예: 1s)를 나타내고,
Figure PCTKR2023006708-appb-img-000011
는 이미지 데이터의 셔터 스피드 값(예: 2s)을 나타내고,
Figure PCTKR2023006708-appb-img-000012
는 스케일링 강도를 조절하기 위한 변수 또는 상수를 나타내고,
Figure PCTKR2023006708-appb-img-000013
는 셔터 스피드 기반의 스케일링 후 노이즈 맵을 나타낼 수 있다. 예를 들어,
Figure PCTKR2023006708-appb-img-000014
의 값에 따라 셔터 스피드 기반의 스케일링 정도가 달라질 수 있다.
노이즈 맵(예: 초기 노이즈 맵)을 조정하는데 있어서 복수의 카메라 메타 정보가 기초가 되는 경우, 전자 장치는 복수의 카메라 메타 정보의 적어도 일부를 순차적으로 및/또는 동시에 고려하여 노이즈 맵을 조정할 수 있다. 예를 들어, 셔터 스피드 정보와 CCM 정보를 모두 고려하여 스케일링 값을 결정하는 함수, 수학식, 알고리즘 및/또는 테이블이 사용될 수 있다.
도 5는 본 개시의 일 실시예에 따라 노이즈 맵 조정에 기반이 되는 이미지 분석 정보를 생성하는 예시를 나타내는 도면이다.
전자 장치는 이미지 분석 정보(322)를 기초로 노이즈 맵을 조정함으로써 디노이징 처리를 위한 노이즈 맵을 생성할 수 있다. 이를 위해, 전자 장치는 원시 이미지 데이터를 분석함으로써, 이미지 분석 정보(322)를 생성할 수 있다. 도 5를 참조하면, 전자 장치는 베이어 이미지(120)에 대한 이미지 분석 동작(320)을 수행함으로써 이미지 분석 정보(322)를 생성할 수 있다. 생성된 이미지 분석 정보(322)는 노이즈 맵 조정 동작(420_2)에 사용될 수 있다.
이미지 분석 정보(322)는, 이미지 데이터의 노이즈 및/또는 사용자 인지 측면에서의 노이즈 민감도에 영향을 미칠 수 있는 정보를 포함할 수 있다. 일례로, 이미지 분석 정보(322)는 이미지의 각 영역의 복잡도를 나타내는 정보, 이미지의 각 영역의 분류 정보, 이미지의 각 영역의 밝기 정보, 이미지의 각 영역 별 통계 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 이미지 분석 정보(322)는 하나의 이미지에서 각 픽셀 별 또는 각 영역 별 정보를 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터(예: 베이어 이미지(120))의 각 영역을 분류함으로써, 세그먼테이션 맵(segmentation map)(510)을 생성할 수 있다. 예를 들어, 전자 장치는 이미지에 대한 세그먼테이션을 위한 학습 모델 또는 알고리즘을 이용하여, 원시 이미지 데이터의 각 영역(예: '텍스트 영역', '객체 영역' 등)을 분류할 수 있다. 도 5를 참조하면, 전자 장치는 베이어 이미지(120)의 각 영역을 '하늘 영역', '건물 영역', '헬리콥터 영역', '도로 영역' 등으로 분류하고, 각 영역의 분류 정보를 포함하는 세그먼테이션 맵(510)을 생성할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터의 각 픽셀 별 또는 각 영역의 밝기 정보를 분석할 수 있다. 예를 들어, 전자 장치는 원시 이미지 데이터의 각 픽셀 별 또는 각 영역 별 밝기 정보를 나타내는 밝기 맵(brightness map)(520)을 생성할 수 있다. 도 5를 참조하면, 전자 장치는 베이어 이미지(120)의 각 픽셀 별 또는 각 영역 별 밝기 정보를 분석하여 베이어 이미지(120)에 대응하는 밝기 맵(520)을 생성할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터의 각 영역(또는 각 픽셀)의 분산 값을 분석할 수 있다. 예를 들어, 전자 장치는 원시 이미지 데이터의 각 영역(또는 각 픽셀)의 분산 값을 분석함으로써, 각 영역의 복잡도를 나타내는 상세 맵을 생성할 수 있다. 도 5를 참조하면, 전자 장치는 베이어 이미지(120)를 하나 이상의 픽셀을 포함하는 복수의 블록으로 분할하고, 각 블록의 픽셀 분산(variance) 값(즉, 각 블록의 픽셀 값에 대한 분산)을 기초로, 베이어 이미지(120)에 대응하는 상세 맵(detail map)(530)을 생성할 수 있다. 베이어 이미지(120)에 대응하는 상세 맵(530)은 각 블록에 대응하는 영역의 복잡도를 나타낼 수 있다.
도 5에서는 이미지 분석 정보(322)를 각 정보에 대응하는 맵 데이터로 도시하고 있으나, 데이터의 유형은 이에 한정되지 않는다. 도 5에서는 베이어 이미지(120)에 대하여 바로 이미지 분석을 수행하는 것으로 도시하고 있으나 이는 베이어 이미지(120)에 대한 LSC, BPC 등의 일부 이미지 처리 과정이 생략된 것일 수 있다.
도 5에서는 이미지 분석 정보(322)의 일례로서, 세그먼테이션 맵(510), 밝기 맵(520) 및 상세 맵(530)을 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 이미지 분석 정보(322)는 이미지의 고주파 성분 영역 및 저주파 성분 영역에 대한 정보 등을 포함할 수 있다.
도 6은 본 개시의 일 실시예에 따라 전자 장치가 노이즈 맵을 생성하는 동작의 일례를 나타내는 도면이다.
전자 장치는 이미지 분석 정보(322)를 기초로 초기 노이즈 맵(412)을 조정함으로써, 노이즈 맵(340_2)을 생성할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 이미지 분석 동작에 의해 생성된 이미지 분석 정보(322)를 기초로 노이즈 맵 조정 동작(420_2)을 수행할 수 있다. 도 6에서 초기 노이즈 맵(412)은 ISO 값(310_1)을 기초로 생성된 것으로 도시하고 있으나, 이에 한정되지 않는다.
전자 장치는 원시 이미지 데이터(예: 베이어 이미지)의 영역 별 분류 정보를 기초로, 각 영역에 적응적으로 디노이징 강도를 조절할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터에 대응하는 세그먼테이션 맵(예: 도 5의 510)을 기초로, 초기 노이즈 맵(412)을 스케일링(scaling)(즉, 조정)할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 제1 class로 분류된 영역에 대응하는 노이즈 맵 영역의 값은
Figure PCTKR2023006708-appb-img-000015
배로 조정하고, 제2 class로 분류된 영역에 대응하는 노이즈 맵 영역의 값은
Figure PCTKR2023006708-appb-img-000016
배로 조정하고, 제3 class로 분류된 영역에 대응하는 노이즈 맵 영역의 값은
Figure PCTKR2023006708-appb-img-000017
배로 조정할 수 있다. 일례로, 전자 장치는 이미지에서 '하늘'로 분류된 영역에 대한 디노이징 강도는 비교적 강하게, '숲'으로 분류된 영역의 디노이징 강도는 비교적 약하게 조정할 수 있다.
이미지에 대한 사용자 인지 측면에서, 어두운 영역에 대하여 노이즈 민감도가 높고, 밝은 영역에 대하여 노이즈 민감도가 낮을 수 있다. 본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터의 영역 별(또는 픽셀 별) 밝기 정보를 기초로, 각 영역(또는 각 픽셀)에 적응적으로 디노이징 강도를 조절할 수 있다. 예를 들어, 전자 장치는 원시 이미지 데이터에 대응하는 밝기 맵(예: 도 5의 520)을 기초로 각 영역의 밝기 정보에 따라 초기 노이즈 맵(412)을 스케일링 할 수 있다. 예를 들어, 전자 장치는 이미지 데이터에서 어두운 영역에 대하여 디노이징 강도를 더 강하게, 밝은 영역에 대하여 디노이징 강도를 더 약하게 조정할 수 있다.
일례로, 전자 장치는 아래 수학식 (3)에 따라, 밝기를 기초로 노이즈 맵을 스케일링 할 수 있으나, 이에 한정되지 않는다.
수학식 (3)
Figure PCTKR2023006708-appb-img-000018
Figure PCTKR2023006708-appb-img-000019
상기 수학식 (3)에서,
Figure PCTKR2023006708-appb-img-000020
은 밝기 정보 기반의 스케일링 전 노이즈 맵을 나타내고,
Figure PCTKR2023006708-appb-img-000021
는 픽셀 값(즉, 픽셀의 밝기 값)을 나타내고,
Figure PCTKR2023006708-appb-img-000022
는 픽셀 값에 따라 각 픽셀에 대하여 노이즈 맵에 곱해지는 보정 웨이트(weight) 값(즉, 스케일링 값)을 산출하는 함수를 나타내고,
Figure PCTKR2023006708-appb-img-000023
는 밝기 정보 기반의 스케일링 후의 노이즈 맵을 나타낼 수 있다. 상기 수학식 (3)에서
Figure PCTKR2023006708-appb-img-000024
는 0에서 1까지의 값으로 정규화된 픽셀 값을 나타내고,
Figure PCTKR2023006708-appb-img-000025
은 각 픽셀 값
Figure PCTKR2023006708-appb-img-000026
에 대하여,
Figure PCTKR2023006708-appb-img-000027
의 값이 0부터 3까지의 값인 경우 해당 값으로 보정 웨이트 값을 결정하고,
Figure PCTKR2023006708-appb-img-000028
의 값이 0보다 작은 경우, 0으로 보정 웨이트 값을 결정하고,
Figure PCTKR2023006708-appb-img-000029
의 값이 3보다 큰 경우, 3으로 보정 웨이트 값을 결정하는 함수일 수 있다.
이미지에 대한 사용자 인지 측면에서, 복잡도가 낮은 영역(즉, flat 영역)에 대하여 노이즈 민감도가 높고, 복잡도가 높은 영역(즉, 복잡한 영역)에 대하여 노이즈 민감도가 낮을 수 있다. 본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터의 영역 별(또는 픽셀 별) 복잡도 정보를 기초로, 각 영역(또는 각 픽셀)에 적응적으로 디노이징 강도를 조절할 수 있다. 예를 들어, 전자 장치는 원시 이미지 데이터에 대응하는 상세 맵(예: 도 5의 530)을 기초로 각 영역의 복잡도 정보에 따라 초기 노이즈 맵(412)을 스케일링 할 수 있다. 예를 들어, 전자 장치는 이미지 데이터에서 복잡도가 낮은 영역에 대하여 디노이징 강도를 더 강하게, 복잡한 영역에 대하여 디노이징 강도를 더 약하게 조정할 수 있다.
본 개시의 일 실시예에서, 전자 장치는 픽셀 분산 값이 임계값 이하인 블록들에 대응하는 노이즈 맵 영역들의 디노이징 강도가 더 커지도록 스케일링 할 수 있다. 예를 들어, 전자 장치는 픽셀 분산 값이 임계값(예: 1.0) 이하인 블록들에 대응하는 노이즈 맵 영역들의 값(예: 디노이징 강도 값, 노이즈 값)이
Figure PCTKR2023006708-appb-img-000030
(예: 1.5)배가 되도록 조정할 수 있다. 즉, 전자 장치는 픽셀 분산 값이 작은 영역(즉, 복잡도가 낮은 flat 영역)에 대하여 더 강한 디노이징 처리가 수행되도록, 디노이징 강도를 높일 수 있다.
카메라 메타 데이터에 대하여 개시된 하나 이상의 실시예는, 이미지 분석 정보에 대하여도 적용될 수 있으며, 마찬가지로, 이미지 분석 정보에 대하여 개시된 하나 이상의 실시예는 카메라 메타 데이터에 대하여도 적용될 수 있다.
도 5 및 도 6의 이미지 분석 정보(322)는, 디노이징 처리를 수행하는 전자 장치가 이미지 분석 동작을 수행함으로써 생성되는 것으로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 전자 장치는 외부 장치로부터 이미지 분석 정보(322)를 수신하거나, 사용자 입력 신호에 따라 이미지 분석 정보(322)를 생성할 수 있다.
도 4 및 도 6에서는 ISO 값을 기초로 생성된 초기 노이즈 맵(412)을 조정하여 노이즈 맵을 생성하는 실시예를 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 디노이징 처리를 수행하는데 있어서, 초기 노이즈 맵(412)이 그대로 사용될 수 있다. 예를 들어, 초기 노이즈 맵(412)은 ISO 값이 아닌 다른 카메라 메타 데이터 또는 이미지 분석 정보를 기초로 생성될 수 있다.
도 4 및 도 6에서는 각각 카메라 메타 데이터 및 이미지 분석 정보를 기초로 초기 노이즈 맵(412)을 조정하고 있으나, 이에 한정되지 않는다. 예를 들어, 전자 장치는 하나 이상의 카메라 메타 데이터 및 하나 이상의 이미지 분석 정보를 모두 기초하여 초기 노이즈 맵(412)을 조정할 수 있다.
도 4 및 도 6에 도시된 노이즈 맵 조정 동작(420_1, 420_2)은 복수의 조정 동작을 포함할 수 있다. 예를 들어, 노이즈 맵 조정 동작(420_1, 420_2)은 각 정보 기반의 조정 동작들을 포함할 수 있다.
노이즈 맵(예: 초기 노이즈 맵)을 조정하는데 있어서 복수의 정보(예: 카메라 메타 정보, 이미지 분석 정보)가 기초가 되는 경우, 전자 장치는 복수의 정보의 적어도 일부를 순차적으로 및/또는 동시에 고려하여 노이즈 맵을 조정할 수 있다. 예를 들어, 전자 장치는 셔터 스피드 기반으로 조정된 노이즈 맵을 밝기 정보를 기초로 추가 스케일링 할 수 있다. 예를 들어, 셔터 스피드 및 픽셀 분산 값을 모두 고려하여 스케일링 값을 결정하는 함수, 수학식, 알고리즘 및/또는 테이블이 사용될 수 있다. 예를 들어, 픽셀 분산 값 및 분류 정보를 모두 고려하여 스케일링 값을 결정하는 함수, 수학식, 알고리즘 및/또는 테이블이 사용될 수 있다.
도 7은 본 개시의 일 실시예에서 디노이징 처리에 있어서 WBG을 선 적용하는 예를 나타내는 도면이다.
전자 장치는 베이어 이미지(120)에 디노이징 처리를 수행한 후, 디노이징 처리가 수행된 3채널(Red 채널, Green 채널, Blue 채널)의 이미지 데이터에 WBG을 적용할 수 있다. 디노이징 처리가 수행된 이미지 데이터에 WBG가 적용됨에 따라 노이즈가 증폭될 수 있고, 결과적으로 디노이징 성능이 하락할 수 있다. 즉, 디노이징 처리로 감소된 노이즈에 이득이 곱해짐에 따라, 다시 노이즈가 증폭될 수 있다.
전자 장치는 WBG을 적용함에 따라 증폭되는 노이즈를 충분히 제거할 수 있도록 노이즈 맵을 조정할 수 있다. 즉, WBG으로 Red 및 Blue에 대하여 적용되는 게인으로 인해 증폭되는 노이즈를 제거할 수 있도록 노이즈 맵을 조정할 수 있다. 전자 장치는 WBG 크기만큼 노이즈 맵을 스케일링 함으로써 노이즈를 저감하고 디노이징 성능을 향상시킬 수 있다.
디노이징 처리 후 노이즈가 증폭되는 것을 방지하기 위해, 전자 장치는 디노이징 처리를 수행하기 전에, WBG을 선 적용할 수 있다. 본 개시의 일 실시예에서, 전자 장치는 원시 이미지 데이터에 WBG을 적용하고, 원시 이미지 데이터에 대응하는 노이즈 맵에 WBG을 적용할 수 있다. 전자 장치는 WBG이 적용된 원시 이미지 데이터 및 WBG이 적용된 노이즈 맵을 기초로, 뉴럴 네트워크 모델(380)을 이용하여 디노이징 처리된 이미지 데이터를 생성할 수 있다. 즉, 전자 장치는 이미지 데이터에 대하여 WBG을 고려한 디노이징 처리를 수행함으로써, 향상된 디노이징 성능을 달성할 수 있다.
도 7을 참조하면, 전자 장치는 베이어 이미지(120)에 WBG 적용 동작(350)을 수행하고, 베이어 이미지(120)에 대응하는 노이즈 맵(340)에 WBG 적용 동작(360)을 수행할 수 있다. 예를 들어, 전자 장치는 베이어 이미지(120)에 WBG을 곱하고, 노이즈 맵(340)에 WBG의 제곱을 곱할 수 있다. 전자 장치는 WBG이 적용된 베이어 이미지와 WBG인 적용된 노이즈 맵을 연결(concatenate)하는 동작(370)을 수행하고, 연결된 데이터를 뉴럴 네트워크 모델(380)에 입력할 수 있다. 뉴럴 네트워크 모델(380)은 WBG가 선 적용된 입력 데이터를 기초로 베이어 이미지(120)에 대한 디노이징 처리를 수행함으로써 디노이징 처리된 선형 RGB 이미지(140)를 생성할 수 있다. 따라서, 도 7의 선형 RGB 이미지(140)는 WBG이 적용된 선형 RBG 이미지일 수 있다.
뉴럴 네트워크 모델(380)은 이미지 데이터에 대한 디노이징 처리를 수행하도록 학습된 기계학습 모델(예: 딥 러닝 모델)일 수 있다. 본 개시의 일 실시예에서, 뉴럴 네트워크 모델(380)은 WBG을 선 적용하여 WBG으로 인해 증폭되는 노이즈까지 고려하여 훈련될 수 있다. 예를 들어, 뉴럴 네트워크 모델(380)은 WBG이 적용된 이미지 데이터 기반의 학습 데이터를 이용하여, 디노이징 처리를 수행하도록 학습될 수 있으나, 이에 한정되지 않는다. 전자 장치는 WBG을 반영하여 훈련된 딥 러닝 모델을 사용함으로써, 이미지 데이터에 대한 디노이징 성능이 저하되지 않을 수 있다.
도 1 내지 도 7에 도시된 베이어 이미지(120)는 하나의 채널의 이미지 데이터로 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 전자 장치는 이미지 데이터를 처리하기 위해, 베이어 이미지(120)를 Red, Green 1, Green 2, Blue의 4개 채널로 분리하여 이미지 처리 동작을 수행할 수 있다. 이 경우, 뉴럴 네트워크 모델(380)은 각 채널로 분리된 데이터로 학습될 수 있다. 즉, 뉴럴 네트워크 모델(380)은 Red, Green 1, Green 2, Blue 각각에 대하여 학습될 수 있다.
마찬가지로, 베이어 이미지(120)에 대응하는 노이즈 맵(340)은 각 채널에 대한 노이즈 맵들을 포함할 수 있다. 일례로, 노이즈 맵(340) 역시 4개의 채널로, Red 채널에 대한 노이즈 맵, Green 1 채널에 대한 노이즈 맵, Green 2 채널에 대한 노이즈 맵 및 Blue 채널에 대한 노이즈 맵을 포함할 수 있다. 추가적으로, 복수의 채널로 분리된 베이어 이미지(120) 및 노이즈 맵(340)을 기초로 이미지 처리가 수행됨에 따라, 복수의 채널로 분리된 이미지 데이터가 생성될 수 있다.
이 경우, 베이어 이미지(120) 및 노이즈 맵(340)이 복수의 채널로 분리됨으로써 데이터 크기가 감소하고, 이미지 처리를 위한 연산량이 감소할 수 있다. 즉, 뉴럴 네트워크 모델(380)에 입력되는 데이터의 크기가 감소하고, 이에 따라, 뉴럴 네트워크 모델(380)의 연산량이 감소할 수 있다.
도 7에서는 베이어 이미지(120)에 대하여 바로 WBG를 곱하는 것으로 도시하고 있으나, 이는 LSC, BPC 등의 일부 이미지 처리 과정이 생략된 것일 수 있다. 따라서, 실질적으로 WBG가 곱해질 베이어 이미지(120) 혹은 WBG가 곱해진 베이어 이미지는 LSC, BPC 등의 일부 이미지 처리가 수행될 수 있다.. 예를 들어, WBG이 적용된 원시 이미지 데이터는 LSC, BPC 등의 일부 이미지 처리가 수행된 원시 이미지 데이터에 WBG가 적용된 것일 수 있다.
상술한 실시예들 중 베이어 이미지에 대하여 개시된 하나 이상의 실시예는 베이어 이미지가 아닌 다른 원시 이미지 데이터에도 적용될 수 있다. 또한, 상술한 실시예들은 서로 조합되어 실시될 수 있다.
도 1 및 도 7에 도시된 이미지들의 테두리는, 각 이미지 구분하기 위해 임의로 추가한 것으로, 실제 이미지에 포함되는 요소가 아닐 수 있다.
도 8a 내지 도 8d는 본 개시의 일 실시예에 따른 디노이징 성능을 나타내는 이미지이다.
도 8a 및 도 8c의 이미지는 본 개시의 하나 이상의 실시예에 따른 향상된 디노이징 성능을 나타내기 위한 비교 이미지로서 종래 기술에 따라 이미지 처리가 수행된 이미지이다. 도 8b 및 도 8d의 이미지는 본 개시의 하나 이상의 실시예에 따라 이미지 처리가 수행된 이미지이다. 구체적으로, 도 8b 및 도 8d의 이미지는, 이미지의 ISO 값을 기초로 노이즈 맵(즉, 초기 노이즈 맵)을 생성하고, 이미지의 각 영역의 밝기 및 분산(variance) 값을 기초로 노이즈 맵을 조정하고, 이미지와 노이즈 맵에 WBG을 선 적용한 후 뉴럴 네트워크 모델을 이용하여 디노이징 처리를 수행한 결과 이미지이다.
각 이미지 및 각 영역에 적합한 강도로 디노이징 처리가 수행되므로, 종래 기술의 이미지에 비해 노이즈가 저감된 이미지가 제공될 수 있다. 도 8a 및 도 8b를 참조하면, 도 8a에 비해 도 8b의 이미지에서 텍스트가 더욱 선명하고 명확하게 나타난다. 즉, 노이즈로 인한 블러 현상이 완화된 이미지가 제공될 수 있다. 도 8c 및 도 8d를 참조하면, 도 8c에 비해, 도 8d의 이미지에서 복잡한 영역인 나뭇가지 영역 등이 시각적으로 튀지 않고 실제 풍경과 유사한 자연스러운 형태로 나타난다. 즉, 사용자 인지 측면에서의 노이즈 민감도를 반영하므로, 체감 화질이 향상된 이미지가 제공될 수 있다.
도 9는 본 개시의 일 실시예에 따른 전자 장치의 블록도를 나타내는 예시이다.
도 9에 도시된 전자 장치(900)는, 이미지 데이터에 대한 디노이징 처리를 수행하는 장치로, 사용자 단말 또는 서버 장치일 수 있다. 예를 들어, 전자 장치(900)는 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트 글래스(smart glass), 네비게이션(navigation) 장치, 웨어러블 디바이스(wearable device), AR 디바이스(augmented reality device), VR 디바이스(virtual reality device), 디지털 신호 송수신기(digital signal transceiver) 등의 사용자 단말일 수 있다.
본 개시의 일 실시예에서, 전자 장치(900)는 적어도 하나의 프로세서(910) 및 메모리를 포함할 수 있으나, 이에 한정되지 않는다. 프로세서(910)는 전자 장치(900)에 포함된 구성들과 전기적으로 연결되어, 전자 장치(900)에 포함된 구성들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 본 개시의 일 실시예에서, 프로세서(910)는 다른 구성들 중 적어도 하나로부터 수신된 요청, 명령 또는 데이터를 메모리에 로드하여 처리하고, 결과 데이터를 메모리에 저장할 수 있다. 본 개시의 하나 이상의 실시예에 따르면, 프로세서(910)는 CPU(central processing unit), AP(application processor), DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU(graphic processing unit), VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서, 또는 NPU(neural processing unit)와 같은 인공지능 전용 프로세서 중 적어도 하나를 포함할 수 있다.
프로세서(910)는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델(예: 뉴럴 네트워크 모델)에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(910)가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 할 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미할 수 있다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
메모리(920)는 프로세서(910)와 전기적으로 연결되고 전자 장치(900)에 포함된 구성들의 동작과 관련된 하나 이상의 모듈, 적어도 하나의 학습 모델, 프로그램, 명령어 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(920)는 프로세서(910)의 처리 및 제어를 위한 하나 이상의 모듈, 학습 모델, 프로그램, 명령어 또는 데이터를 저장할 수 있다. 메모리(920)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
본 개시의 일 실시예에서, 메모리(920)는 전자 장치(900)가 수신하거나 생성한 데이터, 정보를 저장할 수 있다. 예를 들어, 메모리(920)는 원시 이미지 데이터, 원시 이미지 데이터에 대한 카메라 메타 데이터를 저장할 수 있다. 예를 들어, 메모리(920)는 원시 이미지 데이터에 대한 노이즈 맵, 이미지 분석 정보, 디노이징 처리된 이미지 데이터 등을 저장할 수 있다. 예를 들어, 메모리(920)는 전자 장치(900)가 수신하거나 생성한 데이터, 정보를 압축된 형태로 저장할 수 있다.
메모리(920)에 포함된 모듈 또는 모델은, 프로세서(910)의 제어 또는 명령에 따라 실행되며, 입력 데이터에 대한 출력 데이터를 도출하는 동작들을 수행하도록 구성된 프로그램, 모델 또는 알고리즘을 포함할 수 있다. 메모리(920)는 이미지 처리를 위한 적어도 하나의 뉴럴 네트워크 모델, 인공지능 모델, 기계학습 모델, 알고리즘 등을 포함할 수 있다. 본 개시의 일 실시예에서, 메모리(920)는 원시 이미지 데이터에 대한 디노이징 처리를 수행하는 뉴럴 네트워크 모델을 포함할 수 있다. 메모리(920)는 뉴럴 네트워크 모델을 구성하는 복수의 파라미터 값(가중치 값)을 포함할 수 있다. 예를 들어, 뉴럴 네트워크 모델은, 지도 학습, 비지도 학습, 준지도 학습 또는 강화 학습으로 훈련된 학습 모델일 수 있으나, 이에 한정되지 않는다. 뉴럴 네트워크 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 뉴럴 네트워크 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 뉴럴 네트워크 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 뉴럴 네트워크 모델은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN(Convolutional Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크(Deep Q-Networks) 등이 있으나, 이에 한정되지 않는다.
전자 장치(900)의 적어도 하나의 동작을 수행하는 일부 모듈은 하드웨어 모듈, 소프트웨어 모듈 및/또는 그 조합으로 구현될 수 있다. 메모리(920)는 상술한 전자 장치(900)의 동작들 중 적어도 일부를 수행하는 소프트웨어 모듈들을 포함할 수 있다. 예를 들어, 메모리(920)는 노이즈 맵을 생성하는 노이즈 맵 생성 모듈, 이미지 처리 모듈 등을 포함할 수 있다. 메모리(920)에 포함된 모듈 중 적어도 일부는 복수의 서브 모듈로 구성되거나, 하나의 모듈을 구성할 수 있다. 예를 들어, 노이즈 맵 생성 모듈은 초기 노이즈 맵 생성 모듈 및 노이즈 맵 조정 모듈을 포함할 수 있다. 본 개시의 일 실시예에서, 메모리(920)에 포함된 각 모듈은 프로세서(910)에 의해 실행됨으로써, 동작을 수행할 수 있다.
전자 장치(900)는 도 9에 도시된 구성 요소들보다 더 많은 구성 요소들을 포함할 수 있다. 예를 들어, 전자 장치(900)는, 외부 장치와의 통신을 위한 통신 인터페이스(또는 통신 모듈)을 더 포함할 수 있다. 예를 들어, 전자 장치(900)는 외부 장치와 신호를 송수신하기 위한 송수신부를 더 포함할 수 있다.
본 개시의 일 실시예에서, 전자 장치(900)는 입출력 장치 및/또는 입출력 인터페이스를 더 포함할 수 있다. 예를 들어, 전자 장치(900)는 영상 촬영을 위한 렌즈 및 이미지 센서를 더 포함할 수 있다. 예를 들어, 전자 장치(900)는 이미지 데이터를 출력하기 위한 디스플레이를 더 포함할 수 있다.
적어도 하나의 프로세서(910)는 도 1 내지 도 7에 개시된 적어도 하나의 실시예에 따라 전자 장치(900)가 동작할 수 있도록 일련의 과정을 제어할 수 있다. 즉, 적어도 하나의 프로세서(910)는 전자 장치(900)의 각 구성이 동작할 수 있도록 제어할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서(910)는 메모리에 저장된 하나 이상의 명령어를 실행할 수 있다. 본 개시의 일 실시예에서, 적어도 하나의 프로세서(910)는 하나 이상의 명령어를 실행함으로써, 이미지 데이터에 대한 디노이징 처리를 위한 동작을 수행할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 하나 이상의 명령어(instruction)를 실행함으로써, 제1 프레임의 원시 이미지 데이터를 식별할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 뉴럴 네트워크 모델을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성할 수 있다. 본 개시의 일 실시예에서, 상기 노이즈 맵은, 상기 원시 이미지 데이터의 디노이징 강도를 나타낼 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는, 상기 원시 이미지 데이터의 카메라 ISO(International Organization for Standardization) 값을 기초로 상기 노이즈 맵을 생성할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 카메라 ISO 값을 기초로 샷 노이즈 값 및 리드 노이즈 값을 결정할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 샷 노이즈 값 및 상기 리드 노이즈 값을 기초로 상기 노이즈 맵을 생성할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는, 상기 제1 카메라 메타 데이터를 기초로 생성된 초기 노이즈 맵을, 제2 카메라 메타 데이터 또는 이미지 분석 정보 중 적어도 하나를 기초로 조정함으로써, 상기 노이즈 맵을 생성할 수 있다.
본 개시의 일 실시예에서, 제2 카메라 메타 데이터는, 노출 시간(exposure time), 셔터 스피드(shutter speed) 또는 CCM(color correction matrix) 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에서, 이미지 분석 정보는, 상기 원시 이미지 데이터에 대한 세그먼테이션 정보, 밝기 정보, 복잡도 정보 또는 통계 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 원시 이미지 데이터를 분석하여, 이미지 분석 정보를 생성할 수 있다. 본 개시의 일 실시예에서, 상기 이미지 분석 정보는, 각 픽셀 별 분석 정보 또는 각 영역 별 분석 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는, 상기 원시 이미지 데이터에 화이트 밸런스 게인(white balance gain, WBG)을 적용할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 노이즈 맵에 WBG을 적용할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는 상기 WBG이 적용된 원시 이미지 데이터 및 상기 WBG이 적용된 노이즈 맵을 기초로, 상기 뉴럴 네트워크 모델을 이용하여 상기 디노이징 처리된 이미지 데이터를 생성할 수 있다.
선형 RGB 이미지에 WBG을 적용하는 경우, 이미지의 너비(wide, W) x 이미지의 높이(height, H) x 3 만큼의 multiplication 연산이 수행되어야 한다. 반면, 본 개시의 일 실시예에 따라 베이어 이미지에 WBG를 선 적용하는 경우, W x H 만큼의 multiplication 연산이 수행되므로, 연산량이 1/3로 감소한다는 효과를 달성할 수 있다. 즉, 컴퓨팅 리소스 절약과 처리 속도 향상의 효과를 가져올 수 있다. 본 개시의 일 실시예에서, 상기 뉴럴 네트워크 모델은 WBG이 선 적용된 학습 데이터를 기초로 디노이징 작업을 수행하도록 학습된 모델일 수 있다. 본 개시의 일 실시예에서, 상기 원시 이미지 데이터는 베이어 이미지일 수 있다. 본 개시의 일 실시예에서, 상기 디노이징 처리된 이미지 데이터는 선형 RGB 이미지일 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(910)는, 상기 제1 프레임의 이전 프레임인 제2 프레임의 원시 이미지 데이터 또는 상기 제2 프레임에 대한 디노이징 처리된 이미지 데이터 중 적어도 하나를 기초로, 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성할 수 있다.
본 개시의 청구항 또는 명세서에 기재된 하나 이상의 실시예에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다. 소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리(random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 본 문서에 개시된 하나 이상의 실시예에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 일 실시예에 따른 전자 장치가 이미지 데이터에 대한 디노이징 처리를 수행하는 방법은, 제1 프레임의 원시 이미지 데이터를 식별하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 방법은, 상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 방법은, 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 방법은, 뉴럴 네트워크 모델을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 노이즈 맵은, 상기 원시 이미지 데이터의 디노이징 강도를 나타낼 수 있다.
본 개시의 일 실시예에서, 상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성하는 단계는, 상기 원시 이미지 데이터의 카메라 ISO(International Organization for Standardization) 값을 기초로 상기 노이즈 맵을 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 원시 이미지 데이터의 카메라 ISO 값을 기초로 상기 노이즈 맵을 생성하는 단계는, 상기 카메라 ISO 값을 기초로 샷 노이즈 값 및 리드 노이즈 값을 결정하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 원시 이미지 데이터의 카메라 ISO 값을 기초로 상기 노이즈 맵을 생성하는 단계는, 상기 샷 노이즈 값 및 상기 리드 노이즈 값을 기초로 상기 노이즈 맵을 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 원시 이미지 데이터에 대응하는 노이즈 맵을 생성하는 단계는, 상기 제1 카메라 메타 데이터를 기초로 생성된 초기 노이즈 맵을, 제2 카메라 메타 데이터 또는 이미지 분석 정보 중 적어도 하나를 기초로 조정함으로써, 상기 노이즈 맵을 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 제2 카메라 메타 데이터는, 노출 시간(exposure time), 셔터 스피드(shutter speed) 또는 CCM(color correction matrix) 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에서, 이미지 분석 정보는, 상기 원시 이미지 데이터에 대한 세그먼테이션 정보, 밝기 정보, 복잡도 정보 또는 통계 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 방법은, 상기 원시 이미지 데이터를 분석하여, 이미지 분석 정보를 생성하는 단계를 더 포함할 수 있다. 본 개시의 일 실시예에서, 상기 이미지 분석 정보는, 각 픽셀 별 분석 정보 또는 각 영역 별 분석 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계는, 상기 원시 이미지 데이터에 화이트 밸런스 게인(white balance gain, WBG)을 적용하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계는, 상기 노이즈 맵에 WBG을 적용하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계는, 상기 WBG이 적용된 원시 이미지 데이터 및 상기 WBG이 적용된 노이즈 맵을 기초로, 상기 뉴럴 네트워크 모델을 이용하여 상기 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 뉴럴 네트워크 모델은 WBG이 선 적용된 학습 데이터를 기초로 디노이징 작업을 수행하도록 학습된 모델일 수 있다. 본 개시의 일 실시예에서, 상기 원시 이미지 데이터는 베이어 이미지일 수 있다. 본 개시의 일 실시예에서, 상기 디노이징 처리된 이미지 데이터는 선형 RGB 이미지일 수 있다.
본 개시의 일 실시예에서, 상기 원시 이미지 데이터 및 상기 노이즈 맵을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계는, 상기 제1 프레임의 이전 프레임인 제2 프레임의 원시 이미지 데이터 또는 상기 제2 프레임에 대한 디노이징 처리된 이미지 데이터 중 적어도 하나를 기초로, 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함할 수 있다.
본 개시의 하나 이상의 실시예에 따른 이미지 데이터에 대한 디노이징 처리를 수행하는 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

Claims (15)

  1. 전자 장치(900)가 이미지 데이터에 대한 디노이징(denoising) 처리를 수행하는 방법에 있어서,
    제1 프레임의 원시 이미지 데이터(raw image data)를 식별하는 단계;
    상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별하는 단계;
    상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵(340, 340_1, 340_2)을 생성하는 단계; 및
    뉴럴 네트워크 모델(380)을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵(340, 340_1, 340_2)을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함하고,
    상기 노이즈 맵(340, 340_1, 340_2)은, 상기 원시 이미지 데이터의 디노이징 강도를 나타내는, 방법.
  2. 제1항에 있어서,
    상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵(340, 340_1, 340_2)을 생성하는 단계는,
    상기 원시 이미지 데이터의 카메라 ISO(international organization for standardization) 값(310_1)을 기초로 상기 노이즈 맵(340, 340_1, 340_2)을 생성하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 원시 이미지 데이터의 카메라 ISO 값(310_1)을 기초로 상기 노이즈 맵(340, 340_1, 340_2)을 생성하는 단계는,
    상기 카메라 ISO 값(310_1)을 기초로 샷 노이즈 값 및 리드 노이즈 값을 결정하는 단계;
    상기 샷 노이즈 값 및 상기 리드 노이즈 값을 기초로 상기 노이즈 맵(340, 340_1, 340_2)을 생성하는 단계를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 원시 이미지 데이터에 대응하는 노이즈 맵(340, 340_1, 340_2)을 생성하는 단계는,
    상기 제1 카메라 메타 데이터를 기초로 생성된 초기 노이즈 맵(412)을, 제2 카메라 메타 데이터(310_2) 또는 이미지 분석 정보(322) 중 적어도 하나를 기초로 조정함으로써, 상기 노이즈 맵(340, 340_1, 340_2)을 생성하는 단계를 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    제2 카메라 메타 데이터(310_2)는, 노출 시간(exposure time), 셔터 스피드(shutter speed) 또는 CCM(color correction matrix) 중 적어도 하나를 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    이미지 분석 정보(322)는, 상기 원시 이미지 데이터에 대한 세그먼테이션 정보, 밝기 정보, 복잡도 정보 또는 통계 정보 중 적어도 하나를 포함하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 원시 이미지 데이터를 분석하여, 이미지 분석 정보(322)를 생성하는 단계를 더 포함하고,
    상기 이미지 분석 정보(322)는, 각 픽셀 별 분석 정보 또는 각 영역 별 분석 정보 중 적어도 하나를 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 원시 이미지 데이터 및 상기 노이즈 맵(340, 340_1, 340_2)을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계는,
    상기 원시 이미지 데이터에 화이트 밸런스 게인(white balance gain, WBG)을 적용하는 단계;
    상기 노이즈 맵(340, 340_1, 340_2)에 WBG을 적용하는 단계; 및
    상기 WBG이 적용된 원시 이미지 데이터 및 상기 WBG이 적용된 노이즈 맵을 기초로, 상기 뉴럴 네트워크 모델(380)을 이용하여 상기 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 뉴럴 네트워크 모델(380)은 WBG이 선 적용된 학습 데이터를 기초로 디노이징 작업을 수행하도록 학습된 모델인, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 원시 이미지 데이터 및 상기 노이즈 맵(340, 340_1, 340_2)을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계는,
    상기 제1 프레임의 이전 프레임인 제2 프레임의 원시 이미지 데이터 또는 상기 제2 프레임에 대한 디노이징 처리된 이미지 데이터 중 적어도 하나를 기초로, 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하는 단계를 포함하는, 방법.
  11. 이미지 데이터에 대한 디노이징(denoising) 처리를 수행하는 전자 장치(900)에 있어서,
    하나 이상의 명령어를 저장하는 메모리(920); 및
    상기 메모리(920)에 저장된 상기 하나 이상의 명령어를 실행하는 적어도 하나의 프로세서(910)를 포함하고,
    상기 적어도 하나의 프로세서(910)는 상기 하나 이상의 명령어(instruction)를 실행함으로써,
    제1 프레임의 원시 이미지 데이터(raw image data)를 식별하고,
    상기 원시 이미지 데이터에 대한 제1 카메라 메타 데이터를 식별하고,
    상기 제1 카메라 메타 데이터를 기초로 상기 원시 이미지 데이터에 대응하는 노이즈 맵(340, 340_1, 340_2)을 생성하고,
    뉴럴 네트워크 모델(380)을 이용하여, 상기 원시 이미지 데이터 및 상기 노이즈 맵(340, 340_1, 340_2)을 기초로 상기 제1 프레임에 대한 디노이징 처리된 이미지 데이터를 생성하고,
    상기 노이즈 맵(340, 340_1, 340_2)은, 상기 원시 이미지 데이터의 디노이징 강도를 나타내는, 전자 장치.
  12. 제11항에 있어서,
    상기 적어도 하나의 프로세서(910)는,
    상기 제1 카메라 메타 데이터를 기초로 생성된 초기 노이즈 맵(412)을, 제2 카메라 메타 데이터(310_2) 또는 이미지 분석 정보(322) 중 적어도 하나를 기초로 조정함으로써, 상기 노이즈 맵(340, 340_1, 340_2)을 생성하는, 전자 장치.
  13. 제11항 또는 제12항에 있어서,
    상기 적어도 하나의 프로세서(910)는
    상기 원시 이미지 데이터를 분석하여, 이미지 분석 정보(322)를 생성하고,
    상기 이미지 분석 정보(322)는, 각 픽셀 별 분석 정보 및 각 영역 별 분석 정보 중 적어도 하나를 포함하는, 전자 장치.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(910)는,
    상기 원시 이미지 데이터에 화이트 밸런스 게인(white balance gain, WBG)을 적용하고,
    상기 노이즈 맵(340, 340_1, 340_2)에 WBG을 적용하고,
    상기 WBG이 적용된 원시 이미지 데이터 및 상기 WBG이 적용된 노이즈 맵을 기초로, 상기 뉴럴 네트워크 모델(380)을 이용하여 상기 디노이징 처리된 이미지 데이터를 생성하는, 전자 장치.
  15. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/006708 2022-05-27 2023-05-17 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치 WO2023229288A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0065555 2022-05-27
KR20220065555 2022-05-27
KR10-2023-0000908 2023-01-03
KR1020230000908A KR20230165686A (ko) 2022-05-27 2023-01-03 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치

Publications (1)

Publication Number Publication Date
WO2023229288A1 true WO2023229288A1 (ko) 2023-11-30

Family

ID=88919587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006708 WO2023229288A1 (ko) 2022-05-27 2023-05-17 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치

Country Status (1)

Country Link
WO (1) WO2023229288A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187645A (ja) * 2012-03-06 2013-09-19 Canon Inc ノイズ低減装置およびノイズ低減方法
US10319086B2 (en) * 2015-08-12 2019-06-11 Samsung Electronics Co., Ltd. Method for processing image and electronic device supporting the same
WO2019164232A1 (ko) * 2018-02-20 2019-08-29 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
KR20220056067A (ko) * 2020-10-27 2022-05-04 삼성전자주식회사 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187645A (ja) * 2012-03-06 2013-09-19 Canon Inc ノイズ低減装置およびノイズ低減方法
US10319086B2 (en) * 2015-08-12 2019-06-11 Samsung Electronics Co., Ltd. Method for processing image and electronic device supporting the same
WO2019164232A1 (ko) * 2018-02-20 2019-08-29 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
KR20220056067A (ko) * 2020-10-27 2022-05-04 삼성전자주식회사 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치

Similar Documents

Publication Publication Date Title
WO2020171373A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
WO2022108061A1 (en) Method and device for joint denoising and demosaicing using neural network
WO2020231065A1 (en) Method and apparatus for combining image frames captured using different exposure settings into blended images
JP6485078B2 (ja) 画像処理方法および画像処理装置
US11138695B2 (en) Method and device for video processing, electronic device, and storage medium
US20160071289A1 (en) Image composition device, image composition method, and recording medium
US11538175B2 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
WO2021091161A1 (en) Electronic device and method of controlling the same
WO2019156428A1 (en) Electronic device and method for correcting images using external electronic device
WO2020027584A1 (en) Method and an apparatus for performing object illumination manipulation on an image
WO2020032585A1 (ko) 이미지에 포함된 객체의 속성에 따라 이미지의 화이트 밸런스를 보정하는 전자 장치 및 전자 장치의 이미지 처리 방법
WO2021066565A1 (en) Image processing method and electronic device supporting the same
CN112040202A (zh) 场景识别方法、装置及存储介质
CN115082350A (zh) 频闪图像处理方法、装置、电子设备和可读存储介质
CN112788254B (zh) 摄像头抠像方法、装置、设备及存储介质
CN114298935A (zh) 图像增强方法、装置及计算机可读存储介质
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
WO2021194036A1 (en) Method and system for customizing camera parameters
CN107424134B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111654686B (zh) 去除图像彩噪的方法、去除视频彩噪的方法及相关装置
WO2023229288A1 (ko) 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치
WO2023143229A1 (zh) 图像处理方法、装置、设备及存储介质
CN107392870A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
WO2022092555A1 (ko) 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치
WO2021162263A1 (ko) 이미지의 생성 방법 및 그 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23812062

Country of ref document: EP

Kind code of ref document: A1