WO2022019539A1 - 이미지를 처리하기 위한 방법 및 장치 - Google Patents

이미지를 처리하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2022019539A1
WO2022019539A1 PCT/KR2021/008720 KR2021008720W WO2022019539A1 WO 2022019539 A1 WO2022019539 A1 WO 2022019539A1 KR 2021008720 W KR2021008720 W KR 2021008720W WO 2022019539 A1 WO2022019539 A1 WO 2022019539A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
electronic device
domain
rgb
Prior art date
Application number
PCT/KR2021/008720
Other languages
English (en)
French (fr)
Inventor
응우옌 레롱
젠루이웬
윌리엄 글로츠바흐존
라힘 셰이크하미드
페크쿠쿡센이브라힘
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/139,920 external-priority patent/US11388348B2/en
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022019539A1 publication Critical patent/WO2022019539A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to a method for processing an image and an electronic device therefor.
  • a typical display of a mobile device is a low dynamic range (LDR) or standard dynamic range (SDR) display, and a high dynamic range (high dynamic range, There is a problem in that it is not suitable for displaying HDR) images. Accordingly, interest in a technology (method) capable of effectively compressing the dynamic range of an HDR image so that the HDR image can be displayed on an LDR or SDR display is increasing.
  • LDR low dynamic range
  • SDR standard dynamic range
  • the present disclosure provides a method and an electronic device for processing an image.
  • One aspect of the present disclosure is a memory for storing at least one instruction; and at least one processor, wherein the at least one processor executes the at least one instruction to obtain a first image, and based on the first image, a plurality of transformed domains having different exposure levels. synthesizing images of , fusing a plurality of images of the transformed domain, generating a gain map based on the first image and the fused image, and based on the gain map, An electronic device may be provided, characterized in that the second image is obtained by applying a gain to the first image.
  • the first image may be a high dynamic range (HDR) image
  • the second image may be an image of a displayable bit range
  • the at least one processor when synthesizing a plurality of images of the converted domain, converts the domain of the first image into a luma domain, and An electronic device may be provided, characterized by synthesizing a plurality of images of the transformed domain based on the synthesizing method.
  • the at least one processor when synthesizing a plurality of images of the transformed domain, synthesizes a plurality of images based on the first image, and combines the domains of the plurality of images. It is possible to provide an electronic device, characterized in that it is converted into a YUV domain.
  • the at least one processor when synthesizing a plurality of images of the converted domain, is based on at least one of a user's preference for brightness or contrast of an image, ISO sensitivity, and brightness of a scene.
  • An electronic device may be provided, characterized in that the exposure level is determined based on the exposure level.
  • the at least one processor when the at least one processor synthesizes the plurality of images based on the first image, a user's preference for brightness or contrast of an image, ISO sensitivity, and scene brightness determining the exposure level based on at least one of, and synthesizing the plurality of images by scaling and clipping the first image based on the exposure level can provide
  • the at least one processor when generating the gain map, converts the fused image into a first RGB image, converts the first image into a second RGB image, and and generating the gain map based on the first RGB image and the second RGB image.
  • each RGB value of each pixel of the first RGB image is divided by each RGB value of each pixel of the second RGB image to generate an RGB plane
  • the electronic device may be characterized by generating gain maps and generating the gain map based on a weighted sum of each of the RGB plane gain maps.
  • the at least one processor when the at least one processor applies the gain to the first image, based on the gain map, the at least one processor determines a pixel-by-pixel compression level, and performs the pixel-by-pixel compression on the first image It is possible to provide an electronic device, characterized in that the level is applied.
  • Another aspect of the present disclosure provides a method performed by an electronic device, the method comprising: acquiring a first image; synthesizing a plurality of images of the transformed domain having different exposure levels based on the first image; fusing a plurality of images of the transformed domain; generating a gain map based on the first image and the fused image; and obtaining a second image by applying a gain to the first image based on the gain map.
  • the first image may be a high dynamic range (HDR) image
  • the second image may be an image of a displayable bit range
  • synthesizing the plurality of images of the transformed domain may include: transforming the domain of the first image into a luma domain; and synthesizing a plurality of images of the transformed domain based on the image of the Luma domain.
  • synthesizing the plurality of images of the transformed domain may include: synthesizing a plurality of images based on the first image; and converting a domain of the plurality of images into a YUV domain.
  • the step of synthesizing the plurality of images of the transformed domain may include, based on at least one of a user's preference for brightness or contrast of an image, ISO sensitivity, and brightness of a scene, the exposure A method may be provided, comprising determining the level.
  • the synthesizing of the plurality of images based on the first image may include, based on at least one of a user's preference for brightness or contrast of an image, ISO sensitivity, and brightness of a scene. , determining the exposure level; and synthesizing the plurality of images by scaling and clipping the first image based on the exposure level.
  • generating the gain map based on the fused image may include: converting the fused image into a first RGB image; converting the first image into a second RGB image; and generating the gain map based on the first RGB image and the second RGB image.
  • the generating of the gain map based on the first RGB image and the second RGB image may include calculating the RGB values of each pixel of the first RGB image in the second RGB image. generating RGB plane gain maps by dividing each RGB value of each pixel of ; and generating the gain map based on a weighted sum of each of the RGB plane gain maps.
  • the applying the gain to the first image may include: determining a compression level in units of pixels based on the gain map; and applying a pixel-by-pixel compression level to the first image.
  • Another aspect of the present disclosure may provide a computer-readable recording medium in which a program for implementing the method performed by the electronic device is recorded.
  • FIG. 1 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram for describing a process in which an electronic device compresses a dynamic range of an image according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for describing a process in which an electronic device compresses a dynamic range of an image according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for describing a process in which an electronic device compresses a dynamic range of an image based on a luma domain according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing a process in which an electronic device converts a domain of an input image into a Luma domain according to an embodiment of the present disclosure.
  • 6A illustrates an example of a compressed LUT generated according to an embodiment of the present disclosure.
  • 6B illustrates a process in which an electronic device generates a contrast LUT according to an embodiment of the present disclosure.
  • 6C illustrates an example of a contrast LUT generated according to an embodiment of the present disclosure.
  • 6D illustrates an example of a saturated LUT generated according to an embodiment of the present disclosure.
  • 6E illustrates an example of a highlight contrast LUT generated according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for describing a process in which an electronic device generates a Gamma-S curve LUT according to an embodiment of the present disclosure.
  • FIG. 8A illustrates an example of a pre-pyramid long exposure LUT created in accordance with an embodiment of the present disclosure.
  • 8B illustrates an example of a pre-pyramid short exposure LUT generated according to an embodiment of the present disclosure.
  • 8C illustrates an example of a blended weight LUT generated according to an embodiment of the present disclosure.
  • FIG. 9 illustrates an example of a CLAHE LUT generated according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for describing a process in which an electronic device compresses a dynamic range of an image based on a YUV domain according to an embodiment of the present disclosure.
  • FIG. 11 illustrates examples of a plurality of images having different exposure levels synthesized according to an embodiment of the present disclosure.
  • 12A is a diagram for describing a process in which an electronic device performs an ISP operation according to an embodiment of the present disclosure.
  • FIG. 12B illustrates an example of a dynamic range control LUT according to an embodiment of the present disclosure.
  • 12C illustrates an example of a gamma curve according to an embodiment of the present disclosure.
  • FIG. 13 illustrates examples of a plurality of images and a fused image of a transformed domain having different exposures generated according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram for describing a process in which an electronic device performs a reverse ISP operation according to an embodiment of the present disclosure.
  • 15A is a diagram for describing a process in which an electronic device identifies a user's preference for brightness or contrast of an image, according to an embodiment of the present disclosure
  • 15B is a diagram for describing a process in which an electronic device identifies a user's preference for brightness or contrast of an image, according to an embodiment of the present disclosure
  • 16 is a flowchart illustrating a process in which an electronic device compresses a dynamic range of an image according to an embodiment of the present disclosure.
  • each block of the flowchart diagrams and combinations of the flowchart diagrams may be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions performed by the processor of the computer or other programmable data processing equipment are not described in the flowchart block(s). It creates a means to perform functions.
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory.
  • the instructions stored in the flow chart block(s) produce an article of manufacture containing instruction means for performing the function described in the flowchart block(s).
  • the computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or part of code that includes at least one executable instructions for executing specified logical function(s). It should also be noted that, in some alternative implementation examples, it is also possible for the functions recited in blocks to occur out of order. For example, two blocks shown one after another may be performed substantially simultaneously, or the blocks may sometimes be performed in the reverse order according to a corresponding function.
  • the dynamic range refers to the ratio of the brightest pixel value to the darkest pixel value of an image.
  • dynamic range compression is HDR to enable high dynamic range (HDR) images to be displayed on low dynamic range (LDR) or standard dynamic range (SDR) displays. It refers to the operation of compressing the dynamic range of an image.
  • a look-up table refers to a set or arrangement of pre-calculated results for a given operation.
  • FIG. 1 is a block diagram of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may include a display 110 , a processor 120 , and a memory 130 .
  • the configuration of the electronic device 100 is not limited to the above, and may include more or fewer configurations.
  • the display 110 may display various contents such as text, image, video, icon or symbol.
  • Display 110 may include at least one of a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a quantum dot light emitting diode (QLED) display, a microelectromechanical systems (MEMS) display, and an electronic paper display.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • QLED quantum dot light emitting diode
  • MEMS microelectromechanical systems
  • the processor 120 may control the overall operation of the electronic device 100 by executing at least one instruction stored in the memory 130 .
  • the processor 120 may acquire the first image and synthesize a plurality of images of the transformed domain having different exposure levels based on the first image.
  • the processor 120 may fuse a plurality of images of the transformed domain to generate a fused image or a blended image.
  • the processor 120 may generate a gain map based on the first image and the fused image.
  • the processor 120 may obtain a second image by applying a gain to the first image based on the generated gain map.
  • the memory 130 may include a domain transformation module 140 , an image synthesis module 150 , an image fusion module 160 , a gain map generation module 170 , and a gain application module 180 .
  • the domain conversion module 140 may store instructions for converting the domain of the first image or a plurality of images having different exposure levels into a Luma domain, a YUV domain, or any suitable image domain.
  • the image synthesis module 150 may store instructions for synthesizing a plurality of images having different exposure levels based on the first image or the first image of the transformed domain.
  • the image fusion module 160 may store instructions for fusing a plurality of images of the transformed domain to generate a fused image or a blended image.
  • the gain map generating module 170 converts the fused image into a first RGB image, converts the first image into a second RGB image, and converts the RGB value of each pixel of the first RGB image to each pixel of the second RGB image It is possible to store instructions for generating RGB plane gain maps by dividing by the RGB value of , and generating the gain map based on a weighted sum of each of the RGB plane gain maps.
  • the gain application module 180 may store instructions for obtaining a second image by applying a gain to the first image based on the generated gain map.
  • FIG. 2 is a diagram for explaining a process in which the electronic device 100 compresses a dynamic range of an image according to an embodiment of the present disclosure.
  • a rectangle represents an image and a rounded rectangle represents an operation.
  • the electronic device 100 may acquire a first image 210 .
  • the first image 210 may mean a high dynamic range (HDR) image, that is, a result of combining a plurality of image frames having different exposure levels.
  • the different exposure levels may mean integer, fixed exposure levels (eg, -4, -2, 0) of a camera system that has captured a plurality of image frames.
  • the first image 210 may mean a linear image.
  • the first image 210 may be a 16-bit Bayer image, but is not limited thereto.
  • the first image 210 may include at least one of a frame, a single image, multiple images, or a video stream, but is not limited thereto.
  • the electronic device 100 or the domain conversion module 140 of the electronic device 100 may perform an operation 220 of converting a domain of the first image 210 .
  • the electronic device 100 may perform an operation of converting domains of a plurality of images having different exposure levels.
  • the electronic device 100 may convert the domain of the first image 210 or the plurality of images into another domain.
  • the other domain may mean a luma domain, a YUV domain, or any suitable image domain.
  • the electronic device 100 or the image synthesis module 150 of the electronic device may perform an operation 230 of synthesizing a plurality of images having different exposure levels based on the first image 210 .
  • the electronic device 100 may perform an operation of synthesizing a plurality of images of the transformed domain having different exposure levels based on the first image of the transformed domain.
  • the electronic device 100 uses a look-up table (LUT), scaling and clipping, or any suitable technique to view a plurality of images having different exposure levels. can be synthesized.
  • LUT look-up table
  • different exposure levels (or composite exposure levels) of the plurality of composited images may include fractional, programmable exposure levels (eg, -3.8, -1.5, 0.5).
  • the electronic device 100 may determine a synthesized exposure level based on at least one of a user's preference for brightness or contrast of an image, an ISO sensitivity, and a brightness of a scene, and accordingly, the electronic device 100 ) can more precisely control the brightness and contrast of the image.
  • the factors determining the synthetic exposure level are not limited thereto.
  • a user's preference for brightness or contrast of an image may be identified based on a user's feedback on an output image, which will be described later with reference to FIG. 15 .
  • FIG. 2 illustrates that the electronic device 100 performs the image synthesis operation 230 after performing the domain transformation operation 220 , this is only an exemplary embodiment, and the electronic device 100 performs the image synthesis operation. After the operation 230 is performed, the domain conversion operation 220 may be performed.
  • the electronic device 100 or the image fusion module 160 of the electronic device 100 may perform an operation 240 of fusing a plurality of images of the transformed domain.
  • the electronic device 100 may generate a fused image or a blended image by fusing a plurality of images of the transformed domain.
  • the electronic device 100 may fuse a plurality of images of the transformed domain using a pyramid blending technique or any suitable technique.
  • the electronic device 100 or the gain map generating module 170 of the electronic device 100 may perform an operation 250 of generating a gain map based on the first image 210 and the fused image. have.
  • the electronic device 100 may convert the fused image into a first RGB image and convert the first image 210 into a second RGB image using a demosaic function. Thereafter, the electronic device 100 divides the RGB value of each pixel of the first RGB image by the RGB value of each pixel of the second RGB image to generate RGB plane gain maps, and based on the weighted sum of each of the RGB plane gain maps You can create a gain map.
  • the electronic device 100 converts the fused image to the first RGB image (pixel value: and convert the first image in Bayer format to the second RGB image (pixel value:
  • the electronic device 100 may generate a gain map based on the following formulas (1) to (4).
  • the weight given to each of the RGB plane gain maps disclosed in Formula (4) is only an example, and is not limited thereto.
  • the electronic device 100 sets an arbitrary small value. and a pixel value of the second RGB image.
  • the operation of generating the gain map is not limited to the above-described configuration, and the electronic device 100 may generate the gain map using any suitable technique.
  • the electronic device 100 or the gain application module 180 of the electronic device 100 performs an operation 260 of applying a gain to the first image 210 based on the generated gain map to obtain the second image 270 . ) can be obtained.
  • the electronic device 100 determines the compression level in units of pixels based on the gain map, and applies the compression level in units of pixels to the first image 210 to represent the first image 210 . number can be reduced. For example, the electronic device 100 may compress a 16-bit first image into a 12-bit second image.
  • the second image 270 may mean a low dynamic range (LDR) image, a standard dynamic range (SDR) image, or an image of a displayable range.
  • LDR low dynamic range
  • SDR standard dynamic range
  • FIG. 3 is a diagram for describing a process in which the electronic device 100 compresses a dynamic range of an image according to an embodiment of the present disclosure. Content overlapping with FIG. 2 will be omitted or briefly described.
  • the electronic device 100 may obtain the input image 310 and may obtain the output image 370 by compressing a dynamic range of the input image 310 .
  • the input image 310 may be an example of the first image 210 of FIG. 2
  • the output image 370 may be an example of the second image 270 of FIG. 2 .
  • the electronic device 100 may synthesize a plurality of images 320 to 340 of the transformed domain having different exposure levels based on the input image 310 .
  • the image 320 of the transformed domain may have the shortest exposure level among the plurality of images 320 to 340 of the transformed domain, and thus may include more information in a bright area.
  • the image 340 of the transformed domain may have the longest exposure level among the plurality of images 320 to 340 of the transformed domain, and thus may include more information in a dark area.
  • the plurality of images 320 to 340 of the transformed domain may be an example of images according to the results of the domain transformation operation 220 and the image synthesizing operation 230 of FIG. 2 .
  • the electronic device 100 may generate a fused image 350 by fusing a plurality of images 320 to 340 of the transformed domain. For example, the electronic device 100 replaces a bright area of the image 330 of the converted domain having the intermediate exposure level with the same area of the image 320 of the converted domain having a short exposure level, and in the corresponding area More information can be stored. In addition, the electronic device 100 replaces the dark area of the image 330 of the converted domain having the intermediate exposure level with the same area of the image 340 of the converted domain having the long exposure level to increase the brightness of the corresponding area. can be raised Meanwhile, the fused image 350 may be an example of an image according to the result of performing the image fusion operation 240 of FIG. 2 .
  • the electronic device 100 may generate the gain map 360 based on the image 350 fused with the input image 310 .
  • the gain map 360 may be an example of a gain map according to the result of performing the gain map generating operation 250 of FIG. 2 .
  • the electronic device 100 may obtain the output image 370 by applying a gain to the input image 310 based on the generated gain map 360 .
  • the electronic device 100 may obtain a clearer and easier to identify 12-bit output image by applying a gain map to a 16-bit input image.
  • the bit value of the input image 310 or the output image 370 is not limited thereto.
  • FIG. 4 is a diagram for describing a process in which the electronic device 100 compresses a dynamic range of an image based on a luma domain according to an embodiment of the present disclosure.
  • a white rectangle indicates an image and a dotted rectangle indicates a look-up table (LUT).
  • LUT look-up table
  • the electronic device 100 may obtain a first image 410 and convert a domain of the first image 410 into a Luma domain, according to an embodiment.
  • the electronic device 100 may convert the Bayer format first image into the Luma image 420 .
  • FIG. 5 is a diagram for describing a process in which the electronic device 100 converts a domain of an input image into a luma domain according to an embodiment of the present disclosure.
  • the electronic device 100 uses the following formula (5), Bayer domain of can be converted to the luma domain of
  • R means the value of the red pixel, and denotes a value of a green pixel, and B denotes a value of a blue pixel.
  • the electronic device 100 may apply a plurality of LUTs to the Luma image 420 to synthesize a plurality of images of a transformed domain having different exposure levels, according to an embodiment.
  • the electronic device 100 applies a long exposure LUT 435 to the Luma image 420 to generate a long exposure Luma image 430 , and applies a short exposure LUT 445 to the Luma image 420 .
  • a short exposure Luma image 440 may be generated.
  • the long exposure Luma image 430 may include more bright areas
  • the short exposure Luma image 440 may include more dark areas.
  • FIG. 435 the electronic device 100 applies a long exposure LUT 435 to the Luma image 420 to generate a long exposure Luma image 430
  • a short exposure LUT 445 to the Luma image 420 .
  • a short exposure Luma image 440 may be generated.
  • the long exposure Luma image 430 may include more bright areas
  • the short exposure Luma image 440 may include more dark areas.
  • the electronic device 100 applies two LUTs to the Luma image 420 , this is only an example, and the electronic device 100 applies three or more LUTs to the Luma image 420 . ) to synthesize a plurality of images of the transformed domain.
  • the electronic device 100 may perform the following operations to generate the long exposure LUT 435 .
  • the electronic device 100 may generate a compression LUT 412 based on the first image 410 .
  • the electronic device 100 may generate the compressed LUT 412 using Equation (6) below.
  • a and B refer to various parameters including brightness, contrast, specific focus area or other suitable image characteristics.
  • a and B may be predefined, determined based on a user's input, determined dynamically, or determined based on any suitable manner.
  • FIG. 6A illustrates an example of a compressed LUT 412 generated according to an embodiment of the present disclosure.
  • the compression LUT 412 maps a 16-bit value of the first image 410 to a 12-bit value, and represents 4,095 and 0, respectively, and may represent the maximum and minimum values of the bit range of the first image 410 .
  • the electronic device 100 may generate a compressed LUT as shown in FIG. 6A by substituting the determined parameter values into Equation (6).
  • the electronic device 100 may adjust the interval of the bit range by applying the contrast LUT 414 to the compressed image.
  • the electronic device 100 may generate a contrast LUT 414 based on the compressed LUT 412 according to an embodiment.
  • the electronic device 100 may generate the contrast LUT 414 using the following formula (10).
  • FIG. 6B illustrates a process in which the electronic device 100 generates a contrast LUT 414 according to an embodiment of the present disclosure.
  • the electronic device 100 performs a recursive binary cut operation based on formula (10), can be identified. For example, the electronic device 100 sets the minimum value ( ) and the maximum value ( ) equally divided to identify and make sure that the divided section has the same number of pixels can be identified. The electronic device 100 is identified and Wow based on , and the resulting pixel values Wow can be divided into two groups of Thereafter, the electronic device 100 performs the above operation once more to generate pixel values. , , and can be divided into four groups of The electronic device 100 recursively performs the operation as much as the bit depth of the display device. may be identified, and a contrast LUT 414 may be generated based on this.
  • FIG. 6C illustrates an example of a contrast LUT 414 generated according to an embodiment of the present disclosure.
  • the electronic device 100 adjusts the interval of the bit range of 2 12 of the compressed image, and may represent 4,095 and 0, respectively.
  • the electronic device 100 performs the recursive binary division operation 12 times based on Equation (10), thereby generating 4095 , and based on this, a contrast LUT as shown in FIG. 6C may be generated.
  • the electronic device 100 may generate a long exposure LUT 435 by concatneating the compression LUT 412 and the contrast LUT 414 according to an embodiment.
  • the electronic device 100 may generate the long exposure LUT 435 using the following formula (11).
  • the electronic device 100 may generate a short exposure image 440 by applying the short exposure LUT 445 to the luma image 420 in order to preserve some or all of the white area.
  • the electronic device 100 may perform the following operations to generate the short exposure LUT 445 .
  • the electronic device 100 may generate the saturation LUT 416 based on the long exposure LUT 435 .
  • the electronic device 100 may identify Pt_half and Pt_full using formulas (12) and (13) below.
  • the electronic device 100 linearly increases with a slope of 1 until the horizontal axis value becomes Pt_half, and when the horizontal axis value is Pt_full, the vertical axis value increases It is possible to generate a saturated LUT 416 that increases linearly so that
  • FIG. 6D shows an example of a saturation LUT 416 generated in accordance with an embodiment of the present disclosure.
  • the long exposure LUT 435 maps a 16-bit value to a 12-bit value, may represent 4,095.
  • the electronic device 100 determines By substituting the values into formulas (12) and (13), Pt_half and Pt_full can be identified, and a saturated LUT as shown in FIG. 6D can be generated based on the identified Pt_half and Pt_full.
  • the electronic device 100 may generate a highlight contrast LUT 418 according to an embodiment.
  • the electronic device 100 may generate the highlight contrast LUT 418 based on the Gamma-S curve LUT.
  • FIG. 7 is a diagram for explaining a process in which the electronic device 100 generates a Gamma-S curve LUT according to an embodiment of the present disclosure.
  • the electronic device 100 may generate the dark LUT 720 and the bright LUT 760 based on the following formulas (14) and (15).
  • inv_gamma is a parameter for controlling the brightness of an image.
  • s_dark is a parameter used to generate the dark LUT 720
  • s_bright is a parameter used to generate the bright LUT 760 .
  • Dark LUT 720 and light LUT 760 may be controlled to focus on a dark or bright area of the image, respectively.
  • the electronic device 100 may generate a Gamma-S curve LUT 780 by applying a weight 740 to the generated dark LUT 720 and bright LUT 760 .
  • the electronic device 100 may generate the Gamma-S curve LUT 780 by mixing the dark LUT 720 and the bright LUT 760 using Equation (16) below.
  • the Gamma-S curve LUT 780 can be parameterized with s-parameters and inv_gamma for dark and light regions, as shown in Equation (17) below.
  • the weight 740 may be determined based on a user's preference for brightness or contrast of an image, and is not limited to the configuration shown in FIG. 7 .
  • FIG. 6E illustrates an example of a highlight contrast LUT 418 generated according to an embodiment of the present disclosure.
  • the electronic device 100 may generate a highlight contrast LUT in the form of a Gamma-S curve as shown in FIG. 6E based on the following parameters.
  • the electronic device 100 may generate a short exposure LUT 445 based on a saturation LUT 416 , a highlight contrast LUT 418 , and a long exposure LUT 435 according to an embodiment. have.
  • the electronic device 100 may generate the short exposure LUT 445 using the following formula (19).
  • Short Exposure LUT(x) Saturated LUT(Long Exposure LUT(Highlight Contrast LUT(x))) (19)
  • the operation of generating the long exposure Luma image 430 and the short exposure image 440 by applying the long exposure LUT 435 and the short exposure LUT 445 to the Luma image 420 of FIG. 4 is the image of FIG. It may correspond to the synthesizing operation 230 .
  • the electronic device 100 may perform a pre-processing process to adjust the tones of the long exposure image 430 and the short exposure image 440 before generating the fused image 470 .
  • a pre-processing process to adjust the tones of the long exposure image 430 and the short exposure image 440 before generating the fused image 470 .
  • the electronic device 100 fuses a plurality of images of a transformed domain using a pyramid blending technique
  • the electronic device 100 generates a long exposure Luma image 430 and a short exposure Luma image.
  • the pre-pyramid long exposure LUT (455) and the pre-pyramid short exposure LUT (465) to 440, respectively, the pre-pyramid long exposure image 450 and the pre-pyramid short exposure image ( 460) can be created.
  • FIG. 8A and 8B show an example of a pre-pyramid long exposure LUT 455 and a pre-pyramid short exposure LUT 465 created in accordance with an embodiment of the present disclosure.
  • the electronic device 100 may generate a pre-pyramid long exposure LUT in the form of a Gamma-S curve as shown in FIG. 8A based on the following parameters.
  • the electronic device 100 may generate a pre-pyramid short exposure LUT in the form of a Gamma-S curve as shown in FIG. 8B based on the following parameters.
  • a pre-pyramid short exposure LUT in the form of a Gamma-S curve this is only an example, and the parameter values of the Gamma-S curve LUT may be determined differently based on a user's preference for brightness or contrast of an image. .
  • the electronic device 100 may generate a blended weight LUT 472 based on the short exposure Luma image 440 according to an embodiment.
  • the blended weight LUT of FIG. 8C is only an example, and may be differently determined based on a user's preference for brightness or contrast of an image.
  • FIG. 4 illustrates that the electronic device 100 generates the blended weighted LUT 472 based on the short exposure Luma image 440 , this is only an embodiment, and the electronic device 100 generates the long exposure Luma image 440 .
  • a blended weighted LUT 472 may be generated based on the exposed Luma image 430 . That is, since the weights for each of the short exposure Luma image 440 and the long exposure Luma image 430 are complementary to each other, the electronic device 100 displays the short exposure Luma image 440 and the long exposure Luma image ( 430), a blended weight LUT 472 may be generated based on only one image.
  • the electronic device 100 may fuse the pre-pyramid long exposure image 450 and the pre-pyramid short exposure image 460 by applying the blended weight LUT 472 .
  • the electronic device 100 may generate the fused image 470 based on a pyramid blending technique.
  • the electronic device 100 may apply a contrast limited adaptive histogram equalization (CLAHE) LUT 474 to the fused image.
  • CLAHE contrast limited adaptive histogram equalization
  • the electronic device 100 may apply an additional image processing technology other than the CLAHE operation to the fused image 470 .
  • FIG. 9 illustrates an example of a CLAHE LUT 474 generated according to an embodiment of the present disclosure.
  • the electronic device 100 may generate a CLAHE LUT in the form of a Gamma-S curve as shown in FIG. 9 based on the following parameters.
  • the parameter value of the Gamma-S curve LUT is the brightness of the image.
  • it may be determined differently based on the user's preference for contrast.
  • the electronic device 100 generates a gain map 480 based on a first image 410 and a fused image 470 (or a fused image 475 ) according to an embodiment. can do. Also, the electronic device 100 may obtain the second image 490 by applying a gain to the first image 410 based on the generated gain map 480 .
  • FIG. 10 is a diagram for describing a process in which the electronic device 100 compresses a dynamic range of an image based on a YUV domain according to an embodiment of the present disclosure.
  • a rectangle represents an image and a rounded rectangle represents an operation. Contents overlapping those of FIGS. 2 and 4 will be omitted or briefly described.
  • the electronic device 100 may obtain a first image 1010 and perform an operation 1020 of determining a composite exposure level.
  • the electronic device 100 provides a composite exposure for scaling the first image to different exposure levels based on at least one of a user preference for brightness or contrast of an image, an ISO sensitivity, and a scene brightness.
  • a level or scale value may be determined.
  • the electronic device 100 may adjust the initial composite exposure level based on the histogram of the luminance of the auto-exposed image.
  • the auto-exposure image may mean an image of a single exposure level (eg, an integer, fixed exposure level of a camera system) that is combined to generate an input HDR image.
  • the electronic device 100 obtains a cumulative distribution function (CDF) based on the histogram of the luminance of the auto-exposed image, and obtains a histMed value when the value of the cumulative distribution function becomes 0.5 can be identified. Thereafter, the electronic device 100 uses the following formulas (22) and (23) to synthesize a composite exposure level (or scale value) for synthesizing a long exposure image. ) can be determined.
  • CDF cumulative distribution function
  • the value means a threshold value for adjusting the tone of the image, and may be determined based on a user's preference for brightness or contrast of the image.
  • the electronic device 100 may identify a histMax value when the value of the cumulative distribution function is approximately 1 (eg, 0.999). Thereafter, the electronic device 100 uses the following formula (24) to synthesize the exposure level (or scale value) for synthesizing the short exposure image. ) can be determined.
  • the electronic device 100 after determining a composite exposure level (or scale value) for synthesizing a long exposure image or a short exposure image, synthesizes an intermediate exposure image located in the middle of both composite exposure levels. It is possible to determine the synthetic exposure level for For example, the electronic device 100 may generate a composite exposure level (or scale value) for generating an intermediate exposure image based on the geometric mean as shown below. ) can be determined.
  • the electronic device 100 performs an operation 1030 of scaling and clipping the first image 1010 based on the determined composite exposure level, thereby selecting different exposure levels.
  • the branch may combine a plurality of images.
  • scaling may refer to an operation of multiplying each pixel of an image by a scale value
  • clipping may refer to an operation of forming a mathematical boundary in each pixel of an image.
  • the electronic device 100 uses Equation (26) as shown below to obtain a 12-bit plural number having different exposure levels. images can be combined.
  • the electronic device 100 displays the 16-bit first image. for each pixel in the scale value ( , , ) and forming a border of 4095 at each pixel, , medium exposure image and long exposure images can be synthesized.
  • FIG. 11 illustrates examples of a plurality of images having different exposure levels synthesized according to an embodiment of the present disclosure.
  • the electronic device 100 may synthesize a plurality of images by scaling and clipping the first image 1010 based on the determined synthesis exposure level.
  • the electronic device 100 may synthesize the short exposure Bayer image 1120 by scaling and clipping the input Bayer image based on the lowest scale value, and may synthesize the input Bayer image based on the intermediate scale value.
  • the medium exposure Bayer image 1140 may be synthesized by scaling and clipping
  • the long exposure Bayer image 1160 may be synthesized by scaling and clipping the input Bayer image based on the highest scale value.
  • the short exposure Bayer image 1120 , the medium exposure Bayer image 1140 , and the long exposure Bayer image 1160 are the short exposure images of FIG. 10 , respectively.
  • medium exposure image and long exposure images may be an example of
  • the electronic device 100 is disclosed as synthesizing a plurality of images based on three synthetic exposure levels or three scale values, this is only an example, and the electronic device 100 includes two or four A plurality of images may be synthesized based on the above synthesis exposure level.
  • the electronic device 100 performs an image signal processing (ISP) operation 1040 on a plurality of images having different exposure levels to YUV domains of the plurality of images. can be converted into domains.
  • ISP image signal processing
  • the electronic device 100 performs an ISP operation 1040 on each of the short exposure Bayer image, the medium exposure Bayer image, and the long exposure Bayer image to generate the short exposure YUV image, the medium exposure YUV image, and the long exposure YUV image.
  • ISP image signal processing
  • FIGS. 12A to 12C are diagrams for explaining a process in which the electronic device 100 performs an ISP operation according to an embodiment of the present disclosure.
  • a rectangle represents an image and a rounded rectangle represents an operation.
  • the electronic device 100 obtains a Bayer image 1210 according to an embodiment, and performs an operation 1220 of applying a demosaic function to the Bayer image 1210 to obtain an RGB image.
  • an RGB image can be obtained.
  • Each cell includes two green samples, one blue sample, and one red sample, and the size of the output RGB image may be half the size of the Bayer image 1210 .
  • the electronic device 100 obtains the value of the green plane of the RGB image based on the average value of the two green samples of the Bayer image 1210 , and based on interpolation of the blue samples of the Bayer image 1210 .
  • a blue plane value of the RGB image may be obtained, and a red plane value of the RGB image may be obtained based on interpolation of red samples of the Bayer image 1210 .
  • the electronic device 100 may convert the Bayer image 1210 into an RGB image based on the following formulas (27) to (29).
  • Equations (28) and (29) are only an example, and may be differently determined based on a distance between the positions of the respective samples of the Bayer image 1210 and the interpolated positions.
  • the electronic device 100 may perform an operation 1230 of controlling the dynamic range of the RGB image.
  • the electronic device 100 may obtain a luminance value based on the RGB value of each pixel, and may obtain a gain value based on the luminance value and a dynamic range control (DRC) LUT.
  • DRC dynamic range control
  • the electronic device 100 may obtain a gain value based on the following formulas (30) and (31).
  • the electronic device 100 may apply a high gain to a pixel having a low luminance value and apply a low gain or not apply a gain to a pixel having a high luminance value based on the dynamic range control LUT.
  • 12B illustrates an example of a dynamic range control LUT according to an embodiment of the present disclosure.
  • the electronic device 100 may multiply the RGB value of each pixel by a gain value corresponding to each pixel as shown in the following formula.
  • the electronic device 100 may perform an operation 1240 of correcting a color in an image output as a result of performing the dynamic range control operation 1230 .
  • the electronic device 100 is RGB values obtained by the camera device may be converted into RGB values suitable for display on a display device by applying a color correction matrix of .
  • the electronic device 100 may adjust the intensity of light by performing a gamma correction operation 1250 on the color-corrected image.
  • the electronic device 100 may compress a 12-bit RGB image into an 8-bit RGB image based on formulas (36) and (38) below.
  • FIG. 12C illustrates an example of a gamma curve according to an embodiment of the present disclosure.
  • the electronic device 100 may obtain the YUV image 1270 by performing the RGB-to-YUV operation 1260 on the gamma-corrected image.
  • the synthesis exposure level determination operation 1020 and the scaling and clipping operation 1030 of FIG. 10 correspond to the image synthesis operation 230 of FIG. 2
  • the ISP operation 1040 of FIG. 10 is the domain conversion operation of FIG. 2 . It may correspond to (220). That is, when the electronic device 100 compresses the dynamic range of an image based on the YUV domain, the electronic device 100 synthesizes a plurality of images having different exposure levels, and sets the domains of the plurality of images to the YUV domain. can be converted to
  • the electronic device 100 may perform an operation of fusing a plurality of images in the YUV domain having different exposure levels and a tone mapping operation 1050 in the YUV domain.
  • the electronic device 100 generates a fused YUV image using a pyramid blending technique or any suitable technique, and uses a local tone mapping technique, such as a CLAHE technique, of the fused YUV image. Local contrast can be preserved.
  • the short exposure YUV image 1320 , the medium exposure YUV image 1340 , and the long exposure YUV image 1360 are a plurality of images of a transformed domain generated as a result of performing the ISP operation 1040 of FIG. 10 .
  • the fused YUV image 1380 may be an example of a fused image generated as a result of performing the image fusion operation and the tone mapping operation 1050 in the YUV domain of FIG. 10 .
  • the electronic device 100 may perform the reverse ISP operation 1060 on the fused image.
  • the electronic device 100 may perform an inverse ISP operation 1060 to convert the fused YUV image into an RGB image.
  • a rectangle represents an image and a rounded rectangle represents an operation.
  • the electronic device 100 obtains a YUV image 1410 and performs a YUV-to-RGB operation 1420 on the YUV image 1410 to obtain an RGB image, according to an embodiment.
  • the electronic device 100 may acquire the RGB image 1460 by performing an inverse gamma correction operation 1430 , an inverse color correction operation 1440 , and an inverse dynamic range control operation 1450 .
  • the inverse gamma correction operation 1430 means an inverse operation of the gamma correction operation 1250 of FIG. 12A
  • the inverse color correction operation 1440 is the inverse operation of the color correction operation 1240 of FIG. 12A
  • the inverse dynamic range control operation 1450 may refer to the reverse operation of the dynamic range control operation 1230 of FIG. 12A .
  • the electronic device 100 may perform an operation 1070 of generating a gain map based on the first image 1010 and the fused image, according to an embodiment. Also, the electronic device 100 may acquire the second image 1090 by performing an operation 1080 of applying a gain to the first image 1010 based on the generated gain map.
  • 15A and 15B are diagrams for explaining a process in which the electronic device 100 identifies a user's preference for brightness or contrast of an image according to an embodiment of the present disclosure.
  • the electronic device 100 may identify the user's preference for brightness or contrast of the image based on the user's feedback on the output image.
  • FIGS. 15A and 15B are images output by compressing a dynamic range of an image capturing the same scene, but brightness or contrast of each of the output images may be different.
  • the contrast of the image of FIG. 15A is higher, whereas the image of FIG. 15B has higher brightness.
  • the electronic device 100 receives the user's opinion on which image is preferred among the image of FIG. 15A and the image of FIG. 15B. It is possible to identify and compress the dynamic range of the image to be input based on this.
  • 16 is a flowchart illustrating a process in which an electronic device compresses a dynamic range of an image according to an embodiment of the present disclosure.
  • the electronic device may acquire a first image.
  • the first image may mean a high dynamic range (HDR) image, that is, a result of combining a plurality of image frames having different exposure levels.
  • HDR high dynamic range
  • the electronic device may synthesize a plurality of images of the transformed domain having different exposure levels based on the first image.
  • the electronic device when the electronic device compresses the dynamic range of the image based on the Luma domain, the electronic device converts the domain of the first image into the Luma domain, and based on the image of the Luma domain, the plurality of transformed domains images can be combined.
  • the electronic device when the electronic device compresses the dynamic range of the image based on the YUV domain, the electronic device synthesizes a plurality of images based on the first image, and converts the domains of the plurality of images into the YUV domain. can
  • the electronic device may fuse a plurality of images of the transformed domain.
  • the electronic device may generate a fused image or a blended image by fusing a plurality of images of the transformed domain.
  • the electronic device may fuse a plurality of images of the transformed domain using a pyramid blending technique or any suitable technique.
  • the electronic device may generate a gain map based on the first image and the fused image.
  • the electronic device may convert the fused image into a first RGB image and convert the first image into a second RGB image using a demosaic function. Thereafter, the electronic device divides the RGB value of each pixel of the first RGB image by the RGB value of each pixel of the second RGB image to generate RGB plane gain maps, and generates a gain map based on the weighted sum of each of the RGB plane gain maps.
  • the electronic device may obtain a second image by applying a gain to the first image based on the generated gain map.
  • the electronic device may determine a pixel-by-pixel compression level based on the gain map and apply the pixel-by-pixel compression level to the first image to reduce the number of bits representing the first image.
  • the second image may mean a low dynamic range (LDR) image, a standard dynamic range (SDR) image, or an image of a displayable range.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

적어도 하나의 명령어를 저장하는 메모리; 및 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여, 제1 이미지를 획득하고, 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성하고, 변환된 도메인의 복수의 이미지들을 융합하고, 제1 이미지 및 상기 융합된 이미지에 기초하여, 게인 맵(gain map)을 생성하고, 게인 맵에 기초하여, 제1 이미지에 게인을 적용하여 제2 이미지를 획득하는 것을 특징으로 하는, 전자 장치가 개시된다.

Description

이미지를 처리하기 위한 방법 및 장치
본 개시는 이미지를 처리하기 위한 방법 및 그 전자 장치에 관한 것이다.
스마트폰 또는 태블릿 컴퓨터와 같은 모바일 장치의 카메라는 편리하지만, 저조도(low-light) 상황에서 성능이 저하되는 것과 같은 한계점이 존재한다. 이러한 한계점을 극복하기 위한 방안 중 한가지로서, 서로 다른 노출 레벨을 가지는 여러 이미지들을 결합하는 다중 프레임 처리 기술이 도입되었다.
그러나, 일반적인 모바일 장치의 디스플레이는 낮은 동적 범위(low dynamic range, LDR) 또는 표준 동적 범위(standard dynamic range, SDR) 디스플레이로서, 서로 다른 노출 레벨을 가지는 여러 이미지들을 결합한 높은 동적 범위(high dynamic range, HDR) 이미지를 표시하기에 적합하지 않다는 문제점이 존재한다. 따라서, HDR 이미지를 LDR 또는 SDR 디스플레이에 표시 가능하도록 HDR 이미지의 동적 범위를 효과적으로 압축할 수 있는 기술(방안)에 대한 관심이 높아지고 있다.
본 개시는 이미지를 처리하기 위한 방법 및 그 전자 장치를 제공한다.
본 개시의 일 측면은 적어도 하나의 명령어를 저장하는 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여, 제1 이미지를 획득하고, 상기 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성하고, 상기 변환된 도메인의 복수의 이미지들을 융합하고, 상기 제1 이미지 및 상기 융합된 이미지에 기초하여, 게인 맵(gain map)을 생성하고, 상기 게인 맵에 기초하여, 상기 제1 이미지에 게인을 적용하여 제2 이미지를 획득하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 제1 이미지는 높은 동적 범위(high dynamic range, HDR) 이미지이고, 상기 제2 이미지는 디스플레이 가능한 비트 범위의 이미지인, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는 상기 변환된 도메인의 복수의 이미지들을 합성할 때, 상기 제1 이미지의 도메인을 루마(Luma) 도메인으로 변환하고, 상기 Luma 도메인의 이미지에 기초하여, 상기 변환된 도메인의 복수의 이미지들을 합성하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는 상기 변환된 도메인의 복수의 이미지들을 합성할 때, 상기 제1 이미지에 기초하여, 복수의 이미지들을 합성하고, 상기 복수의 이미지들의 도메인을 YUV 도메인으로 변환하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는 상기 변환된 도메인의 복수의 이미지들을 합성할 때, 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는 상기 제1 이미지에 기초하여, 상기 복수의 이미지들을 합성할 때, 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하고, 상기 노출 레벨에 기초하여, 상기 제1 이미지를 스케일링(scaling) 및 클리핑(clipping)하여 상기 복수의 이미지들을 합성하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는 상기 게인 맵을 생성할 때, 상기 융합된 이미지를 제1 RGB 이미지로 변환하고, 상기 제1 이미지를 제2 RGB 이미지로 변환하고, 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 기초하여, 상기 게인 맵을 생성하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는 상기 게인 맵을 생성할 때, 상기 제1 RGB 이미지의 픽셀 각각의 RGB 값을 상기 제2 RGB 이미지의 픽셀 각각의 RGB 값으로 나누어 RGB 평면 게인 맵들을 생성하고, 상기 RGB 평면 게인 맵들 각각의 가중 합계에 기초하여 상기 게인 맵을 생성하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 적어도 하나의 프로세서는 상기 제1 이미지에 상기 게인을 적용할 때, 상기 게인 맵에 기초하여, 픽셀 단위 압축 레벨을 결정하고, 상기 제1 이미지에 픽셀 단위 압축 레벨을 적용하는 것을 특징으로 하는, 전자 장치를 제공할 수 있다.
본 개시의 다른 측면은 전자 장치에 의해 수행되는 방법에 있어서, 제1 이미지를 획득하는 단계; 상기 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성하는 단계; 상기 변환된 도메인의 복수의 이미지들을 융합하는 단계; 상기 제1 이미지 및 상기 융합된 이미지에 기초하여, 게인 맵을 생성하는 단계; 및 상기 게인 맵에 기초하여, 상기 제1 이미지에 게인을 적용하여 제2 이미지를 획득하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 제1 이미지는 높은 동적 범위(high dynamic range, HDR) 이미지이고, 상기 제2 이미지는 디스플레이 가능한 비트 범위의 이미지인, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계는, 상기 제1 이미지의 도메인을 루마(Luma) 도메인으로 변환하는 단계; 및 상기 Luma 도메인의 이미지에 기초하여, 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계는, 상기 제1 이미지에 기초하여, 복수의 이미지들을 합성하는 단계; 및 상기 복수의 이미지들의 도메인을 YUV 도메인으로 변환하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계는, 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 제1 이미지에 기초하여, 복수의 이미지들을 합성하는 단계는, 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하는 단계; 및 상기 노출 레벨에 기초하여, 상기 제1 이미지를 스케일링(scaling) 및 클리핑(clipping)하여 상기 복수의 이미지들을 합성하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 융합된 이미지에 기초하여 상기 게인 맵을 생성하는 단계는, 상기 융합된 이미지를 제1 RGB 이미지로 변환하는 단계; 상기 제1 이미지를 제2 RGB 이미지로 변환하는 단계; 및 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 기초하여, 상기 게인 맵을 생성하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 기초하여, 상기 게인 맵을 생성하는 단계는, 상기 제1 RGB 이미지의 픽셀 각각의 RGB 값을 상기 제2 RGB 이미지의 픽셀 각각의 RGB 값으로 나누어 RGB 평면 게인 맵들을 생성하는 단계; 및 상기 RGB 평면 게인 맵들 각각의 가중 합계에 기초하여 상기 게인 맵을 생성하는 단계를 포함하는, 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예에서 상기 제1 이미지에 상기 게인을 적용하는 단계는, 상기 게인 맵에 기초하여, 픽셀 단위 압축 레벨을 결정하는 단계; 및 상기 제1 이미지에 픽셀 단위 압축 레벨을 적용하는 단계를 포함하는, 방법을 제공할 수 있다.
본 개시의 또 다른 측면은 상기 전자 장치에 의해 수행되는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따라 전자 장치가 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따라 전자 장치가 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따라 전자 장치가 Luma 도메인에 기초하여 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따라 전자 장치가 입력 이미지의 도메인을 Luma 도메인으로 변환하는 과정을 설명하기 위한 도면이다.
도 6a는 본 개시의 일 실시예에 따라 생성된 압축 LUT의 일 예를 도시한다.
도 6b는 본 개시의 일 실시예에 따라 전자 장치가 콘트라스트 LUT를 생성하는 과정을 도시한다.
도 6c는 본 개시의 일 실시예에 따라 생성된 콘트라스트 LUT의 일 예를 도시한다.
도 6d는 본 개시의 일 실시예에 따라 생성된 포화 LUT의 일 예를 도시한다.
도 6e는 본 개시의 일 실시예에 따라 생성된 하이라이트 콘트라스트 LUT의 일 예를 도시한다.
도 7은 본 개시의 일 실시예에 따라 전자 장치가 Gamma-S 곡선 LUT를 생성하는 과정을 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시예에 따라 생성된 프리-피라미드 긴 노출 LUT의 일 예를 도시한다.
도 8b는 본 개시의 일 실시예에 따라 생성된 프리-피라미드 짧은 노출 LUT의 일 예를 도시한다.
도 8c는 본 개시의 일 실시예에 따라 생성된 블렌딩된 가중치 LUT의 일 예를 도시한다.
도 9는 본 개시의 일 실시예에 따라 생성된 CLAHE LUT의 일 예를 도시한다.
도 10은 본 개시의 일 실시예에 따라 전자 장치가 YUV 도메인에 기초하여 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따라 합성된 서로 다른 노출 레벨을 가지는 복수의 이미지들의 일 예들을 도시한다.
도 12a는 본 개시의 일 실시예에 따라 전자 장치가 ISP 동작을 수행하는 과정을 설명하기 위한 도면이다.
도 12b는 본 개시의 실시예에 따른 동적 범위 제어 LUT의 일 예를 도시한다.
도 12c는 본 개시의 일 실시예에 따른 감마 곡선의 일 예를 도시한다.
도 13은 본 개시의 일 실시예에 따라 생성된 서로 다른 노출을 가지는 변환된 도메인의 복수의 이미지들 및 융합된 이미지의 일 예들을 도시한다.
도 14는 본 개시의 일 실시예에 따라 전자 장치가 역 ISP 동작을 수행하는 과정을 설명하기 위한 도면이다.
도 15a는 본 개시의 일 실시예에 따라 전자 장치가 이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도를 식별하는 과정을 설명하기 위한 도면이다.
도 15b는 본 개시의 일 실시예에 따라 전자 장치가 이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도를 식별하는 과정을 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따라 전자 장치가 이미지의 동적 범위를 압축하는 과정을 나타내는 흐름도이다.
이하, 본 개시의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
아래에서는 실시예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시하였다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시를 완전하게 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실행 예시들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 개시에서, 동적 범위(dynamic range)는 이미지의 가장 밝은 픽셀 값과 가장 어두운 픽셀 값의 비율을 의미한다.
본 개시에서, 동적 범위 압축(compression)은 높은 동적 범위(high dynamic range, HDR) 이미지를 낮은 동적 범위(low dynamic range, LDR) 또는 표준 동적 범위(standard dynamic range, SDR) 디스플레이에 표시 가능하도록 HDR 이미지의 동적 범위를 압축하는 동작을 의미한다.
본 개시에서, 룩업 테이블(look-up table, LUT)은 주어진 연산에 대해 미리 계산된 결과들의 집합 또는 배열을 의미한다.
이하, 본 개시의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(100)의 블록도이다.
일 실시예에 따르면, 전자 장치(100)는 디스플레이(110), 프로세서(120) 및 메모리(130)를 포함할 수 있다. 그러나, 전자 장치(100)의 구성은 전술한 바에 한정되지 않고, 더 많은 구성을 포함하거나 적은 구성을 포함할 수 있다.
디스플레이(110)는 텍스트, 이미지, 동영상, 아이콘 또는 기호와 같은 다양한 콘텐츠를 표시할 수 있다. 디스플레이(110)는 액정 디스플레이 (LCD), 발광 다이오드 (LED) 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 양자점 발광 다이오드 (QLED) 디스플레이, MEMS (microelectromechanical systems) 디스플레이 및 전자 종이 디스플레이 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
프로세서(120)는 메모리(130) 내에 저장된 적어도 하나의 인스트럭션을 실행함으로써 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
예를 들어, 프로세서(120)는 제1 이미지를 획득하고, 제1 이미지에 기초하여 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성할 수 있다.
프로세서(120)는 변환된 도메인의 복수의 이미지들을 융합하여, 융합된 이미지 또는 블렌딩된(blended) 이미지를 생성할 수 있다.
프로세서(120)는 제1 이미지 및 융합된 이미지에 기초하여 게인 맵(gain map)을 생성할 수 있다.
프로세서(120)는 생성된 게인 맵에 기초하여, 제1 이미지에 게인을 적용하여 제2 이미지를 획득할 수 있다.
메모리(130)는 도메인 변환 모듈(140), 이미지 합성 모듈(150), 이미지 융합 모듈(160), 게인 맵 생성 모듈(170) 및 게인 적용 모듈(180)을 포함할 수 있다.
도메인 변환 모듈(140)은 제1 이미지 또는 서로 다른 노출 레벨을 가지는 복수의 이미지들의 도메인을 루마(Luma) 도메인, YUV 도메인 또는 임의의 적절한 이미지 도메인으로 변환하기 위한 인스트럭션들을 저장할 수 있다.
이미지 합성 모듈(150)은 제1 이미지 또는 변환된 도메인의 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 복수의 이미지들을 합성하기 위한 인스트럭션들을 저장할 수 있다.
이미지 융합 모듈(160)은 변환된 도메인의 복수의 이미지들을 융합하여 융합된 이미지 또는 블렌딩된 이미지를 생성하기 위한 인스트럭션들을 저장할 수 있다.
게인 맵 생성 모듈(170)은 융합된 이미지를 제1 RGB 이미지로 변환하고, 제1 이미지를 제2 RGB 이미지로 변환하며, 제1 RGB 이미지의 픽셀 각각의 RGB 값을 제2 RGB 이미지의 픽셀 각각의 RGB 값으로 나누어 RGB 평면 게인 맵들을 생성하고, RGB 평면 게인 맵들 각각의 가중 합계에 기초하여 게인 맵을 생성하기 위한 인스트럭션들을 저장할 수 있다.
게인 적용 모듈(180)은 생성된 게인 맵에 기초하여, 제1 이미지에 게인을 적용하여 제2 이미지를 획득하기 위한 인스트럭션들을 저장할 수 있다.
도 2는 본 개시의 일 실시예에 따라 전자 장치(100)가 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다. 이때, 직사각형은 이미지를 나타내고 둥근(rounded) 사각형은 동작을 나타낸다.
도 2를 참조하면, 전자 장치(100)는 제1 이미지(210)를 획득할 수 있다. 일 실시예에 따르면, 제1 이미지(210)는 높은 동적 범위(high dynamic range, HDR) 이미지, 즉 상이한 노출 레벨을 가지는 다수의 이미지 프레임을 결합한 결과를 의미할 수 있다. 이때, 상이한 노출 레벨은 다수의 이미지 프레임들을 캡처한 카메라 시스템의 정수의(integer), 고정된(fixed) 노출 레벨(예를 들어, -4, -2, 0)을 의미할 수 있다.
일 실시예에 따르면, 제1 이미지(210)는 선형(linear) 이미지를 의미할 수 있다. 예를 들어, 제1 이미지(210)는 16 비트 Bayer 이미지일 수 있으나, 이에 한정되지 않는다. 또한, 제1 이미지(210)는 프레임, 단일 이미지, 다중 이미지 또는 비디오 스트림 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
전자 장치(100) 또는 전자 장치(100)의 도메인 변환 모듈(140)은 제1 이미지(210)의 도메인을 변환하는 동작(220)을 수행할 수 있다. 또는, 전자 장치(100)는 서로 다른 노출 레벨을 가지는 복수의 이미지들의 도메인을 변환하는 동작을 수행할 있다. 일 실시예에 따르면, 전자 장치(100)는 추가 동작을 수행하기 이전, 제1 이미지(210) 또는 복수의 이미지들의 도메인을 다른 도메인으로 변환할 수 있다. 이때, 다른 도메인은 루마(Luma) 도메인, YUV 도메인 또는 임의의 적절한 이미지 도메인을 의미할 수 있다.
전자 장치(100) 또는 전자 장치의 이미지 합성 모듈(150)은 제1 이미지(210)에 기초하여, 서로 다른 노출 레벨을 가지는 복수의 이미지들을 합성하는 동작(230)을 수행할 수 있다. 또는, 전자 장치(100)는 변환된 도메인의 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성하는 동작을 할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 룩업 테이블(look-up table, LUT), 스케일링(scaling) 및 클리핑(clipping) 또는 임의의 적절한 기술을 이용하여 서로 다른 노출 레벨을 가지는 복수의 이미지들을 합성할 수 있다.
일 실시예에 따르면, 합성된 복수의 이미지들의 서로 다른 노출 레벨(또는 합성 노출 레벨)은 분수의(fractional), 프로그래밍 가능한(programmable) 노출 레벨(예를 들어, -3.8, -1.5, 0.5)을 의미할 수 있다. 또한, 전자 장치(100)는 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도 및 장면의 밝기 중 적어도 하나에 기초하여 합성 노출 레벨(synthesized exposure level)을 결정할 수 있고, 이에 따라 전자 장치(100)는 이미지의 밝기와 콘트라스트를 더 세밀하게 제어할 수 있다. 다만, 합성 노출 레벨을 결정하는 요소는 이에 한정되지 않는다.
이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도는 출력된 이미지에 대한 사용자의 피드백에 기초하여 식별될 수 있으며, 이와 관련해서는 도 15를 참조하여 후술하기로 한다.
한편, 도 2는 전자 장치(100)가 도메인 변환 동작(220)을 수행한 이후 이미지 합성 동작(230)을 수행하는 것으로 도시하지만, 이는 일 실시예에 불과하며, 전자 장치(100)는 이미지 합성 동작(230)을 수행한 이후 도메인 변환 동작(220)을 수행할 수 있다.
전자 장치(100) 또는 전자 장치(100)의 이미지 융합 모듈(160)은 변환된 도메인의 복수의 이미지들을 융합하는 동작(240)을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 변환된 도메인의 복수의 이미지들을 융합하여 융합된(fused) 이미지 또는 블렌딩된(blended) 이미지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 피라미드 블렌딩(pyramid blending) 기술 또는 임의의 적절한 기술을 이용하여 변환된 도메인의 복수의 이미지들을 융합할 수 있다.
전자 장치(100) 또는 전자 장치(100)의 게인 맵 생성 모듈(170)은 제1 이미지(210) 및 융합된 이미지에 기초하여 게인 맵(gain map)을 생성하는 동작(250)을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 융합된 이미지를 제1 RGB 이미지로 변환하고, 디모자이크(demosaic) 함수를 이용하여 제1 이미지(210)를 제2 RGB 이미지로 변환할 수 있다. 이후, 전자 장치(100)는 제1 RGB 이미지의 픽셀 각각의 RGB 값을 제2 RGB 이미지의 픽셀 각각의 RGB 값으로 나누어 RGB 평면 게인 맵들을 생성하고, RGB 평면 게인 맵들 각각의 가중 합계에 기초하여 게인 맵을 생성할 수 있다.
예를 들어, 전자 장치(100)가 융합된 이미지를 제1 RGB 이미지(픽셀 값:
Figure PCTKR2021008720-appb-img-000001
로 변환하고, Bayer 포맷의 제1 이미지를 제2 RGB 이미지(픽셀 값:
Figure PCTKR2021008720-appb-img-000002
로 변환하는 경우, 전자 장치(100)는 아래와 같은 공식 (1) 내지 (4)에 기초하여 게인 맵을 생성할 수 있다.
Figure PCTKR2021008720-appb-img-000003
(1)
Figure PCTKR2021008720-appb-img-000004
(2)
Figure PCTKR2021008720-appb-img-000005
(3)
Figure PCTKR2021008720-appb-img-000006
(4)
이때, 공식 (4)에 개시된 RGB 평면 게인 맵들 각각에 부여된 가중치는 일 실시예에 불과하며, 이에 한정되지 않는다. 또한, 전자 장치(100)는 제2 RGB 이미지의 픽셀 값이 너무 작은 경우 발생할 수 있는 수학적 불안정성을 방지하기 위하여, 임의의 작은 값
Figure PCTKR2021008720-appb-img-000007
과 제2 RGB 이미지의 픽셀 값 중 큰 값으로 나눌 수 있다.
다만, 게인 맵을 생성하는 동작은 전술한 구성에 한정되지 않으며, 전자 장치(100)는 임의의 적절한 기술을 이용하여 게인 맵을 생성할 수 있다.
전자 장치(100) 또는 전자 장치(100)의 게인 적용 모듈(180)은 생성된 게인 맵에 기초하여, 제1 이미지(210)에 게인을 적용하는 동작(260)을 수행하여 제2 이미지(270)를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 게인 맵에 기초하여 픽셀 단위 압축 레벨을 결정하고, 제1 이미지(210)에 픽셀 단위 압축 레벨을 적용하여, 제1 이미지(210)를 표현하는 비트 수를 감소시킬 수 있다. 예를 들어, 전자 장치(100)는 16 비트의 제1 이미지를 12 비트의 제2 이미지로 압축할 수 있다.
일 실시예에 따르면, 제2 이미지(270)는 낮은 동적 범위(low dynamic range, LDR) 이미지, 표준 동적 범위(standard dynamic range, SDR) 이미지 또는 디스플레이 가능한 범위의 이미지를 의미할 수 있다.
도 3은 본 개시의 일 실시예에 따라 전자 장치(100)가 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다. 도 2와 중복되는 내용은 생략하거나 간략하게 설명하기로 한다.
도 3은 전자 장치(100)가 이미지를 압축하는 과정에서 발생하는 예시적인 이미지들을 도시한다. 일 실시예에 따르면, 전자 장치(100)는 입력 이미지(310)를 획득하고, 입력 이미지(310)의 동적 범위(dynamic range)를 압축하여 출력 이미지(370)를 획득할 수 있다. 한편, 입력 이미지(310)는 도 2의 제1 이미지(210)의 일 예이고, 출력 이미지(370)은 도 2의 제2 이미지(270)의 일 예일 수 있다.
일 실시예에 따르면, 전자 장치(100)는 입력 이미지(310)에 기초하여 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들(320 내지 340)을 합성할 수 있다. 예를 들어, 변환된 도메인의 이미지(320)는 변환된 도메인의 복수의 이미지들(320 내지 340) 중 가장 짧은 노출 레벨을 가질 수 있으며, 그에 따라 밝은 영역에서 보다 많은 정보를 포함할 수 있다. 또한, 변환된 도메인의 이미지(340)는 변환된 도메인의 복수의 이미지들(320 내지 340) 중 가장 긴 노출 레벨을 가질 수 있으며, 그에 따라 어두운 영역에서 보다 많은 정보를 포함할 수 있다. 한편, 변환된 도메인의 복수의 이미지들(320 내지 340)은 도 2의 도메인 변환 동작(220) 및 이미지 합성 동작(230) 수행 결과에 따른 이미지들의 일 예일 수 있다.
일 실시예에 따르면, 전자 장치(100)는 변환된 도메인의 복수의 이미지들(320 내지 340)을 융합하여, 융합된 이미지(350)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 중간 노출 레벨을 가지는 변환된 도메인의 이미지(330)의 밝은 영역을 짧은 노출 레벨을 가지는 변환된 도메인의 이미지(320)의 동일한 영역으로 대체하여, 해당 영역에서 보다 많은 정보를 보존할 수 있다. 또한, 전자 장치(100)는 중간 노출 레벨을 가지는 변환된 도메인의 이미지(330)의 어두운 영역을 긴 노출 레벨을 가지는 변환된 도메인의 이미지(340)의 동일한 영역으로 대체하여, 해당 영역의 밝기를 높일 수 있다. 한편, 융합된 이미지(350)는 도 2의 이미지 융합 동작(240) 수행 결과에 따른 이미지의 일 예일 수 있다.
일 실시예에 따르면, 전자 장치(100)는 입력 이미지(310)와 융합된 이미지(350)에 기초하여 게인 맵(360)을 생성할 수 있다. 게인 맵(360)은 도 2의 게인 맵 생성 동작(250) 수행 결과에 따른 게인 맵의 일 예일 수 있다.
일 실시예에 따르면, 전자 장치(100)는 생성된 게인 맵(360)에 기초하여, 입력 이미지(310)에 게인을 적용하여 출력 이미지(370)를 획득할 수 있다. 예를 들어, 전자 장치(100)는 16 비트의 입력 이미지에 게인 맵을 적용하여, 보다 선명하고 식별하기 쉬운 12 비트의 출력 이미지를 획득할 수 있다. 다만, 입력 이미지(310) 또는 출력 이미지(370)의 비트 값은 이에 한정되지 않는다.
도 4는 본 개시의 일 실시예에 따라 전자 장치(100)가 Luma 도메인에 기초하여 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다. 이때, 흰색 직사각형은 이미지를 나타내고 점이 표시된(dotted) 직사각형은 룩업 테이블(look-up table, LUT)을 나타낸다. 도 2와 중복되는 내용은 생략하거나 간략하게 설명하기로 한다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 제1 이미지(410)를 획득하고, 제1 이미지(410)의 도메인을 Luma 도메인으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 Bayer 포맷의 제1 이미지를 Luma 이미지(420)로 변환할 수 있다.
도 5는 본 개시의 일 실시예에 따라 전자 장치(100)가 입력 이미지의 도메인을 Luma 도메인으로 변환하는 과정을 설명하기 위한 도면이다. 일 실시예에 따르면, 전자 장치(100)는 아래와 같은 공식 (5)를 이용하여,
Figure PCTKR2021008720-appb-img-000008
의 Bayer 도메인을
Figure PCTKR2021008720-appb-img-000009
의 Luma 도메인으로 변환할 수 있다.
Figure PCTKR2021008720-appb-img-000010
(5)
R은 적색 픽셀의 값을 의미하고,
Figure PCTKR2021008720-appb-img-000011
및
Figure PCTKR2021008720-appb-img-000012
는 녹색 픽셀의 값을 의미하며, B는 청색 픽셀의 값을 의미한다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 Luma 이미지(420)에 복수의 LUT들을 적용하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성할 수 있다. 예를 들어, 전자 장치(100)는 Luma 이미지(420)에 긴 노출 LUT(435)를 적용하여 긴 노출 Luma 이미지(430)를 생성하고, Luma 이미지(420)에 짧은 노출 LUT(445)를 적용하여 짧은 노출 Luma 이미지(440)를 생성할 수 있다. 그 결과, 긴 노출 Luma 이미지(430)는 보다 많은 밝은 영역을 포함할 수 있고, 짧은 노출 Luma 이미지(440)는 보다 많은 어두운 영역을 포함할 수 있다. 다만, 도 4가 전자 장치(100)가 2개의 LUT들을 Luma 이미지(420)에 적용하는 것으로 도시하지만, 이는 일 실시예에 불과하며, 전자 장치(100)는 3개 이상의 LUT들을 Luma 이미지(420)에 적용하여 변환된 도메인의 복수의 이미지들을 합성할 수 있다.
전자 장치(100)는 긴 노출 LUT(435)를 생성하기 위해 아래와 같은 동작들을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 제1 이미지(410)에 기초하여, 압축 LUT(412)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (6)을 이용하여, 압축 LUT(412)를 생성할 수 있다.
Figure PCTKR2021008720-appb-img-000013
(6)
Figure PCTKR2021008720-appb-img-000014
및
Figure PCTKR2021008720-appb-img-000015
은 제1 이미지의 비트 범위(bitwise range)의 최대값 및 최소값(또는 장면의 최대 및 최소 휘도)을 의미한다.
Figure PCTKR2021008720-appb-img-000016
및
Figure PCTKR2021008720-appb-img-000017
은 디스플레이 장치의 최대 및 최소 디스플레이 레벨을 의미하며,
Figure PCTKR2021008720-appb-img-000018
는 매핑된 이미지의 전체 밝기를 제어하기 위한 파라미터를 나타낸다. 예를 들어,
Figure PCTKR2021008720-appb-img-000019
가 클수록 매핑된 이미지가 더 어두어지고,
Figure PCTKR2021008720-appb-img-000020
가 작을수록 매핑된 이미지가 더 밝아질 수 있다.
한편,
Figure PCTKR2021008720-appb-img-000021
는 아래와 같은 공식 (7) 내지 (9)에 의해 얻어질 수 있다.
Figure PCTKR2021008720-appb-img-000022
(7)
Figure PCTKR2021008720-appb-img-000023
(8)
Figure PCTKR2021008720-appb-img-000024
(9)
Figure PCTKR2021008720-appb-img-000025
는 제1 이미지의 비트 범위의 로그 평균값(또는 장면의 로그 평균 휘도)을 의미하고, N은 제1 이미지의 총 픽셀 수를 의미한다. 한편, 순수한 검은 점에 대응하는 휘도 값이 존재하는 경우(즉, I(x, y)의 값이 0인 경우), 로그 연산을 수행함에 따라 발생하는 특이점(singularity)를 피하기 위하여
Figure PCTKR2021008720-appb-img-000026
이 사용될 수 있다.
A 및 B는 밝기, 콘트라스트(contrast), 특정 초점 영역 또는 기타 적절한 이미지 특성들을 포함하는 다양한 파라미터들을 의미한다. 이때, A 및 B는 사전 정의되거나, 사용자의 입력에 기초하여 결정되거나, 동적으로 결정되거나, 또는 임의의 적절한 방식에 기초하여 결정될 수 있다.
도 6a는 본 개시의 일 실시예에 따라 생성된 압축 LUT(412)의 일 예를 도시한다. 예를 들어, 압축 LUT(412)가 제1 이미지(410)의 16 비트 값을 12 비트 값으로 매핑하는 경우,
Figure PCTKR2021008720-appb-img-000027
및
Figure PCTKR2021008720-appb-img-000028
은 각각 4,095 및 0을 나타내고,
Figure PCTKR2021008720-appb-img-000029
및
Figure PCTKR2021008720-appb-img-000030
은 제1 이미지(410)의 비트 범위의 최대값 및 최소값을 나타낼 수 있다. 전자 장치(100)는 결정된 파라미터 값들을 공식 (6)에 대입하여, 도 6a와 같은 압축 LUT를 생성할 수 있다.
한편, 전자 장치(100)가 제1 이미지(410)에 압축 LUT(412)를 적용하는 경우, 제1 이미지(410)의 비트 범위를 균등하게 나누어 디스플레이 레벨에 할당하므로, 제1 이미지(410)의 픽셀 분포 특성이 고려되지 않을 수 있다. 그 결과, 밀도가 높은 간격에서는 너무 많은 픽셀들이 하나의 디스플레이 레벨에 압축되어 디테일과 콘트라스트가 손실되고, 밀도가 낮은 간격에서는 너무 적은 픽셀이 상당수의 디스플레이 레벨을 차지하여 활용도가 낮아질 수 있다. 이에 전자 장치(100)는 압축된 이미지에 콘트라스트 LUT(414)를 적용하여 비트 범위의 간격을 조정할 수 있다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 압축 LUT(412)에 기초하여 콘트라스트 LUT(414)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (10)을 이용하여, 콘트라스트 LUT(414)를 생성할 수 있다.
Figure PCTKR2021008720-appb-img-000031
(10)
Figure PCTKR2021008720-appb-img-000032
은 디스플레이 레벨의 간격이 동일한 길이를 가질 때의 구분 점(cutting point)을 의미하고,
Figure PCTKR2021008720-appb-img-000033
은 하나의 디스플레이 레벨의 간격마다 동일한 수의 픽셀이 분포할 때의 구분 점을 의미하며,
Figure PCTKR2021008720-appb-img-000034
은 실제 픽셀 값들을 고려했을 때의 구분 점을 의미한다.
Figure PCTKR2021008720-appb-img-000035
는 0과 1사이의 값을 갖는 제어 파라미터로서,
Figure PCTKR2021008720-appb-img-000036
값을
Figure PCTKR2021008720-appb-img-000037
과
Figure PCTKR2021008720-appb-img-000038
사이에서 제어할 수 있다.
도 6b는 본 개시의 일 실시예에 따라 전자 장치(100)가 콘트라스트 LUT(414)를 생성하는 과정을 도시한다.
일 실시예에 따르면, 전자 장치(100)는 공식 (10)에 기초하여 재귀적 이진 분할(recursive binary cut) 동작을 수행함으로써,
Figure PCTKR2021008720-appb-img-000039
을 식별할 수 있다. 예를 들어, 전자 장치(100)는 디스플레이 레벨의 최소 값(
Figure PCTKR2021008720-appb-img-000040
)과 최대 값(
Figure PCTKR2021008720-appb-img-000041
)을 균등하게 나누는
Figure PCTKR2021008720-appb-img-000042
를 식별하고, 나눠진 구간이 동일한 수의 픽셀을 갖도록 하는
Figure PCTKR2021008720-appb-img-000043
를 식별할 수 있다. 전자 장치(100)는 식별된
Figure PCTKR2021008720-appb-img-000044
및
Figure PCTKR2021008720-appb-img-000045
와
Figure PCTKR2021008720-appb-img-000046
에 기초하여
Figure PCTKR2021008720-appb-img-000047
를 식별하고, 그 결과 픽셀 값들을
Figure PCTKR2021008720-appb-img-000048
와
Figure PCTKR2021008720-appb-img-000049
의 두 그룹으로 나눌 수 있다. 이후, 전자 장치(100)는 상기 동작을 한번 더 수행함으로써, 픽셀 값들을
Figure PCTKR2021008720-appb-img-000050
,
Figure PCTKR2021008720-appb-img-000051
,
Figure PCTKR2021008720-appb-img-000052
및
Figure PCTKR2021008720-appb-img-000053
의 네 그룹으로 나눌 수 있다. 전자 장치(100)는 상기 동작을 디스플레이 장치의 비트 심도(bit detpth)만큼 재귀적으로 수행하여
Figure PCTKR2021008720-appb-img-000054
을 식별하고, 이에 기초하여 콘트라스트 LUT(414)를 생성할 수 있다.
도 6c는 본 개시의 일 실시예에 따라 생성된 콘트라스트 LUT(414)의 일 예를 도시한다. 예를 들어, 전자 장치(100)가 압축된 이미지의 212의 비트 범위의 간격을 조정하는 경우,
Figure PCTKR2021008720-appb-img-000055
및
Figure PCTKR2021008720-appb-img-000056
는 각각 4,095 및 0을 나타낼 수 있다. 전자 장치(100)는 공식 (10)에 기초하여 재귀적 이진 분할 동작을 12번 수행함으로써, 4095개의
Figure PCTKR2021008720-appb-img-000057
들을 식별하고, 이에 기초하여 도 6c와 같은 콘트라스트 LUT를 생성할 수 있다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 압축 LUT(412)와 콘르라스트 LUT(414)를 연결(concatneating)함으로써, 긴 노출 LUT(435)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (11)을 이용하여, 긴 노출 LUT(435)를 생성할 수 있다.
긴 노출 LUT(x) = 콘트라스트 LUT(압축 LUT(x)) (11)
한편, 압축 LUT(412)를 이미지에 적용하는 과정에서 과도 압축(over-compression)으로 인해 일부 또는 모든 백색 영역이 회색 빛을 띠게 될 수 있다. 이때, 전자 장치(100)는 일부 또는 모든 백색 영역을 보존하기 위하여, Luma 이미지(420)에 짧은 노출 LUT(445)를 적용하여 짧은 노출 이미지(440)를 생성할 수 있다. 전자 장치(100)는 짧은 노출 LUT(445)를 생성하기 위해 아래와 같은 동작들을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 긴 노출 LUT(435)에 기초하여, 포화 LUT(416)을 생성할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (12) 및 (13)을 이용하여, Pt_half 및 Pt_full을 식별할 수 있다.
Figure PCTKR2021008720-appb-img-000058
(12)
Figure PCTKR2021008720-appb-img-000059
(13)
전자 장치(100)는 식별된 Pt_half 및 Pt_full에 기초하여, 수평축 값이 Pt_half가 될 때까지 1의 기울기로 선형적으로 증가하고, 수평축 값이 Pt_full일 때 수직축 값이
Figure PCTKR2021008720-appb-img-000060
가 되도록 선형적으로 증가하는 포화 LUT(416)를 생성할 수 있다.
도 6d는 본 개시의 일 실시예에 따라 생성된 포화 LUT(416)의 일 예를 도시한다. 예를 들어, 긴 노출 LUT(435)가 16 비트 값을 12 비트 값으로 매핑하는 경우,
Figure PCTKR2021008720-appb-img-000061
는 4,095를 나타낼 수 있다. 전자 장치(100)는 결정된
Figure PCTKR2021008720-appb-img-000062
값을 공식 (12) 및 (13)에 대입하여 Pt_half 및 Pt_full을 식별하고, 식별된 Pt_half 및 Pt_full에 기초하여 도 6d와 같은 포화 LUT를 생성할 수 있다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 하이라이트 콘트라스트 LUT(418)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 Gamma-S 곡선 LUT에 기초하여, 하이라이트 콘트라스트 LUT(418)를 생성할 수 있다.
도 7은 본 개시의 일 실시예에 따라 전자 장치(100)가 Gamma-S 곡선 LUT를 생성하는 과정을 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(100)는 아래와 같은 공식 (14) 및 (15)에 기초하여 어두운 LUT(720)와 밝은 LUT(760)를 생성할 수 있다.
Figure PCTKR2021008720-appb-img-000063
(14)
Figure PCTKR2021008720-appb-img-000064
(15)
i = dark, bright
Figure PCTKR2021008720-appb-img-000065
Figure PCTKR2021008720-appb-img-000066
Figure PCTKR2021008720-appb-img-000067
inv_gamma는 이미지의 밝기를 제어하기 위한 파라미터이다. s_dark는 어두운 LUT(720)를 생성하기 위해 사용되는 파라미터이고, s_bright는 밝은 LUT(760)를 생성하기 위해 사용되는 파라미터이다. 어두운 LUT(720) 및 밝은 LUT(760)는 각각 이미지의 어두운 영역 또는 밝은 영역에 초점을 맞추도록 제어될 수 있다.
일 실시예에 따르면, 전자 장치(100)는 생성된 어두운 LUT(720) 및 밝은 LUT(760)에 가중치(740)를 적용하여 Gamma-S 곡선 LUT(780)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (16)을 이용하여, 어두운 LUT(720) 및 밝은 LUT(760)를 혼합하여 Gamma-S 곡선 LUT(780)를 생성할 수 있다.
Gamma-S 곡선 LUT = 어두운 LUT * (1 - 가중치) + 밝은 LUT * 가중치 (16)
따라서, Gamma-S 곡선 LUT(780)는 아래의 공식 (17)과 같이, 어둡고 밝은 영역에 대한 s-파라미터 및 inv_gamma로 매개변수화될 수 있다.
Gamma-S 곡선 LUT(x; inv_gamma, s_dark, s_bright) (17)
한편, 가중치(740)는 이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도에 기초하여 결정될 수 있으며, 도 7에 도시된 구성에 한정되지 않는다.
도 6e는 본 개시의 일 실시예에 따라 생성된 하이라이트 콘트라스트 LUT(418)의 일 예를 도시한다. 예를 들어, 전자 장치(100)는 아래와 같은 파라미터에 기초하여, 도 6e와 같은 Gamma-S 곡선 형태의 하이라이트 콘트라스트 LUT를 생성할 수 있다.
Gamma-S 곡선 LUT (x; 1.6, 8.5, 8.5) (18)
다만, 도 6e가 inv_gamma=1.6, s_dark=8.5, s_bright=8.5 값을 갖는 Gamma-S 곡선 형태의 하이라이트 콘트라스트 LUT를 도시하나, 이는 실시예에 불과하며, Gamma-S 곡선 LUT의 파라미터 값은 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도에 기초하여 상이하게 결정될 수 있다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 포화 LUT(416), 하이라이트 콘르라스트 LUT(418) 및 긴 노출 LUT(435)에 기초하여 짧은 노출 LUT(445)를 생성할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (19)를 이용하여, 짧은 노출 LUT(445)를 생성할 수 있다.
짧은 노출 LUT(x) = 포화 LUT(긴 노출 LUT(하이라이트 콘트라스트 LUT(x))) (19)
한편, 도 4의 Luma 이미지(420)에 긴 노출 LUT(435) 및 짧은 노출 LUT(445)를 적용하여 긴 노출 Luma 이미지(430) 및 짧은 노출 이미지(440)를 생성하는 동작은 도 2의 이미지 합성 동작(230)에 대응될 수 있다.
일 실시예에 따르면, 전자 장치(100)는 융합된 이미지(470)를 생성하기 이전에 긴 노출 이미지(430) 및 짧은 노출 이미지(440)의 톤을 조정하기 위하여, 전-처리 과정을 수행할 수 있다. 예를 들어, 전자 장치(100)가 피라미드 블렌딩(pyramid blending) 기술을 이용하여 변환된 도메인의 복수의 이미지들을 융합하는 경우, 전자 장치(100)는 긴 노출 Luma 이미지(430) 및 짧은 노출 Luma 이미지(440) 각각에 프리-피라미드(pre-pyramid) 긴 노출 LUT(455) 및 프리-피라미드 짧은 노출 LUT(465)를 적용하여, 프리-피라미드 긴 노출 이미지(450) 및 프리-피라미드 짧은 노출 이미지(460)를 생성할 수 있다.
도 8a 및 도 8b는 본 개시의 일 실시예에 따라 생성된 프리-피라미드 긴 노출 LUT(455) 및 프리-피라미드 짧은 노출 LUT(465)의 일 예를 도시한다. 예를 들어, 전자 장치(100)는 아래와 같은 파라미터에 기초하여, 도 8a와 같은 Gamma-S 곡선 형태의 프리-피라미드 긴 노출 LUT를 생성할 수 있다.
Gamma-S 곡선 LUT (x; 1.2, 9.5, -9.0) (19)
또한, 전자 장치(100)는 아래와 같은 파라미터에 기초하여, 도 8b와 같은 Gamma-S 곡선 형태의 프리-피라미드 짧은 노출 LUT를 생성할 수 있다.
Gamma-S 곡선 LUT (x; 1.1, 4.5, 1.0) (20)
다만, 도 8a 및 도 8b가 inv_gamma=1.2, s_dark=9.5, s_bright=-9.0 값을 갖는 Gamma-S 곡선 형태의 프리-피라미드 긴 노출 LUT 또는 inv_gamma=1.1, s_dark=4.5, s_bright=1.0 값을 갖는 Gamma-S 곡선 형태의 프리-피라미드 짧은 노출 LUT를 도시하나, 이는 실시예에 불과하며, Gamma-S 곡선 LUT의 파라미터 값은 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도에 기초하여 상이하게 결정될 수 있다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 짧은 노출 Luma 이미지(440)에 기초하여 블렌딩된 가중치 LUT(472)를 생성할 수 있다.
도 8c는 본 개시의 일 실시예에 따라 생성된 블렌딩된 가중치 LUT(472)의 일 예를 도시한다. 예를 들어, 도 7c의 블렌딩된 가중치 LUT는 밝은 픽셀(> = 1750)의 채도를 복구하기 위해 짧은 이미지에 전체 가중치를 부여하고, 어두운 픽셀(<500)에는 가중치를 부여하지 않는다. 다만, 도 8c의 블렌딩된 가중치 LUT는 일 실시예에 불과하며, 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도에 기초하여 상이하게 결정될 수 있다.
한편, 도 4는 전자 장치(100)가 짧은 노출 Luma 이미지(440)에 기초하여 블렌딩된 가중치 LUT(472)를 생성하는 것으로 도시하지만, 이는 일 실시예에 불과하며, 전자 장치(100)는 긴 노출 Luma 이미지(430)에 기초하여 블렌딩된 가중치 LUT(472)를 생성할 수 있다. 즉, 짧은 노출 Luma 이미지(440) 및 긴 노출 Luma 이미지(430) 각각에 대한 가중치가 서로 보완적인(complementary) 관계이므로, 전자 장치(100)는 짧은 노출 Luma 이미지(440) 및 긴 노출 Luma 이미지(430) 중 어느 하나의 이미지에만 기초하여 블렌딩된 가중치 LUT(472)를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 프리-피라미드 긴 노출 이미지(450) 및 프리-피라미드 짧은 노출 이미지(460)에 블렌딩된 가중치 LUT(472)를 적용하여 융합할 수 있다. 예를 들어, 전자 장치(100)는 피라미드 블렌딩(pyramid blending) 기술 에 기초하여, 융합된 이미지(470)를 생성할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 융합된 이미지(470)의 콘트라스트를 향상시키기 위하여, 융합된 이미지에 CLAHE(contrast limited adaptive histogram equalization) LUT(474)를 적용할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, 전자 장치(100)는 CLAHE 동작 이외의 추가적인 이미지 처리 기술을 융합된 이미지(470)에 적용할 수 있다.
도 9는 본 개시의 일 실시예에 따라 생성된 CLAHE LUT(474)의 일 예를 도시한다. 예를 들어, 전자 장치(100)는 아래와 같은 파라미터에 기초하여, 도 9와 같은 Gamma-S 곡선 형태의 CLAHE LUT를 생성할 수 있다.
Figure PCTKR2021008720-appb-img-000068
(21)
다만, 도 9가 inv_gamma=1.2, s_dark=4.5, s_bright=1.4 값을 갖는 Gamma-S 곡선 형태의 CLAHE LUT를 도시하나, 이는 실시예에 불과하며, Gamma-S 곡선 LUT의 파라미터 값은 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도에 기초하여 상이하게 결정될 수 있다.
도 4를 참조하면, 전자 장치(100)는 일 실시예에 따라 제1 이미지(410) 및 융합된 이미지(470) (또는 융합된 이미지(475))에 기초하여, 게인 맵(480)을 생성할 수 있다. 또한, 전자 장치(100)는 생성된 게인 맵(480)에 기초하여, 제1 이미지(410)에 게인을 적용하여 제2 이미지(490)를 획득할 수 있다.
도 10은 본 개시의 일 실시예에 따라 전자 장치(100)가 YUV 도메인에 기초하여 이미지의 동적 범위를 압축하는 과정을 설명하기 위한 도면이다. 이때, 직사각형은 이미지를 나타내고 둥근(rounded) 사각형은 동작을 나타낸다. 도 2 및 도 4와 중복되는 내용은 생략하거나 간략하게 설명하기로 한다.
도 10을 참조하면, 전자 장치(100)는 제1 이미지(1010)를 획득하고, 합성 노출 레벨을 결정하는 동작(1020)을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도 및 장면의 밝기 중 적어도 하나에 기초하여, 제1 이미지를 서로 다른 노출 레벨로 스케일링 하기 위한 합성 노출 레벨 또는 스케일(scale) 값을 결정할 수 있다.
한편, 스케일 값은 2^(합성 노출 레벨)로 정의될 수 있다. 예를 들어, ISO 감도 50에 대한 합성 노출 레벨들 -3.0, -1.5, +0.5이 존재하는 경우, 가장 높은 스케일 값은 2^(+0.5)=1.4142이고, 가장 낮은 스케일 값은 2^(-3.0)=0.125이며, 중간 스케일 값은 2^(-1.5)=0.3536일 수 있다.
보다 구체적인 실시예에 따르면, 전자 장치(100)는 이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도 및 ISO 감도에 기초하여 초기 합성 노출 레벨 또는 초기 스케일 값을 결정할 수 있다. 예를 들어, 전자 장치(100)는 긴 노출 이미지를 합성하기 위한 초기 합성 노출 레벨 2(또는 초기 스케일 값
Figure PCTKR2021008720-appb-img-000069
=2^(2)=4)를 결정하고, 짧은 노출 이미지를 합성하기 위한 초기 합성 노출 레벨 -4(또는 초기 스케일 값
Figure PCTKR2021008720-appb-img-000070
=2^(-4)=0.0625)를 결정할 수 있다.
이후, 전자 장치(100)는 자동 노출(auto-exposed) 이미지의 휘도의 히스토그램에 기초하여, 초기 합성 노출 레벨을 조정할 수 있다. 이때, 자동 노출 이미지는 입력 HDR 이미지를 생성하기 위해 결합되는 단일 노출 레벨(예를 들어, 카메라 시스템의 정수의(integer), 고정된(fixed) 노출 레벨)의 이미지를 의미할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 자동 노출 이미지의 휘도의 히스토그램에 기초하여 누적 분포 함수(cumulative distribution function, CDF)를 획득하고, 누적 분포 함수의 값이 0.5가 될 때의 histMed 값을 식별할 수 있다. 이후, 전자 장치(100)는 아래와 같은 공식 (22) 및 (23)을 이용하여, 긴 노출 이미지를 합성하기 위한 합성 노출 레벨(또는 스케일 값
Figure PCTKR2021008720-appb-img-000071
)을 결정할 수 있다.
Figure PCTKR2021008720-appb-img-000072
(22)
Figure PCTKR2021008720-appb-img-000073
(23)
이때,
Figure PCTKR2021008720-appb-img-000074
,
Figure PCTKR2021008720-appb-img-000075
및
Figure PCTKR2021008720-appb-img-000076
값은 이미지의 톤을 조정하기 위한 임계값을 의미하며, 이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도에 기초하여 결정될 수 있다.
일 실시예에 따르면, 전자 장치(100)는 누적 분포 함수의 값이 거의 1(예를 들어, 0.999)이 될 때의 histMax 값을 식별할 수 있다. 이후, 전자 장치(100)는 아래와 같은 공식 (24)를 이용하여, 짧은 노출 이미지를 합성하기 위한 합성 노출 레벨(또는 스케일 값
Figure PCTKR2021008720-appb-img-000077
)을 결정할 수 있다.
Figure PCTKR2021008720-appb-img-000078
(24)
일 실시예에 따르면, 전자 장치(100)는 긴 노출 이미지 또는 짧은 노출 이미지를 합성하기 위한 합성 노출 레벨(또는 스케일 값)을 결정한 이후, 양 합성 노출 레벨의 중간에 위치하는, 중간 노출 이미지를 합성하기 위한 합성 노출 레벨을 결정할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같이 기하학적 평균에 기초하여, 중간 노출 이미지를 생성하기 위한 합성 노출 레벨(또는 스케일 값
Figure PCTKR2021008720-appb-img-000079
)을 결정할 수 있다.
Figure PCTKR2021008720-appb-img-000080
(25)
일 실시예에 따르면, 전자 장치(100)는 결정된 합성 노출 레벨에 기초하여, 제1 이미지(1010)를 스케일링(sclaing) 및 클리핑(clipping)하는 동작(1030)을 수행함으로써, 서로 다른 노출 레벨을 가지는 복수의 이미지들을 합성할 수 있다. 이때, 스케일링은 이미지의 각 픽셀에 스케일 값을 곱하는 동작을 의미하고, 클리핑은 이미지의 각 픽셀에 수학적 경계를 형성하는 동작을 의미할 수 있다.
예를 들어, 전자 장치(100)가 16 비트의 제1 이미지를 스케일링 및 클리핑하는 경우, 전자 장치(100)는 아래와 같은 공식 (26)을 이용하여, 서로 다른 노출 레벨을 가지는, 12 비트의 복수의 이미지들을 합성할 수 있다.
Figure PCTKR2021008720-appb-img-000081
(26)
즉, 전자 장치(100)는 16 비트의 제1 이미지
Figure PCTKR2021008720-appb-img-000082
의 각 픽셀에 스케일 값(
Figure PCTKR2021008720-appb-img-000083
,
Figure PCTKR2021008720-appb-img-000084
,
Figure PCTKR2021008720-appb-img-000085
)를 곱하고 각 픽셀에 4095의 경계를 형성함으로써, 짧은 노출 이미지
Figure PCTKR2021008720-appb-img-000086
, 중간 노출 이미지
Figure PCTKR2021008720-appb-img-000087
및 긴 노출 이미지
Figure PCTKR2021008720-appb-img-000088
를 합성할 수 있다.
도 11은 본 개시의 일 실시예에 따라 합성된 서로 다른 노출 레벨을 가지는 복수의 이미지들의 일 예들을 도시한다.
일 실시예에 따르면, 전자 장치(100)는 결정된 합성 노출 레벨에 기초하여, 제1 이미지(1010)를 스케일링 및 클리핑함으로써 복수의 이미지들을 합성할 수 있다. 예를 들어, 전자 장치(100)는 가장 낮은 스케일 값에 기초하여 입력된 Bayer 이미지를 스케일링 및 클리핑함으로써 짧은 노출 Bayer 이미지(1120)를 합성할 수 있고, 중간 스케일 값에 기초하여 입력된 Bayer 이미지를 스케일링 및 클리핑함으로써 중간 노출 Bayer 이미지(1140)를 합성할 수 있으며, 가장 높은 스케일 값에 기초하여 입력된 Bayer 이미지를 스케일링 및 클리핑함으로써 긴 노출 Bayer 이미지(1160)를 합성할 수 있다. 한편, 짧은 노출 Bayer 이미지(1120), 중간 노출 Bayer 이미지(1140) 및 긴 노출 Bayer 이미지(1160)는 각각 도 10의 짧은 노출 이미지
Figure PCTKR2021008720-appb-img-000089
, 중간 노출 이미지
Figure PCTKR2021008720-appb-img-000090
및 긴 노출 이미지
Figure PCTKR2021008720-appb-img-000091
의 일 예일 수 있다.
다만, 전자 장치(100)가 3개의 합성 노출 레벨 또는 3개의 스케일 값에 기초하여 복수의 이미지들을 합성하는 것으로 개시되지만, 이는 일 실시예에 불과하며, 전자 장치(100)는 2개 또는 4개 이상의 합성 노출 레벨에 기초하여 복수의 이미지들을 합성할 수 있다.
도 10을 참고하면, 전자 장치(100)는 일 실시예에 따라 서로 다른 노출 레벨을 가지는 복수의 이미지들에 대하여 ISP(image signal processing) 동작(1040)을 수행하여, 복수의 이미지들의 도메인을 YUV 도메인으로 변환할 수 있다. 예를 들어, 전자 장치(100)는 짧은 노출 Bayer 이미지, 중간 노출 Bayer 이미지 및 긴 노출 Bayer 이미지 각각에 ISP 동작(1040)을 수행하여, 짧은 노출 YUV 이미지, 중간 노출 YUV 이미지 및 긴 노출 YUV 이미지를 생성할 수 있다.
도 12a 내지 도 12c는 본 개시의 일 실시예에 따라 전자 장치(100)가 ISP 동작을 수행하는 과정을 설명하기 위한 도면이다. 이때, 직사각형은 이미지를 나타내고 둥근(rounded) 사각형은 동작을 나타낸다.
도 12a를 참고하면, 전자 장치(100)는 일 실시예에 따라 Bayer 이미지(1210)를 획득하고, Bayer 이미지(1210)에 디모자이크(demosaic) 함수를 적용하는 동작(1220)을 수행하여 RGB 이미지를 획득할 수 있다. Bayer 이미지(1210)의
Figure PCTKR2021008720-appb-img-000092
셀 각각은 두 개의 녹색 샘플, 하나의 청색 샘플 및 하나의 적색 샘플을 포함하고, 출력된 RGB 이미지의 크기는 Bayer 이미지(1210)의 크기의 절반일 수 있다. 따라서, 전자 장치(100)는 Bayer 이미지(1210)의 두 개의 녹색 샘플의 평균 값에 기초하여 RGB 이미지의 녹색 평면의 값을 획득하고, Bayer 이미지(1210)의 청색 샘플들의 보간(interpolation)에 기초하여 RGB 이미지의 청색 평면 값을 획득하며, Bayer 이미지(1210)의 적색 샘플들의 보간에 기초하여 RGB 이미지의 적색 평면 값을 획득할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (27) 내지 (29)에 기초하여, Bayer 이미지(1210)를 RGB 이미지로 변환할 수 있다.
Figure PCTKR2021008720-appb-img-000093
(27)
Figure PCTKR2021008720-appb-img-000094
(28)
Figure PCTKR2021008720-appb-img-000095
(29)
다만, 공식 (28) 및 (29)에 개시된 보간 계수들은 일 실시예에 불과하며, Bayer 이미지(1210)의 각각의 샘플들의 위치와 보간된 위치 사이의 거리에 기초하여 상이하게 결정될 수 있다.
일 실시예에 따르면, 전자 장치(100)는 RGB 이미지의 동적 범위를 제어하는 동작(1230)을 수행할 수 있다. 보다 구체적인 실시예에 따르면, 전자 장치(100)는 각 픽셀의 RGB 값에 기초하여 휘도 값을 획득하고, 휘도 값 및 동적 범위 제어(dynamic range control, DRC) LUT에 기초하여 게인 값을 획득할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (30) 및 (31)에 기초하여 게인 값을 획득할 수 있다.
Figure PCTKR2021008720-appb-img-000096
(30)
Figure PCTKR2021008720-appb-img-000097
(31)
이때, 전자 장치(100)는 동적 범위 제어 LUT에 기초하여, 낮은 휘도 값의 픽셀에는 높은 게인을 적용하고, 높은 휘도 값의 픽셀에는 낮은 게인을 적용하거나 게인을 적용하지 않을 수 있다. 도 12b는 본 개시의 실시예에 따른 동적 범위 제어 LUT의 일 예를 도시한다.
이후, 전자 장치(100)는 아래의 공식과 같이, 각 픽셀에 대응하는 게인 값을 각 픽셀의 RGB 값에 곱할 수 있다.
Figure PCTKR2021008720-appb-img-000098
(32)
Figure PCTKR2021008720-appb-img-000099
(33)
Figure PCTKR2021008720-appb-img-000100
(34)
일 실시예에 따르면, 전자 장치(100)는 동적 범위 제어 동작(1230) 수행 결과 출력된 이미지에 색상을 보정하는 동작(1240)을 수행할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은
Figure PCTKR2021008720-appb-img-000101
의 색상 보정 행렬을 적용하여 카메라 장치에서 획득한 RGB 값들을 디스플레이 장치에 표시하기 적합한 RGB 값들로 변환할 수 있다.
Figure PCTKR2021008720-appb-img-000102
(35)
일 실시예에 따르면, 전자 장치(100)는 색상이 보정된 이미지에 감마 보정 동작(1250)을 수행함으로써, 빛의 강도를 조정할 수 있다. 예를 들어, 전자 장치(100)는 아래와 같은 공식 (36) 및 (38)에 기초하여, 12 비트의 RGB 이미지를 8 비트의 RGB 이미지로 압축할 수 있다. 한편, 도 12c는 본 개시의 일 실시예에 따른 감마 곡선의 일 예를 도시한다.
Figure PCTKR2021008720-appb-img-000103
(36)
Figure PCTKR2021008720-appb-img-000104
(37)
Figure PCTKR2021008720-appb-img-000105
(38)
일 실시예에 따르면, 전자 장치(100)는 감마 보정된 이미지에 RGB-to-YUV 동작(1260)을 수행하여, YUV 이미지(1270)를 획득할 수 있다.
한편, 도 10의 합성 노출 레벨 결정 동작(1020) 및 스케일링 및 클리핑 동작(1030)은 도 2의 이미지 합성 동작(230)에 대응되고, 도 10의 ISP 동작(1040)은 도 2의 도메인 변환 동작(220)에 대응될 수 있다. 즉, 전자 장치(100)가 YUV 도메인에 기초하여 이미지의 동적 범위를 압축하는 경우, 전자 장치(100)는 서로 다른 노출 레벨을 가지는 복수의 이미지들을 합성하고, 상기 복수의 이미지들의 도메인을 YUV 도메인으로 변환할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 서로 다른 노출 레벨을 가지는 YUV 도메인의 복수의 이미지들을 융합하는 동작 및 YUV 도메인에서의 톤 매핑 동작(1050)을 수행할 수 있다. 예를 들어, 전자 장치(100)는 피라미드 블렌딩 기술 또는 임의의 적절한 기술을 이용하여, 융합된 YUV 이미지를 생성하고, CLAHE 기술과 같은 국소적인(local) 톤 매핑 기술을 사용하여 융합된 YUV 이미지의 국소적인 콘트라스트를 보존할 수 있다.
도 13은 본 개시의 일 실시예에 따라 생성된 서로 다른 노출을 가지는 변환된 도메인의 복수의 이미지들 및 융합된 이미지의 일 예들을 도시한다. 예를 들어, 짧은 노출 YUV 이미지(1320), 중간 노출 YUV 이미지(1340) 및 긴 노출 YUV 이미지(1360)는 도 10의 ISP 동작(1040)을 수행한 결과 생성된 변환된 도메인의 복수의 이미지들의 일 예들일 수 있다. 또한, 융합된 YUV 이미지(1380)는 도 10의 이미지 융합 동작 및 YUV 도메인에서의 톤 매핑 동작(1050)을 수행한 결과 생성된 융합된 이미지의 일 예일 수 있다.
일 실시예에 따르면, 전자 장치(100)는 융합된 이미지에 대하여 역 ISP 동작(1060)을 수행할 수 있다. 예를 들어, 전자 장치(100)는 역 ISP 동작(1060)을 수행하여, 융합된 YUV 이미지를 RGB 이미지로 변환할 수 있다.
도 14는 본 개시의 일 실시예에 따라 전자 장치(100)가 역 ISP 동작을 수행하는 과정을 설명하기 위한 도면이다. 이때, 직사각형은 이미지를 나타내고 둥근(rounded) 사각형은 동작을 나타낸다.
도 14를 참고하면, 전자 장치(100)는 일 실시예에 따라, YUV 이미지(1410)를 획득하고, YUV 이미지(1410)에 YUV-to-RGB 동작(1420)을 수행하여 RGB 이미지를 획득할 수 있다. 이후, 전자 장치(100)는 역 감마 보정 동작(1430), 역 색상 보정 동작(1440) 및 역 동적 범위 제어 동작(1450)을 수행하여 RGB 이미지(1460)를 획득할 수 있다. 이때, 역 감마 보정 동작(1430)은 도 12a의 감마 보정 동작(1250)의 역(inverse) 동작을 의미하고, 역 색상 보정 동작(1440)은 도 12a의 색상 보정 동작(1240)의 역 동작을 의미하며, 역 동적 범위 제어 동작(1450)은 도 12a의 동적 범위 제어 동작(1230)의 역 동작을 의미할 수 있다.
도 10을 참조하면, 전자 장치(100)는 일 실시예에 따라 제1 이미지(1010) 및 융합된 이미지에 기초하여 게인 맵을 생성하는 동작(1070)을 수행할 수 있다. 또한, 전자 장치(100)는 생성된 게인 맵에 기초하여, 제1 이미지(1010)에 게인을 적용하는 동작(1080)을 수행하여 제2 이미지(1090)를 획득할 수 있다.
도 15a 및 도 15b는 본 개시의 일 실시예에 따라 전자 장치(100)가 이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도를 식별하는 과정을 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(100)는 출력된 이미지에 대한 사용자의 피드백에 기초하여, 이미지의 밝기 또는 콘트라스트 등에 대한 사용자의 선호도를 식별할 수 있다. 예를 들어, 도 15a 및 도 15b는 동일한 장면을 캡처한 이미지의 동적 범위를 압축하여 출력한 이미지들이나, 출력된 이미지 각각의 밝기 또는 콘트라스트는 상이할 수 있다. (도 15a의 이미지의 콘트라스트가 더 높은 반면, 도 15b의 이미지의 밝기가 더 높다.) 전자 장치(100)는 도 15a의 이미지 및 도 15b의 이미지 중에서 어떤 이미지를 선호하는 지에 관한 사용자의 의견을 식별하고, 이에 기초하여 입력될 이미지의 동적 범위를 압축할 수 있다.
도 16은 본 개시의 일 실시예에 따라 전자 장치가 이미지의 동적 범위를 압축하는 과정을 나타내는 흐름도이다.
S1610 단계에서, 전자 장치는 제1 이미지를 획득할 수 있다. 일 실시예에서, 제1 이미지는 높은 동적 범위(high dynamic range, HDR) 이미지, 즉 상이한 노출 레벨을 가지는 다수의 이미지 프레임을 결합한 결과를 의미할 수 있다.
S1620 단계에서, 전자 장치는 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성할 수 있다. 일 실시예에서, 전자 장치가 Luma 도메인에 기초하여 이미지의 동적 범위를 압축하는 경우, 전자 장치는 제1 이미지의 도메인을 Luma 도메인으로 변환하고, Luma 도메인의 이미지에 기초하여, 변환된 도메인의 복수의 이미지들을 합성할 수 있다. 또다른 실시예에서, 전자 장치가 YUV 도메인에 기초하여 이미지의 동적 범위를 압축하는 경우, 전자 장치는 제1 이미지에 기초하여 복수의 이미지들을 합성하고, 복수의 이미지들의 도메인을 YUV 도메인으로 변환할 수 있다.
S1630 단계에서, 전자 장치는 변환된 도메인의 복수의 이미지들을 융합할 수 있다. 일 실시예에서, 전자 장치는 변환된 도메인의 복수의 이미지들을 융합하여 융합된(fused) 이미지 또는 블렌딩된(blended) 이미지를 생성할 수 있다. 예를 들어, 전자 장치는 피라미드 블렌딩(pyramid blending) 기술 또는 임의의 적절한 기술을 이용하여 변환된 도메인의 복수의 이미지들을 융합할 수 있다.
S1640 단계에서, 전자 장치는 제1 이미지 및 융합된 이미지에 기초하여 게인 맵(gain map)을 생성할 수 있다. 일 실시예에서, 전자 장치는 융합된 이미지를 제1 RGB 이미지로 변환하고, 디모자이크(demosaic) 함수를 이용하여 제1 이미지를 제2 RGB 이미지로 변환할 수 있다. 이후, 전자 장치는 제1 RGB 이미지의 픽셀 각각의 RGB 값을 제2 RGB 이미지의 픽셀 각각의 RGB 값으로 나누어 RGB 평면 게인 맵들을 생성하고, RGB 평면 게인 맵들 각각의 가중 합계에 기초하여 게인 맵을 생성할 수 있다.
S1650 단계에서, 전자 장치는 생성된 게인 맵에 기초하여, 제1 이미지에 게인을 적용하여 제2 이미지를 획득할 수 있다. 일 실시예에서, 전자 장치는 게인 맵에 기초하여, 픽셀 단위 압축 레벨을 결정하고, 제1 이미지에 픽셀 단위 압축 레벨을 적용하여, 제1 이미지를 표현하는 비트 수를 감소시킬 수 있다. 또한, 제2 이미지는 낮은 동적 범위(low dynamic range, LDR) 이미지, 표준 동적 범위(standard dynamic range, SDR) 이미지 또는 디스플레이 가능한 범위의 이미지를 의미할 수 있다.

Claims (15)

  1. 적어도 하나의 명령어를 저장하는 메모리; 및
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여,
    제1 이미지를 획득하고,
    상기 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성하고,
    상기 변환된 도메인의 복수의 이미지들을 융합하고,
    상기 제1 이미지 및 상기 융합된 이미지에 기초하여, 게인 맵(gain map)을 생성하고,
    상기 게인 맵에 기초하여, 상기 제1 이미지에 게인을 적용하여 제2 이미지를 획득하는 것을 특징으로 하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 제1 이미지는 높은 동적 범위(high dynamic range, HDR) 이미지이고,
    상기 제2 이미지는 디스플레이 가능한 비트 범위의 이미지인, 전자 장치.
  3. 제1 항에 있어서, 상기 적어도 하나의 프로세서는 상기 변환된 도메인의 복수의 이미지들을 합성할 때,
    상기 제1 이미지의 도메인을 루마(Luma) 도메인으로 변환하고,
    상기 Luma 도메인의 이미지에 기초하여, 상기 변환된 도메인의 복수의 이미지들을 합성하는 것을 특징으로 하는, 전자 장치.
  4. 제1 항에 있어서, 상기 적어도 하나의 프로세서는 상기 변환된 도메인의 복수의 이미지들을 합성할 때,
    상기 제1 이미지에 기초하여, 복수의 이미지들을 합성하고,
    상기 복수의 이미지들의 도메인을 YUV 도메인으로 변환하는 것을 특징으로 하는, 전자 장치.
  5. 제1 항에 있어서, 상기 적어도 하나의 프로세서는 상기 변환된 도메인의 복수의 이미지들을 합성할 때,
    이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하는 것을 특징으로 하는, 전자 장치.
  6. 제4 항에 있어서, 상기 적어도 하나의 프로세서는 상기 제1 이미지에 기초하여, 상기 복수의 이미지들을 합성할 때,
    이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하고,
    상기 노출 레벨에 기초하여, 상기 제1 이미지를 스케일링(scaling) 및 클리핑(clipping)하여 상기 복수의 이미지들을 합성하는 것을 특징으로 하는, 전자 장치.
  7. 제1 항에 있어서, 상기 적어도 하나의 프로세서는 상기 게인 맵을 생성할 때,
    상기 융합된 이미지를 제1 RGB 이미지로 변환하고,
    상기 제1 이미지를 제2 RGB 이미지로 변환하고,
    상기 제1 RGB 이미지 및 상기 제2 RGB 이미지에 기초하여, 상기 게인 맵을 생성하는 것을 특징으로 하는, 전자 장치.
  8. 제7 항에 있어서, 상기 적어도 하나의 프로세서는 상기 게인 맵을 생성할 때,
    상기 제1 RGB 이미지의 픽셀 각각의 RGB 값을 상기 제2 RGB 이미지의 픽셀 각각의 RGB 값으로 나누어 RGB 평면 게인 맵들을 생성하고,
    상기 RGB 평면 게인 맵들 각각의 가중 합계에 기초하여 상기 게인 맵을 생성하는 것을 특징으로 하는, 전자 장치.
  9. 제1 항에 있어서, 상기 적어도 하나의 프로세서는 상기 제1 이미지에 상기 게인을 적용할 때,
    상기 게인 맵에 기초하여, 픽셀 단위 압축 레벨을 결정하고,
    상기 제1 이미지에 픽셀 단위 압축 레벨을 적용하는 것을 특징으로 하는, 전자 장치.
  10. 전자 장치에 의해 수행되는 방법에 있어서,
    제1 이미지를 획득하는 단계;
    상기 제1 이미지에 기초하여, 서로 다른 노출 레벨을 가지는 변환된 도메인의 복수의 이미지들을 합성하는 단계;
    상기 변환된 도메인의 복수의 이미지들을 융합하는 단계;
    상기 제1 이미지 및 상기 융합된 이미지에 기초하여, 게인 맵을 생성하는 단계; 및
    상기 게인 맵에 기초하여, 상기 제1 이미지에 게인을 적용하여 제2 이미지를 획득하는 단계를 포함하는, 방법.
  11. 제10 항에 있어서,
    상기 제1 이미지는 높은 동적 범위(high dynamic range, HDR) 이미지이고,
    상기 제2 이미지는 디스플레이 가능한 비트 범위의 이미지인, 방법.
  12. 제10 항에 있어서, 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계는,
    상기 제1 이미지의 도메인을 루마(Luma) 도메인으로 변환하는 단계; 및
    상기 Luma 도메인의 이미지에 기초하여, 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계를 포함하는, 방법.
  13. 제10 항에 있어서, 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계는,
    상기 제1 이미지에 기초하여, 복수의 이미지들을 합성하는 단계; 및
    상기 복수의 이미지들의 도메인을 YUV 도메인으로 변환하는 단계를 포함하는, 방법.
  14. 제10 항에 있어서, 상기 변환된 도메인의 복수의 이미지들을 합성하는 단계는,
    이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하는 단계를 포함하는, 방법.
  15. 제13 항에 있어서, 상기 제1 이미지에 기초하여, 복수의 이미지들을 합성하는 단계는,
    이미지의 밝기 또는 콘트라스트에 대한 사용자의 선호도, ISO 감도, 및 장면의 밝기 중 적어도 하나에 기초하여, 상기 노출 레벨을 결정하는 단계; 및
    상기 노출 레벨에 기초하여, 상기 제1 이미지를 스케일링(scaling) 및 클리핑(clipping)하여 상기 복수의 이미지들을 합성하는 단계를 포함하는, 방법.
PCT/KR2021/008720 2020-07-20 2021-07-08 이미지를 처리하기 위한 방법 및 장치 WO2022019539A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063054187P 2020-07-20 2020-07-20
US63/054,187 2020-07-20
US17/139,920 US11388348B2 (en) 2020-07-20 2020-12-31 Systems and methods for dynamic range compression in multi-frame processing
US17/139,920 2020-12-31
KR1020210052525A KR20220011068A (ko) 2020-07-20 2021-04-22 이미지를 처리하기 위한 방법 및 장치
KR10-2021-0052525 2021-04-22

Publications (1)

Publication Number Publication Date
WO2022019539A1 true WO2022019539A1 (ko) 2022-01-27

Family

ID=79729253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008720 WO2022019539A1 (ko) 2020-07-20 2021-07-08 이미지를 처리하기 위한 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2022019539A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708175A (zh) * 2022-03-22 2022-07-05 智冠华高科技(大连)有限公司 一种用于双通道图像传感器的图像融合方法
CN114708175B (zh) * 2022-03-22 2024-05-31 智冠华高科技(大连)有限公司 一种用于双通道图像传感器的图像融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108774A (ko) * 2014-03-18 2015-09-30 톰슨 라이센싱 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
KR20160150650A (ko) * 2010-02-04 2016-12-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 높은 동적 범위의 이미지 생성 및 렌더링
US20180232867A1 (en) * 2015-08-19 2018-08-16 Samsung Electronics Co., Ltd. Electronic device performing image conversion, and method thereof
KR20180100124A (ko) * 2016-01-05 2018-09-07 소니 주식회사 비디오 시스템, 비디오 처리 방법, 프로그램, 카메라 시스템 및 비디오 컨버터
US20200219236A1 (en) * 2017-02-24 2020-07-09 Interdigital Vc Holdings, Inc. Method and device for reconstructing an hdr image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160150650A (ko) * 2010-02-04 2016-12-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 높은 동적 범위의 이미지 생성 및 렌더링
KR20150108774A (ko) * 2014-03-18 2015-09-30 톰슨 라이센싱 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
US20180232867A1 (en) * 2015-08-19 2018-08-16 Samsung Electronics Co., Ltd. Electronic device performing image conversion, and method thereof
KR20180100124A (ko) * 2016-01-05 2018-09-07 소니 주식회사 비디오 시스템, 비디오 처리 방법, 프로그램, 카메라 시스템 및 비디오 컨버터
US20200219236A1 (en) * 2017-02-24 2020-07-09 Interdigital Vc Holdings, Inc. Method and device for reconstructing an hdr image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708175A (zh) * 2022-03-22 2022-07-05 智冠华高科技(大连)有限公司 一种用于双通道图像传感器的图像融合方法
CN114708175B (zh) * 2022-03-22 2024-05-31 智冠华高科技(大连)有限公司 一种用于双通道图像传感器的图像融合方法

Similar Documents

Publication Publication Date Title
WO2016182307A1 (ko) 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
WO2016133293A1 (ko) 메타데이터 기반 영상 처리 방법 및 장치
WO2020050686A1 (en) Image processing device and method
WO2018110821A1 (en) Display apparatus and method for controlling the display apparatus
WO2017030311A1 (ko) 이미지 변환을 수행하는 전자 장치 및 이의 방법
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2014168454A1 (en) Electronic device, display controlling apparatus and method thereof
WO2021162359A1 (en) Image processing method and electronic apparatus
WO2019098778A1 (en) Display apparatus, method for controlling the same and image providing apparatus
WO2017190445A1 (zh) Rgb图像处理方法及系统
WO2016072693A1 (ko) 컨텐츠의 색 범위 조정을 위한 방송 신호를 송수신하는 방법 및 장치
WO2017148035A1 (zh) 图像处理方法及装置
WO2019235766A1 (en) Mobile terminal adjusting image quality of display, and method of operating the same
WO2021080209A1 (en) Display apparatus and operating method thereof
WO2016159518A1 (ko) 비선형 데이터의 평균 계산 장치
WO2022019539A1 (ko) 이미지를 처리하기 위한 방법 및 장치
WO2022075802A1 (en) Hdr tone mapping based on creative intent metadata and ambient light
WO2018070793A1 (en) Method, apparatus, and recording medium for processing image
WO2020045834A1 (en) Electronic apparatus and control method thereof
WO2023153723A1 (ko) 개용 표시 장치 및 이의 구동 방법
WO2019107769A1 (ko) 이미지 센서의 리드 아웃 속도에 따라 이미지 데이터를 선택적으로 압축하는 전자 장치 및 그의 운용 방법
WO2020135022A1 (zh) 显示面板的画面优化方法、装置及计算机可读存储介质
WO2022098054A1 (en) Color gamut compression and extension
KR20220011068A (ko) 이미지를 처리하기 위한 방법 및 장치
WO2021096252A1 (en) Image providing apparatus and image providing method thereof, and display apparatus and display method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21847265

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21847265

Country of ref document: EP

Kind code of ref document: A1