WO2014065607A1 - 영상보정의 가속화를 위한 영상보정 장치 및 그 방법 - Google Patents

영상보정의 가속화를 위한 영상보정 장치 및 그 방법 Download PDF

Info

Publication number
WO2014065607A1
WO2014065607A1 PCT/KR2013/009517 KR2013009517W WO2014065607A1 WO 2014065607 A1 WO2014065607 A1 WO 2014065607A1 KR 2013009517 W KR2013009517 W KR 2013009517W WO 2014065607 A1 WO2014065607 A1 WO 2014065607A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color component
resolution
extracting
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/009517
Other languages
English (en)
French (fr)
Inventor
신승호
김기문
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN201380056112.2A priority Critical patent/CN104756152B/zh
Publication of WO2014065607A1 publication Critical patent/WO2014065607A1/ko
Anticipated expiration legal-status Critical
Priority to US14/697,561 priority patent/US9691141B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Definitions

  • the present embodiment relates to an image correction apparatus and method for accelerating image correction. More specifically, the reflection component is emphasized by extracting and removing the lighting component from the input image received from the image capturing apparatus based on the Retinex algorithm, and thereby the dynamic range of the input image is compressed and The process of extracting lighting components by adjusting the resolution of the image according to the convolution operation scale value of at least one Gaussian filter for extracting the lighting components while producing an image correction apparatus for outputting the corrected image with improved contrast.
  • Retinex algorithm mimics the color recognition mechanism of human vision, and separates the lighting components affecting human and the reflective components reflecting the characteristics of the image to remove the effects of the lighting components and emphasizes the input components. This is a method of compressing the dynamic range and improving the contrast.
  • the Retinex algorithm estimates an illumination component of an image using a Gaussian filter.
  • the Gaussian filter should be repeatedly applied to each of the color components of R, G, and B.
  • R is applied to each Gaussian filter. Since each of the color components G, B must be applied, the computation amount increases, and thus a problem arises in that the image correction cannot be processed in real time. This becomes a bigger problem as the resolution of the image increases.
  • a reflection component is emphasized by extracting and removing an illumination component from an input image received from an image photographing apparatus based on a Retinex algorithm, and through this, a dynamic image of the input image is compressed, and a correction image with improved contrast is output.
  • the resolution of the image is adjusted according to the convolution operation scale value of at least one Gaussian filter for extracting the lighting component, thereby accelerating the speed of the calculation performed in the process of extracting the lighting component and
  • the main purpose is to provide image correction in real time regardless of the resolution.
  • the present invention includes a Gaussian filter coefficient calculator for extracting filter coefficients of at least one Gaussian filter for performing a filtering process for extracting an illumination component from one color component image;
  • a resolution controller configured to extract a resolution value optimized for the filtering based on the filter coefficients, and adjust the resolution of the color component image by the resolution value;
  • An illumination component extracting unit extracting an illumination component of the color component image from the color component image whose resolution is adjusted;
  • a reflection component extracting unit extracting a reflection component of the color component image by removing the illumination component from a pixel value of the color component image;
  • a color adjusting unit configured to generate an image obtained by adding the reflection components to the color component image;
  • an image synthesizing unit configured to output a corrected image of which the resolution of the summed image is adjusted to the resolution of the color component image.
  • the process of extracting the filter coefficients of at least one Gaussian filter performing a filtering process for extracting the lighting component from one color component image; Extracting a resolution value optimized for the filtering based on the filter coefficients, and adjusting the resolution of the color component image by the resolution value; Extracting an illumination component of the color component image from the color component image whose resolution is adjusted; Extracting a reflection component of the color component image by removing the illumination component from a pixel value of the color component image; Generating an image obtained by adding the reflection components to the color component image; And outputting a corrected image in which the resolution of the summed image is adjusted to the resolution of the color component image.
  • the reflection component is emphasized by extracting and removing the lighting component from the input image received from the image capturing apparatus based on the Retinex algorithm, thereby compressing and contrasting the dynamic range of the input image. Is performed in the process of extracting the lighting component by adjusting the resolution of the image according to a convolution calculation scale value of at least one Gaussian filter for extracting the lighting component This speeds up the speed and speeds up the correction of the image, regardless of the resolution.
  • FIG. 1 is a view showing the structure of an image correction apparatus for accelerating image correction according to the present embodiment
  • 2A is a diagram illustrating a process of separating an input image into R, G, and B images according to the present embodiment
  • 2B is a diagram illustrating a process of extracting an image for each R, G, and B from an input image divided into R, G, and B images according to the present embodiment
  • FIG. 3 is a flowchart illustrating an image correction method when a color component is included in an input image through the image correction apparatus according to the present embodiment.
  • FIG. 4 is a flowchart illustrating an image correction method when a color component is not included in an input image through the image correction apparatus according to the present embodiment.
  • the image correction apparatus corrects an image based on a Retinex algorithm, and extracts an illumination component by adjusting the resolution of an image according to a convolution operation scale value of at least one Gaussian filter for extracting an illumination component. It is a device that accelerates the speed of calculations performed in the process and receives image correction in real time regardless of image resolution.
  • FIG. 1 is a diagram illustrating a structure of an image correction apparatus 100 for accelerating image correction according to the present embodiment.
  • the image correction apparatus 100 for accelerating image correction may calculate an input image receiver 102, a data storage unit 104, a color image separator 106, and a Gaussian filter coefficient.
  • the unit 108 includes a resolution adjusting unit 110, an illumination component extracting unit 112, a reflection component extracting unit 114, a color adjusting unit 116, and an image synthesizing unit 118.
  • the image correcting apparatus 100 includes an input image receiving unit 102, a data storage unit 104, a color image separating unit 106, a Gaussian filter coefficient calculating unit 108, a resolution adjusting unit 110, and illumination.
  • the present invention may be modified and modified in various ways with respect to components included in the image correcting apparatus 100 without departing from the essential characteristics of the present embodiment.
  • the input image receiving unit 102 receives an input image captured by the image capturing apparatus, and transmits the received input image to the data storage unit 104 and the Gaussian filter coefficient calculation unit 108. That is, the input image receiving unit 102 receives an image of a specific region photographed by a user photographing an image by using an image photographing apparatus.
  • the input image received by the input image receiver 102 is a color component image including color components of R, G, and B, or a color component image composed of gray scales.
  • the data storage unit 104 receives an input image captured by the image capturing apparatus from the input image receiving unit 102, and stores the received input image in a database in the data storage unit 104. That is, the data storage unit 104 receives the input image from the input image receiving unit 102, and determines information such as the size and pixel value of the received input image and stores it in the database. In this case, the input image stored in the data storage unit 104 may be classified and stored according to information such as the time at which the image was captured, the size of the input image, and the like.
  • the data storage unit 104 determines and stores information such as the size and pixel value of the input image from the received input image, and provides the stored information to the image synthesizer 118.
  • the image synthesizer 118 receives the information, such as the size, pixel value of the input image stored in the data storage unit 104 to check the resolution of the input image, and stored in the data storage unit 104 Based on the information, the resolution of the sum of the reflection components is readjusted to the resolution of one color component image.
  • the color image separator 106 separates R (Red), G (Green), and B (Blue) images from the received input image. That is, when the received image includes R, G, and B color components, the color image separator 106 extracts the color component images included in the input image using a color image decomposition filter (not shown).
  • the color image decomposition filter filters the color components of R, G, and B from the input image transmitted from the input image receiver 102 so as to separate and transmit them.
  • the color image separation filter includes a red filter, a green filter, a blue filter, and at least two mirrors, and the mirrors allow the electrical signal transmitted through one transmission path to pass through each of the three filters.
  • each filter serves to pass only the corresponding color information of the transmitted electrical signal.
  • the red filter passes only the information on the red of the electrical signal
  • the green filter passes only the information on the green of the electrical signal
  • the blue filter passes on the blue of the electrical signal. Pass only information about
  • the Gaussian filter coefficient calculation unit 108 extracts filter coefficients of at least one Gaussian filter which performs a filtering process for extracting an illumination component from one color component image.
  • one color component image is one of the color component images of the R, G, and B color components separated by the color image separating unit 106, or is a color component image composed of gray scales.
  • the Retinex algorithm based on the image correction apparatus 100 according to the present embodiment applies a Gaussian filter to an input image to estimate an illumination component, and obtains a reflection component by removing the estimated illumination component from the input image.
  • the filter coefficient of the Gaussian filter is a Gaussian center surround constant that represents the standard deviation of the Gaussian distribution and determines the size of the Gaussian filter.
  • the filter coefficient value of the Gaussian filter when the filter coefficient value of the Gaussian filter is small, the edge of the image is preserved to improve the local contrast and the low luminance sensitivity, but the brightness difference between the low luminance and the high luminance portion decreases the global contrast. There is.
  • the Gaussian filter's filter coefficient value is set to a large value, the brightness difference between low and high luminance is improved to improve global contrast, but the brightness difference of the high luminance portion is reduced and the overall contour component is reduced, resulting in local contrast loss.
  • the SSR (Single Scale Retinex) method of Retinex algorithm which extracts lighting components using a single Gaussian filter, has difficulty in adaptively responding to the input image. There is a structural problem in which loss is inevitable.
  • the image correction apparatus 100 of the present embodiment uses a multi-scale retinex (MSR) algorithm, which is an improvement of the SSR algorithm, and weights SSR output images to which one or more sized Gaussian filters are applied, and synthesizes the result.
  • the corrected image was output.
  • MSR multi-scale retinex
  • the Gaussian filter coefficient calculation unit 108 checks the size information of the color component image from one color component image, and applies a predetermined ratio, for example, a plurality of different ratios, to the size of the color component image, Three color image components are generated.
  • a predetermined ratio for example, a plurality of different ratios
  • the preset ratio to generate the size of the color component image in large, medium, and small, for example, 3/3 size of the input image, and 2/3 size of the input image, It can be produced in the form of a cow of 1/3 size.
  • the size of the color component image is generated in large, medium, and small, and it is specified that a specific ratio value is set for this purpose.
  • the present invention is not limited thereto, and various sizes and various ratio values may be set. .
  • the Gaussian filter coefficient calculation unit 108 may filter the filter coefficients of one or more Gaussian filters capable of filtering the color component images generated at the respective sizes based on the color component images generated at the three sizes of the large, medium, and small. Extract and apply the extracted filter coefficients to one or more Gaussian filters. That is, the size of the image generated in three sizes of large, medium, and small is checked, and the filter coefficients of one or more Gaussian filters are extracted based on the size of the image.
  • the resolution adjusting unit 110 extracts a resolution value optimized for filtering based on the filter coefficient extracted by the Gaussian filter coefficient calculating unit 108 and adjusts the resolution of the color component image by using the extracted resolution value. That is, the resolution adjusting unit 110 receives filter coefficients applied to one or more Gaussian filters extracted from the Gaussian filter coefficient calculating unit 108 and generates three sizes of large, medium, and small based on the received filter coefficients. A resolution value optimized for filtering color component images is extracted.
  • the resolution value optimized for filtering is the resolution of the color component image according to the preset ratio applied in the process of generating the size of the color component image in three large, medium, and small sizes by the Gaussian filter coefficient calculation unit 108.
  • the resolution of a color component image generated in three sizes of large, medium, and small means a resolution adjusted at a ratio of 1/3, 2/3, and 3/3, respectively, from the resolution of a conventional color component image.
  • the image calibrating apparatus 100 adjusts the resolution of an image according to a convolution operation scale value of at least one Gaussian filter for extracting an illumination component, thereby adjusting the speed of an operation performed in the process of extracting an illumination component. Accelerate and receive image corrections in real time regardless of the resolution of the image.
  • the lighting component extractor 112 extracts the lighting component of the color component image from the color component image whose resolution is adjusted. That is, the lighting component extractor 112 applies color component images of three sizes of large, medium, and small to the at least one Gaussian filter, and one or more Gaussian filters are adjusted to the large, medium, and small. Based on the color component image and the filter coefficient of the branch size, the illumination component is extracted for each of the color component images of the three sizes of large, medium and small.
  • Equation 1 the equation for extracting the illumination component for each of the color component image of the three large, medium, and small size is adjusted by the one or more Gaussian filter from the illumination component extraction unit 112 is shown in Equation 1.
  • Equation 1 defines the input image based on E. Land's Retinex theory that the brightness of light perceived by humans consists of the product of the illumination and reflection components, and the reflection components have a major influence on the recognition of colors. From the equation, one or more Gaussian filters show a process for extracting an illumination component for each of the color component images of three large, medium, and small sizes of which resolution is adjusted.
  • I denotes an input image
  • (x, y) denotes pixel coordinates of an image
  • R denotes a reflection component
  • L denotes an illumination component.
  • I i (x, y) denotes an input image of the i-th color component
  • * denotes a convolution operator
  • F (x, y) denotes a normalized Gaussian center surround function for estimating illumination components.
  • F (x, y) may be extracted through Equation 2.
  • Equation 2 K is a normalization coefficient, and c is a Gaussian center surround constant representing a standard deviation of a Gaussian distribution, which is a value for determining a scale of a Gaussian filter. That is, by applying the filter coefficient values of one or more Gaussian filters extracted through the Gaussian filter coefficient calculation unit 108 to Equation 2, logL (x, y) representing an illumination component may be extracted.
  • the reflection component extractor 114 extracts the reflection component of the color component image by removing the illumination component from the pixel value of the color component image. That is, the reflection component extracting unit 114 is applied to each of the color component images of the three large, medium and small sizes extracted from the illumination component extracting unit 112 from the pixel values of the color component images of the three large, medium and small sizes. By removing the illumination components, the reflection components for each of the three color image components of large, medium and small are extracted. On the other hand, the equation that the reflection component extracting unit 114 removes the illumination component from the pixel value of the color component image of the three sizes of large, medium, small.
  • Equation 3 i is an SSR output image representing color components R, G, and B of an input image, and R i (x, y) represents a reflection component of an i-th color component. That is, each of the lighting components is removed from the image of the color components divided into three sizes of large, medium, and small through Equation 3, and through each of the color component images divided into three sizes of large, medium, and small. Reflective components can be extracted. Meanwhile, in Equation 3, when the input image is a color component image including R, G, and B color components, a method of removing an illumination component is expressed as an expression, but it may be applied to the case where the input image is an image composed of gray scales. have.
  • the reflection component extractor 114 weights the SSR output images representing the reflection components for each of the color component images of three large, medium and small sizes extracted through Equation 3, The result is synthesized and finally the reflection component of the color component image is extracted.
  • the reflection component extractor 114 weights the SSR output images representing the reflection components for each of the three large, medium and small color component images to finally extract the reflection component of the color component image. Same as 4.
  • R MSRi (x, y) denotes the output image of the MSR algorithm of the i th color component
  • N denotes the number of Gaussian filters having different sizes
  • R ki (x, y) denotes the kth Gaussian filter.
  • SSR algorithm output image of the i-th color component generated through this.
  • W k denotes a weight to be applied to the k-th SSR image, and the sum of all weights is one.
  • the input image is a color component image including color components of R, G, and B
  • the method of removing an illumination component is expressed as an expression, but the input image may be applied even when the input image is a gray scale image. Can be.
  • the small size filter is used to obtain detailed outlines of the input image, and the large size filter is used to maintain brightness difference and color reproducibility of the entire input image.
  • the medium sized filter plays a role of synthesizing the characteristics of the large and small sized filters. That is, the reflection component extracted through each filter is assigned a weighting factor according to the role of each filter, and finally, the reflection component of the color component image is finally extracted.
  • the reflection component extractor 114 additionally performs the process of Equation 5.
  • R MSRCRi (x, y) is the i-th color component that has undergone color restoration
  • MSRCR ( MSRCR (x, y)) is the MSR image of the i-th color component
  • C i (x , y) represents a color recovery function of the i th color component.
  • I ' i (x, y) represents the input image of the i-th color component normalized by the ratio of each color component to reflect the association between the color components
  • S is the color
  • the number of components, ⁇ , ⁇ , means the color gain constant.
  • the color controller 116 generates an image obtained by adding reflection components to the color component image. That is, the color adjusting unit 116 receives the reflection component of the color component image from the reflection component extractor 114, and the input image includes the color components of R, G, and B components as the reflection component of the received color component image. In the case of the component image, it is synthesized to the R, G, and B images extracted from the color image separator 106, and when the color component image is a color component image composed of gray scales, it is added to the gray scale image.
  • the reflection component of the color component image extracted by the reflection component extractor 114 has a numerical value in the form of + and ⁇ , and adds the numerical value from the pixel values of the existing color component image to enhance the image with the reflection component highlighted.
  • the image quality of the color component image may be improved by an image similar to an image recognized by the human eye by emphasizing the reflection component including the characteristics of the subject in the existing color component image.
  • the image synthesizer 118 receives the color component image in which the reflection components are summed from the color adjusting unit 116, and readjusts the resolution of the received color component image to the resolution of the input image.
  • the resolution of the input image may be determined by using information such as the size and pixel value of the input image stored in the data storage unit 104. Based on this, the resolution of the color component image may be determined by recalculating the resolution of the existing input image. You can directly adjust the resolution of the color component image without any adjustment. In other words, it is possible to reduce the time required for the calculation that occurs in the process of recalculating the resolution of the input image. Thereafter, the image synthesizing unit 118 synthesizes the image of the color component of which the resolution is adjusted and outputs a corrected image correcting the input image.
  • the image synthesis unit 118 readjusts the resolution of the image summed from the color adjusting unit 116 to the resolution of the color component image.
  • the adjusted image is generated by correcting the input image by combining the readjusted image and the readjusted image with respect to two other color components of R, G, and B.
  • FIGS. 2A and 2B are views illustrating a process of separating an input image into R, G, and B images according to the present embodiment, and images of respective R, G, and B images in the input image separated into R, G, and B images.
  • the input image when the input image is composed of color components of R, G, and B, the input image includes color components of R, G, and B, respectively. Meanwhile, the color information of R, G, and B included in the input image may be extracted as each R, G, and B image.
  • the color image separator 106 extracts the R, GB image. Perform the function. The color image separator 106 separates R, G, and B images from the received input image. That is, when the received image includes color components, the color image separator 106 extracts color component images included in the input image using a color image decomposition filter (not shown).
  • the color image decomposition filter filters the color components of R, G, and B from the input image transmitted from the input image receiver 102 so as to separate and transmit them.
  • the color image separation filter includes a red filter, a green filter, a blue filter, and at least two mirrors, and the mirrors allow the electrical signal transmitted through one transmission path to pass through each of the three filters. It serves to refract, and each filter (not shown) serves to pass only the corresponding color information of the transmitted electrical signal.
  • FIG. 3 is a flowchart illustrating an image correction method when a color component is included in an input image through the image correction apparatus 100 according to the present embodiment.
  • the meaning of the color component represents R, G, B.
  • the image correction method first receives an input image from the image photographing apparatus (S300), and the color component in the received input image. Starting from the process of determining whether to include (S302). That is, the input image receiver 102 receives an image of a specific region photographed by a user photographing an image using an image capturing apparatus, and determines whether a color component is included in the received image.
  • the image received by the input image receiving unit 102 means an image implemented with a specific size and a specific resolution according to the function of the preset image capturing apparatus, and various sizes and resolutions according to the user's setting and the function of the image capturing apparatus. It can be implemented as. Meanwhile, the information of the input image received from the input image receiving unit 102 is stored in the data storage unit 104.
  • the color image separator 106 separates the R, G, and B images from the received input image (S304). That is, when the received image includes color components, the color image separator 106 extracts color component images included in the input image using a color image decomposition filter (not shown).
  • the color image decomposition filter filters the color components of R, G, and B from the input image transmitted from the input image receiver 102 so as to separate and transmit them.
  • the color image separation filter includes a red filter, a green filter, a blue filter, and at least two mirrors, and the mirrors allow the electrical signal transmitted through one transmission path to pass through each of the three filters. It serves to refract, and each filter (not shown) serves to pass only the corresponding color information of the transmitted electrical signal.
  • the red filter (not shown) passes only the information on the red of the electrical signal
  • the green filter (not shown) passes only the information on the green of the electrical signal
  • the blue filter (not shown) passes on the blue of the electrical signal. Pass only information about
  • the Gaussian filter coefficient calculation unit 108 extracts filter coefficients of one or more Gaussian filters which perform a filtering process for extracting an illumination component from one color component image separated from the color image separation unit 106 (S306). . That is, the Gaussian filter coefficient calculation unit 108 checks the size information of the color component image from any one of the color component images separated from the color image separation unit 106, and sets the size of the color component image according to a preset ratio. Produced in three sizes: medium, small. At this time, for the preset ratio to generate the size of the color component image in large, medium, and small, for example, 3/3 size of the input image, and 2/3 size of the input image, It can be produced in the form of a cow of 1/3 size.
  • the size of the color component image is generated in large, medium, and small, and it is specified that a specific ratio value is set for this purpose.
  • the present invention is not limited thereto, and various sizes and various ratio values may be set.
  • the Gaussian filter coefficient calculation unit 108 may filter the filter coefficients of one or more Gaussian filters capable of filtering the color component images generated at the respective sizes based on the color component images generated at the three sizes of the large, medium, and small. Extract and apply the extracted filter coefficients to one or more Gaussian filters.
  • the resolution adjusting unit 110 extracts a resolution value optimized for filtering based on the filter coefficient extracted by the Gaussian filter coefficient calculating unit 108 and adjusts the resolution of the color component image by using the extracted resolution value (S308). . That is, the resolution adjusting unit 110 receives filter coefficients applied to one or more Gaussian filters extracted from the Gaussian filter coefficient calculating unit 108 and generates three sizes of large, medium, and small based on the received filter coefficients. A resolution value optimized for filtering color component images is extracted. In this case, the resolution value optimized for filtering is the resolution of the color component image according to the preset ratio applied in the process of generating the size of the color component image in three large, medium, and small sizes by the Gaussian filter coefficient calculation unit 108.
  • the resolution of the color component image generated in the form of three sizes of medium, small, and small means a resolution adjusted at a ratio of 1/3, 2/3, and 3/3, respectively, from the resolution of the existing color component image.
  • the lighting component extractor 112 extracts the lighting component of the color component image from the color component image whose resolution is adjusted (S310). That is, the lighting component extractor 112 applies color component images of three sizes of large, medium, and small to the at least one Gaussian filter, and one or more Gaussian filters are adjusted to the large, medium, and small. Based on the color component image and the filter coefficient of the branch size, the illumination component is extracted for each of the color component images of the three sizes of large, medium and small. On the other hand, the illumination component for each of the color component images of the three large, medium, and small sizes, the resolution is adjusted through the one or more Gaussian filter from the lighting component extraction unit 112 can be extracted through the equations (1) and (2). have.
  • the reflection component extractor 114 extracts the reflection component of the color component image by removing the illumination component from the pixel value of the color component image (S312). That is, the reflection component extracting unit 114 is applied to each of the color component images of the three large, medium and small sizes extracted from the illumination component extracting unit 112 from the pixel values of the color component images of the three large, medium and small sizes. By removing the illumination components, the reflection components for each of the three color image components of large, medium and small are extracted. On the other hand, the equation that the reflection component extracting unit 114 removes the illumination component from the pixel value of the color component image of the three sizes of large, medium, small.
  • the reflection component extractor 114 weights the SSR output images representing the reflection components for each of three large, medium, and small sizes of R, G, B, and images extracted through Equation 3, The reflection component of the color component image is finally extracted by synthesizing the result of the assigned weight.
  • the reflection component extractor 114 weights the SSR output images representing the reflection components for each of three sizes of R, G, B, and the image of the large, medium, and small size to finalize the reflective components of the color component image.
  • the equation to extract is the same as Equation 4.
  • the SSR and MSR algorithms are applied to each color component of the input image independently, the correlation between the color components is not considered.
  • the reflection component extractor 114 additionally performs the process of Equation 5.
  • the color controller 116 generates an image in which the reflection component is added to the color component image (S314). That is, the color adjusting unit 116 receives the reflection components of the R, G, and B images from the reflection component extraction unit 114, and receives the reflection components of the received R, G, and B images from the color image separation unit 106. Summing up the extracted R, G, and B images. In this case, the reflection components of the R, G, and B images extracted by the reflection component extraction unit 114 have numerical values in the form of + and ⁇ , and the corresponding numerical values are summed from the pixel values of the existing R, G, and B images. Creates an image with the reflection component highlighted. In other words, the image quality of the R, G, and B images may be improved by an image similar to an image recognized by the human eye by emphasizing the reflection component that includes the characteristics of the subject in the existing R, G, and B images.
  • the image synthesizing unit 118 readjusts the resolution of the summed image, synthesizes the readjusted image for the other two color components among R, G, and B, and outputs a corrected image (S316). That is, the image synthesizing unit 118 receives the R, G, B, and the image in which the reflection components are summed from the color adjusting unit 116, and readjusts the resolution of the received R, G, B, and the image to the resolution of the input image. do.
  • the resolution of the input image may be determined through information such as the size and pixel value of the input image stored in the data storage unit 104. Based on this, the resolution of the existing input image may be recalculated and R, G, and B images may be used.
  • the image synthesizing unit 118 synthesizes R, G, and B images of which resolution is adjusted, and outputs a corrected image correcting the input image.
  • FIG. 4 is a flowchart illustrating an image correction method when a color component is not included in an input image through the image correction apparatus 100 according to the present embodiment.
  • the meaning of the color component represents R, G, B.
  • the image correction method first receives an input image from the image photographing apparatus (S400), and receives the input image from the input image.
  • the process starts with determining whether the color component is included (S402). That is, the input image receiver 102 receives an image of a specific region photographed by a user photographing an image using an image capturing apparatus, and determines whether a color component is included in the received image.
  • the image received by the input image receiving unit 102 means an image implemented with a specific size and a specific resolution according to the function of the preset image capturing apparatus, and various sizes and resolutions according to the user's setting and the function of the image capturing apparatus. It can be implemented as. Meanwhile, the information of the input image received from the input image receiving unit 102 is stored in the data storage unit 104.
  • the Gaussian filter coefficient calculation unit 108 extracts filter coefficients of at least one Gaussian filter which performs a filtering process for extracting an illumination component from the gray scale image when the input image is composed of a gray scale image including no color component. (S404). That is, the Gaussian filter coefficient calculating unit 108 checks the size information of the gray scale image through the input image receiving unit 102 and generates the size of the gray scale image in three sizes of large, medium, and small according to a preset ratio. do. At this time, for the preset ratio to generate the size of the gray scale image in large, medium, and small, for example, 3/3 size of the input image is large, and 2/3 size of the input image is displayed. It can be produced in the form of a cow of 1/3 size.
  • the size of the gray scale image is generated in large, medium, and small, and it is specified that a specific ratio value is set for this purpose.
  • the present invention is not limited thereto, and various sizes and various ratio values may be set.
  • the Gaussian filter coefficient calculation unit 108 may filter the filter coefficients of one or more Gaussian filters capable of filtering the gray scale image generated in each size based on the gray scale image generated in three sizes of large, medium, and small. Extract and apply the extracted filter coefficients to one or more Gaussian filters.
  • the resolution adjusting unit 110 extracts a resolution value optimized for filtering based on the filter coefficient extracted by the Gaussian filter coefficient calculating unit 108, and generates gray, three, or three large sizes as the extracted resolution value.
  • Each resolution of the scale image is adjusted (S406). That is, the resolution adjusting unit 110 receives filter coefficients applied to one or more Gaussian filters extracted from the Gaussian filter coefficient calculating unit 108 and generates three sizes of large, medium, and small based on the received filter coefficients.
  • a resolution value optimized for filtering gray scale images is extracted.
  • the resolution value optimized for filtering is the resolution of the gray scale image according to a preset ratio applied in the process of generating the size of the gray scale image in three large, medium, and small sizes by the Gaussian filter coefficient calculation unit 108. Means the adjusted value.
  • the input image is generated in the form of a cow consisting of 3/3 size of the input image and 2/3 size of the input image, of 1/3 size of the input image
  • the resolution of the gray scale image generated in the form of three small, medium, and small means the resolution adjusted at a ratio of 1/3, 2/3, and 3/3, respectively, from the resolution of the existing gray scale image.
  • the lighting component extractor 112 extracts the lighting component of the gray scale image from the gray scale image whose resolution is adjusted (S408). That is, the lighting component extractor 112 applies gray scale images of three sizes of large, medium, and small to the at least one Gaussian filter, and one or more Gaussian filters are adjusted to the large, medium, and small. Based on the gray scale image of the branch size and the filter coefficient, the illumination component of each of the gray scale images of the three sizes of the large, medium, and small scales is extracted. On the other hand, the equation for extracting the illumination component for each of the three large, medium, and small gray scale images of which the resolution is adjusted through the one or more Gaussian filters from the illumination component extraction unit 112 is represented by Equations 1 and 2 below. Can be extracted through.
  • the reflection component extractor 114 extracts the reflection component of the gray scale image by removing the illumination component from the pixel value of the gray scale image (S410). That is, the reflection component extracting unit 114 is applied to each of the three large, medium and small gray scale images extracted from the illumination component extracting unit 112 from the pixel values of the three large, medium and small gray scale images. By removing the illumination components, the reflection components of each of the three sizes of gray scale images of large, medium and small are extracted. On the other hand, the equation that the reflection component extraction unit 114 removes the illumination component from the pixel value of the gray scale image of the three sizes of large, medium, and small is shown in Equation (3).
  • the reflection component extractor 114 weights the SSR output images representing the reflection components for each of the three large, medium and small gray scale images extracted through Equation 3, The results are synthesized to finally extract the reflection components of the gray scale image.
  • the reflection component extracting unit 114 is to give the weight to the SSR output image representing the reflection component for each of the three large, medium and small size gray scale image to finally extract the reflection component of the gray scale image is Equation 4
  • the color controller 116 generates an image obtained by adding reflection components to the gray scale image (S412). That is, the color adjusting unit 116 receives the reflection component of the gray scale image from the reflection component extraction unit 114, and reflects the reflection component of the received gray scale image to the gray scale image received through the input image receiving unit 102. Add up.
  • the reflection component of the gray scale image extracted by the reflection component extractor 114 has numerical values in the form of + and ⁇ , and the corresponding component of the gray scale image is summed from the pixel values of the existing gray scale image. Create That is, the image quality of the gray scale image may be improved by an image similar to an image recognized through human vision by emphasizing the reflection component that includes the characteristics of the subject in the existing gray scale image.
  • the image synthesizing unit 118 readjusts the resolution of the summed image and outputs a corrected image (S414). That is, the image synthesizer 118 receives the gray scale image in which the reflection components are summed from the color adjuster 116, and readjusts the resolution of the received gray scale image to the resolution of the input image.
  • the resolution of the input image may be determined by using information such as the size and pixel value of the input image stored in the data storage unit 104. Based on this, the resolution of the gray scale image may be determined by recalculating the resolution of the existing input image. You can directly adjust the resolution of the grayscale image without any adjustment.
  • the image synthesizing unit 118 synthesizes the gray scale image of which the resolution is adjusted and outputs a corrected image correcting the input image.
  • steps S300 to S316 and S400 to S414 are sequentially executed.
  • this is merely illustrative of the technical idea of an embodiment of the present invention and an embodiment of the present invention.
  • Persons having ordinary skill in the art to which the examples belong may execute the procedure described in FIGS. 3 and 4 without departing from the essential characteristics of one embodiment of the present invention, or in steps S300 to S316 and S400 to S414.
  • 3 and 4 are not limited to the time-series order because various modifications and variations may be applicable to the execution of one or more steps in parallel.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 실시예는, 하나의 색상성분 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터(Gaussian filter)의 필터계수를 추출하는 가우시안 필터계수 계산부; 필터계수를 기반으로 필터링에 최적화된 해상도 값을 추출하고, 해상도 값으로 색상성분 영상의 해상도를 각각 조절하는 해상도 조절부; 해상도가 조절된 색상성분 영상으로부터 색상성분 영상의 조명성분을 추출하는 조명성분 추출부; 색상성분 영상의 화소값에서 조명성분을 제거하여 색상성분 영상의 반사성분을 추출하는 반사성분 추출부; 색상성분 영상에 반사성분을 합산한 영상을 생성하는 색상 조절부; 및 합산한 영상의 해상도를 색상성분 영상의 해상도로 재조정한 보정영상을 출력하는 영상합성부를 포함하는 것을 특징으로 하는 영상보정 장치를 제공한다.

Description

영상보정의 가속화를 위한 영상보정 장치 및 그 방법
본 실시예는 영상보정의 가속화를 위한 영상보정 장치 및 그 방법에 관한 것이다. 더욱 상세하게는, 레티넥스(Retinex) 알고리즘을 기반으로 영상촬영 장치로부터 수신한 입력영상에서 조명성분을 추출 및 제거하여 반사성분을 강조하고, 이를 통해 입력영상의 다이나믹 레인지(Dynamic Range)가 압축 및 콘트라스트(Contrast)가 향상된 보정영상을 출력하는 영상보정 장치를 제작하는 한편, 조명성분을 추출하기 위한 하나 이상의 가우시안 필터의 컨볼루션 연산 스케일 값에 따라 영상의 해상도를 기 조절하여 조명성분을 추출하는 과정에서 수행되는 연산의 속도를 가속화하는 영상보정의 가속화를 위한 영상보정 장치 및 그 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
사람의 시각은 안개나 먼지 등으로 뿌옇게 된 영상에서도 구조물과 지역을 잘 구분하는 능력을 가지고 있다. 하지만 이러한 상황에서 영상촬영 장치로부터 촬영된 영상은 영상에 존재하는 특징점이 상당부분 많이 사라지기 된다. 따라서 이미지와 인간의 시각인지 능력 사이에 존재하는 격차를 줄이기 위한 다양한 연구가 진행되었으며, 이러한 연구의 결과 중 하나로 레티넥스(Retinex) 알고리즘이 제안되었다. 레티넥스 알고리즘은 사람의 시각의 컬러 인지 메커니즘을 모방한 알고리즘으로써 인간에 영향을 주는 조명성분과 영상의 특징을 반사하는 반사성분을 분리해내어 조명성분의 영향을 제거하고 반사성분을 강조하여 입력영상의 다이나믹 레인지를 압축하고 콘트라스트를 향상시키는 방법이다.
한편, 레티넥스 알고리즘은 가우시안 필터를 이용하여 영상의 조명성분을 추정한다. 이때, 입력영상이 칼라영상인 경우, R, G, B 각각의 컬러성분에 대해 반복적으로 가우시안 필터를 적용시켜야 하며, 다른 필터계수를 가지는 하나 이상의 가우시안 필터가 사용되는 경우는 각각의 가우시안 필터에 R, G, B 각각의 컬러성분을 적용시켜야 하기 때문에 연산량이 증가하게 되고, 이에 따라 영상보정을 실시간으로 처리할 수 없다는 문제가 발생한다. 이는 영상의 해상도가 커지면 커질수록 더욱 큰 문제로 작용한다.
본 실시예는, 레티넥스 알고리즘을 기반으로 영상촬영 장치로부터 수신한 입력영상에서 조명성분을 추출 및 제거하여 반사성분을 강조하고, 이를 통해 입력영상의 다이나믹 레인지가 압축 및 콘트라스트가 향상된 보정영상을 출력하는 영상보정 장치를 제작하는 한편, 조명성분을 추출하기 위한 하나 이상의 가우시안 필터의 컨볼루션 연산 스케일 값에 따라 영상의 해상도를 기 조절하여 조명성분을 추출하는 과정에서 수행되는 연산의 속도를 가속화하고 영상의 해상도와 관계없이 영상보정을 실시간으로 제공받는 데 주된 목적이 있다.
본 실시예는, 하나의 색상성분 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터(Gaussian filter)의 필터계수를 추출하는 가우시안 필터계수 계산부; 상기 필터계수를 기반으로 상기 필터링에 최적화된 해상도 값을 추출하고, 상기 해상도 값으로 상기 색상성분 영상의 해상도를 각각 조절하는 해상도 조절부; 상기 해상도가 조절된 색상성분 영상으로부터 상기 색상성분 영상의 조명성분을 추출하는 조명성분 추출부; 상기 색상성분 영상의 화소값에서 상기 조명성분을 제거하여 상기 색상성분 영상의 반사성분을 추출하는 반사성분 추출부; 상기 색상성분 영상에 상기 반사성분을 합산한 영상을 생성하는 색상 조절부; 및 상기 합산한 영상의 해상도를 상기 색상성분 영상의 해상도로 재조정한 보정영상을 출력하는 영상합성부를 포함하는 것을 특징으로 하는 영상보정 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 하나의 색상성분 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터(Gaussian filter)의 필터계수를 추출하는 과정; 상기 필터계수를 기반으로 상기 필터링에 최적화된 해상도 값을 추출하고, 상기 해상도 값으로 상기 색상성분 영상의 해상도를 각각 조절하는 과정; 상기 해상도가 조절된 색상성분 영상으로부터 상기 색상성분 영상의 조명성분을 추출하는 과정; 상기 색상성분 영상의 화소값에서 상기 조명성분을 제거하여 상기 색상성분 영상의 반사성분을 추출하는 과정; 상기 색상성분 영상에 상기 반사성분을 합산한 영상을 생성하는 과정; 및 상기 합산한 영상의 해상도를 상기 색상성분 영상의 해상도로 재조정한 보정영상을 출력하는 과정을 포함하는 것을 특징으로 하는 영상보정 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 레티넥스 알고리즘을 기반으로 영상촬영 장치로부터 수신한 입력영상에서 조명성분을 추출 및 제거하여 반사성분을 강조하고, 이를 통해 입력영상의 다이나믹 레인지가 압축 및 콘트라스트가 향상된 보정영상을 출력하는 영상보정 장치를 제작하는 한편, 조명성분을 추출하기 위한 하나 이상의 가우시안 필터의 컨볼루션 연산 스케일 값에 따라 영상의 해상도를 기 조절하여 조명성분을 추출하는 과정에서 수행되는 연산의 속도를 가속화하고 영상의 해상도와 관계없이 영상보정을 실시간으로 제공받을 수 있는 효과가 있다.
도 1은 본 실시예에 따른 영상보정의 가속화를 위한 영상보정 장치의 구조를 도시한 도면,
도 2a는 본 실시예에 따른 입력영상을 R, G, B 영상으로 분리하는 과정을 예시한 도면,
도 2b는 본 실시예에 따른 R, G, B 영상으로 분리된 입력영상에서 각각의 R, G, B별 영상을 추출하는 과정을 예시한 도면,
도 3은 본 실시예에 따른 영상보정 장치를 통해 입력영상에 색상성분이 포함된 경우의 영상보정 방법을 설명하기 위한 순서도이다,
도 4는 본 실시예에 따른 영상보정 장치를 통해 입력영상에 색상성분이 포함되어 있지 않은 경우의 영상보정 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
일반적으로 사람의 시각은 안개나 먼지 등으로 뿌옇게 된 영상에서도 구조물과 지역을 잘 구분하는 능력을 가지고 있다. 그에 비해 영상 촬영장치를 통해 촬영된 영상은 영상에 존재하는 특징점이 상당부분 많이 사라지게 되며, 사람의 시각을 통해 인지하는 영상을 정확하게 반영하지 못한다. 이러한 특징점들을 복원하여 영상의 화질 개선을 위한 다양한 방법이 사용되고 있으며 그 중 레티넥스(Retinex) 이론을 바탕으로 설계된 레티넥스 알고리즘은 다이나믹 레인지 압축(Dynamic Range Compression) 및 컬러 재현성(Color Constancy)에 있어서 매우 우수한 성능을 나타낸다. 레티넥스 알고리즘의 처리 과정은 로그(Log) 연산을 근간으로 가우시안 필터(Gaussian Filter)를 이용하여 입력영상의 조명성분(Illumination)을 추정하고 입력영상으로부터 조명성분을 제거하여 피사체의 특징을 내포하고 있는 반사성분(Reflectance) 영상을 획득하는 방법이다. 본 실시예에 따른 영상보정 장치는 레티넥스 알고리즘을 기반으로 영상을 보정하되, 조명성분을 추출하기 위한 하나 이상의 가우시안 필터의 컨볼루션 연산 스케일 값에 따라 영상의 해상도를 기 조절하여 조명성분을 추출하는 과정에서 수행되는 연산의 속도를 가속화하고 영상의 해상도와 관계없이 영상보정을 실시간으로 제공받을 수 있는 장치이다.
도 1은 본 실시예에 따른 영상보정의 가속화를 위한 영상보정 장치(100)의 구조를 도시한 도면이다.
도 1에서 도시하듯이 본 실시예에 따른 영상보정의 가속화를 위한 영상보정 장치(100)는 입력영상 수신부(102), 데이터 저장부(104), 색 영상 분리부(106), 가우시안 필터계수 계산부(108), 해상도 조절부(110), 조명성분 추출부(112), 반사성분 추출부(114), 색상 조절부(116) 및 영상합성부(118)를 포함한다. 본 실시예에서는 영상보정 장치(100)가 입력영상 수신부(102), 데이터 저장부(104), 색 영상 분리부(106), 가우시안 필터계수 계산부(108), 해상도 조절부(110), 조명성분 추출부(112), 반사성분 추출부(114), 색상 조절부(116) 및 영상합성부(118)만을 포함하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 영상보정 장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
입력영상 수신부(102)는 영상 촬영장치가 촬영한 입력영상을 수신하고, 수신한 입력영상을 데이터 저장부(104) 및 가우시안 필터계수 계산부(108)로 송부한다. 즉, 입력영상 수신부(102)는 사용자가 영상 촬영장치를 이용하여 영상을 촬영하는 과정을 통해 촬영된 특정 영역의 영상을 수신한다. 이때, 입력영상 수신부(102)가 수신한 입력영상은 R, G, B의 색상성분을 포함한 색상성분 영상이거나 그레이 스케일(Gray Scale)로 구성된 색상성분 영상이다.
데이터 저장부(104)는 입력영상 수신부(102)로부터 영상 촬영장치가 촬영한 입력영상을 수신하고, 수신된 입력영상을 데이터 저장부(104) 내 데이터베이스에 저장한다. 즉, 데이터 저장부(104)는 입력영상 수신부(102)로부터 입력영상을 수신하고, 수신된 입력영상의 크기 및 픽셀 값 등의 정보를 판별하여 데이터베이스에 저장한다. 이때, 데이터 저장부(104)에 저장되는 입력영상은 영상이 촬영된 시간, 입력영상의 크기 등의 정보에 따라 분류되어 저장될 수 있다.
또한, 데이터 저장부(104)는 수신된 입력영상으로부터 입력영상의 크기, 픽셀 값 등의 정보를 판별하여 저장하고, 저장된 정보를 영상합성부(118)에 제공한다. 한편, 본 발명에 따른 영상합성부(118)는 데이터 저장부(104)에 저장된 입력영상의 크기, 픽셀 값 등의 정보를 수신하여 입력영상의 해상도를 확인하고, 데이터 저장부(104)에 저장된 정보를 기반으로 반사성분을 합산한 영상의 해상도를 하나의 색상성분 영상의 해상도로 재조정한다.
색 영상 분리부(106)는 수신된 입력영상에서 R(Red), G(Green), B(Blue) 영상을 분리한다. 즉, 색 영상 분리부(106)는 수신된 입력영상이 R, G, B 색상성분을 포함하는 경우, 색 영상 분해필터(미도시)를 이용하여 입력영상에 포함된 색상성분 영상을 추출한다. 색 영상 분해필터는 입력영상 수신부(102)로부터 전송되는 입력영상에서 R, G, B의 색상성분을 각각 분리하여 전송할 수 있도록 필터링한다. 이를 위하여, 색 영상 분해 필터는 적색필터, 녹색필터 및 청색필터와 적어도 2개의 미러(Mirror) 등을 구비하며, 미러들은 한 전송로로 전송되는 전기적인 신호가 3개의 필터를 각각 통과할 수 있도록 굴절시켜 주는 역할을 하고, 각 필터들(미도시)은 전송된 전기적인 신호중 해당 색 정보만을 통과시키는 역할을 한다. 다시 말해서 적색필터(미도시)는 전기적인 신호중 적색에 대한 정보만을 통과시키고, 녹색필터(미도시)는 전기적인 신호중 녹색에 대한 정보만을 통과시키고, 청색필터(미도시)는 전기적인 신호중 청색에 대한 정보만 통과시킨다.
가우시안 필터계수 계산부(108)는 하나의 색상성분 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터(Gaussian filter)의 필터계수를 추출한다. 이때, 하나의 색상성분 영상은 색 영상 분리부(106)를 통해 분리된 R, G, B의 색상성분 영상 중 하나의 색상성분 영상이거나 그레이 스케일(Gray Scale)로 구성된 색상성분 영상이다. 본 실시예에 따른 영상보정 장치(100)가 기반으로 하는 레티넥스 알고리즘은 조명성분을 추정하기 위해 입력영상에 가우시안 필터를 적용하고, 이렇게 추정된 조명성분을 입력영상으로부터 제거함으로써 반사성분을 획득한다. 가우시안 필터의 필터계수는 가우시안 분포의 표준 편차를 의미하는 가우시안 센터 서라운드 상수이며 가우시안 필터의 크기를 결정한다. 이때, 가우시안 필터의 필터계수 값이 작은 경우 영상의 에지가 보존되어 국부적인 콘트라스트(Contrast)가 향상되고, 저휘도의 감도가 개선되지만 저휘도와 고휘도 부분의 밝기 차이가 줄어들어 전역적인 콘트라스트가 감소되는 문제가 있다. 반면, 가우시안 필터의 필터계수 값이 크게 설정되면 저휘도와 고휘도의 밝기 차이가 개선되어 전역적인 콘트라스트는 향상되지만 고휘도 부분의 밝기차가 줄어들고 영상 전반적인 윤곽 성분이 감소하여 국부적인 콘트라스트 손실이 발생한다. 한편, 하나의 가우시안 필터를 사용하여 조명성분을 추출하는 레티넥스 알고지즘의 SSR(Single Scale Retinex) 방법은 입력영상에 적응적으로 대응하기가 어려운 단점이 있으며 추정된 조명성분의 제거과정에서 콘트라스트의 손실을 피할 수 없는 구조적인 문제가 내포되어 있다. 이에, 본 실시예의 영상보정 장치(100)는 SSR 알고리즘을 개선한 MSR(Multi Scale Retinex) 알고리즘을 사용하였으며 하나 이상의 크기가 다른 가우시안 필터를 적용한 SSR 출력 영상들에 가중치를 부여하고 그 결과를 합성하여 보정영상을 출력하였다.
즉, 가우시안 필터계수 계산부(108)는 하나의 색상성분 영상으로부터 색상성분 영상의 크기 정보를 확인하고, 색상성분 영상의 크기에 기 설정된 비율 예컨대 서로 다른 복수 개의 비율을 적용하여 대, 중, 소의 세 가지 크기의 색상성분 영상을 생성한다. 이때, 색상성분 영상의 크기를 대, 중, 소로 생성하기 위해 기 설정된 비율에 대해 예를 들면, 입력영상의 3/3 크기로 이루어진 대, 입력영상의 2/3 크기로 이루어진 중, 입력영상의 1/3 크기로 이루어진 소와 같은 형태로 생성될 수 있다. 한편, 본 실시예에서는 색상성분 영상의 크기를 대, 중, 소로 생성하고, 이를 위해 특정 비율 값이 기 설정되어 있다고 명시하였지만, 반드시 이에 한정되지는 않고 다양한 크기 및 다양한 비율 값이 설정될 수 있다.
또한, 가우시안 필터계수 계산부(108)는 대, 중, 소의 세 가지 크기로 생성된 색상성분 영상을 기반으로 각각의 크기로 생성된 색상성분 영상을 필터링할 수 있는 하나 이상의 가우시안 필터의 필터계수를 추출하고, 추출된 필터계수를 하나 이상의 가우시안 필터에 적용한다. 즉, 대, 중, 소의 세 가지 크기로 생성된 영상의 크기를 확인하고, 이를 기반으로 하나 이상의 가우시안 필터의 필터계수를 추출한다.
해상도 조절부(110)는 가우시안 필터계수 계산부(108)에서 추출된 필터계수를 기반으로 필터링에 최적화된 해상도 값을 추출하고, 추출된 해상도 값으로 색상성분 영상의 해상도를 각각 조절한다. 즉, 해상도 조절부(110)는 가우시안 필터계수 계산부(108)로부터 추출된 하나 이상의 가우시안 필터에 적용된 필터계수를 수신하고, 수신한 필터계수를 기반으로 대, 중, 소의 세 가지 크기로 생성된 색상성분 영상의 필터링에 최적화된 해상도 값을 추출한다.
이때, 필터링에 최적화된 해상도 값은 가우시안 필터계수 계산부(108)에서 색상성분 영상의 크기를 대, 중, 소의 세 가지 크기의 형태로 생성하는 과정에서 적용된 기 설정된 비율에 따라 색상성분 영상의 해상도를 조절한 값을 의미한다. 즉, 앞서 예시한 바와 같이, 입력영상이 입력영상의 3/3 크기로 이루어진 대, 입력영상의 2/3 크기로 이루어진 중, 입력영상의 1/3 크기로 이루어진 소와 같은 형태로 생성되었다면 각각의 대, 중, 소의 세 가지 크기의 형태로 생성된 색상성분 영상의 해상도는 기존의 색상성분 영상의 해상도에서 각각 1/3, 2/3, 3/3의 비율로 조절된 해상도를 의미한다. 본 실시예에 따른 영상보정 장치(100)는 조명성분을 추출하기 위한 하나 이상의 가우시안 필터의 컨볼루션 연산 스케일 값에 따라 영상의 해상도를 기 조절하여 조명성분을 추출하는 과정에서 수행되는 연산의 속도를 가속화하고 영상의 해상도와 관계없이 영상보정을 실시간으로 제공받을 수 있다.
조명성분 추출부(112)는 해상도가 조절된 색상성분 영상으로부터 색상성분 영상의 조명성분을 추출한다. 즉, 조명성분 추출부(112)는 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상을 하나 이상의 가우시안 필터에 적용시키고, 하나 이상의 가우시안 필터는 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상 및 필터계수를 기반으로 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 조명성분을 추출한다.
한편, 조명성분 추출부(112)로부터 하나 이상의 가우시안 필터를 통해 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 조명성분을 추출하기 위한 식은 수학식 1과 같다.
수학식 1
Figure PCTKR2013009517-appb-M000001
수학식 1은 인간이 인지하는 빛의 밝기는 조명성분과 반사성분의 곱으로 이루어지며 반사성분이 색상의 인식에 주된 영향을 준다는 E. Land의 레티넥스 이론을 기반으로 입력영상을 정의한 식과 정의된 식으로부터 하나 이상의 가우시안 필터가 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 조명성분을 추출하기 위한 과정을 나타내고 있다. 수학식 1에서 I는 입력영상, (x, y)는 영상의 화소 좌표, R은 반사성분, L은 조명성분을 의미한다. 한편, 수학식 1에서 I(x,y)= R(x,y)·L(x,y)로 표현된 식은 입력영상의 실제 밝기와 인간의 시각이 인지한 영상의 밝기는 로그 관계가 성립한다는 Weber의 법칙에 따라 로그 스케일로 변환되어 logI(x,y)=logR(x,y)+logL(x,y)로 나타내어지며 이중, 조명성분을 나타내는 logL(x,y)는 log[F(x,y)*Ii(x,y)]로 표현된다. 이때, Ii(x,y)는 i번째 컬러성분의 입력영상을 나타내며 *는 컨벌루션(Convolution) 연산자, F(x,y)는 조명성분 추정을 위한 정규화된 가우시안 센터 서라운드 함수를 의미한다. 한편, F(x,y)는 수학식 2를 통해 추출할 수 있다.
수학식 2
Figure PCTKR2013009517-appb-M000002
수학식 2에서 K는 정규화 계수, c는 가우시안 분포의 표준 편차를 의미하는 가우시안 센터 서라운드 상수로 가우시안 필터의 스케일을 결정하는 값이다. 즉, 가우시안 필터계수 계산부(108)를 통해 추출된 하나 이상의 가우시안 필터의 필터계수 값이 수학식 2에 적용됨으로써 조명성분을 나타내는 logL(x,y)를 추출할 수 있다.
반사성분 추출부(114)는 색상성분 영상의 화소값에서 조명성분을 제거하여 색상성분 영상의 반사성분을 추출한다. 즉, 반사성분 추출부(114)는 대, 중, 소의 세 가지 크기의 색상성분 영상의 화소값에서 조명성분 추출부(112)로부터 추출된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 조명성분을 제거하여, 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 반사성분을 추출한다. 한편, 반사성분 추출부(114)가 대, 중, 소의 세 가지 크기의 색상성분 영상의 화소값에서 조명성분을 제거하는 식은 수학식 3과 같다.
수학식 3
Figure PCTKR2013009517-appb-M000003
수학식 3에서 i는 입력영상의 색상성분 R, G, B를, Ri(x,y)는 i번째 색상성분의 반사성분을 나타내는 SSR 출력 영상이다. 즉, 수학식 3을 통해 대, 중, 소의 세 가지 크기로 나누어진 색상성분의 영상에서 각각의 조명성분을 제거하고, 이를 통해 대, 중, 소의 세 가지 크기로 나누어진 색상성분 영상 각각에 대한 반사성분을 추출할 수 있다. 한편, 수학식 3의 경우, 입력영상이 R, G, B 색상성분을 포함한 색상성분 영상인 경우 조명성분을 제거하는 방법이 식으로 표현되었으나, 입력영상이 그레이 스케일로 구성된 영상인 경우에도 적용될 수 있다.
한편, 반사성분 추출부(114)는 수학식 3을 통해 추출된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 반사성분을 나타내는 SSR 출력 영상들에 가중치를 부여하고, 부여된 가중치의 결과를 합성하여 색상성분 영상의 반사성분을 최종적으로 추출한다. 반사성분 추출부(114)가 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 반사성분을 나타내는 SSR 출력 영상들에 가중치를 부여하여 색상성분 영상의 반사성분을 최종적으로 추출하는 식은 수학식 4와 같다.
수학식 4
Figure PCTKR2013009517-appb-M000004
수학식 4에서 RMSRi(x,y)는 i번째 색상성분의 MSR 알고리즘의 출력 영상을, N은 서로 다른 크기의 가우시안 필터의 개수를, Rki(x,y)는 k번째의 가우시안 필터를 통해 생성된 i번째 색상성분의 SSR 알고리즘 출력 영상을 의미한다. Wk는 k번째 SSR 영상에 적용할 가중치를 의미하며 모든 가중치의 합은 1이 된다. 한편, 수학식 4의 경우, 입력영상이 R, G, B의 색상성분을 포함한 색상성분 영상인 경우 조명성분을 제거하는 방법이 식으로 표현되었으나, 입력영상이 그레이 스케일로 구성된 영상인 경우에도 적용될 수 있다.
대, 중, 소의 세 가지 필터 중에서 작은 크기의 필터는 입력영상의 세부적인 윤곽을 얻기 위한 용도이며, 큰 크기의 필터는 입력영상 전반의 밝기 차이 유지와 컬러 재현성을 위해 사용된다. 그리고 중간 크기의 필터는 큰 크기와 작은 크기의 필터의 특성을 합성하여 연결하는 역할을 하게 된다. 즉, 각각의 필터를 통해 추출된 반사성분은 각각의 필터의 역할에 따라 가중치기 부여되고, 이를 통해 색상성분 영상의 반사성분을 최종적으로 추출한다.
한편, SSR과 MSR 알고리즘을 방법은 입력영상의 각 색상성분에 독립적으로 적용되기 때문에 색상성분들 간의 연관성이 고려되지 않는다. 이에 출력 영상의 각 색상성분들의 비율이 거의 같을 경우, 출력 영상의 색상이 회색으로 표현되는 회색계 왜곡이 발생할 수 있다. 이를 개선하기 위해 입력영상이 R, G, B의 색상성분을 포함하는 경우, 반사성분 추출부(114)는 수학식 5의 과정을 추가적으로 수행하게 된다.
수학식 5
Figure PCTKR2013009517-appb-M000005
수학식 5에서 RMSRCRi(x,y)는 색상복원을 거친 i번째 색상성분은 MSRCR(MSR With Color Restoration) 영상, RMSRi(x,y)는 i번째 색상성분의 MSR 영상, Ci(x,y)는 i번째 색상성분의 컬러 복원 함수를 나타낸다. 한편, Ci(x,y)의 식에서 I' i(x,y)는 색상성분들 간의 연관성을 반영하기 위하여 각 색상성분의 비율로 정규화된 i번째 색상성분의 입력영상을 나타내며, S는 색상성분의 개수, α, β는 색상 게인 상수를 의미한다.
색상 조절부(116)는 색상성분 영상에 반사성분을 합산한 영상을 생성한다. 즉, 색상 조절부(116)는 반사성분 추출부(114)로부터 색상성분 영상의 반사성분을 수신하고, 수신한 색상성분 영상의 반사성분을 입력영상이 R, G, B의 색상성분을 포함한 색상성분 영상인 경우, 색 영상 분리부(106)로부터 추출된 R, G, B 영상에 합성하고, 색상성분 영상이 그레이 스케일로 구성된 색상성분 영상인 경우, 그레이 스케일 영상에 합산한다.
이때, 반사성분 추출부(114)를 통해 추출된 색상성분 영상의 반사성분은 +, - 형태의 수치값을 가지며 기존의 색상성분 영상의 화소값에서 해당 수치값을 합산함으로써 반사성분이 강조된 영상을 생성한다. 즉, 기존의 색상성분 영상에서 피사체의 특징을 내포하고 있는 반사성분을 강조함으로써 사람의 시각을 통해 인지하는 영상과 유사한 영상으로 색상성분 영상의 화질을 개선할 수 있다.
영상합성부(118)는 색상 조절부(116)로부터 반사성분이 합산된 색상성분 영상을 수신하고, 수신한 색상성분 영상의 해상도를 입력영상의 해상도로 재조정한다. 이때, 입력영상의 해상도는 데이터 저장부(104)에 저장된 입력영상의 크기, 픽셀 값 등의 정보를 통해 파악할 수 있으며, 이를 기반으로 기존의 입력영상의 해상도를 재계산하여 색상성분 영상의 해상도를 조절하는 과정 없이 색상성분 영상의 해상도를 바로 조정할 수 있다. 즉, 입력영상의 해상도를 재계산하는 과정에서 발생하는 연산에 대한 소비시간을 줄일 수 있다. 이후, 영상 합성부(118)는 해상도가 재조정된 색상성분의 영상을 합성하여 입력영상을 보정한 보정영상을 출력한다.
한편, 영상합성부(118)는 입력영상이 R, G, B의 색상성분을 포함한 색상성분 영상인 경우, 색상 조절부(116)로부터 합산한 영상의 해상도를 색상성분 영상의 해상도로 재조정하고, 재조정된 영상과 R, G, B 중 다른 두 개의 색상성분에 대하여 재조정된 영상을 합성하여 입력영상을 보정한 상기 보정영상을 생성한다.
도 2a 및 도 2b는 본 실시예에 따른 입력영상을 R, G, B 영상으로 분리하는 과정을 예시한 도면 및 R, G, B 영상으로 분리된 입력영상에서 각각의 R, G, B별 영상을 추출하는 과정을 예시한 도면이다.
도 2a와 도 2b에서 도시하듯이, 입력영상이 R, G, B의 색상성분으로 구성되어 있는 경우, 입력영상은 각각 R, G, B의 색상성분을 포함한다. 한편, 입력영상에 포함된 R, G, B의 색상정보는 각각의 R, G, B별 영상으로 추출될 수 있으며 본 실시예에서는 색 영상 분리부(106)가 R, G B별 영상을 추출하는 기능을 수행한다. 색 영상 분리부(106)는 수신된 입력영상에서 R, G, B의 영상을 분리한다. 즉, 색 영상 분리부(106)는 수신된 입력영상이 색상성분을 포함하는 경우, 색 영상 분해필터(미도시)를 이용하여 입력영상에 포함된 색상성분 영상을 추출한다. 색 영상 분해필터는 입력영상 수신부(102)로부터 전송되는 입력영상에서 R, G, B의 색상성분을 각각 분리하여 전송할 수 있도록 필터링한다. 이를 위하여, 색 영상 분해 필터는 적색필터, 녹색필터 및 청색필터와 적어도 2개의 미러(Mirror) 등을 구비하며, 미러들은 한 전송로로 전송되는 전기적인 신호가 3개의 필터를 각각 통과할 수 있도록 굴절시켜 주는 역할을 하고, 각 필터들(미도시)은 전송된 전기적인 신호중 해당 색 정보만을 통과시키는 역할을 한다.
도 3은 본 실시예에 따른 영상보정 장치(100)를 통해 입력영상에 색상성분이 포함된 경우의 영상보정 방법을 설명하기 위한 순서도이다. 한편, 도 3의 경우, 색상성분의 의미는 R, G, B를 나타낸다.
도 3에서 도시하듯이 영상보정 장치(100)를 통해 입력영상에 색상성분이 포함된 경우의 영상보정 방법은 먼저, 영상촬영 장치로부터 입력영상을 수신하고(S300), 수신된 입력영상에서 색상성분의 포함 여부를 판별하는 과정(S302)으로부터 시작된다. 즉, 입력영상 수신부(102)는 사용자가 영상 촬영장치를 이용하여 영상을 촬영하는 과정을 통해 촬영된 특정 영역의 영상을 수신하고, 수신된 영상에서 색상성분의 포함 여부를 판별한다. 이때, 입력영상 수신부(102)가 수신한 영상은 기 설정된 영상 촬영장치의 기능에 따라 특정 크기 및 특정 해상도로 구현된 영상을 의미하며, 사용자의 설정 및 영상 촬영장치의 기능에 따라 다양한 크기 및 해상도로 구현될 수 있다. 한편, 입력영상 수신부(102)로부터 수신된 입력영상의 정보는 데이터 저장부(104)에 저장된다.
색 영상 분리부(106)는 수신된 입력영상에서 R, G, B 영상을 분리한다(S304). 즉, 색 영상 분리부(106)는 수신된 입력영상이 색상성분을 포함하는 경우, 색 영상 분해필터(미도시)를 이용하여 입력영상에 포함된 색상성분 영상을 추출한다. 색 영상 분해필터는 입력영상 수신부(102)로부터 전송되는 입력영상에서 R, G, B의 색상성분을 각각 분리하여 전송할 수 있도록 필터링한다. 이를 위하여, 색 영상 분해 필터는 적색필터, 녹색필터 및 청색필터와 적어도 2개의 미러(Mirror) 등을 구비하며, 미러들은 한 전송로로 전송되는 전기적인 신호가 3개의 필터를 각각 통과할 수 있도록 굴절시켜 주는 역할을 하고, 각 필터들(미도시)은 전송된 전기적인 신호중 해당 색 정보만을 통과시키는 역할을 한다. 다시 말해서 적색필터(미도시)는 전기적인 신호중 적색에 대한 정보만을 통과시키고, 녹색필터(미도시)는 전기적인 신호중 녹색에 대한 정보만을 통과시키고, 청색필터(미도시)는 전기적인 신호중 청색에 대한 정보만 통과시킨다.
가우시안 필터계수 계산부(108)는 색 영상 분리부(106)로부터 분리된 어느 하나의 색상성분 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터의 필터계수를 추출한다(S306). 즉, 가우시안 필터계수 계산부(108)는 색 영상 분리부(106)로부터 분리된 어느 하나의 색상성분 영상으로부터 색상성분 영상의 크기 정보를 확인하고, 색상성분 영상의 크기를 기 설정된 비율에 따라 대, 중, 소의 세 가지 크기로 생성한다. 이때, 색상성분 영상의 크기를 대, 중, 소로 생성하기 위해 기 설정된 비율에 대해 예를 들면, 입력영상의 3/3 크기로 이루어진 대, 입력영상의 2/3 크기로 이루어진 중, 입력영상의 1/3 크기로 이루어진 소와 같은 형태로 생성될 수 있다. 한편, 본 실시예에서는 색상성분 영상의 크기를 대, 중, 소로 생성하고, 이를 위해 특정 비율 값이 기 설정되어 있다고 명시하였지만, 반드시 이에 한정되지는 않고 다양한 크기 및 다양한 비율 값이 설정될 수 있다. 또한, 가우시안 필터계수 계산부(108)는 대, 중, 소의 세 가지 크기로 생성된 색상성분 영상을 기반으로 각각의 크기로 생성된 색상성분 영상을 필터링할 수 있는 하나 이상의 가우시안 필터의 필터계수를 추출하고, 추출된 필터계수를 하나 이상의 가우시안 필터에 적용한다.
해상도 조절부(110)는 가우시안 필터계수 계산부(108)에서 추출된 필터계수를 기반으로 필터링에 최적화된 해상도 값을 추출하고, 추출된 해상도 값으로 색상성분 영상의 해상도를 각각 조절한다(S308). 즉, 해상도 조절부(110)는 가우시안 필터계수 계산부(108)로부터 추출된 하나 이상의 가우시안 필터에 적용된 필터계수를 수신하고, 수신한 필터계수를 기반으로 대, 중, 소의 세 가지 크기로 생성된 색상성분 영상의 필터링에 최적화된 해상도 값을 추출한다. 이때, 필터링에 최적화된 해상도 값은 가우시안 필터계수 계산부(108)에서 색상성분 영상의 크기를 대, 중, 소의 세 가지 크기의 형태로 생성하는 과정에서 적용된 기 설정된 비율에 따라 색상성분 영상의 해상도를 조절한 값을 의미한다. 앞서 예시한 바와 같이, 입력영상이 입력영상의 3/3 크기로 이루어진 대, 입력영상의 2/3 크기로 이루어진 중, 입력영상의 1/3 크기로 이루어진 소와 같은 형태로 생성되었다면 각각의 대, 중, 소의 세 가지 크기의 형태로 생성할된 색상성분 영상의 해상도는 기존의 색상성분 영상의 해상도에서 각각 1/3, 2/3, 3/3의 비율로 조절된 해상도를 의미한다.
조명성분 추출부(112)는 해상도가 조절된 색상성분 영상으로부터 색상성분 영상의 조명성분을 추출한다(S310). 즉, 조명성분 추출부(112)는 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상을 하나 이상의 가우시안 필터에 적용시키고, 하나 이상의 가우시안 필터는 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상 및 필터계수를 기반으로 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 조명성분을 추출한다. 한편, 조명성분 추출부(112)로부터 하나 이상의 가우시안 필터를 통해 해상도가 조절된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 조명성분은 수학식 1 및 수학식 2를 통해 추출될 수 있다.
반사성분 추출부(114)는 색상성분 영상의 화소값에서 조명성분을 제거하여 색상성분 영상의 반사성분을 추출한다(S312). 즉, 반사성분 추출부(114)는 대, 중, 소의 세 가지 크기의 색상성분 영상의 화소값에서 조명성분 추출부(112)로부터 추출된 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 조명성분을 제거하여, 대, 중, 소의 세 가지 크기의 색상성분 영상 각각에 대한 반사성분을 추출한다. 한편, 반사성분 추출부(114)가 대, 중, 소의 세 가지 크기의 색상성분 영상의 화소값에서 조명성분을 제거하는 식은 수학식 3과 같다. 또한, 반사성분 추출부(114)는 수학식 3을 통해 추출된 대, 중, 소의 세 가지 크기의 R, G, B, 영상 각각에 대한 반사성분을 나타내는 SSR 출력 영상들에 가중치를 부여하고, 부여된 가중치의 결과를 합성하여 색상성분 영상의 반사성분을 최종적으로 추출한다. 한편, 반사성분 추출부(114)가 대, 중, 소의 세 가지 크기의 R, G, B, 영상 각각에 대한 반사성분을 나타내는 SSR 출력 영상들에 가중치를 부여하여 색상성분 영상의 반사성분을 최종적으로 추출하는 식은 수학식 4와 같다. 한편, SSR과 MSR 알고리즘을 방법은 입력영상의 각 색상성분에 독립적으로 적용되기 때문에 색상성분들 간의 연관성이 고려되지 않는다. 이에 출력 영상의 각 색상성분들의 비율이 거의 같을 경우, 출력 영상의 색상이 회색으로 표현되는 회색계 왜곡이 발생할 수 있다. 이를 개선하기 위해 입력영상이 색상성분을 포함하는 경우, 반사성분 추출부(114)는 수학식 5의 과정을 추가적으로 수행한다.
색상 조절부(116)는 색상성분 영상에 반사성분을 합산한 영상을 생성한다(S314). 즉, 색상 조절부(116)는 반사성분 추출부(114)로부터 R, G, B 영상의 반사성분을 수신하고, 수신한 R, G, B 영상의 반사성분을 색 영상 분리부(106)로부터 추출된 R, G, B 영상에 합산한다. 이때, 반사성분 추출부(114)를 통해 추출된 R, G, B 영상의 반사성분은 +, - 형태의 수치값을 가지며 기존의 R, G, B 영상의 화소값에서 해당 수치값을 합산함으로써 반사성분이 강조된 영상을 생성한다. 즉, 기존의 R, G, B 영상에서 피사체의 특징을 내포하고 있는 반사성분을 강조함으로써 사람의 시각을 통해 인지하는 영상과 유사한 영상으로 R, G, B 영상의 화질을 개선할 수 있다.
영상합성부(118)는 합산한 영상의 해상도를 재조정하고, R, G, B 중 다른 두 개의 색상성분에 대하여 재조정된 영상을 합성하여 보정영상을 출력한다(S316). 즉, 영상합성부(118)는 색상 조절부(116)로부터 반사성분이 합산된 R, G, B, 영상을 수신하고, 수신한 R, G, B, 영상의 해상도를 입력영상의 해상도로 재조정한다. 이때, 입력영상의 해상도는 데이터 저장부(104)에 저장된 입력영상의 크기, 픽셀 값 등의 정보를 통해 파악할 수 있으며, 이를 기반으로 기존의 입력영상의 해상도를 재계산하여 R, G, B 영상의 해상도를 조절하는 과정 없이 R, G, B, 영상의 해상도를 바로 조정할 수 있다. 즉, 입력영상의 해상도를 재계산하는 과정에서 발생하는 연산에 대한 소비시간을 줄일 수 있다. 이후, 영상 합성부(118)는 해상도가 재조정된 R, G, B의 영상을 합성하여 입력영상을 보정한 보정영상을 출력한다.
도 4는 본 실시예에 따른 영상보정 장치(100)를 통해 입력영상에 색상성분이 포함되어 있지 않은 경우의 영상보정 방법을 설명하기 위한 순서도이다. 한편, 도 4의 경우, 색상성분의 의미는 R, G, B를 나타낸다.
도 4에서 도시하듯이 영상보정 장치(100)를 통해 입력영상에 색상성분이 포함되어 있지 않은 경우의 영상보정 방법은 먼저, 영상촬영 장치로부터 입력영상을 수신하고(S400), 수신된 입력영상에서 색상성분의 포함 여부를 판별하는 과정(S402)으로부터 시작된다. 즉, 입력영상 수신부(102)는 사용자가 영상 촬영장치를 이용하여 영상을 촬영하는 과정을 통해 촬영된 특정 영역의 영상을 수신하고, 수신된 영상에서 색상성분의 포함 여부를 판별한다. 이때, 입력영상 수신부(102)가 수신한 영상은 기 설정된 영상 촬영장치의 기능에 따라 특정 크기 및 특정 해상도로 구현된 영상을 의미하며, 사용자의 설정 및 영상 촬영장치의 기능에 따라 다양한 크기 및 해상도로 구현될 수 있다. 한편, 입력영상 수신부(102)로부터 수신된 입력영상의 정보는 데이터 저장부(104)에 저장된다.
가우시안 필터계수 계산부(108)는 입력영상이 색상성분을 포함하지 않은 그레이 스케일 영상으로 구성된 경우, 그레이 스케일 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터의 필터계수를 추출한다(S404). 즉, 가우시안 필터계수 계산부(108)는 그레이 스케일 영상의 크기 정보를 입력영상 수신부(102)를 통해 확인하고, 그레이 스케일 영상의 크기를 기 설정된 비율에 따라 대, 중, 소의 세 가지 크기로 생성한다. 이때, 그레이 스케일 영상의 크기를 대, 중, 소로 생성하기 위해 기 설정된 비율에 대해 예를 들면, 입력영상의 3/3 크기로 이루어진 대, 입력영상의 2/3 크기로 이루어진 중, 입력영상의 1/3 크기로 이루어진 소와 같은 형태로 생성될 수 있다. 한편, 본 실시예에서는 그레이 스케일 영상의 크기를 대, 중, 소로 생성하고, 이를 위해 특정 비율 값이 기 설정되어 있다고 명시하였지만, 반드시 이에 한정되지는 않고 다양한 크기 및 다양한 비율 값이 설정될 수 있다. 또한, 가우시안 필터계수 계산부(108)는 대, 중, 소의 세 가지 크기로 생성된 그레이 스케일 영상을 기반으로 각각의 크기로 생성된 그레이 스케일 영상을 필터링할 수 있는 하나 이상의 가우시안 필터의 필터계수를 추출하고, 추출된 필터계수를 하나 이상의 가우시안 필터에 적용한다.
해상도 조절부(110)는 가우시안 필터계수 계산부(108)에서 추출된 필터계수를 기반으로 필터링에 최적화된 해상도 값을 추출하고, 추출된 해상도 값으로 대, 중, 소의 세 가지 크기로 생성된 그레이 스케일 영상의 해상도를 각각 조절한다(S406). 즉, 해상도 조절부(110)는 가우시안 필터계수 계산부(108)로부터 추출된 하나 이상의 가우시안 필터에 적용된 필터계수를 수신하고, 수신한 필터계수를 기반으로 대, 중, 소의 세 가지 크기로 생성된 그레이 스케일 영상의 필터링에 최적화된 해상도 값을 추출한다. 이때, 필터링에 최적화된 해상도 값은 가우시안 필터계수 계산부(108)에서 그레이 스케일 영상의 크기를 대, 중, 소의 세 가지 크기의 형태로 생성하는 과정에서 적용된 기 설정된 비율에 따라 그레이 스케일 영상의 해상도를 조절한 값을 의미한다. 앞서 예시한 바와 같이, 입력영상이 입력영상의 3/3 크기로 이루어진 대, 입력영상의 2/3 크기로 이루어진 중, 입력영상의 1/3 크기로 이루어진 소와 같은 형태로 생성되었다면 각각의 대, 중, 소의 세 가지 크기의 형태로 생성된 그레이 스케일 영상의 해상도는 기존의 그레이 스케일 영상의 해상도에서 각각 1/3, 2/3, 3/3의 비율로 조절된 해상도를 의미한다.
조명성분 추출부(112)는 해상도가 조절된 그레이 스케일 영상으로부터 그레이 스케일 영상의 조명성분을 추출한다(S408). 즉, 조명성분 추출부(112)는 해상도가 조절된 대, 중, 소의 세 가지 크기의 그레이 스케일 영상을 하나 이상의 가우시안 필터에 적용시키고, 하나 이상의 가우시안 필터는 해상도가 조절된 대, 중, 소의 세 가지 크기의 그레이 스케일 영상 및 필터계수를 기반으로 해상도가 조절된 대, 중, 소의 세 가지 크기의 그레이 스케일 영상 각각에 대한 조명성분을 추출한다. 한편, 조명성분 추출부(112)로부터 하나 이상의 가우시안 필터를 통해 해상도가 조절된 대, 중, 소의 세 가지 크기의 그레이 스케일 영상 각각에 대한 조명성분을 추출하기 위한 식은 수학식 1 및 수학식 2를 통해 추출될 수 있다.
반사성분 추출부(114)는 그레이 스케일 영상의 화소값에서 조명성분을 제거하여 그레이 스케일 영상의 반사성분을 추출한다(S410). 즉, 반사성분 추출부(114)는 대, 중, 소의 세 가지 크기의 그레이 스케일 영상의 화소값에서 조명성분 추출부(112)로부터 추출된 대, 중, 소의 세 가지 크기의 그레이 스케일 영상 각각에 대한 조명성분을 제거하여, 대, 중, 소의 세 가지 크기의 그레이 스케일 영상 각각에 대한 반사성분을 추출한다. 한편, 반사성분 추출부(114)가 대, 중, 소의 세 가지 크기의 그레이 스케일 영상의 화소값에서 조명성분을 제거하는 식은 수학식 3과 같다. 또한, 반사성분 추출부(114)는 수학식 3을 통해 추출된 대, 중, 소의 세 가지 크기의 그레이 스케일 영상 각각에 대한 반사성분을 나타내는 SSR 출력 영상들에 가중치를 부여하고, 부여된 가중치의 결과를 합성하여 그레이 스케일 영상의 반사성분을 최종적으로 추출한다. 한편, 반사성분 추출부(114)가 대, 중, 소의 세 가지 크기의 그레이 스케일 영상 각각에 대한 반사성분을 나타내는 SSR 출력 영상들에 가중치를 부여하여 그레이 스케일 영상의 반사성분을 최종적으로 추출하는 식은 수학식 4와 같다.
색상 조절부(116)는 그레이 스케일 영상에 반사성분을 합산한 영상을 생성한다(S412). 즉, 색상 조절부(116)는 반사성분 추출부(114)로부터 그레이 스케일 영상의 반사성분을 수신하고, 수신한 그레이 스케일 영상의 반사성분을 입력영상 수신부(102)를 통해 수신한 그레이 스케일 영상에 합산한다. 이때, 반사성분 추출부(114)를 통해 추출된 그레이 스케일 영상의 반사성분은 +, - 형태의 수치값을 가지며 기존의 그레이 스케일 영상의 화소값에서 해당 수치값을 합산함으로써 반사성분이 강조된 영상을 생성한다. 즉, 기존의 그레이 스케일 영상에서 피사체의 특징을 내포하고 있는 반사성분을 강조함으로써 사람의 시각을 통해 인지하는 영상과 유사한 영상으로 그레이 스케일 영상의 화질을 개선할 수 있다.
영상합성부(118)는 합산한 영상의 해상도를 재조정하여 보정영상을 출력한다(S414). 즉, 영상합성부(118)는 색상 조절부(116)로부터 반사성분이 합산된 그레이 스케일 영상을 수신하고, 수신한 그레이 스케일 영상의 해상도를 입력영상의 해상도로 재조정한다. 이때, 입력영상의 해상도는 데이터 저장부(104)에 저장된 입력영상의 크기, 픽셀 값 등의 정보를 통해 파악할 수 있으며, 이를 기반으로 기존의 입력영상의 해상도를 재계산하여 그레이 스케일 영상의 해상도를 조절하는 과정 없이 그레이 스케일 영상의 해상도를 바로 조정할 수 있다. 즉, 입력영상의 해상도를 재계산하는 과정에서 발생하는 연산에 대한 소비시간을 줄일 수 있다. 이후, 영상 합성부(118)는 해상도가 재조정된 그레이 스케일 영상을 합성하여 입력영상을 보정한 보정영상을 출력한다.
도 3 및 도 4에서는 단계 S300 내지 단계 S316 및 단계 S400 내지 단계 S414를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3 및 도 4에 기재된 순서를 변경하여 실행하거나 단계 S300 내지 단계 S316 및 단계 S400 내지 단계 S414 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3 및 도 4는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2012년 10월 26일 한국에 출원한 특허출원번호 제 10-2012-0119505호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (20)

  1. 하나의 색상성분 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터(Gaussian filter)의 필터계수를 추출하는 가우시안 필터계수 계산부;
    상기 필터계수를 기반으로 상기 필터링에 최적화된 해상도 값을 추출하고, 상기 해상도 값으로 상기 색상성분 영상의 해상도를 각각 조절하는 해상도 조절부;
    상기 해상도가 조절된 색상성분 영상으로부터 상기 색상성분 영상의 조명성분을 추출하는 조명성분 추출부;
    상기 색상성분 영상의 화소값에서 상기 조명성분을 제거하여 상기 색상성분 영상의 반사성분을 추출하는 반사성분 추출부;
    상기 색상성분 영상에 상기 반사성분을 합산한 영상을 생성하는 색상 조절부; 및
    상기 합산한 영상의 해상도를 상기 색상성분 영상의 해상도로 재조정한 보정영상을 출력하는 영상합성부
    를 포함하는 것을 특징으로 하는 영상보정 장치.
  2. 제 1항에 있어서,
    상기 영상보정 장치는 수신된 입력영상에서 R(Red), G(Green), B(Blue) 색상성분 영상을 분리하는 색 영상 분리부를 더 포함하되,
    상기 가우시안 필터계수 계산부는 상기 분리된 R, G, B 색상성분 영상으로부터 상기 하나의 색상성분 영상을 수신하고,
    상기 영상합성부는 상기 합산한 영상의 해상도를 상기 색상성분 영상의 해상도로 재조정하고, 상기 재조정된 영상과 R, G, B 중 다른 두 개의 색상성분에 대하여 재조정된 영상을 합성하여 상기 입력영상을 보정한 상기 보정영상을 생성하는 것을 특징으로 하는 영상보정 장치.
  3. 제 1항에 있어서,
    상기 가우시안 필터계수 계산부는 상기 색상성분 영상의 크기 정보를 확인하고, 상기 색상성분 영상의 크기에 서로 다른 복수 개의 비율을 적용하여 서로 다른 크기를 가지는 색상성분 영상을 각각 생성하는 것을 특징으로 하는 영상보정 장치.
  4. 제 3항에 있어서,
    상기 가우시안 필터계수 계산부는 각각의 크기의 색상성분 영상을 기반으로 상기 하나 이상의 가우시안 필터의 필터계수를 추출하고, 추출된 필터계수를 상기 하나 이상의 가우시안 필터에 적용하는 것을 특징으로 하는 영상보정 장치.
  5. 제 4항에 있어서,
    상기 해상도 조절부는 상기 하나 이상의 가우시안 필터에 적용된 필터계수를 수신하고, 수신한 상기 필터계수를 기반으로 상기 각각의 크기의 색상성분 영상의 필터링에 최적화된 해상도 값을 추출하는 것을 특징으로 하는 영상보정 장치.
  6. 제 5항에 있어서,
    상기 최적화된 해상도 값은 상기 각각의 크기의 색상성분 영상을 생성하는 과정에서 적용된 상기 서로 다른 복수 개의 비율에 근거하여 추출된 해상도 값인 것을 특징으로 하는 영상보정 장치.
  7. 제 5항에 있어서,
    상기 조명성분 추출부는 상기 해상도 조절부를 통해 해상도가 조절된 각각의 크기의 색상성분 영상을 상기 하나 이상의 가우시안 필터에 적용시키고,
    상기 하나 이상의 가우시안 필터는 상기 해상도가 조절된 각각의 크기의 색상성분 영상 및 상기 필터계수를 기반으로 상기 해상도가 조절된 각각의 크기의 색상성분 영상에 대한 조명성분을 각각 추출하는 것을 특징으로 하는 영상보정 장치.
  8. 제 7항에 있어서,
    상기 반사성분 추출부는 상기 색상성분 영상의 화소값에서 상기 각각의 크기의 색상성분 영상에 대한 조명성분을 제거하여 상기 각각의 크기의 색상성분 영상에 대한 반사성분을 각각 추출하는 것을 특징으로 하는 영상보정 장치.
  9. 제 8항에 있어서,
    상기 반사성분 추출부는 상기 각각의 크기의 색상성분 영상에 대한 반사성분에 가중치를 부여하고, 부여된 상기 가중치의 결과를 통해 상기 색상성분 영상의 반사성분을 추출하는 것을 특징으로 하는 영상보정 장치.
  10. 제 1항에 있어서,
    상기 하나의 색상성분 영상은 그레이 스케일(Gray Scale)로 구성된 영상인 것을 특징으로 하는 영상보정 장치.
  11. 제 1항에 있어서,
    상기 하나의 색상성분 영상의 크기 및 픽셀 값 중 일부 또는 전부에 대한 정보를 저장하는 데이터 저장부를 더 포함하며,
    상기 영상합성부는 상기 데이터 저장부에 저장된 정보를 기반으로 상기 반사성분을 합산한 영상의 해상도를 상기 하나의 색상성분 영상의 해상도로 재조정하는 것을 특징으로 하는 영상보정 장치.
  12. 하나의 색상성분 영상으로부터 조명성분을 추출하기 위한 필터링 과정을 수행하는 하나 이상의 가우시안 필터(Gaussian filter)의 필터계수를 추출하는 과정;
    상기 필터계수를 기반으로 상기 필터링에 최적화된 해상도 값을 추출하고, 상기 해상도 값으로 상기 색상성분 영상의 해상도를 각각 조절하는 과정;
    상기 해상도가 조절된 색상성분 영상으로부터 상기 색상성분 영상의 조명성분을 추출하는 과정;
    상기 색상성분 영상의 화소값에서 상기 조명성분을 제거하여 상기 색상성분 영상의 반사성분을 추출하는 과정;
    상기 색상성분 영상에 상기 반사성분을 합산한 영상을 생성하는 과정; 및
    상기 합산한 영상의 해상도를 상기 색상성분 영상의 해상도로 재조정한 보정영상을 출력하는 과정
    을 포함하는 것을 특징으로 하는 영상보정 방법.
  13. 제 12항에 있어서,
    상기 영상보정 방법은 수신된 입력영상에서 R(Red), G(Green), B(Blue) 색상성분 영상을 분리하는 과정을 더 포함하되,
    상기 필터계수를 추출하는 과정은 상기 분리되는 과정을 통해 분리된 R, G, B 색상성분 영상으로부터 상기 하나의 색상성분 영상을 수신하는 과정,
    상기 보정영상을 출력하는 과정은 상기 합산한 영상의 해상도를 상기 색상성분 영상의 해상도로 재조정하고, 상기 재조정된 영상과 R, G, B 중 다른 두 개의 색상성분에 대하여 재조정된 영상을 합성하여 상기 입력영상을 보정한 상기 보정영상을 생성하는 과정을 포함하는 것을 특징으로 하는 영상보정 방법.
  14. 제 12항에 있어서,
    상기 필터계수를 추출하는 과정은 상기 색상성분 영상의 크기 정보를 확인하고, 상기 색상성분 영상의 크기에 서로 다른 복수 개의 비율을 적용하여 서로 다른 크기를 가지는 색상성분 영상을 각각 생성하는 과정을 포함하는 것을 특징으로 하는 영상보정 방법.
  15. 제 14항에 있어서,
    상기 필터계수를 추출하는 과정은 각각의 크기의 색상성분 영상을 기반으로 상기 하나 이상의 가우시안 필터의 필터계수를 추출하고, 추출된 필터계수를 상기 하나 이상의 가우시안 필터에 적용하는 과정을 포함하는 것을 특징으로 하는 영상보정 방법.
  16. 제 15항에 있어서,
    상기 해상도를 각각 조절하는 과정은 상기 각각의 크기의 색상성분 영상의 해상도를 상기 각각의 크기의 색상성분 영상을 생성하는 과정에서 적용된 상기 서로 다른 복수 개의 비율에 따라 조절하는 것을 특징으로 하는 영상보정 방법.
  17. 제 16항에 있어서,
    상기 조명성분을 추출하는 과정은 상기 해상도를 조절하는 과정을 통해 해상도가 조절된 각각의 크기의 색상성분 영상을 상기 하나 이상의 가우시안 필터에 적용시켜, 상기 해상도가 조절된 각각의 크기의 색상성분 영상에 대한 조명성분을 각각 추출하는 것을 특징으로 하는 영상보정 방법.
  18. 제 17항에 있어서,
    상기 조명성분을 추출하는 과정은 상기 하나의 색상성분 영상이 그레이 스케일(Gray Scale)로만 구성된 경우, 상기 필터계수를 추출하는 과정 및 상기 해상도를 각각 조절하는 과정을 통해 해상도가 조절된 각각의 크기의 그레이 스케일의 영상을 기반으로 조명성분을 추출하는 것을 특징으로 하는 영상보정 방법.
  19. 제 17항에 있어서,
    상기 반사성분을 추출하는 과정은 상기 색상성분 영상의 화소값에서 상기 조명성분을 추출하는 과정으로부터 추출된 상기 각각의 크기의 색상성분 영상에 대한 조명성분을 제거하여 상기 각각의 크기의 색상성분 영상에 대한 반사성분을 각각 추출하는 것을 특징으로 하는 영상보정 방법.
  20. 제 19항에 있어서,
    상기 반사성분을 추출하는 과정은 상기 각각의 크기의 색상성분 영상에 대한 반사성분에 가중치를 부여하고, 부여된 상기 가중치의 결과를 통해 상기 색상성분 영상의 반사성분을 추출하는 것을 특징으로 하는 영상보정 방법.
PCT/KR2013/009517 2012-10-26 2013-10-24 영상보정의 가속화를 위한 영상보정 장치 및 그 방법 Ceased WO2014065607A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380056112.2A CN104756152B (zh) 2012-10-26 2013-10-24 用于加速图像校正的图像校正装置及其方法
US14/697,561 US9691141B2 (en) 2012-10-26 2015-04-27 Image correction device for accelerating image correction and method for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120119505A KR101958910B1 (ko) 2012-10-26 2012-10-26 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
KR10-2012-0119505 2012-10-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/697,561 Continuation US9691141B2 (en) 2012-10-26 2015-04-27 Image correction device for accelerating image correction and method for same

Publications (1)

Publication Number Publication Date
WO2014065607A1 true WO2014065607A1 (ko) 2014-05-01

Family

ID=50544914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009517 Ceased WO2014065607A1 (ko) 2012-10-26 2013-10-24 영상보정의 가속화를 위한 영상보정 장치 및 그 방법

Country Status (4)

Country Link
US (1) US9691141B2 (ko)
KR (1) KR101958910B1 (ko)
CN (1) CN104756152B (ko)
WO (1) WO2014065607A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972113A (zh) * 2022-06-23 2022-08-30 深圳创维－Rgb电子有限公司 图像处理方法、装置、电子设备及可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462947B (zh) * 2014-06-12 2019-10-18 Eizo株式会社 除雾装置及图像生成方法
JP2016109812A (ja) * 2014-12-04 2016-06-20 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、コンピュータプログラム及び画像表示装置
JP6550138B2 (ja) * 2015-09-16 2019-07-24 マクセル株式会社 映像処理装置
JP6289439B2 (ja) * 2015-12-16 2018-03-07 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置
US10453432B2 (en) * 2016-09-24 2019-10-22 Apple Inc. Display adjustment
KR102565277B1 (ko) * 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
KR101952394B1 (ko) * 2018-03-28 2019-05-02 천병민 레티넥스 모델 기반 엘이디영상 색 보정 방법
CN108764250B (zh) * 2018-05-02 2021-09-17 西北工业大学 一种运用卷积神经网络提取本质图像的方法
KR102131243B1 (ko) * 2018-10-23 2020-07-07 한국과학기술연구원 딥러닝 및 연결성 그래프에 기초한 식물 영역 추출 시스템 및 방법
US10949702B2 (en) 2019-04-16 2021-03-16 Cognizant Technology Solutions India Pvt. Ltd. System and a method for semantic level image retrieval
JP2020188386A (ja) * 2019-05-15 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
CN113824943B (zh) 2020-06-18 2025-10-28 深圳市中兴微电子技术有限公司 低照度视频处理方法、设备和存储介质
KR102785795B1 (ko) * 2021-09-13 2025-03-26 삼성전자주식회사 대조도 조절 방법 및 이를 이용하는 장치
CN114708621B (zh) * 2022-05-31 2022-08-19 广东海洋大学 水下海胆图像识别模型的训练方法、识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100806201B1 (ko) * 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
KR100818479B1 (ko) * 2007-03-07 2008-04-02 삼성전기주식회사 선명도 향상을 위한 이미지 처리 방법
KR20080105272A (ko) * 2007-05-30 2008-12-04 이화여자대학교 산학협력단 프로젝터를 위한 색 보정 방법
KR20110056098A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
JP2012089076A (ja) * 2010-10-22 2012-05-10 Sony Corp 画像処理装置および方法、並びにプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057751A (ja) * 2001-08-10 2003-02-26 Canon Inc 投射型画像表示装置および画像表示システム
JP2005004510A (ja) * 2003-06-12 2005-01-06 Minolta Co Ltd 画像処理プログラム
US7599578B2 (en) * 2004-09-17 2009-10-06 Nikon Corporation Apparatus, program, and method for image tone transformation, and electronic camera
CN101102398B (zh) * 2007-07-26 2010-05-19 上海交通大学 全自动的实时数字图像处理增强系统
GB0718291D0 (en) * 2007-09-19 2007-10-31 King S College London Imaging apparatus and method
JP5109551B2 (ja) * 2007-09-21 2012-12-26 コニカミノルタアドバンストレイヤー株式会社 画像処理装置、画像処理方法、及び撮像装置
JP2010080423A (ja) * 2008-08-29 2010-04-08 Fujifilm Corp カラー表示装置及びその製造方法
KR101129309B1 (ko) * 2010-06-01 2012-03-26 광운대학교 산학협력단 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
JP5591017B2 (ja) * 2010-08-09 2014-09-17 キヤノン株式会社 画像処理装置および画像処理方法
US8526736B2 (en) * 2010-10-29 2013-09-03 JVC Kenwood Corporation Image processing apparatus for correcting luminance and method thereof
KR101928432B1 (ko) * 2011-08-24 2018-12-13 삼성전자주식회사 칼라 영상 패널, 이를 이용한 칼라 영상 표시 장치 및 표시 방법
CN102722868B (zh) * 2012-05-23 2014-08-20 西安理工大学 一种高动态范围图像色调映射方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100806201B1 (ko) * 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
KR100818479B1 (ko) * 2007-03-07 2008-04-02 삼성전기주식회사 선명도 향상을 위한 이미지 처리 방법
KR20080105272A (ko) * 2007-05-30 2008-12-04 이화여자대학교 산학협력단 프로젝터를 위한 색 보정 방법
KR20110056098A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
JP2012089076A (ja) * 2010-10-22 2012-05-10 Sony Corp 画像処理装置および方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972113A (zh) * 2022-06-23 2022-08-30 深圳创维－Rgb电子有限公司 图像处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN104756152A (zh) 2015-07-01
CN104756152B (zh) 2017-08-25
KR20140053503A (ko) 2014-05-08
KR101958910B1 (ko) 2019-03-15
US20150228061A1 (en) 2015-08-13
US9691141B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
KR101958910B1 (ko) 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
RU2658874C1 (ru) Устройство удаления тумана и способ формирования изображений
CN111028188B (zh) 分光融合的图像采集设备
EP2426928B1 (en) Image processing apparatus, image processing method and program
CN106131526B (zh) 一种基于rgb空间的白平衡处理方法及装置
US11381796B2 (en) Image-sensing device and method for auto white balance therefor
US20200034997A1 (en) An image processing method and apparauts
WO2013103184A1 (ko) 색상 채널을 이용한 영상 개선 장치 및 방법
CN113643214B (zh) 一种基于人工智能的图像曝光校正方法及系统
CN112055190B (zh) 图像处理方法、装置及存储介质
CA3016429A1 (en) Combined hdr/ldr video streaming
CN102867295B (zh) 一种彩色图像颜色校正方法
CN106846276A (zh) 一种图像增强方法及装置
CN105959662A (zh) 自适应白平衡调整方法及装置
CN112365425A (zh) 一种低照度图像增强方法和系统
JP2978615B2 (ja) カラーバランス調整装置及び方法
CN111667446B (zh) 图像处理方法
CN111541886A (zh) 一种应用于浑浊水下的视觉增强系统
CN110298812A (zh) 一种图像融合处理的方法及装置
CN112243584A (zh) 图像的颜色校正方法、拍摄设备、图像的颜色校正系统
CN112040202B (zh) 场景识别方法、装置及存储介质
CN111010557B (zh) 白点范围确定方法、白平衡校正方法及装置、存储介质
JP2003234950A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
WO2017213335A1 (ko) 실시간 영상 합성 방법
Zhang et al. An underwater image enhancement method based on local white balance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13848881

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13848881

Country of ref document: EP

Kind code of ref document: A1