WO2010123171A1 - 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법 - Google Patents

카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법 Download PDF

Info

Publication number
WO2010123171A1
WO2010123171A1 PCT/KR2009/003891 KR2009003891W WO2010123171A1 WO 2010123171 A1 WO2010123171 A1 WO 2010123171A1 KR 2009003891 W KR2009003891 W KR 2009003891W WO 2010123171 A1 WO2010123171 A1 WO 2010123171A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
camera
color
image
characteristic curve
Prior art date
Application number
PCT/KR2009/003891
Other languages
English (en)
French (fr)
Inventor
이병욱
양세정
김윤아
Original Assignee
이화대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화대학교 산학협력단 filed Critical 이화대학교 산학협력단
Publication of WO2010123171A1 publication Critical patent/WO2010123171A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Definitions

  • the present invention relates to a color correction method, and more particularly, to a color correction method according to a change in image brightness using a camera color characteristic curve.
  • Color histogram equalization is a method of smoothing histogram in the three-dimensional chromaticity space, "Color image enhancement through 3-D histogram equalization", (Trahanias, PE and Venetsanopoulos, AN, ICPR, III, 545-548, Hague, Netherlands (1992)), "Color Histogram Equalization using Probability Smoothing”, (Bassiou, N. and Kotropoulos, C., Proc. Of European Signal Processing Conference ( EUSIPCO 2006), Florence, Italy (2006)) and “Hue-based color saturation compensation", (Huang, Y., Hui, L. and Goh, KH, IEEE International Conference) on Consumer Electronics, pp.
  • Trahanias et al. Extended the gray-level histogram equalization method to color images, which obtained uniform histograms in the RGB three-dimensional chromaticity space and applied them to color images.
  • simply performing the grey-level histogram equalization technique for each band was not suitable due to the correlation between the bands, and this problem was alleviated by using the 3D histogram specification method in which uniform histograms were specified.
  • Huang et al. Improved the contrast using brightness histogram smoothing and then corrected the saturation using the change rate and weight function.
  • the intensity change rate refers to the degree of change in intensity before and after the histogram smoothing
  • the weight function means the rate of change in saturation for each color at a constant brightness change.
  • the saturation correction can be performed by adjusting the gain value of the chrominance component. Since humans perceive different saturation perception even for the same brightness change, saturation correction should be different for each color. Accordingly, Huang et al. Proposed a method of correcting saturation by giving different weights to brightness for the rate of change of brightness based on the human visual characteristics. However, in this case, the image quality is improved by using the image quality improvement method that reflects the visual characteristics of the human who recognizes the brightness, hue, and saturation components of the image with respect to the unique characteristics of the color, but the contrast improvement effect is greatly increased. There was a problem that the color signal is excessively corrected. Therefore, Lee et al. Proposed a method for color correction by reflecting the intrinsic color characteristics of a camera measuring an image in order to enable more realistic color correction.
  • the present invention has been proposed to solve the above problems of the conventionally proposed methods, and an object of the present invention is to provide a camera color correction algorithm that can effectively correct the color of an image while reducing the amount of computation. Another object is to provide a camera color correction algorithm with fast execution time and high accuracy, suitable for embedding in a camera.
  • the step (1) may measure the brightness-color data of the camera by photographing the fixed test image while changing the exposure time of the camera.
  • the nonlinear characteristic curve of the camera is the brightness response curve of the camera for each of R, G, and B channels,
  • the method may include correcting a color by applying the brightness variation ⁇ Ri , ⁇ Gi , and ⁇ Bi obtained from the photographed image.
  • the nonlinear characteristic curve of the camera is the brightness response curve of the camera for each of R, G, and B channels,
  • Gray-level histogram equalization is performed on the Y channel I Yi of the photographed image to determine an amount of change in brightness ⁇ i of the Y component after performing the histogram smoothing of the Y channel of the photographed image. Calculating;
  • the method may include performing color correction by correcting brightness by the measured brightness change amounts ⁇ Ri , ⁇ Gi , and ⁇ Bi for each of the R, G, and B channels of the captured image.
  • E i represents the irradiance value of the image sensor or the film with respect to the pixel i
  • ⁇ t j represents the exposure time of the camera.
  • Z ij represents a pixel value
  • i is a position index for pixels
  • j is an index of exposure time ⁇ t j .
  • the nonlinear characteristic curve of the camera is the brightness response curve of the camera for each of R, G, and B channels,
  • the method may include obtaining the image having the changed brightness by applying the calculated brightness change to each of the R, G, and B channel pixels.
  • the color of the image can be corrected effectively while reducing the amount of calculation using the nonlinear brightness response curve of the camera.
  • FIG. 1 is a flowchart illustrating a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a nonlinear brightness response curve of a camera in a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of applying a color correction method to histogram smoothing according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an exposure compensation method to which a camera color characteristic curve of a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention is applied.
  • a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention includes: measuring brightness-color data reflecting characteristics of a camera (S110) Deriving a nonlinear characteristic curve of the camera using the received brightness-color data (S120), and applying a nonlinear characteristic curve derived in step S120 to the input image to perform color correction according to the visual characteristic (S130). It includes.
  • the brightness-color data reflecting the characteristics of the camera may be measured.
  • the brightness-color data of the camera may be measured by photographing the fixed test image while changing the exposure time of the camera.
  • the fixed test image used at this time can be configured arbitrarily.
  • color correction of a more realistic image is performed by reflecting characteristics of a camera measuring an image.
  • the actual image and the image image after the image is taken by the camera have different values of the components of each image, which is due to the influence of various consideration environments, the biggest reason being the color characteristic of the camera. That is, even when the same image is taken by different cameras, each of the pictures has different image component values.
  • the present invention derives the non-linear characteristic curve of the camera by using the color data reflecting the characteristics of the camera, and applies it to perform color correction according to the human visual characteristics.
  • the non-linear brightness response curve of the camera is obtained for each of R (Red), G (Green), and B (Blue) channels using the brightness-color measurement data measured in step S110 (" Recovering High Dynamic Range Radiance Maps from Photographs ", (PE Debevec and J. Malik, Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pp. 369-378, 1997).
  • Step S120 is a step of deriving a nonlinear characteristic curve of the camera using the measured brightness-color data, and using the brightness-color data measured in step S110, the brightness response of the camera for each of the R, G, and B channels.
  • the brightness response curve of the camera may be expressed as shown in FIG. 3.
  • FIG. 2 is a diagram illustrating a nonlinear brightness response curve of a camera in a color correction method according to an image brightness change using a camera color characteristic curve according to an exemplary embodiment of the present invention.
  • the brightness response curve Debevec et al. (1) proposed the method of calculating the brightness response curve.
  • the process of calculating the nonlinear brightness response curve of the camera is as follows. The color correction method (algorithm) using the camera color characteristic curve in FIG.
  • reciprocity is an exposure of light-sensitive materials in a photograph.
  • the input values of the color correction method (algorithm) using the camera color characteristic curve according to the present invention are digitized pictures obtained during different exposure times t j at the same point.
  • the pixel value of the digitized pictures is represented by Z ij
  • the irradiance value of the image sensor or the film for the pixel i is called E i .
  • i is the position index for the pixels
  • j is the index of the exposure time t j .
  • Equation 2 Assuming that f is a monotonic function in Equation 1, an inverse transform is possible, and the inverse transformed result can be expressed as Equation 2 below.
  • Equation 2 can be expressed as Equation 3 below, and from this Equation 3, we can derive the brightness response curve of the camera we want to obtain. have.
  • Equation 3 the range of pixel i of the nonlinear brightness response curve of the camera is all pixels, and the range of exposure time j is the changed total exposure time.
  • E i or g (Z ij ) which is an irradiance value of an image sensor or a film for pixel i. This is to find the function g by obtaining the most satisfied irradiance E i among the given exposure time intervals based on the least-squared error sense, and it is possible to draw a nonlinear brightness response curve as shown in FIG. 2.
  • Step S130 is a step of performing color correction for the visual characteristic by applying the nonlinear characteristic curve derived in step S120 to the input image. For the method of performing color correction using the nonlinear characteristic curve derived in step S120. It demonstrates through FIG. 2 and FIG.
  • FIG. 3 is a flowchart illustrating a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention.
  • a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention is performed in advance with respect to a brightness response curve derived for each of R, G, and B channels.
  • Obtaining a ⁇ b i value ( ⁇ b i (lnE i + ln ⁇ t j )) for each pixel of the input image by the set exposure time variation amount (S132), and inversely mapping the obtained ⁇ b i value to a brightness response curve to change the brightness variation ( ⁇ ).
  • Ri, ⁇ Gi, ⁇ Bi a step (S134), and the calculated luminance change with respect to an input image ( ⁇ Ri, ⁇ Gi, ⁇ Bi) to obtain and may include the step (S136) of correcting a color.
  • the ⁇ b i value obtained here is reverse-mapped to the brightness response curve in step S134 to obtain the brightness variation ⁇ Ri , ⁇ Gi , ⁇ Bi .
  • the amount of change of brightness ⁇ Ri , ⁇ Gi , and ⁇ Bi obtained here corresponds to the amount of change in brightness at which the input image is distorted by the camera.
  • step S136 by applying the brightness change amounts ⁇ Ri , ⁇ Gi , and ⁇ Bi obtained in step S134 to the input image, an output image having brightness corrected by the sizes of ⁇ Ri , ⁇ Gi and ⁇ Bi can be obtained. do.
  • This method can also be used to improve color histogram equalization.
  • FIG. 4 is a flowchart illustrating a method of applying a color correction method to histogram smoothing according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention.
  • the color histogram smoothing method in which the camera color characteristic curve is reflected according to an embodiment of the present invention does not have a predetermined exposure time unlike software bracketing, and thus, Y channel (I Yi) of the original image.
  • Gray-level histogram equalization is performed only, and the amount of change in exposure time for each pixel is obtained.
  • the amount of change is applied to each channel of RGB to derive the corrected image.
  • the specific process is as follows.
  • the gray level histogram smoothing is performed on the Y channel of the original input image (I Yi : Y value at the i-th pixel), and the amount of change in brightness of the Y component after the histogram smoothing of the Y channel of the input image ( ⁇ i ) To calculate (S141).
  • I Yi be the brightness after histogram smoothing.
  • the brightness variation ⁇ i of the Y component after smoothing the histogram and the Y channel of the original image may be expressed as in Equation 4 below.
  • the saturation correction is excessive, resulting in a more vivid color, but showing an unnatural image than the actual one.
  • the method 4 the image was found to have more natural color correction.
  • the experiment was performed by changing the shutter speed for each algorithm from 1/500 to 1/200 in the color correction method according to the change in image brightness using the camera color characteristic curve according to an embodiment of the present invention. As a result of the method proposed in the present invention, it was confirmed that the image is more natural color correction.
  • the methods used above can be applied to actual software bracketing.
  • Recent high-end digital cameras have auto exposure bracketing (AEB), which allows you to take multiple photos with varying exposure times automatically to obtain optimal images.
  • AEB auto exposure bracketing
  • the captured image may be post processed to calculate an image of an optimal exposure condition.
  • you want to shoot with different exposure time for one image you had to take the shot manually.However, if you apply the above methods, you can post-process the captured image to calculate the optimal exposure condition. Can be.
  • a process of performing software exposure correction in the present invention will be described with reference to FIG. 5.
  • FIG. 5 is a flowchart illustrating an exposure compensation method to which a camera color characteristic curve of a color correction method according to an image brightness change using a camera color characteristic curve according to an embodiment of the present invention is applied.
  • the exposure compensation method using a camera color characteristic curve according to an embodiment of the present invention first, brightness-color data reflecting characteristics of a camera is measured (S210).
  • the brightness-color data of the camera may be measured by photographing the fixed test image while changing the exposure time of the camera.
  • the brightness response curve of the camera is derived using the brightness-color data measured in step S210, which corresponds to the same process as the previous step S120.
  • the exposure time desired by the user for the captured image ( ⁇ t j ) Is newly set (S230), and the exposure time variation amount ( ⁇ b i ) of the exposure time ( ⁇ t j ) newly set by the user and the exposure time of the existing photographed image is obtained (S240).
  • the change amount ⁇ b i of the exposure time and the newly desired exposure time in the existing image is calculated by the equation lnE i + ln ⁇ t j .
  • the exposure of the image captured by the camera is changed by a given amount by the exposure time change amount ⁇ b i obtained in step S240.
  • the process of changing the exposure of the captured image is performed in steps S250 and S260, and the brightness response amount ⁇ i is calculated by inversely mapping the brightness response curves for the respective channels R, G, and B obtained in steps S110 and S120. Change the brightness for each of the R, G, and B channels by that amount.
  • This method is applied to each pixel to obtain an output image whose brightness is changed according to the change of exposure time.
  • Table 1 shows rms error values for each method.
  • Table 1 summarizes the rms error with the actual answer image, and it can be clearly seen from Table 1 that the method (e) using the nonlinear brightness response curve according to the present invention shows the most similar result to the actual image. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 관한 것으로서, 보다 구체적으로는 (1) 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계; (2) 상기 측정된 밝기-색상 데이터를 이용하여 상기 카메라의 비선형 특성 곡선을 도출하는 단계; 및 (3) 입력 영상에 대하여 상기 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다. 본 발명의 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 따르면, 카메라의 비선형 밝기 응답 곡선을 이용하여 계산량을 줄이면서도 효과적으로 영상의 색상을 보정할 수 있다. 또한, 카메라에 내장하기에 적합하도록, 빠른 수행 시간과 높은 정확도를 가지는 색 보정 알고리즘을 제공할 수 있으며, 실제 소프트웨어 노출 보정(software bracketing)에도 이용할 수 있다.

Description

[규칙 제26조에 의한 보정 20.08.2009]　카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법
본 발명은 색 보정 방법에 관한 것으로서, 보다 구체적으로는 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 관한 것이다.
디지털 영상의 화질을 개선하려는 노력은 오래전부터 계속되어 왔지만, 특히 근래에 들어 디지털 카메라 및 디지털 TV 등의 보급이 확대되면서 그 필요성이 증가하고 있다. 인간은 영상을 밝기, 색상 및 채도 성분으로 구분하여 인식하고, 밝기 대비가 선명한 영상을 좋은 영상으로 인지한다고 알려져 있다. 이와 같은 인지 사실에 기초하여 디지털 카메라로 촬영한 영상의 화질을 향상시키기 위한 영상 처리 방법으로 히스토그램 평활화(histogram equalizer) 방법이 사용되었다(“Digital Image Processing”, (Gonzalez, R.G. and Woods, R.E. 2nd Ed., Prentice-Hall, (2002))). 이 방법은 사진에서 표현될 수 있는 모든 밝기를 모두 균등하게 사용하여 영상의 대비(contrast)를 향상시킨다. 이때 밝기의 변화는 색상 및 채도에 영향을 미치게 되므로, 밝기의 변화에 따라 색상도 바꾸어야 한다는 점이 문제가 되었다.
이와 같은 문제점을 해결하여 밝기의 변화에 따라 색상도 함께 보정하려는 시도로서, Color histogram equalization에서는 3차원 색도 공간에서의 histogram을 평활화하는 방법인 "Color image enhancement through 3-D histogram equalization", (Trahanias, P.E. and Venetsanopoulos, A.N., ICPR, III, 545-548, Hague, Netherlands (1992)), "Color Histogram Equalization using Probability Smoothing", (Bassiou, N. and Kotropoulos, C., Proc. of European Signal Processing Conference (EUSIPCO 2006), Florence, Italy (2006))과 명암을 변화시킨 후에 채도 변화를 고려한 방법인 "Hue-based color saturation compensation",(Huang, Y., Hui, L. and Goh, K.H., IEEE International Conference on Consumer Electronics, pp. 160-164, Sept. 1-3, 2004), "Saturation Enhancement Considering Hue and Intensity in Color Images", (Yang, H.Y., Kim, H.J., Lee, J.A., Oh. S.G. and Kim, W.Y., Korean Signal Processing Conference, 2006), 카메라의 컬러 특성을 촬영한 데이터베이스를 사용한 방법인 "Color compensation of histogram equalized images", (Lee, H.W., Yang, S.J. and Lee, B.U., IS&T/SPIE Electronic Imaging, SPIE Vol. 7241, Jan. 18-22, San Jose, USA, 2009.) 등이 제안되었다.
Trahanias 등은 grey-level histogram equalization 방법을 color 영상으로 확장하였는데, 이것은 RGB 3차원 색도 공간에서 uniform histogram을 획득하여 color 영상에 적용한 것이다. 그러나 단순히 grey-level histogram equalization 기법을 각 밴드마다 수행하는 것은 밴드 사이의 correlation으로 인해 적합하지 않았기 때문에 uniform histogram이 구체화되는 3D histogram specification method를 사용하여 이러한 문제점을 완화하였다. Huang 등은 밝기 히스토그램 평활화를 이용하여 명암도 대비를 향상시킨 후, 명암도 변화율과 가중치 함수를 이용하여 채도를 보정하였다. 여기서, 명암도 변화율은 히스토그램 평활화 전후의 명암도 변화의 정도를 말하며, 가중치 함수는 일정한 밝기 변화에서 각 색상별 채도의 변화율을 의미한다. 채도의 보정은, 색채 성분(chrominance component)의 이득 값을 조정함으로써 수행될 수 있다. 인간은 동일한 밝기의 변화에 대해서도 각 색상마다 느끼는 채도 인지율이 다르기 때문에, 색상별로 채도 보정을 다르게 해야 한다. 이에 따라 Huang 등은 이러한 인간의 시각 특성을 기반으로 하여 밝기 변화율에 대하여 색상마다 다른 가중치를 주어 채도를 보정하는 방법을 제안하였다. 그러나 이 경우 색상의 고유 특성에 대한 영상의 밝기, 색상 및 채도 성분을 인식하는 인간의 시각 특성을 반영한 영상 화질 개선 방법을 사용함으로써 영상의 화질은 개선하고 있지만, 명암 대비 향상 효과가 전체적으로 크게 나타난 경우에 과도하게 색채 신호가 보정되는 문제가 발생하였다. 따라서 보다 사실적인 영상의 색상 보정이 가능하도록 하기 위하여 영상을 측정한 카메라의 고유 색상 특성을 반영하여 색상 보정을 하는 방법이 Lee 등에 의해 제안되었다.
일반적으로 실제 영상과 이 영상을 카메라로 찍은 후의 이미지 영상은 각 영상의 성분들의 값이 달라지는데, 이것은 여러 환경들의 영향으로 인한 것이며, 그 중에서도 특히 카메라의 색상 특성 때문이다. 즉, 동일한 영상이라 하더라도 서로 다른 카메라를 통해 사진을 찍었을 때, 각 사진들은 서로 다른 영상 성분 값을 가지게 된다. 따라서 인간의 시각 특성만을 고려한 영상 색상 보정은 카메라에서 처리되는 색상의 왜곡을 보정할 수 없게 되는 문제가 있다. 이를 해결하기 위해 Lee 등은 이러한 카메라의 특성을 반영한 색상 데이터를 이용하여 색상 보정을 하였으며, 그 결과 더 사실적인 영상을 제공할 수 있게 되었다. 하지만 이러한 Lee 등의 방법은 영상의 밝기 변화에 따른 채도 변화율을 나타내는 밝기-색상 측정 데이터를 다루기 때문에 계산량이 많으며, 수행 시간이 오래 걸린다는 문제점이 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 계산량을 줄이면서도 효과적으로 영상의 색상을 보정할 수 있는 카메라 색상 보정 알고리즘을 제공하는 것을 목적으로 한다. 또한, 카메라에 내장하기에 적합하도록, 수행 시간이 빠르고 높은 정확도를 가지는 카메라 색상 보정 알고리즘을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법은,
(1) 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계;
(2) 상기 측정된 밝기-색상 데이터를 이용하여 상기 카메라의 비선형 특성 곡선을 도출하는 단계; 및
(3) 입력 영상에 대하여 상기 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)은, 고정된 테스트 영상에 대하여 상기 카메라의 노출 시간을 바꾸어 가면서 촬영하여 상기 카메라에 대한 밝기-색상 데이터를 측정할 수 있다.
바람직하게는,
상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,
상기 단계 (3)은,
상기 R, G, B 각각의 채널에 대하여 도출된 상기 밝기 응답 곡선에 대하여 미리 설정된 노출 시간 변화량만큼 촬영된 영상의 각 픽셀에 대한 Δbi값(Δbi=(lnEi+lnΔtj))을 구하는 단계;
상기 구해진 Δbi을 상기 밝기 응답 곡선에 역맵핑하여 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 구하는 단계; 및
상기 촬영된 영상에 대하여 구해진 상기 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 적용하여 색상을 보정하는 단계를 포함할 수 있다.
바람직하게는,
상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,
상기 단계 (3)은,
상기 촬영된 영상의 Y채널(IYi)에 대하여 히스토그램 평활화(gray-level histogram equalization)를 수행하여 상기 촬영된 영상의 Y채널과 상기 히스토그램 평활화를 수행한 후의 Y성분의 밝기 변화량(Δαi)을 산출하는 단계;
아래의 수학식을 만족하는 상기 카메라의 밝기 응답 곡선을 이용하여 상기 산출한 밝기 변화량(Δαi)에 대한 노출 시간 변화량(Δbi, 여기서 Δbi=(lnEi+lnΔtj))을 파악하는 단계;
상기 촬영된 영상의 R, G, B 채널 각각에 대해 상기 파악된 노출 시간 변화량(Δbi)에 대한 R, G, B 채널 각각에 대한 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 측정하는 단계; 및
상기 촬영된 영상의 R, G, B 채널 각각에 대하여 상기 측정된 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)만큼 밝기를 보정하여 색상 보정을 수행하는 단계를 포함할 수 있다.
<수학식>
Figure PCTKR2009003891-appb-I000001
여기서, Ei는 픽셀 i에 대해 영상 센서 혹은 필름의 irradiance 값을, Δtj는 카메라의 노출시간을 나타낸다. 또한, Zij는 픽셀 값을 나타내며, i는 픽셀들에 대한 위치 인덱스이고, j는 노출시간 Δtj의 인덱스이다.
바람직하게는,
상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,
상기 단계 (3)은,
상기 촬영된 영상에 대하여 노출시간(Δtj)을 설정하는 단계;
상기 촬영된 영상의 노출시간과 상기 설정된 노출시간(Δtj)의 노출시간 변화량(Δbi)을 구하는 단계;
상기 R, G, B 각각의 채널에 대한 밝기 응답 곡선을 역매핑하여 밝기 변화량을 산출하는 단계; 및
상기 산출된 밝기 변화량을 R, G, B 채널 각 화소에 적용하여 밝기가 변화된 영상을 획득하는 단계를 포함할 수 있다.
본 발명의 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 따르면, 카메라의 비선형 밝기 응답 곡선을 이용하여 계산량을 줄이면서도 효과적으로 영상의 색상을 보정할 수 있다. 또한, 카메라에 내장하기에 적합하도록, 빠른 수행 시간과 높은 정확도를 가지는 색 보정 알고리즘을 제공할 수 있으며, 실제 소프트웨어 노출 보정(software bracketing)에도 이용할 수 있다.
도 1은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도.
도 2는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 카메라의 비선형 밝기 응답 곡선을 나타낸 도면.
도 3은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도.
도 4는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법을 히스토그램 평활화에 적용한 방법의 흐름도.
도 5는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 카메라 색상 특성 곡선이 적용된 노출 보정 방법의 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
S110: 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계
S120: 측정된 밝기-색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출하는 단계
S130: 입력 영상에 대하여 시각 특성에 맞는 색상 보정을 수행하는 단계
이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법은, 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계(S110), 측정된 밝기-색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출하는 단계(S120), 및 입력영상에 대하여 단계 S120에서 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계(S130)를 포함한다.
단계 S110은, 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 과정으로서, 예컨대 고정된 테스트 영상에 대하여 카메라의 노출 시간을 바꾸어 가면서 촬영하여 카메라에 대한 밝기-색상 데이터를 측정할 수 있다. 이때 사용되는 고정된 테스트 영상은 임의로 구성할 수 있다. 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서는 영상을 측정한 카메라의 특성을 반영하여 보다 사실적인 영상의 색상 보정을 한다. 일반적으로 실제 영상과 이 영상을 카메라로 찍은 후의 이미지 영상은 각 영상의 성분들의 값이 달라지며, 이것은 여러 고려 환경들의 영향으로 인한 것인데, 그 중 가장 큰 이유는 카메라의 색상 특성 때문이다. 즉, 동일한 영상이라 하더라도 서로 다른 카메라를 통해 사진을 찍게 되면, 각 사진들이 서로 다른 영상 성분 값을 가지게 된다. 따라서 인간의 시각 특성만을 고려한 영상의 색상 보정은 카메라에서 처리되는 색상의 왜곡을 보정할 수 없게 된다. 그러므로 본 발명에서는 이러한 카메라의 특성을 반영한 색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출해 내고, 이를 적용하여 인간의 시각 특성에 맞는 색상 보정을 수행하도록 한다. 이를 위해 단계 S110에서 측정된 밝기-색상 측정 데이터를 이용하여 다음의 단계 S120에서 R(Red), G(Green), B(Blue) 각각의 채널에 대해 카메라의 비선형 밝기 응답 곡선을 구하게 된다("Recovering High Dynamic Range Radiance Maps from Photographs", (P. E. Debevec and J. Malik, Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pp. 369-378, 1997)).
단계 S120은, 측정된 밝기-색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출하는 단계로서, 단계 S110에서 측정된 밝기-색상 데이터를 이용하여 R, G, B 각각의 채널에 대한 카메라의 밝기 응답 곡선을 도출하는 과정이다. 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 사용한 색 보정 방법에서 카메라의 밝기 응답 곡선은 도 3과 같이 표현될 수 있다.
도 2는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 카메라의 비선형 밝기 응답 곡선을 나타낸 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서는 카메라의 밝기에 따른 색상 변화의 응답 곡선을 사용하는 일례로서, 밝기 응답 곡선을 구하기 위한 다양한 방법들 중 Debevec 등이 제안한 방법을 사용하여 밝기 응답 곡선을 구하도록 한다. 카메라의 비선형 밝기 응답 곡선을 구하는 과정은 다음과 같다. 도 2에서의 카메라 색상 특성 곡선을 사용한 색 보정 방법(알고리즘)은 reciprocity라고 알려진 이미징 시스템의 광화학적 또는 전자적인 물리적 속성을 활용하는 것으로서, reciprocity는 사진에 있어서, 빛에 민감한 물질의 노출(exposure)을 결정하는 빛의 노출 시간과 빛의 밝기(intensity) 간의 역관계를 나타내는 용어이다. 통상 영상 센서 혹은 필름의 일반적인 노출 범위에서 reciprocity law는 exposure = intensity × time으로 정의될 수 있다. 그러면 우선 영상 센서 혹은 필름의 reciprocity 식을 다음의 수학식 1과 같이 구할 수 있다.
수학식 1
Figure PCTKR2009003891-appb-M000001
본 발명에 따른 카메라 색상 특성 곡선을 사용한 색 보정 방법(알고리즘)의 입력 값은 동일한 지점에서 서로 다른 노출시간 tj동안 얻어진 디지털화된 사진들이 된다. 그리고 이러한 디지털화된 사진들에서의 픽셀 값을 Zij로 표시하며, 픽셀 i에 대해 영상 센서 혹은 필름의 irradiance 값을 Ei라 한다. 여기서 i는 픽셀들에 대한 위치 인덱스이고, j는 노출시간 tj의 인덱스를 나타낸다. 수학식 1에서 f를 단조함수라고 가정하면 역변환이 가능하고, 이에 대해 역변환된 결과는 수학식 2와 같이 표현할 수 있다.
수학식 2
Figure PCTKR2009003891-appb-M000002
수학식 2에서 양쪽에 자연로그를 취하고, 이라 정의하면, 수학식 2는 다음의 수학식 3과 같이 표현할 수 있으며, 이렇게 구해진 수학식 3으로부터 우리가 구하고자 하는 카메라의 밝기 응답 곡선을 도출할 수 있다.
수학식 3
Figure PCTKR2009003891-appb-M000003
수학식 3에서 카메라의 비선형 밝기 응답 곡선의 픽셀 i의 범위는 전체 픽셀이고, 노출 시간 j의 범위는 변화된 전체 노출시간이다. 수학식 3에서 카메라의 비선형 밝기 응답 곡선을 구하기 위해서는 픽셀 i에 대한 영상 센서 혹은 필름의 irradiance 값인 Ei 또는 g(Zij)값을 알아야 한다. 이는 최소자승오차법(least-squared error sense)에 기초하여 주어진 노출 시간 간격 중에서 가장 만족되는 irradiance Ei를 구함으로써 함수 g를 알아내고, 도 2와 같은 비선형 밝기 응답 곡선을 그릴 수 있게 된다. 여기서 최소자승오차법 및 픽셀 i에 대한 영상 센서 혹은 필름의 irradiance 값인 Ei을 구하는 방법은 당업자라면 누구나 알 수 있는 방법이므로 이에 대한 상세한 설명은 생략하도록 하고, 필요하다면 앞서 소개한 방법("Recovering High Dynamic Range Radiance Maps from Photographs", (P.E. Debevec and J. Malik, Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pp. 369-378, 1997))을 참조하도록 한다.
단계 S130은, 입력 영상에 대하여 단계 S120에서 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계로서, 단계 S120에서 도출된 비선형 특성 곡선을 이용하여 색상 보정을 수행하는 방법에 대하여는 도 2와 도 3을 통해 설명한다.
도 3은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법은, R, G, B 각각의 채널에 대하여 도출된 밝기 응답 곡선에 대하여 미리 설정된 노출 시간 변화량만큼 입력 영상의 각 픽셀에 대한 Δbi값(Δbi=(lnEi+lnΔtj))을 구하는 단계(S132), 구해진 Δbi값을 밝기 응답 곡선에 역맵핑하여 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 구하는 단계(S134), 및 입력 영상에 대하여 구해진 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 적용하여 색상을 보정하는 단계(S136)를 포함할 수 있다.
단계 S132에서는 단계 S120에서 R, G, B 각각의 채널에 대하여 도출된 밝기 응답 곡선에 대하여 미리 설정된 노출 시간 변화량만큼 입력 영상의 각 픽셀에 대한 Δbi값(Δbi=(lnEi+lnΔtj))을 구하는 과정이다. 여기서 구해진 Δbi값을 단계 S134에서 밝기 응답 곡선에 역맵핑하여 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 구한다. 이때 구해진 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)이 입력 영상이 카메라에 의해 왜곡되는 밝기 변화량에 해당한다. 따라서 단계 S136에서는, 입력 영상에 대하여 단계 S134에서 구해진 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 적용함으로써 ΔαRi, ΔαGi, ΔαBi의 크기만큼 밝기가 보정된 출력 영상을 획득할 수 있게 된다. 이 방법은 컬러 히스토그램 평활화(color histogram equalization)를 개선하는 데에도 사용할 수 있다.
도 4는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법을 히스토그램 평활화에 적용한 방법의 흐름도이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선이 반영된 컬러 히스토그램 평활화 방법은 소프트웨어 노출 보정(software bracketing)과 달리 정해진 노출시간이 없으므로, 원영상의 Y채널(IYi)에 대해서만 그레이-레벨 히스토그램 평활화(gray-level histogram equalization)를 수행하고, 이를 통해 각 화소에 대한 각각의 노출시간 변화량을 구한다. 그리고 이 변화량을 RGB 각각의 채널에 적용하여 보정된 영상을 도출한다. 그 구체적인 과정을 다음과 같다. 우선 원 입력 영상의 Y채널(IYi: i번째 화소에서의 Y값)에 대해서 그레이-레벨 히스토그램 평활화를 수행하여 입력 영상의 Y채널과 히스토그램 평활화를 수행한 후의 Y성분의 밝기 변화량(Δαi)을 산출한다(S141). 이때 히스토그램 평활화한 후의 밝기를 IYi' 라고 하자. 그리고 각 화소에 대해 원영상의 Y채널과 히스토그램 평활화 후의 Y성분의 밝기 변화량(Δαi)을 계산하면 아래의 수학식 4와 같이 표현할 수 있다.
수학식 4
Figure PCTKR2009003891-appb-M000004
그 다음, 카메라의 밝기 응답 곡선을 이용하여 앞서 산출한 밝기 변화량(Δαi)에 대한 노출시간 변화량에 따른 lnEi+lnΔtj값의 변화량(Δbi)을 파악한다(S143). 그리고 원 입력 영상의 RGB 도메인에서 R, G, B 채널에 대해 각각의 밝기 응답 곡선을 이용하여 Δbi에 대한 밝기 변화량, ΔαRi, ΔαGi, ΔαBi를 측정한다(S145). 이때 측정된 그 변화량만큼 원영상의 밝기를 R, G, B 각각의 채널에 대해 이동하여 보정된 값(IRi', IGi', IBi')을 얻는다(도 2 참조). 이를 식으로 나타내면 다음의 수학식 5와 같이 표현할 수 있다.
수학식 5
Figure PCTKR2009003891-appb-M000005
위의 과정을 각 화소 별로 수행하여 컬러 히스토그램 평활화(color histogram equalization)의 결과 영상 I'을 얻는다(S147). 위의 수학식 5와 도 2를 통해 원영상의 각 화소들은 각 화소 별로 각각의 노출시간에 대해 밝기 응답 곡선을 이용하여 변화된 값으로 맵핑된다는 것을 알 수 있다.
본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 성능을 분석하기 위하여 앞에서 설명한 컬러 히스토그램 평활화의 4가지 방법을 비교하여 다음과 같은 실험을 수행하였다. 즉, 3D 히스토그램 평활화 방법(방법 1), Huang에 의해 제안된 hue에 기초한 색상보정 방법(방법 2), Lee에 의해 제안된 test pattern의 database에 기초한 색상보정 방법(방법 3), 및 본 발명에 따른 비선형 밝기 응답 곡선을 이용하는 방법(방법 4)을 비교하여 수행하였다. 실험 결과, 방법 2, 방법 3 및 방법 4의 결과 영상은 거의 비슷한 색상을 보이기는 하나, 방법 2의 결과 영상의 색상이 조금 더 두드러져 보였다. 즉, 방법 2의 경우, 채도 보정이 과도하게 되어 더 선명한 색상을 나타내기는 하지만 실제보다 부자연스러운 영상을 보인다. 그에 반해 본 발명에서 제안한 방법, 즉 방법 4로 수행한 결과 영상은 더욱 자연스러운 컬러 보정이 되는 것을 확인할 수 있었다.
또한, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 각 알고리즘에 대한 셔터 스피드(shutter speed)를 1/500에서 1/200으로 바꾸어서도 실험하였으며, 역시 본 발명에서 제안한 방법의 결과 영상이 더욱 자연스러운 컬러 보정이 되는 것을 확인할 수 있었다.
앞서 사용된 방법들을 실제 소프트웨어 노출보정(software bracketing)에 적용시킬 수 있다. 최근의 고급형 디지털 카메라에는 최적의 영상을 얻기 위해 자동으로 노출시간을 바꾸어 가며 사진을 여러 장 촬영할 수 있는 자동 노출 보정(auto exposure bracketing, 이하 AEB) 기능이 있다. 본 발명을 적용하면, 이러한 자동 노출 보정 기능으로 촬영하는 것을 대신하여 소프트웨어적으로 노출 보정을 하는 방법이 가능하다. 따라서 촬영된 영상을 사후에 처리(post processing)하여 최적의 노출조건의 영상을 계산할 수 있다. 즉, 기존에는 한 영상에 대해 노출시간을 바꾸어 가며 촬영하고 싶을 때, 수동으로 직접 찍어야 했지만, 위의 방법들을 적용하면 촬영된 영상을 사후에 처리(post processing)하여 최적의 노출 조건의 영상을 계산할 수 있다. 본 발명에서 소프트웨어 노출 보정(software bracketing)을 수행하는 과정은 다음의 도 5를 통해 설명한다.
도 5는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 카메라 색상 특성 곡선이 적용된 노출 보정 방법의 흐름도이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 노출 보정 방법은, 우선 카메라의 특성을 반영한 밝기-색상 데이터를 측정한다(S210). 예컨대 고정된 테스트 영상에 대하여 카메라의 노출 시간을 바꾸어 가면서 촬영하여 카메라에 대한 밝기-색상 데이터를 측정할 수 있다. 그 후, 단계 S210에서 측정된 밝기-색상 데이터를 이용하여 카메라의 밝기 응답 곡선을 도출하는데, 이는 앞의 단계 S120과 동일한 과정에 해당한다. 이렇게 도 1의 단계 S110과 단계 S120에서 구한 비선형 밝기 응답 곡선을 도 2의 오른 쪽 그림과 같이 R, G, B 각각의 채널에 대해 구성한 후, 촬영된 영상에 대하여 사용자가 원하는 노출시간(Δtj)을 새로이 설정하고(S230), 기존 촬영된 영상의 노출시간과 사용자에 의해 새로이 설정된 노출시간(Δtj)의 노출시간 변화량(Δbi)을 구한다(S240). 이때 기존 촬영된 영상에서의 노출시간과 사용자가 새로이 원하는 노출시간의 변화량(Δbi)은 식 lnEi+lnΔtj에 의해 구해진다. 단계 S240에서 구해진 노출 시간 변화량(Δbi)에 의해 카메라로 촬영된 영상의 노출을 주어진 양만큼 변화시키게 된다. 촬영된 영상의 노출을 변화시키는 과정은 단계 S250 및 단계 S260으로서, 단계 S110 및 S120에서 구해진 R, G, B 각각의 채널에 대한 밝기 응답 곡선을 역매핑하여 밝기 변화량(Δαi)을 산출하게 되고, 그 크기만큼 R, G, B 각 채널에 대해 밝기를 변화시킨다. 이 방식을 각 화소에 적용하여 노출시간의 변화에 따라 밝기가 변화된 출력 영상을 획득한다. 표 1은 각 방법들에 대한 rms 오차 값이다.
표 1
(c) (d) (e)
rms error 0.0363 0.0176 0.0117
표 1은 실제로 촬영한 정답 영상과의 rms error를 정리한 것이며, 표 1로부터 본 발명에 따른 비선형 밝기 응답 곡선을 이용한 방법(e)이 실제 영상과 가장 유사한 결과를 보여준다는 것을 분명하게 확인할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (5)

  1. 카메라 색상 특성 곡선을 이용한 색 보정 방법으로서,
    (1) 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계;
    (2) 상기 측정된 밝기-색상 데이터를 이용하여 상기 카메라의 비선형 특성 곡선을 도출하는 단계; 및
    (3) 촬영된 영상에 대하여 상기 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계
    를 포함하는 것을 특징으로 하는 카메라 색상 특성 곡선을 이용한 색 보정 방법.
  2. 제1항에 있어서, 상기 단계 (1)은,
    고정된 테스트 영상에 대하여 상기 카메라의 노출 시간을 바꾸어 가면서 촬영하여 상기 카메라에 대한 밝기-색상 데이터를 측정하는 것을 특징으로 하는 카메라 색상 특성 곡선을 이용한 색 보정 방법.
  3. 제1항에 있어서,
    상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,
    상기 단계 (3)은,
    상기 R, G, B 각각의 채널에 대하여 도출된 상기 밝기 응답 곡선에 대하여 미리 설정된 노출 시간 변화량만큼 촬영된 영상의 각 픽셀에 대한 Δbi값 (Δbi=(lnEi+lnΔtj))을 구하는 단계;
    상기 구해진 Δbi을 상기 밝기 응답 곡선에 역맵핑하여 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 구하는 단계; 및
    상기 촬영된 영상에 대하여 구해진 상기 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 적용하여 색상을 보정하는 단계를 포함하는 것을 특징으로 하는 카메라 색상 특성 곡선을 이용한 색 보정 방법.
  4. 제1항에 있어서,
    상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,
    상기 단계 (3)은,
    상기 촬영된 영상의 Y채널(IYi)에 대하여 히스토그램 평활화(gray-level histogram equalization)를 수행하여 상기 촬영된 영상의 Y채널과 상기 히스토그램 평활화를 수행한 후의 Y성분의 밝기 변화량(Δαi)을 산출하는 단계;
    아래의 수학식을 만족하는 상기 카메라의 밝기 응답 곡선을 이용하여 상기 산출한 밝기 변화량(Δαi)에 대한 노출 시간 변화량(Δbi, 여기서 Δbi=(lnEi+lnΔtj))을 파악하는 단계;
    상기 촬영된 영상의 R, G, B 채널 각각에 대해 상기 파악된 노출 시간 변화량(Δbi)에 대한 R, G, B 채널 각각에 대한 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)을 측정하는 단계; 및
    상기 촬영된 영상의 R, G, B 채널 각각에 대하여 상기 측정된 밝기 변화량(ΔαRi, ΔαGi, ΔαBi)만큼 밝기를 보정하여 색상 보정을 수행하는 단계를 포함할 수 있다.
    <수학식>
    Figure PCTKR2009003891-appb-I000002
    여기서, Ei는 픽셀 i에 대해 영상 센서 혹은 필름의 irradiance 값을, Δtj는 카메라의 노출시간을 나타낸다. 또한, Zij는 픽셀 값을 나타내며, i는 픽셀들에 대한 위치 인덱스이고, j는 노출시간 Δtj의 인덱스이다.
  5. 제1항에 있어서,
    상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,
    상기 단계 (3)은,
    상기 촬영된 영상에 대하여 노출시간(Δtj)을 설정하는 단계;
    상기 촬영된 영상의 노출시간과 상기 설정된 노출시간(Δtj)의 노출시간 변화량(Δbi)을 구하는 단계;
    상기 R, G, B 각각의 채널에 대한 밝기 응답 곡선을 역매핑하여 밝기 변화량을 산출하는 단계; 및
    상기 산출된 밝기 변화량을 R, G, B 채널 각 화소에 적용하여 밝기가 변화된 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 카메라 색상 특성 곡선을 이용한 색 보정 방법.
PCT/KR2009/003891 2009-04-22 2009-07-15 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법 WO2010123171A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0035058 2009-04-22
KR1020090035058A KR101005625B1 (ko) 2009-04-22 2009-04-22 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법

Publications (1)

Publication Number Publication Date
WO2010123171A1 true WO2010123171A1 (ko) 2010-10-28

Family

ID=43011269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/003891 WO2010123171A1 (ko) 2009-04-22 2009-07-15 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법

Country Status (2)

Country Link
KR (1) KR101005625B1 (ko)
WO (1) WO2010123171A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215765A (zh) * 2020-09-08 2021-01-12 北京农业智能装备技术研究中心 农业自然光环境下机器人视觉色彩校正方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101606560B1 (ko) * 2013-04-25 2016-03-28 한국화학연구원 피하 혈관 탐지 영상 보정 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295294A (ja) * 2004-04-01 2005-10-20 Olympus Corp 色調整モジュールとこれを用いた画像処理システムおよび撮像装置、ならびに色調整を実現するためのプログラム
JP2006203540A (ja) * 2005-01-20 2006-08-03 Toshiba Corp 映像信号処理装置及び映像信号処理方法
KR20090012398A (ko) * 2007-07-30 2009-02-04 이화여자대학교 산학협력단 카메라의 색상 특성을 이용한 색 보정 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235050A (ja) 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295294A (ja) * 2004-04-01 2005-10-20 Olympus Corp 色調整モジュールとこれを用いた画像処理システムおよび撮像装置、ならびに色調整を実現するためのプログラム
JP2006203540A (ja) * 2005-01-20 2006-08-03 Toshiba Corp 映像信号処理装置及び映像信号処理方法
KR20090012398A (ko) * 2007-07-30 2009-02-04 이화여자대학교 산학협력단 카메라의 색상 특성을 이용한 색 보정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215765A (zh) * 2020-09-08 2021-01-12 北京农业智能装备技术研究中心 农业自然光环境下机器人视觉色彩校正方法及装置
CN112215765B (zh) * 2020-09-08 2024-06-11 北京农业智能装备技术研究中心 农业自然光环境下机器人视觉色彩校正方法及装置

Also Published As

Publication number Publication date
KR101005625B1 (ko) 2011-01-05
KR20100116381A (ko) 2010-11-01

Similar Documents

Publication Publication Date Title
US8229215B2 (en) Image sensor apparatus and method for scene illuminant estimation
CN111292246B (zh) 图像颜色校正方法、存储介质及内窥镜
US8965120B2 (en) Image processing apparatus and method of controlling the same
US20150348245A1 (en) Color correction parameter computation method, color correction parameter computation device, and image output system
WO2020007166A1 (zh) 一种视频信号处理方法及装置
Kwok et al. Gray world based color correction and intensity preservation for image enhancement
CN103065334A (zh) 一种基于hsv颜色空间的偏色检测、校正方法及装置
WO2021218603A1 (zh) 图像处理方法及投影系统
CN110213556B (zh) 单纯色场景下的自动白平衡方法及系统、存储介质及终端
Kao et al. Design considerations of color image processing pipeline for digital cameras
CN112669758A (zh) 显示屏校正方法、装置、系统和计算机可读存储介质
CN111669560A (zh) 一种基于fpga的实时自动白平衡校正方法、系统及存储介质
CN107465903A (zh) 图像白平衡方法、装置和计算机可读存储介质
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
KR20070091208A (ko) 자동 백색 밸런스 제어
CN111311509A (zh) 一种非正常曝光图像自适应校正方法
CN107464225A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
WO2010123171A1 (ko) 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법
Kinoshita et al. A pseudo multi-exposure fusion method using single image
WO2020055196A1 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
CN116996781A (zh) 一种相机参数调整方法及系统
JP2023546612A (ja) 水中画像、水中ビデオのカラー復元方法、及び装置
Birukov et al. Correction of color saturation for tone mapping operator
CN106657945A (zh) 一种非线性分段的伽马校正实现方法
CN114710654B (zh) 图像处理方法、装置、可读存储介质以及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09843699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09843699

Country of ref document: EP

Kind code of ref document: A1