KR100906494B1 - A color compensation method using the color characteristics of a camera - Google Patents

A color compensation method using the color characteristics of a camera Download PDF

Info

Publication number
KR100906494B1
KR100906494B1 KR1020070076175A KR20070076175A KR100906494B1 KR 100906494 B1 KR100906494 B1 KR 100906494B1 KR 1020070076175 A KR1020070076175 A KR 1020070076175A KR 20070076175 A KR20070076175 A KR 20070076175A KR 100906494 B1 KR100906494 B1 KR 100906494B1
Authority
KR
South Korea
Prior art keywords
color
color characteristic
camera
data
values
Prior art date
Application number
KR1020070076175A
Other languages
Korean (ko)
Other versions
KR20090012398A (en
Inventor
이병욱
이희원
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020070076175A priority Critical patent/KR100906494B1/en
Publication of KR20090012398A publication Critical patent/KR20090012398A/en
Application granted granted Critical
Publication of KR100906494B1 publication Critical patent/KR100906494B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Abstract

본 발명은 카메라의 색상 특성을 이용한 색 보정 방법에 관한 것으로서, 보다 구체적으로는 (1) 카메라의 노출을 변경시키면서 카메라 고유의 색상 특성 값들을 측정하여 저장하는 단계; (2) 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 상기 색상 특성 값들로부터 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 N(N≥4)개의 데이터를 구하는 단계; (3) 상기 해당 위치에서의 입력 색상 특성 값과 구해진 상기 N개의 데이터 사이의 선형 관계식을 구하는 단계; (4) 저장된 카메라 고유의 상기 색상 특성 값들로부터, 요구되는 밝기 값의 변화에 따른, 상기 N개의 데이터의 색상 특성 값에 대응하는 N개의 데이터의 변화된 색상 특성 값을 구하는 단계; 및 (5) 상기 구해진 N개의 데이터의 변화된 색상 특성 값을, 단계 (3)에서 구한 상기 선형 관계식에 대입하여 상기 해당 위치에서의 출력 색상 특성 값을 구하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.The present invention relates to a color correction method using color characteristics of a camera, and more specifically, (1) measuring and storing color characteristic values unique to a camera while changing an exposure of the camera; (2) obtaining, for each position of the input image, N (N ≧ 4) data having values closest to the input color characteristic values at the corresponding position from the stored color characteristic values unique to the camera; (3) obtaining a linear relationship between the input color characteristic value at the corresponding position and the obtained N pieces of data; (4) obtaining, from the stored color characteristic values unique to the camera, the changed color characteristic values of the N data corresponding to the color characteristic values of the N data according to a change in the required brightness value; And (5) substituting the changed color characteristic values of the obtained N pieces of data into the linear relational expression obtained in step (3) to obtain an output color characteristic value at the corresponding position. .

본 발명의 카메라 고유의 색상 특성을 이용한 색 보정 방법에 따르면, 카메라의 노출을 변경시키면서 카메라 고유의 색상 특성 값들을 측정하여 미리 저장한 후, 저장된 카메라 고유의 색상 특성 값들을 이용하여, 요구되는 밝기 변화에 따라 입력 영상의 각각의 위치에 대한 입력 색상 특성 값에 대응하는 출력 색상 특성 값을 구함으로써, 인간의 시각 특성에 따라 밝기 변화에 따른 색상의 변화를 보정하면서, 동시에 카메라 고유의 색상 특성까지 반영할 수 있으며, 그 결과 보다 향상된 보정 결과 영상을 얻을 수 있다.According to the color correction method using the color characteristic of the camera of the present invention, after changing the exposure of the camera and measuring the color characteristic of the camera in advance and stored in advance, the brightness required by using the stored color characteristic of the camera unique By calculating the output color characteristic value corresponding to the input color characteristic value of each position of the input image according to the change, it is possible to correct the color change according to the brightness change according to the human visual characteristic, and at the same time, to the unique color characteristic of the camera. It can be reflected, and as a result, a more improved correction result image can be obtained.

색 보정, 카메라 고유의 색상 특성, 노출, 입력 영상, 선형 관계식, 변화된 색상 특성 값, 인간의 시각 특성, YCbCr 색 공간 Color correction, camera specific color characteristics, exposure, input image, linear relations, changed color characteristic values, human visual characteristics, YCbCr color space

Description

카메라의 색상 특성을 이용한 색 보정 방법{A COLOR COMPENSATION METHOD USING THE COLOR CHARACTERISTICS OF A CAMERA}Color correction method using the color characteristics of the camera {A COLOR COMPENSATION METHOD USING THE COLOR CHARACTERISTICS OF A CAMERA}

본 발명은 카메라 고유의 색상 특성을 이용한 색 보정 방법에 관한 것으로서, 보다 구체적으로는 카메라의 노출을 변경시키면서 카메라 고유의 색상 특성 값들을 측정하여 미리 저장한 후, 저장된 카메라 고유의 색상 특성 값들을 이용하여, 요구되는 밝기 변화에 따라 입력 영상의 각각의 위치에 대한 입력 색상 특성 값에 대응하는 출력 색상 특성 값을 구함으로써, 인간의 시각 특성에 따라 밝기 변화에 따른 색상의 변화를 보정하면서, 동시에 카메라 고유의 색상 특성까지 반영할 수 있는 색 보정 방법에 관한 것이다.The present invention relates to a color correction method using a camera's inherent color characteristics. More specifically, the camera's inherent color characteristic values are measured and stored in advance after changing the exposure of the camera. By calculating the output color characteristic value corresponding to the input color characteristic value for each position of the input image according to the required brightness change, the camera compensates for the change in color according to the brightness change according to the human visual characteristic and simultaneously The present invention relates to a color correction method that can reflect unique color characteristics.

디지털 영상의 화질을 개선하려는 노력은 오래 전부터 계속되어 왔지만, 특히 근래에 들어 디지털 카메라 및 디지털 TV 등의 보급이 확대되면서 그 필요성이 증가하고 있다. 인간은 영상을 밝기, 색상 및 채도 성분으로 구분하여 인식하고, 밝기 대비가 선명한 영상을 좋은 영상으로 인지한다고 알려져 있다. 이와 같은 인지 사실을 반영한, 디지털 카메라로 촬영한 영상의 화질을 향상시키기 위한 영상 처리 방법으로 히스토그램 평활화(histogram equalization) 방법이 있다. 이 방법 은 사진에서 표현될 수 있는 모든 밝기를 모두 균등하게 사용하여 영상의 대비(contrast)를 향상시킨다. 이 때 밝기의 변화는 색상 및 채도에 영향을 미치게 되므로, 밝기의 변화에 따라 색상도 바꾸어야 할 필요가 있다.Efforts to improve the image quality of digital images have been continued for a long time, but in recent years, the necessity is increasing as the spread of digital cameras and digital TVs is expanded. Humans are known to recognize images by dividing them into brightness, hue, and saturation components, and to recognize images with clear contrast as good images. The histogram equalization method is an image processing method for improving the image quality of an image captured by a digital camera reflecting such a cognitive fact. This method improves the contrast of the image by using all the brightnesses that can be expressed in the picture evenly. In this case, since the change in brightness affects the color and saturation, it is necessary to change the color as the brightness changes.

밝기의 변화에 따라 색상도 함께 보정하려는 시도로서는, "Hue-based color saturation compensation" (Y. Huang, L. Hui, and K.H. Goh; IEEE International Conference on Consumer Electronics, pp. 160-164, Sept. 1-3, 2004.) 논문이 있다. Huang 등은 논문에서, 히스토그램 평활화를 이용하여 명암도 대비를 향상시킨 후, 명암도 변화율과 가중치 함수를 이용하여 채도를 보정하였다. 여기서, 명암도 변화율은 히스토그램 평활화 전후의 명암도 변화의 정도를 말하며, 가중치 함수는 일정한 밝기 변화에서 각 색상별 채도의 변화율을 의미한다. 채도의 보정은, 색채 성분(chrominance component)의 이득 값을 조정함으로써 수행될 수 있다. 인간은 동일한 밝기의 변화에 대해서도 색상마다 느끼는 채도 인지율이 다르기 때문에, 색상별로 채도 보정을 다르게 해야 한다. Huang 등은 이러한 인간의 시각 특성을 기반으로 하여 밝기 변화율에 대하여 색상마다 다른 가중치를 주어 채도를 보정하는 방법을 제안하였다. 이때 이용되는 가중치 함수는 일정한 밝기 변화에서 각 색상별 채도의 변화율로서, 사용자가 임의로 정한 값에 의해 크기가 조정된다.In an attempt to compensate for color as the brightness changes, "Hue-based color saturation compensation" (Y. Huang, L. Hui, and KH Goh; IEEE International Conference on Consumer Electronics, pp. 160-164, Sept. 1 -3, 2004.) In the paper, Huang et al. Improved the contrast using histogram smoothing and then corrected the saturation using the rate of change and the weight function. Here, the intensity change rate refers to the degree of change in intensity before and after the histogram smoothing, and the weight function means the rate of change in saturation for each color at a constant brightness change. The saturation correction can be performed by adjusting the gain value of the chrominance component. Since humans perceive different saturation perception even for the same brightness change, saturation correction should be different for each color. Huang et al. Proposed a method for correcting saturation by giving different weights to different colors for the rate of change of brightness based on human visual characteristics. At this time, the weight function used is the rate of change of saturation for each color at a constant brightness change, and the size is adjusted by a value arbitrarily determined by the user.

도 1은 인간의 시각 특성을 반영한 가중치 그래프로서, 점선은 동일한 밝기 변화에서 각 색상에 따른 채도 변화율을 나타내며, 실선은 점선을 근사화시킨 것을 나타낸다. 도 1에서 확인할 수 있는 바와 같이, 밝기 변화에 따른 채도 변화율이 색상마다 다르게 나타나기 때문에, 밝기 변화에 따른 채도 보정 시에 색상을 기반 으로 보정 비율을 다르게 해야 한다. 그 과정은 다음 수학식 1과 같이 표현될 수 있다.FIG. 1 is a weight graph reflecting human visual characteristics, wherein a dotted line represents a saturation change rate according to each color at the same brightness change, and a solid line represents an approximation of a dotted line. As can be seen in FIG. 1, since the saturation change rate according to the brightness change is different for each color, the correction ratio should be changed based on the color when saturation correction according to the brightness change. The process may be expressed as Equation 1 below.

Figure 112007055267770-pat00001
Figure 112007055267770-pat00001

상기 수학식 1에서, Cbi과 Cri은 입력 영상을 YCbCr 색 공간(color space)으로 변환하였을 때 i번째 픽셀의 색체 성분(Cb 성분과 Cr 성분)을 의미하고, Cb'i과 Cr'i은 결과 영상의 Cb, Cr 성분을 의미한다. CSgain은 색상을 기반으로 한 보정 이득으로, 다음 수학식 2와 같이 밝기 값의 변화율에 대하여 인간의 시각 특성을 반영하는 가중치를 주어 얻는다.In Equation 1, Cb i and Cr i mean color components (Cb component and Cr component) of the i-th pixel when the input image is converted into the YCbCr color space, and Cb ' i and Cr' i. Means Cb and Cr components of the resultant image. CS gain is a color-based correction gain, which is obtained by giving a weight reflecting human visual characteristics to a rate of change of brightness value as shown in Equation 2 below.

Figure 112007055267770-pat00002
Figure 112007055267770-pat00002

상기 수학식 2에서, Gain_Yi는 히스토그램 평활화 전후의 각 픽셀의 밝기 변화율이며, W(hue)은 사용자가 임의로 지정한 가중치 이득(weight_gain)에 의해 조정되는 가중치 함수로서, 다음 수학식 3과 같이 표현될 수 있다.In Equation 2, Gain_Y i is the brightness change rate of each pixel before and after the histogram smoothing, W (hue) is a weight function that is adjusted by a weight gain (gain ) arbitrarily specified by the user, it is expressed as Can be.

Figure 112007055267770-pat00003
Figure 112007055267770-pat00003

상기 수학식 3에서, fweight(hue)은 도 1의 점선을 근사화시킨 실선에 대한 함수이며, weight_gain은 채도 보정의 강도로서, 도 2와 같이 W(hue)의 스케일을 조 정한다. 도 2는 weight_gain(가중치 이득)에 따른 가중치 함수의 예를 나타내는 도면이다.In Equation 3, f weight (hue) is a function of a solid line approximating the dotted line of FIG. 1, and weight_gain is an intensity of saturation correction, and adjusts the scale of W (hue) as shown in FIG. 2 is a diagram illustrating an example of a weight function according to weight_gain.

색채 성분을 보정하는 이득을 상기 수학식 2와 같이 계산하는 Huang 등이 제안한 방법은, 색상의 고유 특성에 대한 영상의 밝기, 색상 및 채도 성분을 인식하는 인간의 시각 특성을 반영한 영상 화질 개선 방법을 사용하여 영상의 화질을 개선하고 있지만, 명암 대비 향상 효과가 전체적으로 크게 나타난 경우에 과도하게 색채 신호가 보정되는 문제가 발생한다. 따라서 주어진 영상의 특성에 따라서 weight_gain을 적절하게 결정해야 할 필요가 있으며, 명암도 대비 향상 후의 영상의 최대 채도 변화율(CS_MAXGain)을 결정한 후, Gain_Y 값이 큰 경우에는 최대 채도 변화율을 CS_MAXGain으로 제한하여 과도한 채도 보정을 방지해야 한다.The method proposed by Huang et al., Which calculates the gain for correcting the color component as shown in Equation 2, is a method of improving the image quality by reflecting the visual characteristics of the human being to recognize the brightness, hue, and saturation components of the image. Although the image quality of the image is improved, the problem of excessively correcting the color signal occurs when the contrast enhancement effect is large. Therefore, depending on the characteristics of the given image, weight_gain It is necessary to determine appropriately. After determining the maximum saturation change rate (CS_MAXGain) of the image after contrast enhancement, if the Gain_Y value is large, the maximum saturation change rate should be limited to CS_MAXGain to prevent excessive saturation correction.

한편, 일반적으로 실제 영상과 이 영상을 카메라로 찍은 후의 이미지 영상은 각 영상 성분 값(Y, Cb, Cr)이 달라지는데, 이것은 여러 가지 환경들의 영향을 받지만 그 중 가장 큰 요인은 카메라의 고유 색상 특성 때문이다. 곧, 동일한 영상이라 하더라도 다른 사진기를 통해 사진을 찍었을 때, 각 사진들이 다른 영상 성분 값(색상, 채도, 명도)을 가지게 된다. 따라서 인간의 시각 특성만을 고려한 영상 색상 보정은 카메라에서 처리되는 색상의 왜곡을 보정할 수 없게 된다.On the other hand, in general, the actual image and the image image after the image is taken by the camera are different in each component value (Y, Cb, Cr), which is affected by various environments, but the biggest factor among them is the intrinsic color characteristic of the camera. Because. In other words, even when the picture is taken with a different camera, each picture has a different image component value (color, saturation, brightness). Therefore, the image color correction considering only the human visual characteristics cannot correct the distortion of the color processed by the camera.

이와 같은 점에 착안할 때, 보다 사실적인 영상의 색상 보정이 가능하도록 하기 위하여, 인간의 시각 특성을 반영하여 영상의 화질을 개선하는 Huang 등의 색 보정 방법을 영상을 측정한 카메라의 고유 색상 특성을 반영할 수 있도록 수정해 볼 필요성이 있다.With this in mind, in order to enable more realistic color correction, Huang et al.'S color correction method that improves the image quality by reflecting human visual characteristics is characterized by the unique color characteristics of the camera. There is a need to modify it to reflect this.

본 발명은 상기와 같은 필요성 인식에서 비롯된 것으로서, 카메라의 노출을 변경시키면서 카메라 고유의 색상 특성 값들을 측정하여 미리 저장한 후, 저장된 카메라 고유의 색상 특성 값들을 이용하여, 요구되는 밝기 변화에 따라 입력 영상의 각각의 위치에 대한 입력 색상 특성 값에 대응하는 출력 색상 특성 값을 구함으로써, 인간의 시각 특성에 따라 밝기 변화에 따른 색상의 변화를 보정하면서, 동시에 카메라 고유의 색상 특성까지 반영할 수 있는 색 보정 방법을 제공하는 것을 그 목적으로 한다.The present invention is derived from the above recognition of necessity, by measuring and storing the color characteristic values of the camera in advance while changing the exposure of the camera, and then using the stored color characteristic values of the camera, input according to the required brightness change. By obtaining the output color characteristic value corresponding to the input color characteristic value for each position of the image, it is possible to correct the color change according to the brightness change according to the human visual characteristic and at the same time reflect the unique color characteristic of the camera. It is an object to provide a color correction method.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 카메라의 색상 특성을 이용한 색 보정 방법은,According to a feature of the present invention for achieving the above object, a color correction method using the color characteristics of the camera,

(1) 카메라의 노출을 변경시키면서 카메라 고유의 색상 특성 값들을 측정하여 저장하는 단계;(1) measuring and storing camera specific color characteristic values while changing the exposure of the camera;

(2) 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 상기 색상 특성 값들로부터 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 N(N≥4)개의 데이터를 구하는 단계;(2) obtaining, for each position of the input image, N (N ≧ 4) data having values closest to the input color characteristic values at the corresponding position from the stored color characteristic values unique to the camera;

(3) 상기 해당 위치에서의 입력 색상 특성 값과 구해진 상기 N개의 데이터 사이의 선형 관계식을 구하는 단계;(3) obtaining a linear relationship between the input color characteristic value at the corresponding position and the obtained N pieces of data;

(4) 저장된 카메라 고유의 상기 색상 특성 값들로부터, 요구되는 밝기 값의 변화에 따른, 상기 N개의 데이터의 색상 특성 값에 대응하는 N개의 데이터의 변화된 색상 특성 값을 구하는 단계; 및(4) obtaining, from the stored color characteristic values unique to the camera, the changed color characteristic values of the N data corresponding to the color characteristic values of the N data according to a change in the required brightness value; And

(5) 상기 구해진 N개의 데이터의 변화된 색상 특성 값을, 단계 (3)에서 구한 상기 선형 관계식에 대입하여 상기 해당 위치에서의 출력 색상 특성 값을 구하는 단계를 포함한다.(5) calculating the output color characteristic value at the corresponding position by substituting the changed color characteristic values of the obtained N pieces of data into the linear relation obtained in step (3).

바람직하게는, 상기 단계 (2)는, N=4인 경우,Preferably, step (2) is performed when N = 4,

(a) 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 상기 색상 특성 값들로부터 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 3개의 데이터를 구하는 단계; 및(a) obtaining, for each position of the input image, three data having values closest to the input color characteristic value at the position from the stored color characteristic values unique to the camera; And

(b) 저장된 카메라 고유의 상기 색상 특성 값들로부터, 상기 해당 위치에서의 입력 색상 특성 값을 기준으로 구해진 상기 3개의 데이터가 이루는 근사 평면과 반대편에 위치하며, 상기 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 1개의 추가 데이터를 구하는 단계를 포함할 수 있다.(b) opposite the approximate plane formed by the three data obtained based on the input color characteristic value at the corresponding position from the stored color characteristic values of the camera, and the input color characteristic value at the corresponding position; Obtaining one additional data having the closest value.

또한 바람직하게는, 상기 색상 특성 값에 대하여, 휘도 값(Y)과 색차 신호 값(Cb, Cr)을 이용하는 YCbCr 색 좌표를 사용할 수 있다.Also preferably, YCbCr color coordinates using luminance values Y and color difference signal values Cb and Cr may be used for the color characteristic values.

더욱 바람직하게는, 저장된 카메라 고유의 상기 색상 특성 값으로부터 상기 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 N개 또는 N-1개의 데이터를 구하기 위하여, 다음 수학식에 의하여 계산된 상기 해당 위치에서의 입력 색상 특성 값과 저장된 카메라 고유의 상기 색상 특성 값과의 차이를 이용할 수 있다.More preferably, to obtain N or N-1 data having a value closest to an input color characteristic value at the corresponding position from the stored color characteristic value unique to the camera, the corresponding calculated by the following equation: The difference between the input color characteristic value at the position and the color characteristic value unique to the stored camera can be used.

Figure 112007055267770-pat00004
Figure 112007055267770-pat00004

여기서, YCbCr_Matrix는 저장된 카메라 고유의 상기 색상 특성 값들의 매트릭스를 나타내고, Y_in(x, y), Cb_in(x, y), Cr_in(x, y)은 각각 상기 해당 위치에서의 입력 색상 특성 값의 휘도 값 및 색차 신호 값을 나타내며, Diff_YCbCr Matrix는 상기 해당 위치에서의 입력 색상 특성 값과 저장된 카메라 고유의 상기 색상 특성 값과의 차이의 매트릭스를 나타냄.Here, YCbCr_Matrix represents a matrix of stored color characteristic values unique to the camera, and Y_in (x, y), Cb_in (x, y), Cr_in (x, y) respectively represent the luminance of the input color characteristic value at the corresponding position. And a Diff_YCbCr Matrix representing a matrix of the difference between the input color characteristic value at the corresponding position and the color characteristic value unique to the stored camera.

본 발명의 카메라 고유의 색상 특성을 이용한 색 보정 방법에 따르면, 카메라의 노출을 변경시키면서 카메라 고유의 색상 특성 값들을 측정하여 미리 저장한 후, 저장된 카메라 고유의 색상 특성 값들을 이용하여, 요구되는 밝기 변화에 따라 입력 영상의 각각의 위치에 대한 입력 색상 특성 값에 대응하는 출력 색상 특성 값을 구함으로써, 인간의 시각 특성에 따라 밝기 변화에 따른 색상의 변화를 보정하면서, 동시에 카메라 고유의 색상 특성까지 반영할 수 있으며, 그 결과 보다 향상된 보정 결과 영상을 얻을 수 있다.According to the color correction method using the color characteristic of the camera of the present invention, after changing the exposure of the camera and measuring the color characteristic of the camera in advance and stored in advance, the brightness required by using the stored color characteristic of the camera unique By calculating the output color characteristic value corresponding to the input color characteristic value of each position of the input image according to the change, it is possible to correct the color change according to the brightness change according to the human visual characteristic, and at the same time, to the unique color characteristic of the camera. It can be reflected, and as a result, a more improved correction result image can be obtained.

이하에서는 본 발명의 실시예를 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 3은 본 발명의 일 실시예에 따른, 카메라 고유의 색상 특성을 이용한 색 보정 방법을 나타내는 도면이다. 도 3에 도시된 바와 같이, 본 발명에 따른 색 보정 방법은, 카메라의 노출을 변경시키면서, 카메라 고유의 색상 특성 값들을 측정 하여 저장하는 단계(S10), 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 색상 특성 값들로부터, 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 N개의 데이터를 구하는 단계(S20), 해당 위치에서의 입력 색상 특성 값과 구해진 N개의 데이터 사이의 선형 관계식을 구하는 단계(S30), 저장된 카메라 고유의 색상 특성 값들로부터, 요구되는 밝기 변화에 따른, N개의 데이터의 색상 특성 값에 대응하는 N개의 데이터의 변화된 색상 특성 값을 구하는 단계(S40), 및 구해진 N개의 데이터의 변화된 색상 특성 값을, 앞서 구한 선형 관계식에 대입하여 해당 위치에서의 출력 색상 특성 값을 구하는 단계(S50)를 포함한다.3 is a diagram illustrating a color correction method using color characteristics inherent to a camera according to an embodiment of the present invention. As shown in FIG. 3, the method for correcting color according to the present invention includes measuring and storing camera-specific color characteristic values while changing the exposure of the camera (S10), for each position of the input image. Obtaining N data having the closest value to the input color characteristic value at the position from the camera-specific color characteristic values (S20), a linear relation between the input color characteristic value at the position and the obtained N data Obtaining the changed color characteristic values of the N data corresponding to the color characteristic values of the N data according to the required brightness change from the stored camera characteristic color characteristic values (S30), and obtaining the obtained N Calculating the output color characteristic value at the corresponding position by substituting the changed color characteristic values of the two pieces of data into the previously obtained linear relations (S50). .

단계 S10에서는, 카메라의 노출을 변경시키면서, 카메라 고유의 색상 특성 값들을 측정하는데, 색상 특성 값으로서는, 휘도 값(Y)과 색차 신호 값(Cb, Cr)을 이용하는 YCbCr 색좌표에서의 값을 이용할 수 있다. 도 4는 본 발명의 일 실시예에 따라 카메라 고유의 색상 특성 값들을 구하는 일예를 나타내는 도면이다. 도 4에 도시된 본 발명의 일 실시예에서는, 카메라 고유의 색상 특성 값으로서 카메라의 밝기-색상 측정 데이터를 이용하고 있다. 동일한 영상에 대하여, 밝기 변화에 따른 색상값을 측정하기 위하여 디지털 카메라의 노출 시간을 바꾸어 가면서 테스트 패턴(test pattern)을 M번 촬영하고, 이 때 얻어지는 밝기 변화에 따른 색상값을 카메라의 밝기-색상 측정 데이터(이하에서, YCbCr_Matrix라고 지칭함)로서 사용한다. 도 4에서, M=6으로 설정하였으며, 이에 따라 7×9×6(X×Y×M)의 매트릭스가 얻어진다. 도 4의 YCbCr_Matrix는 본 발명에서 제안한 방법에 따라 미리 측정되어 저장된 데이터 집합(data set)이다. 도 4b의 화살표(->)는 각각의 노출 변화 에 대하여 같은 위치의 밝기-색상 측정 데이터의 색상값을 나타낸다. 같은 화살표 상에 있는 데이터 값들은, 동일한 입력 색상 값(Y, Cb, Cr)에 대하여 노출 변화로 발생한 밝기 값 변화(ΔY)에 대한 색상 값 변화(ΔCb, ΔCr)를 겪는다. 즉, 같은 입력에 대해서 M개의 노출 값 변화에 따라 M개의 색상 값 변화(ΔCb, ΔCr)를 겪게 된다. 입력 영상의 한 화소의 색상값을 (Y_a, Cb_a, Cr_a)라고 했을 때, 이 값과 가장 유사한 값을 갖는 위치를 YCbCr_Matrix에서 찾은 후, 찾은 위치와 동일한 화살표 상에 있는 값 중 요구되는 밝기만큼 변화된 값의 데이터를 밝기-색상 측정 데이터에서 찾아서 색상 보정하는 것이 본 발명의 기본 아이디어이다. 모든 색상과 모든 밝기에 대하여 측정할 수는 없으므로, 테스트 패턴(test pattern)의 색상에 대하여 측정한 후, 테스트 패턴 상에 존재하지 않는 각 데이터들을 보간(interpolation)하는 방법을 사용한다.In step S10, camera-specific color characteristic values are measured while changing the exposure of the camera. As the color characteristic values, values in YCbCr color coordinates using luminance values (Y) and chrominance signal values (Cb, Cr) can be used. have. 4 is a diagram illustrating an example of obtaining color characteristic values unique to a camera according to an exemplary embodiment of the present invention. In the embodiment of the present invention illustrated in FIG. 4, the brightness-color measurement data of the camera is used as a color characteristic value unique to the camera. For the same image, in order to measure the color value according to the brightness change, the test pattern is taken M times while changing the exposure time of the digital camera, and the color value according to the brightness change obtained at this time is measured by the brightness-color of the camera. It is used as measurement data (hereinafter referred to as YCbCr_Matrix). In Fig. 4, M = 6 is set, whereby a matrix of 7 × 9 × 6 (X × Y × M) is obtained. YCbCr_Matrix of FIG. 4 is a data set previously measured and stored according to the method proposed by the present invention. Arrows (->) in FIG. 4B represent the color values of the brightness-color measurement data at the same position for each change of exposure. The data values on the same arrow undergo a color value change (ΔCb, ΔCr) with respect to the brightness value change ΔY resulting from the change in exposure to the same input color value (Y, Cb, Cr). That is, M color value changes (ΔCb, ΔCr) are caused by M exposure value changes with respect to the same input. When the color value of one pixel of the input image is (Y_a, Cb_a, Cr_a), the position having the most similar value to this value is found in YCbCr_Matrix, and then the required brightness among the values on the same arrow as the found position is changed. It is a basic idea of the present invention to find the data of values in the brightness-color measurement data and color correct. Since not all colors and all brightness can be measured, a method of interpolating each data not present on the test pattern after measuring the color of the test pattern is used.

단계 S20에서는, 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 색상 특성 값들로부터, 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 N(N≥4)개의 데이터를 구한다. N값은 4이상이어야 하는데, 이것은 단계 S30에서 안정적으로 선형 관계식을 구하기 위함이다. N=4인 경우 4개의 데이터는, YCbCr_Matrix로부터 입력 색상 특성 값과 가장 가까운 순서대로 4개의 데이터를 구할 수도 있지만, 가장 가까운 순서대로 3개의 데이터를 먼저 구한 후, 3개의 데이터가 구성하는 평면과 해당 위치에서의 입력 색상 특성 값을 기준으로 반대편에 위치하면서 해당 위치에서의 입력 색상 특성 값과 가장 가까운 데이터를 나머지 1개의 데이터로서 구할 수도 있다. 이와 같은 방법은, 4개의 데이터가 색상 공간에서 한쪽으로 집중되어 입력 색상의 특성을 효과적으로 보간(interpolation)할 수 없게 되는 경우를 방지하기 위함이다. 이하에서, 본 발명의 일 실시예로서, N값이 4인 경우, 즉 가장 가까운 4개의 데이터를 구하는 구체적인 방법에 대해서 더욱 상세히 살펴보기로 한다.In step S20, for each position of the input image, N (N ≧ 4) pieces of data having a value closest to the input color characteristic value at the corresponding position are obtained from the stored camera characteristic color characteristic values. The value of N should be greater than or equal to 4, in order to stably obtain a linear relation in step S30. In the case of N = 4, four data may be obtained from YCbCr_Matrix in order of four data in the order closest to the input color characteristic value, but the three data are first obtained in the closest order, and then the plane and the corresponding plane of the three data are constructed. Data that is located opposite to the input color characteristic value at the position and closest to the input color characteristic value at the position may be obtained as the remaining one data. This method is intended to prevent the case where four data are concentrated on one side in the color space, and thus the characteristics of the input color cannot be interpolated effectively. Hereinafter, as an embodiment of the present invention, when the N value is 4, that is, a detailed method of obtaining the nearest four data will be described in more detail.

입력 영상의 특정 위치(x, y)에서의 밝기 값이 Y_in(x, y)이고, 노출 변화로 변화된 입력 영상의 특정 위치(x, y)에서의 밝기 값이 Y_out(x, y)일 경우, 밝기 값의 변화량 Gain_Y(x, y)는 다음 수학식 4와 같이 표현될 수 있다.When the brightness value at a specific position (x, y) of the input image is Y_in (x, y), and the brightness value at a specific position (x, y) of the input image changed due to the exposure change is Y_out (x, y). , The change amount Gain_Y (x, y) of the brightness value may be expressed as Equation 4 below.

Figure 112007055267770-pat00005
Figure 112007055267770-pat00005

입력 영상의 모든 위치에 대하여, 미리 저장된 카메라 고유의 밝기-색상 측정 데이터(YCbCr_Matrix)로부터 해당 위치에서의 색상 특성 값과 가장 가까운 값을 갖는 데이터를 찾는다. 해당 위치에서의 색상 특성 값과 저장된 카메라 고유의 밝기-색상 측정 데이터(YCbCr_Matrix) 사이의 차이(Diff_YCbCr Matrix)를 다음 수학식 5와 같이 구하고, 그 결과로부터 원하는 데이터를 찾게 된다.For all positions of the input image, data having the closest value to the color characteristic value at the corresponding position is found from the pre-stored camera-specific brightness-color measurement data (YCbCr_Matrix). The difference (Diff_YCbCr Matrix) between the color characteristic value at the corresponding position and the stored brightness-color measurement data (YCbCr_Matrix) of the camera is calculated as in Equation 5 below, and the desired data is found from the result.

Figure 112007055267770-pat00006
Figure 112007055267770-pat00006

저장된 카메라 고유의 밝기-색상 측정 데이터(YCbCr_Matrix)의 값에서 입력 영상의 색상 특성 값과 일치하는 데이터를 찾는 것은 매우 현실적이지 못하다. 그 대신에, 본 발명의 일 실시예에서는, 입력 영상의 색상 특성 값과 가장 가까운 값 을 갖는 점 3개를 찾아 보간하는 방법을 사용한다. 먼저, 위에서 구한 Diff_YCbCr Matrix에서 입력 영상의 특정 위치(x, y)에 대하여 입력 영상의 색상 특성 값에 가까운 3개 데이터를 구한다. 입력 영상의 색상 특성 값과 유사한 3개의 데이터가 구해지면, 이들 사이의 선형 관계(linear relation)가 입력 영상의 입력 색상 특성 값에 대응하는 출력 색상 특성 값을 구하는 데 이용될 수 있는데, 더욱 정확한 선형 조합(linear combination)을 위하여 1개의 데이터를 추가로 구하여 입력 영상의 색상 특성 값과 유사한 데이터들의 관계성을 높일 수 있다. 이때, 추가로 구해지는 1개의 데이터는, 먼저 구한 3개의 데이터가 이루는 평면과 입력 영상의 색상 특성 값을 기준으로 반대편에 위치하는 데이터들 중, 입력 영상의 색상 특성 값과 가장 가까운 값을 갖도록 구한다. 이와 같이 구해진 총 4개의 데이터가 이후의 단계들에서 사용된다.It is not very practical to find data that matches the color characteristic values of the input image in the values of the stored camera-specific brightness-color measurement data (YCbCr_Matrix). Instead, an embodiment of the present invention uses a method of finding and interpolating three points having a value closest to a color characteristic value of an input image. First, get the above In the Diff_YCbCr Matrix, three data close to the color characteristic values of the input image are obtained for a specific position (x, y) of the input image. When three pieces of data similar to the color characteristic values of the input image are obtained, a linear relation between them can be used to obtain an output color characteristic value corresponding to the input color characteristic value of the input image. One data may be additionally obtained for the linear combination to increase the relationship between the data similar to the color characteristic values of the input image. In this case, one additional data is calculated to have the closest value to the color characteristic value of the input image among the data located on the opposite side based on the plane and the color characteristic value of the input image formed by the first three data. . A total of four data thus obtained is used in later steps.

단계 S30에서는, 해당 위치에서의 입력 색상 특성 값과 구해진 N개의 데이터 사이의 선형 관계식을 구한다. 이하에서는, 본 발명의 일 실시예로서, N값이 4인 경우, 앞서 구한 입력 영상의 색상 특성 값과 가장 유사한 4개의 데이터(Data_Point_X1, X2, X3 and X4)들이 입력 영상의 색상 특성 값(YCbCr)과 이루는 선형 관계식을 구한다. 이렇게 구한 선형 관계식은 노출 변화로 인해 밝기가 달라진 출력 영상의 색상 특성 값에 대해서도 그대로 적용되며, 이를 이용하여 출력 영상을 구할 수 있게 된다. 선형 관계식은 다음 수학식 6과 같이 구할 수 있다.In step S30, a linear relational expression between the input color characteristic value at the corresponding position and the obtained N pieces of data is obtained. Hereinafter, as an embodiment of the present invention, when N value is 4, four data (Data_Point_X1, X2, X3 and X4) most similar to the color characteristic values of the input image obtained above are the color characteristic values (YCbCr) of the input image. Find the linear relation between The linear relational expression thus obtained is applied to the color characteristic values of the output image whose brightness is changed due to the change of exposure, and the output image can be obtained using the same. The linear relation can be obtained as shown in Equation 6 below.

Figure 112007055267770-pat00007
Figure 112007055267770-pat00007

여기서, Original(x, y, 1), Original(x, y, 2), Original(x, y, 3)은 각각 입력 영상 데이터의 Y 값, Cb 값, Cr 값을 나타내며, Xiy, XiCb, XiCr(i = 1, 2, 3, 4)은 각각 데이터 Xi의 Y 값, Cb 값, Cr 값을 나타낸다. 상기 수학식 6에서, Original(x, y, 1), Original(x, y, 2), Original(x, y, 3) 값과 Xiy, XiCb, XiCr(i = 1, 2, 3, 4) 값은 모두 알고 있는 값이므로, 이를 이용하여 선형 관계식을 구성하는

Figure 112007055267770-pat00008
값을 구할 수 있다. 미지수가 N(N>3)개이고 제약 조건이 3개로 미지수보다 적은 경우에는 여러 개의 해가 존재할 수 있다. 이와 같은 경우, 최소 정규해(minimum norm solution) 등을 취할 수 있다.Here, Original (x, y, 1), Original (x, y, 2), Original (x, y, 3) represent Y value, Cb value and Cr value of the input image data, respectively, Xi y , Xi Cb , Xi Cr (i = 1, 2, 3, 4) represents the Y value, Cb value, and Cr value of the data Xi, respectively. In Equation 6, Original (x, y, 1), Original (x, y, 2), Original (x, y, 3) values and Xi y , Xi Cb , Xi Cr (i = 1, 2, 3) , 4) Since the values are all known values, the linear relation
Figure 112007055267770-pat00008
You can get the value. If there are N unknowns (N> 3) and there are three constraints, less than the unknown, there can be multiple solutions. In such a case, a minimum norm solution may be taken.

단계 S40에서는, 저장된 카메라 고유의 색상 특성 값들로부터, 요구되는 밝기 변화에 따른, N개의 데이터의 색상 특성 값에 대응하는 N개의 데이터의 변화된 색상 특성 값을 구한다. 본 발명은, 입력 영상의 색상 특성과 카메라의 밝기-색상 측정 데이터(YCbCr_Matrix)로부터 얻은 가장 유사한 데이터들의 선형 관계가, 노출 변화에 의한 밝기 변화가 발생한 경우, 변화된 밝기의 데이터를 갖는 값들에 대해서도 동일하게 성립하는 점을 이용한다. 입력 영상의 색상 특성 값과 가장 유사한 것으로 구해진 N개의 데이터에 대하여, 밝기 값이 Y_out(x, y)으로 변화된 경우에 대응하는 N개의 데이터의 변화된 색상 특성 값을 카메라의 밝기-색상 데이터로부터 찾는다.In step S40, from the stored camera characteristic color characteristic values, the changed color characteristic values of the N data corresponding to the color characteristic values of the N data according to the required brightness change are obtained. According to the present invention, the linear relationship between the color characteristics of the input image and the most similar data obtained from the brightness-color measurement data (YCbCr_Matrix) of the camera is the same for the values having the changed brightness data when the brightness change is caused by the exposure change. Use points that make sense. For N data determined to be most similar to the color characteristic values of the input image, the changed color characteristic values of the N data corresponding to the case where the brightness value is changed to Y_out (x, y) are found from the brightness-color data of the camera.

단계 S50에서는, 구해진 N개의 데이터의 변화된 색상 특성 값을, 앞서 구한 선형 관계식에 대입하여 해당 위치에서의 출력 색상 특성 값을 구한다. 이하에서, 본 발명의 일 실시예로서, N값이 4인 경우, 수학식 6에 의하여 구한 선형 관계식을 이용하여 출력 색상 특성 값을 구한다. 즉, 다음 수학식 7과 같이, 단계 S40의 과정으로 구한 4개의 데이터의 변화된 색상 특성 값을 선형 관계식에 대입함으로써, 출력 색상 특성 값(Y_out, Cb_Out, Cr_out)을 구할 수 있다.In step S50, the changed color characteristic values of the obtained N pieces of data are substituted into the linear relational expressions obtained above to obtain an output color characteristic value at the corresponding position. Hereinafter, as an embodiment of the present invention, when the N value is 4, the output color characteristic value is obtained by using the linear relational expression obtained by Equation 6. That is, as shown in Equation 7, the output color characteristic values (Y_out, Cb_Out, Cr_out) can be obtained by substituting the changed color characteristic values of the four data obtained by the process of step S40 into the linear relational expression.

Figure 112007055267770-pat00009
Figure 112007055267770-pat00009

여기서, Changed_Original_color(x, y, 1), Changed_Original_color(x, y, 2), Changed_Original_color(x, y, 3)은 각각 출력 색상 특성 값의 Y_out, Cb_Out, Cr_out을 나타내며, Xiy ‘, XiCb ’, XiCr ‘(i = 1, 2, 3, 4)은 각각 데이터 Xi의 변화된 색상 특성 값의 Y 값, Cb 값, Cr 값을 나타낸다.Here, Changed_Original_color (x, y, 1), Changed_Original_color (x, y, 2) and Changed_Original_color (x, y, 3) represent Y_out, Cb_Out and Cr_out of the output color characteristic values, respectively, and Xi y ' , Xi Cb ' , Xi Cr ' (i = 1, 2, 3, 4) represents the Y value, Cb value, Cr value of the changed color characteristic value of the data Xi, respectively.

도 5는 상기와 같은 단계 S10 내지 S50을 통해 입력 영상으로부터 원하는 밝기 Y 값을 갖는 출력 영상을 생성하는 원리를 나타내는 도면이다. 도 5는 본 발명의 일 실시예로서 N값이 4인 경우에 관한 도면이다. 도 5에 도시된 바와 같이, 입력 영상의 특정 위치(Original Point)의 색상 특성 값과 가장 가까운 4개의 데이 터(X1, X2, X3, X4)를 구하고, 이들 사이의 선형 관계식을 구한 후, 4개의 데이터에 대하여 원하는 밝기 값(Y)을 갖는 변화된 색상 특성 값의 4개의 데이터(N1, N2, N3, N4)를 구해 이들을 선형 관계식에 대입함으로써, 출력 영상의 색상 특성 값을 구한다.5 is a diagram illustrating a principle of generating an output image having a desired brightness Y value from an input image through steps S10 to S50 as described above. 5 is a diagram illustrating a case in which an N value is 4 as an embodiment of the present invention. As shown in FIG. 5, four data (X1, X2, X3, X4) closest to the color characteristic values of a specific position (Original Point) of the input image are obtained, and a linear relationship therebetween is obtained. Four data (N1, N2, N3, N4) of the changed color characteristic values having desired brightness values (Y) with respect to the two data are obtained and substituted into the linear relations to obtain the color characteristic values of the output image.

다음으로 본 발명에 따른 색 보정 방법의 유효성을 검증할 수 있는 실험 결과를 살펴보기로 한다.Next, the experimental results to verify the validity of the color correction method according to the present invention will be described.

도 6은 본 발명에 따른 색 보정 방법의 보정 결과 영상을 기존의 방법들의 보정 결과 영상과 비교하여 보여주는 도면으로서, 도 6a는 입력 영상(원본)을, 도 6b는 히스토그램 평활화를 적용한 후의 영상을, 도 6c는 기존 방법 1에 의한 보정 결과 영상을, 도 6d는 기존 방법 2에 의한 보정 결과 영상을, 도 6e는 본 발명에 따른 보정 결과 영상을 각각 나타내고 있다. 기존 방법 2는 앞서 설명한 Huang 등이 제안한 방법을 나타내고, 기존 방법 1은 "Saturation Enhancement Considering Hue and Intensity in Color Images"(양혜윤, 김형준; 제 19회 신호처리합동학술대회, Sept. 23, 2006.) 논문에서 제안된 방법을 나타낸다. 동일한 조건에서 여러 번 실험한 결과, 본 발명에서 제안한 방법의 보정 결과 영상이 가장 자연스러운 결과 영상이 되는 것을 확인할 수 있었다. 특히, 도 6에서와 같이 보정 전후의 밝기 값이 차이가 많이 나는 경우, 기존의 방법을 사용하면 채도 보정이 심하게 된 영상이 얻어지는 것에 반하여, 본 발명에서 제안한 방법을 사용하면 훨씬 더 자연스런 영상이 얻어지는 것을 확인할 수 있었다. 도 6의 보정 결과 영상들을 보다 구체적으로 살펴보면, 기존 방법 1과 기존 방법 2에서 사용된 것과 같은 입력 영상(input image)을 가지고 실험을 한 결과, 기존 방법 1의 보정 결과 영상(도 6c)은 채도 보정이 지나치게 심하게 이루어져 원본 입력 영상과 다른 양상을 나타내었으며, 기존 방법 2의 보정 결과 영상(도 6d)은 채도 보정은 보다 자연스럽게 이루어졌으나, 흰 색상 부분에서 푸른색 부분이 유난히 많이 보정되어 부자연스럽게 되는 것을 확인할 수 있었다. 이에 반하여, 본 발명에서 제안한 방법에 따른 보정 결과 영상(도 6e)은 기존 방법 1과 기존 방법 2의 적절한 중간적 형태로서 보다 자연스러운 영상을 나타내었다. 결론적으로, 본 발명에서 제안한, 카메라 고유의 색상 특성과 사람의 시각 특성을 모두 고려한 색 보정 방법에 의하여 기존의 색 보정 방법들보다 훨씬 더 향상된 결과 영상을 얻을 수 있음을 분명하게 확인할 수 있다.6 is a view showing a comparison result image of the color correction method according to the present invention compared with the correction result image of the conventional methods, Figure 6a is an input image (original), Figure 6b is an image after applying histogram smoothing, 6C shows a correction result image according to the existing method 1, FIG. 6D shows a correction result image according to the existing method 2, and FIG. 6E shows a correction result image according to the present invention. Existing Method 2 represents the method proposed by Huang et al., And Existing Method 1 is "Saturation Enhancement Considering Hue and Intensity in Color Images" (Yang Hye-yoon, Kim Hyung-jun; 19th Signal Processing Conference, Sept. 23, 2006.) The method proposed in the paper is presented. As a result of several experiments under the same conditions, it was confirmed that the image of the correction result of the method proposed in the present invention is the most natural result image. In particular, when the brightness values before and after the correction are largely different as shown in FIG. 6, an image obtained with severe saturation correction is obtained by using the conventional method, whereas a much more natural image is obtained by using the method proposed in the present invention. I could confirm that. Referring to the correction result images of FIG. 6 in more detail, as a result of experimenting with the same input image as used in the conventional method 1 and the conventional method 2, the correction result image of the conventional method 1 (FIG. 6C) is saturated. Since the correction was too severe, it showed a different aspect from the original input image, and the result of the correction method of the conventional method 2 (FIG. 6D) was more natural in the saturation correction, but the blue part was unusually corrected in the white part. I could confirm that. On the contrary, the correction result image (FIG. 6E) according to the method proposed in the present invention showed a more natural image as an appropriate intermediate form of the existing method 1 and the existing method 2. In conclusion, it can be clearly confirmed that the color correction method considering both the intrinsic color characteristics of the camera and the visual characteristics of the person proposed by the present invention can obtain a much improved result image than the conventional color correction methods.

도 7은 본 발명에서 제안한 방법에서의 색상(Hue)과 채도(Saturation) 사이의 관계를, 기존 방법 2에서의 색상과 채도 사이의 관계와 비교하여 나타내는 도면이다. 여기서, 색상과 채도 사이의 관계란, 동일한 밝기 값(Y)의 변화에 따른 각 색상별 채도의 변화율을 의미한다. 도 7a는 색상의 원래 특성으로 기존 방법 2(Huang 등이 제안한 방법)에서의 색상과 채도 사이의 관계를 나타내며, 도 7b는 카메라의 특성이 색상 특성과 합쳐진 것으로 본 발명에서 제안한 방법에서의 색상과 채도 사이의 관계를 나타낸다. 도 7a 및 7b 모두에서 밝기 값(Y)이 증가할 때 채도가 감소하는 것을 볼 수 있으며, 동일한 밝기 값(Y)에 대해서도 색상마다 채도가 다른 것을 확인할 수 있다.FIG. 7 is a view illustrating a relationship between hue and saturation in the method proposed by the present invention in comparison with the relationship between hue and saturation in the conventional method 2. Here, the relationship between hue and saturation means the rate of change of saturation for each color according to the change of the same brightness value (Y). FIG. 7A illustrates the relationship between color and saturation in the original method 2 (the method proposed by Huang et al.) As the original characteristic of color, and FIG. 7B illustrates the relationship between the color of the method proposed in the present invention and the characteristics of the camera combined with the color characteristic. Represents the relationship between saturation. 7A and 7B, the saturation decreases as the brightness value Y increases, and it can be seen that the saturation is different for each color even for the same brightness value Y.

도 8은 본 발명에서 제안한 방법에서의 색상과 가중치 이득(Weight Gain)의 관계를, 기존 방법 2에서의 색상과 가중치 이득의 관계와 비교하여 나타내는 도면 으로서, 도 1과 비교될 수 있다. 도 8에서 확인할 수 있는 바와 같이, 각 색상에 따른 가중치 이득 값은 두 방법에서 분명하게 차이가 난다. 이러한 차이는, 본 발명에서 제안한 방법의 경우, 기존 방법 2와 달리, 인간의 시각 특성과 카메라 고유의 색상 특성을 함께 고려하였기 때문에 나타나는 결과이다. 두 가지 방법에서의 차이를 설명하기 위하여, 도 8의 녹색(Green)과 시안(Cyan) 색상을 더욱 상세히 살펴보면, 본 발명에서 제안한 방법에서는 시안의 가중치 값이 녹색보다 크지만 기존 방법 2에서는 그 값이 더 작다. 또한, 같은 입력 영상의 색상 보정에서 동일한 밝기 변화를 주었을 때, 제안한 방법에서는 녹색보다 시안 색상의 채도 변화가 더 큰 반면에, 기존 방법 2에서는 녹색의 채도가 더 많이 변화는 결과를 확인할 수 있다. 이렇게 차이가 나는 가중치 값들을 실제 영상에서 적용한 결과, 도 6에서와 같이 서로 다른 보정 결과 영상이 얻어졌으며, 본 발명에서 제안한 방법에 따른 보정 결과 영상이 기존의 다른 방법들에 따른 보정 결과 영상보다 더 좋은 결과를 얻는 것을 이미 확인한 바 있다.FIG. 8 is a diagram illustrating the relationship between color and weight gain in the method proposed by the present invention, in comparison with the relationship between color and weight gain in the conventional method 2. FIG. As can be seen in Figure 8, the weight gain value for each color is clearly different in the two methods. This difference is a result of the method proposed in the present invention because, unlike the conventional method 2, the human visual characteristics and the color characteristics of the camera are considered together. In order to explain the difference between the two methods, the green and cyan colors of FIG. 8 are described in more detail. In the method proposed by the present invention, the weight value of cyan is larger than green in the method proposed in the present invention, but the value in the conventional method 2 This is smaller. In addition, when the same brightness is changed in the same input image, the proposed method has a larger saturation change of cyan color than green, whereas in the conventional method 2, the saturation of green changes more. As a result of applying the different weight values to the actual image, different correction result images were obtained as shown in FIG. 6, and the correction result image according to the method proposed in the present invention is more than the correction result image according to other methods. We have already confirmed that we are getting good results.

다음 표 1 및 2는, 각각 기존 방법 2(Huang 등이 제안한 방법)에서의 색상별 채도 변화율과, 본 발명에서 제안한 방법에서의 색상별 채도 변화율을 나타내고 있다.Tables 1 and 2 show the saturation change rate for each color in the conventional method 2 (the method proposed by Huang et al.) And the saturation change rate for each color in the method proposed by the present invention.

밝기 변화Brightness change MagentaMagenta RedRed YellowYellow GreenGreen CyanCyan BlueBlue (from 50 to 60)(from 50 to 60) 1.081.08 1.131.13 1.01.0 1.031.03 1.021.02 1.51.5 (from 10 to 16)(from 10 to 16) 1.041.04 1.101.10 1.01.0 1.021.02 1.011.01 1.51.5

밝기 변화Brightness change MagentaMagenta RedRed YellowYellow GreenGreen CyanCyan BlueBlue (from 50 to 60)(from 50 to 60) 1.201.20 1.321.32 1.001.00 1.141.14 1.051.05 1.51.5 (from 10 to 16)(from 10 to 16) 1.001.00 1.491.49 1.021.02 1.031.03 1.061.06 1.51.5

표 1 및 표 2로부터 확인할 수 있는 바와 같이, 기존 방법 2의 경우에는 각 색상에 대하여 밝기 변화에 따른 채도 보정 변화율이 거의 비슷하지만, 본 발명에서 제안한 방법의 경우에는 색상별로 다른 것을 확인할 수 있다. 이것은, 본 발명에서 제안한 방법은 색상에서의 처음 밝기를 고려하여 보정을 하기 때문이다. 본 발명에서 제안한 방법은, 각 색상의 밝기에 따른 밝기 변화율에 대한 색상 변화율을 고려하여 더욱 복잡해 보이지만, 각 색상의 밝기에 대한 밝기 변화를 고려함으로써, 색상의 특성에 가장 부합하면서 카메라 고유의 특성까지 고려한 색 보정이 가능하다.As can be seen from Table 1 and Table 2, in the case of the conventional method 2, the saturation correction change rate according to the brightness change for each color is almost the same, but in the case of the method proposed in the present invention, it can be confirmed that it is different for each color. This is because the method proposed in the present invention compensates for the initial brightness in color. Although the method proposed by the present invention looks more complicated considering the color change rate with respect to the brightness change rate according to the brightness of each color, by considering the brightness change with respect to the brightness of each color, the characteristics unique to the camera and the best match the characteristics of the color Considered color correction is possible.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above may be variously modified or applied by those skilled in the art, and the scope of the technical idea according to the present invention should be defined by the following claims.

본 발명에서 제안한 방법은, 디지털 영상기기의 색상 사후 보정(post processing)에 사용하여 보다 더 현실적인 영상을 얻는데 이용될 수 있는바, 특히 비이상적인 조명 조건하에서 디지털 카메라, 카메라 일체형 이동 전화기, 캠코더, PC용 카메라 등으로 촬영한 영상을 색상 보정하는데 유용하게 사용될 수 있다. 본 발명에서 제안한 알고리즘은 디지털 영상기기에 내장할 수도 있고, 별도의 영상처리 소프트웨어로 상용화할 수도 있다. 또한, 영상 회의 시스템 등 고화질이 요구 되는 경우의 색상 보정에도 적용될 수 있다.The method proposed in the present invention can be used to obtain more realistic images by using in color post-processing of digital imaging apparatuses, especially under non-ideal lighting conditions. It can be usefully used to color correct an image photographed with a camera. The algorithm proposed in the present invention may be embedded in a digital video device or may be commercially available as a separate image processing software. In addition, the present invention can be applied to color correction when a high picture quality such as a video conference system is required.

도 1은 인간의 시각 특성을 반영한 가중치 그래프로서, 점선은 동일한 밝기 변화에서 각 색상에 따른 채도 변화율을 나타내며, 실선은 점선을 근사화시킨 것을 나타내는 도면.1 is a weight graph reflecting human visual characteristics, wherein a dotted line shows a saturation change rate according to each color at the same brightness change, and a solid line shows an approximation of a dotted line.

도 2는 weight_gain에 따른 가중치 함수의 예를 나타내는 도면.2 is a diagram illustrating an example of a weight function according to weight_gain.

도 3은 본 발명의 일실시 예에 따른, 카메라 고유의 색상 특성을 이용한 색 보정 방법을 나타내는 도면.3 is a diagram illustrating a color correction method using color characteristics unique to a camera according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따라 카메라 고유의 색상 특성 값들을 구하는 일예를 나타내는 도면.4 illustrates an example of obtaining camera-specific color characteristic values according to an embodiment of the present invention.

도 5는 상기와 같은 단계 S10 내지 S50을 통해 입력 영상으로부터 원하는 밝기 Y 값을 갖는 출력 영상을 생성하는 원리를 나타내는 도면.5 is a diagram illustrating a principle of generating an output image having a desired brightness Y value from an input image through steps S10 to S50 as described above.

도 6은 본 발명에 따른 색 보정 방법의 보정 결과 영상을 기존의 방법들의 보정 결과 영상과 비교하여 보여주는 도면으로서, 도 6a는 입력 영상(원본)을, 도 6b는 히스토그램 평활화를 적용한 후의 영상을, 도 6c는 기존 방법 1에 의한 보정 결과 영상을, 도 6d는 기존 방법 2에 의한 보정 결과 영상을, 도 6e는 본 발명에 따른 보정 결과 영상을 각각 나타내는 도면.6 is a view showing a comparison result image of the color correction method according to the present invention compared with the correction result image of the conventional methods, Figure 6a is an input image (original), Figure 6b is an image after applying histogram smoothing, 6C is a view showing a correction result image according to the existing method 1, FIG. 6D is a view showing a correction result image according to the existing method 2, and FIG. 6E is a view showing a correction result image according to the present invention.

도 7은 본 발명에서 제안한 방법에서의 색상(Hue)과 채도(Saturation) 사이의 관계를, 기존 방법 2에서의 색상과 채도 사이의 관계와 비교하여 나타내는 도면.FIG. 7 is a diagram showing the relationship between Hue and Saturation in the method proposed by the present invention in comparison with the relationship between Hue and Saturation in the conventional method 2. FIG.

도 8은 본 발명에서 제안한 방법에서의 색상과 가중치 이득(Weight Gain)의 관계를, 기존 방법 2에서의 색상과 가중치 이득의 관계와 비교하여 나타내는 도면.8 is a view showing the relationship between the color and weight gain in the method proposed by the present invention, compared with the relationship between the color and weight gain in the conventional method 2.

<도면 중 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

S10 : 카메라의 노출을 변경시키면서, 카메라 고유의 색상 특성 값들을 측정하여 저장하는 단계S10: measuring and storing camera specific color characteristic values while changing the exposure of the camera

S20 : 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 색상 특성 값들로부터, 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 N(N≥4)개의 데이터를 구하는 단계S20: obtaining, for each position of the input image, N (N≥4) pieces of data having a value closest to the input color characteristic value at the corresponding position, from the stored camera characteristic color characteristic values.

S30 : 해당 위치에서의 입력 색상 특성 값과 구해진 N개의 데이터 사이의 선형 관계식을 구하는 단계S30: calculating a linear relationship between the input color characteristic value at the corresponding position and the obtained N pieces of data

S40 : 저장된 카메라 고유의 색상 특성 값들로부터, 요구되는 밝기 변화에 따른, N개의 데이터의 색상 특성 값에 대응하는 N개의 데이터의 변화된 색상 특성 값을 구하는 단계S40: obtaining the changed color characteristic values of the N data corresponding to the color characteristic values of the N data according to the required brightness change from the stored camera characteristic color characteristic values

S50 : 구해진 N개의 데이터의 변화된 색상 특성 값을, 앞서 구한 선형 관계식에 대입하여 해당 위치에서의 출력 색상 특성 값을 구하는 단계S50: Substituting the changed color characteristic values of the obtained N pieces of data into the previously obtained linear relational equation to obtain an output color characteristic value at the corresponding position.

Claims (4)

(1) 카메라의 노출을 변경시키면서 카메라 고유의 색상 특성 값들을 측정하여 저장하는 단계;(1) measuring and storing camera specific color characteristic values while changing the exposure of the camera; (2) 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 상기 색상 특성 값들로부터 해당 위치에서의 입력 색상 특성 값에 가까운 값을 갖는 순서대로 적어도 N(N=4)개의 데이터를 구하는 단계;(2) obtaining, for each position of the input image, at least N (N = 4) pieces of data from the stored color characteristic values unique to the camera in order of having values close to the input color characteristic values at the corresponding position; (3) 상기 해당 위치에서의 입력 색상 특성 값과 구해진 상기 N개의 데이터 사이의 선형 관계식을 구하는 단계;(3) obtaining a linear relationship between the input color characteristic value at the corresponding position and the obtained N pieces of data; (4) 저장된 카메라 고유의 상기 색상 특성 값들로부터, 요구되는 밝기 값의 변화에 따른, 상기 N개의 데이터의 색상 특성 값에 대응하는 N개의 데이터의 변화된 색상 특성 값을 구하는 단계; 및(4) obtaining, from the stored color characteristic values unique to the camera, the changed color characteristic values of the N data corresponding to the color characteristic values of the N data according to a change in the required brightness value; And (5) 상기 구해진 N개의 데이터의 변화된 색상 특성 값을, 단계 (3)에서 구한 상기 선형 관계식에 대입하여 상기 해당 위치에서의 출력 색상 특성 값을 구하는 단계(5) obtaining the output color characteristic values at the corresponding positions by substituting the obtained linear characteristic values of the N pieces of data into the linear relations obtained in step (3); 를 포함하는 것을 특징으로 하는 카메라의 색상 특성을 이용한 색 보정 방법.Color correction method using the color characteristics of the camera, characterized in that it comprises a. 제1항에 있어서, 상기 단계 (2)의 데이터의 개수가 4개인 경우,The method of claim 1, wherein when the number of data of step (2) is four, (a) 입력 영상의 각각의 위치에 대하여, 저장된 카메라 고유의 상기 색상 특성 값들로부터 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 3개의 데이터를 구하는 단계; 및(a) obtaining, for each position of the input image, three data having values closest to the input color characteristic value at the position from the stored color characteristic values unique to the camera; And (b) 저장된 카메라 고유의 상기 색상 특성 값들로부터, 상기 해당 위치에서의 입력 색상 특성 값을 기준으로 구해진 상기 3개의 데이터가 이루는 근사 평면과 반대편에 위치하며, 상기 해당 위치에서의 입력 색상 특성 값과 가장 가까운 값을 갖는 1개의 추가 데이터를 구하는 단계(b) opposite the approximate plane formed by the three data obtained based on the input color characteristic value at the corresponding position from the stored color characteristic values of the camera, and the input color characteristic value at the corresponding position; Finding one additional data having the closest value 를 포함하는 것을 특징으로 하는 카메라의 색상 특성을 이용한 색 보정 방법.Color correction method using the color characteristics of the camera, characterized in that it comprises a. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 색상 특성 값에 대하여, 휘도 값(Y)과 색차 신호 값(Cb, Cr)을 이용하는 YCbCr 색 좌표를 사용하는 것을 특징으로 하는 카메라의 색상 특성을 이용한 색 보정 방법.And YCbCr color coordinates using luminance values (Y) and color difference signal values (Cb, Cr) for the color characteristic values. 제3항에 있어서,The method of claim 3, 저장된 카메라 고유의 상기 색상 특성 값으로부터 상기 해당 위치에서의 입력 색상 특성 값에 가까운 값을 갖는 순서대로 적어도 N개 또는 N-1개의 데이터를 구하기 위하여, 다음 수학식에 의하여 계산된, 상기 해당 위치에서의 입력 색상 특성 값과 저장된 카메라 고유의 상기 색상 특성 값과의 차이를 이용하는 것을 특징으로 하는 카메라의 색상 특성을 이용한 색 보정 방법.In order to obtain at least N or N-1 data from the stored camera-specific color characteristic values in an order having values close to the input color characteristic values at the corresponding position, at the corresponding position, calculated by the following equation: And using a difference between an input color characteristic value of and a color characteristic value unique to a stored camera.
Figure 112009022992580-pat00010
Figure 112009022992580-pat00010
 여기서, YCbCrMatrix는 저장된 카메라 고유의 상기 색상 특성 값들의 매트릭스를 나타내고, Y_in(x, y), Cb_in(x, y), Cr_in(x, y)은 각각 상기 해당 위치에서의 입력 색상 특성 값의 휘도 값 및 색차 신호 값을 나타내며, Diff_YCbCrMatrix는 상기 해당 위치에서의 입력 색상 특성 값과 저장된 카메라 고유의 상기 색상 특성 값과의 차이의 매트릭스를 나타냄.Here, YCbCrMatrix represents a matrix of stored color characteristic values unique to the camera, and Y_in (x, y), Cb_in (x, y), Cr_in (x, y) respectively represent the luminance of the input color characteristic value at the corresponding position. Values and color difference signal values, and Diff_YCbCrMatrix represents a matrix of the difference between the input color characteristic value at the corresponding position and the color characteristic value unique to the stored camera.
KR1020070076175A 2007-07-30 2007-07-30 A color compensation method using the color characteristics of a camera KR100906494B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070076175A KR100906494B1 (en) 2007-07-30 2007-07-30 A color compensation method using the color characteristics of a camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070076175A KR100906494B1 (en) 2007-07-30 2007-07-30 A color compensation method using the color characteristics of a camera

Publications (2)

Publication Number Publication Date
KR20090012398A KR20090012398A (en) 2009-02-04
KR100906494B1 true KR100906494B1 (en) 2009-07-08

Family

ID=40683167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070076175A KR100906494B1 (en) 2007-07-30 2007-07-30 A color compensation method using the color characteristics of a camera

Country Status (1)

Country Link
KR (1) KR100906494B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101005625B1 (en) * 2009-04-22 2011-01-05 이화여자대학교 산학협력단 A method for color compensation based on color characteristic curve of a camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313950A (en) 2000-04-28 2001-11-09 Fuji Photo Film Co Ltd Method for making camera type color characteristic profile
JP2004023207A (en) 2002-06-13 2004-01-22 Seiko Epson Corp Device and method for preparing color conversion table, recording medium recorded with color conversion table preparation program and profile preparing device for preparing profile on the basis of color conversion table prepared by the device or method
JP2004032399A (en) 2002-06-26 2004-01-29 Olympus Corp Picture color reproduction system, picture color reproduction program, and method for reproducing picture color

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313950A (en) 2000-04-28 2001-11-09 Fuji Photo Film Co Ltd Method for making camera type color characteristic profile
JP2004023207A (en) 2002-06-13 2004-01-22 Seiko Epson Corp Device and method for preparing color conversion table, recording medium recorded with color conversion table preparation program and profile preparing device for preparing profile on the basis of color conversion table prepared by the device or method
JP2004032399A (en) 2002-06-26 2004-01-29 Olympus Corp Picture color reproduction system, picture color reproduction program, and method for reproducing picture color

Also Published As

Publication number Publication date
KR20090012398A (en) 2009-02-04

Similar Documents

Publication Publication Date Title
US7969480B2 (en) Method of controlling auto white balance
US9438875B2 (en) Image processing apparatus, image processing method, and program
US20070085911A1 (en) Apparatus for color correction of subject-image data, and method of controlling same
CN111292246B (en) Image color correction method, storage medium, and endoscope
US8704911B2 (en) Image processing apparatus, image processing method, and recording medium
US7710470B2 (en) Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise
US8614751B2 (en) Image processing apparatus and image processing method
KR20080064324A (en) Ambient light adaptive color correction method and device for projector
US8064693B2 (en) Methods of and apparatus for adjusting colour saturation in an input image
CN104869380A (en) Image processing apparatus and image processing method
JP2000050286A (en) Image-pickup device
JP4549704B2 (en) Method for adjusting color correction for image and method for adjusting color correction amount for image
US7701462B2 (en) Simple and robust color saturation adjustment for digital images
US8873108B2 (en) Image processing apparatus and image processing method
US7184174B2 (en) Color picture signal processing method and color picture using the method
KR100906494B1 (en) A color compensation method using the color characteristics of a camera
JP2002109523A (en) Image pickup device, optical filter group, and image data converter
EP1253775A2 (en) Correction of digital images
JP2016051982A (en) Image processing system, camera, and image processing program
EP1895781B1 (en) Method of and apparatus for adjusting colour saturation
KR101143834B1 (en) Aparatus and metod for controlling auto white balance
EP2209298A1 (en) Method for adjusting white balance
JP6809559B2 (en) Image processing equipment and image processing program
KR101005625B1 (en) A method for color compensation based on color characteristic curve of a camera
JP2003087816A (en) White balance adjustment device, white balance adjustment program, white balance adjustment method and digital camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130515

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140613

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150724

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee