KR100442320B1 - Color recover method, color recover system and computer-readable medium recording the method - Google Patents
Color recover method, color recover system and computer-readable medium recording the method Download PDFInfo
- Publication number
- KR100442320B1 KR100442320B1 KR10-2002-0002261A KR20020002261A KR100442320B1 KR 100442320 B1 KR100442320 B1 KR 100442320B1 KR 20020002261 A KR20020002261 A KR 20020002261A KR 100442320 B1 KR100442320 B1 KR 100442320B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- channel
- image
- value
- ratio
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005286 illumination Methods 0.000 claims abstract description 29
- 238000002310 reflectometry Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 4
- 229940012422 equimax Drugs 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000004088 simulation Methods 0.000 abstract description 3
- 238000001228 spectrum Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000011056 performance test Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
본 발명은 색채 복원 방법과, 색채 복원 시스템 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로서, 본 발명의 색채 복원 방법은, 거의 모든 자연장면이 RGB 세 채널에서 표면반사율 (surface reflectance)이 균형을 이루는 물체들을 포함하고 있다는 데 착안하여 각 영상 픽셀의 채널별로 레티넥스 (retinex)와 유사한 광 강도 비율을 계산하여 이것을 그 픽셀의 광도 (luminance) 값에 곱해 줌으로써 조명 효과를 제거하는 알고리듬을 사용하였다.The present invention relates to a color restoring method, a color restoring system, and a computer-readable recording medium recording the method, wherein the color restoring method of the present invention provides a surface reflectance of almost all natural scenes in three RGB channels. Considering that it contains these balanced objects, we calculate a light intensity ratio similar to Retinex for each channel of each image pixel and multiply it by the luminance value of that pixel to remove the lighting effect. Used.
이와 함께, 영상 내 모든 물체의 표면반사율이 스펙트럼의 한쪽으로 치우치는 경우에 대비하여, 영상 내 가장 밝은 픽셀들의 세 채널 출력 값의 동일함 여부를 비교하여 광원의 왜곡 여부를 간접 평가하는 방법을 병행하도록 하고, 조명이 왜곡된 환경은 저조도의 문제를 아울러 가지고 있는 경우가 대부분이기 때문에 영상의 밝기를 조정하는 대비조정장치 (contrast manipulator)를 추가함으로써 과소 노출의 문제를 해결하여 최적 영상을 얻을 수 있도록 하였다.In addition, in case the surface reflectivity of all objects in the image is skewed to one side of the spectrum, a method of indirectly evaluating whether the light source is distorted by comparing the three channel output values of the brightest pixels in the image may be parallel. In addition, the environment in which the lighting is distorted has a problem of low illumination, and a contrast manipulator for adjusting the brightness of the image is added to solve the problem of underexposure so that an optimal image can be obtained. .
따라서, 모형의 수행력을 알아보기 위해서, 발명된 시스템을 영화에 나온 조명왜곡 영상들에 적용한 결과 매우 만족스러운 색채복원 효과를 확인하였으며, 조명효과를 시뮬레이션 한 사진으로 색채복원을 시도하여 원래에 매우 근접한 색을 복원해준다는 결과를 얻을 수 있었다.Therefore, in order to find out the performance of the model, applying the invented system to the lighting distortion images shown in the movie, we confirmed a very satisfactory color restoration effect, and attempted to restore the color with the simulation of the lighting effect. I was able to restore the color.
Description
본 발명은 색채 복원 방법과, 색채 복원 시스템 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로서, 더욱 상세하게는 인간 시각체계의 색채항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하는 색채 복원 방법과, 색채 복원 시스템 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.The present invention relates to a color restoring method, a color restoring system, and a computer-readable recording medium recording the method. More particularly, the present invention relates to a digital image distorted by illumination using a principle of implementing color identity of a human visual system. A color restoration method for restoring a color of a color, a color restoration system, and a computer-readable recording medium recording the method.
일반적으로 세 가지 센서를 통해 색을 코딩하는 모든 시스템은, 조명이 바뀌는 경우, 사물 표면의 원래 색을 복원하는 것이 이론적으로 불가능하다.In general, any system that codes colors through three sensors is theoretically impossible to restore the original color of the object's surface if the lighting changes.
한편, 인간의 시각시스템은 조명이 바뀌어도 독특한 방법을 사용하여 사물 표면의 고유색에 대한 근사치를 알아낼 수 있는 데, 이러한 인간의 시각시스템을 적용한 어떠한 색채 복원 기술도 없었기 때문에, 카메라나 기타 촬영장비로 영상을 촬영하는 경우, 재생된 영상이 왜곡된 조명으로 인하여 색채가 변질되는 것을 방지할 수 없었다.On the other hand, the human visual system can approximate the intrinsic color of the surface of an object by using a unique method even if the lighting changes. Since there was no color restoration technology applied to the human visual system, images with a camera or other photographing equipment were used. In the case of photographing, the reproduced image could not be prevented from being discolored due to distorted lighting.
따라서, 과다한 조명시설과 수작업으로 영상편집 과정을 거치는 등 색채 복원을 위하여 많은 비용과 시간이 소모되었던 문제점이 있었다.Therefore, there was a problem that a lot of cost and time was spent for restoring colors, such as an excessive editing system and manual image editing.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 조명효과로 인해 왜곡된 다양한 디지털 영상자료의 색채를 표준 조명 하에서의 색채로 복원해 냄으로써 각종 디지털 영상편집에서 색채보정 및 특수조명효과 구현을 가능하게 하고, 색채보정 칩의 형태로 디지털 카메라에 장착할 수 있게 하는 색채 복원 방법과, 색채복원 시스템 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공함에 있다.An object of the present invention for solving the above problems, by reconstructing the color of various digital image data distorted by the lighting effect to the color under standard lighting to enable color correction and special lighting effect in various digital image editing The present invention provides a color restoring method for mounting a digital camera in the form of a color correction chip, a color restoring system, and a computer-readable recording medium recording the method.
도 1은 본 발명의 바람직한 일 실시예에 색채 복원 방법을 나타내는 블록도이다.1 is a block diagram illustrating a color restoration method in a preferred embodiment of the present invention.
도 2는 채널별 비율척도를 이해하기 쉽게 나타낸 개념도이다.2 is a conceptual diagram showing the ratio scale for each channel easily.
도 3은 도 1의 색채 복원 방법을 이용하여 조명이 왜곡된 영화 장면에서의 색채 복원도이다.3 is a diagram illustrating color restoration in a movie scene in which lighting is distorted using the color restoration method of FIG. 1.
도 4는 도 1의 색채 복원 방법을 이용하여 표준 자연광 영상의 시스템 수행력 검사도이다.4 is a system performance test diagram of a standard natural light image using the color restoration method of FIG. 1.
도 5는 도 1의 색채 복원 방법을 이용하여 몬드리안 그림으로 표시된 시스템의 수행력 검사도이다.FIG. 5 is a performance test diagram of a system represented by a Mondrian diagram using the color restoration method of FIG. 1.
도 6은 도 5의 몬드리안을 구성하고 있는 16개 색면의 원본 R, G, B 값, 왜곡된 조명 시뮬레이션 색면의 R, G, B 값 및 본 발명의 색채 복원 방법으로 복원된 후 색면의 R, G, B 값을 비교하여 나타내는 표이다.FIG. 6 shows the original R, G, and B values of the 16 color planes constituting the Mondrian of FIG. 5, the R, G, and B values of the distorted illumination simulation color plane, and the R of the color plane after being restored by the color restoration method of the present invention. Tables comparing and comparing G and B values.
상기 목적을 달성하기 위한 본 발명의 색채 복원 방법은, 인간 시각체계의 색채항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하도록 상대적 표면반사율에 의해 물체 표면의 고유색을 복원하는 것을 특징으로 한다.The color restoration method of the present invention for achieving the above object is to restore the intrinsic color of the surface of the object by the relative surface reflectance to restore the color of the digital image distorted by the illumination using the principle of color identity of the human visual system It is characterized by.
한편, 상기 목적을 달성하기 위한 본 발명의 색채 복원 방법은, 인간 시각체계의 색채항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하도록 상대적 표면반사율에 의해 물체 표면의 고유색을 복원하기 위하여, (a) 영상의 세 채널 동일 최대 값 픽셀비율(PQ : Proportion of equi_max in three channels)에 근거하여 영상촬영당시 조명의 표준광 여부를 판단하는 단계; (b) 기지항을 이용하여 미지항의 비율인 채널 내 비율척도(IR : Intra-channel Ratio Scale)를 계산하는 단계; (c) 채널 내 비율척도를 이용하여 상대적 표면반사율(P : relative surface reflectance)을 구하는 단계; 및 (d) 한 픽셀의 광도(L : luminance)에 상대적 표면반사율을 곱하여 채널별 고유 표면 색(C : recovered color)을 복원하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.On the other hand, the color restoration method of the present invention to achieve the above object, by using the principle of implementing the color identity of the human visual system to restore the color of the object surface by the relative surface reflectance to restore the color of the digital image distorted by the illumination To restore, (a) determining whether the standard light of the illumination at the time of imaging based on the three-channel equal maximum value pixel ratio (PQ) of the image; (b) calculating an intra-channel ratio scale (IR) using a known term; (c) obtaining a relative surface reflectance (P) using an in-channel ratio measure; And (d) multiplying the relative surface reflectivity by the luminance (L: luminance) of one pixel to restore a unique surface color (C: recovered color) for each channel.
또한, 본 발명의 색채 복원 방법은, 복원된 색의 후처리를 위하여, (e) 복원된 채널 값이 한계 값을 넘으면, overflow control을 하여 본래 밝기 값의 근접치(C')로 수정하는 단계; 및 (f) 출력변조요인 (G : gain factor)과 역치화 (T: thresholding)를 이용하여 광도값을 이미지 개선치(C'')로 변조 (luminance modulation)함으로써 화질을 개선하는 단계;를 더 포함하여 이루어질 수 있다.In addition, the color restoration method of the present invention, for the post-processing of the restored color, (e) if the restored channel value exceeds the limit value, performing overflow control to correct to the proximity (C ') of the original brightness value ; And (f) improving image quality by modulating luminance values with an image enhancement value C ″ using an output modulation factor (G: gain factor) and thresholding (T: thresholding). It can be made, including.
한편, 상기 목적을 달성하기 위한 본 발명의 색채 복원 시스템은, 인간 시각체계의 색채항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하도록 상대적 표면반사율에 의해 물체 표면의 고유색을 복원하기 위하여, 영상의 세 채널 동일 최대 값 픽셀비율(PQ : Proportion of equi_max in three channels)에 근거하여 영상촬영당시 조명의 표준광 여부를 판단하고, 기지항을 이용하여 미지항의 비율인 채널 내 비율척도(IR : Intra-channel Ratio Scale)를 계산하고, 채널 내 비율척도를 이용하여 상대적 표면반사율(P : relative surface reflectance)을 구하고, 한 픽셀의 광도(L : luminance)에 상대적 표면반사율을 곱하여 채널별 고유 표면 색(C : recovered color)을 복원하도록 프로그램된 제어부를 포함하여 이루어지는 것을 특징으로 한다.On the other hand, the color restoration system of the present invention for achieving the above object, by using the principle of implementing the color identity of the human visual system to restore the color of the object surface by the relative surface reflectance to restore the color of the digital image distorted by the illumination In order to reconstruct, it is determined whether the standard light of illumination at the time of imaging is taken based on the proportional maximum pixel ratio (PQ: Proportion of equi_max in three channels) of the image, and the ratio in the channel which is the ratio of the unknown term using the known term. Calculate the Intra-channel Ratio Scale (IR), calculate the relative surface reflectance (P) using the intra-channel ratio scale, and multiply the relative surface reflectance by the luminance of one pixel (L: luminance) It is characterized in that it comprises a control unit programmed to restore the intrinsic surface color (C: recovered color).
한편, 상기 목적을 달성하기 위한 본 발명의 색채 복원 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체는, 인간 시각체계의 색채항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하도록 상대적 표면반사율에 의해 물체 표면의 고유색을 복원하기 위하여, (a) 영상의 세 채널 동일 최대 값 픽셀비율(PQ : Proportion of equi_max in three channels)에 근거하여 영상촬영당시 조명의 표준광 여부를 판단하는 단계; (b) 기지항을 이용하여 미지항의 비율인 채널 내 비율척도(IR : Intra-channel Ratio Scale)를 계산하는 단계; (c) 채널 내 비율척도를 이용하여 상대적 표면반사율(P : relative surface reflectance)을 구하는 단계; 및 (d) 한 픽셀의 광도(L : luminance)에 상대적 표면반사율을 곱하여 채널별 고유 표면 색(C : recovered color)을 복원하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.On the other hand, the computer-readable recording medium recording the color restoration method of the present invention for achieving the above object is to restore the color of the digital image distorted by the illumination using the principle of color identity of the human visual system. In order to restore the intrinsic color of the object surface by the surface reflectance, (a) determining whether the standard light of the illumination at the time of imaging based on the three-channel maximum value pixel ratio (PQ) of the image ; (b) calculating an intra-channel ratio scale (IR) using a known term; (c) obtaining a relative surface reflectance (P) using an in-channel ratio measure; And (d) multiplying the relative surface reflectivity by the luminance (L: luminance) of one pixel to restore a unique surface color (C: recovered color) for each channel.
이하, 본 발명의 바람직한 일 실시예에 따른 색채 복원 방법을 도면을 참조하여 상세히 설명한다.Hereinafter, a color restoration method according to an embodiment of the present invention will be described in detail with reference to the drawings.
먼저, 도 1에 도시된 바와 같이, 본 발명의 바람직한 일 실시예에 따른 색채 복원 방법은, 인간 시각체계의 색채항등성 구현 원리를 이용하여 조명에 의해 왜곡된 디지털 영상의 색채를 복원하도록 상대적 표면반사율에 의해 물체 표면의 고유색을 복원하는 것으로서, 세 가지 기본 가정 하에 수행되는 단계들로 이루어진다.First, as shown in FIG. 1, the color restoration method according to the preferred embodiment of the present invention uses a principle of implementing color identity of the human visual system to restore a color of a digital image distorted by illumination. Restoring the intrinsic color of the surface of the object by reflectance, consisting of three basic assumptions.
즉, 첫째로는 색채 항등성의 문제는 역함수로 완전히 풀어지지 않으며, 근사치를 구하는 방식으로 해결할 수 있다는 것이다.In other words, the problem of color identity is not solved completely by inverse function, but can be solved by approximation.
둘째로는 한 장면에서 조명의 효과는 장면의 모든 부분에 균등하게 작용하고 있다는 것이다.Second, the effect of lighting in a scene is equally acting on every part of the scene.
셋째로는 자연상태의 물체 표면들의 광 반사 스펙트럼은 R, G, B 세 채널간에 균형을 이룰 확률이 높다는 것이다.Third, the light reflection spectra of natural object surfaces are likely to be balanced between the R, G, and B channels.
이러한 가정과 인간의 색채정보처리 원리에 근거해서 수리적 계산 모형을 설계하여 색채 항등성의 문제를 해결하고 물체의 표면반사율을 복원하였다.Based on these assumptions and the principle of human color information processing, we designed a mathematical calculation model to solve the problem of color identity and to restore the surface reflectivity of the object.
이러한 물체의 표면반사율 복원을 위하여 본 발명의 색채 복원 방법은, 크게 (a) 영상의 세 채널 동일 최대 값 픽셀비율(PQ : Proportion of equi_max in three channels)에 근거하여 영상촬영당시 조명의 표준광 여부를 판단하는 단계와, (b)기지항을 이용하여 미지항의 비율인 채널 내 비율척도(IR : Intra-channel Ratio Scale)를 계산하는 단계와, (c) 채널 내 비율척도를 이용하여 상대적 표면반사율(P : relative surface reflectance)을 구하는 단계와, (d) 한 픽셀의 광도(L : luminance)에 상대적 표면반사율을 곱하여 채널별 고유 표면 색(C : recovered color)을 복원하는 단계와, 복원된 색의 후처리를 위하여, (e) 복원된 채널 값이 한계 값을 넘으면, overflow control을 하여 본래 밝기 값의 근접치(C')로 수정하는 단계 및 (f) 출력변조요인 (G : gain factor)과 역치화 (T : thresholding)를 이용하여 광도값을 이미지 개선치(C'')로 변조 (luminance modulation)함으로써 화질을 개선하는 단계를 포함하여 이루어지는 것이다.In order to restore the surface reflectivity of such an object, the color restoration method of the present invention is largely based on (a) whether the standard light is illuminated at the time of imaging based on the same maximum pixel ratio (PQ) of the three channels of the image. (B) calculating an intra-channel ratio scale (IR) which is a ratio of the unknown term using the base term, and (c) a relative surface reflectivity using the ratio scale in the channel. (P) obtaining a relative surface reflectance, (d) restoring a unique surface color (C: recovered color) for each channel by multiplying the relative surface reflectivity by the luminance (L) of one pixel, and the restored color For post-processing, (e) if the restored channel value exceeds the limit value, perform overflow control to correct it to the proximal value (C ') of the original brightness value, and (f) the output modulation factor (G: gain factor). Intensity using T and thresholding And improving the image quality by modulating the image enhancement value C ″.
이러한 상기 (a) 단계, (b) 단계, (c) 단계, (d) 단계, (e) 단계 및 (f) 단계를 보다 상세하게 설명하면, 먼저 상기 (a) 단계는, 물체의 표면 반사율을 복원하는 과정 중, 가장 먼저 처리되는 것으로서, 디지털 이미지 내에서 각 화소의 RGB값들을 체크하여 최대값을 지니고 있는 화소들의 RGB값의 개수가 전체 이미지의 픽셀수의 기준치(대략 0.3% 내지 0.5%) 이하가 되는 지 여부를 확인하는 단계이다.The steps (a), (b), (c), (d), (e) and (f) will be described in more detail. First, the step (a) may include a surface reflectance of an object. In the process of restoring, the first processing is performed, and the number of RGB values of the pixels having the maximum value by checking the RGB values of each pixel in the digital image is a reference value (approximately 0.3% to 0.5% of the number of pixels of the entire image). This step is to check whether or not it becomes less than.
이러한 절차는 자연상태 하에서의 물체 표면들은 세 채널에 걸쳐 고른 광 반사 스펙트럼 분포를 지니고 있다는 세 번째의 가정에 따라서 입력영상 내 픽셀들 중 세 채널에 걸쳐 동일한 최대 광도를 지닌 것들이 일정수준을 넘으면 이를 표준 조명 하에서 촬영된 영상으로 간주할 수 있도록 해준다.This procedure is based on the third assumption that object surfaces under natural conditions have an even distribution of light reflection spectral distribution across three channels. It can be regarded as an image taken under.
만약, 화소들의 RGB 값의 개수가 기준치 이하면, 즉 표준 조명하의 영상 이미지가 아니라고 판단되면, 국소적인 픽셀 단위의 반사광도(luminance), 채널별 광도, 전역적 채널별 광도, 레티넥스(retinex)와 유사한 국소광도와 전역광도의 비율 등을 계산하여 물체의 고유색을 결정하는 표면반사율을 복원한다.(이하, 이러한 과정을 수리적인 모형을 중심으로 순차적으로 기술하면 일곱 개의 수식으로 요약될 수 있다.)If the number of RGB values of the pixels is less than the reference value, that is, if it is determined that the image value is not a video image under standard illumination, the luminance of each local pixel, the luminance of each channel, the luminance of each global channel, and retinex By calculating the ratio of local and global luminosity similar to, we restore the surface reflectivity that determines the intrinsic color of the object. )
........[수식 1] ........ [Equation 1]
(여기서, PQ : Proportion of equi_max in three channels, max_R : Red 채널에서 최대값)(PQ: Proportion of equi_max in three channels, max_R: maximum value in Red channel)
색채복원은 먼저 스펙트럼이 편포된 조명에 의해서 입력영상의 색이 왜곡되었는지를 판단하는 과정으로부터 시작된다. 상기 수식 1은 입력영상이 촬영된 당시의 조명이 표준조명인지를 판단하는 기준이 된다. 즉 자연장면에 포함된 물체들은 빛을 전반사하는 부분 (specular components)이나 흰 색 표면처럼 세 채널의 빛을 동일한 수준으로 최대 반사하는 표면들을 포함하고 있을 확률이 매우 높다.Color restoration first begins with the process of determining whether the color of the input image is distorted by the illumination in which the spectrum is flattened. Equation 1 is a criterion for determining whether the illumination at the time of photographing the input image is standard lighting. That is, objects in natural scenes are most likely to contain surfaces that reflect the same level of maximum reflection of three channels of light, such as specular components or white surfaces.
따라서, 영상 촬영시 세 채널의 강도가 균형을 이루는 표준 조명이 사용된 경우에는 영상 내에 반드시 세 채널에 걸쳐 광도값이 같으면서 최대인 점들이 상당부분 포함되게 되어 있다. 이와 같이 세 채널 간 동일 최대 광도값을 갖는 픽셀의 양이 일정 수준을 넘으면 그것을 표준조명이 사용됐다는 단서로 간주할 수 있다. 수식 1에서의 PQ는 전체 영상에서 세 채널에 걸쳐 동일한 최대 출력 값을 지닌 픽셀 수의 비율을 나타낸다. 그러므로. 한 영상에서 이 PQ값이 특정 기준보다 높으면 영상이 표준 조명 하에서 촬영되었다는 판단을 내리게 된다.Therefore, when standard illumination is used in which the intensity of three channels is balanced during image capturing, a large portion of points having the same luminance value and maximum values are included in the image over three channels. As such, if the amount of pixels having the same maximum luminance value between the three channels exceeds a certain level, it can be regarded as a clue that standard lighting is used. PQ in Equation 1 represents the ratio of the number of pixels having the same maximum output value over three channels in the entire image. therefore. If the PQ value is higher than a certain standard in one image, it is judged that the image was taken under standard lighting.
이어서, 상기 (b) 단계는, 모니터 영상 이미지의 각 픽셀의 값들을 R, G, B 각 채널의 채널별 평균 광도량에 대한 비율 값으로 상기 채널 내 비율척도(IR)를 계산하는 단계로서, 이를 수식으로 나타내면,Subsequently, the step (b) is a step of calculating an intra-channel ratio scale (IR) as a ratio value of the average luminance of each channel of each of the R, G, and B channels of the values of each pixel of the monitor image. If this is expressed as a formula,
..... [수식 2] ..... [Equation 2]
(여기서, K 는 채널 별 한 픽셀의 광도, IR 은 채널 내 강도비율척도 즉 Intra-Channel Ratio-Scales)Where K is the intensity of one pixel per channel and IR is the In-Channel Intensity Ratio Scale, or Intra-Channel Ratio-Scales.
상기 수식 2는 색채항등성 구현의 핵심계산 성분 중 하나인 채널 내 강도비율척도 (Intra-Channel Ratio-Scales) 로서 이 척도는 모니터 영상 이미지의 각 픽셀의 값들을 R, G, B 각 채널의 채널별 평균 광도량에 대한 비율 값으로 나타낸 것이다.Equation 2 is an Intra-Channel Ratio-Scales, which is one of the key calculation components of color equality, which measures the values of each pixel of the monitor image and the channels of each channel of R, G, and B channels. It is expressed as a ratio value with respect to the average intensity of stars.
상기 K 는 특정 픽셀에서의 광도값을 나타내며, 수식 2에 의해서 각 픽셀 당 R, G, B 의 값들은 채널별 광도의 합으로 나누어 비율 값으로 전환된다.K denotes a luminance value of a specific pixel, and according to Equation 2, values of R, G, and B for each pixel are converted into ratio values by dividing the sum of luminance for each channel.
이어서, 상기 (c) 단계는, 물체 표면의 고유색을 결정하는 표면반사율로서 미지항들을 포함하고, 상기 비율화 된 비율척도(IR) 값을 사용해서 근사치를 추정하는 상기 상대적 표면반사율(P)을 구하는 단계로서, 이를 식으로 나타내면,Subsequently, step (c) includes unknown terms as surface reflectance for determining the intrinsic color of the object surface, and calculates the relative surface reflectance (P) for estimating an approximation using the ratioized ratio scale (IR) value. As a step to find, this is expressed as
.....[수식 3] ..... [Equation 3]
(여기서, P 는 상대적 표면반사율 즉, relative surface reflectance)Where P is the relative surface reflectance, ie relative surface reflectance
상기 수식 3은, R, G, B 각 채널의 상대적 표면 반사율을 구하는 공식이다.Equation 3 is a formula for calculating the relative surface reflectance of each of the R, G, B channels.
즉, 이 수식에서 S값들은 물체 표면의 고유색을 결정하는 표면반사율로서 미지항들이다. 따라서 이 값들을 아는 것이 불가능하기 때문에 본 발명의 색채 복원 방법에서는, 수식에 나타나 있듯이, 수학식 2의 비율화 된 값을 사용해서 PK값의 근사치를 추정한다. 이러한 근사치 추정 방법은 자연환경내의 사물들은 RGB 세 채널에서 균형을 이루는 표면들을 가지고 있다는 가정에 근거하여 마련된 것으로 수식의 오른 쪽에 포함된 채널 내 비율척도가 기지항이기 때문에 가능하다.In other words, the S values in this equation are unknowns as the surface reflectance which determines the intrinsic color of the object surface. Therefore, since it is impossible to know these values, in the color restoration method of the present invention, an approximation of the P K value is estimated using the proportioned value of Equation 2, as shown in the equation. This approximation method is based on the assumption that objects in the natural environment have balanced surfaces in three RGB channels, which is possible because the ratio scale in the channel included on the right side of the equation is known.
따라서, 이 부분은 본 시스템에서 이 부분이 유일한 근사치 추정 부위으로서 시스템의 수행력을 좌우하는 결정적 부위이다.Thus, this part is the decisive part of the present system, which is the only approximation site that determines the performance of the system.
이어서, 상기 (d) 단계는, 한 픽셀의 광도(L : luminance)에 상대적 표면반사율을 곱하여 채널별 고유 표면 색(C : recovered color)을 복원하는 단계로서, 상기 한 픽셀의 광도(L)는, 영상 내에 존재하는 물체들의 표면 반사율과 그 이미지가 촬영될 당시의 조명강도의 곱으로 나타나는 R, G, B 값의 합이다.Subsequently, step (d) restores the intrinsic surface color (C: recovered color) for each channel by multiplying the luminance (L: luminance) of one pixel by the relative surface reflectivity, and the luminance (L) of the one pixel is This is the sum of the R, G, and B values, expressed as the product of the surface reflectance of the objects present in the image and the illumination intensity at the time the image was taken.
즉, 상기 한 픽셀의 광도(L)는, 아래와 같이 표현될 수 있다.That is, the luminance L of one pixel may be expressed as follows.
........[수식 4] Equation 4
(여기서, L 은 Luminance, I'K=FKx IK에서 FK는 필터함수이며 IK는 촬영 당시의, SK는 피사체의 표면 반사율, R, G, B 는 이미지 영상에서의 픽셀 당 세 채널 값)(Where L is Luminance, I ' K = F K x I K , F K is the filter function, I K is at the time of shooting, S K is the surface reflectance of the subject, and R, G, B are per pixel in the image) Three channel value)
상기 수식 4는 광도(Luminance)가 모니터에서 어떠한 방식으로 정의되는지에대한 표현이다. 상기 수식 4에 따르면 모니터 영상에서 표현되는 이미지의 광도는 영상 내에 존재하는 물체들의 표면 반사율과 그 이미지가 촬영될 당시의 조명강도의 곱으로 정의 될 수 있다. 결국 모니터 이미지에서 한 픽셀의 광도는 그 픽셀의 R, G, B 값의 합에 해당된다.Equation 4 is a representation of how the luminance is defined in the monitor. According to Equation 4, the brightness of the image represented in the monitor image may be defined as a product of the surface reflectance of objects present in the image and the illumination intensity at the time the image is captured. After all, the luminance of a pixel in the monitor image is the sum of its R, G, and B values.
즉, 본 발명의 색채 복원 방법에 따라 복원된 채널별 고유 표면 색(C : recovered color)은,That is, the intrinsic surface color (C: recovered color) for each channel restored according to the color restoration method of the present invention,
.........[수식 5] ......... [Equation 5]
로 나타낼 수 있다.(여기서, CK는 시스템에 의하여 복원된 색 )Where C K is the color restored by the system.
상기 수식 5에서는 수식 2에서 구한 한 픽셀의 채널별 비율척도를 그 픽셀의 광강도 (luminance)에 곱함으로써 표면의 고유색을 복원한다.In Equation 5, the intrinsic color of the surface is restored by multiplying the ratio scale of each pixel of Equation 2 by the light intensity of the pixel.
이 과정은 한 픽셀의 광강도를 하나의 에너지 총량으로 보고 이 에너지를 PK (상대적 표면 반사율)를 이용해 각 채널에 배분하는 과정으로 이해하면 된다.This process can be understood as seeing the light intensity of one pixel as the total amount of energy and distributing this energy to each channel using PK (relative surface reflectance).
도 2는 수식 5의 과정을 이해하기 쉽게 나타낸 개념도이다.2 is a conceptual diagram showing the process of Equation 5 to be easily understood.
한편, 후처리 단계의 일종인 상기 (e) 단계는, 복원된 채널 값이 255의 한계 값을 넘어가는 경우, 초기 영상에서의 최대 광도값을 기준으로 모형에서 변환시킨 값들의 최대값을 조정하여 본래 밝기 값의 근접치(C')를 구하는 것으로서, 이를 식으로 표현하면,On the other hand, step (e), which is a kind of post-processing step, adjusts the maximum value of the values converted in the model based on the maximum luminance value in the initial image when the restored channel value exceeds the limit value of 255. It is to calculate the proximity value of the original brightness value (C ').
.............[수식 6] ............. Equation 6
이다. 즉 모니터에서 표현 할 수 있는 각 채널 별 출력 값의 한계는 0에서 255까지 256 단계이다. 수식 5의 연산에서 복원된 채널 값이 255의 한계 값을 넘어가는 경우가 발생할 수 있는데 수식 6은 이러한 경우에 대비한 Overflow Controller 부분에 해당된다. 상기 수식 6은 초기 영상에서의 최대 광도값을 기준으로 모형에서 변환시킨 값들의 최대값을 조정하여 본래 밝기 값에 근접하는 영상을 재구성할 수 있도록 해준다.to be. That is, the limit of output value for each channel that can be expressed in monitor is 256 steps from 0 to 255. In the operation of Equation 5, the restored channel value may exceed the limit of 255. Equation 6 corresponds to the Overflow Controller. Equation 6 adjusts the maximum value of the values converted in the model based on the maximum luminance value in the initial image to reconstruct an image close to the original brightness value.
이어서, 상기 (f) 단계는, 상기 역치화(T : thresholding)와, 상기 출력변조요인(G : gain factor) 및 상기 본래 밝기 값의 근접치(C')의 곱인 이미지 개선치(C'')를 구하는 것으로서, 이를 식으로 나타내면,Subsequently, in step (f), the image enhancement value C ″, which is a product of the thresholding value T, the gain factor G, and the proximity C ′ of the original brightness value. ), Which is given by the equation
........[수식 7] [Formula 7]
상기 수식 7에서는 복원된 이미지의 대비(contrast)를 증가시켜 조명이 왜곡되었을 때 흔히 발생하는 과소노출의 문제를 해결함으로써 개선된 화질의 이미지를 재생할 수 있게 한다.Equation (7) increases the contrast of the reconstructed image to solve the problem of underexposure, which is often caused when the lighting is distorted, thereby reproducing an image having improved quality.
또, 모형에 의해서 복원된 이미지는 수식 6까지 거치게 되면서 이미지의 대비(contrast)가 줄어 들 수 있는데 이러한 문제도 함께 해소할 수가 있다.In addition, as the image reconstructed by the model passes through Equation 6, the contrast of the image may be reduced, and this problem may be solved together.
이러한, 일련의 과정을 통한 본 발명의 색채 복원 방법에 의하여 각기 푸른색, 보라색, 오랜지색으로 편포된 영화 장면들을 표준조명 상태 하의 색으로 복원한 결과들을 도 3에 도시하였다.The results of restoring the movie scenes, each of which is blue, purple, and orange, by the color restoration method of the present invention through a series of processes to the color under the standard lighting state are shown in FIG. 3.
발명된 본 발명의 색채 복원 방법과, 색채 복원 시스템의 성능을 검사하기위하여 조명효과 시뮬레이터를 써서 원래의 표준조명하의 영상 색을 왜곡시킨 다음 이를 다시 복원하여 원래의 색을 얼마나 복원하는 지를 조사하였다.In order to examine the color restoration method of the present invention and the performance of the color restoration system, the image color under the original standard illumination was distorted using a lighting effect simulator, and then restored again to investigate how much the original color was restored.
특히, 도 4의 (a)는 각기 정오 옥외의 표준 자연광에서 찍은 사진(오른쪽)에 초록색 계통으로 왜곡된 조명효과를 시뮬레이션(중간) 한 다음 원래의 색을 복원한 영상(왼쪽)을 보여주며 (b)는 RGB 색 공간에서 원래의 색(검은 원)이 왜곡된 조명에 의해 어떻게 위치가 바뀌며(빨강 세모), 시스템은 이를 다시 어떻게 복원하는 지(파랑 별표)를 3차원 그래픽으로 보여준다.In particular, (a) of FIG. 4 shows an image (left), which simulates (middle) a distorted lighting effect with a green system and then restores the original color (left) in a photograph (right) taken in standard natural light outdoors at noon, respectively ( b) shows in three-dimensional graphics how the original color (black circle) is displaced by the distorted lighting in the RGB color space (red triangles) and how the system restores it again (blue asterisk).
또한, 도 5는 본 발명의 색채 복원 방법을 이용하여 몬드리안 그림으로 표시된 시스템의 수행력 검사도이고, 도 6은 도 5의 몬드리안을 구성하고 있는 16개 색면의 원본 R, G, B 값, 왜곡된 조명 시뮬레이션 색면의 R, G, B 값 및 본 발명의 색채 복원 방법으로 복원된 후 색면의 R, G, B 값을 비교하여 나타내는 표이다.In addition, Figure 5 is a performance test of the system shown in the Mondrian picture using the color restoration method of the present invention, Figure 6 is the original R, G, B values, distortion of the 16 color planes constituting the Mondrian of FIG. R, G, B values of the illumination simulation color surface and the table shown by comparing the R, G, B values of the color surface after being restored by the color restoration method of the present invention.
도 5에서 왼쪽 그림은 원래의 영상, 가운데는 붉은 색 쪽으로 왜곡되도록 조명이 시뮬레이션 된 영상, 오른 쪽은 복원된 영상을 보여준다.In FIG. 5, the left figure shows the original image, the image where the illumination is simulated to be distorted toward the red color, and the right image is restored.
또한, 도 6에 도시된 바와 같이, 몬드리안을 구성하는 16개 원래 색면, 조명 왜곡된 색면, 복원 후 색면의 RGB값들이 나열하였다. 이를 비교해보면, 본 발명의 색채 복원 방법에 의하면 조명에 의한 심한 왜곡을 거의 근사치와 가깝게 원래대로 복원해 준다는 사실을 알 수 있다.In addition, as shown in FIG. 6, the RGB values of the 16 original color planes, the illumination distorted color planes, and the color planes after restoration are listed. In comparison, it can be seen that according to the color restoration method of the present invention, the severe distortion caused by the illumination is restored to its original state almost close to the approximation.
이러한 본 발명의 색채 복원 방법은, 반도체 칩과 같은 색채 복원 시스템(장치) 등에 적용되어 하드웨어의 형태로 제작될 수 있고, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.The color restoration method of the present invention can be applied to a color restoration system (apparatus) such as a semiconductor chip or the like to be manufactured in the form of hardware, and the present invention also provides a computer-readable code on a computer-readable recording medium. It is possible to implement
컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.Examples of computer-readable recording media include ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트 워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상을 해치지 않는 범위 내에서 당업자에 의한 변형이 가능함은 물론이다.The present invention is not limited to the above-described embodiments, and of course, modifications may be made by those skilled in the art without departing from the spirit of the present invention.
예컨대, 본 발명의 실시예에서는 밝기나 콘트라스트 등에 대하여 설명하였으나 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 각종 이미지 개선방법 등이 사용될 수 있는 것이다.For example, although embodiments of the present invention have been described with respect to brightness and contrast, various image improvement methods and the like may be used without departing from the technical spirit of the present invention.
따라서, 본 발명에서 권리를 청구하는 범위는 상세한 설명의 범위 내로 정해지는 것이 아니라 후술되는 청구범위와 이의 기술적 사상에 의해 한정될 것이다.Therefore, the scope of the claims in the present invention will not be defined within the scope of the detailed description, but will be defined by the following claims and the technical spirit thereof.
이상에서와 같이 본 발명의 색채 복원 방법과, 색채 복원 시스템 및 이 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 의하면, 인간의 색채항등성 능력에 비견할 만한 수행력을 지니고 있어 각종 영상편집기의 루틴으로 활용가치가 매우높고, 현재 많은 회사들이 디지털 카메라에 왜곡된 조명효과를 보정할 수 있는 칩을 개발하여 이를 카메라에 장착하는데 관심을 갖고 있는데 본 시스템은 선형모형에 기초하여 계산구조가 간결하고 계산 속도가 매우 빨라 이러한 요구를 수용할 수 있는 칩의 개발로 직결될 수 있는 효과를 갖는 것이다.As described above, the color restoration method, the color restoration system, and the computer-readable recording medium recording the method have performances comparable to those of human color identity. The utilization value is very high, and many companies are interested in developing a chip that can compensate for the distorted lighting effect in the digital camera and attaching it to the camera. Is very fast and has an effect that can directly lead to the development of a chip that can accommodate this demand.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0002261A KR100442320B1 (en) | 2002-01-15 | 2002-01-15 | Color recover method, color recover system and computer-readable medium recording the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0002261A KR100442320B1 (en) | 2002-01-15 | 2002-01-15 | Color recover method, color recover system and computer-readable medium recording the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020023311A KR20020023311A (en) | 2002-03-28 |
| KR100442320B1 true KR100442320B1 (en) | 2004-07-30 |
Family
ID=19718476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0002261A KR100442320B1 (en) | 2002-01-15 | 2002-01-15 | Color recover method, color recover system and computer-readable medium recording the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100442320B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220156979A1 (en) * | 2020-11-19 | 2022-05-19 | Yuanhao Yu | Method, system, and device for color measurement of a surface |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0698346A (en) * | 1992-09-11 | 1994-04-08 | Matsushita Electric Ind Co Ltd | White balance automatic adjustment circuit |
| JPH0766986A (en) * | 1993-08-25 | 1995-03-10 | Toyo Ink Mfg Co Ltd | Device and method for adjusting color balance |
| JPH0784283A (en) * | 1993-09-14 | 1995-03-31 | Sharp Corp | Reflection type liquid crystal projector |
| JPH10229499A (en) * | 1997-02-14 | 1998-08-25 | Nec Corp | Color transformation method, device therefor, and mechanical readable recording medium recording program |
| JP2000113174A (en) * | 1998-10-09 | 2000-04-21 | Nec Corp | Color matching method, color matching device and machine readable recording medium recorded with program |
-
2002
- 2002-01-15 KR KR10-2002-0002261A patent/KR100442320B1/en not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0698346A (en) * | 1992-09-11 | 1994-04-08 | Matsushita Electric Ind Co Ltd | White balance automatic adjustment circuit |
| JPH0766986A (en) * | 1993-08-25 | 1995-03-10 | Toyo Ink Mfg Co Ltd | Device and method for adjusting color balance |
| JPH0784283A (en) * | 1993-09-14 | 1995-03-31 | Sharp Corp | Reflection type liquid crystal projector |
| JPH10229499A (en) * | 1997-02-14 | 1998-08-25 | Nec Corp | Color transformation method, device therefor, and mechanical readable recording medium recording program |
| JP2000113174A (en) * | 1998-10-09 | 2000-04-21 | Nec Corp | Color matching method, color matching device and machine readable recording medium recorded with program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220156979A1 (en) * | 2020-11-19 | 2022-05-19 | Yuanhao Yu | Method, system, and device for color measurement of a surface |
| US11810329B2 (en) * | 2020-11-19 | 2023-11-07 | Huawei Technologies Co., Ltd. | Method, system, and device for color measurement of a surface |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020023311A (en) | 2002-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9020257B2 (en) | Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image | |
| Goshtasby | Fusion of multi-exposure images | |
| US6868190B1 (en) | Methods for automatically and semi-automatically transforming digital image data to provide a desired image look | |
| US9275445B2 (en) | High dynamic range and tone mapping imaging techniques | |
| US8374425B2 (en) | Method of chromatic classification of pixels and method of adaptive enhancement of a color image | |
| KR100933282B1 (en) | Color restoration method and system | |
| CN107292830B (en) | Low-illumination image enhancement and evaluation method | |
| Xu et al. | Correction of clipped pixels in color images | |
| Herscovitz et al. | A modified multi scale retinex algorithm with an improved global impressionof brightness for wide dynamic range pictures | |
| Zhang et al. | Fast color correction using principal regions mapping in different color spaces | |
| US7508993B2 (en) | System and process for automatic exposure correction in an image | |
| CN110415193A (en) | The restored method of coal mine low-light (level) blurred picture | |
| Bhukhanwala et al. | Automated global enhancement of digitized photographs | |
| US7532359B2 (en) | System and process for automatic color and exposure correction in an image | |
| KR100442320B1 (en) | Color recover method, color recover system and computer-readable medium recording the method | |
| Chung et al. | Under-exposed image enhancement using exposure compensation | |
| KR20150040559A (en) | Apparatus for Improving Image Quality and Computer-Readable Recording Medium with Program Therefor | |
| Sie et al. | Alignment-free exposure fusion of image pairs | |
| Mittal et al. | An efficient video enhancement method using LA* B* analysis | |
| Restrepo et al. | Filtering and luminance correction for aged photographs | |
| Trongtirakul et al. | Color restoration of multispectral images: near-infrared (NIR) filter-to-color (RGB) image | |
| Lee | HDR image synthesis using visual brightness mapping and local surround-based image fusion | |
| Ghadekar et al. | Nighttime Haze Removal using Multi-Scale Exposure Fusion | |
| Voronin et al. | Image haze removal using block-based multiscale enhancement method | |
| Chatzis et al. | Non-parametric estimation of camera function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20100518 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |