KR101005625B1 - 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법 - Google Patents

Abstract

본 발명은 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 관한 것으로서, 보다 구체적으로는 (1) 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계; (2) 상기 측정된 밝기-색상 데이터를 이용하여 상기 카메라의 비선형 특성 곡선을 도출하는 단계; 및 (3) 입력 영상에 대하여 상기 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

본 발명의 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 따르면, 카메라의 비선형 밝기 응답 곡선을 이용하여 계산량을 줄이면서도 효과적으로 영상의 색상을 보정할 수 있다. 또한, 카메라에 내장하기에 적합하도록, 빠른 수행 시간과 높은 정확도를 가지는 색 보정 알고리즘을 제공할 수 있으며, 실제 소프트웨어 노출 보정(software bracketing)에도 이용할 수 있다.

카메라, 색(상) 보정, 색상 특성

Description

카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법{A METHOD FOR COLOR COMPENSATION BASED ON COLOR CHARACTERISTIC CURVE OF A CAMERA}

본 발명은 색 보정 방법에 관한 것으로서, 보다 구체적으로는 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 관한 것이다.

디지털 영상의 화질을 개선하려는 노력은 오래전부터 계속되어 왔지만, 특히 근래에 들어 디지털 카메라 및 디지털 TV 등의 보급이 확대되면서 그 필요성이 증가하고 있다. 인간은 영상을 밝기, 색상 및 채도 성분으로 구분하여 인식하고, 밝기 대비가 선명한 영상을 좋은 영상으로 인지한다고 알려져 있다. 이와 같은 인지 사실에 기초하여 디지털 카메라로 촬영한 영상의 화질을 향상시키기 위한 영상 처리 방법으로 히스토그램 평활화(histogram equalizer) 방법이 사용되었다(“Digital Image Processing”, (Gonzalez, R.G. and Woods, R.E. 2nd Ed., Prentice-Hall, (2002))). 이 방법은 사진에서 표현될 수 있는 모든 밝기를 모두 균등하게 사용하여 영상의 대비(contrast)를 향상시킨다. 이때 밝기의 변화는 색상 및 채도에 영향을 미치게 되므로, 밝기의 변화에 따라 색상도 바꾸어야 한다는 점이 문제가 되었다.

이와 같은 문제점을 해결하여 밝기의 변화에 따라 색상도 함께 보정하려는 시도로서, Color histogram equalization에서는 3차원 색도 공간에서의 histogram을 평활화하는 방법인 "Color image enhancement through 3-D histogram equalization", (Trahanias, P.E. and Venetsanopoulos, A.N., ICPR, III, 545-548, Hague, Netherlands (1992)), "Color Histogram Equalization using Probability Smoothing", (Bassiou, N. and Kotropoulos, C., Proc. of European Signal Processing Conference (EUSIPCO 2006), Florence, Italy (2006))과 명암을 변화시킨 후에 채도 변화를 고려한 방법인 "Hue-based color saturation compensation",(Huang, Y., Hui, L. and Goh, K.H., IEEE International Conference on Consumer Electronics, pp. 160-164, Sept. 1-3, 2004), "Saturation Enhancement Considering Hue and Intensity in Color Images", (Yang, H.Y., Kim, H.J., Lee, J.A., Oh. S.G. and Kim, W.Y., Korean Signal Processing Conference, 2006), 카메라의 컬러 특성을 촬영한 데이터베이스를 사용한 방법인 "Color compensation of histogram equalized images", (Lee, H.W., Yang, S.J. and Lee, B.U., IS&T/SPIE Electronic Imaging, SPIE Vol. 7241, Jan. 18-22, San Jose, USA, 2009.) 등이 제안되었다.

Trahanias 등은 grey-level histogram equalization 방법을 color 영상으로 확장하였는데, 이것은 RGB 3차원 색도 공간에서 uniform histogram을 획득하여 color 영상에 적용한 것이다. 그러나 단순히 grey-level histogram equalization 기법을 각 밴드마다 수행하는 것은 밴드 사이의 correlation으로 인해 적합하지 않았기 때문에 uniform histogram이 구체화되는 3D histogram specification method를 사용하여 이러한 문제점을 완화하였다. Huang 등은 밝기 히스토그램 평활화를 이용하여 명암도 대비를 향상시킨 후, 명암도 변화율과 가중치 함수를 이용하여 채도를 보정하였다. 여기서, 명암도 변화율은 히스토그램 평활화 전후의 명암도 변화의 정도를 말하며, 가중치 함수는 일정한 밝기 변화에서 각 색상별 채도의 변화율을 의미한다. 채도의 보정은, 색채 성분(chrominance component)의 이득 값을 조정함으로써 수행될 수 있다. 인간은 동일한 밝기의 변화에 대해서도 각 색상마다 느끼는 채도 인지율이 다르기 때문에, 색상별로 채도 보정을 다르게 해야 한다. 이에 따라 Huang 등은 이러한 인간의 시각 특성을 기반으로 하여 밝기 변화율에 대하여 색상마다 다른 가중치를 주어 채도를 보정하는 방법을 제안하였다. 그러나 이 경우 색상의 고유 특성에 대한 영상의 밝기, 색상 및 채도 성분을 인식하는 인간의 시각 특성을 반영한 영상 화질 개선 방법을 사용함으로써 영상의 화질은 개선하고 있지만, 명암 대비 향상 효과가 전체적으로 크게 나타난 경우에 과도하게 색채 신호가 보정되는 문제가 발생하였다. 따라서 보다 사실적인 영상의 색상 보정이 가능하도록 하기 위하여 영상을 측정한 카메라의 고유 색상 특성을 반영하여 색상 보정을 하는 방법이 Lee 등에 의해 제안되었다.

일반적으로 실제 영상과 이 영상을 카메라로 찍은 후의 이미지 영상은 각 영상의 성분들의 값이 달라지는데, 이것은 여러 환경들의 영향으로 인한 것이며, 그 중에서도 특히 카메라의 색상 특성 때문이다. 즉, 동일한 영상이라 하더라도 서로 다른 카메라를 통해 사진을 찍었을 때, 각 사진들은 서로 다른 영상 성분 값을 가지게 된다. 따라서 인간의 시각 특성만을 고려한 영상 색상 보정은 카메라에서 처리되는 색상의 왜곡을 보정할 수 없게 되는 문제가 있다. 이를 해결하기 위해 Lee 등은 이러한 카메라의 특성을 반영한 색상 데이터를 이용하여 색상 보정을 하였으며, 그 결과 더 사실적인 영상을 제공할 수 있게 되었다. 하지만 이러한 Lee 등의 방법은 영상의 밝기 변화에 따른 채도 변화율을 나타내는 밝기-색상 측정 데이터를 다루기 때문에 계산량이 많으며, 수행 시간이 오래 걸린다는 문제점이 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 계산량을 줄이면서도 효과적으로 영상의 색상을 보정할 수 있는 카메라 색상 보정 알고리즘을 제공하는 것을 목적으로 한다. 또한, 카메라에 내장하기에 적합하도록, 수행 시간이 빠르고 높은 정확도를 가지는 카메라 색상 보정 알고리즘을 제공하는 것을 다른 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법은,

(1) 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계;

(2) 상기 측정된 밝기-색상 데이터를 이용하여 상기 카메라의 비선형 특성 곡선을 도출하는 단계; 및

(3) 입력 영상에 대하여 상기 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 단계 (1)은, 고정된 테스트 영상에 대하여 상기 카메라의 노출 시간을 바꾸어 가면서 촬영하여 상기 카메라에 대한 밝기-색상 데이터를 측정할 수 있다.

바람직하게는,

상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,

상기 단계 (3)은,

상기 R, G, B 각각의 채널에 대하여 도출된 상기 밝기 응답 곡선에 대하여 미리 설정된 노출 시간 변화량만큼 촬영된 영상의 각 픽셀에 대한 Δb_i값 (Δb_i=(lnE_i+lnΔt_j))을 구하는 단계;

상기 구해진 Δb_i을 상기 밝기 응답 곡선에 역맵핑하여 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)을 구하는 단계; 및

상기 촬영된 영상에 대하여 구해진 상기 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)을 적용하여 색상을 보정하는 단계를 포함할 수 있다.

바람직하게는,

상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,

상기 단계 (3)은,

상기 촬영된 영상의 Y채널(I_Yi)에 대하여 히스토그램 평활화(gray-level histogram equalization)를 수행하여 상기 촬영된 영상의 Y채널과 상기 히스토그램 평활화를 수행한 후의 Y성분의 밝기 변화량(Δα_i)을 산출하는 단계;

아래의 수학식을 만족하는 상기 카메라의 밝기 응답 곡선을 이용하여 상기 산출한 밝기 변화량(Δα_i)에 대한 노출 시간 변화량(Δb_i, 여기서 Δb_i=(lnE_i+lnΔt_j))을 파악하는 단계;

상기 촬영된 영상의 R, G, B 채널 각각에 대해 상기 파악된 노출 시간 변화량(Δb_i)에 대한 R, G, B 채널 각각에 대한 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)을 측정하는 단계; 및

상기 촬영된 영상의 R, G, B 채널 각각에 대하여 상기 측정된 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)만큼 밝기를 보정하여 색상 보정을 수행하는 단계를 포함할 수 있다.

<수학식>

여기서, E_i는 픽셀 i에 대해 영상 센서 혹은 필름의 irradiance 값을, Δt_j는 카메라의 노출시간을 나타낸다. 또한, Z_ij는 픽셀 값을 나타내며, i는 픽셀들에 대한 위치 인덱스이고, j는 노출시간 Δt_j의 인덱스이다.

바람직하게는,

상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,

상기 단계 (3)은,

상기 촬영된 영상에 대하여 노출시간(Δt_j)을 설정하는 단계;

상기 촬영된 영상의 노출시간과 상기 설정된 노출시간(Δt_j)의 노출시간 변화량(Δb_i)을 구하는 단계;

상기 R, G, B 각각의 채널에 대한 밝기 응답 곡선을 역매핑하여 밝기 변화량을 산출하는 단계; 및

상기 산출된 밝기 변화량을 R, G, B 채널 각 화소에 적용하여 밝기가 변화된 영상을 획득하는 단계를 포함할 수 있다.

본 발명의 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 따르면, 카메라의 비선형 밝기 응답 곡선을 이용하여 계산량을 줄이면서도 효과적으로 영상의 색상을 보정할 수 있다. 또한, 카메라에 내장하기에 적합하도록, 빠른 수행 시간과 높은 정확도를 가지는 색 보정 알고리즘을 제공할 수 있으며, 실제 소프트웨어 노출 보정(software bracketing)에도 이용할 수 있다.

이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시예에 대하여 상 세하게 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법은, 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계(S110), 측정된 밝기-색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출하는 단계(S120), 및 입력영상에 대하여 단계 S120에서 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계(S130)를 포함한다.

단계 S110은, 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 과정으로서, 예컨대 고정된 테스트 영상에 대하여 카메라의 노출 시간을 바꾸어 가면서 촬영하여 카메라에 대한 밝기-색상 데이터를 측정할 수 있다. 이때 사용되는 고정된 테스트 영상은 임의로 구성할 수 있으며, 그 일 예가 도 2에 도시되어 있다.

도 2는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 사용된 테스트 영상을 나타낸 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서는 영상을 측정한 카메라의 특성을 반영하여 보다 사실적인 영상의 색상 보정을 한다. 일반적으로 실제 영상과 이 영상을 카메 라로 찍은 후의 이미지 영상은 각 영상의 성분들의 값이 달라지며, 이것은 여러 고려 환경들의 영향으로 인한 것인데, 그 중 가장 큰 이유는 카메라의 색상 특성 때문이다. 즉, 동일한 영상이라 하더라도 서로 다른 카메라를 통해 사진을 찍게 되면, 각 사진들이 서로 다른 영상 성분 값을 가지게 된다. 따라서 인간의 시각 특성만을 고려한 영상의 색상 보정은 카메라에서 처리되는 색상의 왜곡을 보정할 수 없게 된다. 그러므로 본 발명에서는 이러한 카메라의 특성을 반영한 색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출해 내고, 이를 적용하여 인간의 시각 특성에 맞는 색상 보정을 수행하도록 한다. 이를 위해 단계 S110에서 측정된 밝기-색상 측정 데이터를 이용하여 다음의 단계 S120에서 R(Red), G(Green), B(Blue) 각각의 채널에 대해 카메라의 비선형 밝기 응답 곡선을 구하게 된다("Recovering High Dynamic Range Radiance Maps from Photographs", (P. E. Debevec and J. Malik, Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pp. 369-378, 1997)).

단계 S120은, 측정된 밝기-색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출하는 단계로서, 단계 S110에서 측정된 밝기-색상 데이터를 이용하여 R, G, B 각각의 채널에 대한 카메라의 밝기 응답 곡선을 도출하는 과정이다. 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 사용한 색 보정 방법에서 카메라의 밝기 응답 곡선은 도 3과 같이 표현될 수 있다.

도 3은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 카메라의 비선형 밝기 응답 곡선을 나타낸 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서는 카메라의 밝기에 따른 색상 변화의 응답 곡선을 사용하는 일례로서, 밝기 응답 곡선을 구하기 위한 다양한 방법들 중 Debevec 등이 제안한 방법을 사용하여 밝기 응답 곡선을 구하도록 한다. 카메라의 비선형 밝기 응답 곡선을 구하는 과정은 다음과 같다. 도 3에서의 카메라 색상 특성 곡선을 사용한 색 보정 방법(알고리즘)은 reciprocity라고 알려진 이미징 시스템의 광화학적 또는 전자적인 물리적 속성을 활용하는 것으로서, reciprocity는 사진에 있어서, 빛에 민감한 물질의 노출(exposure)을 결정하는 빛의 노출 시간과 빛의 밝기(intensity) 간의 역관계를 나타내는 용어이다. 통상 영상 센서 혹은 필름의 일반적인 노출 범위에서 reciprocity law는 exposure = intensity x time으로 정의될 수 있다. 그러면 우선 영상 센서 혹은 필름의 reciprocity 식을 다음의 수학식 1과 같이 구할 수 있다.

본 발명에 따른 카메라 색상 특성 곡선을 사용한 색 보정 방법(알고리즘)의 입력 값은 동일한 지점에서 서로 다른 노출시간 t_j동안 얻어진 디지털화된 사진들이 된다. 그리고 이러한 디지털화된 사진들에서의 픽셀 값을 Z_ij로 표시하며, 픽셀 i에 대해 영상 센서 혹은 필름의 irradiance 값을 E_i라 한다. 여기서 i는 픽셀들에 대한 위치 인덱스이고, j는 노출시간 t_j의 인덱스를 나타낸다. 수학식 1에서 f를 단조함수라고 가정하면 역변환이 가능하고, 이에 대해 역변환된 결과는 수학식 2와 같이 표현할 수 있다.

수학식 2에서 양쪽에 자연로그를 취하고, 이라 정의하면, 수학식 2는 다음의 수학식 3과 같이 표현할 수 있으며, 이렇게 구해진 수학식 3으로부터 우리가 구하고자 하는 카메라의 밝기 응답 곡선을 도출할 수 있다.

수학식 3에서 카메라의 비선형 밝기 응답 곡선의 픽셀 i의 범위는 전체 픽셀이고, 노출 시간 j의 범위는 변화된 전체 노출시간이다. 수학식 3에서 카메라의 비선형 밝기 응답 곡선을 구하기 위해서는 픽셀 i에 대한 영상 센서 혹은 필름의 irradiance 값인 E_i 또는 g(Z_ij)값을 알아야 한다. 이는 최소자승오차법(least- squared error sense)에 기초하여 주어진 노출 시간 간격 중에서 가장 만족되는 irradiance E_i를 구함으로써 함수 g를 알아내고, 도 3과 같은 비선형 밝기 응답 곡선을 그릴 수 있게 된다. 여기서 최소자승오차법 및 픽셀 i에 대한 영상 센서 혹은 필름의 irradiance 값인 E_i을 구하는 방법은 당업자라면 누구나 알 수 있는 방법이므로 이에 대한 상세한 설명은 생략하도록 하고, 필요하다면 앞서 소개한 방법("Recovering High Dynamic Range Radiance Maps from Photographs", (P.E. Debevec and J. Malik, Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pp. 369-378, 1997))을 참조하도록 한다.

단계 S130은, 입력 영상에 대하여 단계 S120에서 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계로서, 단계 S120에서 도출된 비선형 특성 곡선을 이용하여 색상 보정을 수행하는 방법에 대하여는 도 3과 도 4를 통해 설명한다.

도 4는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법은, R, G, B 각각의 채널에 대하여 도출된 밝기 응답 곡선에 대하여 미리 설정된 노출 시간 변화량만큼 입력 영상의 각 픽셀에 대한 Δb_i값(Δb_i=(lnE_i+lnΔt_j))을 구하는 단계(S132), 구해진 Δb_i값을 밝기 응답 곡선에 역맵핑하여 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)을 구하는 단계(S134), 및 입력 영상에 대하여 구해진 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)을 적용하여 색상을 보정하는 단계(S136)를 포함할 수 있다.

단계 S132에서는 단계 S120에서 R, G, B 각각의 채널에 대하여 도출된 밝기 응답 곡선에 대하여 미리 설정된 노출 시간 변화량만큼 입력 영상의 각 픽셀에 대한 Δb_i값(Δb_i=(lnE_i+lnΔt_j))을 구하는 과정이다. 여기서 구해진 Δb_i값을 단계 S134에서 밝기 응답 곡선에 역맵핑하여 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)을 구한다. 이때 구해진 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)이 입력 영상이 카메라에 의해 왜곡되는 밝기 변화량에 해당한다. 따라서 단계 S136에서는, 입력 영상에 대하여 단계 S134에서 구해진 밝기 변화량(Δα_Ri, Δα_Gi, Δα_Bi)을 적용함으로써 Δα_Ri, Δα_Gi, Δα_Bi의 크기만큼 밝기가 보정된 출력 영상을 획득할 수 있게 된다. 이 방법은 컬러 히스토그램 평활화(color histogram equalization)를 개선하는 데에도 사용할 수 있으며, 본 발명에서 기존의 컬러 히스토그램 평활화(color histogram equalization)에 카메라의 특성 곡선을 적용하여 개선한 카메라의 특성이 반영된 컬러 히스토그램 평활화(color histogram equalization)의 적용 결과를 도 5에 도시하고 있다.

도 5는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 수행방법에서 히스토그램 평활화를 수행하여 보정하는 과정을 표현한 도면이고, 도 6은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법을 히스토그램 평활화에 적용한 방법의 흐름도이다. 도 5와 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선이 반영된 컬러 히스토그램 평활화 방법은 소프트웨어 노출 보정(software bracketing)과 달리 정해진 노출시간이 없으므로, 원영상의 Y채널(I_Yi)에 대해서만 그레이-레벨 히스토그램 평활화(gray-level histogram equalization)를 수행하고, 이를 통해 각 화소에 대한 각각의 노출시간 변화량을 구한다. 그리고 이 변화량을 RGB 각각의 채널에 적용하여 보정된 영상을 도출한다. 그 구체적인 과정을 다음과 같다. 우선 원 입력 영상의 Y채널(I_Yi: i번째 화소에서의 Y값)에 대해서 그레이-레벨 히스토그램 평활화를 수행하여 입력 영상의 Y채널과 히스토그램 평활화를 수행한 후의 Y성분의 밝기 변화량(Δα_i)을 산출한다(S141). 이때 히스토그램 평활화한 후의 밝기를 I_Yi' 라고 하자. 그리고 각 화소에 대해 원영상의 Y채널과 히스토그램 평활화 후의 Y성분의 밝기 변화량(Δα_i)을 계산하면 아래의 수학식 4와 같이 표현할 수 있다.

그 다음, 카메라의 밝기 응답 곡선을 이용하여 앞서 산출한 밝기 변화량(Δα_i)에 대한 노출시간 변화량에 따른 lnE_i+lnΔt_j값의 변화량(Δb_i)을 파악한다(S143). 그리고 원 입력 영상의 RGB 도메인에서 R, G, B 채널에 대해 각각의 밝기 응답 곡선을 이용하여 Δb_i에 대한 밝기 변화량, Δα_Ri, Δα_Gi, Δα_Bi를 측정한다(S145). 이때 측정된 그 변화량만큼 원영상의 밝기를 R, G, B 각각의 채널에 대해 이동하여 보정된 값(I_Ri', I_Gi', I_Bi')을 얻는다(도 3 참조). 이를 식으로 나타내면 다음의 수학식 5와 같이 표현할 수 있다.

위의 과정을 각 화소 별로 수행하여 컬러 히스토그램 평활화(color histogram equalization)의 결과 영상 I'을 얻는다(S147). 위의 수학식 5와 도 3을 통해 원영상의 각 화소들은 각 화소 별로 각각의 노출시간에 대해 밝기 응답 곡선을 이용하여 변화된 값으로 맵핑된다는 것을 알 수 있다. 도 5 및 도 6은 그 과정 및 결과를 나타낸 것이고, 도 7은 컬러 히스토그램 평활화를 수행한 결과를 기 존의 방법과 비교하여 보여준 것이다.

도 7은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 다양한 알고리즘을 이용해 입력 영상을 보정한 결과를 나타낸 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 성능을 분석하기 위하여 앞에서 설명한 컬러 히스토그램 평활화의 4가지 방법을 비교하여 다음과 같은 실험을 수행하였다. 도 7에서 (a)는 원영상, (b)는 3D 히스토그램 평활화를 수행한 결과 영상, (c)는 Huang에 의해 제안된 hue에 기초한 색상보정 방법을 수행한 결과 영상, (d)는 Lee에 의해 제안된 test pattern의 database에 기초한 색상보정 방법을 수행한 결과 영상이고, 마지막으로 (e)는 본 발명에 따른 비선형 밝기 응답 곡선을 이용하는 알고리즘을 수행한 결과 영상이다. 도 7의 (c), (d), (e)는 모두 거의 비슷한 색상을 보이기는 하나, 도 7의 (c)의 영상의 색상이 조금 더 두드러져 보인다. 즉, 채도 보정이 과도하게 되어 더 선명한 색상을 나타내기는 하지만 실제보다 부자연스러운 영상을 보인다. 그에 반해 본 발명에서 제안한 방법으로 수행한 영상(e)은 더욱 자연스러운 컬러 보정이 되는 것을 볼 수 있다.

도 8은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 각 알고리즘에 대한 셔터 스피드(shutter speed)를 1/500에서 1/200으로 바꾼 결과를 나타낸 도면이다. 도 8에서 (a)는 1/500 원 영상, (b)는 1/200 정답 영상, (c)는 Huang에 의해 제안된 hue에 기초한 색상보정 방법을 수행한 결과 영상, (d)는 Lee에 의해 제안된 test pattern의 database에 기초한 색상보정 방법을 수행한 결과 영상, (e)는 본 발명에 따른 비선형 밝기 응답 곡선을 이용하는 알고리즘을 수행한 결과 영상이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 성능을 분석하기 위하여, 도 7에서 사용된 방법들을 실제 소프트웨어 노출보정(software bracketing)에 적용시킬 수 있다. 최근의 고급형 디지털 카메라에는 최적의 영상을 얻기 위해 자동으로 노출시간을 바꾸어 가며 사진을 여러 장 촬영할 수 있는 자동 노출 보정(auto exposure bracketing, 이하 AEB) 기능이 있다. 본 발명을 적용하면, 이러한 자동 노출 보정 기능으로 촬영하는 것을 대신하여 소프트웨어적으로 노출 보정을 하는 방법이 가능하다. 따라서 촬영된 영상을 사후에 처리(post processing)하여 최적의 노출조건의 영상을 계산할 수 있다. 즉, 기존에는 한 영상에 대해 노출시간을 바꾸어 가며 촬영하고 싶을 때, 수동으로 직접 찍어야 했지만, 위의 방법들을 적용하면 촬영된 영상을 사후에 처리(post processing)하여 최적의 노출 조건의 영상을 계산할 수 있다. 본 발명에서 소프트웨어 노출 보정(software bracketing)을 수행하는 과정은 다음의 도 9를 통해 설명한다.

도 9는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 카메라 색상 특성 곡선이 적용된 노출 보정 방법의 흐름도이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 노출 보정 방법은, 우선 카메라의 특성을 반영한 밝기-색상 데이터를 측정한다(S210). 예컨대 고정된 테스트 영상에 대하여 카메라의 노출 시간을 바꾸어 가면서 촬영하여 카메라에 대한 밝기-색상 데이터를 측정할 수 있다. 이때 사용되는 고정된 테스트 영상의 일례가 도 2에 도시되어 있으며, 이는 앞의 단계 S110과 동일한 과정에 해당한다. 그 후, 단계 S210에서 측정된 밝기-색상 데이터를 이용하여 카메라의 밝기 응답 곡선을 도출하는데, 이는 앞의 단계 S120과 동일한 과정에 해당한다. 이렇게 도 1의 단계 S110과 단계 S120에서 구한 비선형 밝기 응답 곡선을 도 3의 오른 쪽 그림과 같이 R, G, B 각각의 채널에 대해 구성한 후, 촬영된 영상에 대하여 사용자가 원하는 노출시간(Δt_j)을 새로이 설정하고(S230), 기존 촬영된 영상의 노출시간과 사용자에 의해 새로이 설정된 노출시간(Δt_j)의 노출시간 변화량(Δb_i)을 구한다(S240). 이때 기존 촬영된 영상에서의 노출시간과 사용자가 새로이 원하는 노출시간의 변화량(Δb_i)은 식 lnE_i+lnΔt_j에 의해 구해진다. 단계 S240에서 구해진 노출 시간 변화량(Δb_i)에 의해 카메라로 촬영된 영상의 노출을 주어진 양만큼 변화시키게 된다. 촬영된 영상의 노출을 변화시키는 과정은 단계 S250 및 단계 S260으로서, 단계 S110 및 S120에서 구해진 R, G, B 각각의 채널에 대한 밝기 응답 곡선을 역매핑하여 밝기 변화량(Δα_i)을 산출하게 되고, 그 크기만큼 R, G, B 각 채널에 대해 밝기를 변화시킨다. 이 방식을 각 화 소에 적용하여 노출시간의 변화에 따라 밝기가 변화된 출력 영상을 획득한다. 도 8은 그 결과를 기존의 방법들과 비교하여 보여준 것이고, 표 1은 각 방법들에 대한 rms 오차 값이다.

	(c)	(d)	(e)
rms error	0.0363	0.0176	0.0117

표 1은 실제로 촬영한 정답 영상과의 rms error를 정리한 것이며, 표 1로부터 본 발명에 따른 비선형 밝기 응답 곡선을 이용한 방법(e)이 실제 영상과 가장 유사한 결과를 보여준다는 것을 분명하게 확인할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

도 1은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도.

도 2는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에 사용된 테스트 영상을 나타낸 도면.

도 3은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 카메라의 비선형 밝기 응답 곡선을 나타낸 도면.

도 4는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 흐름도.

도 5는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 수행방법에서 히스토그램 평활화를 수행 하여 보정하는 과정을 표현한 도면.

도 6은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법을 히스토그램 평활화에 적용한 방법의 흐름도.

도 7는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 다양한 알고리즘을 이용해 입력영상을 보정한 결과를 나타낸 도면.

도 8은 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법에서 각 알고리즘에 대한 셔터 스피드(shutter speed)를 1/500에서 1/200으로 바꾼 결과를 나타낸 도면.

도 9는 본 발명의 일실시예에 따른 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법의 카메라 색상 특성 곡선이 적용된 노출 보정 방법의 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

S110: 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계

S120: 측정된 밝기-색상 데이터를 이용하여 카메라의 비선형 특성 곡선을 도출하는 단계

S130: 입력 영상에 대하여 시각 특성에 맞는 색상 보정을 수행하는 단계

Claims (5)

1. 카메라 색상 특성 곡선을 이용한 색 보정 방법으로서,

   (1) 카메라의 특성을 반영한 밝기-색상 데이터를 측정하는 단계;

   (2) 상기 측정된 밝기-색상 데이터를 이용하여 상기 카메라의 비선형 특성 곡선을 도출하는 단계; 및

   (3) 촬영된 영상에 대하여 상기 도출된 비선형 특성 곡선을 적용하여 시각 특성에 맞는 색상 보정을 수행하는 단계를 포함하되,

   상기 카메라의 비선형 특성 곡선은 R, G, B 각각의 채널에 대한 상기 카메라의 밝기 응답 곡선이며,

   상기 단계 (3)은,

   상기 촬영된 영상의 Y채널(I_Yi)에 대하여 히스토그램 평활화(gray-level histogram equalization)를 수행하여 상기 촬영된 영상의 Y채널과 상기 히스토그램 평활화를 수행한 후의 Y성분의 밝기 변화량(Δα_i)을 산출하는 단계;

   아래의 수학식을 만족하는 상기 카메라의 밝기 응답 곡선을 이용하여 상기 산출한 밝기 변화량(Δα_i)에 대한 노출 시간 변화량(Δb_i, 여기서 Δb_i=(lnE_i+lnΔt_j)이며, E_i는 픽셀 i에 대한 영상 센서 혹은 필름의 irradiance 값, Δt_j는 카메라의 노출시간, i는 픽셀들에 대한 위치 인덱스, j는 노출시간 Δt_j의 인덱스를 나타낸다.)을 파악하는 단계;

   상기 촬영된 영상의 R, G, B 채널 각각에 대해 상기 파악된 노출 시간 변화량(Δb_i)에 대한 R, G, B 채널 각각에 대한 밝기 변화량(ΔαR_i, ΔαG_i, ΔαB_i)을 측정하는 단계; 및

   상기 촬영된 영상의 R, G, B 채널 각각에 대하여 상기 측정된 밝기 변화량(ΔαR_i, ΔαG_i, ΔαB_i)만큼 밝기를 보정하여 색상 보정을 수행하는 단계를 포함하는 것을 특징으로 하는 카메라 색상 특성 곡선을 이용한 색 보정 방법.

   <수학식>

   

   여기서, f^-1은 영상 센서 혹은 필름의 reciprocity에 관한 단조함수인 f를 역변환한 함수이고, g는 카메라의 밝기 응답 곡선 함수이며, Z_ij는 픽셀 값을 나타낸다.
2. 제1항에 있어서, 상기 단계 (1)은,

   고정된 테스트 영상에 대하여 상기 카메라의 노출 시간을 바꾸어 가면서 촬영하여 상기 카메라에 대한 밝기-색상 데이터를 측정하는 것을 특징으로 하는 카메라 색상 특성 곡선을 이용한 색 보정 방법.
3. 삭제
4. 삭제
5. 삭제

Images