KR20070039347A

KR20070039347A - 칼라 영상의 화질 향상을 위한 방법 및 시스템

Info

Publication number: KR20070039347A
Application number: KR1020050094576A
Authority: KR
Inventors: 임채환; 김남철; 장익훈; 최두현
Original assignee: 삼성전자주식회사; 경북대학교 산학협력단
Priority date: 2005-10-07
Filing date: 2005-10-07
Publication date: 2007-04-11
Also published as: KR100771158B1

Abstract

본 발명은 칼라 영상의 화질 향상을 위한 방법 및 시스템에 관한 것으로, 특히 JND (just noticeable difference)기반의 SSR (single scale retinex)을 이용하여 조명 (illumination)이 불균일한 상태에서 획득한 칼라 영상에 대해 화질을 향상시키고자 하는 방법 및 시스템이다. 본 발명에서는 H, S ,V 컬러 영상에 대하여 색상(H; hue)은 원래대로 유지하면서 밝기(V; value)와 채도(S; saturation)를 향상시키되, 밝기(V)의 향상에는 먼저 조명 성분과 반사(reflectance) 성분의 곱으로 주어지는 밝기(V)의 형성모델에 근거하여 JND 기반의 저대역 필터의 사용으로조명 성분을 추정한 다음 원래의 밝기(V)와 추정된 조명성분에 반사와 조명의 분리를 위해 각각 로그(logarithm)연산을 취한후 원래의 밝기와 추정된 반사 성분의 일부 성분의 차에 의해 불균일한 조명이 보상된다. 상기 보상된 조명의 영상은 히스토그램 수정법(histogram modification)을 사용하여 출력 장치의 밝기 값의 범위에 맞도록 자동으로 맞추도록 한후 채도(S)는 밝기(V)의 향상된 비율에 비례하여 채도를 조정하면 원래의 색상(H)에서 향상된 밝기(V)와 채도(S)로 부터 향상된 칼라 영상이 얻어진다.

JND, 레티넥스, SSR

Description

칼라 영상의 화질 향상을 위한 방법 및 시스템{Method AND System For Enhancement Color Image Quality }

도 1은 종래의 입력영상에서 조명성분을 제거하여 반사성분을 추정하는 방법을 예시한 도면

도 2는 종래의 색상(H),채도(S),V(밝기)의 칼라좌표계를 이용하여 밝기(V)에만 적용예를 나타낸 도면

도 3은 본 발명의 실시예를 위한 JND기반 SSR을 이용한 칼라영상의 화질향상을 위한 도면

도 4는 본 발명의 실시예에 따른 JND기반 SSR을 이용한 칼라영상의 화질향상을 위한 흐름도

도 5는 본 발명의 향상된 칼라영상(5D)과 관측 영상(5A)과의 비교예시도

도 6은 본 발명의 실시예 따른 JND 기반 저대역필터의 필터링 특성도

본 발명은 SSR에 의한 칼라 영상 개선 방법 및 시스템에 관한 것으로, 특히 JND (Just Noticeable Difference)기반의 SSR (Single Scale Retinex)을 이용하여 조명(illumination)이 불균일한 상태에서 획득한 칼라 영상에 대해 화질을 향상시키는 방법 및 시스템에 관한 것이다.

휴대 단말이나 디지털 카메라를 이용하여 영상을 획득할 때 그 화질은 조명 상태에 따라 많은 영향을 받게 된다. 예를 들어 조명이 어둡거나 불균일하여 열화된 영상의 화질을 향상하는 방법들에는 게인 및 옵셋 (gain/offset) 수정법, 로그 함수나 감마 함수를 이용한 방법, 히스토그램 등화법(histogram equalization), 그리고 영상을 조명 성분과 반사 성분의 곱으로 주는 영상 생성 모델(image formation model)에 근거한 호모모르픽 필터링 (homomorphic filtering)이 있다. 상기 내용은 " A. K. Jain, Fundamentals of Digital Image Processing, Prentice-Hall, 1989. 와 R. C. Gonzalez, R. E. Woods, Digital Image Processing, Addison-Wesley, 1992." 와" T. K. Kim, J. K. Paik, and B. S. Kang, "Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering, IEEE Trans . Consumer Electronics, vol. 44, no. 1, pp. 82-86, Jan. 1998" 들에 개시하고 있다. 이 중 호모모르픽 필터링은 관측영상에 로그 연산을 취하고, 각각 로그 연산된 조명 성분과 반사 성분의 합으로 변환하면 주로 저주파 성분을 갖는 조명 성분은 억제하고, 고주파 성분을 갖는 반사 성분은 강조되며, 최종적으로 지수함수를 가하면 로그의 영향은 제거된다. 특별히 칼라 영상의 향상을 위한 목적으로 호모모르픽 필터링과 유사한 영상 형성 모델에 근거하여 불균일한 조명 성분을 보상하고자 하는 레티넥스(retinex) 방법들 있는데 이는 " Z. Rahman, D. Jobson, and G. A. Woodell, "Properties and performance of a center/surround retinex, IEEE Trans . Image Processing : Special Issue on Color Processing, vol. 6, pp. 451-462, no. 3, Mar. 1997. 와 D. J. Jobson, Z. Rahman, and G. A. Woodell, "A multi-scale retinex for bridging the gap between color images and the human observation of

scenes, IEEE Trans . Image Processing. vol. 6, no.7, July 1997."에서 제안된 바 있다. 상기 레티넥스 방법은 먼저 관측 영상으로 부터 저대역 필터를 사용하여 조명 성분을 추정한다. 그 후 관측 영상과 추정된 조명 성분에 각각 로그 연산을 취한 뒤 그 차를 구함으로써 반사 성분을 추정하게 되며, 마지막으로 추정된 반사 성분의 밝기 범위를 디스플레이 장치의 밝기 범위에 맞게 조정하게 되는데, 이러한 과정을 칼라 영상의 R, G, B 성분에 각각 적용하게 되며, 조명에 영향을 받지 않고 반사 성분에만 영향을 미치는 칼라 표현을 할 수 있다. 그러나 이 방법은 R, G, B가 서로 연관성이 없이 변화하기 때문에 추정한 조명 성분이 정확하지 않을때 색상 변화가 크게 발생할 수 있고, R, G, B 각각의 관측영상의 밝기와 추정된 조명 성분의 밝기 차가 일정한 경우 칼라가 회색으로 이동하는 효과(gray world)가 발생할 수 있다. 이 형상은 " R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, A variational framework for retinex, Int . J. Comput . Vision, vol. 52, no. 1, pp. 7-23, Jan. 2003." 에서 구체적으로 살펴 볼 수 있다.

또한, 관측 영상은 경계에서 급격하게 변화되지만 저대역 필터를 통해 추정된 조명 성분은 경계에서 완만하게 변화하기 때문에 도 5C의 50의 예와 같이 두 영상의 차에 의해 추정된 반사 성분이 경계 부근에서 어두운 곳은 더 어둡게 되고, 밝은 곳은 더 밝게 나타나는 후광 효과(halo effect)가 발생하게 된다. 한편 레티넥스 방법은 저대역 필터로 필터 탭의 길이가 짧은 필터를 사용하는 경우 국부적인 조명 성분으로 추정하기 때문에 후광 효과가 좁은 범위 내로 국한되어 나타나고, 영상의 세부적인 표현은 강조되지만 영상의 전체적인 대비는 잘 표현되지 않게 된다. 반대로 필터 탭의 길이가 긴 필터를 사용하게 되는 경우에는 전체적인 조명 성분을 추정하기 때문에 후광 효과가 넓게 나타나면서 영상의 전체적인 대비는 잘 표현하고 있지만 세부적인 표현은 강조하지 못하고 있다. 그리고 사용되는 필터의 개수에 따라 하나의 저대역 필터의 출력만을 사용하는 경우 " Z. Rahman, D. Jobson, and G. A. Woodell, "Properties and performance of a center/surround retinex, IEEE Trans . Image Processing : Special Issue on Color Processing, vol. 6, pp. 451-462, no. 3, Mar. 1997. "의 개시 내용과 같은 SSR과 " D. J. Jobson, Z. Rahman, and G. A. Woodell, "A multi-scale retinex for bridging the gap between color images and the human observation of scenes, IEEE Trans. Image Processing. vol. 6, no.7, July 1997"의 개시내용과 같이 여러 개의 저대역 필터의 출력을 사용하는 MSR(multi-scale retinex)로 구분할 수 있는데, 종래의 SSR의 경우 도 1의 개시와 같이 SSR에 의한 칼라영상 향상에 대해 입력 R G B칼라 영상에 대한 각성분 Ｕ_i(x,y)으로 다음(1)식과 같은 영상 생성 모델로 표현 할수 있다고 가정하면,

Ｕ_i(x,y)=I_i(x,y)ㆍＲ_i(x,y), i∈{Ｒ,Ｇ,Ｂ} ....(1)

여기서 I_i(x,y)와 Ｒ_i(x,y)는 각각 조명성분과 반사성분을 나타낸다. 이때 조명성분 I_i(x,y)는 Gaussian 함수 형태의 저대역 필터를 사용하여 다음(2)식과 같이 추정된다.

여기서

는 추정된 조명성분 *는 콘볼루션(Convolution)연산자,

그리고 Ｇ(x,y)는 다음 (3)식과 같이 표현되는 저대역 필터함수이다.

여기서 c는 Gaussian 주변 공간 크기(Surround Space Constant) K는 다음(4)식을 만족하는 정규화 상수이다.

∬F(x,y)dxdy=1 .......(4)

그러면 반사성분은 다음과 같이 [수학식 1]과 [수학식 2]에 각각 로그연산을 취한 후 그 차를 구하여 추정된다.

이경우 입력된 관측 영상 Ｕ_i(x,y)는 에지에서 급격하게 변화가 있지만 Gaussian 함수형태의 저 대역 필터에 의해 추정된 조명성분

는 완만하게 변화되기 때문에 두 영상의 차에 의해 추정된 반사성분은 에지 부근에서 관측 영상이 어두운 곳은 더 어둡게 되고, 밝은 곳은 더 밝게 되는 후광 효과가 발생한다. 마지막으로 다음과 (6)식 같은 게인 및 옵 셋 조정을 통하여 반사성분의 밝기 범위를 디스플레이 장치의 밝기범위에 맞게 조정하여 출력 영상을 얻게 된다.

여기서 O_i(x,y)는 출력 영상을 나타내고, a와 b는 게인 및 옵 셋 조정에 관련된 상수를 관련된 상수를 나타낸다. [수학식 6]에서 출력 영상은 수동으로 결정되는 상수 a 와 b의 값에 많은 영향을 받게 된다. MSR은 필터의 길이가 짧은 경우의 영상과 긴 경우의 영상을 같이 더한 효과를 얻게 되어 영상의 전체적인 대비를 잘 표현하면서 세부적인 표현 강조를 동시에 만족하는데, 이 또한 저대역 필터를 사용함으로써 발생하는 후광 효과는 다소 완화 시킬 수는 있으나 근본적으로 후 광효과에 대해 완전히 억제하지는 못한다. 이러한 후광 효과를 억제하기 위한 방법으로 " M. Ogata, T. Tsuchiya, T. Kubozono and K. Ueda, Dynamic range compression based on illumination compensation, IEEE Trans . Consumer Electronics, vol. 47, no. 3, Aug. 2001. "에서 제안하고

-필터를 이용하는데, 이경우 필터 창의 내부의 중심에 위치하는 밝기 값과 일정 크기 이상 차이가 나는 곳의 밝기 값이 중심의 밝기 값으로 대체하는 저대역 필터의 특성을 갖고 있는 데, 그러나 이필터의 경우도 클리핑을 위한 이론적 근거가 부족하며, 밝기 값의 크기가 역전될 수 있는 현상이 발생하는 단점이 있다.

따라서 본 발명의 목적은 기존의 하나의 필터를 사용하는 SSR을 기반으로 하되, 후광 효과 억제를 위하여 JND 기반의 저대역 필터를 사용하는 영상 향상 방법을 제공함에 있다.

본 발명의 목적은 JND 기반의 SSR을 이용한 칼라 영상 향상방법을 제공함에 있다.

본 발명의 다른 목적은 기존의 하나의 필터를 사용하는 SSR을 기반으로 하되 후광 효과 억제를 위하여 JND 기반의 저대역 필터를 사용하는 영상 향상 방법을 제공함에 있다.

본 발명의 또 다른 목적은 HSV 칼라 영상에 대하여 태양광과 같은 백색광 조명 상태라는 가정하에 색상은 원래대로 유지하며 밝기와 채도를 향상시키는 방법 및 시스템을 제공함에 있다.

본 발명의 또 다른 목적은 영상의 세부적인 표현을 강조하고 어두운 부분을 밝게 보여주는 방법 및 시스템을 제공함에 있다.

상기 목적을 수행하기 위한 본 발명은 칼라영상 향상을 위한 태양광과가 같는 백색 조명상태를 설정하는 설정과정과, 입력영상을 받아 색상(H)을 그대로 유지되면서 채도(S)와 밝기(V)를 향상시키기 위해 RGB좌표계를 HSV좌표계로 변환하는 RGB/HSV변환과정과, 밝기(V)에서 변화가 적은 조명성분을 이용하여 반사성분을 추정하기 위해 조명성분을 추정하는 조명추정과정과, 불균일한 조명에 의하여 열화된 화질의 조명의 영향을 제거하고 추정 조명성분의 일부만제거하여 반사성분에 의해 부자연스런 세부적인 표현이 강조되는 비율을 줄이는 반사성분추정과정과, 영상의 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 자동으로 맞추기 위한 히스토그램 수정과정과, 상기 히스토그램 수정값으로 부터 상기 밝기의 향상된 비율에 비례하여 채도를 향상시키기 위한 채도향상조절과정과, 출력영상을 출력장치와 동일한 칼라좌표계를 사용하기 위해 HSV좌표계를 RGB좌표계로 변환하는 HSV/RGB변환과정으로 구성된다.

상기 조명추정과정은 JND를 기반으로 중심화소에 대한 저대역필터내 창에서 중심화소와의 밝기 값의 차이가 일정 비율 이상인 곳은 사용하지 않도록 하는 과정을 포함하며, 필터의 길이가 짧은 필터를 이용하여 한번 반복 될때 마다 필터 탭의 간격이 일정 배수씩 넓어지는 필터의 반복적 적용으로 고속필터링을 수행하는 과정을 포함한다. 상기 JND 기반 저대역 필터는 경계와 같이 밝기 값의 변화가 큰부분 은 원래의 밝기 값으로 보존하고, 추정된 조명성분을 이용하여 추정된 반사 성분에서 후광효과가 발생치 않도록 하는 과정을 포함하도록 구성된다.

상기 반사성분추정과정은 입력 영상의 반사성분과 조명성분의 곱으로 하되, 입력영상의 원래 밝기와 상기 JND 기반 저대역필터를 통한 밝기중 조명과 반사성분을 분리하는 과정과, 상기 JND 기반 저대역필터를 거치면서 발생된 일부의 추정 조명성분을 제거하는 과정을 포함하도록 하되, 상기 조명과 반사성분을 분리는 로그연산에 의해 이루워지도록 구성된다.

상기 목적을 수행하기 위한 또 다른 본 발명은 밝기 향상에서는 JND 기반의 저대역 필터를 사용하여 조명성분을 추정하는 조명성분과정과, 상기 조명 성분 추정 값에 레티넥스 방법으로 반사성분을 추정하는 반사성분추정과정과, 상기 반사성분 추정 값으로 부터 부정확하게 추정된 조명 성분으로 인하여 추정된 반사 성분에 의한 재생 영상이 부자연스럽게 보이는 것을 보상하기 위해서 재생 영상에 추정된 조명성분의 일부만을 제거하여 불균일한 조명이 보상된 영상을 얻는 조명성분제거과정과, 상기 불균일한 조명이 보상된 영상으로부터 영상의 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 자동으로 맞추기 위하여 히스토그램 수정하는 히스토그램수정과정과, 상기 히스토그램 수정 값으로 부터 상기 밝기의 향상된 비율에 비례하여 채도를 향상시키기 위한 채도향상조절과정으로 구성된다.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설 명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 이하 첨부한 도면의 동일 참조 부호는 유사 또는 동일 기능을 있음을 밝혀둔다.

도 3는 본 발명의 실시 예를 위한 JND기반 SSR을 이용한 칼라 영상의 화질향상을 위한 도면으로써,

영상입력단(101)으로 RGB 칼라 영상을 RGB/HSV변환기(201)로 입력하면 색상( H),채도(S),밝기(V)의 칼라 영상으로 변환한 다음 백색광 조명 상태라는 가정하에 색상(H)은 그대로 유지하고 밝기(V)와 채도(s)를 향상시킨다. 밝기(V)의 향상에서는 JND 기반의 저대역 필터(301)를 사용하여 필터 창내의 중심화소의 값보다 큰값을 가질수록 약한 저역필터링으로 조명 성분을 추정한다. 후에 반사성분을 추정할때 반사성분에서 발생하는 후광 효과를 줄 일수 있다. 여기서 저대역 필터(301)은 1차원 필터로 가로 방향으로 필터링이 적용된 영상에다 1차원 필터를 세로 방향으로 적용한다. 필터탭의 길이는 짧은 필터를 이용하여 한번 반복 될때 마다 필터탭의 간격이 2배씩 넓어지는 필터를 반복적으로 적용하여 고속으로 저대역을 필터링 하도록 되어 있다. RGB/HSV변환기(201)의 출력에서 원래의 밝기(V)와 원레의 밝기(v)에 JND 기반의 저대역 필터(301)를 거친 추정 출력중 조명과 반사성분을 분리하기 위해 각각 로그(303,305)를 취하고, 상기 로그(305)를 취한 출력의 추정조명 및 반사성분 중 JND 기반의 저대역 필터(301)를 거치면서 발생된 일부의 추정조명성분 을 스켈러(308)의 조명 성분제거량(a)에 따라 제거하고, 가산기(309)에서 각각의 값으로 부터 차가 구해진다. 여기서 차로 발생된 값이 결국 본 발명의 추정된 반사성분이다. 다음 히스토그램 수정부(311)을 사용하여 출력장치에서의 밝기 값의 범위를 조정한다. 한편, RGB/HSV변환기(201)의 출력의 채도(S)는 밝기이득조절부(313)을 지난 밝기(V)의 향상된 비율에 따라 비례하여 채도향상조절부(315)에 의해 향상되며, 마지막으로 밝기(V)와 채도(s)의 향상된 값과 색상(H)은 출력영상을 출력장치와 동일한 칼라 좌표계를 사용하기 위해 HSV/RGB변환부(203)에서 HSV 칼라 영상을 RGB 칼라 영상으로 변환한다.

도 3의 예를 도 4의 흐름도를 참조하여 구체적으로 설명하면,

일단 (401)의 예와 같이 태양광과 같이 백색조명상태를 초기 설정조건으로 하고, 영상입력단(101)로 입력되는 (403)과정의 입력 영상신호는 다음과 같다.

Ｕ_i(x,y),i∈{Ｒ,Ｇ,Ｂ} i=입력영상의 i성분

도 3의 RGB/HSV변환기(201)에서 RGB 칼라 좌표계를 HSV 칼라 좌표계로 변환하는데, 여기서 변환을 시키는 이유는 백색 조명 상태이므로 색상(H; hue)는 그대로 유지한 상태에서 채도(S; saturation)와 밝기(V; value) 성분만을 향상하기 위한것이며, 이방법의 상세한 내용은 " R. W. G. Hunt. Measuring Color . Ellis Horwood Series in Applied Science and Industrial Technology , Halsted Press, New York, NY, 1989."에서 개시하고 있다.

도 4의 400으로 도시한 부분이 조명성분추정을 위한 JND기반 저역필터링 부분으로 RGB/HSV변환기(201)의 출력중 밝기{Ｕv(x,y)},채도{Ｕs(x,y)},색상{Ｕh(x,y)}에서 밝기(V)와 채도(S)를 향상시키고자 하는 것이다. (407)과정에서 (413)과정은 원래의 밝기에서 조명 성분은 변화가 적으므로 JND 기반 저대역 필터(301)를 통하여 조명성분을 추정하게 되는데, 추정된 조명 성분을 이용하여 다음 단계에서 반사 성분을 추정한다. 이를 위해 저대역 필터를 고속으로 수행하며, 이때 JND를 기반으로 중심 화소에 대한 저대역 필터 창 내에서 중심 화소와의 밝기 값의 차이가 일정 비율 이상인 곳은 저대역 필터에 사용하지 않도록 한다. 상기 JND 기반 저대역 필터(301)의 계수는 e(m,n)=e(m).e(n)으로 수평,수직방향으로 각자 분리되어 수행되며, e(m),e(n)은 모두 (1/4,2/4,1/4)인 짧은 탭의 필터를 이용하여 한번 반복 될 때 마다 필터 탭의 간격이 2배씩 넓어지는 필터를 수횟수 반복적으로 적용하여 고속 저대역 필터링이 수행되도록 한다. 그리고 필터링에 사용되는 역치와 세부적인 표현을 강조하는 값은 시험적으로 JND최대 어느 정도 이상의 사용하는 값과, JND최소 어느 정도 이하의 버리는 값 및 JND필터링 하면서 발생된 일부 조명성분의 제거 값은 목적하는 화질정도에 따라 결정된다. 이를 위해 (407)과정에서 필터의 반복된 횟수를 알기 위해 저장하는 변수 k를 초기화시키고, (409)과정에서일정횟수를 넘으면 다음 과정의 반사성분추정과정으로 가도록 한다. 웨버(Weber)법칙에 의하면 밝기가 균일한 영상에서 밝기 값의 변화를 감지할수 있는 국부 밝기 변화의 최소 JND 는 [수학식 7]과 같이 근사적으로 모델링 된다고 알려져 있다.

여기서 I는 영상의 균일한 밝기를 나타내고 JND(I)는 밝기I에 대한 JND값을 나타내고 c와 d는 상수이다. 이때 I가 어느 정도 밝을 경우 c 가 무시되고, I와 JND의 비율은 [수학식 8]의 일정한 값으로 표현된다.

[수학식 7]의 JND 모델을 이용하면 저대역 필터가 적용되는 필터 창 내의 중심 화소

에서의 밝기 Ｕ_V(x,y)와

에서

만큼 떨어진 곳의 밝기 Ｕ_V(x-m, y-n)의 차 △Ｕ_V(m,n)이 중심 화소의 JND 값보다 큰 경우에는 밝기 값의 차를 감지할 수 있다. 본 논문에서는 이러한 JND 특성을 이용하여 중심 화소에 대한 저대역 필터 창 내에서 중심 화소와의 밝기 값의 차를 감지할 수 있는 화소는 저대역 필터링에 사용하지 않도록 하여 원래의 밝기 값을 보존하는 필터링을 수행한다. 이러한 조건부 필터링을 위하여 다음과 같은 중심 화소

의 JND 값 JND(Ｕ_v(x,y))와 밝기의 차 △Ｕ_V(m,n)의 비 J(m,n)을 정의한다.

J(m,n): 중심화소(x,y)의 JND값 JND(Ｕ_V(x,y)와 밝기 차 △Ｕ_V(m,n)의 비

이때 J(m,n)이 1보다 큰 경우에는 △Ｕ_V(m,n)이 감지할 수 있는 밝기 차가 된다. 본 발명에서는 필터 성능 향상을 위해서 J(m,n)을 1이 아닌

와 비교한다. 즉 중심 화소

에 대한 저대역 필터 창 내에서 J(m,n)이

보다 큰 화소는 중심 화소

의 저대역 필터링에 사용하지 않는다. 그리고 J(m,n)이

보다 작은 화소는 J(m,n)값에 따라 저대역 필터링의 강약을 조절하여 필터링된다.

본 발명의 JND 기반의 저대역 필터를 사용한 밝기의 조명 성분 추정은 다음과 같이 표현된다

: 추정된 밝기의 조명 성분

e(m,n): 저대역 필터 계수

W: 필터 창

여기서

는 추정된 밝기의 조명 성분, e(m,n)은 저대역 필터 계수, W는 필터 창을 나타내고, λ(m,n)은 J(m,n)의 값에 따라 저대역 필터링의 강약 조절을 위한 함수로 다음(11식)과 같이 표현된다. 즉, 도 6의 예와 같이 밝기의 화상중 필 터창 내에서 화소

에 위치한 중심 화소 보다

만큼 떨어진 화소에 위치한 밝기값과 중심화소의 밝기 값과의 비[ J(m,n)]와 저대역 필터의 강약 조절을 위한 함수 값[λ(m,n)]의 관계로부터 상기 중심화소

에서

만큼 떨어진 화소의 밝기값 과 중심 화소의 밝기 값의 비 [J(m,n)]가 높으면 높을수록 저 대역 강약조절을 약하게 하여 선형(601)이 아닌 비선형(603)의 특성으로 나타나게 하는 필터링 방법에 의해 조명성분을 추정한다. 이특성은 중심화소의 값보다 큰값을 가질수록 약한 저대역를 사용하기 위한 것이며,이때 중심 화소의 값보다 큰 값을 가지는 화소의 밝기 값을 더 잘 유지할 수 있으며, 다음 반사 성분을 추정할 때 반사 성분에서 발생하는 후광 현상을 줄일 수 있다.

T_max : J(m,n) 최대 역치

T_min : J(m,n) 최소 역치

상기 (409)과정에서 목적하는 반복된 횟수가 넘어갈 시 JND 기반 필터링은 완료된 것이며, (415)과정의 반사추정과정을 거치는데, 상기 입력영상에서 추정 된 조명 영상의 반사 성분을 추정하기 위한 것으로 불균일한 조명에 의하여 열화된 화질의 영상에서 조명의 영향을 제거하여 영상의 화질을 개선토록 하는 것으로 반사 성분 만으로 구성된 영상은 세부적인 표현만이 강조되어 부자연스럽게 된다. 이를 보완하기 위하여 추정된 조명 성분을 일부만 제거하여 세부적인 표현에 대해 강조하는 비율을 줄인다. 이를 위해 원래의 밝기의 조명과 반사성분은 로그(303)에서 분리되고 JND기반저역통과필터(301)를 거친 추정 조명과 반사성분은 로그(305)를 거쳐 분리되어 JND 필터링을 거치면서 발생된 일부 조명성분에 대해 제거값( A)에 의해 스켈러(308)에서의 곱으로 모델링 된다. 즉, 상기 입력 영상의 밝기와 JND필터를 거친 밝기로 부터 반사와 조명 성분을 분리하기 위하여 각각 로그(303, 305)연산을 취한 다음 일부 조명성분에 대해 스켈러(308)에서 제거 환후 그 차를 가산기(309)에서 구함으로써 향상된 밝기 영상에 대해 다음(12)식 같이 반사 성분이 추정된다.

: 향상된 밝기 영상

a: 조명 성분의 일 부부만을 제거하기 위한 상수

여기서

는 향상된 밝기 영상을 나타내고, a는 조명 성분의 일부만을 제거하기 위한 상수이다.

마지막으로 (417)과정에서 " Reference: A. K. Jain, Fundamentals of Digital Image Processing, Prentice-Hall, 1989."의 개시와 같이 도 3의 히스토그램수정부(311)에서

의 히스토그램의 분포를 자동으로 변화시켜 출력 장치의 밝기 값의 범위에 맞게 자동으로 조절하기 위해 히스토그램 수정을 하게 된다. 상기 히스토그램 수정법에서 변환 함수 z(k)는 영상의 변환된 누적분포함수로서 조절 계수

의 값에 따라 다음(13)식과 같이 달라지게 된다.

z(k): v

영상의 변환된 누적 분포 함수

: k번째 밝기 레벨의 밝기 값

L-1: 밝기 값의 최대 레벨

x : 조절계수로

의 범위를 가짐

x=1인 경우: 히스토그램 등활화를 적용한 것과 같은 효과

x=0인 경우:

의 히스토그램에 선형 히스토그램 스트레칭을 적용한 것과 같은 효과

여기서

는 k번째 밝기 레벨의 밝기 값을 나타내고, L-1은 밝기 값의 최대 레벨을 나타낸다. 이때 x 는

의 범위에서 실험에 근거하여 x=1인 경우 히스토그램 등활화를 적용한 것과 같은 효과가 나타나고, x=0인 경우

의 히스토그램에 선형 히스토그램 스트레칭을 적용한 것과 같은 효과가 나타난다. 일반적으로 채도 향상은 높은 채도를 가지는 영상은 낮은 채도를 가지는 영상에 비하여 더 선명하게 보이므로 채도를 향상하여 영상의 선명도를 향상시키게 된다. 이때 대부분의 영상에서 밝기 값이 어두운 부분의 채도 값이 작다고 가정하여 밝기의 비율에 의존하여 채도를 향상시키면 더욱 선명한 영상을 획득하는데,(419)과정에서 밝기 이득 조절부(313)에서 먼저 다음과 같은 밝기의 향상된 비율 g(x,y)를 계산한다.

g(x,y): 밝기의 향상된 비율

이후 다음과 같은 밝기의 향상된 비율에 비례하여 [수학식 15]과 같이 (421)과정에서 채도 향상 조절부(315)에 의해 채도를 향상한다.

Ｏ_S(x,y): 향상된 채도 영상

δ: 채도 향상 크기를 정하는 상수

여기서 Ｏ_S(x,y)는 향상된 채도 영상을 나타내고, δ는 채도 향상 크기를 정하는 상수이다. 상기 채도(s)와 밝기(V)가 향상된 값을 색상(h)와 같이 HSV/RGB변환부(203)에서 HSV 칼라 좌표계를 RGB 칼라 좌표계로 (421)과정에서 변환하는데 , 그이유는 출력 영상을 출력 장치와 동일한 칼라 좌표계를 사용하기 위한 것으로 " R. W. G. Hunt. Measuring Color . Ellis Horwood Series in Applied Science and Industrial Technology , Halsted Press, New York, NY, 1989."에 개시하고 있는 예와 유사하다.따라서 영상출력단(112)로 출력되는 출력 영상 형태는 RGB (Red, Green, Blue) 칼라 좌표계로 출력된다.

따라서 본 발명은 도 5A의 중앙에 강한 에지와 양쪽에 어둡고 약한 에지가 존재하는 영상 1과 그 결과 영상들을 보여주고 있는데서 도 5B의 히스토그램 등화법에 의한 결과 영상에서 보면 하늘은 밝고 나무는 어두워서 영상의 전체적인 대비는 잘 표현하지만, 관측 영상에서 어두운 부분이 밝게 보이지 않으며 나무의 세부적인 표현을 강조하지 못한다는 것을 알 수 있다. 도 5C의 SSR에 의한 결과 영상에서 보면 도 5B에 비하여 어두운 부분이 밝아지며 나무의 세부적인 표현도 강조되었다. 그러나 하늘과 흙이 있는 부분의 색이 회색으로 변하며 탑 주변에 넓은 후광 효과가 발생되는 것을 볼 수 있다. 그러나 도 5D의 본 발명의 방법에 의한 결과의 영상에서 보면 영상의 전체적인 대비와 세부적인 표현이 강조되며 도 5C의 영상과는 달리 영상의 색상이 변하지 않으며 후광 효과도 나타나지 않는다는 것을 알 수 있다.

상술한 바와 같이 본 발명의 JND 기반의 SSR을 이용한 칼라 영상 향상 방법은 HSV 칼라 영상에 적용하여 색상은 유지하며 JND 기반의 저대역 필터에 기반하여 밝기를 향상시키고 채도도 밝기의 향상된 비율에 비례하여 향상되는 이점이 있으며, 영상의 세부적인 표현을 강조하고 어두운 부분을 밝게 보여주면서 에지 부근에서 후광 효과가 거의 발생하지 않으면서 색상의 변화 없이 채도가 향상된 선명한 칼라를 보여주는 장점이 있다.

전술한 실시예들은 본 발명을 구현하는 한 예일 뿐이다. 본 발명은 전술한 실시예에 의해 개시되지만, 그 실시예에 국한되지는 않는다. 오히려, 당해 기술분야에서 통상의 지식을 가진자는 본 발명을 한정하는 후술되는 청구항의 범위를 벗어남 없이 본 발명에 적응될 수 있는 통신망 아키텍처를 구성하는 특정 구성요소에 가해지는 많은 개량 및 대안들을 이해할 수 있을 것이다.

Claims

칼라영상의 화질개선 방법에 있어서,

칼라 영상중 밝기의 조명성분과 반사성분을 이용하여 조명성분을 추정하는 과정과,

상기 원래의 밝기(v)와 추정된 반사성분에 의해 상기 불균일한 영상을 보상하는 과정과,

상기 밝기(v)값의 범위를 출력장치의 밝기(v)값의 범위에 자동으로 맞추는 과정과,

상기 향상된 밝기(v)의 비율에 비례하여 채도(s)를 향상시키는 과정으로 구성됨을 특징으로 하는 방법.
제1항에 있어서, 상기 조명성분의 추정은 필터창의 중심화소의 값보다 큰값을 가질수록 약한 저역필터를 사용하는 JND기반의 저역필터링에 의해 이루어워짐을 특징으로 하는 방법.
제2항에 있어서, 상기 JND기반의 저역필터링은 다음(11)식에 의해 이루워짐을 특징으로 하는 방법.

T_max : J(m,n) 최대 역치

T_min : J(m,n) 최소 역치
제1항에 있어서, 밝기(V)의 향상은 조명성분과 반사성분의 곱에 의해 이루어짐을 특징으로 하는 방법.
제1항에 있어서, 불균일한 영상의 보상이 원래의 밝기(V)와 추정된 조명 성분의 각각을 로그를 취하는 과정과,

상기 로그를 취한 값의 차를 구하여 반사성분을 추정하는 과정으로 구성됨을 특징으로 하는 방법.
제 5항에 있어서, 불균일한 영상의 보상은 다음(12)식에 의해 이루워짐을 특징으로 하는 방법.

: 향상된 밝기 영상

a: 조명 성분의 일 부부만을 제거하기 위한 상수
제4항에 있어서, 영상의 세부적인 표현의 강조를 줄이기 위해 상기 추정된 반사성분에서 조명성분의 일부분을 제거하는 과정을 더 추가함을 특징으로 하는 방법.
제 1항에 있어서, 밝기(v)값의 범위를 출력장치의 밝기(v)값의 범위를 다음(13)식에 자동으로 맞추도록 함을 특징으로 하는 방법.

z(k): v
영상의 변환된 누적 분포 함수

: k번째 밝기 레벨의 밝기 값

L-1: 밝기 값의 최대 레벨

x : 조절계수로
의 범위를 가짐

x=1인 경우: 히스토그램 등활화를 적용한 것과 같은 효과

x=0인 경우:
의 히스토그램에 선형 스트레칭을 적용한 것과 같은 효과
제 1항에 있어서, 상기 향상된 밝기(v)의 비율은 다음(14)식에 이루워 짐을 특징으로 하는 방법.

g(x,y): 밝기의 향상된 비율
제 1항에 있어서, 상기 향상된 밝기(v)의 비율에 비례하여 채도(s)는 다음(15)식에 이루워짐을 특징으로 하는 방법.

Ｏ_S(x,y): 향상된 채도 영상

δ: 채도 향상 크기를 정하는 상수
색상(h), 밝기(v),채도(s)의 칼라영상의 화질개선 방법에 있어서,

상기 밝기 향상에서는 필터창의 중심화소의 값보다 큰값을 가질수록 약한 저역필터링을 사용하는 JND 기반의 저대역 필터를 사용하여 조명성분을 추정하는 조명성분과정과,

상기 조명 성분 추정 값에 레티넥스 방법으로 반사성분을 추정하는 반사성분추정과정과,

상기 반사성분 추정 값으로부터 부정확하게 추정된 조명 성분으로 인하여 추정된 반사 성분에 의한 재생 영상이 부자연스럽게 보이는 것을 보상하기 위해서 재 생 영상에 추정된 조명성분의 일부만을 제거하여 불균일한 조명이 보상된 영상을 얻는 조명성분제거과정과,

상기 불균일한 조명이 보상된 영상으로부터 영상의 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 자동으로 맞추기 위하여 히스토그램 수정하는 히스토그램수정과정과,

상기 히스토그램 수정값으로부터 상기 밝기의 향상된 비율에 비례하여 채도를 향상시키기 위한 채도향상조절과정으로 구성됨을 특징으로 하는 칼라 영상의 화질 향상을 위한 방법.
칼라 영상 화질 개선방법에 있어서,

칼라영상 향상을 위한 태양광과 같은 백색조명상태를 설정하는 설정과정과, 입력영상을 받아 색상(H)을 그대로 유지되면서 채도(S)와 밝기(V)를 향상시키기 위해 RGB좌표계를 HSV좌표계로 변환하는 RGB/HSV변환과정과, 밝기(V)에서 필터창의 중심화소의 값보다 큰값을 가질수록 약한 저역필터를 사용하는 저역필터링에 의해 변화가 적은 조명성분에서 반사성분을 추정하기 위해 조명성분을 추정하는 조명추정과정과, 불균일한 조명에 의하여 열화된 화질의 조명의 영향을 제거하고 추정 조명성분으로부터 반사성분에 의해 부자연스런 세부적인 표현의 강조의 비율을 줄이는 반사성분추정과정과, 영상의 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 자동으로 맞추기 위한 히스토그램 수정과정과, 상기 히스토그램 수정값으로부터 상기 밝기의 향상된 비율에 비례하여 채도를 향상시키기 위한 채도향상조절과정과, 출력영상을 출력장치와 동일한 칼라 좌표계를 사용하기 위해 HSV좌표계를 RGB좌표계로 변환하는 HSV/RGB변환과정으로 구성됨을 특징으로 하는 칼라 영상의 화질 향상을 위한 방법.
제12항에 있어서,

상기 조명추정과정은 JND를 기반으로 중심 화소에 대한 저대역필터내 창에서 중심화소와의 밝기 값의 차이가 일정 비율 이상인 곳은 사용하지 않도록 구성됨을 특징으로 하는 칼라 영상의 화질 향상을 위한 방법.
제 13항에 있어서, 필터의 길이가 짧은 필터를 이용하여 한번 반복될 때마다 필터 탭의 간격이 n배씩 넓어지는 필터를 반복적으로 적용하여 고속필터링을 수행하도록 구성됨을 특징으로 하는 칼라 영상의 화질 향상을 위한 방법.
제13항에 있어서,

상기 JND 기반 저대역필터는 중심화소의 값보다 큰값을 가질수록 약한 저역필터를 사용하는 저역필터링에 의해 경계와 같이 밝기 값의 변화가 큰 부분은 원래의 밝기값을 보존하여 추정된 조명성분을 이용하여 추정된 반사 성분에서 후광효과가 발생치 않도록 구성됨을 특징으로 칼라 영상의 화질 향상을 위한 방법.
제13항에 있어서,

상기 반사성분추정과정은 입력 영상의 반사성분과 조명성분의 곱으로 하되, 입력영상과 추정된 조명성분에 각각 로그 연산을 하는 과정과, 상기 로그연산 값의 차로부터 반사성분을 추정하여 결국 추정된 조명성분의 일부를 제거하는 과정을 포함하도록 구성됨을 특징으로 하는 칼라 영상의 화질 향상을 위한 방법.
R,G,B좌표계를 색상(H),채도(S),밝기(V)좌표계로 변환하는 RGB/HSV변환기와,

상기 RGB/HSV변환기의 색상( H),채도(S),밝기(V)의 출력중 밝기(V)에 대해 필터의 중심화소의 값보다 큰값을 가질수록 약한 저역필터를 사용하는 필터링에 의해 조명성분을 추정하는 JND 기반의 저대역 필터와,

상기 JND기반저대역 필터의 출력과 RGB/HSV변환기의 출력의 조명과 반사성분을 분리하기 위해 연산하는 제1,2 로그연산부와,

상기 제2로그연산부에서 분리된 추정 반사 및 조명 성분에서 일부 추정 조명성분을 제거하고 상기 제1로그연산부의 원래 영상의 밝기에서 분리된 조명과 반사값로 부터 차를 계산하여 불균일한 조명을 보상하는 조명보상부와,

상기 조명 보상부의 출력을 출력장치에서의 밝기 값의 범위에 맞게 조정하는 히스토그램 수정부와,

상기 RGB/HSV변환기의 출력의 채도(S)를 히스토그램 수정부의 출력의 밝기(V)의 향상된 비율에 비례하여 이득을 조절하는 밝기이득조절부와,

상기 밝기이득조절부의 밝기의 향상된 비율에 따라 채도를 향상시키는 채도향상조절부와,

상기 히스토그램 수정부의 밝기 출력과 채도향상조절부의 향상된 채도 및 상기 RGB/HSV변환기(201)의 원래 색상( H)의 출력으로 부터 영상의 출력장치 동일한 칼라 좌표계로 사용하기 위해 변환하는 HSV/RGB변환부로 구성됨을 특징으로 하는 시스템.
색상(h), 밝기(v),채도(s)의 칼라영상의 화질개선 방법에 있어서,

상기 색상(h), 밝기(v),채도(s)의 불균일한 칼라 영상의 밝기의 화상중 중심화소
에서
만큼 떨어진 화소의 밝기값과 중심화소의 밝기 값의 비[ J(m,n)]와 저대역 강약 조절을 위한 함수 [λ(m,n)]의 관계로 부터 상기 중심화소
의 값보다 큰값을 가질수록 약한 저역필터를 사용하는 필터링에 의해 조명성분을 추정하는 과정과,

상기 원래의 밝기(v)와 추정된 반사성분에 의해 상기 불균일한 영상을 보상하는 과정과,

상기 밝기(v)값의 범위를 출력장치의 밝기(v)값의 범위에 자동으로 맞추는 과정과,

상기 향상된 밝기(v)의 비율에 비례하여 채도(s)를 향상시키는 과정으로 구성됨을 특징으로 하는 방법.
SSR방법에 의한 영상화질개선 방법에 있어서,

상기 영상의 밝기의 화상중 중심화소
에서
만큼 떨어진 화소의 밝기값과 중심화소의 밝기 값의 비[ J(m,n)]와 저대역 강약 조절을 위한 함수 [λ(m,n)]의 관계로 부터 상기 중심화소
의 값보다 큰값을 가질수록 약한 저역필터를 사용하여 필터링함에 특징이 있는 영상의 화질개선방법.
SSR방법에 의한 영상화질개선 방법에 있어서,

상기 영상의 밝기의 추정된 반사성분 중 추정된 조명성분의 일부만를 제거 하여 세부적인 표현의 강조비율을 줄이는 것에 특징이 있는 영상의 화질개선방법.
SSR방법에 의한 영상화질개선 방법에 있어서,

상기 영상의 출력장치의 밝기범위에 맞게 자동으로 조절하는 것에 특징이 있는 영상의 화질개선방법.
SSR방법에 의한 영상화질개선 방법에 있어서,

상기 영상의 밝기의 게인/옵셋에 의한 조정된 출력으로 부터 채도의 밝기의 이득을 조절하고, 상기 채도 밝기 이득 조절 만큼 채도의 향상를 조절하는 것에 특징이 있는 영상의 화질개선 방법.
SSR방법에 의한 영상화질개선 방법에 있어서,

상기 영상의 밝기의 화상중 중심화소
에서
만큼 떨어진 화소의 밝기값과 중심화소의 밝기 값의 비[ J(m,n)]와 저대역 강약 조절을 위한 함수 [λ(m,n)]의 관계로 부터 상기 중심화소
의 값보다 큰값을 가질수록 약한 저역필터를 사용하여 필터링하고, 상기 영상의 밝기의 추정된 반사성분 중 추정된 조명성분의 일부만를 제거 하여 세부적인 표현의 강조비율을 줄이는 것에 특징이 있는 영상의 화질개선방법.
SSR방법에 의한 영상화질개선 방법에 있어서,영상의 화질개선 방법.상기 영상의 밝기의 화상중 중심화소
에서
만큼 떨어진 화소의 밝기값과 중심화소의 밝기 값의 비[ J(m,n)]와 저대역 강약 조절을 위한 함수 [λ(m,n)]의 관계로 부터 상기 중심화소
의 값보다 큰값을 가질수록 약한 저역필터를 사용하여 필터링하고, 상기 영상의 출력장치의 밝기범위에 맞게 자동으로 조절하는 것에 특징이 있는 영상의 화질개선방법.
SSR방법에 의한 영상화질개선 방법에 있어서,

상기 영상의 출력장치의 밝기범위에 맞게 자동으로 조절하고, 상기 영상의 밝기의 게인/옵셋에 의한 조정된 출력으로 부터 채도의 밝기의 이득을 조절하며, 상기 채도 밝기 이득 조절 만큼 채도의 향상를 조절하는 것에 특징이 있는 영상의 화질개선 방법.
SSR방법에 의한 영상화질개선 방법에 있어서,영상의 화질개선 방법.

상기 영상의 밝기의 화상중 중심화소
에서
만큼 떨어진 화소의 밝기값과 중심화소의 밝기 값의 비[ J(m,n)]와 저대역 강약 조절을 위한 함수 [λ(m,n)]의 관계로 부터 상기 중심화소
의 값보다 큰값을 가질수록 약한 저역필터를 사용하여 필터링하고, 상기 채도 밝기 이득 조절 만큼 채도의 향상를 조절하는 것에 특징이 있는 영상의 화질개선 방법.
SSR방법에 의한 영상화질개선 방법에 있어서,상기 영상의 밝기의 화상중 중심화소
에서
만큼 떨어진 화소의 밝기값과 중심화소의 밝기 값의 비[ J(m,n)]와 저대역 강약 조절을 위한 함수 [λ(m,n)]의 관계로 부터 상기 중심화소
의 값보다 큰값을 가질수록 약한 저역필터를 사용하는 필터링하고,상기 영상의 밝기의 추정된 반사성분 중 추정된 조명성분의 일부만를 제거 하여 세부적인 표현의 강조비율을 줄이며,상기 영상의 출력장치의 밝기 범위에 맞게 자동으로 조절하는 것에 특징이 있는 영상의 화질개선방법.
SSR방법에 의한 영상화질개선 방법에 있어서,

상기 영상의 밝기의 화상중 중심화소
에서
만큼 떨어진 화소의 밝기값과 중심화소의 밝기 값의 비[ J(m,n)]와 저대역 강약 조절을 위한 함수 [λ (m,n)]의 관계로 부터 상기 중심화소
의 값보다 큰값을 가질수록 약한 저역필터를 사용하는 필터링하고,상기 영상의 밝기의 추정된 반사성분 중 추정된 조명성분의 일부만를 제거 하여 세부적인 표현의 강조비율을 줄이며, 상기 영상의 밝기의 게인/옵셋에 의한 조정된 출력으로 부터 채도의 밝기의 이득을 조절하고, 상기 채도 밝기 이득 조절 만큼 채도의 향상를 조절하는 것에 특징이 있는 영상의 화질개선 방법.