KR20080038690A

KR20080038690A - 영상의 화질 개선을 위한 방법 및 시스템

Info

Publication number: KR20080038690A
Application number: KR1020060105912A
Authority: KR
Inventors: 임채환; 곽종인; 김남철; 장익훈; 최두현
Original assignee: 삼성전자주식회사
Priority date: 2006-10-30
Filing date: 2006-10-30
Publication date: 2008-05-07
Also published as: EP1918871A3; US20080101719A1; EP1918871B1; US8649629B2; KR100879536B1; EP1918871A2

Abstract

본 발명은 영상 화질 개선 방법에 관한 것으로, 특히 영상의 입력으로부터 전역 조명 성분, 국부 조명 성분, 그리고 반사율 성분을 각각 추정하여 동적 범위와 대비를 고려하여 감마 수정을 통해 영상 화질을 향상시킨다. 그리고 칼라 영상의 경우는 입력 영상의 R(red), G(Green), B(Blue)를 H(Hue), S(Saturation), V(Value)로 변환한 후 상기 변환된 밝기(V)로부터 전역 조명 성분, 국부 조명 성분, 그리고 반사율 성분을 각각 추정하여 동적 범위와 대비를 고려하여 감마 수정하여 밝기 (V)를 향상시킨다. 상기 향상된 밝기(V)는 H, S와 같이 다시 R G B로 역변환하여 화질이 향상된 칼라 영상을 얻게 된다.

MSRCR, 히스토그램 등화, 전역/국부 조명 성분 추정, 반사율 성분 추정, 후광 효과억제, SSR,

Description

영상의 화질 개선을 위한 방법 및 시스템{Method And System For Image Enhancement }

도 1는 호모 모르픽 필터링 방법에 의한 영상 향상의 블록도

도 2a~도 2b는 도 1에서 입력 영상(도 2a)으로부터 호모 모르픽 필터링 처리를 거친 출력 영상(도 2b)을 나타낸 상태도

도 3은 SSR 방법에 의한 영상 향상의 블록도

도 4는 도 3의 SSR 방법에서 입력 영상의 에지 성분과 추정된 조명성분, 그리고 추정된 반사율 성분의 1차원적 신호의 예시도

도 5a~도 5c는 도 2a의 입력 영상에 대한 선형 저대역 필터의 유효 영역 크기가 15화소(도 5a), 150화소(도 5b), 500화소(도 5c) 인 경우의 SSR 출력 영상의 예시도

도 6은 도 2a의 입력 영상에 의한 선형 저대역 필터의 유효 영역의 크기가 각각 15,150, 500화소인 경우의 MSR 출력 영상 예시도

도 7은 Kimmel 방법에 의한 영상 향상의 블록도

도 8a~도 8c는 입력 칼라 영상(도 8a)과 MSR(도 8b), MSRCR(도 8c)의 출력 칼라 영상의 예시도

도 9는 본 발명의 실시 예에 따른 영상의 향상을 위한 블록도

도 10은 본 발명의 실시 예에 따른 흑백 영상의 향상을 위한 블록도

도 11a, 11b는 도 10과 관련하여 본 발명의 실시 예에 따른 흑백 영상의 향상을 위한 흐름도

도 12a~도 12b는 도 11로부터의 입력 영상(도 12a)과 h(m)=h(n)=[0.25,0.5,0.25], m, n=-1,0,1, KG=9로부터 추정된 전역 조명 성분(도 12b)을 나타낸 예시도

도 13a~도 13b는 도 12a의 입력 영상에 대한 h(m)=h(n)=[0.25,0.5,0.25], m, n=-1,0,1, Kl=5로 추정된 국부 조명 성분(도 13a)과 추정된 반사율 성분(도 13b)을 나타낸 예시도

도 14는 본 발명에 따른 칼라 영상 향상을 위한 블록도

도 15는 도 14에서 RGB/HSV변환부(1400)의 출력이 되는 밝기 성분(V)으로부터 전역/국부 조명성분, 반사율 성분을 추정하기 위한 구체적인 블록도

도 16a~도 16b는 도 14와 관련하여 본 발명의 실시 예에 따른 칼라 영상 향상을 위한 흐름도

도 17a ~도 17b는 본 발명에 따른 JND기반 적용(도 17a)과 비적용(도 17b)으로부터 비선형 저대역 필터링의 영향을 알아보기 위한 도면

도 18a~도 18c는 입력 칼라 영상(도 8a)에서 JND를 적용하지 않은 출력의 예(도 18b)와 JND를 적용한 예시도(도 18c)

도 19a~도 19d는 NASA1의 입력 칼라 영상과 본 발명에 따른 영상의 비교예시도

도 20a~도 20d는 NASA2의 입력 칼라 영상과 본 발명에 따른 영상의 비교예시도

도 21a~도 21d는 CCD1의 입력 칼라 영상과 본 발명에 따른 영상의 비교예시도

본 발명은 영상 화질 개선 방법에 관한 것으로, 특히 입력 영상에서 전역 조명 성분과 국부 조명 성분, 그리고 반사율 성분을 각각 추정한 후 추정된 각 성분으로부터 감마 수정을 통해 사용자 취향에 맞는 영상으로 향상시키는 방법 및 시스템에 관한 것이다.

최근 보급이 보편화 된 휴대 단말이나 디지털 카메라는 영상을 즉흥적으로 쉽게 획득할 수 있다. 획득된 영상은 스튜디오와 같이 인위적으로 준비된 균일한 조명 상태보다는 건물 내의 형광등이나 야외의 태양 광, 가로등 때문에 불균일한 상태인 경우가 대부분이다. 이렇게 획득한 영상은 한쪽이 그늘져 어둡거나 과도하게 밝은 상태로 열화 된다. 그러나 열화 된 화질을 향상시키고자 하는 노력은 여러 가지 방법으로 계속되고 있다.

상기 열화 된 화질의 향상 방법은 밝기 변환 방법(intensity transformation), 히스토그램 모델링 방법(histogram modeling), 영상 생성 모델(image formation model)에 근거한 호모모르픽 필터링(homomorphic filtering)방 법, 레티넥스(retinex)방법 및 Kimmel 방법들이 있다.

밝기변환 방법(intensity transformation)은 "R. C. Gonzalez and R. E. Woods, Digital Image Processing. Reading, MA: Addison-Wesley, 1992.와 W. K. Pratt, Digital Image Processing , 2nd ed. New York: Wiley, 1991."에 개시되어 있다.

히스토그램 모델링 방법(histogram modeling)은 " A. K. Jain, Fundamentals of Digital Image Processing . Englewood Cliffs, NJ: Prentice-Hall, 1989."에 개시되어 있다.

그리고, 영상 생성 모델(image formation model)에 근거한 호모 모르픽 필터링(homomorphic filtering)방법은 " J. S. Lim, Two - Dimensional Signal and Image Processing. Englewood Cliffs, NJ: Prentice-Hall, 1990"에 개시되어 있다.

레티넥스 방법(retinex)은 "D. J. Jobson, Z. Rahman, and G. A. Woodell, "Properties and performance of a center/surround retinex," IEEE Trans . Image Process., vol. 6, no. 3, pp. 451-462, Mar. 1997. M. Ogata, T. Tsuchiya, T. Kubozono, and K. Ueda, "Dynamic range compression based on illumination compensation," IEEE Trans . Consumer Electron ., vol. 47, no. 3, pp. 548-558, Aug. 2001. R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A variational framework for retinex," Int . J. Comput . Vis ., vol. 52, no. 1, pp.7-23, Jan. 2003. D. J. Jobson, Z. Rahman, and G. A. Woodell, "A multi-scale retinex for bridging the gap between color images and the human observation of scenes," IEEE Trans . Image Process ., vol. 6, no. 7, pp. 965-976, July 1997.들에 개시되어 있다.

또한, Kimmel에 의한 방법은 미국특허(USP) 제 6,941,028호와 “R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A variational framework for retinex," Int . J. Comput . Vis ., vol. 52, no. 1, pp. 7-23, Jan. 2003.”에서 제안하고 있다.

이 방법들의 모두는 화질을 개선함에 있어 입력 영상의 동적 범위(dynamic range)를 줄이거나 대비(contrast)를 증가시키는 것들이다.

상기한 밝기 변환 방법(intensity transformation), 히스토그램 모델링 방법(histogram modeling), 영상 생성 모델(image formation model)에 근거한 호모모르픽 필터링(homomorphic filtering), 레티넥스(retinex) 및 Kimmel 방법들에 대해 다음에서 간략히 살펴보면,

밝기 변환 방법은 입력 영상을 1차 함수, 로그 함수, 또는 멱함수(power function)등의 변환 함수에 따라 밝기 값을 변환시켜 화질을 개선시키는 방법이다("R. C. Gonzalez and R. E. Woods, Digital Image Processing. Reading, MA: Addison-Wesley, 1992."와 " W. K. Pratt, Digital Image Processing , 2nd ed. New York: Wiley, 1991."). 상기 변환 함수로서 1차 함수를 사용하는 경우를 대비 증가 방법(contrast stretching) 또는 게인 및 옵셋 수정 방법(gain/offset correction)이라고도 하며, 멱 함수를 사용하는 경우는 감마 수정(gamma correction)이라고 한다. 상기 밝기 변환 방법은 간단하여 구현이 용이한 것으로 알려져 있다. 그러나 영상 전체에 대하여 하나의 변환 함수를 적용해야 하기 때문에 영상 내에서 대비(contrast)가 서로 다른 영역들이 있을 경우 대비(contrast)를 동시에 증가시키는 어렵다.

히스토그램 모델 링 방법은 입력 영상을 원하는 형태의 히스토그램으로 변형시켜 향상된 영상을 얻는 방법이다. 상기 히스토그램에서 균등 히스토그램 모델 링을 사용할 경우 히스토그램 등화 방법이라 한다. 히스토그램 등화 방법은 밝기 변환 방법처럼 역시 간단하여 구현이 용이하지만, 같은 영상 내에서 서로 다른 국부 영역들의 대비(contrast)를 동시에 증가시키지 못하는 단점이 있다. 예를 들어, 입력 영상의 밝기가 일정한 범위에서 히스토그램의 면적에 비례하여 출력 영상의 밝기의 영역도 확장되어 나타나게 될 때가 있다. 이때 넓은 영역에 분포하는 단순 배경의 대비는 과도하게 증가하게 되나, 또한 좁은 영역의 단순 배경의 대비는 오히려 과도하게 감소하게 된다. 여기서 향상시키고자 하는 영상은 오히려 부자연스러운 형태로 나타난다. 이러한 단점을 보완하기 방법으로 입력 영상을 일정한 크기의 블록 단위로 나누고, 그 다음 각 블록별로 균등 히스토그램 모델 링을 사용한다. 이러한 방법들은 "R. C. Gonzalez and R. E. Woods, Digital Image Processing. Reading, MA: Addison-Wesley, 1992.과 S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B. T. H. Romeny, J. B. Zimmerman, and K. Zuiderveld, "Adaptive histogram equalization and its variations," Comput . Vis ., Graph ., Image Process ., vol. 39, no. 3, pp. 355-368, Sep. 1987. J. Y. Kim, L. S. Kim, and S. H. Hwang, "An advanced contrast enhancement using partially overlapped sub-block histogram equalization," IEEE Trans . Circuits Syst . Video Technol ., vol. 11, no. 4, pp. 475-484, Apr. 2001.에 개시하고 있다. 상기 "R. C. Gonzalez and R. E. Woods, Digital Image Processing. Reading, MA: Addison-Wesley, 1992"에는 입력 영상을 각 화소 별 블록으로 나누는 방법을 개시하고 있고, 상기 "S. M. Pizer, E. P. Amburn, J. D. Austin, R. Cromartie, A. Geselowitz, T. Greer, B. T. H. Romeny, J. B. Zimmerman, and K. Zuiderveld, "Adaptive histogram equalization and its variations," Comput . Vis ., Graph ., Image Process ., vol. 39, no. 3, pp. 355-368, Sep. 1987."에서는 겹치지 않는 블록을 나누는 방법을 게시하고 있으며, 상기 "J. Y. Kim, L. S. Kim, and S. H. Hwang, "An advanced contrast enhancement using partially overlapped sub-block histogram equalization," IEEE Trans . Circuits Syst . Video Technol ., vol. 11, no. 4, pp. 475-484, Apr. 2001."에서는 부분적으로 겹치는 블록으로 나누어 히스토그램 등화 방법을 적용한 방법을 개시하고 있다. 그리고 "V. Buzuloiu, M. Ciuc, R. M. Rangayyan, and C. Vertan, "Adaptive-neighborhood histogram equalization of color images," J. Electron . Imag., vol. 10, no. 2, pp. 445-459, Apr. 2001."에서는 영상을 그 크기와 형태가 변함에 따라 블록으로 나누어 히스토그램 등화 방법을 적용한 방법을 개시하고 있다. 또한 "J. A. Stark, "Adaptive image contrast enhancement using generalizations of histogram equalization," IEEE Trans . Image Process ., vol. 9, no. 5, pp. 889-896, May 2000."에서는 일반화된 히스토그램 등화 방법을 개시 하고 있다. 그러나 이들 방법을 이용하고도 특별히 개선된 결과를 얻어내고 있다는 사례는 밝혀지지 않고 있다.

호모 모르픽 필터링 방법은 입력 영상에 로그를 적용하고, 그런 다음, 이 신호에 선형 저대역 필터와 선형 고대역 필터를 적용한다. 여기서 얻어지는 각 출력은 조명 성분의 로그 신호와 반사율 성분의 로그 신호로 각각 추정한다. 상기 추정된 조명 성분의 로그 신호는 동적 범위를 줄이기 위하여 1보다 작은 값을 곱셈기에서 곱하고, 추정된 반사율 성분의 로그 신호는 대비를 증가시키기 위하여 1보다 큰 값을 곱셈기에서 곱한다. 마지막으로 이들 두 신호를 가산기에서 합한 다음 로그 함수의 역함수인 지수 함수를 적용하면, 이전 로그 영역에서 공간 영역으로 되돌아 온다. 이 방법은 반사율 성분의 로그 신호에 1보다 큰 값을 곱하므로 입력 영상에 대한 출력 영상은 밝은 영역의 대비(contrast)가 어두운 영역의 대비(contrast)에 비하여 상대적으로 더 증가 된다. 이때 어두운 영역에서 인간의 민감한 시각 특성은 잘 반영되지 않는다. 또한 비선형 연산자인 로그 연산은 입력 영상의 주파수에 고조파(Harmonics)가 발생하여 주파수 스펙트럼을 변화시키게 되는데, 주파수 스펙트럼의 변화는 결국, 조명 성분의 로그 신호의 추정과 반사율 성분의 로그 신호의 추정을 정확하게 할 수 없는 원인을 제공한다.

한편, 인간의 시각은 조명의 영향은 배제하고 칼라를 인지한다는 레티넥스 방법 ["E. Land, "An alternative technique for the computation of the designator in the retinex theory of color vision," Proc . Nat . Acad . Sci ., vol. 83, pp. 3078-3080, May 1986."] 이 있다.

상기 레티넥스 방법은 주로 입력 영상에 선형 저대역 필터를 적용하여 조명 성분을 추정하고, 반사율 성분은 입력 영상으로부터 추정된 조명 성분을 제거한 다음 추정한다. 상기 입력 영상에서 조명 성분을 제거한 후 추정이 있으면 결국, 반사율 성분만 강조된다. Jobson 등(D. J. Jobson, Z. Rahman, and G. A. Woodell, "properties and performance of a center/surround retinex," IEEE Trans . Image Process ., vol. 6, no. 3, pp. 451-462, Mar. 1997.)이 제안한 레티넥스 방법은 Gaussian 형태 함수를 이용하여 조명 성분을 추정하고, 추정된 조명 성분의 로그 신호를 입력 영상의 로그 신호로부터 빼줌으로써 반사율 성분의 로그 신호를 추정한다. 그 후 공간 영역으로 되돌아오지 않고 로그 영역에서의 추정된 반사율 성분 신호만이 출력 영상으로 사용된다. 마지막으로 출력 영상의 밝기 값의 범위는 출력 장치의 밝기 값의 범위에 따라 게인 및 옵셋 수정으로 조절이 된다. 상기 Jobson 등이 제안한 방법은 출력 영상이 입력 영상과 선형 저대역 필터로 추정된 조명 성분과의 차로써 반사율 성분이 추정된다. 상기 추정된 반사율 성분 때문에 출력 영상은 출력 영상의 밝기 값이 급격히 변화하는 에지 부근에서 원래 어두웠던 곳은 더 어두워지고, 밝았던 곳은 더 밝아지는 후광 효과(halo effect)가 발생한다. 그러나 상기 선형 저대역 필터의 유효 영역(support region)이 작으면 추정된 조명 성분은 에지 부근의 좁은 영역에서 평활화(smoothing)가 되는데, 이때 출력 영상의 후광 효과는 에지 부근의 좁은 영역에 나타나므로 국부 대비가 증가 된다. 반대로 선형 저대역 필터의 유효 영역이 크면 추정된 조명 성분은 넓은 영역에서 평활화되어진다. 이때 출력 영상의 후광 효과는 넓은 영역에 걸쳐 나타나며, 전역 대비가 증가 된다. 상기 영상의 국부 대비와 전역 대비를 동시에 증가시키기 위한 해결방법으로 유효 영역이 다른 여러 개의 선형 저대역 필터들로부터 출력 영상들의 가중 합(weighted sum)을 이용 방법이 Jobson 등에 의하여 제안하고 있다. 이 방법은 “D. J. Jobson, Z. Rahman, and G. A. Woodell, "A multi-scale retinex for bridging the gap between color images and the human observation of scenes,"IEEE Trans . Image Process ., vol. 6, no. 7, pp. 965-976, July 1997.”에 개시되어 있다. 이러한 레티넥스 방법을 MSR (multi-scale retinex)이라 하고, 하나의 선형 저대역 필터를 이용하는 경우 SSR (single-scale retinex)이라 한다.

Kimmel에 의한 방법(R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A variational framework for retinex," Int . J. Comput . Vis ., vol. 52, no. 1, pp. 7-23, Jan. 2003.)은 조명 성분이 모든 영역에서 입력 영상보다 밝거나 동일한 밝기 값을 가진다는 등의 제약(constraint)조건을 설정하고, 그 다음, QP (Quadratic Programming)을 이용하여 조명 성분을 반복적으로 추정한다. 상기 추정된 조명 성분을 반전하여 곱셈기에서 입력 영상과 곱하면 반사율 성분이 추정된다. 상기 추정된 조명 성분의 동적 범위를 줄이기 위해 감마 수정을 적용한 다음, 상기 반사율 성분과 곱하면 출력 영상이 얻어지는 방법이다. 이의 문제점은 다음에서 상세히 기술한다.

도 1 내지 도 8을 참조하여 상기한 호모 모르픽 필터링 방법과 레티넥스(SSR, MSR), Kimmel방법에 대해 더 구체적으로 살펴보면,

먼저, 기존의 영상 생성 모델에서는 관측된 흑백 영상 또는 칼라 영상의 성 분 영상

은 다음 [수 학 식 1]과 같이 조명 성분

와 반사율 성분

의 곱으로 표현된다.

여기서 조명 성분

는 그 변화가 일반적으로 심하지 않은 것으로 가정하여 그 주파수 스펙트럼은 주로 저주파 대역에 분포하는 것으로 가정한다. 그리고 반사율 성분

은 물체 표면의 반사율 특성으로 인하여 그 변화가 빠른 것으로 가정하여 그 주파수 스펙트럼은 주로 고주파 대역에 분포하는 것으로 가정한다.

상기 [수 학 식 1]의 영상 생성 모델에 기반한 종래의 영상 향상에서는 조명 성분이나 반사율 성분, 또는 두 성분을 모두 추정한 뒤, 추정된 조명 성분에는 동적 범위를 줄이는 처리를 적용한다. 상기 추정된 반사율 성분은 대비를 증가시키는 처리를 적용한 다음, 이들로 구성된 출력 영상을 얻는다. 그런 다음 출력 영상을 그대로 출력하거나, 출력 장치의 밝기 값의 범위에 맞추기 위해 게인 및 옵셋 수정을 적용하는 것이 일반적인 예이다.

호모 모르픽 필터링 방법

도 1의 개시와 같이 상기 [수 학 식 1]에 기반한 출력 영상은 입력 영상

에 로그(101)를 적용하여 다음 [수 학 식 2]와 같이 LPF(103)을 통한 조명 성분의 로그신호

와 HPF(105)를 통한 반사율 성분의 로그신호

를 가산기(109)에서 합할 때 얻어진다.

상기 [수 학 식 2]의 조명 성분의 로그 신호

는 그 주파수 스펙트럼이 저주파 대역에 분포한다는 가정 하에 다음 [수 학 식 3]과 같이 입력 영상의 로그 신호

에 선형 저대역 필터(103)를 적용하여 추정한다. 반사율 성분의 로그 신호

는 그 주파수 스펙트럼이 주로 고주파 대역에 분포한다는 가정 하에 다음 [수 학 식 4]와 같이 선형 고대역 필터(105)를 적용하여 추정한다.

여기서

는 추정된 조명 성분의 로그 신호를 나타내고,

는 추정된 반사율 성분의 로그 신호를 나타낸다. 추정된 조명 성분의 로그 신호

에는 동적 범위를 줄이기 위하여 1보다 작은 상수

를 곱셈기(107)에서 곱하고, 추정된 반사율 신호의 로그 신호

에는 대비를 증가시키기 위하여 1보다 큰 상수

를 곱셈기(108)에서 곱한다. 이어서

와

를 곱하여 얻어진 두 신호를 가산기(109)에서 합한 다음 로그 함수의 역함수인 지수 함수기(EXP)(111)를 통해 원래 대로 복원한다. 이때 로그 영역에서 공간 영역으로 복귀하여 출력 영 상

이 얻어진다. 이 방법에서 나타나는 결과는 도 2a의 입력 영상으로부터 도 2b의 출력 영상과 비교하여 볼 때 영상이 한층 향상되었음을 알 수 있다. 그러나 이 방법의 경우 비선형 로그 연산처리이므로 입력 영상의 로그 신호

는 주파수 스펙트럼에 대한 고조파가 발생 된다. 주파수 스펙트럼에 고조파의 발생은 결국, 조명 성분과 반사율 신호의 로그 신호의 추정을 어렵게 한다. 특히 호모 모르픽 필터링으로 얻은 출력 영상

은 추정된 조명 성분의 로그 신호

와 추정된 반사율 성분의 로그 신호

는 다음 [수 학 식 5]와 같이 표현할 수 있다.

상기 [수 학 식 5]의 우변은 추정된 조명 성분

와 추정된 반사율 성분

에 관하여 정리하면, 출력 영상

는 다음 [수 학 식 6]과 같이 감마 수정에 의해 향상된 두 추정 성분들의 곱의 형태로 표현할 수 있다.

여기서

이고,

이다. 상기 [수 학 식 6]에서 보면 0~1 사이의 값을 갖는 반사율 성분에 1보다 큰

를 사용한 감마 수정이 적용되어 도 2b의 예와 같 이 밝은 영역의 대비는 어두운 영역에 비하여 상대적으로 더 증가 된다는 것을 알 수 있다. 결국, 호모 모르픽 필터 링 방법은 어두운 영역의 대비에 있어 인간의 시각 특성이 고려되지 않는다.

만약, 상기 [수 학 식 4]의 반사율 성분의 로그 신호의 추정이 선형 고대역 필터(105)를 직접 적용하여 얻는 대신에 입력 영상의 로그 신호

에서 선형 저대역 필터(105)의 필터링으로 추정된 조명 성분의 로그 신호

를 뺀 신호로부터 얻을 경우에는 다음 [수 학 식 7]과 같이 표현할 수 있다.

이것은 결국 추정된 반사율 성분

는 다음 [수 학 식 8]식과 같이 입력 영상

와 추정된 조명 성분

의 비로 직접 얻는 것과 같음을 알 수 있다.

도 2a는 중앙 부분에 강한 에지가 존재하고, 왼쪽과 오른쪽에 어둡고 약한 에지가 존재하는 입력 영상을 나타내고 있다. 도 2b는 호모 모르픽 필터링 출력 영상을 나타낸 예이다. 이때 조명 성분의 로그 신호는 입력 영상의 로그 신호에 1×5 크기의 필터 창을 사용한 1차원 Gaussian 필터를 수평, 수직 방향으로 분리 적(Separable)으로 적용하는 것에 의해 추정된다. 그리고 반사율 성분의 로그 신호는 [수 학 식7]과 같이 추정되며,

와

는 각각 0.5와 1.5를 사용한다. 도 2b의 출력 영상에서 보면, 나무가 있는 영상의 어두운 부분에 비하여 탑 부분과 같이 밝은 부분의 대비가 더 강하게 나타나는 것을 알 수 있다.

레티넥스 방법

레티넥스방법에는 SSR과 MSR에 의한 방법이 있다.

SSR의 경우 도 3의 개시와 같이 Jobson 등(D. J. Jobson, Z. Rahman, and G. A. Woodell, “Properties and performance of a center/surround retinex,” IEEE Trans. Image Process ., vol. 6, no. 3, pp. 451-462, Mar. 1997. )이 제안한 SSR의 블록도이다. 이 방법은 먼저 입력 영상

에 선형 저대역 필터(301)를 적용하여 조명 성분을 추정한 다음, 출력 영상

은 다음 [수 학 식 9]와 같이 입력 영상의 로그 신호

(305)에서 추정된 조명 성분의 로그 신호

(303)를 제거한 것으로부터 얻어진다.

여기서

은 다음 [수 학 식 10]과 같이 선형 저대역 필터링으로 추정된 조명 성분을 나타낸다.

상기 [수 학 식 9]의 출력 영상

은 상기 [수 학 식 10]에서 추정된 조명 성분

과 관련하여 다음 [수 학 식 11]과 같이 표현할 수 있다.

여기서 [수 학 식 11]의

은 상기 [수 학 식 8]과 같은 관계에서 추정된 반사율 성분을 나타낸다.

상기 [수 학 식 11]식으로 표현되는 SSR은 [수 학 식 6]으로 표현되는 호모 모르픽 필터링 방법과 비교해 보면, 추정된 조명 성분

에서는

인 감마 수정이 적용되어 조명 성분의 영향이 배제되나, 추정된 반사율 성분

에서는

인 감마 수정과 전달 특성(Transfer Characteristics)이 유사한 로그 연산이 적용되어 어두운 영역의 대비가 과도하게 나타난다.

마지막으로 출력 장치의 밝기 값의 범위에 맞추기 위하여 출력 영상

은 다음 [수 학 식 12]과 같이 게인 및 옵 셋 수정을 적용하여 최종 출력 영상

를 얻는다.

여기서

와

는 게인 및 옵셋 수정에 사용되는 상수를 나타내며, 최종 출력 영상

는 이들의 값에 영향을 받게 된다. D. J. Jobson, Z. Rahman, and G. A. Woodell, “Properties and performance of a center/surround retinex,” IEEE Trans . Image Process ., vol. 6, no. 3, pp. 451-462, Mar. 1997. 에서는 모든 영상에 동일한 값의

,

를 사용하도록 개시하고 있다.

도 4는 SSR에서 입력 영상의 에지 성분(401)과 추정된 조명 성분(402), 그리고 이들의 비로 주어지는 추정된 반사율 성분(403)의 1차원 신호의 예를 보여준다. 도 4에서 보면, 선형 저대역 필터는 입력 영상의 에지 성분(401)을 평활화하여 (402)와 같이 나타날 때 반사율 성분 추정기(405)에서 추정된 반사율 성분(403)은 에지 근처에서 그 값이 작아질 때 더 작아지고, 큰 경우는 더 커진다는 것을 알 수 있다. 이러한 현상은 입력 영상의 에지 근처에서 어두웠던 영역은 출력 영상에서 더 어둡게 되고, 밝았던 영역은 더 밝게 되는 후광 효과로 나타난다. 이때 선형 저대역 필터 링으로 추정된 조명 성분에서 평활화된 영상의 에지 영역은 필터의 유효 영역에 따라 그 넓이와 평활화의 정도가 달라진다. 만약, 필터의 유효 영역이 좁고 넓게 됨에 따라 평활화되는 에지 영역은 좁아지거나 넓어지게 되며, 그 평활화 정도도 작아지거나 크게 된다. 이때 후광 효과를 발생하는 범위도 또한 좁거나 또는 넓게 나타난다. 따라서 필터의 유효 영역이 좁으면 후광 효과를 발생하는 범위가 좁게되어 국부적인 조명 성분을 잘 추정할 수 있어 영상의 국부대비를 잘 증가시킨다. 그러나 필터의 유효 영역이 넓으면 후광 효과를 발생하는 범위가 넓어 전체적인 조명성분을 잘 추정할 수 있어 영상의 전역대비를 잘 증가시킨다. 그러므로 필터의 유효 영역에 따라 후광 효과와 대비는 다르게 나타나므로 적절한 조절이 필요하다. 도 5는 도 2(a)의 입력 영상에 대한 선형 저대역 필터의 유효 영역 크기에 따른 SSR 출력 영상들을 나타내고 있다. 이때 [수 학 식 12]의 게인 및 옵셋 수정에 사용되는 상수

와

는 D. J. Jobson, Z. Rahman, and G. A. Woodell, “A multi-scale retinex for bridging the gap between color images and the human bservation of scenes,” IEEE Trans . Image Process . vol. 6, no. 7, pp. 965-976, July 1997.에서 개시와 같이 선택한 192와 -30을 각각 선택한다. 도 5(a)의 필터 유효 영역이 15 화소인 경우의 SSR 출력 영상에서 보면, 후광 효과는 지붕과 등대 기둥 영역 근처의 좁은 영역에서 나타나고 있다. 여기서 영상의 국부 대비는 잘 증가시키지만 전역 대비는 잘 증가시키지 못한다는 것을 알 수 있다. 도 5(c)의 필터 유효 영역이 500 화소인 경우의 SSR 출력 영상에서 보면, 후광 효과는 지붕과 등대 기둥 영역 근처의 넓은 영역에서 심하게 나타나고, 영상의 전역 대비는 잘 증가시키지만 국부 대비는 잘 증가시키지 못한다는 것을 알 수 있다. 그리고 도 5(b)의 필터 유효 영역이 150 화소인 경우의 SSR 출력 영상에서 보면, 도 5(a)와 도 5(c)의 중간 정도 결과를 보인다는 것을 알 수 있다. MSR은 Jobson 등( D. J. Jobson, Z. Rahman, and G. A. Woodell, “A multi-scale retinex for bridging the gap between color images and the human observation of scenes,” IEEE Trans . Image Process ., vol. 6, no. 7, pp. 965-976, July 1997.)이 제안하고 있다. 상기 MSR는 SSR에 의한 조명 성분의 추정시 선형 저대역 필터의 유효 영 역에 따라 특성이 달라지는 것을 보완하는 기술이다. 이는 다음 [수 학 식 13]과 같이 유효 영역이 다른 선형 저대역 필터를 사용한 SSR출력 영상들의 가중 합에 의해 그 출력 영상

이 발생 된다.

여기서

은 사용한 필터의 개수,

는

번째 필터를 사용한 SSR 출력 영상, 그리고

은

의 출력의 크기를 결정하는 가중치이다. 이어서 출력 영상의 밝기 값의 범위에 맞추기 위하여 MSR 출력 영상

은 상기 [수 학 식 13]식과 같은 게인 및 옵셋 수정을 적용하여 최종 MSR 출력 영상

를 얻는다. 도 6은 도 2(a)의 입력 영상에 유효 영역이 각각 15, 150, 500 화소인 필터를 사용하는 SSR 출력 영상들의 가중의 합으로 얻은 MSR 출력 영상을 나타내고 있다. 이때 상기 [수 학 식 12]의 게인 및 옵셋 수정에 사용되는 상수

와

는 상기 [수 학 식 8]에서와 같이 192와 -30을 각각 선택한다. 도 6의 MSR 출력 영상에서 보면, 유효 영역이 각기 다른 필터를 사용한 SSR 출력 영상들의 장점이 일부 결합되어 영상의 전역 대비와 국부 대비를 모두 잘 증가시킨다는 것을 알 수 있다. 그러나 SSR 출력 영상들은 대부분 후광 효과가 나타내기 때문에 이들의 가중의 합으로 얻은 MSR 출력 영상은 후광 효과가 다소 감소하였지만 여전히 후광 효과가 남아 있음을 알 수 있다.

Kimmel의 방법은 도 7에서 설명하고 있다. 이는 미국특허 (USP 6,941,028) 또는 "R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, “A variational framework for retinex,” Int . J. Comput . Vis., vol. 52, no. 1, pp.7-23, Jan. 2003."에 개시하고 있다. 이 방법에서 먼저, 조명 성분은 경계를 포함한 모든 공간 영역에서 천천히 변하며, 입력 영상보다 밝거나 동일한 밝기 값을 가진다는 등의 제약조건을 설정한 다음, 이를 만족하는 조명 성분을 QP(Quadratic Programming)(701)를 이용하여 반복적으로 추정한다. 그런 다음 반사율 성분은 상기 [수학식 8]과 같이 추정된 조명 성분

이 인버터(707)를 통해 반전되고, 이를 입력 영상

와 곱셈기(709)에서 곱하여 추정된다. 그 후 추정된 조명 성분

을 감마 수정기(703)에서 감마수정을 하면 동적 범위를 줄인다. 마지막으로 출력 영상은 다음 [수학식 14]와 같이 감마 수정이 적용된 추정된 조명 성분과 추정된 반사율 성분을 곱셈기(705)에서 곱하여 얻어진다.

상기 식(14)에서

는 추정된 반사율 성분을 나타낸다. 이 방법은 설정된 제약 조건을 만족하는 조명 성분을 추정하게 되는 장점이 있다. 그러나 이 방법은 조명 성분을 반복적으로 추정하기 때문에 계산량이 많으며, 추정된 반사율 성분

에는 어떠한 처리도 적용되지 않기 때문에 대비가 증가 되지 않는 단점 이 있다.

종래의 영상 생성 모델에 기반한 칼라 영상 향상 방법을 살펴보면,

일반적으로 R G B 칼라 공간에서의 영상 향상은 상기 [수학식 1]의 영상 생성 모델을 R G B 칼라 영상의 각 성분 영상

에 적용하면, 다음 [수학식 15]와 같이 표현할 수 있다.

상기 [수학식 15]를 기반으로 R G B 칼라 영상의 각 성분 영상에 독립적으로 영상 향상을 적용할 수 있다. 이 경우 R, G, B가 서로 연관성이 없이 변화하기 때문에 R G B의 성분 비율이 변화되어 색상 변화가 발생할 수 있다.

레티넥스 방법에 의한 칼라 영상 향상 방법도 Jobson 등이 SSR(D. J. Jobson, Z. Rahman, and G. A. Woodell, "Properties and performance of a center/surround retinex,” IEEE Trans . Image Process ., vol. 6, no. 3, pp. 451-462, Mar. 1997)과 MSR, 그리고 MSRCR( D. J. Jobson, Z. Rahman, and G. A. Woodell, “A multi-scale retinex for bridging the gap between color images and the human observation of scenes,” IEEE Trans . Image Process ., vol. 6, no. 7, pp. 965-976, July 1997.)에서 제안하고 있다. 이들 방법은 다음 [수학식 16]과 같이 향상된 반사율 성분만으로 칼라 출력 영상

를 얻는다.

상기[수학식 16]에서 보면, 출력 영상

는 입력 영상의 추정된 조명 성분에 무관하다는 것을 알 수 있다.

그리고 R, G, B 각 성분 영상에서 추정된 반사율 성분

가 모두 비슷한 값을 가지는 경우 R, G, B의 성분 비율이 1:1:1에 가깝게 되어 출력 영상의 칼라가 회색으로 이동하는 회 색 계 왜곡이 발생 된다.

이러한 점을 보완하기 위하여 다음 [수학식 17]과 같이 MSR에 칼라 복원 단계를 추가적으로 적용한 MSRCR이 제안되고 있다.

여기서

와

는 성분 영상

의 MSRCR 출력 영상과 MSR 출력 영상을 각각 나타내고,

는 다음 [수학식 18]과 같이 표현되는 칼라 복원을 위한 가중 함수를 나타낸다.

여기서

와

는 칼라 복원에 사용되는 상수를 나타내고,

는 영상의 칼라 성분의 개수를 나타낸다. [수학식 17]과 [수학식 18]에서 보면, MSRCR 출력 칼라 영상의 RGB 성분은 입력 칼라 영상의 RGB 성분의 비율에 따라 다른 가중치를 받게 된다. 따라서 입력 칼라 영상의 칼라와 유사한 칼라를 가진 출력 칼라 영상을 얻게 된다. 마지막으로 출력 영상의 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 맞추기 위하여 MSRCR 출력 영상

에 [수학식 12]의 게인 및 옵셋 수정을 적용하여 MSRCR 최종 출력 영상

를 얻는다.

도 8은 입력 칼라 영상(도 8a)과 MSR(도 8b) 및 MSRCR 출력 칼라 영상(도 8c)을 보여준다. 이때 MSRCR에서 사용되는 상기 [수학식 12]의 게인 및 옵셋 수정을 위한 상수

와

, 그리고 상기 [수학식 18]의 칼라 복원을 위한 상수

와

는 D. J. Jobson, Z. Rahman, and G. A. Woodell, “A multi-scale retinex for bridging the gap between color images and the human observation of scenes,”IEEE Trans . Image Process ., vol. 6, no. 7, pp. 965-976, July 1997.에서의 개시와 같이 192와 -30, 그리고 46과 125를 각각 선택한다. 도 8b의 MSR 출력 칼라 영 상에서 보면, 입력 칼라 영상에서 어두운 영역의 대비는 잘 증가시켜주지만 회색계 왜곡이 발생한다는 것을 알 수 있다. 도 8(c)의 MSRCR 출력 칼라 영상에서 보면 도 8b의 MSR 출력 칼라 영상에 비하여 회색계 왜곡이 다소 완화되었지만 땅과 하늘 부분에 회색계 왜곡이 일부 남아 있다는 것을 알 수 있다. 도 8c의 결과에서 보듯이 MSRCR은 M S R에서 회색계 왜곡이 발생하는 현상을 다소 완화시켜 주지만 근본적인 해결책은 되지 못한다는 것을 알 수 있다.

따라서 본 발명의 목적은 불균일한 조명에 의하여 열화 된 영상의 화질을 향상 시키는 방법을 제공함에 있다.

본 발명의 다른 목적은 입력 영상 대해 전역 조명 성분과 국부 조명 성분, 그리고 반사율 성분을 추정한 후 강도를 달리한 감마 수정을 적용하여 후광 효과가 억제된 화질이 개선된 영상을 얻는 방법 및 시스템을 제공함에 있다.

본 발명의 또 다른 목적은 백색광 조명하에서는 칼라 영상의 색상 (H)과 채도(S)성분 영상들의 불변함에 근거하여 백색광의 밝기(V)로부터 전역/국부 조명성분과 반사율 성분을 추정하고 추정된 각 성분을 향상시켜 향상된 영상을 제공하는 방법 및 시스템을 제공함에 있다.

본 발명의 또 다른 목적은 전역/국부조명성분과 반사율 성분의 추정을 정확히 하고 효율적으로 향상하며 후광 효과를 억제할 수 있는 방법 및 시스템을 제공함에 있다.

상기 목적은 수행하기 위한 본 발명은 입력 영상의 전역 조명 성분을 추정하는 전역조명성분추정과정과, 상기 추정된 전역 조명 성분이 제거된 입력 영상에서 국부조명성분을 추정하는 국역조명성분추정과정과, 입력 영상에서 상기 추정된 전역 조명 성분과 국부 조명 성분에 제거된 영상에서 반사율 성분을 추정하는 반사율 성분추정과정과, 상기 추정된 전역 조명 성분과 국부 조명 성분, 반사율 성분에 감마 수정의 강한 정도를 순서대로 각각 달리 적용하여 수정하는 감마수정과정과, 상기 감마수정과정에서의 결과들로부터 영상을 만들어(Format) 출력 장치의 밝기 값의 범위에 맞게 조절하는 출력과정으로 구성됨을 특징으로 한다.

상기 목적은 수행하기 위한 다른 본 발명은 입력 R G B 칼라 영상을 H S V 칼라 영상으로 변환하고 상기 V 성분의 영상에서 전역 조명 성분을 추정하는 제1과정과, 상기 입력 V 성분 영상에서 추정된 전역 조명 성분이 제거된 영상에서 국부조명성분을 추정하는 제2과정과, 상기 입력 V 성분 영상에서 추정된 전역 조명 성분과 국부 조명 성분을 나누어 반사율 성분을 추정하는 제3과정과, 상기 추정된 전역 조명 성분과 국부 조명 성분, 반사율 성분에서 감마 수정의 강한 정도를 순서대로 각각 달리 적용하여 수정하는 제4과정과, 상기 제3, 4과정을 거친 결과들로부터 영상을 만들어 향상시켜 출력 V 성분 영상을 얻고 히스토그램 모델 링을 이용하여 출력 장치의 밝기 값의 범위에 맞게 조절한 후 상기 H, S 성분 영상과 출력 V성분 영상을 R G B로 변환하여 출력하는 제5과정으로 구성됨을 특징으로 한다.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

본 발명과 관련하여 조명과 반사에 대한 용어와 전역 조명, 국부조명에 대한 용어 및 추정, 감마수정에 대해 간단히 정의하면,

조명(illumination 또는 lighting)은 물체를 보이도록 밝게 하는 것으로

로 표시하고, 반사율(reflectance)은 물체가 빛을 받아서 되돌아 오는 것으로

로 표시한다. 특히 밝기(V)로부터 추정된 반사율 성분은

로 표시한다. 전역 조명(global illumination) 성분이란 카메라 등에서 촬영된 일정한 크기의 영상에서 밝기(V)로부터 추정된 물체를 포함하는 전체적인 조명을 뜻하며, 여기서

로 표시하고, 국부 조명(local illumination)성분은 전역 조명에서 전체 중 일부분의 국한된 영역에서 나타나는 밝기(V)로부터 추정된 조명성분을 뜻하고, 여기서

로 표시한다. 그리고 성분이란 조명이나 반사율의 각각의 자체의 성질에 해당하는 것이다.

추정(estimation)은 전역 조명 성분, 국부 조명 성분, 그리고 반사율 성분으로 결정하기 이전의 추측할 수 있는 상태를 뜻한다.

감마 수정(gamma correction)은 영상의 동적 범위를 줄이고 대비를 증가시키기 위하여 전역 조명 성분, 국부 조명 성분, 그리고 반사 성분을 향상시키는 하나의 과정을 뜻한다.

도 9는 본 발명의 실시 예에 따른 입력 영상에서 조명성분과 반사율성분의 향상을 위한 블록도로서,

입력 영상

에서 포락선 검파를 하여 조명 성분

를 추정하는 복조기(901)와,

상기 입력 영상

으로부터 상기 복조기(901)의 추정된 조명 성분

을 나누고 반사율 성분

을 추정하기 위한 인버터(903) 및 곱셈기(905)와,

상기 복조기(901)에서 추정된 조명 성분

을 동적 범위를 줄이기 위해 수정하는 제1 수정기(909)와,

상기 곱셈기(905)에서 추정된 반사율 성분

을 픽셀 간의 대 비(contrast)를 증가시키기 위해 수정하는 제2수정기(907)와,

상기 제1,2 수정기(909, 907)의 출력을 곱셈기(911)에서 곱하여 밝기(V)의 값의 범위를 출력장치의 밝기 값의 범위에 맞추도록 하는 제3수정기(913)로 구성된다.

상기 제1내지 제3수정기(909,907,913)의 수정은 감마 또는 로그함수를 사용하여 수정한다.

따라서 본 발명은 입력 영상

으로부터 복조기(901)는 조명 성분

을 추정한다. 상기 복조기(901)에서 조명 성분

을 추정하는 과정은 다음과 같이 설명할 수 있다. 일반적으로 상기 [수학식 1]의 영상 생성 모델에서 조명 성분

에 일정한 바이어스(bias)가 부가된 것으로 가정하면, 입력 영상

는 조명 성분

이 반사율 성분

에 의하여 AM 변조된 것으로 볼 수 있다. 이때 조명 성분

는 다음 [수학식 19]와 같이 입력 영상

에 AM 복조기의 일종인 포락선 검파기(Evelope Detector)를 적용하여 추정할 수 있다,

여기서 상기 [수학식 19]에서

는 포락선 검파기(901)를 나타낸다. 호모 모르픽 필터링 방법은

, 선형 저대역 필터,

가 케스 케이 드(cascade)로 구성된 포락선 검파기(901)를 사용한다. Jobson 등의 SSR과 MSR에서는 선형 저대역 필터가 사용되고, 그리고 Kimmel 등의 방법에서는 QP(701)가 사용된다. 그리고 반사율 성분

은 상기 [수학식 8]과 같이 입력 영상

에 추정된 조명 성분

를 나누어 추정하는 것으로 일반화시킬 수 있다. 이를 위해 인버터(903)에서 추정된 조명 성분

을 반전하여 입력 영상

과 곱셈기(905)에서 곱하면 반사율 성분 반사율 성분

이 추정된다. 상기 추정된 반사율 성분 반사율 성분

과 조명 성분

은 제1,2수정기(909),(907)에서 다음 [수학식 20]과 같이 감마 수정을 하고, 그 결과 들을 곱셈기(911)에서 곱하여 영상을 만들다. 이렇게 만들어진 영상은 제3수정기(913)에서 출력장치의 밝기 값의 범위에 맞추어 출력 영상

이 발생 된다.

여기서 제1수정기(909)의

은 상기 복조기(901)에서 추정된 조명 성분

의 동적 범위를 줄이기 위한 감마 수정 함수를 나타내고, 제2수정기(907)의

는 곱셈기(905)에서 추정된 반사율 성분

의 대비를 증가시키기 위한 함수를 나타낸다. 즉, 상기 제1,2수정기(909, 907)에서

과

는 주로 멱 함수를 사용하는 감마수정을 하게 되나, 로그 함수도 사용될 수 있다.

호모 모르픽 필터링에서 상기 함수

과

는 각각 멱 함수로

와

(여기서

,

)의 형태로 표시된다. Jobson 등의 SSR과 MSR는 함수로서, 멱함수

와 로그 함수

가 사용 되었으며, Kimmel 방법에서는 함수로서,

와

(여기서

,

)와 같이 멱 함수로 사용된다. 상기 제1,2 수정기(909, 907)의 출력은 곱셈기(911)에서 곱하여 영상을 만들어 제3 수정기(913)에서 감마수정을 하면, 출력 영상

이 발생된다. 상기 제3수정기(913)에서의 감마수정은 출력 장치의 밝기 값의 범위에 맞추기 위한 것으로 다음 [수학식 21]에 따라 출력 영상

를 얻게 된다.

여기서 [수학식 21]에서

는 제3수정기(911)에서의 출력 장치의 밝기 값의 범위에 맞게 조절하는 함수이다. 상기 호모 모르픽 필터링 방법과 Kimmel등의 방법에서 제3수정기(911)의

는 사용되지 않았고, Jobson 등의 SSR과 MSR에서 제3수정기(911)의

는 게인 및 옵셋 수정을 사용한다.

도 10은 본 발명의 실시 예에 따른 흑백 영상의 향상을 위한 블록도로서,

전역 조명 추정부(1004)는 입력 영상을 AM변조로 포락선을 검출하여 전역 조명 성분

을 추정하는 포락선 검파기(111)로 구성된다.

국부 조명 성분 추정부(1006)는 상기 포락선 검파기(111)에서 전역 조명 성분

을 반전하는 인버터(113)를 가지며, 상기 인버터(113)의 출력과 상기 입력 영상

을 곱하는 곱셈기(115)와, 상기 곱셈기(115)의 출력으로부터 AM변조로 포락선을 검출하여 국부 조명 성분

을 추정하는 포락선 검파기(116)로 구성되어 있다.

상기 반사율 성분 추정부(1008)는 상기 포락선 검파기(116)의 출력을 반전하는 인버터(118)를 가지며, 상기 인버터(118)의 출력과 상기 곱셈기(115)의 출력을 곱하여 반사율 성분

을 추정하는 곱셈기(120)로 구성된다.

상기 전역/국부 조명 성분 및 반사율 성분 향상부(1010)는 상기 전역/국부 조명 성분 추정부(1004,1006)에서 추정된 각각의 전역 및 국부 조명 성분의 동적 범위를 줄이기 위한 감마 수정기(119,117)와, 상기 반사율 성분 추정부(1008)에서 추정된 반사율 성분의 대비를 증가시키기 위해 감마 수정기(121)로 구성된다.

상기 영상 포멧 및 향상된 성분 출력부(1016)는 상기 전역/국부 조명 성분 및 반사율 성분 향상부(1010)의 감마 수정기(119,117)의 각 출력을 곱하는 곱셈기(122)와, 상기 곱셈기(122)의 출력과 상기 감마 수정기(121)의 출력을 곱하는 곱셈기(123)와, 상기 곱셈기(121,123)는 향상된 영상을 발생한다(Formatting).

감마 수정기(125)는 상기 곱셈기(123)의 출력에 대해 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 맞도록 수정한다.

본 발명의 흑백 영상의 개선과 관련하여 설명하면,

입력 영상

은 다음 [수학식 22]와 같이 전역 조명 성분

와 국부 조명 성분

, 그리고 반사율 성분

의 곱으로 표현한다.

또한, 일반적으로 영상의 조명성분 중에서 전역 조명 성분이 스펙트럼이 가장 낮은 주파수 대역에 분포하며, 반사성분이 높은 주파수 대역에 분포한다고 가정할 때, [수학식 1]의 기존의 영상 생성 모델에서 상기 [수학식 20]식의 일반화된 영상 향상에 대응하여 개선된 영상 향상 방안은 다음 [수학식 23]과 같이 표현할 수 있다.

상기 [수학식 23]에서

는 추정된 전역 조명 성분,

는 추정된 국부 조명 성분, 그리고

는 추정된 반사율 성분을 각각 나타낸다. 또한

와

은 감마 수정기(119, 117)에서 추정된 전역 조명 성분

과 국부 조명 성분

의 동적 범위를 줄이기 위한 함수이고,

는 감마 수정기(121)에서 추정된 반사 성분

의 대비를 증가시키기 위한 함수이다. 이들

과

, 그리고

는 주로 멱함수를 사용하는 감마수정을 사용하게 되나 로그 함수도 사용될 수 있다.

는 출력 영상으로 상기 [수학식 21]과 같이

의 감마 수정기(125)를 이용하여 출력 장치의 밝기 값의 범위에 맞추어진 최종 출력 영상

를 얻는다.

상기 [수학식 22]에서 전역 조명 성분

와 국부 조명 성분

에 각각 일정한 바이어스가 부가되는 것으로 가정하면, 입력 영상

는 다음 [수학식 24,25]식과 같이 포락선 검파기(111,116)를 통해 전역 조명 성분

및 국부 조명 성분

을 추정한다. 다음 [수학식 26]에 의하여 반사율 성분

을 추정한다.

여기서 [수학식 24]에서

는 추정된 전역 조명 성분을 나타내고,

는 전역 조명 성분의 추정에 사용되는 포락선 검파기(111)를 나타낸다. 상기 [수학식 24]에 근거하면 입력 영상

에서 전역 조명 성분

이 제거된 영상은 국부 조명 성분

이 반사율 성분

에 의하여 AM 변조된 것으 로 볼 수 있다. 그러면 국부 조명 성분

는 다음 [수학식 25]와 같이 입력 영상

에서 추정된 전역 조명 성분

을 나누어 얻은 영상으로부터 포락선 검파기(116)를 적용하여 추정한다. 즉,

상기 [수학식 25]식에서

는 추정된 국부 조명 성분을 나타내고,

은 국부 조명 성분의 추정에 사용되는 포락선 검파기(116)를 나타낸다. 그리고 반사율 성분

는 다음 [수학식 26]과 같이 입력 영상

에서 추정된 전역 조명 성분

와 추정된 국부 조명 성분

를 모두 나누어 추정할 수 있다.

도 10에서

와

의 함수는 감마 수정기(119, 117)에서 추정된 전역 조명 성분

와 추정된 국부 조명 성분

에 대해 동적 범위를 각각 줄인다. 그리고 감마 수정기(121)의

는 추정된 반사율 성분

의 대비를 증가시킨다. 이어서 그 결과들을 곱셈기(122, 123)에서 곱하면 영상이 포멧되어 감마수정기(125)를 통해 출력 영상

를 얻는다. 마지막으로

는 감마 수정기(125)에서 사용하는 함수로서, 출력 영상

의 출력 장치의 밝기 값의 범위에 맞추도록 되어 있다. 상기 감마 수정기(125)는 히스토그램 모델 링을 사용하나, 히스토그램 스트레칭도 사용될 수 있다.

도 11a, 11b는 도 10과 관련하여 본 발명의 실시 예에 따른 흑백 영상 향상을 위한 흐름도로서, 본 발명의 전역/국부 조명 성분, 반사율 성분의 추정으로부터 흑백 영상의 화질 개선 예를 구체적으로 설명한다.

전역 조명 성분의 추정

전역 조명 성분의 추정에 사용되는 [수학식 28]의 포락선 검파기(111)로는 유효 영역이 넓은 선형 저대역 필터가 사용될 수 있으며, 입력 영상

에 이를 적용한 전역 조명 성분의 추정은 다음 [수학식 27]과 같이 표현된다.

여기서

는 선형 저대역 필터를 나타내고,

는 2차원 필터 창을 나타낸다.

본 발명에서는 선형 저대역 필터 링을 고속으로 수행하기 위하여 필터의 유효 영역을 넓혀가면서 반복적으로 필터 링을 수행하는 Gaussian Pyramid 방식을 이 용한다. 유효 영역을 넓히려면 먼저, 유효 영역이 좁은 필터를 적용한 후 그 결과 영상으로부터 다시 필터 계수는 같되, 필터 탭의 간격을 2배로 넓히면 필터의 유효 영역이 2배로 넓어진다. 이와 같은 방법을 반복하면 유효 영역이 넓은 필터 링이 수행된다. 또한 고속 수행을 위해서는 1차원 선형 저대역 필터를 수평 방향으로 적용하고, 그 결과 영상에 다시 수직 방향으로 적용한다. 이러한 필터 링은 다음 [수학식 28]과 같이 표현된다.

여기서

는 포락선 검파기(111)로 입력되는 입력 영상을 수식으로 나타낸 것이다. (1142)과정에서 영상 입력이 있으며, 영상입력은 (1143)과정에서 다운 샘플링한다. 전역 조명 추정을 위해 입력 영상이 처음이면 (1146)과정에서

는 0으로부터 시작되도록 초기화한다. 상기 (1146)과정d

는 필터링의 반복 횟수를 나타낸다. 이때

이고,

이다.

본 발명에서는 필터의 최대 유효 영역이 입력 영상의 1차원 크기의

정도인 경우가 가장 좋은 성능을 나타내는 실험 결과에 근거하여 필터링 반복 횟수

는 M×N크기의 입력 영상에 대하여 다음 [수학식 29]과 같이 결정한다.

여기서

는 필터링이 매번 반복될 때 필터의 유효 영역이 2배씩 증가 되는 것을 감안하여 다음 [수학식 30]과 같이 결정되는 상수를 나타낸다.

즉, 상기 (1146)은 전역 조명 성분 추정을 위한 필터의 반복된 횟수를 알기 위해 저장하는 변수 K를 초기화되는 과정이다. (1148)은 반복 횟수가 상기 [수학식 29]에서 정해진 필터 링 반복 회수

와의 일치 여부를 확인하는 과정이다. 상기 반복 회수

와의 일치하지 않으면 입력 영상은 (1152)과정에서 저대역 필터링이 일어난다. 그리고 (1153)은 반복 횟수가 증가시키는 과정이다(k=k+1). 상기 (1153)과정의 카운트 결과는 (1148)과정에서 일치 여부가 확인이 된다. 상기 (1151)과정에서 다운 샘플링된 영상은 (1149)과정에서 업 샘플링한 후 원래의 크기 대로 복원을 하여 (1154)과정에서 추정된 전역 성분이 저장된다. 도 12b는 2000×1312 크기를 가지는 입력 영상(도 12a)으로부터 상기 [수학식 28]을 기반으로 필터 계수가

인 선형 저대역 필터를 사용한 예이다. 여기서 필터의 필터 링 횟수는 9회 반복

하여 전역 조명 성분을 추정한 예이다. 도 12(b)는 에지를 포함한 모든 영역에서 조명 성분이 천천히 변한 예를 나타낸 것이다.

국부 조명 성분과 반사율 성분의 추정

국부 조명 성분을 추정하기 위해서는 (1156)과정이 실행된다. 국부 조명 성 분의 추정은 먼저, 입력 영상으로부터 (1154)과정에서 추정된 전역 조명 성분을 제거하기 위해 (1156)과정에서 인버터(113)에서 반전한 후 입력 영상과 곱셈기(115)에서 곱한다. 이때 입력 영상에서 추정된 전역 조명 성분이 제거된 부분만 남게 된다. 입력 영상으로부터 전역 조명 성분이 제거된 부분은 (1155)과정에서 다운 샘플링이 된다. 상기 국부조명성분의 필터 링은 도 11a의 (1158)과정에서 (1166)과정을 거쳐 처리된다. 상기 (1158)과정은 (1146)과정에서와 같이 국부 조명 성분의 추정을 위한 필터의 반복된 횟수를 알기 위해 저장하는 변수 K를 초기화시킨다. 상기 (1148)과정에서와 같이 (1160)과정에서 선형 저대역 필터링이 1번째부터

번째까지 반복하되, 1번부터

번째 까지의 각각의 값은 (1162)과정에서 JND 기반 저대역 필터링을 하고, 반복 횟수를 증가시켜(K=k+1)(1164), 다시 (1160)과정에서

번째까지 일치할 때까지 확인하여 실행한다. JND 기반의 저대역 필터링을 사용하는 이유는 불균일한 영상의 변화에 따라 국부 변화의 최소한의 밝기 차에 따라 국부 조명 성분을 추정하기 위한 것이다. 상기 국부 변화의 최소한의 밝기 차는 다음 [수 학 식 31]과 같이 Weber의 법칙에 근거 한 것이다.

여기서

는 영상의 균일한 밝기 값을 나타내고,

는

에 대한 JND 값을 나타내며,

와

는 각각 상수를 나타낸다. 이러한 JND를 이용하면, 특정 영상 화소

의 밝기

에 대한 인간의 시각으로 감지할 수 있는 최소한의 밝기의 차

를 알 수 있다. 상기 인간의 시각으로 감지할 수 있는 최소한의 밝기의 차를 이용하는 이유는 필터 링시 후광 효과의 발생을 억제하기 위한 것에 이용된다. 예를 들어, 필터 창 내에서 중심 화소와의 밝기 차가 JND보다 큰 화소는 필터링 과정에서 제외하고, 그리고 JND보다 작은 화소는 밝기 차의 정도에 따라 필터의 계수를 조절하여 필터링 하게 되는 비선형 저대역 필터를 사용한다. 이에 대해 다음에서 구체적으로 살펴보면, 본 발명에서 비선형 저대역 필터를 표현하기 위하여 편의상 입력 영상

에서 추정된 전역 조명 성분

이 제거된 영상을 다음 [수 학 식 32]와 같이

로 나타내면,

필터 창 내의 중심 화소

에서의 밝기 값과 중심 화소에서

만큼 떨어진 화소와의 밝기 값의 차

와 중심 화소

의 JND 값

와의 비를 다음 [수 학 식 33]과 같이

로 나타낼 수 있다.

그리고 [수학식 33]의

의 값에 따라 필터의 계수를 조절하기 위한 가중치 함수

을 다음 [수 학 식 34]와 같이 정의할 수 있다.

여기서

는 역치를 나타낸다. 상기 [수학식 34]의 가중치 함수

가 적용된 본 발명에서 비선형 저대역 필터를 사용한 국부 조명 성분의 추정은 다음 [수학식 35,36]과 같이 표현된다.

상기 [수학식 31-36]에서 보면

이 1보다 큰 경우는 중심 화소와의 밝기 차를 감지할 수 있는 화소로 간주하여 해당 화소는 중심 화소

에서 필터링에 사용되지 않는 것임을 알 수 있다.

그리고

이

보다 작은 경우에는 중심 화소와의 밝기 차가 거의 없는 것으로 간주하여 해당 화소는 원래의 필터 계수에 의한 중심 화소

에서 의 필터링을 수행한다.

인 경우에는

이 1에 근접할수록 해당 화소는 원래의 필터 계수보다 크기가 줄어드는 필터 계수에 의해 중심 화소

에서 필터 링을 수행한다.

따라서 본 발명에서 중심 화소의 밝기의 차가 JND보다 작은 화소는 필터의 계수를 조절하는 비선형 저대역 필터를 사용한다. 비선형 저대역 필터의 고속 수행을 위하여 다음 [수 학 식 37,38]과 같이 1차원 필터를 수평, 수직 방향으로 분리적으로 반복 적용한다.

여기서

은 필터링의 반복 횟수를 나타낸다. 그리고

은 상기 [수학식 34]의 1차원 신호에 대한 것을 나타내고,

는 상기 [수학식 38]과 같은 방식으로 정의된다. 이때

이고,

이다.

상기 (1164)은 필터링 횟수를 증가시키는 과정이고(K=K+1), (1160)과정은 필터링의 반복 횟수가

이 될 때까지 실행 여부를 확인하는 과정이다.

상기 JND 필터링의 반복 횟수가

이 되면, 필터링이 완료된 것이며, (1159)과정에서 필터링이 되기 이전의 크기로 복원을 하기 위해 (1159)과정에서 업 샘플링한다. 업 샘플링이 완료되면 (1166)과정에서 추정된 국부 조명 성분을 저장하게 된다. 상기와 같이 포락선 검파기(116)의 JND 필터의 경우 비선형 저대역 필터의 최대 유효 영역은 입력 영상의 1차원 크기의

정도인 경우가 가장 좋은 성능을 나타낸다. 이의 실험 결과에 근거하여 필터링 반복 횟수

는 M×N크기의 입력 영상에 대하여 다음 [수 학 식 39]와 같이 결정한다.

여기서

는 상기 [수학식 30]으로 결정되어 지는 상수이다. 한편, 후광 효과는 강한 에지가 존재하되, 입력 영상의 향상된 출력으로부터 발생할 수 있으므로, JND를 적용한 필터의 계수 조절에 의해 비선형 저대역 필터링을 거치면서 후광 효과는 억제된다. 만약, 입력 영상에 강한 에지가 존재하지 않아서 후광 효과가 발생할 가능성이 적은 경우가 있다. 여기서 JND를 적용하지 않는 필터를 사용할 경우 가중치 함수는 1을 사용한다.

도 13a는 도 12a의 입력 영상에 상기 [수학식 37]을 기반으로

인 비선형 저대역 필터링을 5회 반복

한 예로서 추정된 국부 조명 성분을 보여준 예이다. 도 13b는 반사율 성 분의 추정 예이다. 상기 [수학식 31]의 JND를 위한 상수는 " S. A. Rajala, M. R. Civanlar, and W. M. Lee, “A second generation image coding technique using human visual system based segmentation,” in Proc. IEEE Int . Conf . Acoustics , Speech, Signal Processing, vol. 12, Dallas, TX, Apr. 1987, pp. 1362-1365."의 개시에서와 같이

,

로 선택하며, [수학식 34]의 역치

는 실험적으로 0.8을 선택한다.

도 13(a)의 추정된 국부 조명 성분을 보면, 에지와 같이 변화가 큰 영역은 밝기 값의 차이를 유지하나, 하늘이나 지붕과 같이 변화가 작은 영역에서는 밝기 값이 천천히 변한다는 것을 알 수 있다. 마지막으로 상기 [수학식 26]을 이용하여 반사율 성분

은 (1168)과정에서 추정한 후 (1170)과정에서 저장을 한다. 그리고 (1172)은 전역/국부 및 반사 성분에 대한 추정이 완료되었는 지를 확인하는 과정이고 (1174)은 추정된 전역/국부 및 반사 성분에 대해 감마수정을 하는 과정이다. 상기 감마 수정을 하는 이유는 추정된 전역/국부 및 반사 성분에 대해서는 전체적으로 동적 범위를 줄이면서 반사 성분에 대해 대비를 증가시킨다. (1176)은 히스토그램 모델 링을 처리하는 과정을 나타내며, (1180)은 출력 영상을 발생하는 과정이다.

칼라 영상 향상 방법

본 발명과 관련하여 색상(H), 채도(S), 밝기(V)의 칼라 공간에서의 영상 향상은 조명이 백색광인 경우로 가정하게 되는데, 이를 가정하게 되는 구체적인 이유 는 다음과 같다. 예를 들어, R, G, B 각각의 조명 성분은 모두 동일한 값을 가지므로 [수학식 18]의 조명 성분

는 동일한 조명 성분

로 표현할 수 있다. 따라서 조명이 백색광인 경우 다음 [수학식 15]는 다음[수학식 40]과 같이 표현된다.

상기 [수학식 40]으로 표현되는 R G B 칼라 영상을 R G B와 H S V의 색상 변환 관계( R. W. G. Hunt, Measuring Color . New York, Halsted Press, 1989.)를 이용하여 H S V 칼라 영상으로 변환하면,

각 성분 영상

는 다음 [수학식 41],[수학식 42],[수학식 43]과 같이 주어진다는 것을 쉽게 증명할 수 있다.

상기 [수학식 41],[수학식 42],[수학식 43]에서와 같이 영상 향상에 있어 H 성분 영상과 S 성분 영상은 조명 성분과는 무관하며, V 성분 영상은 조명 성분의 영향을 받는다는 것을 알 수 있다. 따라서, 입력 칼라 영상의 H 성분 영상과 S 성분 영상은 그대로 유지한다. 그리고 V 성분 영상만을 향상하면 입력 칼라 영상에서 조명의 영향이 보상된 출력 칼라 영상을 얻을 수 있다. 이렇게 하면 색상과 채도가 변하지 않기 때문에 향상된 출력 칼라 영상에서 회색계 왜곡도 발생하지 않게 된다.

도 14는 본 발명의 실시 예에 따른 제안된 칼라 영상 향상을 위한 블록도로서,

입력 칼라 영상의 R G B를 H S V로 변환하는 RGB/HSV변환부(1400)와,

상기 RGB/HSV변환부(1400)의 V의 성분으로부터 전역 조명 성분을 추정하는 전역 조명 성분 추정부(1404)와,

상기 RGB/HSV변환부(1400)의 V성분의 출력과 전역 조명 성분 추정부(1404)의 출력으로부터 국부 조명 성분을 추정하는 국부 조명 성분 추정부(1406)와,

상기 RGB/HSV변환부(1000)의 V성분의 출력과 전역 조명 성분 추정부(1404)의 출력, 그리고 국부 조명 성분 추정부(1406)의 출력으로부터 반사율 성분을 추정하는 반사율 성분 추정부(1408)와,

상기 전역 및 국부 조명 성분 추정부(1404, 1406)의 추정된 전역 및 국부 조명 성분의 동적 범위를 줄이기 위해 감마 수정을 하며 상기 반사율 성분 추정부(1408)의 추정된 반사 성분의 대비를 증가시키기 위해 감마 수정을 하는 전역/국부 조명 성분 및 반사율 성분 향상부(1410)와,

상기 전역/국부 조명 성분 및 반사율 성분 향상부(1410)의 각 성분을 곱하고 밝기 값(V)의 범위가 출력 장치의 밝기 값(V)의 범위에 맞추어 출력하는 향상된 V성분 출력부(1416)와,

상기 RGB/HSV변환부(1400)의 H,V성분과 상기 향상된 V 성분 출력부(1416)의 출력 V성분을 RGB로 변환하는 HSV/RGB변환부(1402)로 구성된다.

따라서 본 발명의 칼라 영상 향상을 위해서는 RGB/HSV변환부(1400)에서 R G B 입력 칼라 영상을 H S V 칼라 영상으로 변환 한 다음, 백색광 조명상태라는 가정 하에 개선된 영상 생성 모델에 근거하여 V 성분 영상만을 향상한다. 상기 V성분을 향상시키기 위해서는 전역 조명 성분은 전역 조명성분 추정부(1404)에서 입력 V 성분 영상에 유효 영역이 넓은 선형 저대역 필터를 적용하여 추정하고, 국부 조명 성분은 국부 조명 성분 추정부(1406)에서 입력 V 성분 영상으로 부터 추정된 전역 조명 성분이 제거된 영상에 유효 영역이 좁은 JND(just noticeable difference)기반의 비선형 저대역 필터를 적용하여 추정한다. 그리고 반사율 성분은 반사율 성분 추정부(1408)에서 입력 V 성분 영상에 추정된 상기 전역 조명 성분과 국부 조명 성분을 나누어 추정한다. 그런 다음 이들 추정된 성분에 전역/국부 조명 성분 및 반사율성분 향상부(1410)에서 감마 수정을 각각 적용하고, 그 결과들을 향상된 V성분 출력부(1416)에서 처리하여 향상된 출력 V 성분의 영상을 얻는다. 이때 각 감마 수정의 강도는 강한 순으로 전역 조명 성분, 국부 조명 성분, 반사율 성분의 순으로 한다. 이어서 출력 V 성분 영상의 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 맞추기 위하여 히스토그램 모델 링을 적용하여 최종 출력 V 성분 영상을 얻는다.

마지막으로 최종 출력 V 성분 영상과 입력 H 성분 영상 및 S 성분 영상으로부터 HSV/RGB변환부(1402)에서 변환하여 RGB 칼라 영상을 얻는다.

도 15는 도 14의 RGB/HSV변환부(1400)의 밝기(V)성분으로부터 전역/국부 조명성분, 반사율 성분을 추정하는 구체적인 블록도이다.

도 16a,16b는 도 14와 관련하여 본 발명의 실시 예에 따른 칼라 영상 향상을 위한 흐름도로서,

본 발명의 입력 V성분 영상의 전역/국부 조명 성분, 반사율 성분의 추정으로 부터 칼라 영상의 화질 개선 예를 구체적으로 설명한다.

따라서 본 발명의 구체적 실시 예를 도 14내지 도 16도를 참조하여 살펴보면,

도 16a의 (440)과정은 초기 설정 조건으로 칼라 공간에서 백색광에 대해 영상 향상을 위한 조명은 백색광으로 가정한다. (442)과정에서 RGB/HSV변환부(1400)로 R(Red), G(Green), B(Blue)의 칼라 영상이 입력되면 (444)과정에서 색상(Hue), 채도(Saturation), 밝기(Value)로 변환한다.

본 발명은 도 14와 같이 RGB/HSV변환부(1400)의 출력으로서 도 15의 전역조명성분추정부(1404)의 입력 V성분 영상

으로부터 포락선검파기(411)에서 전역적인 밝기 변화를 나타내는 전역 조명 성분

가 추정된다. 상기 추정된 전역 조명 성분

은 인버터(413)에서 반전되어 상기 입력 V성분 영상

과 곱셈기(415)에서 곱한 후 포락선 검파기(416)에서 전역 조명 성분이 추정된다. 즉, 상기 국부적인 밝기 변화를 나타내는 국부 조명 성분

은 입력 V성분 영상

에서 추정된 전역 조명 성분이 제거된 영상으로부터 포락선 검파기(416)에서 추정된다. 상기 추정된 국부 조명 성분

은 인버터(418)에서 반전되어 곱셈기(420)에서 상기 곱셈기(415)의 출력과 곱하면 반사율 성분

이 추정 된다. 상기 포락선 검파기(411,416)의 출력은 감마수정기(419, 417)을 통해 동적 범위를 줄이도록 되어 있다. 각각의 감마수정기(419,417)의 출력은 곱셈기(422)에서 곱해진다. 상기 곱셈기(420)에서 출력되는 추정된 반사율 성분은 감마 수정기(421)을 통해 대비를 증가시켜 상기 곱셈기(422)의 출력과 곱셈기(423)에서 곱하여 영상을 발생한다(Formatting). 상기 곱셈기(423)의 출력은 히스토그램 모델링기(425)에서 밝기 값의 범위가 출력장치의 밝기 값의 범위에 맞도록 수정하여 최종 출력 V 성분 영상이 출력된다. 즉, 본 발명의 영상 생성 모델에서는 입력 V 성분 영상

를 다음 [수학식 44]와 같이 전역 조명 성분

와 국부 조명 성분

그리고 반사율 성분

의 곱으로 표현한다.

또한, 조명 성분들과 반사율 성분 중 전역 조명 성분 추정부(1004)에서 추정된 전역 조명 성분은 스펙트럼이 가장 낮은 주파수 대역에 분포하며, 반사율 성분 추정부(1008)에서 추정된 반사율 성분

의 스펙트럼은 가장 높은 주파수 대역에 분포한다고 가정할 때 상기 [수학식 22]의 개선된 영상 생성 모델에 기반을 둔 [수학식 15]식의 개성 된 영상 향상은 다음 [수 학 식 45]과 같이 표현할 수 있다.

여기서,

는 추정된 V 성분 영상의 전역 조명 성분,

는 추정된 V 성분 영상의 국부 조명 성분, 그리고

는 추정된 V 성분 영상의 반사율 성분을 각각 나타낸다. 또한

와

은 감마 수정기(419, 417)에서 각각 추정된 전역 조명 성분

와 추정된 국부 조명 성분

의 동적 범위를 줄이기 위한 함수이고,

는 감마 수정기(421)에서 추정된 반사 성분

의 대비를 증가시키기 위한 함수이다. 이들

과

, 그리고

는 주로 멱 함수를 사용하는 감마수정을 사용하게 되나 로그 함수도 사용될 수 있다.

는 출력 V 성분 영상으로 상기 [수학식 21]과 같이 상기

의 히스토그램 모델기(425)를 이용하여 출력장치의 밝기 값의 범위에 맞추어진 최종 출력 영상

를 얻는다.

상기 [수학식 44]에서 전역 조명 성분

과 국부 조명 성분

의 각각에 일정한 바이어스가 부가 된 것으로 가정하면, 입력 V성분 영상

는 전역 조명 성분

가 국부 조명 성분

와 반사율 성분

에 의하여 AM 변조된 것으로 볼 수 있다. 그러면 전역 조명 성분은 다음 [수학식 46]과 같이 입력 V성분 영상

에 포락선 검파기(411)을 적용하여 추정할 수 있다.

여기서

는 추정된 V 성분 영상의 전역 조명 성분을 나타내고,

는 전역 조명 성분의 추정에 사용되는 포락선 검파기(411)를 나타낸다. 상기 [수학식 26]에 근거하면 입력V성분 영상

에서 전역 조명 성분

이 제거된 영상은 국부 조명 성분

이 반사율 성분

에 의하여 AM 변조된 것으로 볼 수 있다. 그러면 국부 조명 성분

는 다음 [수학식 47]과 같이 입력 V 성분 영상

에서 추정된 전역 조명 성분

를 제거한 다음 포락선 검파기(416)를 적용하여 추정한다. 즉,

상기 [수학식 47]식에서

는 추정된 국부 조명 성분을 나타내고,

은 국부 조명 성분의 추정에 사용되는 포락선 검파기(416)를 나타낸다. 그리고 반사율 성분

는 다음 [수학식 48]과 같이 입력 V 성분 영상

에서 포락선 검파기(411)에서 추정된 전역 조명 성분

와 포락선 검파기(416)에서 추정된 국부 조명 성분

를 인버터(418)와 곱셈기(1008)를 통해 나누어 추정할 수 있다.

입력 영상

으로부터 전역 조명 성분과 국부 조명 성분의 추정된 각각은

와

에 의해 감마 수정기(419, 417)에서 추정된 전역 조명 성분

와 추정된 국부 조명 성분

의 동적 범위를 각각 줄인다. 감마 수정기(421)의

는 추정된 반사율 성분

의 대비를 증가시킨다. 이어서 그 결과들을 곱셈기(422, 423)에서 곱하여 영상으로 포멧이 되어 감마 수정기(425)에서 수정하면 출력 영상

를 얻는다. 상기 감마 수정기(425)의

는 출력장치의 밝기 값의 범위에 맞추도록 수정한다.

칼라 영상의 V성분의 전역 조명 성분 추정

상기 RGB/HSV변환부(1400)의 밝기(V)의 출력

은 전역 조명 성분추정부(1404)로 입력된다. 상기 전역 조명 성분추정부(1404)는 포락선 검파기(411)를 통해 AM변조된 상기 밝기(V)의 포락선을 검출하여 전역 조명 성분

을 추정한다

상기 전역 조명 성분의 추정에 사용되는 상기 [수학식 46]의 포락선 검파기(411)

로는 유효 영역이 넓은 선형 저대역 필터가 사용될 수 있으며, 입력 영상

이를 적용한 전역 조명 성분

의 추정은 다음 [수학식 49]와 같이 표현된다.

여기서

는 선형 저대역 필터를 나타내고,

는 2차원 필터 창을 나타낸다.

본 발명에서는 선형 저대역 필터링을 고속으로 수행하기 위해서는 필터의 유효 영역을 넓혀가면서 반복적으로 필터링을 수행하는 Gaussian pyramid 방식을 이용한다. 먼저, 선형 저대역 필터는 유효 영역이 좁은 필터를 입력 영상에 적용하고, 그 결과 영상에 다시 필터 계수는 동일하게 하고 필터 탭의 간격을 2배로 넓혀서 필터의 유효 영역이 2배로 넓어진 필터를 적용하여 반복적으로 필터링을 수행한다. 또한 고속 수행을 위하여 1차원 선형 저대역 필터를 영상에 수평 방향으로 적용하고, 그 결과 영상에 다시 수직 방향으로 적용한다. 이러한 필터링은 다음 [수학식 50]와 같이 표현된다.

여기서

는 선형 저대역 필터링이

번 반복된

성분영상을 나타내고,

과

은 각각 수평, 수직 방향으로 적용되는 1차원 선형 저대 역 필터를 나타낸다. 그리고

은 1차원 필터 창을 나타내고,

는 필터링의 반복 횟수를 나타낸다. 이때

이고,

이다. 본 발명에서는 필터의 최대 유효 영역이 입력 영상의 1차원 크기의

*를

크기의 입력 영상에 대하여 다음 [수학식 51]과 같이 결정한다.

여기서

는 필터링이 매번 반복될 때 필터의 유효 영역이 2배씩 증가 되는 것을 감안하여 다음 [수학식 52]와 같이 결정되는 상수를 나타낸다.

따라서 도 16a의 (446)과정에서 전역 조명 성분 추정

을 위한 필터의 반복된 횟수를 알기 위해 저장하는 변수 K를 초기화시킨다. (448)과정은 상기 V의 입력에 따라 (449),(450),(452)과정을 반복하면서 필터링을 하되, 상기 [수학식 50]에서 정해진 필터링 반복 회수

와의 일치 여부를 (448)과정에서 확인한다. 여기서 일치되면 (453)과정에서 업 샘플링하고,(454)과정에서 전역성분이 추정되어 저장이 된다.

칼라영상의 V성분 국부 조명 성분 추정부

V성분 영상의 국부 조명 성분

의 추정은 국역 조명 성분 추정부(1406)에서 추정이 된다. 전역 조명 성분 추정부(1404)에서 추정된 전역 조명 성분

를 인버터(413)에서 반전하여 곱셈기(415)에서 상기 RGB/HSV변환부(1400)의 밝기(V)의 출력

와 곱하면 밝기(V)의 출력

에서 추정된 전역 조명 성분

이 제거된다(456). 상기 곱셈기(415)의 출력 값은 포락선 검파기(416)에서 AM복조로 포락선을 검출하여 V 성분의 국부 조명 성분의 추정이 이루어진다. 도 16a의 (458)과정에서부터 국부조명성분의 추정이 실행된다. 이때 상기 RGB/HSV변환부(1400)의 밝기(V)의 출력

에서 추정된 전역 조명 성분이 제거된 부분만 남게 된다. 다음 (458)과정은 (466)과정에서 국부 조명 성분을 추정하는데, 이를 위한 필터의 반복된 횟수를 알기 위해 저장하는 변수 K를 (458)과정에서 초기화시킨다. 밝기가 균일한 영상에서 밝기(V) 값의 변화를 감지할 수 있는 국부 밝기 변화의 최소값 JND는 Weber의 법칙에 의하여 다음 [수학식 53]과 같이 근사화된다.

여기서

는 영상의 균일한 밝기 값을 나타내고,

는

에 대한 JND 값을 나타내며,

와

는 각각 상수를 나타낸다. 이러한 JND를 이용하면 영상의 화 소

에서의 밝기

에 대한 인간 시각이 감지할 수 있는 최소한의 밝기 차이인

를 알 수 있다.

본 발명에서는 후광 효과의 발생을 억제하기 위해 [수학식 47]의 국부 조명 성분을 추정하기 위한 포락선 검파기

로 사용하는 필터 창 내에서 중심 화소와의 밝기 차가 JND보다 큰 화소는 필터링 과정에서 제외한다. 그리고 JND보다 작은 화소는 밝기 차의 정도에 따라 필터의 계수를 조절하여 필터링하게 되는 비선형 저대역 필터를 사용한다.

본 발명은 비선형 저대역 필터를 표현하기 위하여 편의상 입력

성분 영상

에서 추정된 전역 조명 성분

이 제거된 영상을 다음 [수학식 54]과 같이

로 나타내자.

그리고, 필터 창 내의 중심 화소

에서의 밝기 값과 중심 화소에서

만큼 떨어진 화소와의 밝기 값의 차

와 중심 화소

의 JND 값

와의 비를 다음 [수학식 55]와 같 이

으로 나타낸다.

그리고 [수학식 55]의

의 값에 따라 필터의 계수를 조절하기 위한 가중치 함수

을 다음 [수학식 56]식과 같이 정의한다.

여기서

는 역치를 나타낸다. 본 발명에서 [수학식 56]의 가중치 함수

이 적용된 비선형 저대역 필터를 사용한 국부 조명 성분의 추정은 다음 [수학식 57,58]과 같이 표현된다.

[수학식 55 -58]에서 보면

에서 필터링에 사용되지 않는다. 그리고

이

에서의 필터링을 수행한다.

인 경우에는

이 1에 근접할수록 해당 화소는 원래의 필터 계수보다 크기가 줄어드는 필터 계수에 의한 중심 화소

에서 필터링을 수행한다. 본 발명은 비선형 저대역 필터의 고속 수행을 위하여 다음 [수학식 59, 60]과 같이 1차원 필터를 수평, 수직 방향으로 분리적으로 반복 적용한다.

여기서

은 필터링의 반복 횟수를 나타낸다. 이는 (460)과정에서 확인이 된다. 그리고

은 [수학식 60]의 1차원 신호에 대한 식을 나타내고,

는 [수학식 60]과 같은 방식으로 정의된다. 이때

이고,

이다. 상기 (460)과정에서 필터링의 반복횟수가

에 도달되기 이전이면 (448)과정에서 다운 샘플링하고 (462)과정에서 JND기반 저역 필터 링을 한다. (464)과정에서 반복 횟수를 증가시켜 반복횟수가

에 도달하면 (454)과정에서 원래의 상태로 복원을 위해 업 샘플링하여 (466)과정에서 추정된 국부 조명 성분을 저장한다. 즉, 상기 [수학식 61]과 같이 결정된 반복 횟수에 따라 JND 필터링하여 (466)과정에서 추정된 국역 조명 성분을 저장한다.

상기 포락선 검파기(416)의 JND 필터의 경우 비선형 저대역 필터의 최대 유효 영역이 입력 영상의 1차원 크기의

정도인 경우가 가장 좋은 성능을 나타낸다.이의 실험 결과에 근거하여 필터링 반복 횟수

을 M×N크기의 입력 영상에 대하여 다음 [수학식 61]식과 같이 결정한다.

여기서

는 상기 [수학식 52]으로 결정 되어지는 상수이다.

한편, 후광 효과는 상기한 바와 같이 강한 에지가 존재하는 입력 영상의 향상된 출력 영상에서 발생할 수 있으므로, JND를 적용한 필터 계수 조절에 의해 비선형 저대역 필터링을 거치면서 후광 효과는 억제된다. 만약, 입력 영상에 강한 에 지가 존재하지 않아서 후광 효과가 발생할 가능성이 적어서 JND를 적용하지 않는 필터를 사용할 경우 가중치 함수를 1로 사용한다. 이때 [수학식 59]은 선형 저대역 필터링이 된다. 마지막으로 상기 [수학식 48]을 이용하여 반사율 성분

을 추정한다.

칼라영상의 V성분의 반사율 성분 추정

상기 V성분 영상의 반사율성분 추정부(1408)에서는 상기 포락선 검파기(416)의 곱셈기(415)의 출력을 반전하는 인버터(418)를 가지며, 상기 인버터(418)의 출력과 상기 곱셈기(415)에서 곱하여 반사 성분을 추정하는 곱셈기(420)로 구성된다. 이는 도 16a를 참조하면 (468)과정에서와 같은 수식으로 나타낼 수 있다. 상기 (468)과정을 통하여 V성분 영상의 반사율 성분을 추정하여 (470)과정에서 저장을 한다.

칼라영상의 V성분의 전역/국부 조명 성분 및 반사율 성분 향상

(472)과정에서 V성분 영상의 전역/국부 조명 및 반사율 성분의 추정이 완료되면 (474)과정에서 전역/국부 조명 성분 및 반사율 성분 향상을 위해 감마수정을 한다. 도 15에서 전역/국부 조명 성분 및 반사율 성분 향상부(1410)는 전역/국부 조명 성분 추정부(1404,1406)에서 추정된 각각의 전역 및 국부 조명 성분의 동적 범위를 줄이기 위한 감마 수정기(419,417)와 반사율 성분 추정부(1008)에서 추정된 반사율 성분의 대비를 증가 키기 위한 감마 수정기(121)로 구성된다. 상기 향상된 V성분 출력부(1416)는 상기 전역/국부 조명 성분 및 반사율 성분 향상부(1410)의 감마 수정기(119,117)의 각 출력을 곱하는 곱셈기(122)와, 상기 곱셈 기(122)의 출력과 상기 감마 수정기(121)의 출력을 곱하는 곱셈기(123)와, 상기 곱셈기(123)의 출력에 대해 밝기 값의 범위가 출력장치의 밝기 값의 범위에 맞도록 수정하는 감마 수정기(125)로 구성된다.

도 16b의 (472)과정에서 전역/국부 조명 성분 및 반사율 성분의 추정이 완료되면, (474)과정에서 감마 수정기(419,417)의

와

을 이용하여 입력 V 성분 영상

에서 추정된 전역 조명 성분과 국부 조명 성분

와

의 동적 범위를 각각 줄이고,감마 수정기(421)의

를 이용하여 추정된 반사 성분

의 대비를 증가시킨다. 이어서 상기 [수학식 27]에 기반하여 그 결과들을 곱셈기(422, 423)에서 곱하여 다음 [수학식 62]와 같이 향상된 출력 V 성분 영상

를 얻는다.

상기 [수학식 62]에서

과

는 추정된 전역 조명 성분과 국부 조명 성분

와

의 동적 범위를 줄이기 위한 감마 수정에 사용되는 상수를 각각 나타내고,

는 추정된 반사율 성분

의 대비를 증가시키기 위한 감마 수정에 사용되는 상수를 나타낸다. 이들 상수는 주파수 대역이 낮을수록 영상의 동적 범위에 더 큰 영향을 미치는 점과 밝은 영역보다 어두운 영역에 더 민감한 인간 시 각 특성을 고려하여

을 만족하도록 한다. 그리고 이들의 값은 출력 칼라 영상의 대비, 밝기, 자연스러움 등의 사용자 취향에 따라 결정한다. 출력 V 성분 영상

는 상기 [수학식 21]과 같이

를 통하여 밝기 값의 범위가 출력 장치의 밝기 값의 범위에 맞추어진 최종 출력 V 성분 영상

를 얻는다. 다음 (476)과정에서는 감마수정기(125)

를 이용하여 다음과 [수학식63,64]과 같은 히스토그램 모델링 방법(A. K. Jain, Fundamentals of Digital Image Processing. Englewood Cliffs, NJ: Prentice-Hall, 1989.)을 사용한다.

상기 (63)식에서

은

의 최소값,

는 출력 V 성분 영상

의

번째 밝기 값, 그리고

는

의 히스토그램을 각각 나타낸다. 그리고

와

은 최종 출력 V 성분 영상

의 히스토그램의 형태를 결정하는 상수와 그 밝기 값의 최대 값을 각각 나타낸다. 이때

인 경우는 히스 토그램의 형태 변화가 거의 없으며

인 경우는 히스토그램의 형태가 거의 균일 분포에 가까워져 히스토그램 등화 방법을 적용한 결과와 동일한 결과를 얻게 된다. 따라서 출력 V 성분 영상

의 히스토그램의 형태를 어느 정도 유지하면서 히스토그램 등화 방법이 갖는 단점을 보완하기 위하여

의 범위를 가지면서 0에 가까운 값을 갖도록 한다. 그리고 최종 출력 V 성분 영상

의 밝기 값의 범위는 출력 V 성분 영상

에 상관없이

에 의하여 결정되므로,

의 값을 최종 출력 V 성분 영상

의 밝기 값의 범위가 출력 장치의 밝기 값의 범위에 맞도록 선택한다. 따라서 본 발명에서 감마 수정기(425)의

로 사용하는 히스토그램 모델링 방법은 최종 출력 V 성분 영상

의 히스토그램의 형태는 출력 V 성분 영상

의 히스토그램의 형태를 어느 정도 유지하면서 그 밝기 값의 범위는 출력 V 성분 영상

에 상관없이 출력 장치의 밝기 값의 범위에 맞도록 한다. 이 방법은 게인 및 옵셋 수정이

로 사용되는 경우 최종 출력 V 성분 영상

의 밝기 값의 범위를 출력 장치의 밝기 값의 범위에 맞도록 하기 위해서는 출력 V 성분 영상

에 따라 게인 및 옵셋 수정에 사용되는 상수들의 값을 다르게 설정하여야 하는 것에 비하여 더 좋은 결과를 얻을 수 있도록 한다. 이상의 과정에서 향상된 최종 출력 V 성분 영상은 도 14의 HSV/RGB변환부(1402)에서 원래의 H 성분 영상 및 S 성분 영상을 이용하여 RGB 출력 칼라 영 상으로 변환한다. 도 17는 도 8(a)의 입력 칼라 영상에 대한 제안된 칼라 영상 향상으로 향상된 출력 칼라 영상을 보여준다. 도 17에서는 JND 기반의 비선형 저대역 필터링의 영향을 알아보기 위하여 제안된 칼라 영상 향상의 국부 조명 성분 추정에서 JND를 적용하지 않은 선형 저대역 필터링을 적용한 경우의 최종 출력 칼라 영상도 함께 보여준다. 이때 상기 [수학식 62]에서의 감마 수정에 사용되는 상수들은 본 저자들이 실험적으로 가장 좋은 결과를 보이는 것으로 판단되는

,

로 각각 선택하며, 상기 [수학식 63, 64]의 히스토그램 모델링에 사용되는 상수

와

는 256과 0.2로 각각 선택한다. JND를 적용하지 않은 출력 칼라 영상에서 보면, 도 17(a)는 MSRCR 출력 칼라 영상과 달리 색상의 변화가 일어나지 않은 것을 나타내고 있으며, 전체적으로 영상을 잘 향상시킨다는 것을 알 수 있다. 그러나, 탑 주위와 나무 부근에서 후광 효과가 좁게 나타나고 있다는 것을 알 수 있다. 반면에 도 17(b)는 JND를 적용한 최종 출력 칼라 영상에서 보면 이러한 후광 효과가 나타나지 않으면서 영상을 잘 향상시킨다는 것을 알 수 있다.

도 18은 상기한 후광 효과를 좀더 자세히 살펴보기 위해 도18(c)의 MSRCR 출력 칼라 영상과 도 18의 영상들의 탑과 그 주변 부분을 확대한 영상을 보여준다. 도 18(a)의 MSRCR 출력 칼라 영상에서 보면 탑 부근에서 후광 효과가 넓게 발생하며, 탑 부근에 존재하는 나뭇가지가 후광 효과의 영향으로 일부는 밝고 일부는 어둡게 나타나는 것을 알 수 있다. 도 18(b)의 제안된 방법에서 JND를 적용하지 않은 최종 출력 칼라 영상에서 보면 전역 조명 성분에 의한 후광 효과가 억제되었지만 국부 조명 성분에 의해 탑 부근에서 후광 효과가 좁게 나타난다는 것을 알 수 있다. 반면에 도 18(c)의 제안된 방법에서 JND를 적용한 최종 출력 칼라 영상에서 보면 이러한 국부 조명 성분에 의한 후광 효과가 나타나지 않는다는 것을 알 수 있다. 도 17와 도 18의 결과들로부터 본 발명에서 제안된 칼라 영상 향상은 개선된 영상 생성 모델에 기반함으로써 전역 대비와 국부 대비를 동시에 잘 증가시킨다는 것을 알 수 있다. 또한 JND 기반의 비선형 저대역 필터의 사용으로 후광 효과를 크게 억제한다는 것을 알 수 있으며, 입력 칼라 영상의 V 성분 영상만을 향상함으로써 색상의 변화가 없는 출력 칼라 영상을 얻는다는 것을 알 수 있다.

본 발명에서 제안된 칼라 영상 향상의 성능을 평가하기 위하여 NASA에서 획득한 2000X1312 크기의 RGB 칼라 영상(이후 NASA 영상이라 칭함)과 MPEG-7 CCD (common color Dataset)의 352x288 크기의 RGB 칼라 영상(이후 CCD 영상이라 칭함)으로 시험 영상 데이터 베이스를 구축한다. 구축된 시험 영상 데이터 베이스에 대하여 히스토그램 등화 방법, MSRCR, 그리고 제안된 방법에 의한 출력 칼라 영상들의 화질을 비교 평가한다. 이때 공정한 성능 평가를 위하여 히스토그램 등화 방법에서는 제안된 방법과 유사하게 RGB 칼라 영상을 HSV 칼라 영상으로 변환한 다음 V 성분 영상만을 향상하고, 입력 H 성분, S 성분 영상과 향상된 V 성분 영상으로 출력 RGB 칼라 영상을 얻었다. 그리고 MSRCR과 제안된 방법에서 사용되는 각 상수들은 상기 사용한 것들과 동일한 값을 선택하였다.

도 19은 NASA1 입력 칼라 영상과 히스토그램 등화 방법, MSRCR, 그리고 제안된 방법에 의한 출력 칼라 영상을 보여준다. 도 19(a)의 입력 칼라 영상에서 보면 풀과 이끼 부근에서는 어둡고 약한 에지가 많이 존재하며, 평탄한 영역의 파란색 서핑 보드가 존재한다. 도 19(b)의 히스토그램 등화 방법에 의한 출력 칼라 영상에서 보면 영상의 전역 대비가 증가하여 입력 칼라 영상에서 밝았던 돛과 모래 부근은 더 밝아졌다는 것을 알 수 있다. 그러나 이끼와 풀의 어둡고 약한 에지 부근의 대비는 감소하였다. 도 19(c)의 MSRCR 출력 칼라 영상에서 보면 도 19(b)의 영상과는 달리 이끼와 풀의 약한 에지 부근의 국부 대비가 증가되었지만 과도한 색상 변화가 발생하여 풀의 일부가 보라색으로 변화되고, 회색계 왜곡에 의하여 서핑 보드의 채도가 약화 되었다는 것을 알 수 있다. 도 19(d)의 제안된 방법에 의한 출력 칼라 영상에서 보면 입력 칼라 영상의 전체적으로 밝고 어두운 곳의 대비는 유지하며 풀이나 이끼와 같이 어둡고 약한 에지 부근의 국부 대비가 증가하였다는 것을 알 수 있다.도 20은 NASA2 입력 칼라 영상과 히스토그램 등화 방법, MSRCR, 그리고 제안된 방법에 의한 출력 칼라 영상들을 보여준다. 도 20(a)의 입력 칼라 영상에서 보면 강한 에지를 가진 흰 기둥들과 그 주변에 밝기가 어두운 나무가 존재한다. 도 20(b)의 히스토그램 등화 방법에 의한 출력 칼라 영상에서 보면 입력 칼라 영상에서 밝았던 기둥은 더욱 밝아지고, 나무의 어두운 부분은 더 어두워져서 영상의 전역 대비가 증가 되었지만, 흰 건물의 테라스 부근이 모두 밝아져서 국부 대비는 감소하였다는 것을 알 수 있다. 도 20(c)의 MSRCR에 의한 출력 칼라 영상에서 보면 흰 기둥의 테라스 부근과 나무 부근의 국부 대비가 증가하지만, 기둥 사이가 여전히 어둡게 나타나며 파란색 지붕을 가진 건물과 흰 기둥 사이의 나무들이 일부분 어두워진다. 도 20(d)의 제안된 방법에 의한 출력 칼라 영상에서 보면, 도 20(c)의 영상과 같이 대비를 증가시키면서 파란색 지붕을 가진 건물과 흰 기둥 사이의 나무들이 어두워지지 않는다는 것을 알 수 있다.

도 21은 CCD1 입력 칼라 영상과 히스토그램 등화 방법, MSRCR, 그리고 제안된 방법에 의한 출력 칼라 영상들을 보여준다. 도 21(a)의 입력 칼라 영상에서 보면 대부분 어두우면서 부분적으로 밝은 곳이 존재한다. 도 21(b)의 히스토그램 등화 방법에 의한 출력 칼라 영상에서 보면 전역 대비가 증가하여 톱니 부근의 어두운 부분은 더욱 어두워지며, 부분적으로 밝았던 부분은 더욱 밝아졌다는 것을 알 수 있다. 그러나 톱니 부근에서 좁고 낮은 대비를 가진 부분의 국부 대비가 감소하였다. 도 21(c)의 MSRCR 출력 칼라 영상에서 보면 톱니 부근의 국부 대비가 증가하였지만, 붉은 철근의 채도가 약화 되었다는 것을 알 수 있다. 또한 전역 대비는 도 21(b)와 같이 크게 증가 하지 않고 있다. 도 21(d)의 제안된 방법에 의한 출력 칼라 영상에서 보면 도 21(c) 와 같은 채도 변화를 보이지 않고 그림자에 의해 어두운 부분과 부분적으로 밝은 곳의 전역적인 밝기 차를 유지하면서 톱니 부근의 국부 대비를 증가시킨다는 것을 알 수 있다.

상기한 바와 같이 본 발명의 영상처리장치로 카메라 또는 다른 영상 취득장치로부터 칼라 또는 흑백 영상의 입력이 있을 경우 흑백 영상은 도 10의 시스템 또는 도 11과 같은 흐름도에 따라 처리하고, 칼라 영상은 도 14의 시스템 또는 도 16의 흐름도에 따라 처리하여 후광 효과가 억제된 향상된 영상을 출력장치로 출력한다.

상기 영상처리장치는 흑백 또는 칼라 영상을 입력하는 입력부와 상기 입력부 를 통한 각종 영상과 영상처리를 위한 프로그램을 저장하는 메모리장치와 상기 입력부를 통한 영상을 전역/국부 조명성분 및 반사율 성분을 각각 추정하고, 상기 추정된 각각의 성분을 감마수정을 하여 향상시킨 후 영상으로 만들어 출력하는 영상처리장치를 포함하고 있다. 상기 영상처리장치는 흑백 영상은 도 10의 시스템 또는 도 11과 같은 흐름도의 동작을 실행하고, 칼라 영상은 도 14의 시스템 또는 도 16의 흐름도의 동작을 실행하게 된다.

그리고 본 발명의 영상처리장치는 카메라 또는 여러 휴대용 단말기 또는 통신장치에 채택이 용이하여 해당 기능의 향상을 기할 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 즉, 동영상 및 정지영상 각각 또는 정지 영상과 동영상을 같이 이용할 수 있다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이 본 발명은 상술한 바와 같이 본 발명은 백색광 조명 상태라는 가정 하에 입력 R G B 칼라 영상을 H S V 칼라 영상으로 변환한 후 V 성분 영상만을 향상시키되, 먼저 입력 V 성분 영상에 유효 영역이 넓은 선형 저 대역 필터를 적용하여 전역 조명 성분을 추정한 후 입력 V 영상에서 추정된 전역 조명 성분이 제거된 영상에 유효 영역이 좁은 JND 기반의 비선형 저 대역 필터를 적용하여 국부 조명 성분을 추정한다.

그리고 반사율 성분 추정으로부터 강한 강도를 갖는 감마 수정을 적용한 다음,그 결과들을 곱하여 얻은 출력 V 성분 영상에 히스토그램 모델 링을 적용하여 후광 효과를 크게 억제하는 장점이 있으며, 입력 칼라 영상의 V성분 영상만을 향상시키므로 색상의 변화를 없게 하는 이점이 있다.

Claims

영상 향상 방법에 있어서,

입력 영상
에서 조명 성분
을 추정하는 조명 성분 추정 과정과,

상기 입력 영상
에서 상기 추정된 조명 성분
을 제거하여 반사율 성분
을 추정하는 반사율 성분 추정 과정과,

상기 추정된 조명 성분
의 동적 범위를 수정하는 제1수정과정과,

상기 추정된 반사율 성분
에 대해 대비를 수정하는 제2수정과정과,

상기 제1,2수정과정의 수정으로부터 출력장치의 밝기 값의 범위에 맞도록 수정하여 출력하는 제3수정과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제1항에 있어서,

상기 조명 성분추정은 포락선 검파에 의해 추정함을 특징으로 하는 영상의 화질 개선을 위한 방법.
제2항에 있어서,

상기 포락선 검파는 하기 수학 식에 따라 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제1항에 있어서,

상기 반사율 성분의 추정은 상기 추정된 조명 성분
을 반전하는 과정과,

상기 입력 영상
과 상기 반전한 상기 추정된 조명 성분
을 곱셈하여 반사율 성분
을 추정하는 과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제1항에 있어서,

상기 제1, 2수정과정의 수정은 로그 함수 또는 감마수정을 이용함을 특징으로 영상의 화질 개선을 위한 방법.
제1항에 있어서,

상기 제3수정과정은 출력장치의 밝기 범위에 따라 게인/옵셋 수정 또는 히스토그램 모델 링 또는 히스토그램 스트레칭을 사용함을 특징으로 하는 영상의 화질 개선을 위한 방법.
영상 향상을 시스템에 있어서,

입력 영상
에서 포락선 검파를 수행하여 조명 성분
을 추정하는 조명 성분 추정부와,

상기 입력 영상
으로부터 상기 추정된 조명 성분
을 제거하여 반사율 성분
을 추정하는 반사율 성분 추정부와,

상기 추정된 조명 성분
의 동적 범위를 줄이기 위한 수정을 하는 제1감마 수정기와,

상기 추정된 반사율 성분
의 대비를 증가시키는 수정을 하는 제2감마 수정기와,

상기 제1,2 감마 수정기의 출력을 상기 곱셈기에서 곱하여 얻은 밝기(V)의 범위를 출력장치의 밝기 값의 범위에 맞추도록 하는 게인/옵셋 수정기 또는 히스토그램 모델링기 또는 히스토그램 스트레칭기로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제7항에 있어서,

조명 성분 추정부는 로그, 선형 저대역 필터, EXP(.)가 케스케이드(Cascade)로 연결됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제7항에 있어서,

조명 성분 추정부는 QP에 의해 포락선 검파를 하는 포락선 검파기임을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제7항에 있어서,

반사율 성분 추정부는 상기 조명 성분 추정부에서 추정된 조명 성분
을 반전하는 인버터와,

상기 인버터를 통해 반전된 추정된 조명 성분
과 상기 입력 영상
으로부터 반사율 성분
을 추정하는 곱셈기로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
영상 향상을 위한 방법에 있어서,

입력 영상
의 전역 조명 성분을 추정하는 전역성분추정과정과,

상기 추정된 전역 조명 성분
이 제거된 입력 영상 에서 국부조명성분
을 추정하는 국부조명성분추정과정과,

상기 추정된 전역 조명 성분
과 국부 조명 성분
이 제거된 입력 영상에서 반사율 성분
을 추정하는 반사율 성분추정과정과,

상기 추정된 전역 조명 성분
과 국부 조명 성분
, 반사율 성분
에서 감마 수정의 강한 정도를 순서대로 각각 달리 적용하여 수정하는 감마수정과정과,

상기 감마수정과정에서 수정한 영상을 향상시켜 출력 장치의 밝기 값의 범위에 맞게 조절하는 출력과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제11항에 있어서,

상기 전역 조명 성분 추정과정의 전역 조명 성분
의 추정은 포락선 검파에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제12항에 있어서,

상기 전역 조명 성분
의 추정은 하기 수학 식에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제11항에 있어서,

상기 국부 조명 성분
의 추정은 상기 추정된 전역 조명 성분
이 제거된 입력 영상으로부터 포락선 검파에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 영상의 화질 개선을 위한 방법.
제14항에 있어서,

상기 국부 조명 성분
의 추정은 하기 수학식에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제11항에 있어서,

상기 반사율 성분
의 추정은 입력 영상에서 상기 추정된 전역 조명 성분
과 국부 조명 성분
을 제거한 영상으로부터 추정함을 특징으로 하는 영상의 화질 개선을 위한 방법.
제11항에 있어서,

상기 반사율 성분
의 추정은 하기 수학식으로부터 추정함을 특징으로 하는 방법.
제 11항에 있어서,

상기 전역/국부 조명 성분 및 반사율 성분 향상과정은

상기 추정된 전역/국부 조명 성분에 대해 동적 범위를 줄이는 제1과정과,

상기 추정된 반사율 성분에 대해 대비를 증가시키는 제2과정으로 구성됨을 특징으로 하는 방법.
제 18항에 있어서,

상기 제1,2과정은 멱 함수 또는 로그 함수를 사용함을 특징으로 하는 방법.
제11항에 있어서,

상기 출력 과정은 하기 수학식과 같이 출력 V 성분 영상
을 얻는 과정과,

상기
와
은 추정된 전역 조명 성분
와 추정된 국부 조명 성분
의 동적 범위를 줄이기 위한 함수이고,
는 추정된 반사 성 분
의 대비를 증가시키기 위한 함수.

상기 출력 V 성분 영상
에 대해 출력 장치의 밝기 값의 범위에 맞추는 과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
칼라 영상 향상을 위한 방법에 있어서,

입력 칼라 영상 f ( x , y )의 R G B를 H S V로 변환하는 R G B/H S V 변환 과정과,

상기 R G B/H S V 변환 과정에서 변환된 밝기(V)의 출력
으로부터 전역 조명 성분
을 추정하는 전역 조명 성분 추정 과정과,

상기 RGB/HSV 변환 과정에서 변환된 V의 출력
과 상기 추정된 전역 조명 성분
으로부터 국부 조명 성분
을 추정하는 국부 조명 성분 추정 과정과,

상기 RGB/HSV 변환 과정에서 변환된 V의 출력
과 상기 추정된 국부 조명 성분
으로부터 반사율 성분
을 추정하는 반사율 성분 추정 과정과,

상기 추정된 전역 및 국부 조명 성분의 동적 범위를 줄이기 위해 감마 수정 을 하며 상기 추정된 반사율 성분
에서 반사율 성분의 대비를 증가시키기 위해 감마 수정을 하는 전역/국부 조명 성분 및 반사율 성분 향상 과정과,

상기 향상된 전역/국부 조명 성분 및 반사율 성분의 각 성분을 곱하여 영상으로 만들고 그 결과 값의 범위가 출력 장치의 밝기 값(V)의 범위에 맞추어 출력하는 향상된 V 성분 출력 과정과,

상기 RGB/HSV 변환 과정의 H,V와 같이 상기 V 향상 과정에서 향상된 V를 RGB로 변환하는 HSV/RGB 변환 과정으로 구성됨을 특징으로 하는 방법.
제21항에 있어서,

상기 전역 조명 성분
추정은 AM복조의 일종인 포락선 검파에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제22항에 있어서,

상기 AM 복조의 일종인 포락선 검파는 하기 수학 식에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제21항에 있어서,

상기 국부 조명 성분
추정은 AM 복조의 일종인 포락선 검파에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제24항에 있어서,

상기 AM 복조의 일종인 포락선 검파는 하기 수학 식에 의해 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 방법.
제21항에 있어서,

상기 반사율 성분
의 추정은 하기 수학식으로부터 추정됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제 21항에 있어서,

상기 전역/국부 조명 성분 및 반사율 성분 향상과정은

상기 추정된 전역/국부 조명 성분에 대해 동적 범위를 줄이도록 수정하는 제1과정과,

상기 추정된 반사율 성분에 대해 대비를 증가시키도록 수정하는 제2과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제 27항에 있어서,

제1,2과정의 수정은 멱 함수 또는 로그 함수를 사용함을 특징으로 하는 영상의 화질 개선을 위한 방법.
제28항에 있어서,

상기 V 성분 출력 과정은 하기 수학 식에서와 같이 출력 V 성분 영상
을 얻는 V 성분 영상획득과정과,

과
; 추정된 전역 조명 성분과 국부 조명 성분
와
의 동적 범위를 줄이기 위한 감마 수정에 사용되는 상수,

.
; 추정된 반사율 성분
의 대비를 증가시키기 위한 감마 수정에 사용되는 상수.

상기 V 성분 영상획득과정의 출력
에 대해 상기 수학 식들에 의해 밝기 값의 범위를 출력 장치의 밝기 값의 범위로 맞추는 과정으로 구성됨을 특징으 로 하는 방법.

,

.

.
;
의 최소값,

.
; 출력 V 성분 영상
의
번째 밝기 값,

.
;
의 히스토그램,

.
와
; 최종 출력 V 성분 영상
의 히스토그램의 형태를 결정하는 상수와 그 밝기 값의 최대값.
제 29항에 있어서,

과
와
는 주파수 대역이 낮을수록 영상의 동적 범위에 더 큰 영향을 미치도록 하며, 밝은 영역보다는 어두운 영역에 더 민감한 인간 시각 특성의 고려하에 하기 조건을 만족하도록 함을 특징으로 하는 영상의 화질 개선을 위한 방법.
제 29항에 있어서,

상기 X 는
의 범위를 가지면서 0에 가까운 값을 갖도록 함을 특징으로 하는 방법.
영상 향상 시스템에 있어서,

입력 영상
의 밝기(V)의 출력으로부터 전역 조명 성분을 추정하는 전역 조명 성분 추정 부와,

상기 입력 영상의 밝기(V)의 출력과 전역 조명 성분 추정부의 출력으로부터 국부 조명 성분을 추정하는 국부 조명 성분 추정부와,

상기 입력 영상의 밝기(V)의 출력과 전역조명성분추정의 출력, 그리고 국부 조명 성분 추정부의 출력으로부터 반사율 성분을 추정하는 반사율 성분 추정부와,

상기 전역 및 국부 조명 성분 추정부의 추정된 전역 및 국부 조명 성분의 동적 범위를 줄이기 위해 감마 수정을 하며 상기 반사율 성분 추정부의 추정된 반사율 성분의 대비를 증가시키기 위해 감마 수정을 하는 전역/국부 조명 성분 및 반사율 성분 향상부와,

상기 전역/국부 조명 성분 및 반사율 성분 향상부의 각 성분을 곱하고 그 결과 값의 범위를 출력 장치의 밝기 값(V)의 범위에 맞추어 출력하는 향상된 V 성분 출력부로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제32항에 있어서,

상기 전역 조명 성분 추정부는 포락선 검파기임을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제33항에 있어서,

상기 포락선 검파기는 유효 영역이 넓은 선형 저대역 필터임을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제 32항에 있어서,

상기 전역 조명 성분의 추정을 위한 선형 저대역 필터는 하기 수학식에 따라 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.

.m;수평방향, n;수직 방향,
; 2차원 필터 창
제35항에 있어서,

상기 비선형 저대역 필터는 1차원으로 고속 실행은 하기 수학식에 따라 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.

k;반복된 영상, m; 수평방향, n;수직 방향, W₁; 1차원 필 터 창,
; 필터 링의 반복된 횟수
제36항에 있어서,

상기 필 터 링의 반복 횟수
는 M X N크기의 입력 영상에 대하여 하기 수학식과 같이 결정되어 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제37항에 있어서,

는 필 터는 매번 반복될 때 필터의 유효 영역이 정수 배씩 증가함에 따라 하기 수 학 식과 같이 결정됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제36항에 있어서,

상기 비선형 저대역 필터는 상기 영상의 화소에서의 밝기에 대한 인간 시각이 감지할 수 있는 최소 한의 밝기 차이(JND)를 인식하는 JND 인식부와,

상기 필터의 창 내에서 중심 밝기의 차가 상기 JND 인식부에서 JND보다 큰 화소는 제외하고 상기 JND보다 적은 작은 화소는 밝기 정도에 따라 필터 계수를 조절하는 조절부로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제32항에 있어서,

상기 국부 조명 성분 추정부는 하기 수학 식들과 같이 상기 전역 조명 성분을 제거한 입력 영상으로부터 비선형 저대역 필터에 의해 국부 조명 성분을 추정함을 특징으로 하는 영상의 화질 개선을 위한 시스템.

,

.

; 필터 창 내의 중심 화소
에서의 밝기 값과 중심 화소에서
만큼 떨어진 화소와의 밝기 값의 차
와 중심 화소
의 JND 값
와의 비이고,

; 상기
의 값에 따라 필터의 계수를 조절하기 위한 가중치 함수,

; 2차원 필터 창.
제 40항에 있어서,

상기 비선형 저대역 필터가 1차원 일 경우 하기 수학 식들에 따라 이루어짐을 특징으로 하는 영상의 화질 개선을 위한 시스템.

k; 반복된 영상, m; 수평방향, n;수직 방향,
W1;1차원 필터창, 필터링 반복 횟수
.
제41항에 있어서,

상기 비선형 저대역 필터는 JND 기반 저대역 필터임을 특징으로 하는 영상의 화질 개선을 위한 시스템.
제32항에 있어서,

상기 반사율 성분
의 추정부는 하기 수학식으로부터 추정됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
칼라 영상 향상 시스템에 있어서,

입력 영상의 RGB를 HSV로 변환하는 RGB/HSV 변환부와,

상기 RGB/HSV 변환부의 V의 출력으로부터 전역 조명 성분을 추정하는 전역 조명 성분 추정부와,

상기 RGB/HSV 변환부의 V의 출력과 전역 조명 성분 추정부의 출력으로부터 국부 조명 성분을 추정하는 국부 조명 성분 추정부와,

상기 RGB/HSV 변환부의 V의 출력과 전역 조명 성분 추정부의 출력, 그리고 국부 조명 성분 추정부의 출력으로부터 반사율 성분을 추정하는 반사율 성분 추정부와,

상기 전역 및 국부 조명 성분 추정부의 추정된 전역 및 국부 조명 성분의 동적 범위를 줄이기 위해 감마 수정을 하며 상기 반사율 성분 추정부의 추정된 반사 성분의 대비를 증가 시키기 위해 감마 수정을 하는 전역/국부 조명 성분 및 반사율 성분 향상부와,

상기 전역/국부 조명 성분 및 반사율 성분 향상부의 각 성분을 곱하고 그 값의 범위가 출력 장치의 밝기 값의 범위에 맞추어 출력하는 향상된 V 성분 출력부와,

상기 RGB/HSV 변환부의 H,S와 상기 향상된 V 성분 출력부의 출력 V을 RGB로 변환하는 HSV/RGB 변환부로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
칼라 영상 향상 방법에 있어서,

백색 조명 상태를 설정하는 설정과정과,

상기 설정 과정에서 설정된 상태에서 R G B입력 영상을 받아 색상(H),채도(S), 밝기(V)로 변환하는 제1변환과정과,

상기 제1변환과정에서 변환된 밝기(V)로부터 전역 조명 성분/국부 조명 성분 및 반사율 성분을 각각 추정하는 성분 추정 과정과,

상기 성분 추정 과정에서 추정된 전역 조명 성분, 국부 조명 성분 및 반사율 성분에 대해 향상을 위해 수정하는 제1수정과정과,

상기 제1수정과정에서 각 향상된 성분을 출력장치의 밝기 값의 범위에 맞게 수정하는 제2수정과정과,

상기 제2수정과정에서 수정된 출력 밝기(V)와 상기 제1변환과정에서 변환된 채도(S),색상(H)을 R G B로 변환하는 제2변환과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제45항에 있어서,

상기 전역 조명 성분 추정은 밝기(V)에 대해 필터의 반복을 위한 초기 값(
=0)을 설정하고 상기 필터 반복 최종 횟수(
)를 설정하는 과정과,

상기 과정에서
=
가 될때 까지 반복적으로 필터링하여 전역 조명 성분을 추정하는 과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제45항에 있어서,

상기 국부 조명 성분은 상기 입력 영상에서 전역 조명 성분을 제거하는 과정과,

상기 과정에서 전역 조명 성분이 제거된 입력 영상으로부터 필터의 반복을 위한 초기 값(
=0)을 설정하고 상기 필터 반복 최종 횟수(
)를 설정하는 과정과,

상기 과정에서
=
가 될 때까지 반복적으로 필터링하여 국부 조명 성분을 추정하는 과정으로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제45항에 있어서,

상기 반사율 조명 성분 추정은 상기 입력 영상에서 상기 전역/국부 조명 성분을 제거함에 따라 반사율 성분을 추정함을 특징으로 하는 영상의 화질 개선을 위 한 방법.
제45항에 있어서,

상기 제1수정과정에서 추정된 전역/국부 조명 성분, 반사율 성분 수정은 멱함수 또는 로그함수를 사용하여 수정을 함을 특징으로 하는 영상의 화질 개선을 위한 방법.
제45항에 있어서,

상기 제2수정과정은 히스토그램 모델 링 또는 히스토그램 스트레칭을 사용함을 특징으로 하는 영상의 화질 개선을 위한 방법.
영상 향상을 위한 생성 방법에 있어서,

R G B영상에서 H 성분(f_H(x,y)), S 성분(f_S(x,y)), V 성분(
)으로 변환된 상기 V 성분(
)은 하기 수학식과 같이 형성됨을 특징으로 하는 영상의 화질 개선을 위한 방법.
제51항에 있어서,

상기 V 성분(
)은 하기 수학 식을 통해 감마 또는 로그 함수에 의해 수정하는 과정을 더 추가 함을 특징으로 하는 영상의 화질 개선을 위한 방법.
영상을 취득하는 입력부를 구비한 영상 향상을 위한 시스템에 있어서,

상기 입력부를 통해 입력된 영상의 전역 및 국부 조명 성분과 반사율 성분을 추정하고 추정된 각 성분을 수정하여 영상을 향상시키는 영상처리부와,

상기 입력부의 입력 영상과 상기 영상처리부의 향상된 출력을 저장하는 저장부와,

상기 영상처리부의 출력을 표시하는 표시부로 구성됨을 특징으로 하는 시스템.
제 53항에 있어서,

영상처리부는 입력 영상 의 전역 조명 성분을 추정하는 전역 조명 성분 추정 부와,

상기 입력 영상의 국부 조명 성분을 추정하는 국부 조명 성분 추정부와,

상기 입력 영상의 반사율 성분을 추정하는 반사율 성분 추정부와,

상기 전역 및 국부 조명 성분 추정부의 추정된 전역 및 국부 조명 성분의 동적 범위를 줄이기 위해 감마 수정을 하며 상기 반사율 성분 추정부의 추정된 반사 율 성분의 대비를 증가시키기 위해 감마 수정을 하는 수정부와,

상기 수정부의 출력을 상기 표시부의 밝기 값(V)의 범위에 맞추어 출력하는 향상 출력부로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.
칼라 영상을 취득하는 입력부를 구비한 영상 향상을 위한 시스템에 있어서,

상기 입력부를 통해 입력된 칼라 영상의 RGB를 HSV로 변환하여 V로 부터 전역 및 국부 조명 성분과 반사율 성분을 추정하고 추정된 각 성분을 수정하여 영상을 향상시켜 향상된 V와 같이 HS를 RGB로 변환하는 칼라 영상처리부와,

상기 입력부의 입력 칼라 영상과 상기 칼라 영상처리부의 향상된 출력을 저장하는 저장부와,

상기 칼라 영상처리부의 출력을 표시하는 표시부로 구성됨을 특징으로 하는 영상 화질 개선을 위한 시스템.
제55항에 있어서, 칼라 영상 처리부는

상기 칼라 입력 영상의 RGB를 HSV로 변환하는 RGB/HSV 변환부와,

상기 RGB/HSV 변환부의 V의 출력으로부터 전역 조명 성분을 추정하는 전역 조명 성분 추정부와,

상기 RGB/HSV 변환부의 V의 출력과 전역 조명 성분 추정부의 출력으로부터 국부 조명 성분을 추정하는 국부 조명 성분 추정부와,

상기 RGB/HSV 변환부의 V의 출력과 전역 조명 성분 추정부의 출력, 그리고 국부 조명 성분 추정부의 출력으로부터 반사율 성분을 추정하는 반사율 성분 추정부와,

상기 전역 및 국부 조명 성분 추정부의 추정된 전역 및 국부 조명 성분의 동적 범위를 줄이기 위해 감마 수정을 하며 상기 반사율 성분 추정부의 추정된 반사 성분의 대비를 증가시키기 위해 감마 수정을 하는 전역/국부 조명 성분 및 반사율 성분 향상부와,

상기 전역/국부 조명 성분 및 반사율 성분 향상부의 각 성분을 곱하고 그 값의 범위가 상기 표시부의 밝기 값의 범위에 맞추어 출력하는 향상된 V 성분 출력부와,

상기 RGB/HSV 변환부의 H,S와 상기 향상된 V 성분 출력부의 출력 V을 RGB로 변환하는 HSV/RGB 변환부로 구성됨을 특징으로 하는 영상의 화질 개선을 위한 시스템.