KR101516632B1

KR101516632B1 - 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치

Info

Publication number: KR101516632B1
Application number: KR1020130126141A
Authority: KR
Inventors: 홍성훈
Original assignee: 전남대학교산학협력단
Priority date: 2013-10-22
Filing date: 2013-10-22
Publication date: 2015-05-07
Anticipated expiration: 2033-10-22

Abstract

본 발명은 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치에 관한 것으로서, 입력영상(X)를 입력받아 입력 히스토그램을 구하고, 입력 히스토그램을 분할할 밝기값과 출력영상의 목표 평균 밝기값을 구하며, 분할 밝기값을 기준으로 이분할된 확률밀도함수를 계산하고, 시각적 임계치를 구하여 이분할된 확률밀도함수를 임계치 처리하고, 임계치 처리된 확률밀도함수에 임계치 처리로 인해 손실된 확률을 임계치 처리된 확률밀도함수에 균등하게 재분배하여 변형된 확률밀도함수를 계산하는 히스토그램 변형부; 및 변형된 확률밀도함수를 누적하여 변형된 누적분포함수를 구하고, 변형된 누적분포함수와 출력영상의 목표 평균밝기값으로 결정된 출력 다이내믹 레인지(dynamic range)를 이용하여 히스토그램 평활화 맵핑 함수를 구한 후, 히스토그램 평활화 맵핑 함수를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화부; 를 포함한다.

Description

동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치{Bipartite histogram equalization apparatus maintain the rate of mean brightness of video using visual threshold}

본 발명은 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치에 관한 것으로서, 더욱 상세하게는 기존 히스토그램 평활화 방법을 사용할 때 명암대비가 향상된 영상에서 나타나는 과포화 현상(over-enhancement) 및 계조 현상(false contouring)과 빈도수가 낮은 밝기 성분이 없어지는 등의 화질열화를 억제하면서 동영상의 평균밝기의 변화율을 유지하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치에 관한 것이다.

영상을 개선하는 기술과 관련해서는, 한국등록특허 제10-0265008호(이하, '선행문헌') 외에 다수 출원 및 공개되어 있다. 상기한 선행문헌은, 입력된 영상으로부터 구해진 전역평균을 통해 기설정된 유형별 히스토그램 중 하나를 선택하고, 원영상의 히스토그램과 선택된 유형별 히스토그램의 누적분포함수를 비교하여 변환함수를 생성한다. 그러나, 상기한 선행문헌은 원영상의 히스토그램을 기설정된 유형별 히스토그램과 비교를 통해 영상을 개선한다.

한편, 히스토그램 평활화(Histogram Equalization)는 영상의 명암대비 향상에 있어 구현이 간단하고 좋은 성능을 나타내기 때문에 많은 영상처리에 널리 사용되고 있다. 하지만 표준 히스토그램 평활화 방식은 디지털 TV, 디지털 캠코더 등의 멀티미디어 가전제품에 적용하기에는 다음과 같은 문제가 있다.

먼저, 히스토그램 평활화를 동영상에 적용할 경우, 프레임간의 평균밝기 변화를 유지해야 한다. 하지만, 표준 히스토그램 평활화 방법은 입력 영상의 평균밝기를 유지하지 못하고 매우 큰 밝기변화를 보인다. 만일, 히스토그램 처리된 출력 동영상의 프레임간의 밝기변화가 입력과 다를 경우 시청자에게는 깜빡임 현상(large area flicker)으로 보이게 된다.

또한, 입력영상의 히스토그램이 특정 밝기값에 집중적으로 분포하는 경우 과도한 밝기변화가 발생하여 계조 현상(false contouring)이 나타나고, 발생 빈도수가 적은 밝기값이 없어지게 되어 작은 영상영역의 세부정보가 손실되는 화질열화 현상이 나타나기도 한다.

이러한 문제를 개선하기 위해 히스토그램 평활화 방법의 개선을 위한 다양한 연구가 이루어지고 있다. 입력 영상의 평균 밝기를 유지하기 위한 최초의 히스토그램 평활화 방법은 BBHE(Brightness preseving Bi-Histogram Equalization)[1]이다.

이 방법은 입력영상의 평균 밝기값을 기준으로 2개의 서브히스토그램으로 분할한 후 각 서브히스토그램을 독립적으로 평활화한다. BBHE와 유사한 방법으로는 DSIHE(Dualistic Sub-Image Histogram Equalization)[2]와 MMBEBHE (Minimum Mean Brightness Error Bi-Histogram Equalization)[3][4]가 있다.

DSIHE 방법은 2개의 서브히스토그램이 같은 빈도수를 갖도록 중간 밝기값(median intensity value)을 분할점(separating point)으로 히스토그램을 분할한다.

MMBEBHE은 AMBE(Absolute Mean Brightness Error)를 최소화하는 밝기값을 분할점으로 사용하여 입력 히스토그램을 2개의 서브히스토그램으로 분할한다. RMSHE(Recursive Mean-Separate Histogram Equalization)[5] 방법은 2개의 서브히스토그램으로 분할하는 대신 다수의 서브히스토그램으로 반복적 분할을 한다.

이 방법은 BBHE와 마찬가지로 평균 밝기값을 분할점으로 사용하여 2개의 서브히스토그램으로 분할하고, 각 서브히스토그램의 평균 밝기값을 중심으로 미리 정해진 횟수에 도달할 때까지 계속해서 서브히스토그램을 분할하고, 각 서브히스토그램에 대해 독립적인 평활화를 수행한다. RMSHE와 비슷하게 RSIHE(Recursive Sub-Image Histogram Equalization)[6]도 반복적으로 입력 히스토그램을 분할하는데, 입력 히스토그램의 중간 밝기값을 분할점으로 사용한다.

하지만, 반복적 분할을 사용하는 방식들[5][6]은 분할점을 중심으로 히스토그램이 대칭적으로 분포되어 있지 않은 경우 명암대비 향상이 균형있게 이루어지지 않고, 최적의 분할 횟수를 자동으로 산정하기 어려울 뿐만 아니라, 분할 횟수가 많아지면 결과 영상의 평균 밝기는 유지되지만 명암대비 개선이 거의 이루어지지 않는다.

입력영상의 평균밝기를 유지하면서 히스토그램 평활화 처리에 따른 과포화 현상(over-enhancement)을 억제하고 지역적 명암대비(local contrast) 향상을 위해 EHENM(Enhancement of Histogram Equalization with Neighborhood Metric)[7] 방법이 제안되었다.

EHENM 방법은 히스토그램의 밝기레벨(gray-level)마다 2040개의 sub-bin을 설정하고 distinction metric에 의해 입력 화소를 sub-bin에 할당한다. 또한, EHENM은 입력영상의 평균밝기를 유지하기 위해 히스토그램을 입력영상의 평균 밝기값(mean brightness)을 기준으로 2개의 영역으로 나누고 sub-bin을 포함한 각 서브히스토그램에 대해 독립적으로 평활화를 수행한다. 하지만, 이 방법은 sub-bin을 위한 메모리가 필요하고 주변화소와의 metric 연산으로 인한 복잡도가 증가한다. 또한, 과도한 밝기변화로 인한 화질열화를 충분히 억제하지 못한다.

입력 영상의 밝기를 유지하면서 명암대비 향상효과를 높이기 위해 히스토그램을 동적으로 분할하여 평활화하는 BPDHE(brightness preserving dynamic histogram equalization)[8] 방법이 제안되었다. BPDHE는 지역적 최대값에 대응하는 밝기값을 기준으로 입력 히스토그램을 다수의 서브 히스토그램으로 분할한다.

그리고, 각 서브 히스토그램에 대해 독립적으로 평활화를 수행한 후에 평활화된 영상의 평균밝기와 입력영상의 평균밝기와 같아지도록 평균밝기에 대한 정규화를 수행한다. 하지만, 이 방법은 지역적 최대값 결정의 신뢰성이 낮아 히스토그램 분할이 잘못되는 경우가 있고, 서브 히스토그램 분할과정에 따른 복잡도가 높다. 또한, 평균밝기에 대한 정규화로 인해 intensity saturation 현상도 나타난다.

히스토그램 평활화에 따른 과도한 밝기변화를 방지하기 위한 방법으로 입력영상의 히스토그램에 임계치를 적용하는 방법들이 제시되었다[9]-[11].

WTHE(Weighted and Thresholded Histogram Equalization)[9]는 사용자 제어변수에 의해 상한과 하한에 대한 임계치를 정의하고, 상한과 하한에 대한 임계치를 벗어난 히스토그램을 임계치로 대치한다. 그리고, 임계치 사이에 있는 히스토그램에 대해서는 정규화된 지수법칙 함수(normalized power law function)을 사용하여 히스토그램을 변형한 후 평활화를 수행한다. 마지막으로, 평활화된 영상의 평균밝기가 입력영상의 평균밝기를 유지할 수 있도록 밝기에 대한 정규화를 수행한다.

BHEPL(Bi-Histogram Equalization with a Plateau Limit)[10]은 입력영상의 평균 밝기값을 유지하기 위하여, 입력 영상의 평균 밝기값을 기준으로 2개의 밝기영역으로 히스토그램을 분할한 후, 각각의 서브히스토그램에 대해 독립적으로 해당 서브히스토그램의 평균 빈도수가 넘는 히스토그램을 평균빈도수로 대치하여 히스토그램을 변형한다. 그리고, 변형된 서브히스토그램들을 이용하여 히스토그램 평활화를 수행한다. QDHE(Quadrants Dynamic Histogram Equalization)[11]은 입력영상의 밝기에 대한 평균 빈도수를 기준으로 히스토그램을 임계치 처리하고, 입력영상의 밝기의 빈도수를 기준으로 입력 히스토그램을 4등분한다. 그리고, 각각의 서브히스토그램에 대해 출력 밝기값 범위(dynamic range)를 결정한 후 각각의 영역에 대해 독립적으로 임계치 처리된 서브히스토그램을 사용하여 평활화를 수행한다.

상기 설명한 서브히스토그램을 사용하는 방식들[1]-[8][10]은 입력영상의 평균 밝기값을 잘 유지하지만 평균밝기가 매우 어두운 경우 최소 밝기값 근처의 서브히스토그램은 출력 다이내믹 레인지(dynamic range)가 좁아서 어두운 영역의 명암대비 개선을 얻지 못한다. 반대로, 평균 밝기값이 매우 밝은 경우는 최대 밝기값 근처의 서브히스토그램의 출력 dynamic range가 좁아서 밝은 영역의 명암대비 개선을 얻지 못해 서브히스토그램간의 불균형한 명암대비 개선이 나타난다. 또한, 단순히 입력 히스토그램을 다수의 서브 히스토그램으로 분할하여 평균밝기를 유지하는 방법들[1]-[6]은 입력영상의 특성에 따라서 지나친 밝기변화로 인한 화질열화가 나타나기도 한다.

히스토그램 분할과 임계치 처리를 이용하여 서브히스토그램을 변형한 후 변형된 서브히스토그램을 사용하여 평활화를 수행하는 방법들[9][10]은 과도한 밝기변화로 인한 화질열화를 잘 억제하지만 평균밝기가 매우 밝거나 어두운 경우 해당 밝기영역의 명암대비를 효과적으로 개선하지 못하는 문제가 있다.

QDHE 방법[11]은 출력 dynamic range의 확장성을 고려하여 설계하여 서브히스토그램간의 균형있는 명암대비 향상을 하도록 하였다. 하지만, QDHE 방법은 출력 dynamic range 결정과정에서 입력영상의 평균밝기를 고려하지 않기 때문에 동영상의 평균밝기를 유지하는 성능이 좋지 못하다. 또한 QDHE을 포함한 임계치 처리를 적용하는 방법들[9]-[11]은 사람의 시각특성을 고려하지 않고, 히스토그램에 대해 동일한 임계치를 적용하기 때문에 명암대비 향상 효과가 감소하거나 과도한 밝기변화로 인한 화질열화가 발생하기도 한다.

본 발명은 기존 평균 밝기값을 보존하는 히스토그램 평활화 방식에서 나타나는 문제인 서브히스토그램간의 불균형한 명암대비 향상이 이루어지는 점과 과도한 밝기변화로 인한 화질열화가 발생하는 점을 개선하는 방법을 제시한다.

[1] Yeong-Taeg Kim, "Contrast enhancement using brightness preserving bi- histogram equalization", IEEE Trans. Consumer Electronics, vol. 43, no. 1, pp. 1 - 8, February 1997.

[2] Yu Wang, Qian Chen, and Baeomin Zhang, "Image enhancement based on equal area dualistic sub image histogram equalization method", IEEE Trans. Consumer Electronics, vol. 45, no. 1, pp. 68 - 75, February 1999.

[3] Soong-Der Chen, and A. R. Ramli, "Minimum mean brightness error bi-histogram equalization in contrast enhancement", IEEE Trans. Consumer Electronics, vol. 49, no. 4, pp. 1310 - 1319, November 2003.

[4] Soong-Der Chen, and A. R. Ramli, "Preserving brightness in histogram equalization based contrast enhancement techniques", Digital Signal Processing, vol. 14, no. 5, pp. 413-428, September 2004.

[5] Soong-Der Chen, and A. R. Ramli, "Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation", IEEE Trans. Consumer Electronics, vol. 49, no. 4, pp. 1310 - 1319, November 2003.

[6] K. S. Sim, C. P. Tso, and Y. Y. Tan. "Recursive sub-image histogram equalization applied to gray scale images", Pattern Recognition Letters, vol. 28, no. 10, pp. 1209-1221, July 2007.

[7] Nyamlkhagva Sengee, Altansukh Sengee, and Heung-Kook Choi, "Image Contrast Enhancement using Bi-Histogram Equalization with Neighborhood Metrics", IEEE Trans. Consumer Electronics, vol. 56, no. 4, pp. 2727 - 2734, Nov. 2010.

[8] H. Ibrahim and N. S. P. Kong, "Brightness preserving dynamic histogram equalization for image contrast enhancement", IEEE Trans. Consumer Electronics, vol. 53, no. 4, pp. 1752-1758, Nov. 2007.

[9] Qing Wang, and Rabab K. Ward, "Fast image/video contrast enhancement based on weighted thresholded histogram equalization", IEEE Trans. Consumer Electronics, vol. 53, no. 2, pp. 757-764, May 2007.

[10] Chen Hee Ooi, Sia Pik Kong, Haidi Ibrahim, "Bi-Histogram Equalization with a Plateau Limit for Digital Image Enhancement", IEEE Transactions on Consumer Electronics, Vol. 55, No. 4, pp. 2072 ?? 2080, Nov. 2009

[11] Chen Hee Ooi and Nor Ashidi Mat Isa, "Quadrants Dynamic Histogram Equalization for Contrast Enhancement", IEEE Trans. Consumer Electronics, vol. 56, no. 4, pp. 2543-2551, May 2010

기존 히스토그램 평활화 방법을 사용하여 영상의 명암대비를 증가시킬 경우, 과도한 밝기변화로 인한 과포화 현상(over-enhancement), 계조현상(false contouring) 및 영상의 세부 정보가 없어지는 등의 왜곡이 발생한다. 특히, 밝기 분포가 특정한 밝기 레벨에 밀집되어 있는 경우, 이러한 왜곡이 두드러지게 나타나게 된다. 이러한 문제를 해결하기 위해 임계치를 이용한 히스토그램 클리핑을 통해 입력 히스토그램을 변형하는 개선된 평활화 방법들이 제시되었지만, 사람의 시각특성을 고려하지 않고 입력 히스토그램에 대해 동일한 임계치를 적용하기 때문에 명암대비 향상효과가 감소하거나 지나친 밝기변화로 인한 과포화 현상(over-enhancement)과 같은 화질열화가 발생한다.

또한, 입력영상의 평균밝기를 유지하기 위해 히스토그램을 분할하는 방법들은 입력영상의 평균 밝기값을 잘 유지하지만 분할점이 매우 어둡거나 또는 밝은 경우, 최대 또는 최소 밝기값 근처의 서브히스토그램에 대한 출력 dynamic range가 좁아서 해당 밝기영역에 대한 충분한 명암대비 향상효과를 얻지 못하고, 이로 인해 출력영상에서 명암대비의 불균형이 나타난다.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 입력 영상의 평균밝기를 유지하기 보다는 평균밝기의 변화율을 유지하도록 히스토그램 평활화를 수행한다. 즉, 본 발명은 두드러진 화질열화 없이 평균밝기 변화율을 유지하면서 균형있는 명암대비 향상을 제공할 수 있는 장치를 제공함에 그 목적이 있다.

이를 위하여, 우선 기존 방법들과 같이 입력영상의 평균 밝기값을 기준으로 히스토그램을 2개의 서브히스토그램으로 분할하고, 입력 영상의 평균밝기 변화율을 유지할 수 있도록 각 서브히스토그램의 출력 dynamic range를 결정하며, 평활화된 영상에서 과도한 밝기변화로 인한 과포화 현상(over-enhancement)과 발생빈도가 적은 밝기가 없어지는 level-saturation을 억제할 수 있도록, 각 서브히스토그램에 시각적 임계치(visibility threshold)를 적용하여 서브히스토그램을 변형하고, 변형된 서브히스토그램 별로 독립적인 평활화를 수행한다.

이러한 기술적 과제를 달성하기 위한 본 발명은 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치에 관한 것으로서, 입력영상(X)를 입력받아 입력 히스토그램을 구하고, 입력 히스토그램을 분할할 밝기값과 출력영상의 목표 평균 밝기값을 구하며, 분할 밝기값을 기준으로 이분할된 확률밀도함수를 계산하고, 시각적 임계치를 구하여 이분할된 확률밀도함수를 임계치 처리하고, 임계치 처리된 확률밀도함수에 임계치 처리로 인해 손실된 확률을 임계치 처리된 확률밀도함수에 균등하게 재분배하여 변형된 확률밀도함수를 계산하는 히스토그램 변형부; 및 변형된 확률밀도함수를 누적하여 변형된 누적분포함수를 구하고, 변형된 누적분포함수와 출력영상의 목표 평균밝기값으로 결정된 출력 다이내믹 레인지(dynamic range)를 이용하여 히스토그램 평활화 맵핑 함수를 구한 후, 히스토그램 평활화 맵핑 함수를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화부; 를 포함한다.

상기와 같은 본 발명에 따르면, 기존 히스토그램 평활화 방법에서 나타나는 과도한 밝기변화로 인한 과포화 현상(over-enhancement), 계조현상(false contouring) 및 영상의 세부 정보가 없어지는 등의 왜곡을 인간의 시각특성에 근거한 시각적 임계치를 적용하여 과도한 명암대비 향상에 의한 화질저하를 억제하면서 입력영상의 특성에 따라 자연스럽게 명암대비가 향상된 선명한 영상을 제공한다.

또한, 본 발명은 입력 영상의 평균 밝기값을 유지하는 기존 히스토그램 평활화 방법에서 입력 영상의 평균밝기가 매우 높거나 낮은 경우 출력 다이내믹 레인지(dynamic range)가 좁아서 충분한 명암대비 향상효과를 얻지 못하고, 이로 인해 출력영상에서 명암대비의 불균형이 나타나는 문제를 출력영상의 목표 평균 밝기값을 유지하는 방법을 사용하여 평균밝기 변화율을 유지하면서 균형있는 명암대비 향상을 제공한다.

도 1 은 본 발명에 따른 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치에 관한 전체 구성도.
도 2 내지 도 5 는 본 발명에 따른 히스토그램 평활화 과정을 보이는 일예시도.
도 6 내지 도 8 은 본 발명에 따른 히스토그램 변형과 변형된 히스토그램을 이용한 평활화 실시를 보이는 일예시도.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

본 발명에 따른 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치에 관하여 도 1 내지 도 8 을 참조하여 설명하면 다음과 같다.

히스토그램 평활화는 명암대비 향상에 효율적인 대표적인 알고리즘이다. 그러나, 히스토그램이 밀집된 영상에 히스토그램 평활화 방법을 적용하였을 경우 과도한 밝기변화로 인하여 과포화 현상(over-enhancement)이나 잘못된 경계가 나타나는 왜곡이 발생할 수 있다. 이러한 왜곡을 방지하기 위해, 특정 레벨에 지나치게 치우친 확률밀도함수를 분산시키기 위한 히스토그램을 변형 처리하는 과정이 필요하다.

동영상의 경우, 각 프레임에 독립적으로 히스토그램 평활화가 적용될 경우 입력 동영상의 프레임간의 밝기 변화를 유지하지 못할 수도 있다. 또한, 입력 영상의 평균 밝기값을 유지하는 개선된 히스토그램 평활화 방법들은 너무 어둡거나 밝은 영상에 적용할 경우 명암대비 개선효과가 충분히 나타나지 않는다. 이는 분할점이 너무 어둡거나 밝은 경우 최대 또는 최소 밝기값에 근접한 서브히스토그램의 출력 dynamic range가 충분히 넓지 못하기 때문인데, 이로 인하여 분할점을 기준으로 분할된 서브히스토그램의 명암대비 향상 정도가 불균형하게 되는 결과를 초래한다.

이러한 문제점을 해결하기 위해 본 발명에서는, 입력영상의 평균 밝기값과 중간 밝기값과의 가중평균을 목표 평균 밝기값으로 설정하고, 목표 평균 밝기값을 기준으로 서브히스토그램의 출력 다이내믹 레인지(dynamic range)를 결정한다. 또한, 본 발명에서는 기존 방식에서 발생하는 화질열화 문제를 해결하기 위하여 사람이 배경과 물체를 구별하는 밝기 차이에 대한 연구결과인 Weber의 법칙에 근거하여 입력영상의 히스토그램에 대한 시각적 임계치를 구한다. 그리고, 시각적 임계치를 이용하여 서브히스토그램을 변형하고, 변형된 서브히스토그램에 새로운 출력 다이내믹 레인지(dynamic range)를 적용하여 독립적으로 평활화를 수행한다.

도 1 은 본 발명에 따른 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치에 관한 전체 구성도로서, 도시된 바와 같이 히스토그램 변형부(100) 및 히스토그램 평활화부(200)를 포함하여 이루어진다.

히스토그램 변형부(100)는 입력영상(X)를 입력받아 입력 히스토그램을 구하고, 입력 히스토그램을 분할할 밝기값과 출력영상의 목표 평균 밝기값을 구하며, 분할 밝기값을 기준으로 이분할된 확률밀도함수를 계산하고, 시각적 임계치를 구하여 이분할된 확률밀도함수를 임계치 처리하고, 임계치 처리된 확률밀도함수에 임계치 처리로 인해 손실된 확률을 임계치 처리된 확률밀도함수에 균등하게 재분배하여 변형된 확률밀도함수를 계산하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 히스토그램 계산모듈(110), 분할 밝기값 계산모듈(120), 히스토그램 분할모듈(130), 목표 평균 밝기값 계산모듈(140), 시각적 임계치 계산모듈(150), 시각적 임계치 처리모듈(160) 및 손실 확률 보상모듈(170)을 포함한다.

구체적으로, 히스토그램 계산모듈(110)은 입력영상(X)를 입력받아 입력 히스토그램을 계산한다.

분할 밝기값 계산모듈(120)은 계산된 입력 히스토그램을 분할할 밝기값(m)을 계산한다.

히스토그램 분할모듈(130)은 계산된 분할 밝기값(m)을 기준으로, 입력영상(X)에 대한 이분할된 하위 확률밀도함수(Probablity Density Function: PDF)(

) 및 상위 확률밀도함수(Probablity Density Function: PDF)(

)를 다음의 [수식 1] 및 [수식 2] 를 통해 각각 계산한다.

[수식 1]

[수식 2]

즉, 화소수가 N이고, 밝기값의 범위(gray level range)가 [0, L-1]인 입력영상 X를 분할 밝기값(입력영상(X)의 평균 밝기값) m을 기준으로 2개의 부분영상 X_L과 X_U로 분할할 경우, 하위 확률밀도함수(

) 및 상위 확률밀도함수(

)는 각각 [수식 1] 및 [수식 2] 와 같이 계산하며, 여기서, n_k는 입력영상에서 gray level이 k인 화소수이고, M_L과 M_U는 각각 부분영상 X_L과 X_U에 포함된 전체 화소수이다.

여기서, X_L과 X_U에 대한 누적분포함수(Cumulative Distribution Function: CDF)는 각각 [수식 3] 과 [수식 4] 와 같다.

[수식 3]

[수식 4]

여기서,

과,

이다.

기존 히스토그램 분할에 의해 평균밝기를 유지하는 방법들에서 분할점을 기준으로 명암대비의 불균형이 나타나는 현상을 고려하여, 본 발명에서는 출력영상의 목표 평균 밝기값을 다음의 [수식 5] 를 통해 계산한다.

즉, 목표 평균 밝기값 계산모듈(140)는 계산된 분할 밝기 값(m)을 이용하여, 출력영상의 목표 평균 밝기값(

)을 [수식 5] 를 통해 계산한다.

[수식 5]

여기서, m은 입력영상의 평균 밝기값이고, L/2는 입력 밝기범위의 중간값이다. 파라미터 α의 범위는

이다. α가 1에 가까워질수록 목표 평균밝기(

)는 입력영상의 평균밝기에 근접하게 된다.

한편, 부분영상 X_L에 대한 출력 밝기범위

과 X_U에 대한 출력 밝기범위

은 출력영상의 목표 평균밝기(

) 를 기준으로 [수식 6] 과 같이 할당된다.

[수식 6]

만일, [수식 6] 의 출력 밝기범위와 [수식 3] 과 [수식 4] 의 누적분포함수를 적용하여 히스토그램 평활화할 경우 맵핑(mapping) 함수는 [수식 7] 과 같다.

[수식 7]

즉, 입력화소의 밝기가 k일 때

이면 히스토그램 평활화 처리된 출력영상의 밝기는

가 되고,

이면 출력영상의 밝기는

가 된다.

[수식 7] 로부터 입력영상의 밝기가 한 단계 증가할 경우 히스토그램 평활화 처리된 영상의 밝기 증가량은 [수식 8] 과 같다.

[수식 8]

[수식 8] 로부터 히스토그램 평활화 처리된 영상의 밝기변화

는 입력영상의 히스토그램에 비례함을 알 수 있고, 만일 특정 히스토그램이 매우 많은 빈도수를 갖는 경우 과도한 밝기변화가 생겨서 과포화 현상(over-enhancement)이나 계조현상이 발생하게 된다. 반면에, 빈도수가 매우 적은 히스토그램에 해당하는 밝기값은 이웃한 밝기값과 합쳐져서 작은 영상 영역의 정보가 손실되게 된다. 예를 들어 입력화소의 밝기가 k이고 이웃한 화소의 밝기가 k-1일 때 사람은 이웃한 화소의 밝기차이(

(=1))를 느낄 수 없지만, 밝기 k의 빈도수가 매우 많은 경우(즉,

값이 매우 큰 경우) 히스토그램 평활화 결과에 의한 두 화소간의 밝기차이

는 식 (8)에 의해 큰 값을 갖게 되고, 이로 인해 과포화 현상(over-enhancement)이나 계조현상을 느낄 수 있게 된다. 반대로 밝기 k의 빈도수가 매우 적은 경우(즉,

값이 매우 작은 경우)는 히스토그램 평활화 결과에 의한 두 화소간의 밝기차이

는

보다 작으므로 결국 이웃한 화소는 동일한 밝기값을 갖게 되어 영상의 세부 정보가 없어지는 결과가 발생한다.

Weber 상수는 주어진 자극의 변화를 인지하는 순간의 원래 자극과 자극의 변화량의 비율로서, Weber 상수는 감각기 마다 일정한 값을 가지며, 상수값이 작을수록 예민한 감각기임을 의미한다. Weber 상수값은 시각의 경우 약 1/100 정도의 값을 갖는 것으로 알려져 있다.

밝기가 k인 일정한 조명을 평평한 배경에 비추고 일부 영역에

만큼의 밝기변화를 주었을 때 50%의 관찰자기 밝기변화를 인지하는 순간의 비율

를 Weber의 비율(ratio)라고 한다. 만일, 이 비율이 높은 경우는

가 커야 사람이 밝기변화를 인지할 수 있고, 반대로 비율이 낮은 경우는

가 작아도 쉽게 밝기변화를 인지할 수 있다. 사람의 시각특성에 따른 Weber의 비율

은 배경이 매우 밝은 경우 일정한 값을 유지하지만 배경이 어두워질수록 큰 값을 갖게 된다. 또한 사람의 시각특성은 실제 밝기값과 인지하는 밝기의 관계가 대수적(logarithmic) 관계를 가지고 있다.

시각적 임계치 계산모듈(150)은 입력영상의 밝기값이 k-1에서 k로 한단계 증가할 때, 이분할된 히스토그램 평활화에 의한 출력영상의 밝기와 밝기의 증가량의 비율은 [수식 7] 및 [수식 8] 로부터 [수식 9] 와 같이 계산한다.

[수식 9]

만일, [수식 9] 의 출력 밝기 증가율이 Weber의 비율보다 큰 경우 밝기변화를 감지하게 되는데, 본 발명에서는 시각적 임계치 계산모듈(150)은 Weber의 비율에 대응하는 시각적 밝기 변화율을 [수식 10] 을 통해 계산한다.

[수식 10]

여기서, c는 명암대비 향상에 관계된 상수로서 c값이 클수록 명암대비는 향상되지만 입력영상에 따라 과포화 현상 또는 계조현상이 나타날 가능성은 증가한다.

결국, [수식 9] 와 [수식 10] 으로부터

가 시각적 밝기 변화율

보다 크면 히스토그램 평활화로 인해 이웃한 밝기의 변화를 사람이 감지할 수 있게 된다. 따라서, 시각적 임계치 계산모듈(150)은 시각적 밝기 변화율을 고려한 입력 확률밀도함수(PDF)에 대한 시각적 임계치를 [수식 11] 을 통해 구한다.

[수식 11]

그런데, 특정 밝기에 대한 히스토그램 빈도수가 평균 빈도수보다 적은 경우는 평활화에 의한 밝기 변화량이 입력 밝기 변화량보다 작기 때문에 임계치를 부여할 필요가 없다.

따라서, 시각적 임계치 계산모듈(150)은 최종적으로 입력 확률밀도함수(PDF)에 적용되는 시각적 임계치(

)를 [수식 12] 를 통해 계산한다.

즉, 최종적으로 입력 확률밀도함수(PDF)에 적용되는 시각적 임계치를 [수식 12] 와 같이 최소값이 확률밀도함수(PDF)의 평균값인 1/L 이상이 되도록 변형한다.

[수식 12]

시각적 임계치 처리모듈(160)은 시각적 임계치 계산모듈(150)을 통해 계산된 시각적 임계치(

) 를 이용하여, [수식 13] 을 통해 이분할된 확률밀도함수(PDF)를 임계치 처리함으로써, 임계치 처리된 확률밀도함수(

)를 계산한다.

[수식 13]

손실 확률 보상모듈(170)은 임계치 처리로 인해 손실된 확률값을 임계치 처리된 이분할 확률밀도함수에 균등하게 재분배하여 변형된 확률밀도함수를 [수식 14] 를 통해 계산한다.

[수식 14]

즉, 손실 확률 보상모듈(170)은 시각적 임계치 처리모듈(160)을 통해 임계치 처리과정을 수행 후, 손실된 확률값(입력 PDF에서 임계치 처리된

을 뺀 값)을 [수식 14] 와 같이 모든 밝기 레벨에 대해 동일하게 재분배하여 변형된 확률밀도함수(

)를 구한다.

이러한 재분배 과정을 통해 빈도수가 매우 적은 히스토그램에 해당하는 밝기가 히스토그램 평활화에 의해 제거되는 현상을 억제할 수 있다.

히스토그램 평활화부(200)는 변형된 확률밀도함수를 누적하여 변형된 누적분포함수를 구하고, 변형된 누적분포함수와 출력영상의 목표 평균밝기값으로 결정된 출력 다이내믹 레인지(dynamic range)를 이용하여 히스토그램 평활화 맵핑 함수를 구한 후, 히스토그램 평활화 맵핑 함수를 이용하여 히스토그램 평활화를 수행하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 누적분포함수 계산모듈(210), 맵핑함수 계산모듈(220) 및 평활화모듈(230)을 포함한다.

구체적으로, 누적분포함수 계산모듈(210)은 히스토그램 변형부(100)를 통해 변형된 확률밀도함수에 대한 누적분포함수(

)를 [수식 15] 를 통해 계산한다.

[수식 15]

맵핑함수 계산모듈(220)은 누적분포함수 계산모듈(210)을 통해 계산된 누적분포함수를 이용하여 히스토그램 평활화를 위한 맵핑(mapping) 함수를 [수식 16] 을 통해 계산한다.

즉, 맵핑함수 계산모듈(220)은 누적분포함수 계산모듈(210)을 통해 계산된 누적분포함수와, 출력영상의 목표 평균밝기(

)를 이용하여 히스토그램 평활화 맵핑 함수(

)를 [수식 16] 을 통해 계산한다.

[수식 16]

즉, 입력화소의 밝기가 k이면 히스토그램 평활화 처리된 영상의 밝기는

가 된다.

평활화모듈(230)은 맵핑함수 계산모듈(220)을 통해 계산된 히스토그램 평활화 맵핑 함수(

) 와, 입력영상(X)를 이용하여 히스토그램 평활화를 수행함으로써 출력영상(Y)를 출력한다.

도 2 내지 도 5 는 본 발명에 따른 히스토그램 평활화 과정을 보이는 일예시도로서, 도 2 는 입력 히스토그램을 평균 밝기값 m을 기준으로 두 개의 서브히스토그램으로 분할하는 경우, 상기 [수식 1] 과 [수식 2] 를 통해 구해진 서브히스토그램의 하위 확률밀도함수(PDF)

와 상위 확률밀도함수(PDF)

, [수식 5] 에 의해 계산된 출력영상의 목표 평균밝기

, 그리고 [수식 12] 를 통해 구한 시각적 임계치

를 보여준다. 도 3 은 [수식 13] 으로 구한 시각적 임계치 처리된 확률밀도함수(PDF)

를 나타낸 것이다. 도 4 는 [수식 14] 에 따라 구한 변형된 확률밀도함수(PDF)

를 보여준다. 도 5 는 변형된 확률밀도함수(PDF)를 이용하여 [수식 16] 으로 구한 히스토그램 평활화를 위한 맵핑(mapping) 함수

를 보여준다.

도 6 내지 도 8 은 본 발명에 따른 히스토그램 변형과 변형된 히스토그램을 이용한 평활화 실시를 보이는 일예시도로서, 도 6 의 (a) 는 입력영상으로 평균밝기가 155이고, 도 6 의 (b) 는 입력영상에 대한 히스토그램이다.

도 7 의 (c) 는 입력영상의 평균밝기 155를 기준으로 이분할된 입력 히스토그램에 대한 서브 확률밀도함수(PDF)와 [수식 12] 를 통해 구한 시각적 임계치

를 함께 도시한 것이다. 도 7 의 (d) 는 시각적 임계치 처리와 [수식 14] 에 의해 손실된 확률값의 재분배를 하여 구한 변형된 확률밀도함수(PDF)이다.

도 8 의 (e) 는 본 발명에서 제시하는 시각적 임계치를 이용한 이분할 히스토그램 평활화된 출력영상((목표밝기 = 141, 출력밝기 = 140))이고, 도 8 의 (f) 는 출력영상의 히스토그램을 보여준다.

출력영상의 목표 평균 밝기값

= 141로 [수식 5] 에서 가중치 α=0.5로 설정한 경우이다. 실제 출력영상의 평균밝기는 140으로 목표 평균밝기와 거의 일치하고, 출력 영상은 입력에 비해 시각적으로 두드러진 화질열화 없이 명암대비를 향상시킴을 알 수 있다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

100: 히스토그램 변형부 200: 히스토그램 평활화부
110: 히스토그램 계산모듈 120: 분할 밝기값 계산모듈
130: 히스토그램 분할모듈 140: 목표 평균 밝기값 계산모듈
150: 시각적 임계치 계산모듈 160: 시각적 임계치 처리모듈
170: 손실 확률 보상모듈 210: 누적분포함수 계산모듈
220: 맵핑함수 계산모듈 230: 평활화모듈
X : 입력영상
m : 입력영상 X의 평균밝기

: 출력영상의 목표 평균밝기
X_L: 입력영상 X에서 m보다 어두운 밝기를 갖는 화소의 집합
X_U: 입력영상 X에서 m보다 밝거나 같은 밝기를 갖는 화소의 집합
M_L: 부분영상 X_L에 포함된 전체 화소수
M_U: 부분영상 X_U에 포함된 전체 화소수

: 부분영상 X_L의 확률밀도함수

: 부분영상 X_U의 확률밀도함수

: 부분영상 X_L의 누적분포함수

: 부분영상 X_U의 누적분포함수

: 히스토그램 평활화 맵핑 함수(입력영상의 누적분포함수를 이용한 히스토그램 평활화 맵)

: 입력 밝기값이 k-1에서 k로 한 단계 증가할 경우, 히스토그램 평활화 처리된 영상의 밝기 증가량

: 출력 밝기 증가율 (밝기값이 k-1에서 k로 한단계 증가할 때 히스토그램 평활화의 출력 밝기

와 밝기의 증가량

의 비율)

: 시각적 밝기 변화율

: 시각적 임계치

로 임계치 처리한 확률밀도함수

: 변형된 확률밀도함수

: 변형된 누적분포함수

: 변형된 누적분포함수를 이용한 히스토그램 평활화 맵핑 함수

Claims

입력영상(X)를 입력받아 입력 히스토그램을 구하고, 입력 히스토그램을 분할할 밝기값과 출력영상의 목표 평균 밝기값을 구하며, 분할 밝기값을 기준으로 이분할된 확률밀도함수를 계산하고, 시각적 임계치를 구하여 이분할된 확률밀도함수를 임계치 처리하고, 임계치 처리된 확률밀도함수에 임계치 처리로 인해 손실된 확률을 임계치 처리된 확률밀도함수에 균등하게 재분배하여 변형된 확률밀도함수를 계산하는 히스토그램 변형부(100); 및
변형된 확률밀도함수를 누적하여 변형된 누적분포함수를 구하고, 변형된 누적분포함수와 출력영상의 목표 평균밝기값으로 결정된 출력 다이내믹 레인지(dynamic range)를 이용하여 히스토그램 평활화 맵핑 함수를 구한 후, 히스토그램 평활화 맵핑 함수를 이용하여 히스토그램 평활화를 수행하는 히스토그램 평활화부(200); 를 포함하되,
상기 히스토그램 변형부(100)는,
입력영상(X)를 입력받아 입력 히스토그램을 계산하는 히스토그램 계산모듈(110), 계산된 입력 히스토그램을 분할할 밝기값을 계산하는 분할 밝기값 계산모듈(120), 계산된 분할 밝기값을 기준으로, 입력영상(X)에 대한 이분할된 하위 확률밀도함수 및 상위 확률밀도함수를 각각 계산하는 히스토그램 분할모듈(130), 계산된 분할 밝기 값을 이용하여, 출력영상의 목표 평균 밝기값을 계산하는 목표 평균 밝기값 계산모듈(140), 최종적으로 입력 확률밀도함수에 적용되는 시각적 임계치를 계산하는 시각적 임계치 계산모듈(150), 상기 시각적 임계치 계산모듈(150)을 통해 계산된 시각적 임계치를 이용하여, 이분할된 확률밀도함수를 임계치 처리함으로써, 임계치 처리된 확률밀도함수를 계산하는 시각적 임계치 처리모듈(160) 및 임계치 처리로 인해 손실된 확률값을 임계치 처리된 확률밀도함수에 균등하게 재분배하여 변형된 확률밀도함수를 계산하는 손실 확률 보상모듈(170)을 포함하는 것을 특징으로 하며,
상기 히스토그램 분할모듈(130)은, 입력영상(X)에 대한 이분할된 하위 확률밀도함수(
) 및 상위 확률밀도함수(
)를 다음의 [수식 1] 및 [수식 2] 를 통해 각각 계산하는 것을 특징으로 하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치.
[수식 1]

[수식 2]

여기서, n_k는 입력영상에서 gray level이 k인 화소수, M_L과 M_U는 각각 부분영상 X_L과 X_U에 포함된 전체 화소수.
삭제
제 1 항에 있어서,
상기 히스토그램 평활화부(200)는,
상기 히스토그램 변형부(100)를 통해 변형된 확률밀도함수에 대한 누적분포함수를 계산하는 누적분포함수 계산모듈(210);
상기 누적분포함수 계산모듈(210)을 통해 계산된 누적분포함수를 이용하여 히스토그램 평활화를 위한 맵핑(mapping) 함수를 계산하는 맵핑함수 계산모듈(220); 및
상기 맵핑함수 계산모듈(220)을 통해 계산된 맵핑함수와 입력영상(X)를 이용하여 히스토그램 평활화를 수행함으로써 출력영상(Y)를 출력하는 평활화모듈(230); 을 포함하는 것을 특징으로 하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치.
삭제
제 1 항에 있어서,
상기 목표 평균 밝기값 계산모듈(140)는,
출력영상의 목표 평균 밝기값(
)을 [수식 5] 를 통해 계산하는 것을 특징으로 하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치.
[수식 5]

여기서, m은 입력영상의 평균 밝기값, L/2는 입력 밝기범위의 중간값, 파라미터 α의 범위는
.
제 1 항에 있어서,
상기 시각적 임계치 계산모듈(150)은,
시각적 밝기 변화율을 고려한 입력 확률밀도함수(PDF)에 대한 시각적 임계치(
)를 [수식 11] 을 통해 계산하며, 특정 밝기에 대한 히스토그램 빈도수가 평균 빈도수보다 적은 경우, 최종적으로 입력 확률밀도함수(PDF)에 적용되는 시각적 임계치(
)를 [수식 12] 를 통해 계산하는 것을 특징으로 하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치.
[수식 11]

[수식 12]

여기서,
는 시각적 밝기 변화율,
는 부분영상 X_L에 대한 누적분포함수,
는 부분영상 X_U에 대한 누적분포함수,
는 출력영상의 목표 평균 밝기값.
제 1 항에 있어서,
상기 시각적 임계치 처리모듈(160)은,
[수식 13] 을 통해 이분할된 확률밀도함수(PDF)를 임계치 처리함으로써, 임계치 처리된 확률밀도함수(
)를 계산하는 것을 특징으로 하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치.
[수식 13]
제 1 항에 있어서,
상기 손실 확률 보상모듈(170)은,
상기 시각적 임계치 처리모듈(160) 통해 임계치 처리과정을 수행 후, 입력 확률밀도함수에서 임계치 처리된
을 뺀 값인 손실된 확률값을 모든 밝기 레벨에 대해 동일하게 재분배하여 변형된 확률밀도함수(
)를 구하는 것을 특징으로 하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치.
제 3 항에 있어서,
상기 맵핑함수 계산모듈(220)은,
상기 누적분포함수 계산모듈(210)을 통해 계산된 누적분포함수와, 출력영상의 목표 평균밝기(
)를 이용하여 히스토그램 평활화 맵핑 함수(
)를 계산하는 것을 특징으로 하는 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치.