KR100437807B1

KR100437807B1 - 히스토그램 평탄화 방법 및 장치

Info

Publication number: KR100437807B1
Application number: KR10-2002-0003374A
Authority: KR
Inventors: 김상연
Original assignee: 엘지전자 주식회사
Priority date: 2002-01-21
Filing date: 2002-01-21
Publication date: 2004-06-30
Also published as: KR20030062915A

Abstract

입력 영상의 히스트그램 평탄화 방법 및 장치에 관한 것으로서, 특히 입력 영상으로부터 히스토그램을 계산하고, 상기 히스토그램으로부터 CDF를 계산한 후 계산된 CDF로부터 휘도의 변화량을 추정하여 휘도 신호의 전달 함수를 재조정함으로써, 과도한 밝기 변화에 의한 부자연스러움을 개선할 수 있다. 특히 입력 신호의 휘도 분포가 몰려 있을수록 스케일 팩터를 줄여서 과도한 밝기 변화를 억제시킬 수 있다.

Description

히스토그램 평탄화 방법 및 장치{Method and apparatus for equalizing histogram}

본 발명은 입력 영상의 히스토그램을 평탄화하는 것에 관한 것으로서, 특히입력 영상의 분포에 따라 평탄화 레벨을 자동으로 조절하는 히스토그램 평탄화 방법 및 장치에 관한 것이다.

상기 히스토그램 평탄화는 영상의 휘도 분포에 근거하여 콘트라스트(contrast)를 최대로 만드는 과정이다. 즉, 입력 휘도 신호의 CDF(Cumulative Density Function)를 전달 함수로 하여 휘도를 변화시키는 방식으로, 다양한 영상 처리, 캡쳐 및 송수신 기기에서 사용되고 있다. 영상에서 히스토그램은 휘도 레벨의 분포를 나타낸다.

상기 히스토그램의 분포가 일부 휘도 레벨의 주위에 집중되어 있을 경우 전체적으로 그 영상은 콘트라스트가 낮아 보이고, 반대로 히스토그램이 넓게 퍼져있는 경우는 콘트라스트가 매우 높아 보인다. 상기 히스토그램 평탄화 과정은 입력 휘도 신호를 변형하여 가능한 히스토그램을 넓게 퍼트리는 과정이다.

따라서, 전체적으로 어두운 영상의 경우에는 히스토그램 평탄화 처리 후 상대적으로 높은 휘도 레벨의 픽셀들이 더욱 높은 값을 갖게 되고, 밝은 영상의 경우에는 상대적으로 낮은 휘도 레벨의 픽셀들이 더욱 낮은 값을 갖게 된다.

이때, 상기 히스토그램 평탄화 과정은 입력 영상의 휘도 분포에 근거하여 영상의 콘트라스트를 최대로 만들기 때문에 휘도 분포가 몰려 있을수록 많은 밝기 변화가 발생한다.

그러나, TV와 같은 응용 분야에서 너무 많은 밝기의 변화는 부자연스러움을 느끼게 하므로 바람직하지 않다. 예를 들어 어두운 실내 또는 밤거리 등의 장면에서 대낮과 같은 밝기로 바꾸어 나타내면 제작자의 의도와도 맞지 않을 뿐 아니라비현실적인 것으로 느끼게 된다.

이러한 문제의 해결책으로 기존에는 입력 영상의 평균 휘도를 계산하고 그 값을 중심으로 각 픽셀을 2개의 그룹으로 분리한 후 각 그룹에서 독립적으로 히스토그램 평탄화를 수행하였다. 이 방식은 히스토그램 평탄화 과정의 전, 후에 평균 밝기를 유지하지만, 각 그룹에서 여전히 과도한 밝기 변화를 생성하므로 부자연스러움의 문제를 해결하지 못하고 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 입력 영상으로부터 계산된 CDF로부터 밝기의 변화량을 추정한 후, 이 값에 근거하여 자동적으로 휘도 신호의 전달 함수를 재조정하여 히스토그램을 평탄화하는 방법 및 장치를 제공함에 있다.

도 1은 본 발명에 따른 히스토그램 평탄화를 위한 구성 블록도

도 2a 내지 도 2d는 어두운 영상과 밝은 영상에 대한 히스토그램과 정규화된 CDF의 예를 보여준 도면

도 3은 본 발명에 따른 히스토그램 평탄화를 위한 상세 블록도

도 4는 도 3의 스케일 인자 발생부에서 A=B=50으로 가정했을 때, SAD와 스케일의 관계를 보여준 도면

도면의 주요부분에 대한 부호의 설명

101 : 히스토그램 계산부 102 : CDF 계산부

103 : 정규화부 104 : 평탄부

301 : 프레임 메모리 302 : 밝기 변환부

303 : 스케일 인자 발생부 304 : 스케일링부

상기와 같은 목적을 달성하기 위한 본 발명에 따른 히스토그램 평탄화 방법은, (a) 입력 영상으로부터 히스토그램을 계산하고, 계산된 히스토그램을 최소 휘도 레벨부터 최대 레벨까지 누적하여 CDF를 계산한 후 정규화하는 단계; (b) 상기 정규화된 CDF를 휘도 신호의 전달 함수로 하여 입력되는 휘도 신호의 레벨을 자동으로 변환하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

상기 (b) 단계는 상기 정규화된 CDF 샘플로부터 밝기량 변화 측정 함수를 계산하고, 그 측정함수에 반비례하도록 스케일 값을 생성하는 단계; 상기 스케일 값을 이용하여 상기 정규화된 CDF 샘플을 스케일링하여 전달 함수를 계산하는 단계;그리고 상기 전달 함수를 휘도 신호의 전달 함수로 하여 입력 휘도 신호를 변환하는 단계로 이루어지는 것을 특징으로 한다.

본 발명에 따른 히스토그램 평탄화 장치는, 입력 영상으로부터 히스토그램을 계산하고, 계산된 히스토그램을 최소 휘도 레벨부터 최대 레벨까지 누적하여 CDF를 계산한 후 정규화하는 CDF 계산부; 그리고 상기 정규화된 CDF를 휘도 신호의 전달 함수로 하여 입력되는 휘도 신호의 레벨을 자동으로 변환하는 평탄화부를 포함하여 구성되는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

도 1은 본 발명에 따른 히스토그램 평탄화를 위한 구성 블록도로서, 입력 영상으로부터 히스토그램을 계산하는 히스토그램 계산부(101), 상기 계산된 히스토그램을 최소 휘도 레벨로부터 최대 레벨까지 누적(accumulation)하여 CDF를 계산하는 CDF 계산부(102), 상기 계산된 CDF의 최대 값이 최대 출력 휘도 레벨에 매핑되도록 정규화(normalization)를 수행하는 정규화부(103), 및 정규화된 CDF를 전달 함수로 하여 입력 휘도 레벨을 변환하는 평탄부(104)로 구성된다.

이와 같이 구성된 본 발명에서 히스토그램 계산부(101)는 입력 영상으로부터히스토그램을 계산하여 CDF 계산부(102)로 출력하고, 상기 CDF 계산부(102)는 계산된 히스토그램을 최소 휘도 레벨로부터 최대 레벨까지 누적하여 CDF를 계산한 후 정규화부(103)로 출력한다.

예를 들어, N을 한 영상 프레임의 픽셀수라 하고, n_i,i=0,...,L을 휘도 레벨이 i인 화소의 수라고 하면,이 되고, CDF는 하기의 수학식 1로 정의된다.

상기 정규화부(103)는 이렇게 계산된 CDF의 최대 값이 최대 출력 휘도 레벨에 매핑되도록 정규화를 수행한다.

즉, 출력 휘도 레벨을 M비트로 표현할 때, 출력 신호의 최대 휘도 레벨은 2^M-1이 되고, 정규화된 CDF는 다음의 수학식 2로 표현된다.

그러면, 평탄화부(104)는 상기 정규화된 CDF를 전달 함수로 하여 입력 휘도 레벨을 변환한다. 즉, 상기 평탄화부(104)는 정규화된 CDF 함수를 휘도 신호의 전달 함수로 사용한다.

도 2는 어두운 영상과 밝은 영상의 경우에 히스토그램과 정규화된 CDF를 보여준다. 즉, 도 2a는 어두운 영상의 히스토그램을, 도 2b는 어두운 영상의 정규화된 CDF를 보여주고, 도 2c는 밝은 영상의 히스토그램을, 도 2d는 밝은 영상의 정규화된 CDF를 보여준다.

도 2a 내지 도 2d를 보면, 전달 함수가 대각선에서 많이 벗어날 수록(즉, D₁∼D₇절대값이 클수록) 입력 영상의 휘도 분포가 특정 레벨에 몰려있음을 나타내고, 히스토그램 평탄화 과정에 의하여 밝기의 변화가 많이 발생하게 된다.

그러므로, 히스토그램 평탄화에 의한 밝기의 변화량을 추정하기 위하여 다음과 같이 정의되는 측정 함수들을 사용할 수 있다.

- Sum of absolute difference ;

- Sum of squared difference ;

여기서, J는 밝기 변화량 추정에 사용한 샘플의 수를 나타내고, L_i를 i번째 샘플의 입력 휘도 레벨이라고 하면,이다. 이러한 측정 함수를 이용하여 도 3과 같이 자동 레벨 조정 기능을 갖는 히스토그램 평탄화 장치를 구현할 수 있다.

도 3은 상기 평탄부(104)의 상세 블록도로서, 휘도 신호를 저장하는 프레임 메모리(301), 상기 정규화된 CDF 샘플로부터 밝기량 변화 측정 함수를 계산하고, 그 측정치에 반비례하도록 스케일 값을 생성하는 스케일 인자(scale factor) 발생부(303), 상기 스케일 값을 이용하여 상기 정규화된 CDF 샘플을 스케일링하여 전달함수를 구하는 스케일링부(304), 및 상기 전달 함수를 이용하여 프레임 메모리(301)에 저장되어 있는 휘도 신호를 변환하는 밝기(brightness) 변환부(transfomer)(302)로 구성된다.

즉, 휘도 신호는 프레임 메모리(301)에 저장됨과 동시에, 히스토그램 및 CDF 계산부(300)로 입력되어 히스토그램이 계산되고, 계산된 히스토그램으로부터 CDF가 계산된 후 정규화된다. 상기 히스토그램 및 CDF 계산부(300)는 도 1의 히스토그램 계산부(101), CDF 계산부(102), 및 정규화부(103)로 구성된다.

상기 히스토그램 및 CDF 계산부(300)에서 정규화된 CDF 샘플(TR(k))은 스케일 인자 발생부(303)와 스케일링부(304)로 출력된다.

상기 스케일링 인자 발생부(303)는 정규화된 CDF 샘플(TR(k))로부터 밝기량 변화 측정 함수를 계산하고, 그 측정 함수에 반비례하도록 스케일 값을 생성하여 스케일링부(304)로 출력한다.

만일, 측정 함수로서 SAD를 사용한다고 할 때, 스케일 값은 다음의 수학식 3과 같은 함수를 사용할 수 있다.

여기서, A,B는 0이 아닌 상수이다.

도 4는 A=B=50으로 가정했을 때, SAD와 스케일의 관계를 보여준다.

이때, 입력 신호의 휘도 분포가 몰려 있을수록 스케일 인자는 줄어들므로,과도한 밝기 변화를 억제시킬 수 있다.

상기 스케일링부(304)는 정규화된 CDF 샘플(TR(k))에 상기 스케일 인자를 곱하여 전달 함수를 구한 후 밝기 변환부(302)로 출력한다.

일 예로, 상기 스케일링부(304)에서는 정규화된 CDF의 스케일링을 다음의 수학식 4와 같이 수행한다.

상기 밝기 변환부(302)에서는 상기 스케일링부(304)에서 계산된 전달 함수를 이용하여 프레임 메모리(301)에 저장되어 있는 입력 휘도 신호를 변환한다.

변환 과정은 다음의 수학식 5로 표현된다.

여기서, L_in, L_out은 각각 입력 휘도 신호와 출력 휘도 신호를 나타낸다.

이상에서와 같이 본 발명에 따른 히스토그램 평탄화 방법 및 장치에 의하면, 입력 영상으로부터 계산된 CDF로부터 휘도 변화량을 추정한 후 이 값에 근거하여 휘도 신호의 전달 함수를 재조정함으로써, 과도한 밝기 변화에 의한 부자연스러움을 개선하여 디지털 TV, 디지털 카메라, 캠코더 등에서 개선된 화질을 제공할 수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

(a) 입력 영상으로부터 히스토그램을 계산하고, 계산된 히스토그램을 최소 휘도 레벨부터 최대 레벨까지 누적하여 CDF를 계산한 후 정규화하는 단계;

(b) 상기 (a) 단계에서 정규화된 CDF 샘플로부터 밝기량 변화 측정 함수를 계산하고, 그 측정 함수에 반비례하도록 스케일 값을 생성하는 단계;

(c) 상기 (b) 단계의 스케일 값을 이용하여 상기 (a) 단계에서 정규화된 CDF 샘플을 스케일링하여 전달 함수를 계산하는 단계; 그리고

(d) 상기 (c) 단계의 전달 함수를 휘도 신호의 전달 함수로 하여 입력 영상의 휘도 신호의 레벨을 자동으로 변환하는 단계로 이루어지는 것을 특징으로 하는 히스토그램 평탄화 방법.
삭제
제 1 항에 있어서, 상기 (b) 단계는

다음의 식을 적용하여 정규화된 CDF 샘플로부터 밝기량 변화 측정 함수를 계산하는 것을 특징으로 하는 히스토그램 평탄화 방법.

여기서, J는 밝기 변화량 추정에 사용한 샘플의 수, L_i를 i번째 샘플의 입력 휘도 레벨이라고 하면,임.
제 1 항에 있어서, 상기 (b) 단계는

다음의 식을 적용하여 정규화된 CDF 샘플로부터 밝기량 변화 측정 함수를 계산하는 것을 특징으로 하는 히스토그램 평탄화 방법.

여기서, J는 밝기 변화량 추정에 사용한 샘플의 수, L_i를 i번째 샘플의 입력 휘도 레벨이라고 하면,임.
제 1 항에 있어서, 상기 (b) 단계는

다음의 식을 적용하여 스케일 값(Scale)을 발생하는 것을 특징으로 하는 히스토그램 평탄화 방법.

여기서, A,B는 0이 아닌 상수임.
제 1 항에 있어서, 상기 (c) 단계는

다음의 식을 적용하여 상기 정규화된 CDF의 스케일링()을 수행하는 것을 특징으로 하는 히스토그램 평탄화 방법.
제 6 항에 있어서, 상기 (d) 단계는

하기의 식을 적용하여 입력 영상의 휘도 신호를 변환하는 것을 특징으로 하는 히스토그램 평탄화 방법.

여기서, L_in, L_out은 각각 입력 휘도 신호와 출력 휘도 신호를 나타냄.
입력 영상으로부터 히스토그램을 계산하고, 계산된 히스토그램을 최소 휘도 레벨부터 최대 레벨까지 누적하여 CDF를 계산한 후 정규화하는 히스토그램 및 CDF 계산부; 그리고

상기 CDF 계산부에서 정규화된 CDF 샘플로부터 밝기량 변화 측정 함수를 계산하고, 그 측정 함수에 반비례하도록 스케일 값을 생성한 후 상기 정규화된 CDF 샘플을 곱하여 전달 함수를 계산하고, 그 전달 함수에 따라 입력 영상의 휘도 신호의 레벨을 자동으로 변환하는 평탄화부를 포함하여 구성되는 것을 특징으로 하는 히스토그램 평탄화 장치.
제 8 항에 있어서, 상기 평탄화부는

입력되는 영상의 휘도 신호를 저장하는 프레임 메모리;

상기 CDF 계산부에서 정규화된 CDF 샘플로부터 밝기량 변화 측정 함수를 계산하고, 그 측정함수에 반비례하도록 스케일 값을 생성하는 스케일 인자 발생부;

상기 스케일 값을 이용하여 상기 정규화된 CDF 샘플을 스케일링하는 스케일링부; 그리고

상기 스케일링부의 출력을 휘도 신호의 전달 함수로 하여 상기 프레임 메모리에 저장되어 있는 영상의 휘도 신호를 변환하는 밝기 변환부로 구성되는 것을 특징으로 하는 히스토그램 평탄화 장치.
제 9 항에 있어서, 상기 스케일 인자 발생부는

다음의 식을 적용하여 스케일 값(Scale)을 발생하는 것을 특징으로 하는 히스토그램 평탄화 장치.

여기서, A,B는 0이 아닌 상수임.
제 9 항에 있어서, 상기 밝기 변환부는

하기의 식을 적용하여 입력 영상의 휘도 신호를 변환하는 것을 특징으로 하는 히스토그램 평탄화 장치.

여기서,은 스케일링부에서 출력되는 전달 함수, L_in, L_out은 각각 입력 휘도 신호와 출력 휘도 신호를 나타냄.