KR20000039639A

KR20000039639A - 입력 영상의 밝기를 유지하는 화질 개선 장치 및 그 방법

Info

Publication number: KR20000039639A
Application number: KR1019980055038A
Authority: KR
Inventors: 박홍기
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1998-12-15
Filing date: 1998-12-15
Publication date: 2000-07-05
Also published as: JP3375921B2; KR100322596B1; CN1149836C; JP2000184234A; CN1260663A; US6507668B1

Abstract

본 발명에는 입력 영상 밝기를 유지하는 화질 개선 장치 및 그 방법이 개시되어 있다. 본 발명은 소정수의 그레이 레벨로 표현되는 입력 영상신호를 등화하여 등화된 출력 영상을 제공하는 히스토그램 등화기 및 입력 영상의 평균값과 출력 영상의 평균값을 각각 추출하여 그 차이에 해당하는 평균값 변화분을 출력 영상에 보상하는 보상기를 포함하여, 특히 밝은 화면에서의 평균 밝기가 저하되는 것을 억제시켜서 히스토그램 등화에 의한 화질 저하를 방지하여 보다 안정된 화질을 제공한다.

Description

입력 영상의 밝기를 유지하는 화질 개선 장치 및 그 방법

본 발명은 히스토그램 등화를 이용하는 화질 개선 분야에 관한 것으로, 특히 입력 영상의 밝기를 유지하여 콘트라스트를 개선하는 화질 개선 장치 및 그 방법에 관한 것이다.

히스토그램 등화의 기본 동작은 입력 영상의 히스토그램을 토대로 주어진 입력 영상을 변환하는 것으로서, 여기서 히스토그램이라 함은 주어진 입력 영상에서의 그레이 레벨 분포를 나타낸다. 이러한 그레이 레벨(gray level)의 히스토그램은 영상(image)의 외양(appearance)의 전체적인 묘사를 제공한다. 영상의 픽셀 분포에 따라 적절히 조절된 그레이 레벨은 외양 또는 영상의 콘트라스트를 개선시킨다.

도 1은 일반적인 히스토그램 등화기의 블록도로서, 입력 영상 I(x,y)는 공간적 위치 (x,y)에서 X={X₀,X₁,...,X_L-1}로 주어지는 L개의 이산(discrete) 그레이 레벨 가운데 하나의 값을 갖는다고 했을 때, 히스토그램 검출기(102)는 {X_kk{0,1,2,...,L-1}}에 해당하는 픽셀의 발생빈도 n^k를 산출하고, PDF 계산기(104)는 이 픽셀의 발생 빈도 n^k로부터 확률 밀도 함수(PDF:Probability Denstity Function) 계산하고, 이 확률 밀도 함수 P(X_k)를 다음 수학식 1과 같이 나타낼 수 있다.

P(X_k)=n^k/N

여기서, P(X_k)는 주어진 영상 {X}에서 k 번째 그레이 레벨(X_k)의 확률이고, n^k는 주어진 영상 {X}에서 이 레벨(X_k)이 나타나는 횟수를 나타내고, N은 주어진 영상 {X}의 전체 픽셀수를 나타낸다.

PDF 적분기(106)는 PDF 계산기(104)에서 계산된 PDF에 대해 적분을 행하면 다음 수학식 2와 같이 정의되는 누적 밀도 함수(Cumulative Density Function:CDF) c(x)를 얻게 된다.

비선형 맵퍼(108)는 PDF 적분에 의해 얻어진 누적 밀도 함수 c(x)를 입력 영상 I(x,y)에 대한 맵핑 함수로 사용하면, 보다 넓은 다이나믹 범위를 갖는 출력 영상 즉, 콘트라스트 보정된 출력 영상(I_H(x,y))을 제공하게 된다.

도 2는 입력 영상의 대부분이 고휘도 부분에 몰려 있는 경우에 대해, 누적 밀도 함수와 이를 이용한 비선형 맵핑을 보인 도면이다. 도 2에 있어서, 그레이 레벨 {X_iX_L-1}에 집중적으로 분포되어 있는 입력 영상 레벨이, CDF에 근거한 맵핑에 의해 출력 레벨 {f(X_i)f(X_L-1)}이라는 보다 넓은 영역으로 재분배됨으로써, 주어진 다이나믹 범위(dynamic range)를 효과적으로 사용하게 되고 결과적으로 콘트라스트를 높여주게 된다.

따라서, 히스토그램 등화를 이용한 콘트라스트 개선 방법은 일반적으로 영상 신호의 그레이 레벨에 대한 분포를 주어진 다이나믹 범위에 걸쳐 균일하게 분포하도록 하여 콘트라스트를 개선하고, 비교적 계산량이 적고 콘트라스트 개선 효과가 커 영상 신호의 콘트라스트 개선을 위한 목적으로 많이 이용된다.

그러나, 누적 밀도 함수 자체를 맵핑 함수로 이용해서 입력 영상 레벨의 분포를 변경하는 일반적인 히스토그램 등화의 가장 큰 문제점은 변환 함수로 사용되는 누적 밀도 함수에 따라 입출력 신호간의 평균 밝기가 현저하게 변할 수 있다는 것이다.

즉, 그레이 레벨의 분포를 균일하게 하는 작용에 의해 등화된 영상 신호의 평균 밝기는 입력의 밝기에 관계없이 중간값으로 수렴하기 때문에 밝은 화면의 경우 특히, 블랙 레벨에 대한 밀도가 낮은 경우에는 화면이 전체적으로 어두워져 오히려 화질이 떨어지는 느낌을 주게 된다. 그래서, 히스토그램 등화는 주로 어두운 화면에 대해 자세히 관찰하는 데 한정적으로 이용되고 있고, 텔레비젼이나 캠코더등의 기기에서의 사용은 피하고 있다.

따라서, 히스토그램 등화는 일반적으로 히스토그램 분포가 균일하게 되도록 CDF에 근거한 통상의 방법을 적용하면 입력의 평균 밝기에 관계없이 중간 레벨로 평균값이 수렴한다. 어두운 화면의 경우에는 보이지 않는 부분이 나타나면서 화면이 밝아져서 더 나은 느낌을 주게 되지만, 반대로 밝은 화면의 경우에는 콘트라스트는 개선은 되지만 화면이 전체적으로 어두워져 오히려 부자연스러워지는 문제점이 있었다.

상기한 문제점을 해결하기 위하여, 본 발명의 목적은 입력 영상과 히스토그램 등화에 의해 등화된 출력 영상과의 평균 밝기 변화를 미리 예측하여 등화된 영상 신호에 반영함으로써 입력 영상의 밝기를 유지하는 화질 개선 장치를 제공하는 데 있다.

본 발명의 다른 목적은 입력 영상과 히스토그램 등화에 의해 등화된 출력 영상과의 평균 밝기 변화를 미리 예측하여 등화된 영상 신호에 반영함으로써 입력 영상의 밝기를 유지하는 화질 개선 방법을 제공하는 데 있다.

상기의 목적을 달성하기 위하여, 본 발명에 의한 화질 개선 장치는 소정수의 그레이 레벨로 표현되는 입력 영상신호를 등화하여 등화된 출력 영상을 제공하는 히스토그램 등화기 및 입력 영상의 평균값과 출력 영상의 평균값을 각각 추출하여 그 차이에 해당하는 평균값 변화분을 출력 영상에 보상하는 보상기를 포함함을 특징으로 하고 있다.

상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 화질 개선 방법은 소정수의 그레이 레벨로 표현되는 입력 영상신호를 등화하여 등화된 출력 영상을 제공하는 단계 및 입력 영상의 평균값과 출력 영상의 평균값을 각각 추출하여 그 차이에 해당하는 평균값 변화분을 출력 영상에 보상하는 단계를 포함함을 특징으로 하고 있다.

도 1은 일반적인 히스토그램 등화기의 블록도이다.

도 2는 도 1에 도시된 비선형 맵퍼에서 CDF에 근거한 비선형 맵핑을 보인 그래프이다.

도 3은 본 발명에 의한 화질 개선 장치의 일 실시예에 따른 블록도이다.

도 4는 본 발명에 의한 화질 개선 장치의 다른 실시예에 따른 블록도이다.

이하, 첨부된 도면을 참조하여, 본 발명에 의한 입력 영상의 밝기를 유지하는 화질 개선 장치 및 방법의 바람직한 실시예를 설명하기로 한다.

본 발명에 의한 화질 개선 장치의 일 실시예에 따른 블록도인 도 3에 있어서, 히스토그램 검출기(202), PDF 계산기(204), PDF 적분기(206), 비선형 맵퍼(208), PDF 계산기(204)의 출력을 이용하여 입력 영상의 평균값을 추출하기 위한 입력 평균값 추출기(210), 등화된 출력 영상의 평균값을 예측하기 위하여 PDF 계산기(204)의 출력과 PDF 적분기(206)의 출력 신호를 이용하여 비선형 맵퍼(208)의 출력 영상의 평균값을 추출하는 출력 평균값 추출기(212), 입력 평균값과 출력 평균값의 차이를 계산하여 평균값 변화분을 제공하는 평균값 변화분 추출기(214), 비선형 맵퍼(208)로부터 제공되는 등화된 영상과 평균값 변화분 추출기(214)로부터 제공되는 평균값 변화분을 가산하는 가산기(216)로 구성하여 입력 영상의 평균값과 등화된 영상의 평균값과의 차이를 추출하여 추출된 평균값 차이에 따라 등화된 영상을 보상함으로써 입력 영상의 밝기를 유지한다.

여기서, 히스토그램 검출기(202), PDF 계산기(204), PDF 적분기(206), 비선형 맵퍼(208)는 도 1에 도시된 히스토그램 검출기(102), PDF 계산기(104), PDF 적분기(106), 비선형 맵퍼(108)의 구성과 동일하므로 그 동작 설명은 생략하기로 한다. 다만 히스토그램 검출기(202)와 PDF 계산기(204)가 별도로 구성되어 있으나 상기 입력 영상의 히스토그램 분포를 검출하고, 이 히스토그램 분포에 따른 확률 밀도 함수를 구하는 하나의 요소로 구성될 수 있다.

영상 신호의 평균값은 밝기에 가장 근접한 값을 나타내게 되는 데 이러한 평균값의 검출은 일반적으로 영상 신호를 적분하여 화면의 크기 즉, 전체 픽셀수로 나누면 된다. 그러나, 본 발명의 입력 평균값 추출기(210)는 일 실시예로서, PDF 계산기(202)에 의해 계산된 PDF로부터 입력 영상의 평균값 I_M을 구한다. 그 결과는 일반적인 평균값과 같은 결과가 된다. 즉, 상술한 PDF의 정의로부터 입력 영상의 평균값 I_M은 다음 수학식 3과 같이 구해진다.

또한, 출력 평균값 추출기(212)는 PDF 계산기(204)로부터 제공되는 PDF와 PDF 적분기(206)로부터 제공되는 CDF를 이용해서 비선형 맵퍼(208)로부터 출력되는 등화된 영상의 평균값 O_M을추출하는 데, 출력 영상의 평균값 O_M은 다음 수학식 4와 같이 구해진다.

여기서, P(X_k)는 PDF 계산기(204)로부터 제공되는 PDF이고, c(X_k)는 PDF 적분기(206)로부터 제공되는 CDF이고, [ ]는 비선형 맵퍼(208)에서 사용하는 히스토그램 분포가 균일하게 되도록 하는 변환 함수의 일 예이고, gmax와 gmin은 출력 다이나믹 범위의 최대, 최소값을 나타낸다. 따라서, 출력 평균값 O_M은 비선형 맵퍼(208)의 출력 신호로부터 평균값을 구하는 것과 동일한 값을 가지지만 비선형 맵퍼(208)의 변환 함수를 알 수 있기 때문에 미리 예측할 수 있다.

평균값 변화분 추출기(214)는 입력 평균값 추출기(210)에서 추출된 입력 평균값과 출력 평균값 추출기(212)에서 추출된 출력 평균값과의 차이(D_M)를 구한다. 일 실시예로서 출력 영상의 밝기가 입력 영상의 밝기보다 떨어지는 경우에만 평균값 보상이 되도록 하기 위해서, 평균값 변화분(D_M= I_M-O_M)이 O보다 크면 즉, D_M0 이면 평균값 변화분(D_M)을 출력하고,평균값 변화분이 0보다 작으면 D_M0이면 0을 출력한다. 따라서, 가산기(216)는 비선형 맵퍼(208)로부터 제공되는 등화된 신호(I_H(x,y))와 평균값 변화분 추출기(214)에서 제공되는 평균값 변화분(D_M)을 가산하게 되면 가산기(216)로부터 밝기가 보상된 영상 신호(I_E(x,y))를 얻을 수 있게 되며, 가산기(216)의 출력 신호의 평균값은 입력 영상의 평균값과 동일하게 된다.

도 4는 본 발명에 의한 화질 개선 장치의 다른 실시예로서, 도 3에 도시된 장치와 비교해 볼 때, 도 3의 가산기(216) 대신에 평균값 변화분(D_M)에 따라 비선형 맵퍼(308)에서 사용되는 변환 함수를 변화시키기 위한 변환 함수 조정기(316)가 구성되어 있다는 점외에는 동일하므로, 변환 함수 조정기(316)를 중심으로 설명하기로 한다.

변환 함수 조정기(316)는 평균값 변화분 추출기(314)에서 추출된 평균값 변화분(D_M)에 따라 변환 함수를 조정하여 비선형 맵퍼(308)로부터 직접 밝기가 보상된 등화된 영상(I_E(x,y))을 얻어낼 수 있도록 한다.

즉, 변환 함수 조정기(316)는 일 예로서, 수학식 5에 도시된 변환 함수를 평균값 변화분 추출기(314)로부터 제공되는 평균값 변화분(D_M)을 출력 다이나믹 범위의 최대값(gmax)과 최소값(gmin)에 가산하여 수학식 6과 같이 변환 함수를 조정한다. 변환 함수 조정기(316)는 다른 예로서, 변환 함수로 사용되는 누적 밀도 함수 c(x)를 조정할 수도 있다.

I_x=(g max-g min)c(X_k)+g min

즉,

I_x=(g max-g min)c(X_k)+g min

여기서, gmax' = gmax + D_M, gmin' = gmin + D_M이다.

따라서, 비선형 맵퍼(308)는 입력 영상(I(x,y))을 변환 함수 조정기(316)에 의해 조정된 변환 함수를 이용하여 맵핑하여 밝기가 보상된 등화된 영상(I_E(x,y))을 제공한다. 본 발명은 밝은 화면에서의 평균 밝기가 떨어지는 것을 억제시킬 수 있도록 하여 히스토그램 등화에 의한 화질 저하를 방지하여 보다 안정된 화질을 얻어낼 수 있게 되어 텔레비젼과 같은 영상 기기에서도 사용할 수 있다.

본 발명은 영상신호의 화질 개선에 관련된 광범위한 분야에 응용될 수 있다. 즉, 방송기기, 레이더 신호 처리 시스템, 의용 공학, 가전 제품등에 응용될 수 있다.

상술한 바와 같이, 본 발명은 입력 영상의 평균값과 등화된 출력 영상의 평균값과의 차이를 추출하여 추출된 평균값 변화분을 등화된 출력 영상에 반영함으로써, 특히 밝은 화면에서의 평균 밝기가 저하되는 것을 억제하고, 히스토그램 등화에 의한 화질 저하를 방지하여 보다 안정된 화질을 제공하는 효과가 있다.

Claims

소정수의 그레이 레벨로 표현되는 입력 영상신호를 등화하여 등화된 출력 영상을 제공하는 히스토그램 등화기; 및

상기 입력 영상의 평균값과 출력 영상의 평균값을 각각 추출하여 그 차이에 해당하는 평균값 변화분을 상기 출력 영상에 보상하는 보상기를 포함하는 화질 개선 장치.
제1항에 있어서, 상기 히스토그램 등화기는,

상기 입력 영상의 히스토그램 분포를 검출하고, 이 히스토그램 분포에 따른 확률 밀도 함수를 구하는 제1 계산기;

상기 확률 밀도 함수를 적분하여 누적 밀도 함수를 구하는 제2 계산기; 및

상기 누적 밀도 함수를 변환 함수로 사용하여 상기 입력 영상을 맵핑하여 등화된 출력 영상을 제공하는 맵퍼를 포함하는 화질 개선 장치.
제2항에 있어서, 상기 보상기는,

상기 확률 밀도 함수로부터 입력 영상의 평균값을 추출하는 입력 평균값 추출기;

상기 확률 밀도 함수와 누적 밀도 함수로부터 출력 영상의 평균값을 추출하는 출력 평균값 추출기;

상기 입력 영상의 평균값과 출력 영상의 평균값의 차이를 검출하여 평균값 변화분을 제공하는 평균값 변화분 추출기; 및

상기 출력 영상에 상기 평균값 변화분을 가산하여 밝기가 보상된 등화된 영상을 제공하는 가산기를 포함하는 화질 개선 장치.
제3항에 있어서, 상기 평균값 변화분 추출기는 상기 입력 영상의 평균값이 상기 출력 영상의 평균값보다 클 때에만 평균값 변화분을 상기 가산기에 제공하는 것을 특징으로 하는 화질 개선 장치.
제2항에 있어서, 상기 보상기는,

상기 확률 밀도 함수로부터 입력 영상의 평균값을 추출하는 입력 평균값 추출기;

상기 확률 밀도 함수와 누적 밀도 함수로부터 출력 영상의 평균값을 추출하는 출력 평균값 추출기;

상기 입력 영상의 평균값과 출력 영상의 평균값의 차이를 검출하여 평균값 변화분을 제공하는 평균값 변화분 추출기; 및

상기 평균값 변화분에 따라 상기 변환 함수를 조정하는 변환 함수 조정기를 포함하는 화질 개선 장치.
제5항에 있어서, 상기 평균값 변화분 추출기는 상기 입력 영상의 평균값이 상기 출력 영상의 평균값보다 클 때에만 평균값 변화분을 상기 변한 함수 조정기에 제공하는 것을 특징으로 하는 화질 개선 장치.
제5항에 있어서, 상기 변환 함수 조정기는 상기 평균값 변화분에 따라 상기 누적 밀도 함수를 조정하는 것을 특징으로 하는 화질 개선 장치.
제5항에 있어서, 상기 변환 함수 조정기는 상기 평균값 변화분에 따라 출력 영상의 다이나믹 범위를 조정하는 것을 특징으로 하는 화질 개선 장치.
(a) 소정수의 그레이 레벨로 표현되는 입력 영상신호를 등화하여 등화된 출력 영상을 제공하는 단계; 및

(b) 상기 입력 영상의 평균값과 출력 영상의 평균값을 각각 추출하여 그 차이에 해당하는 평균값 변화분을 상기 출력 영상에 보상하는 단계를 포함하는 화질 개선 방법.
제9항에 있어서, 상기 (a) 단계는

(a1) 입력 영상의 히스토그램 분포를 검출하고, 이 히스토그램 분포에 따른 확률 밀도 함수를 구하는 단계;

(a2) 상기 확률 밀도 함수를 적분하여 누적 밀도 함수를 구하는 단계; 및

(a3) 상기 누적 밀도 함수를 변환 함수로 사용하여 상기 입력 영상을 맵핑하여 등화된 출력 영상을 제공하는 단계를 포함하는 화질 개선 방법.
제10항에 있어서, 상기 (b) 단계는

(b1) 상기 확률 밀도 함수로부터 입력 영상의 평균값을 추출하는 단계;

(b2) 상기 확률 밀도 함수와 누적 밀도 함수로부터 출력 영상의 평균값을 추출하는 단계;

(b3) 상기 입력 영상의 평균값과 출력 영상의 평균값의 차이를 검출하여 평균값 변화분을 제공하는 단계; 및

(b4) 상기 출력 영상에 상기 평균값 변화분을 가산하여 밝기가 보상된 등화된 영상을 제공하는 단계를 포함하는 화질 개선 방법.
제11항에 있어서, 상기 (b3) 단계에서는 상기 입력 영상의 평균값이 상기 출력 영상의 평균값보다 클 때에만 평균값 변화분을 제공하는 것을 특징으로 하는 화질 개선 방법.
제10항에 있어서, 상기 (b) 단계는,

(b11) 상기 확률 밀도 함수로부터 입력 영상의 평균값을 추출하는 단계;

(b12) 상기 확률 밀도 함수와 누적 밀도 함수로부터 출력 영상의 평균값을 추출하는 단계;

(b13) 상기 입력 영상의 평균값과 출력 영상의 평균값의 차이를 검출하여 평균값 변화분을 제공하는 단계; 및

(b14) 상기 평균값 변화분에 따라 상기 변환 함수를 조정하는 단계를 포함하는 화질 개선 방법.
제13항에 있어서, 상기 (b13) 단계에서는 상기 입력 영상의 평균값이 상기 출력 영상의 평균값보다 클 때에만 평균값 변화분을 제공하는 것을 특징으로 하는 화질 개선 방법.
제13항에 있어서, 상기 (b14) 단계에서는 상기 평균값 변화분에 따라 상기 누적 밀도 함수를 조정하는 것을 특징으로 하는 화질 개선 방법.
제13항에 있어서, 상기 (b14) 단계에서는 상기 평균값 변화분에 따라 출력 영상의 다이나믹 범위를 조정하는 것을 특징으로 하는 화질 개선 방법.