KR19980026615A

KR19980026615A - 영상의 다이나믹 레인지 확대 장치

Info

Publication number: KR19980026615A
Application number: KR1019960045122A
Authority: KR
Inventors: 황정현
Original assignee: 김광호; 삼성전자 주식회사
Priority date: 1996-10-10
Filing date: 1996-10-10
Publication date: 1998-07-15
Also published as: KR100200363B1; GB2319685B; US5959696A; GB9721621D0; GB2319685A; JP3828251B2; JPH10134179A

Abstract

이 발명은 영상(image)의 다이나믹 레인지(dynamic range) 확대 장치에 관한 것으로서,

휘도 빈도 함수의 적분치와 미분치를 합성하여 휘도 변환 함수를 결정함으로써 다이나믹 레인지의 확대시킬 뿐만 아니라 양자화 잡음을 감소시키며, 휘도 변환 비율을 이용하여 색상의 밸런스 손실 없이 색차신호를 변환한다. 따라서, 이 발명은 광대역의 다이나믹 레인지를 구현하는 영상의 다이나믹 레인지 확대 장치를 제공한다.

Description

영상의 다이나믹 레인지 확대 장치

이 발명은 영상(image)의 다이나믹 레인지(dynamic range) 확대 장치에 관한 것으로서, 더욱 상세하게 말하자면 휘도 빈도의 평활화 방법(Histogram Equalization)을 이용하여 양자화 잡음은 극소화시키면서 높은 콘트라스트를 얻을 수 있는 영상의 다이나믹 레인지 확대 장치에 관한 것이다.

비디오 영상 입력장치 등에 의하여 촬영된 영상에는 대상물에 관한 여러 가지 포함되어 있다. 그러나, 대상물 혹은 촬영기기의 성능, 촬영 조건 등에 따라 촬영된 영상에서 휘도 및 색상 정보가 편중되거나 왜곡되는 경우가 빈번하게 발생한다. 이러한 경우 휘도 빈도의 평활화 방법(histogram equalization) 등에 의한 전처리 단계를 수행하면 영상의 콘트라스트(contrast)가 개선되어 영상의 해석 및 특징 추출이 쉬워진다. 위와 같이 영상의 콘트라스트를 증가시키기 위한 전처리 단계를 수행하는 장치를 다이나믹 레인지 확대 장치라고 부른다.

이하, 첨부된 도면을 참조하여 종래의 기술에 따른 다이나믹 레인지 확대 장치를 설명한다.

종래의 대표적인 다이나믹 레인지 확대 장치로서, 자동 이득 제어(AGC : Automatic Gain Control)를 이용한 장치가 미국 특허 번호 제 4,719,350호에 Radiation imaging enhancement의 명칭으로 개시되어 있다. 상기 미국 특허에 개시된 다이나믹 레인지 확대 장치에 따르면, 영상 신호로부터 저주파 혹은 직류 성분을 제거하여 다이나믹 레인지를 축소시켜서 화소당 비트수가 제한 된 상태에서 신호 처리가 이루어지도록 한다.

그러나, 상기한 종래의 장치는 다이나믹 레인지를 축소하는 과정에서 세밀한 콘트라스트 정보가 손실되며, 신호 처리가 프레임당으로 이루어지기 때문에 공간적으로 적응적인 처리가 불가능한 단점을 가진다.

다음으로, 고주파 필터를 이용한 다이나믹 레인지 확대 장치를 첨부된 도1을 참조하여 설명한다.

도1에 도시되어 있듯이, 고주파 필터를 이용한 다이나믹 레인지 확대 장치는, 로그 변환 블록(11), 고주파 통과 필터(12) 및 지수 변환 블록(13)으로 구성된다. 상기와 같은 다이나믹 레인지 확대 장치는 변환 동작(transform operation)을 이용한 영상 강조(Image Enhancement)로 분류될 수 있으며, 그의 상세한 내용은 스톡햄(Stockham)에 의해 Image Processing in the Context of a visual Model(Proceedings of the IEEE. 60(7), Jul. 1972, pp.838-842)의 명칭으로 개시되어 있고, 지(Xie) 등에 의해 Towards the Unification of Three Visual Laws and Two Visual Models in Brightness Perception(IEEE Trans Systems, Man Cybernetics 19(2). Mar./Apr. 1989, pp.379-382)의 명칭으로 개시되어 있다.

상기 도1을 참조하면, 영상 신호는 로그 변환 블록(11)에서 로그 함수로 변환되면서 조도(illumination)와 반사율(reflectance) 성분으로 분리된다. 상기 분리된 반사율 성분은 고주파 통과 필터(12)에 의해 필터링된다. 이어서, 상기 고주파 통과 필터(12)의 출력은 지수 변환 블록(13)에 의해 지수 함수로 변환된다. 즉, 도1의 장치에서는 고주파 통과 필터(12)에 의해 영상 신호의 반사율 성분이 선택적으로 증폭된다.

상기와 같은 다이나믹 레인지 확대 장치를 기반으로 한 카메라가 미국 특허 번호 제5,144,442호에 wide dynamic range camera의 명칭으로 개시되어 있다. 상기 미국 특허에 개시된 카메라 시스템의 입력부가 도2에 도시되어 있다.

도2를 참조하면, 카메라 시스템의 입력부는 다수의 카메라(31, 32, 33), 화소 선택기(34) 및 인접 변환 프로세싱 블록(35)으로 구성된다.

상기 다수의 카메라(31, 32, 33)로부터 얻어진 영상 신호는 화소 선택기(34)에 의해 차례로 선택되며, 상기 화소 선택기(34)의 출력은 외부에 제공됨과 동시에 인접 변환 프로세싱 블록(35)에 입력된다. 상기 인접 변환 프로세싱 블록(35)에서는 각 영상들에 대한 인접 변환 프로세싱(NTP : Neighborhood Transform Processing)이 수행되며, 이렇게 얻어진 신호는 상기 화소 선택기(34)의 출력과 함께 외부에 제공된다.

그런데, 상기 설명된 도1 및 도2에 개시된 종래의 다이나믹 레인지 확대 장치는 다수의 영상에 대한 입력을 처리해야 하므로 복잡한 회로를 가지거나 필드 메모리를 필요로 한다.

보다 능동적이고 효과적으로 영상의 콘트라스트를 개선하기 위하여, 휘도 빈도의 평활화 방법(Histogram Equalization)이 널리 알려져 있으며, 이러한 기법은 애닐 제인(Anil K. Jane)의 저서 Fundamental of Digital Image Processing(Prentice-Hall International Edition, pp. 241-243)에 개시되어 있다.

상기 평활화 방법은 점 동작(Point operation)에 의한 영상 강조(Image Enha로서, 영상의 휘도가 어느 특정 지역에 집중되어 있을 경우, 그 지역의 휘도 대역의 콘트라스트를 증가시킴으로써 결과적으로 다이나믹 레인지를 확대한다. 그러나, 상기한 휘도 빈도의 평활화 방법은 다수의 분포를 가지는 휘도 대역의 콘트라스트의 극대화가 심화되면, 양자화 잡음 또한 증폭될 뿐만 아니라 상대적으로 적은 빈도를 가진 영상에 대해서는 콘트라스트가 저하되는 단점을 가진다.

상기한 단점을 개선하기 위하여, 평활화 방법의 영향을 전체적으로 감소시키면서 콘트라스트를 적당히 개선하는 개선된 평활화 방법이 또한 제안되어 있다. 그러나, 상기 개선된 평활화 방법은 복잡한 회로를 통해 구현될 뿐만 아니라 콘트라스트와 노이즈를 동시에 개선시킬 수 없다.

마지막으로, 휘도 레벨의 다이나믹 레인지의 개선을 칼라 영상에 도입하기 위한 방법이 제안되어 있다. 이들의 대부분은 색신호인 R, G, B 신호의 다이나믹 레인지를 확대/축소한다. 보다 상세하게, 색성분을 독립적으로 개선하거나 휘도 신호를 추출한 후 휘도의 다이나믹 레인지의 확대/축소 정보를 이용하여 추출된 휘도 신호를 일률적으로 제어한다. 특히, 다수의 영상 입력으로부터 얻어진 R, G, B 신호를 휘도 정보를 이용하여 일률적으로 제어하는 방식이 미국 특허 번호 제5,247,366호에 Color wide dynamic range camera의 명칭으로 개시되어 있다. 그러나, 이 방식은 복수의 입력 영상을 처리해야 할 뿐만 아니라 색신호의 개별적 다단 제어가 요구되므로 실제로 구현되는 회로가 복잡한 문제점이 있다.

다음으로, 첨부된 도3, 도4a-4d 및 도5a-5c를 참조하여 종래의 기술에 따른 휘도 빈도의 평활화 방법을 보다 상세하게 설명한다.

상기 평활화 방법은 영상의 빈도 분포를 전체적으로 일정하게 유지하는 기술이다. 즉, 영상의 다수 빈도를 가지는 휘도 레벨의 다이나믹 레인지를 확대함으로써 전체적인 영상의 콘트라스트를 개선시키기 위한 것이다.

영상의 휘도 레벨을 i(i={0,1,…,L-1}, L은 휘도의 레인지), 휘도 빈도 함수를 h(i)라고 할 때, 휘도 변환 함수(Gray Scale Transform Function) 혹은 변환 함수표(LUT : Look up table) f(i)는

f(i) = (L-1)·P(j) 로 정의된다.

이때, 상기 P(i)는

P(i) =로 정의된다.

입력 영상의 휘도를 y(x), 출력을 y'(x)라고 할 때, 둘 사이의 관계식을 상기 변환 함수 f(i)를 이용하여 표현하면 다음과 같다.

y'(x) = f(y(x))

여기서, x는 영상의 좌표를 나타내는 2차원 벡터이다.

도3에는 상기 평활화 방법을 이용한 다이나믹 레인지 확대 장치가 도시되어 있다.

도3을 참조하면, 종래의 평활화 방법을 이용한 다이나믹 레인지 확대 장치는 히스토그램 발생기(21), 적분기(22) 및 메모리(23)로 구성된다.

상기 히스토그램 발생기(21)는 영상의 휘도 신호(y)를 입력 받아 휘도 빈도 함수 h(i)를 생성한다. 한 필드에 대한 영상의 휘도 빈도 함수가 생성되면, 상기 생성된 휘도 빈도 함수가 적분기(22)에 입력된다. 상기 적분기(22)에서는 입력된 휘도 빈도 함수에 대한 적분 연산이 수행되며, 그 결과는 메모리(23)에 입력된다. 상기 메모리(23)는 룩업 테이블(Looh up table)의 형태로서 휘도 변환 함수 f(i)를 미리 저장하고 있으며, 상기 적분기(22)의 출력에 따라 휘도 변환 함수가 결정된다. 또한, 입력된 영상의 휘도 신호(y)로부터 상기 결정된 휘도 변환 함수를 통해 휘도 변환된 출력(y')이 얻어지며, 이 출력은 외부에 제공된다.

도4a는 입력 영상이 매우 어두운 상태일 때의 영상의 휘도 빈도 함수 h(i)를 도시하고 있으며, 도4b는 휘도 변환 함수 f(i)를 도시하고 있으며, 도4c는 상기 방식에 의해 출력되는 영상 신호의 휘도 분포 h'(c)를 도시하고 있다. 도4d는 상기 도4c에 도시된 분포를 i 축 방향으로 저주파수 대역 필터링한 결과를 도시하고 있으며, 이것은 히스토그램이 평활화된 결과를 나타낸다.

그러나, 상기한 평활화 방법에 따라 영상을 강조하면, 콘트라스트는 개선되지만 빈도 수가 적은 영역에서는 콘트라스트를 손실하는 결과가 도래한다. 또한, 특정 휘도 레벨의 빈도가 집중되었을 경우, 그 영역의 휘도 변환에 의한 양자화 에러 또는 디지탈 잡음도 동시에 매우 강조된다.

이러한 문제점을 개선하기 위하여, 평활화 방법의 영향을 전체적으로 억제하면서 콘트라스트를 적당히 개선하는 변형된 평활화 방법이 제안되어 있다. 상기 변형된 평활화 방법에 따르면, 휘도 변환 함수 f(i)의 감도가 임의의 변수 k에 의하여 아래의 수식으로 표현되는 바와 같이 조절된다.

f(i) = (L-1)·

도5a는 상기 변수 k의 값을 0과 1 사이에서 정할 경우의 휘도 변환 함수 f(i)를 도시하고 있으며, 도5b는 상기 도4a의 휘도 빈도 함수를 가지는 영상 신호가 상기 도5a에 도시된 휘도 변환 함수에 의해 변환된 후 얻어지는 영상 신호의 휘도 분포 h'(i)를 도시하고 있으며, 도5c는 상기 도5b의 분포를 가지는 영상 신호에 대한 저주파수 대역 필터링의 결과를 도시하고 있다. 결과적으로, 상기 변수 k의 값을 제어함으로써 영상 신호의 다이나믹 레인지가 조절될 수 있다. 이러한 성질을 이용하면, 전체적인 다이나믹 레인지의 범위를 희생하여 양자화 에러의 범위를 어느 정도 제한할 수 있다. 그러나, 이 방법은 영상 신호의 다이나믹 레인지와 양자화 에러 사이의 트레이드-오프를 야기한다. 즉, 다이나믹 레인지의 증가에 중점을 두면 양자화 에러가 증가하며, 양자화 에러의 감소에 중점을 두면 다이나믹 레인지가 감소한다.

이 발명은 상술한 종래의 기술적 문제점을 해결하기 위한 것으로서, 휘도 변환에 의한 영상의 다이나믹 레인지를 확장함과 동시에 양자화 잡음을 감소시킬 수 있는 영상의 다이나믹 레인지 확대 장치를 제공하는 데 그 목적이 있다.

도1은 종래의 기술에 따른 고주파 필터를 이용한 다이나믹 레인지 확대 장치의 구성도.

도2는 상기 도1에 도시된 장치의 전단에서 다수의 입력을 처리하기 위한 입력부의 구성도.

도3은 종래의 기술에 따른 평활화법을 이용한 다이나믹 레인지 확대 장치의 구성도.

도4a-도4d는 종래의 평활화법을 설명하는 파형도.

도5a-도5c는 종래의 개선된 평활화법을 설명하는 파형도.

도6은 이 발명의 제1실시예에 따른 영상의 다이나믹 레인지 확대 장치의 구성도.

도7은 상기 도6에 도시된 장치에 적용되는 평활화법을 설명하는 파형도.

도8은 이 발명의 제2실시예에 따른 영상의 다이나믹 레인지 확대 장치의 구성도.

도9는 상기 도8의 다이나믹 레인지 확대 장치를 적용한 카메라 시스템의 구성도이다.

종래의 휘도 빈도의 평활화 방법에 따르면, 휘도 변환 함수는 휘도 빈도 함수의 적분치에 의해 결정된다. 이때, 특정 레벨의 빈도가 클 경우, 그 지역에서 휘도 변환 함수의 기울기도 증가한다. 따라서, 휘도 변환 함수의 입력과 출력을 비교하면, 상기 기울기가 증가하는 영역에서는 상기 입력과 출력 사이의 변화율도 증가한다. 바로 이점 때문에 종래의 평활화 방법에서는 영상 신호의 휘도가 확대됨과 동시에 양자화 잡음도 증가하였다.

본 발명자는 바로 이러한 기술적 사정을 심도있게 연구하던 중, 위와 같이 특정 레벨의 빈도가 집중되어 있는 영역에서는 휘도 변환 함수의 기울기를 억제하는 것이 양자화 잡음을 억제하는 데 효과적이라는 결과를 도출하게 되었다.

이를 구체적으로 실현하기 위하여, 본 발명에서는 휘도 빈도 함수를 미분한 값에 소정 계수를 곱하고, 상기 휘도 빈도 함수를 적분한 값과 상기 곱셈의 결과를 가산하여 휘도 변환 함수가 결정된다. 즉, 상기 미분한 값에 의해 휘도 변환 함수의 급격한 기울기가 완만하게 조정될 수 있으며, 이 조정 정도는 상기 계수의 크기에 의해 제어된다. 따라서, 휘도 변환 함수의 급격한 기울기를 가지는 영역에서 나타나는 양자화 잡음의 증폭이 억제될 수 있다.

상기 설명된 본 발명의 원리에 따른 휘도 변환 함수를 수식으로 표현하면 아래와 같다.

f(i) = (L-1)·

상기와 같은 본 발명의 원리를 달성하기 위한 영상의 다이나믹 레인지 확대 장치는,

영상의 휘도 신호를 입력받아 휘도 빈도 함수를 생성하는 휘도 빈도 생성 수단;

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 적분하여 적분치를 생성하는 적분기;

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 미분하여 소정 계수를 가지는 미분치를 생성하는 미분수단;

상기 적분기의 출력과 상기 미분수단의 출력을 합산하는 가산기; 및

휘도 변환 함수를 룩업 테이블로서 저장하고 있으며, 상기 가산기의 출력에 따라 대응하는 휘도 변환 함수를 결정하며, 입력 영상의 휘도 신호를 상기 결정된 휘도 변환 함수에 따라 변환하여 변환된 휘도 신호를 출력하는 메모리를 포함한다.

상기 설명된 이 발명의 다이나믹 레인지 확대 장치에 따르면, 휘도 빈도 함수의 적분치 및 미분치가 합산되며, 상기 합산된 값에 의해 휘도 변환 함수가 결정된다.

따라서, 특정 휘도 레벨의 빈도가 집중되더라도 상기 미분치에 의해 휘도 변환 함수의 기울기가 완만하게 조정되므로, 양자화 잡음의 증폭이 억제될 수 있다. 또한, 휘도 빈도 함수의 적분치는 여전히 휘도 변환 함수의 결정에 관여하므로 영상의 다이나믹 레인지를 확대시키는 종전의 목적도 달성될 수 있다.

이하, 첨부된 도면을 참조하여 이 발명의 바람직한 실시예를 상세히 설명한다.

도6은 이 발명의 제1실시예에 따른 영상의 다이나믹 레인지 확대 장치의 구성도이고,

도7a-7d는 상기 도6에 도시된 장치에 적용되는 평활화법을 설명하는 파형도이고,

도8은 이 발명의 제2실시예에 따른 영상의 다이나믹 레인지 확대 장치의 구성도이고,

먼저, 도6 및 7a-7d를 참조하여 이 발명의 제1실시예에 따른 영상의 다이나믹 레인지 확대 장치를 설명한다.

도6에 도시되어 있듯이, 이 발명의 제1실시예에 따른 영상의 다이나믹 레인지 확대 장치는 히스토그램 발생기(41), 적분기(42), 미분기(43), 이득 제어기(44), 가산기(45) 및 메모리(46)로 구성된다.

보다 상세하게, 영상의 휘도 신호(y)는 히스토그램 발생기(41)와 메모리(46)에 동시에 입력되며, 히스토그램 발생기(41)의 출력은 적분기(42)와 미분기(43)에 동시에 입력된다. 미분기(43)의 출력은 이득 제어기(44)에 입력되며, 적분기(42)와 이득 제어기(44)의 출력은 가산기(45)에 입력된다. 가산기(45)의 출력은 메모리(46)에 입력되며, 메모리(46)에서는 변환된 휘도 신호(y')가 출력된다.

상기 히스토그램 발생기(41)는 영상의 휘도 신호(y)를 입력받아 휘도 빈도 함수 h(i)를 결정한다. 하나의 필드(field)에 상응하는 휘도 빈도 함수가 결정되면, 상기 적분기(42)와 미분기(43)에 출력된다. 도7a에서 점선으로 표시된 함수는, 도4a와 마찬가지로, 상기 히스토그램 발생기(41)에서 출력되는 한 필드의 휘도 빈도 함수이다. 적분기(42)에서는 상기 휘도 빈도 함수 h(i)가 휘도 레벨(i)의 변수로 적분되며, 그 적분된 결과는 도7b의 점선으로 표시된 함수와 같다. 미분기(43)에서는 상기 휘도 빈도 함수 h(i)가 휘도 레벨(i)의 변수로 미분되며, 그 미분된 결과는 도7a 및 도 7b의 실선으로 표시된 함수와 같다. 도7b에서 실선으로 도시된 두 개의 함수 중 아래의 것이 미분 결과이다. 이득 제어기(44)는 상기 미분기(43)에서 출력되는 미분 결과치에 이득()를 곱하기 위한 것이다. 상기 이득()의 값을 조정하는 것은 상기 도7a 및 7b에 도시된 미분 결과 파형의 크기 제어를 가능하게 한다. 상기 이득()의 값은 0.7 내지 1.5 사이의 값으로 정하는 것이 바람직하며, 상기 범위 내의 값이 선택될 경우에 본 발명의 효과가 극대화될 수 있다. 상기 적분기(42)의 출력과 이득 제어기(44)의 출력은 가산기(45)에 의해 합성되며, 상기 합성된 신호의 파형은 도7b에 실선으로 표시되어 있다. 종래의 평활화 방법에서는 도7b에서 점선으로 표시된 적분 결과에 의해 휘도 변환 함수가 결정되었지만, 본 발명에서는 상기 도7b의 실선으로 표시된 합성 결과에 의해 휘도 변환 함수가 결정된다. 상기 두 파형을 비교하면, 미분치와 적분치를 합성한 결과에 의해 결정되는 휘도 변환 함수가 다수의 휘도 빈도의 대역에서 보다 완만한 기울기를 가지는 것을 알 수 있다.

메모리(46)에는 휘도 변환 함수 f(i)가 룩업 테이블 형태로 저장되어 있으며, 상기 휘도 변환 함수 f(i)는 가산기(45)의 출력에 의해 결정된다. 또한, 상기 메모리(46)는 상기 결정된 휘도 변환 함수에 의해 입력 영상의 휘도 신호를 변환하며, 그 결과 얻어지는 신호를 변환된 휘도 신호(y')로써 외부에 출력한다. 이때, 상기 휘도 변환 함수는 매 필드 또는 프레임마다 갱신되며, 상기 갱신된 휘도 변환 함수를 저장하기 위하여, L 개의 어드레스를 가지는 라인 메모리가 상기 메모리(23) 내부에 포함되어 있다.

도7c에는 상기 메모리(46)에서 출력되는 변환된 휘도 신호(y')의 휘도 분포 h'(i)가 도시되어 있으며, 상기 도7c로부터 영상의 전체적인 다이나믹 레인지는 확대된 상태이면서 양자화 잡음은 억제되어 있음을 알 수 있다. 도7d는 상기 도7c에 도시된 파형에 대하여 저주파수 대역 필터링을 수행한 결과를 도시한 파형이다.

특히, 일반적인 영상의 확률적 분포는 가우시안(Gaussian) 형태의 분포를 가지기 때문에, 상기 도7c에 도시된 휘도 신호는 인간의 시각 특성에도 잘 부합한다.

한편, 휘도 빈도 함수의 미분치를 얻기 위하여, 본 발명의 제1실시예에서는 히스토그램 발생기(41)의 출력을 미분하는 과정이 적용되었으나, 다른 변형이 가능하다. 예를 들어, 적분기(42)의 출력을 2차 미분할 경우, 휘도 빈도 함수의 미분치가 얻어질 수 있다. 이 때의 미분기는 2차 미분을 처리할 수 있어야 함은 당연하다.

또한, 상기 메모리(46)의 저장 공간을 절약하기 위하여, 상기 메모리(46)가 소정 간격 떨어져 있는 특정 휘도 레벨에 대한 휘도 변환 함수만을 저장하도록 할 수 있다. 이 경우, 나머지 휘도 레벨에 대한 휘도 변환 함수는 선형 보간법(linear interpolation)을 이용하여 결정된다.

다음으로, 첨부된 도8 및 9를 참조하여 이 발명의 제2실시예에 따른 영상의 다이나믹 레인지 확대 장치를 설명한다.

이 발명의 제2실시예에 도시된 다이나믹 레인지 확대 장치는 휘도 신호 뿐만 아니라 색상 정보의 다이나믹 레인지를 확대하기 위한 것이다. 이러한 기능은 실제의 카메라에서 다이나믹 레인지 확대를 구현할 때 요구된다.

이때, 색차 신호(c)를 직접 제어하는 것은 색상의 밸런스가 유실하는 결과를 초래하므로, 이 발명의 제2실시예는 변환된 휘도신호(y')를 이용하여 간접적으로 색차 신호(c)의 변환을 제어한다.

보다 상세하게, 이 발명의 제2실시예에서는 휘도 신호(y)와 색차 신호(c)로부터 색신호(B, R)를 재합성한 후, 상기 색신호를 휘도 신호(y)와 변환된 휘도 신호(y')의 비율을 이용하여 변환하고, 이렇게 하여 얻어진 변환된 색신호(R', B')와 변환된 휘도 신호(y')를 이용하여 변환된 색차 신호(c')를 얻는다.

휘도 신호(y)와 색차 신호(c : Cr, Cb)를 수식을 이용하여 표현하면 아래와 같다.

y = 0.3R + 0.6G + 0.1B

Cr = R - y

Cb = B - y

y' = f(y)라고 가정할 때, 색신호(R, G, B)의 성분이 그 좌표 위치에서 휘도 변환 비율로 변화되어야만 색상의 밸런스가 유실되지 않는다. 이를 달성하기 위하여, 색차 신호(Cr, Cb)에 휘도 신호를 합산하여 색신호(R, B)를 얻고 휘도 변환 비율(y'/y)과 동일한 비율로 상기 색신호(R, B)를 변환한다. 이를 수식으로 표현하면 아래와 같다.

R' =·(Cr + y)

B' =·(Cb + y)

= y'/y

이 상태에서 상기 변환된 색신호(R', B')로부터 변환된 휘도 신호(y')를 감산하면 변환된 색차 신호(Cr', Cb')가 얻어진다. 이때, 색신호 중 G' 신호는 다음 단의 비디오 엔코더에서 변환된 휘도 신호(y')와 변환된 색신호(R', B')를 이용하여 합성된다.

다음으로, 상술한 이 발명의 제2실시예에 따른 원리를 도8을 참조하여 설명한다.

상기 도8에 도시되어 있듯이, 이 발명의 제2실시예에 따른 영상의 다이나믹 레인지 확대 장치는, 히스토그램 발생기(41), 적분기(42), 미분기(43), 이득 제어기(44), 가산기(45), 메모리(46), 가산기(51), 제산기(52), 이득 제어기(53) 및 감산기(54)로 구성된다.

상기 제2실시예에 따른 영상의 다이나믹 레인지 확대 장치에서 상기 제1실시예의 장치와 동일한 구성요소에 대해서는 동일한 도면 부호가 사용되었다. 즉, 제2실시예의 장치에서 제1실시예의 장치와 동일한 구성요소는 그 구조 및 기능도 동일한 것으로 가정한다. 이에 따라, 동일한 구성 요소에 관한 더 이상의 설명은 생략한다.

상기 제1실시예와 중복되는 것을 제외한 다른 구성 요소 간의 연결관계를 살펴보면, 휘도 신호(y)와 색차 신호(c)는 가산기(51)에 입력된다. 휘도 신호(y)와 변환된 휘도 신호(y')는 제산기(52)에 입력된다. 상기 가산기(51)의 출력(R, B)과 상기 제산기(52)의 출력(y'/y)은 이득 제어기(53)에 입력되며, 상기 이득 제어기(53)의 출력(R', B')은 감산기(54)에 출력된다. 상기 감산기(54)에서는 변환된 색차 신호(c')가 출력된다.

색차 신호(c)에는 신호 Cr과 Cb가 혼합되어 있으며, 상기 가산기(51)에서는 상기 색차 신호(Cr, Cb) 각각과 휘도 신호(y)가 가산된다. 그 결과, 색신호(R, B)가 얻어진다. 제산기(52)는 변환된 휘도 신호(y')를 휘도 신호(y)로 나누는 연산을 수행하며, 연산 수행의 결과인 휘도 변환 비율을 상기 이득 제어기(53)에 출력한다.

이득 제어기(53)는 상기 가산기(51)에서 출력되는 색신호(R, B)에 상기 제산기(52)로부터 출력되는 휘도 변환 비율(y'/y)을 곱하는 연산을 수행한다. 상기 곱셈 연산에 의해 이득 제어기(53)에서는 변환된 색신호(R', B')가 얻어진다. 감산기(54)는 상기 변환된 색신호(R', B')로부터 상기 변환된 휘도 신호(y')를 빼는 연산을 수행하며, 그 연산의 결과 얻어지는 신호는 변환된 색차 신호(c')가 된다.

이상과 같이 설명된 이 발명의 제2실시예에 따른 영상의 다이나믹 레인지 확대 장치를 적용한 카메라가 도9에 도시되어 있다.

도9에 도시되어 있듯이, 이 발명의 제2실시예에 따른 다이나믹 레인지 확대 장치를 이용한 카메라는, 고체촬상소자(CCD : Charge Coupled Device)(61), 아날로그/디지탈 변환기(62), 비디오 디코더(63), 다이나믹 레인지 확대 장치(64), 비디오 엔코더(65) 및 디지탈/아날로그 변환기(66)로 구성된다.

상기한 구성에서 다이나믹 레인지 확대 장치는 도8에 도시된 이 발명의 제2실시예에 따른 다이나믹 레인지 확대 장치와 동일하다.

먼저, 물체에 의해 반사된 입사광(IN)은 렌즈(도시하지 않음)를 거친 후 상기 고체촬상소자(61)에 입력되며, 상기 고체촬상소자(61)에서는 입력된 광이 전기적인 신호로 변환되어 아날로그 영상신호가 얻어진다. 상기 고체촬상소자(61)에서 출력되는 아날로그 영상신호는 상기 아날로그/디지탈 변환기(62)에 의해 디지탈 영상신호로 변환된다. 상기 비디오 디코더(63)는 상기 디지탈 영상신호를 입력받아 비디오 신호의 규격에 맞도록 변환하며, 이 과정에서 휘도신호(y)와 색차신호(c)가 얻어진다. 상기 휘도신호(y)와 색차신호(c)는 상기 다이나믹 레인지 확대 장치(64)에 입력되며, 상기 다이나믹 레인지 확대 장치(64)에서는 이미 설명된 변환 동작에 의해 확대된 다이나믹 레인지를 가지는 휘도신호(y')와 색차신호(c')가 얻어진다. 비디오 엔코더(65)는 상기 휘도신호(y')와 색차신호(c')를 입력받아 영상의 저장 또는 표시가 가능한 규격을 가지는 비디오 포맷으로 변환한다. 상기 비디오 엔코더(65)의 출력은 디지탈/아날로그 변환기(66)에 의해 아날로그 영상신호로 변환되며, 상기 변환기(66)의 출력신호(OUT)는 적절한 주변장치에 제공된다.

이상과 같이 설명된 바와 같이, 이 발명에 따른 영상의 다이나믹 레인지 확대 장치는 휘도 빈도 함수의 적분치와 미분치를 합성하여 휘도 변환 함수를 결정함으로써 다이나믹 레인지의 확대 뿐만 아니라 양자화 잡음의 감소를 가능하게 한다.

또한, 이 발명에 따른 영상의 다이나믹 레인지 확대 장치는 휘도 변환 비율을 이용하여 색상의 밸런스 손실 없이 색차신호를 변환할 수 있다.

따라서, 이 발명에 따른 영상의 다이나믹 레인지 확대 장치는 종래의 평활화 방법과 달리 다이나믹 레인지와 양자화 잡음 간의 트레이드 오프를 필요로 하지 않으며, 광대역의 다이나믹 레인지를 구현할 수 있다.

Claims

영상의 휘도 신호를 입력받아 휘도 빈도 함수를 생성하는 휘도 빈도 생성 수단;

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 적분하여 적분치를 생성하는 적분기;

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 미분하여 소정 계수를 가지는 미분치를 생성하는 미분수단;

상기 적분기의 출력과 상기 미분수단의 출력을 합산하는 제1가산기; 및

휘도 변환 함수를 룩업 테이블로서 저장하고 있으며, 상기 제1가산기의 출력에 따라 대응하는 휘도 변환 함수를 결정하며, 입력 영상의 휘도 신호를 상기 결정된 휘도 변환 함수에 따라 변환하여 변환된 휘도 신호를 출력하는 메모리를 포함하는,

영상의 다이나믹 레인지 확대 장치.
제1항에 있어서,

상기한 미분수단의 출력은 상기 적분기의 출력을 2차 미분한 결과와 동일한,

영상의 다이나믹 레인지 확대 장치.
제1항에 있어서,

상기한 메모리는 소정 간격을 두고서 떨어져 있는 특정 휘도 레벨에 대한 휘도 변환 함수만을 저장하고 있는,

영상의 다이나믹 레인지 확대 장치.
제1항에 있어서,

상기한 미분수단은

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 미분하기 위한 미분기; 및

상기 미분기의 출력에 소정 계수를 곱하기 위한 연산을 수행하여 미분치를 생성하는 이득 제어기로 구성되는,

영상의 다이나믹 레인지 확대 장치.
제4항에 있어서,

상기한 계수는 0.7 내지 1.5 사이의 값 중 선택되는,

영상의 다이나믹 레인지 확대 장치.
제1항에 있어서,

색차 신호와 휘도 신호를 합산하여 색신호를 생성하는 제2가산기;

상기 메모리에서 출력되는 변환된 휘도 신호를 상기 휘도 신호로 나누는 연산을 수행하여 휘도 변환 비율을 생성하는 제산기;

상기 제2가산기에서 출력되는 색신호에 상기 제산기에서 출력되는 휘도 변환 비율을 곱하는 연산을 수행하여 변환된 색신호를 생성하는 이득 제어기; 및

상기 이득 제어기에서 출력되는 변환된 색신호로부터 상기 메모리에서 출력되는 변환된 휘도 신호를 빼는 연산을 수행하여 변환된 색차 신호를 생성하는 감산기를 더 포함하는,

영상의 다이나믹 레인지 확대 장치.
제6항에 있어서,

상기한 미분수단의 출력은 상기 적분기의 출력을 2차 미분한 결과와 동일한,

영상의 다이나믹 레인지 확대 장치.
제6항에 있어서,

상기한 메모리는 소정 간격을 두고서 떨어져 있는 특정 휘도 레벨에 대한 휘도 변환 함수만을 저장하고 있는,

영상의 다이나믹 레인지 확대 장치.
제6항에 있어서,

상기한 미분수단은

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 미분하기 위한 미분기; 및

상기 미분기의 출력에 소정 계수를 곱하기 위한 연산을 수행하여 미분치를 생성하는 이득 제어기로 구성되는,

영상의 다이나믹 레인지 확대 장치.
제9항에 있어서,

상기한 계수는 0.7 내지 1.5 사이의 값 중 선택되는,

영상의 다이나믹 레인지 확대 장치.
디지탈 영상신호를 비디오 신호의 규격에 적합하도록 변환하며, 휘도신호와 색차신호를 분리하는 비디오 디코더;

상기 휘도 신호를 입력받아 휘도 빈도 함수를 생성하는 휘도 빈도 생성 수단;

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 적분하여 적분치를 생성하는 적분기;

상기 휘도 빈도 생성 수단에서 출력되는 휘도 빈도 함수를 미분하여 소정 계수를 가지는 미분치를 생성하는 미분수단;

상기 적분기의 출력과 상기 미분수단의 출력을 합산하는 제1가산기; 휘도 변환 함수를 룩업 테이블로서 저장하고 있으며, 상기 제1가산기의 출력에 따라 대응하는 휘도 변환 함수를 결정하며, 입력 영상의 휘도 신호를 상기 결정된 휘도 변환 함수에 따라 변환하여 변환된 휘도 신호를 출력하는 메모리;

상기 색차 신호와 휘도 신호를 합산하여 색신호를 생성하는 제2가산기;

상기 메모리에서 출력되는 변환된 휘도 신호를 상기 휘도 신호로 나누는 연산을 수행하여 휘도 변환 비율을 생성하는 제산기;

상기 제2가산기에서 출력되는 색신호에 상기 제산기에서 출력되는 휘도 변환 비율을 곱하는 연산을 수행하여 변환된 색신호를 생성하는 이득 제어기; 및

상기 이득 제어기에서 출력되는 변환된 색신호로부터 상기 메모리에서 출력되는 변환된 휘도 신호를 빼는 연산을 수행하여 변환된 색차 신호를 생성하는 감산기로 구성된 다이나믹 레인지 확대 장치; 및

상기 다이나믹 레인지 확대 장치에서 출력되는 변환된 휘도신호와 색차신호를 입력받아 영상의 저장 또는 표시가 가능한 규격을 가지는 비디오 포맷으로 변환하기 위한 비디오 엔코더를 포함하는,

광대역 다이나믹 레인지 카메라.
제11항에 있어서,

물체의 광신호를 전기적인 신호로 변환하는 고체촬상소자; 및

상기 고체촬상소자의 출력신호를 디지탈 신호로 변환하여 디지탈 영상신호를 생성하는 아날로그/디지탈 변환기를 더 포함하는,

광대역 다이나믹 레인지 카메라.