KR20010027675A - 영상의 역광 보정장치 - Google Patents

Abstract

영상의 역광 보정장치를 공개한다. 본 발명에 따른 역광 보정장치는 N x N 윈도우를 이용하여, 입력되는 휘도신호의 각 화소의 휘도레벨이 저휘도 레벨인가 고휘도 레벨인가를 판단하고, 판단 결과를 식별데이타로서 출력하는 역광영역 분리수단, 역광영역 분리수단의 출력인 식별데이타를 필드 단위로 저장한 후에, 저장된 데이터를 저휘도/고휘도 선택신호로서 출력하는 제1필드 메모리, 식별데이타를 선택신호로서 이용하여 휘도신호를 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력하는 디멀티플렉서, 저휘도 및 고휘도 영역 각각의 데이타를 각각 히스토그램 등화하는 제1 및 제2 히스토그램 등화수단, 휘도신호를 필드단위로 저장하는 제2필드 메모리, 제1 및 제2 히스토그램 등화수단의 출력을 각각 저장하고, 제2필드 메모리에 저장된 데이터를 어드레스로 하여 각각 독출하는 제1 및 제2 룩업 테이블 및 제1 및 제2 룩업 테이블의 출력을 저휘도/고휘도 선택신호에 응답하여 선택하고, 선택된 결과를 역광 보정된 휘도신호로서 출력하는 멀티플렉서를 구비하는 것을 특징으로 하고, 역광조건에서 촬상된 영상의 휘도신호를 고휘도 영역과 저휘도 영역으로 분리하여 역광 보정함으로써, 역광조건에서 피할 수 없는 경계조건등과 같이 빈도수가 적은 휘도레벨 영역에 대해서도 콘트라스트를 향상시키며, 전체적으로 콘트라스트를 극대화시키는 효과가 있다

Description

영상의 역광 보정장치{Apparatus for compensating backlight of video}

본 발명은 역광조건에서 촬상된 영상의 역광 보정에 관한 것으로서, 특히, 히스토그램 등화 및 룩업 테이블을 이용한 영상의 역광 보정장치에 관한 것이다.

일반적으로, 영상 촬상 장치등에 의해 촬상된 영상에는 피사체에 해당하는 대상물의 여러가지 정보를 가지고 있지만, 대상물, 촬영 기기의 성능 혹은 촬영 조건등에 의해 그 영상 신호에 해당하는 휘도신호 및 색신호의 성분이 편중되거나 왜곡되는 경우가 빈번하게 발생한다. 특히, 역광조건에서 촬상된 영상의 경우에는 피사체의 광원 노출 정도가 양극화되어 대상물의 특징을 정확하게 표현할 수 없게 된다. 이에 따라, 영상 신호처리의 전처리 단계로서 역광 보정이 수행된다.

이하, 종래의 영상의 역광 보정방법 혹은 다이나믹 레인지(dynamic range) 확대방법에 대해 첨부한 도면을 참조하여 다음과 같이 설명한다.

한 가지 대표적인 방법으로서, 자동 이득 조정방법(AGC:Auto Gain Control)이 있다. 이 방법은 영상신호로부터 저주파 혹은 직류 성분을 축소시켜서 화소당 비트수가 제한된 시스템에서 처리가 가능하게 하는 방법이다. 그러나, 이러한 방법은 다이나믹 레인지를 축소하는 과정에서 세밀한 콘트라스트(contrast) 정보를 손실하게 되고, 처리가 프레임당으로 이루어 지기 때문에 공간적으로 적응적인 처리가 불가능한 단점이 있다.

다른 방법으로서 호모모픽 필터링법(Homomorphic filtering)에 의한 콘트라스트 증가 방식도 제안되어 있다. 이 방법은 트랜스폼 동작(tranform operation)에 의한 영상 강조로 분류될 수 있는데, 영상을 로그 함수에 의하여 조도(illumination)와 반사율(reflectance) 성분으로 분리한 후에, 고주파 통과 필터에 의한 반사율 성분을 선택적으로 증폭하는 방식이다.

또한, 보다 능동적이고 효과적으로 콘트라스트를 개선하는 방식으로 히스토그램 등화법(Histogram Equalization)이 널리 알려져 있다. 이 방법은 포인트 동작(point operation)에 의한 영상 강조로서 분류되는데, 휘도신호에서 특정 영역에 집중된 휘도 대역의 콘트라스트를 증가, 즉 다이나믹 레인지를 확대하는 것이다.

도 1는 히스토그램 등화법을 이용한 종래의 다이나믹 레인지 확대 시스템의 개략적인 블럭도로서, 히스토그램 발생기(202), 적분기(204) 및 룩업 테이블(206)로 구성된다.

그러나, 이러한 히스토그램 등화법은 다수의 분포를 가지는 휘도 대역의 콘트라스트의 극대화가 심화되면 양자화 잡음도 또한 증폭되고, 또한 적은 빈도를 가지는 영상에 대해서 콘트라스트가 상대적으로 저하된다. 이를 개선하기 위해 히스토그램 등화의 영향을 전체적으로 줄이면서 콘트라스트를 적당히 개선하는 방식인 히스토그램 변형법(Histogram Modification)이 또한 제안되어 있지만, 복잡한 회로 뿐만 아니라, 콘트라스트와 잡음을 함께 개선할 수는 없다.

끝으로, 휘도 레벨의 다이나믹 레인지의 개선을 칼라 영상에 도입하기 위한 방법들이 제안되어 있다. 이들 방법의 대부분은 R,G,B신호의 다이나믹 레인지를 확대/축소하는 방식으로서, 색성분을 독립적으로 개선하는 법 혹은 휘도신호를 추출한 후에 휘도의 다이나믹 레인지의 확대/축소 정보를 이용하여 일률적으로 제어하는 방법등이 제안되어 있다. 이중에서 다수의 영상의 입력으로부터 R,G,B신호를 휘도 성분을 이용하여 일률적으로 제안한 방식은 복수의 입력 영상, 색상 신호의 개별적 다단 제어등에 의한 복잡한 회로의 단점이 있다.

이상 살펴본 종래의 역광 보정 혹은 다이나믹 레이지 확대방법에서, 특히, 히스토그램 등화법은 영상의 콘트라스트가 개선되어 영상의 해석 및 특징추출등이 용이하다.

그러나, 전술한 바와 같이 히스토그램 등화법은 다수의 휘도 분포를 가지는 휘도 레벨의 감도를 극대화하는 방법이므로, 첫번째로 신호성분에 포함된 부가 잡음이나 양자화 잡음등이 함께 증폭될 수 있으며, 두번째로 적은 빈도를 가지는 휘도 대역에서는 콘트라스트가 저하되는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 빈도수가 큰 휘도 영역뿐만 아니라 빈도수가 적은 휘도 영역에 대해서도 콘트라스트를 증가시키는 영상신호의 역광 보정장치를 제공하는데 있다.

도 1는 히스토그램 등화법을 이용한 종래의 다이나믹 레인지 확대 시스템의 개략적인 블럭도이다.

도 2(a)~(c)는 본 발명의 역광 보정 원리를 개념적으로 설명하기 위한 도면들이다.

도 3은 본 발명에 의한 바람직한 일실시예의 역광 보정장치의 블럭도이다.

도 4(a)~(f)는 도 3에 도시된 장치에서 역광보정 과정을 나타내는 타이밍도이다.

상기 과제를 이루기 위해, 본 발명에 따른 역광 보정장치는 N x N 윈도우를 이용하여, 입력되는 휘도신호의 각 화소의 휘도레벨이 저휘도 레벨인가 고휘도 레벨인가를 판단하고, 판단 결과를 식별데이타로서 출력하는 역광영역 분리수단, 역광영역 분리수단의 출력인 식별데이타를 필드 단위로 저장한 후에, 저장된 데이터를 저휘도/고휘도 선택신호로서 출력하는 제1필드 메모리, 식별데이타를 선택신호로서 이용하여 휘도신호를 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력하는 디멀티플렉서, 저휘도 및 고휘도 영역 각각의 데이타를 각각 히스토그램 등화하는 제1 및 제2 히스토그램 등화수단, 휘도신호를 필드단위로 저장하는 제2필드 메모리, 제1 및 제2 히스토그램 등화수단의 출력을 각각 저장하고, 제2필드 메모리에 저장된 데이터를 어드레스로 하여 각각 독출하는 제1 및 제2 룩업 테이블 및 제1 및 제2 룩업 테이블의 출력을 저휘도/고휘도 선택신호에 응답하여 선택하고, 선택된 결과를 역광 보정된 휘도신호로서 출력하는 멀티플렉서를 구비하는 것이 바람직하다.

이하, 본 발명에 의한 바람직한 일 실시예의 영상의 역광 보정장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.

먼저, 본 발명의 이해를 돕기 위해서 본 발명의 역광 보정 원리를 알아본다.

도 2(a)~(c)는 본 발명의 역광 보정 원리를 개념적으로 설명하기 위한 도면들로서, 도 2(a)는 역광조건에서 촬상된 영상을 1필드 단위로 나타내며, 도 2(b)는 영상을 고휘도 영역의 데이타와 저휘도 영역의 데이타로 분리한 결과를 나타내며, 도 2(c)는 역광 보정된 영상을 나타낸다.

도 2(a)를 참조하면, 302는 역광조건에 의해 고휘도의 영상 데이타가 생성되는 밝은 부분의 영역을 나타내며, 304는 역광조건에 의해 피사체의 형태가 저휘도 레벨로 치우친 어두운 부분의 영역을 나타낸다. 즉, 역광조건에서 촬상된 영상은 피사체의 광원 노출 정도가 양극화되므로, 피사체의 형태를 정확하게 표현하지 못한다.

본 발명에 의한 역광 보정방법은 이러한 역광조건에서의 영상을 히스토그램 등화하기 전에, 도 2(b)와 같이 역광조건에서 촬상시의 역광 영역대로 휘도신호를 분리한다. 도 2(b)에서, 312는 고휘도 영역의 데이타를, 314는 저휘도 영역의 데이타를 각각 나타낸다. 예컨대, 저역통과 필터등에 의해서 고휘도 영역 또는 저휘도 영역에 존재하는 패턴이나 잡음등을 평준화시킨 후에 일정한 임계값을 이용하면, 고휘도 영역의 데이타와 저휘도 영역의 데이타로 분리할 수 있게 된다.

도 2(b)와 같이 분리된 각각의 데이타를 히스토그램 등화하고, 룩업 테이블을 이용하여 저장함으로써 결국 고휘도 영역의 데이타 및 저휘도 영역의 데이타 각각에 대해 다이나믹 레인지를 확장하여 안정된 역광 보정을 수행한다. 도 2(c)는 이러한 과정을 거친 역광 보정된 영상을 나타내는 도면으로서, 322는 고휘도 영역의 역광 보정된 데이타를, 324는 저휘도 영역의 역광 보정된 데이타를 각각 나타낸다.

도 3은 본 발명에 의한 바람직한 일실시예의 역광 보정장치의 블럭도로서, 역광영역 분리부(504), 제1, 제2 및 제3지연 조정부(506,522,524), 제1 및 제2메모리(508,502), 디멀티플렉서(510), 제1 및 제2 히스토그램 등화부(512,514), 제1 및 제2 룩업 테이블(LUT:Look Up Table)(516,518) 및 멀티플렉서(520)로 구성된다.

도 4(a)~(f)는 도 3에 도시된 장치에서 역광보정 과정을 나타내는 타이밍도이다. 도 4(a)는 필드 신호를 나타내고, 도 4(b)는 블랭킹 구간(T1)과 액티브 구간(T2)으로 구성된 영상신호를 나타내고, 도 4(c)는 각 필드의 휘도신호를 나타내고, 도 4(d)는 역광영역 분리부(504)의 출력을 나타내고, 도 4(e)는 제1 및 제2룩업 테이블(516,518)에 역광 보정된 데이터를 기입하기 위한 기입 인에이블신호(WEN)를 나타내고, 도 4(g)는 제1 및 제2룩업 테이블(516,518)에 기록된 역광 보정된 데이터를 각각 나타낸다.

도 3 및 도 4를 참조하면, 역광영역 분리부(504)는 입력단자 IN으로부터 도 4(c)에 도시된 휘도신호를 받아들이고, 역광조건에서 촬상시의 역광 영역대로 휘도레벨을 분리한다. 구체적으로, 고휘도 영역과 저휘도 영역중 어느 영역인가 역광조건을 검출하여 휘도레벨을 분리하기 위한 역광영역 분리부(504)는 N x N의 윈도우를 이용하여 각 화소의 휘도레벨이 고휘도 레벨인가 저휘도 레벨인가를 판단하고, 판단 결과를 1비트의 식별데이타로서 출력한다.

예컨대, 3 x 3 윈도우를 적용하여 다이나믹 레인지의 절반에 해당하는 레벨보다 큰 휘도레벨을 역광조건에서의 고휘도 레벨로 판단하여 '1'을 출력하고, 그 이하의 휘도레벨을 역광조건에서의 저휘도 레벨로 판단하여 '0'을 출력한다. 여기서, '1' 또는 '0'은 식별 데이타로서 즉, 각 화소의 데이타가 역광조건에서의 고휘도 영역의 데이타인가 또는 저휘도 영역의 데이타인가를 판단가능하게 한다.

역광영역 분리부(504)에서 출력되는 식별데이타는 순차적으로 제1메모리(508)에 저장될 뿐만 아니라, 디멀티플렉서(510)의 선택신호(S1)로서 이용된다.

또한, 지연 조정부(506)는 입력단자 IN을 통해 휘도신호를 입력하여 도 4(d)에 도시된 바와 같이, 역광영역 분리부(504)에서 소요되는 지연시간(D1)만큼 휘도신호를 그룹 지연시킨다. 이에 따라, 디멀티플렉서(510)로 입력되는 휘도신호는 역광영역 분리부(504)에서 출력되는 자신의 식별데이타와 타이밍이 맞추어진다.

디멀티플렉서(510)는 도 4(d)에 도시된 바와 같이, 그룹 지연된 휘도신호를 입력하고, 선택신호(S1)에 응답하여 저휘도 영역의 데이타와 고휘도 영역의 데이타를 분리하여 출력한다. 즉, 식별데이타에 응답하여 휘도신호중 저휘도 영역의 데이타는 제1히스토그램 등화부(512)로 출력되고, 휘도신호중 고휘도 영역의 데이타는 제2히스토그램 등화부(514)로 출력된다.

제1히스토그램 등화부(512)는 저휘도 영역의 데이타만을 입력하여 저휘도 영역에서 각 화소의 휘도레벨을 검출하고, 검출된 휘도레벨들 각각의 빈도수를 계산하여 누적한 후에, 누적된 결과들을 이용하여 히스토그램 등화한다. 이와 같이, 히스토그램 등화된 결과는 도 4(e)에 도시된 바와 같이, 1필드 단위로 처리되는 영상의 한 필드와 다음 필드 사이의 일정한 블랭크(blank) 영역에서 인에이블되는 기입 인에이블신호(WEN)에 응답하여 제1룩업 테이블(516)에 저장된다.

한편, 제2히스토그램 등화부(514)는 고휘도 영역의 데이타만을 입력하여 고휘도 영역에서 각 화소의 휘도레벨을 검출하고, 검출된 휘도레벨들 각각의 빈도수를 계산하여 누적한 후에, 누적된 결과들을 이용하여 히스토그램 등화한다. 마찬가지로, 히스토그램 등화된 결과는 일정한 블랭크 영역에서 인에이블되는 기입 인에이블신호(WEN)에 응답하여 제2룩업 테이블(518)에 저장된다.

이 때, 제1 및 제2히스토그램 등화부(512,514)는 1필드단위로 히스토그램 등화 처리를 수행한다. 따라서, 제1 및 제2히스토그램 등화부(512,514)에 의해 1필드 지연되게 된다.

제1룩업 테이블(516)은 저휘도 영역의 히스토그램 등화로 생성된 역광 보정된 데이타를 기입하고, 제2룩업 테이블(518)은 고휘도 영역의 히스토그램 등화로 생성된 역광 보정된 데이타를 기입한다. 이 때, 제1 및 제2히스토그램 등화부(512,514)는 현재 입력되는 필드의 히스토그램 등화처리를 수행하며, 도 4(g)에 도시된 바와같이 제1 및 제2룩업 테이블(516,518)에는 이전필드의 역광 보정된 데이타를 저장하고 있다.

제2메모리(502)는 입력단자 IN으로 입력되는 휘도신호를 1필드 단위로 저장하는 필드 메모리로서 구성된다. 제2메모리(502)에 의해 입력단자 IN으로 입력되는 휘도시호를 1필드 지연하므로, 제1 및 제2룩업 테이블(516,518)에 저장된 역광 보정된 데이터와 타이밍이 맞게 된다. 제1 및 제2 룩업 테이블(516,518)은 저장된 데이타들을 모두 제2메모리(502)로부터 출력되는 1필드 지연된 휘도신호를 어드레스로 하여 출력한다.

제2 및 제3지연 조정부(522,524)는 제1 및 제2룩업 테이블(516,518)에서 각각 독출되는 데이터를 제1메모리(508)로부터 출력되는 선택신호(S2)와 타이밍을 맞추기 위해 소정시간(D1)만큼 지연시켜 출력한다. 멀티플렉서(520)는 제1 및 제2지연 조정부(522,524)에서 출력된 결과들을 전술한 선택신호(S2)에 응답하여 선택함으로써, 결국 저휘도 및 고휘도 영역에 대한 역광 보정된 휘도신호를 조합하여 출력단자 OUT를 통해 역광 보정된 휘도신호로서 출력한다.

전술한 바에 의하면, 입력단자 IN을 통해 입력된 휘도신호의 각 화소의 휘도레벨에 대해 역광영역 분리부(504)에서 부여된 1비트의 역광조건에 해당하는 식별데이타는 순차적으로 제1메모리(508)에 저장된다. 제1메모리(508)는 이러한 1비트의 식별데이타를 1필드 단위로 저장하는 필드 메모리로서 구성되며, 저장된 식별데이타들은 이후에 제1 및 제2 룩업 테이블(516,518)의 출력을 선택하기 위한 저휘도/고휘도 선택신호(S2)로서 이용된다.

여기서, 실질적으로 현재 출력되는 역광 보정된 휘도신호는 입력단자 IN을 통해 현재 입력된 1필드의 휘도신호를 역광 보정한 신호는 아니다. 즉, 도 3에 도시된 바에 의하면, 역광 보정장치는 제2메모리(502)로부터 출력되는 1필드 지연된 휘도신호를 어드레스로서 이용하여, 제1 및 제2 룩업 테이블(516,518)에 미리 저장된 이전의 1필드의 휘도신호에 대한 역광 보정된 데이타들이 독출되도록 구성되어 있다. 또한, 이때 제1메모리(508)로부터 출력되는 저휘도/고휘도 선택신호(S2)도 이전에 입력된 1필드의 휘도신호에 대한 정보이다.

이 때, 인접한 필드들간에는 상당히 유사성을 가지므로, 제2메모리(502)를 사용하지 않고 입력단자 IN으로 입력되는 현재 1필드의 휘도신호를 제1 및 제2룩업 테이블(516,518)의 어드레스로서 이용할 수도 있다. 그러나, 이러한 방법은 제1 및 제2룩업 테이블(516,518)에 작성되는 정보가 실제 처리하고자 하는 필드보다 이전 필드이기 때문에 정보의 손실을 가져올 수 있다. 특히, 동영상의 경우에는 필드간 움직임과 카메라 촬상시의 떨림등에 의해 영상이 이동하게 되어 현재 필드와 이전 필드간의 역광 영역의 차이가 클 수 있다. 이처럼 동영상에서 영상의 역광을 보다 효과적으로 보정하기 위해 제2메모리(502)를 이용하여 제1 및 제2룩업 테이블(516,518)에 저장된 역광 보정된 데이터와 타이밍을 맞출 필요가 있다.

또한, 제1메모리(508)를 이용하지 않고, 현재 1필드의 휘도신호에 대해 역광영역 분리부(504)의 출력이 제1 및 제2 룩업 테이블(512,514)의 출력을 직접 선택하도록 구성할 수도 있다. 그러나, 이러한 방법 역시 제1 및 제2 룩업 테이블(516,518)에 작성되는 정보가 실제 처리하고자 하는 필드보다 이전 필드이기 때문에 정보의 손실을 가져올 수도 있다.

또한, 제2 및 제3지연 조정부(522,524)를 이용하지 않고, 소정의 지연시간(D1)만큼 선행어드레스를 발생하도록 하여 제1 및 제2룩업 테이블(516,518)에서 독출되는 데이터와 제1메모리(508)에서 출력되는 선택신호(S2)의 타이밍을 맞출 수도 있다.

이상에서 설명한 바와 같이, 본 발명에 의한 영상신호의 역광 보정장치는 역광조건에서 촬상된 영상의 휘도신호를 고휘도 영역과 저휘도 영역으로 분리하여 별개의 히스토그램 등화부 및 룩업 테이블을 이용하여 역광 보정함으로써, 역광조건에서 피할 수 없는 경계조건등과 같이 빈도수가 적은 휘도레벨 영역에 대해서도 콘트라스트를 향상시키며, 전체적으로 콘트라스트를 극대화시키는 효과가 있다.

Claims (3)

1. 역광조건에서 촬상된 영상의 역광 보정장치에 있어서,

   N x N 윈도우를 이용하여, 입력되는 휘도신호의 각 화소의 휘도레벨이 저휘도 레벨인가 고휘도 레벨인가를 판단하고, 판단 결과를 식별데이타로서 출력하는 역광영역 분리수단;

   상기 역광영역 분리수단의 출력인 상기 식별데이타를 필드 단위로 저장한 후에, 저장된 데이터를 저휘도/고휘도 선택신호로서 출력하는 제1필드 메모리;

   상기 식별데이타를 선택신호로서 이용하여 상기 휘도신호를 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력하는 디멀티플렉서;

   상기 저휘도 및 상기 고휘도 영역 각각의 데이타를 각각 히스토그램 등화하는 제1 및 제2 히스토그램 등화수단;

   상기 휘도신호를 필드단위로 저장하는 제2필드 메모리;

   상기 제1 및 제2 히스토그램 등화수단의 출력을 각각 저장하고, 상기 제2필드 메모리에 저장된 데이터를 어드레스로 하여 각각 독출하는 상기 제1 및 제2 룩업 테이블; 및

   상기 제1 및 상기 제2 룩업 테이블의 출력을 상기 저휘도/고휘도 선택신호에 응답하여 선택하고, 선택된 결과를 역광 보정된 휘도신호로서 출력하는 멀티플렉서를 구비하는 것을 특징으로 하는 영상의 역광 보정장치.
2. 제1항에 있어서, 상기 역광 보정장치는 상기 휘도신호를 소정 시간만큼 그룹 지연시켜 상기 디멀티플렉서로 출력하는 제1지연 조정수단을 더 포함하는 것을 특징으로 하는 영상의 역광 보정장치.
3. 제1 또는 제2항에 있어서, 상기 역광 보정장치는 상기 제1 및 상기 제2 룩업 테이블의 출력을 소정 시간만큼 각각 그룹 지연시켜 상기 멀티플렉서로 출력하는 제2 및 제2지연 조정수단을 더 포함하는 것을 특징으로 하는 영상의 역광 보정장치.