KR100480560B1 - 영상의 역광 보정방법 및 장치 - Google Patents

Abstract

본 발명은 영상의 역광 보정방법 및 장치를 개시한다. 역광조건에서 촬상된 영상의 역광 보정방법은 먼저, 영상의 휘도신호를 역광 임계값에 따라 고휘도 영역과 저휘도 영역으로 분리하고, 다음에 고휘도 영역과 저휘도 영역으로 분리된 휘도신호를 각각 히스토그램 등화하고 저장하고, 각각 저장된 히스토그램 등화된 결과들을 저휘도/고휘도 선택 정보에 따라 조합하고, 조합된 결과를 역광 보정된 휘도신호로서 얻는 것을 특징으로 한다.

Description

영상의 역광 보정방법 및 장치

본 발명은 역광조건에서 촬상된 영상의 역광 보정에 관한 것으로서, 특히, 히스토그램 등화 및 룩업 테이블을 이용한 영상의 역광 보정방법 및 장치에 관한 것이다.

일반적으로, 영상 촬상 장치등에 의해 촬상된 영상에는 피사체에 해당하는 대상물의 여러가지 정보를 가지고 있지만, 대상물, 촬영 기기의 성능 혹은 촬영 조건등에 의해 그 영상 신호에 해당하는 휘도신호 및 색신호의 성분이 편중되거나 왜곡되는 경우가 빈번하게 발생한다. 특히, 역광조건에서 촬상된 영상의 경우에는 피사체의 광원 노출 정도가 양극화되어 대상물의 특징을 정확하게 표현할 수 없게 된다. 이에 따라, 영상 신호처리의 전처리 단계로서 역광 보정이 수행된다.

이하, 종래의 영상의 역광 보정방법 혹은 다이나믹 레인지(dynamic range) 확대방법에 대해 첨부한 도면을 참조하여 다음과 같이 설명한다.

한 가지 대표적인 방법으로서, 자동 이득 조정방법(AGC:Auto Gain Control)이 있다. 이 방법은 영상신호로부터 저주파 혹은 직류 성분을 축소시켜서 화소당 비트수가 제한된 시스템에서 처리가 가능하게 하는 방법이다. 그러나, 이러한 방법은 다이나믹 레인지를 축소하는 과정에서 세밀한 콘트라스트(contrast) 정보를 손실하게 되고, 처리가 프레임당으로 이루어 지기 때문에 공간적으로 적응적인 처리가 불가능한 단점이 있다.

또한, 다른 방법으로서 호모모픽 필터링법(Homomorphic filtering)에 의한 콘트라스트 증가 방식도 제안되어 있다. 이 방법은 트랜스폼 동작(tranform operation)에 의한 영상 강조로 분류될 수 있는데, 영상을 로그 함수에 의하여 조도(illumination)와 반사율(reflectance) 성분으로 분리한 후에, 고주파 통과 필터에 의한 반사율 성분을 선택적으로 증폭하는 방식이다.

도 1은 호모모픽 필터링법에 근거한 종래의 다이나믹 레인지 확대 시스템의 블럭도로서, 복수개의 영상 입력기(102), 화소 선택기(104) 및 인접 트랜스폼 처리기(NTP:Neighborhood Transform Processor)(106)로 구성된다.

도 1에 도시된 시스템은 서로 다른 노출에 의한 다수의 영상을 입력 받아, 각각의 영상들에 대해 인접 프로세싱(neighborhood processing)을 수행한 후에, 각각의 성분을 합쳐서 최종 영상을 만들어 낸다. 그러나, 이러한 방법은 다수의 영상을 입력받아야 하는 회로의 복잡성 혹은 필드 메모리의 필요등의 단점이 있다.

또한, 보다 능동적이고 효과적으로 콘트라스트를 개선하는 방식으로 히스토그램 등화법(Histogram Equalization)이 널리 알려져 있다. 이 방법은 포인트 동작(point operation)에 의한 영상 강조로서 분류되는데, 휘도신호에서 특정 영역에 집중된 휘도 대역의 콘트라스트를 증가, 즉 다이나믹 레인지를 확대하는 것이다.

도 2는 히스토그램 등화법을 이용한 종래의 다이나믹 레인지 확대 시스템의 개략적인 블럭도로서, 히스토그램 발생기(202), 적분기(204) 및 룩업 테이블(206)로 구성된다.

그러나, 이러한 히스토그램 등화법은 다수의 분포를 가지는 휘도 대역의 콘트라스트의 극대화가 심화되면 양자화 잡음도 또한 증폭되고, 또한 적은 빈도를 가지는 영상에 대해서 콘트라스트가 상대적으로 저하된다. 이를 개선하기 위해 히스토그램 등화의 영향을 전체적으로 줄이면서 콘트라스트를 적당히 개선하는 방식인 히스토그램 변형법(Histogram Modification)이 또한 제안되어 있지만, 복잡한 회로 뿐만 아니라, 콘트라스트와 잡음을 함께 개선할 수는 없다.

끝으로, 휘도 레벨의 다이나믹 레인지의 개선을 칼라 영상에 도입하기 위한 방법들이 제안되어 있다. 이들 방법의 대부분은 R,G,B신호의 다이나믹 레인지를 확대/축소하는 방식으로서, 색성분을 독립적으로 개선하는 법 혹은 휘도신호를 추출한 후에 휘도의 다이나믹 레인지의 확대/축소 정보를 이용하여 일률적으로 제어하는 방법등이 제안되어 있다. 이중에서 다수의 영상의 입력으로부터 R,G,B신호를 휘도 성분을 이용하여 일률적으로 제안한 방식은 복수의 입력 영상, 색상 신호의 개별적 다단 제어등에 의한 복잡한 회로의 단점이 있다.

이상 살펴본 종래의 역광 보정 혹은 다이나믹 레이지 확대방법에서, 특히, 히스토그램 등화법은 영상의 콘트라스트가 개선되어 영상의 해석 및 특징추출등이 용이하다.

그러나, 전술한 바와 같이 히스토그램 등화법은 다수의 휘도 분포를 가지는 휘도 레벨의 감도를 극대화하는 방법이므로, 첫번째로 신호성분에 포함된 부가 잡음이나 양자화 잡음등이 함께 증폭될 수 있으며, 두번째로 적은 빈도를 가지는 휘도 대역에서는 콘트라스트가 저하되는 문제점이 있다.

본 발명이 이루고자 하는 제1 기술적 과제는, 빈도수가 큰 휘도 영역뿐만 아니라 빈도수가 적은 휘도 영역에 대해서도 콘트라스트를 증가시키는 영상신호의 역광 보정방법을 제공하는데 있다.

본 발명이 이루고자 하는 제2 기술적 과제는, 상기 역광 보정방법을 수행하는 역광 보정장치를 제공하는데 있다.

상기 제1 과제를 이루기 위하여, 역광조건에서 촬상된 영상의 본 발명의 일 실시예에 따른 역광 보정방법은, 먼저 영상의 휘도신호를 역광 임계값에 따라 고휘도 영역과 저휘도 영역으로 분리하고, 고휘도 영역과 저휘도 영역으로 분리된 휘도신호를 각각 히스토그램 등화하고 저장하고, 각각 저장된 히스토그램 등화된 결과들을 저휘도/고휘도 선택 정보에 따라 조합하고, 조합된 결과를 역광 보정된 휘도신호로서 얻는 단계들로 이루어지는 것이 바람직하다.

또한, 상기 제1 과제를 이루기 위하여, 역광조건에서 촬상된 영상의 본 발명의 다른 실시예에 따른 역광 보정방법은, 먼저 영상의 휘도신호를 역광 임계값에 따라 고휘도 영역과 저휘도 영역으로 분리하고, 고휘도 영역과 저휘도 영역으로 분리된 휘도신호를 각각 히스토그램 등화하고 저장하고, 각각 저장된 히스토그램 등화된 결과들을 저휘도/고휘도 선택 정보에 따라 조합하고, 조합된 결과를 역광조건 계수에 따라 휘도신호와 조합하고, 최종 조합된 결과를 역광 보정된 성분을 갖는 휘도신호로서 얻는 단계들로 이루어지는 것이 바람직하다.

상기 제2 과제를 이루기 위하여, 역광조건에서 촬상된 영상의 본 발명의 일 실시예에 따른 역광 보정장치는, 역광조건 레벨 분리부, 디멀티플렉서, 제1 및 제2 히스토그램 등화부, 제1 및 제2 룩업 테이블 및 멀티플렉서로 구성되는 것이 바람직하다. 역광조건 레벨 분리부는 역광 임계값에 응답하여 휘도신호의 각 화소의 휘도레벨이 저휘도 레벨인가 고휘도 레벨인가를 판단하고, 판단 결과를 식별데이타로서 출력하고, 디멀티플렉서는 식별데이타를 선택신호로서 이용하여 휘도신호를 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력하고, 제1 및 제2 히스토그램 등화부는 저휘도 및 고휘도 영역 각각의 데이타를 각각 히스토그램 등화하고, 제1 및 제2 룩업 테이블은 제1 및 제2 히스토그램 등화부의 출력을 각각 저장하고, 휘도신호를 어드레스로 하여 각각 독출하고, 멀티플렉서는 제1 및 제2 룩업 테이블의 출력을 저휘도/고휘도 선택신호에 응답하여 선택하고, 선택된 결과를 역광 보정된 휘도신호로서 출력한다.

또한, 상기 제2 과제를 이루기 위하여, 역광조건에서 촬상된 영상의 본 발명의 다른 실시예에 따른 역광 보정장치는, 역광조건 레벨 분리부, 디멀티플렉서, 제1 및 제2 히스토그램 등화부, 제1 및 제2 룩업 테이블 및 멀티플렉서로 구성되는 것이 바람직하다. 역광조건 레벨 분리부는 역광 임계값에 응답하여 휘도신호의 각 화소의 휘도레벨이 저휘도 레벨인가 고휘도 레벨인가를 판단하고, 판단 결과를 식별데이타로서 출력하고, 디멀티플렉서는 식별데이타를 선택신호로서 이용하여 휘도신호를 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력하고, 제1 및 제2 히스토그램 등화부는 저휘도 및 고휘도 영역 각각의 데이타를 각각 히스토그램 등화하고, 제1 및 제2 룩업 테이블은 제1 및 제2 히스토그램 등화부의 출력을 각각 저장하고, 휘도신호를 어드레스로 하여 각각 독출하고, 멀티플렉서는 제1 및 제2 룩업 테이블의 출력을 저휘도/고휘도 선택신호에 응답하여 선택하고, 출력 제어부는 제1 및 제2 히스토그램 등화부에서 구한 히스토그램을 이용하여 역광조건 계수를 발생하고, 역광조건 계수에 의해 멀티플렉서의 출력과 휘도신호의 출력 비율을 조정하여 조합한 결과를 역광 보정된 성분을 갖는 휘도신호로서 출력한다.

이하, 본 발명에 의한 바람직한 일 실시예의 영상의 역광 보정방법 및 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.

먼저, 본 발명의 이해를 돕기 위해서 본 발명의 역광 보정 원리를 알아본다.

도 3 (a)~(c)는 본 발명의 역광 보정 원리를 개념적으로 설명하기 위한 도면들로서, 도 3 (a)는 역광조건에서 촬상된 영상을 1필드 단위로 나타내며, 도 3 (b)는 영상을 고휘도 영역의 데이타와 저휘도 영역의 데이타로 분리한 결과를 나타내며, 도 3 (c)는 역광 보정된 영상을 나타낸다.

도 3 (a)를 참조하면, 302는 역광조건에 의해 고휘도의 영상 데이타가 생성되는 밝은 부분의 영역을 나타내며, 304는 역광조건에 의해 피사체의 형태가 저휘도 레벨로 치우친 어두운 부분의 영역을 나타낸다. 즉, 역광조건에서 촬상된 영상은 피사체의 광원 노출 정도가 양극화되므로, 피사체의 형태를 정확하게 표현하지 못한다.

본 발명에 의한 역광 보정방법은 이러한 역광조건에서의 영상을 히스토그램 등화하기 전에, 도 3 (b)와 같이 역광조건에서 촬상시의 역광 영역대로 휘도신호를 분리한다. 도 3 (b)에서, 312는 고휘도 영역의 데이타를, 314는 저휘도 영역의 데이타를 각각 나타낸다. 예컨대, 저역통과 필터등에 의해서 고휘도 영역 또는 저휘도 영역에 존재하는 패턴이나 잡음등을 평준화시킨 후에 일정한 임계값을 이용하면, 고휘도 영역의 데이타와 저휘도 영역의 데이타로 분리할 수 있게 된다.

도 3 (b)와 같이 분리된 각각의 데이타를 히스토그램 등화하고, 룩업 테이블을 이용하여 저장함으로써 결국 고휘도 영역의 데이타 및 저휘도 영역의 데이타 각각에 대해 다이나믹 레인지를 확장하여 안정된 역광 보정을 수행한다. 도 3 (c)는 이러한 과정을 거친 역광 보정된 영상을 나타내는 도면으로서, 322는 고휘도 영역의 역광 보정된 데이타를, 324는 저휘도 영역의 역광 보정된 데이타를 각각 나타낸다.

도 4는 본 발명에 의한 바람직한 일 실시예의 영상의 역광 보정방법을 설명하기 위한 플로우챠트로서, 영상의 휘도신호를 역광 임계값에 따라 고휘도 영역과 저휘도 영역으로 분리하는 단계들(제402~410단계), 분리된 휘도신호를 각각 히스토그램 등화하고 저장하는 단계들(제412~414단계) 및 각각 저장된 히스토그램 등화된 결과들을 저휘도/고휘도 선택 정보에 따라 조합하여 역광 보정된 휘도신호로서 얻는 단계들(제416~420단계)로 구성된다.

도 4를 참조하면, 휘도신호의 레벨 영역을 분리하기에 앞서, 먼저 역광 조건에서의 신호 보정을 위해 휘도신호를 저역필터링한다(제302단계). 제302단계 후에, 저역필터링된 휘도신호의 레벨을 역광조건에서 촬상시의 역광 영역대로 분리하기 위해서 각 화소의 휘도레벨에 대해 휘도레벨이 역광 임계값보다 큰가를 판단한다(제304단계). 만일, 역광 임계값보다 크다면, 고휘도 레벨인 것으로 고려하여 제1 식별데이타를 부여하고(제406단계), 그렇지 않으면, 저휘도 레벨인 것으로 고려하여 제2 식별데이타를 부여한다(제408단계). 또한, 각 화소에 대해 부여된 제1 또는 제2 식별데이타는 이후에 저휘도/고휘도 선택 정보로 이용하기 위해서 순차적으로 저장한다. 제406단계 또는 제408단계에서 얻은 식별데이타에 근거하여 휘도신호를 고휘도 또는 저휘도 영역으로 분리한다(제410단계).

제410단계 후에, 고휘도 또는 저휘도 영역으로 분리된 휘도신호들을 각각의 휘도 영역에서 히스토그램 등화한다(제412단계). 구체적으로, 각 화소의 휘도레벨을 검출하고, 검출된 휘도레벨들 각각의 빈도수를 계산하여 누적하고, 누적된 결과들을 이용하여 각각 히스토그램 등화한다. 각각 히스토그램 등화된 결과들을 룩업 테이블을 이용하여 각각 저장한다(제414단계).

룩업 테이블에 저장된 히스토그램 등화된 결과들은 휘도신호를 어드레스로 하여 각각 독출한다(제416단계). 각각 독출된 결과들의 순서를 저휘도/고휘도 선택 정보에 따라 결정하여 조합한다(제418단계). 제418단계 후에, 조합된 결과를 역광 보정된 휘도신호로서 얻는다(제420단계).

도 5는 도 4에 도시된 본 발명에 의한 역광 보정방법을 수행하는 본 발명에 의한 바람직한 일실시예의 역광 보정장치의 블럭도로서, 저역통과 필터(LPF:Low Pass Filter)(502), 역광조건 레벨 분리부(504), 지연 조정부(506), 메모리(508), 디멀티플렉서(510), 제1 및 제2 히스토그램 등화부(512,514), 제1 및 제2 룩업 테이블(LUT:Look Up Table)(516,518) 및 멀티플렉서(520)로 구성된다.

도 5를 참조하면, LPF(502)는 영상 입력으로서 휘도신호를 입력단자 IN을 통해 입력한다. 이때, 역광 보정장치로 현재 입력되는 1필드의 휘도신호는 이전에 1필드의 휘도신호를 히스토그램 등화한 결과를 이용하여 역광보정된다(이후에 상세히 설명됨).

LPF(502)는 역광조건에서의 신호보정을 위한 일반적인 저역통과 필터로서, 이후에 설명될 역광조건 레벨 분리부(504)에서 휘도신호의 레벨 영역을 분리하기에 앞서, 잡음 성분을 제거한다. 즉, 역광조건에서 광원으로 인한 고휘도 영역은 고휘도 레벨을 가지고, 반면 저휘도 영역은 저휘도 레벨을 가지기 때문에 일정한 필터의 탭수를 유지하면 일반적인 부가 잡음이나 양자화 잡음 성분등을 제거할 수 있다.

역광조건 레벨 분리부(504)는 LPF(502)를 통해 필터링된 휘도신호를 입력하고, 역광조건에서 촬상시의 역광 영역대로 휘도레벨을 분리한다. 구체적으로, 고휘도 영역과 저휘도 영역중 어느 영역인가 역광조건을 검출하여 휘도레벨을 분리하기 위한 역광조건 레벨 분리부(504)는 역광 임계값(BL_TH)에 응답하여 각 화소의 휘도레벨이 고휘도 레벨인가 저휘도 레벨인가를 판단하고, 판단 결과를 1비트의 식별데이타로서 출력한다.

예컨대, 역광 임계값(BL_TH)이 정상적인 다이나믹 레인지의 절반으로 설정된다면, 역광조건 레벨 분리부(504)는 다이나믹 레인지의 절반에 해당하는 레벨보다 큰 휘도레벨을 역광조건에서의 고휘도 레벨로 판단하여 '1'을 출력하고, 그 이하의 휘도레벨을 역광조건에서의 저휘도 레벨로 판단하여 '0'을 출력한다. 여기서, '1' 또는 '0'은 식별 데이타로서 즉, 각 화소의 데이타가 역광조건에서의 고휘도 영역의 데이타인가 또는 저휘도 영역의 데이타인가를 판단가능하게 한다.

역광조건 레벨 분리부(504)에서 출력되는 식별데이타는 순차적으로 메모리(508)에 저장될 뿐만 아니라, 디멀티플렉서(510)의 선택신호(S1)로서 이용된다.

또한, 지연 조정부(506)는 필터(502)와 동일하게 입력단자 IN을 통해 휘도신호를 입력하여 저역통과 필터(502) 및 역광조건 레벨 분리부(504)에서 소요되는 시간만큼 그룹 지연시킨다. 이에 따라, 디멀티플렉서(510)로 입력되는 휘도신호는 역광조건 레벨 분리부(504)에서 출력되는 자신의 식별데이타와 타이밍이 맞추어진다.

디멀티플렉서(510)는 그룹 지연된 휘도신호를 입력하고, 선택신호(S1)에 응답하여 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력한다. 즉, 식별데이타에 응답하여 휘도신호중 저휘도 영역의 데이타는 제1 히스토그램 등화부(512)로 출력되고, 휘도신호중 고휘도 영역의 데이타는 제2 히스토그램 등화부(514)로 출력된다.

제1 히스토그램 등화부(512)는 저휘도 영역의 데이타만을 입력하여 저휘도 영역에서 각 화소의 휘도레벨을 검출하고, 검출된 휘도레벨들 각각의 빈도수를 계산하여 누적한 후에, 누적된 결과들을 이용하여 히스토그램 등화한다. 이와 같이, 히스토그램 등화된 결과는 1필드 단위로 처리되는 영상의 한 필드와 다음 필드 사이의 일정한 블랭크(blank) 영역에서 제1 룩업 테이블(516)에 저장된다.

한편, 제2 히스토그램 등화부(514)는 고휘도 영역의 데이타만을 입력하여 고휘도 영역에서 각 화소의 휘도레벨을 검출하고, 검출된 휘도레벨들 각각의 빈도수를 계산하여 누적한 후에, 누적된 결과들을 이용하여 히스토그램 등화한다. 마찬가지로, 히스토그램 등화된 결과는 일정한 블랭크 영역에서 제2 룩업 테이블(518)에 저장된다.

결국, 제1 룩업 테이블(516)은 저휘도 영역의 히스토그램 등화로 생성된 역광 보정된 데이타를 기입하고, 제2 룩업 테이블(518)은 고휘도 영역의 히스토그램 등화로 생성된 역광 보정된 데이타를 기입한다.

전술한 바에 의하면, 입력단자 IN을 통해 입력된 휘도신호의 각 화소의 휘도레벨에 대해 역광조건 레벨 분리부(504)에서 부여된 1비트의 역광조건에 해당하는 식별데이타는 순차적으로 메모리(508)에 저장된다. 메모리(508)는 이러한 1비트의 식별데이타를 1필드 단위로 저장하는 필드 메모리로서 구성되며, 저장된 식별데이타들은 이후에 제1 및 제2 룩업 테이블(516,518)의 출력을 선택하기 위한 저휘도/고휘도 선택신호(S2)로서 이용된다.

제1 및 제2 룩업 테이블(516,518)은 저장된 데이타들을 모두 입력단자 IN을 통해 입력한 휘도신호를 어드레스로 하여 출력하고, 멀티플렉서(520)는 제1 및 제2 룩업 테이블(516,518)에서 독출된 결과들을 전술한 선택신호(S2)에 응답하여 선택함으로써, 결국 저휘도 및 고휘도 영역에 대한 역광 보정된 휘도신호를 조합하여 출력단자 OUT를 통해 역광 보정된 휘도신호로서 출력한다.

여기서, 실질적으로 현재 출력되는 역광 보정된 휘도신호는 입력단자 IN을 통해 현재 입력된 1필드의 휘도신호를 역광 보정한 신호는 아니다. 즉, 도 5에 도시된 바에 의하면, 역광 보정장치는 현재 입력된 1필드의 휘도신호를 어드레스로서 이용하여, 제1 및 제2 룩업 테이블(516,518)에 미리 저장된 이전의 1필드의 휘도신호에 대한 역광 보정된 데이타들이 독출되도록 구성되어 있다. 또한, 이때 메모리(508)로부터 출력되는 저휘도/고휘도 선택신호(S2)도 이전에 입력된 1필드의 휘도신호에 대한 정보이다. 실제로 인접한 필드들간에는 상당히 유사성을 가지므로, 역광 보정장치를 이와같이 구성하더라도 소망하는 역광 보정된 결과를 얻을 수 있으며, 회로를 간단하게 구성할 수 있다.

단순하게, 메모리(508) 즉, 필드 메모리를 이용하지 않고, 현재 1필드의 휘도신호에 대해 역광조건 레벨 분리부(504)의 출력이 제1 및 제2 룩업 테이블(512,514)의 출력을 직접 선택하도록 구성할 수도 있다. 그러나, 이러한 방법은 제1 및 제2 룩업 테이블(516,518)에 작성되는 정보가 실제 처리하고자 하는 필드보다 이전 필드이기 때문에 정보의 손실을 가져올 수도 있다.

또한, 현재 1필드의 휘도신호가 이전 1필드의 휘도신호에 대해 역광 보정된 데이타를 사용하기 때문에, 인터레이스(interace) 주사방식의 시스템에서는 2라인의 데이타를 보간해서 사용하는 방법을 적용할 수도 있고, 또한 필드간의 영역의 데이타 어드레스에 대한 타이밍을 맞추어 사용할 수도 있다.

이하, 본 발명에 의한 바람직한 다른 실시예의 영상의 역광 보정방법 및 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 6은 본 발명에 의한 바람직한 다른 실시예의 영상의 역광 보정방법을 설명하기 위한 플로우챠트로서, 영상의 휘도신호를 역광 임계값에 따라 고휘도 영역과 저휘도 영역으로 분리하는 단계들(제602~610단계), 분리된 휘도신호를 각각 히스토그램 등화하고 저장하는 단계들(제612~614단계), 각각 저장된 히스토그램 등화된 결과들을 저휘도/고휘도 선택 정보에 따라 조합하는 단계들(제616~618단계) 및 조합된 결과를 역광조건 계수에 따라 역광 보정전 휘도신호와 조합하여 그 결과를 얻는 단계들(제620~622단계)로 구성된다.

도 6에 도시된 방법은 도 4에 도시된 방법과 비교하여 제602~618단계에 이어서 제620~622단계를 포함한다. 전술한 제602~618단계는 도 4에 도시된 방법의 제402~418단계들과 각각 대응되므로, 그 설명을 설명한다.

제618단계 후에, 고휘도 및 저휘도 영역으로 분리되어 각각 역광 보정된 휘도신호의 조합된 결과를 다시 역광조건 계수에 따라 역광 보정전 휘도신호 즉, 제602단계에서 다루는 휘도신호와 조합한다(제620단계). 여기서, 역광조건 계수는 역광조건에서 촬상된 영상의 휘도 분포 정도를 나타내며, 0보다 크거나 같고 1보다 작거나 작은 값으로 표현할 경우에 1에 가까우면 역광조건에 가깝게 휘도신호가 분포되어 있다는 것을 의미하고, 0에 가까우면 역광조건에 관계없이 휘도신호가 분포되어 있다는 것을 의미한다.

이러한 역광조건 계수에 따라 제618단계에서 조합된 결과와 역광 보정전 휘도신호와의 적절한 조합에 의해서 최종 조합된 결과를 역광 보정된 성분을 출력한다(제622단계). 즉, 휘도 분포가 역광 조건에 가까우면 제618단계에서 조합된 결과에 비중을 두어 조합하고, 역광 조건에 가깝지 않으면 역광 보정전 휘도신호에 비중을 두어 조합한다.

도 7은 도 6에 도시된 본 발명에 의한 역광 보정방법을 수행하는 본 발명에 의한 바람직한 다른 실시예의 역광 보정장치의 블럭도로서, 저역통과 필터(702), 역광조건 레벨 분리부(704), 지연 조정부(706), 메모리(708), 디멀티플렉서(710), 제1 및 제2 히스토그램 등화부(712,714), 제1 및 제2 룩업 테이블(716,718), 멀티플렉서(720) 및 출력 제어부(730)로 구성된다.

도 7에 도시된 장치는 도 5에 도시된 장치와 비교하여 역광조건 계수 발생기(732), 제1 및 제2 승산기(734,736) 및 가산기(738)로 구성된 출력 제어부(730)를 포함한다. 다른 구성요소들은 도 5에 도시된 장치의 구성요소들과 각각 대응되므로, 그 설명을 생략한다.

출력 제어부(730)는 저휘도 영역에서의 휘도레벨 빈도수 및 고휘도 영역에서의 휘도레벨 빈도수를 이용하여 역광조건 계수를 발생하고, 역광조건 계수에 따라서 멀티플렉서(720)로부터 출력되는 역광 보정된 휘도신호와 입력단자 IN을 통해 입력되는 역광 보정하지 않은 휘도신호의 출력 비율을 조정한다.

구체적으로, 출력 제어부(730)에서 역광조건 계수 발생기(732)는 제1 및 제2 히스토그램 등화부(712,714)에서 각각 검출되는 저휘도 및 고휘도 영역에서의 휘도레벨 빈도수를 이용하여 역광조건 계수를 발생한다. 여기서, 역광조건 계수는 역광 조건에 촬상된 영상의 휘도 분포 정도를 나타내며, 역광조건 계수를 α라고 하면 0≤α≤1의 범위를 갖는다. 즉, 역광조건 계수(α)가 크면 역광조건에 가깝다는 것을 의미하고, 작으면 역광조건에 관계없이 휘도신호가 분포되어 있다는 것을 의미한다.

제1 승산기(734)는 멀티플렉서(720)의 출력과 역광조건 계수(α)를 승산하고, 제2 승산기(736)는 입력단자 IN을 통해 입력되는 휘도신호와 1-α를 승산한다. 가산기(738)는 제1 및 제2 승산기(734,736)의 출력들을 가산하여 출력단자 OUT를 통해 출력한다.

따라서, 도 7에 도시된 역광 보정장치는 역광조건 계수(α)를 이용함으로써, 이전 필드의 휘도신호에 대한 히스토그램 등화된 결과와 현재 필드의 휘도신호와의 적절한 조합에 의해서 역광 보정된 성분을 출력하게 된다. 즉, 입력단자 IN을 통해 입력한 휘도신호가 역광조건이 아닌 상태이거나, 또는 휘도레벨이 전체 휘도 영역에 걸쳐 골고루 존재할 경우에, 제1 및 제2 룩업 테이블(716,718)에 저장된 역광 보정된 데이타들에 비하여 입력단자 IN을 통해 직접적으로 입력되는 휘도신호에 비중을 두고 출력함으로써 역광 보정 처리과정에서 발생할 수 있는 영상의 인위적 결과를 최대한 줄일 수 있게 된다.

또한, 역광조건 분리부(704)의 역광 임계값(BL_TH)에 따라서 역광조건을 달리 판단할 수 있다. 예컨대, 역광 임계값(BL_TH)을 최대값으로 설정한다면, 저휘도 영역의 휘도신호를 처리하는 제1 히스토그램 등화부(712)가 동작하게 되고, 반면 역광 임계값(BL_TH)을 최저값인 예를 들어 "0"으로 설정한다면, 고휘도 영역의 휘도신호를 처리하는 제2 히스토그램 등화부(714)가 동작하게 된다. 또한, 단일 채널의 히스토그램 등화부에 의한 역광 보정방법에서도 이후에 설명될 바와같이 역광조건 계수를 발생시켜 역광조건과 입력단자 IN를 통해 입력되는 휘도신호의 직접 출력의 관계를 조정할 수 있다.

도 8 (a)~(c)는 도 7에 도시된 역광조건 계수 발생기의 동작 원리를 설명하기 위한 도면들로서, 도 8 (a)는 일반적인 영상의 1필드에 대한 휘도레벨 대비 빈도수의 일 예를 나타내며, 도 8 (b)는 도 8 (a)에서의 빈도수 문턱치만큼을 감산한 결과를 나타내며, 도 8 (c)는 도 8 (b)를 참조하여 역광조건 계수(α)를 구하는 그래프를 나타낸다.

역광조건 계수(α)는 제1 및 제2 히스토그램 등화부(712,714)에서 얻어지는 고휘도 레벨 및 저휘도 레벨을 포함한 전체 휘도레벨의 빈도수인 히스토그램의 분석에 의해 발생된다. 먼저, 도 8 (a)에 도시된 휘도레벨에 대한 빈도수에 소정의 빈도수 문턱치를 적용함으로써 휘도신호의 분포도를 재생성하는 값으로 사용하게 된다.

빈도수 문턱치를 적용하면 도 8 (b)에서 휘도레벨에 대한 빈도수가 '0'이 되는 구간들 예컨대, ①,②,③,④로 표시된 구간들이 나타난다. 이러한 방법으로 휘도 빈도수가 '0'인 영역들(①,②,③,④)과 소정의 빈도수를 가진 휘도 분포 영역들(802,804,806)로 분리하면, 도 8 (b)에서는 휘도 분포 영역이 3개 존재한다는 것을 알수 있다. 이때, 전술한 역광조건 레벨 분리부(704)에 인가되는 역광 임계값(BL_TH)은 설정하는 일 예로서, 최저 레벨 영역(①에 해당)과 최고 레벨 영역(④에 해당)을 제외하고 빈도수가 '0'인 가장 큰 구간의 중심값으로 설정할 수 있다.

도 8 (c)를 참조하면, 휘도 분포 영역수에 따라 역광조건 계수(α)가 설정된다. 도 8 (c)에서 빈도수 '0'의 사이클수에 해당하는 휘도 분포 영역수에 의해 고휘도 영역과 저휘도 영역의 분리 정도를 판단할 수 있으며, 이에 따라 역광조건 계수(α)를 휘도 분포 영역수와 반비례 관계로 설정한다. 즉, 역광조건 계수(α)는 휘도 분포 영역수가 클수록 즉, 고휘도 영역과 저휘도 영역의 분리 정도가 역광조건에 가깝지 않을수록 작은 값을 갖으며, 휘도 분포 영역수가 작을수록 큰 값을 갖는다.

단, 도 8 (c)에서 휘도 분포 영역수가 0~1개일 경우에는 빈도수 문턱치를 매우 높게 설정했던지, 아니면 일정한 영역에 휘도가 집중 분포되어 있는 저 콘트라스트등으로서 판단하여 역광조건 계수(α)를 0으로 하고, 2개일 경우에는 정상적인 역광조건으로 판단하여 역광조건 계수(α)를 1로 설정하고, 3개 이상일 경우에는 반비례의 관계를 갖도록 설정한다.

이상에서 설명한 바와 같이, 본 발명에 의한 영상신호의 역광 보정방법 및 장치는 역광조건에서 촬상된 영상의 휘도신호를 고휘도 영역과 저휘도 영역으로 분리하여 별개의 히스토그램 등화부 및 룩업 테이블을 이용하여 역광 보정함으로써, 역광조건에서 피할 수 없는 경계조건등과 같이 빈도수가 적은 휘도레벨 영역에 대해서도 콘트라스트를 향상시키며, 전체적으로 콘트라스트를 극대화시키는 효과가 있다.

도 1은 호모모픽 필터링법에 근거한 종래의 다이나믹 레인지 확대 시스템의 블럭도이다.

도 2는 히스토그램 등화법을 이용한 종래의 다이나믹 레인지 확대 시스템의 개략적인 블럭도이다.

도 3 (a)~(c)는 본 발명의 역광 보정 원리를 개념적으로 설명하기 위한 도면들이다.

도 4는 본 발명에 의한 바람직한 일 실시예의 영상의 역광 보정방법을 설명하기 위한 플로우챠트이다.

도 5는 도 4에 도시된 역광 보정방법을 수행하는 본 발명에 의한 바람직한 일 실시예의 역광 보정장치의 블럭도이다.

도 6은 본 발명에 의한 바람직한 다른 실시예의 영상의 역광 보정방법을 설명하기 위한 플로우챠트이다.

도 7은 도 6에 도시된 역광 보정방법을 수행하는 본 발명에 의한 바람직한 다른 실시예의 역광 보정장치의 블럭도이다.

도 8 (a)~(c)는 도 7에 도시된 역광조건 계수 발생기의 동작 원리를 설명하기 위한 도면들이다.

Claims (16)

1. 역광조건에서 촬상된 영상의 역광 보정방법에 있어서,

   (a) 상기 영상의 휘도신호를 역광 임계값에 따라 고휘도 영역과 저휘도 영역으로 분리하는 단계;

   (b) 상기 고휘도 영역과 상기 저휘도 영역으로 분리된 상기 휘도신호를 각각 히스토그램 등화하고 저장하는 단계; 및

   (c) 상기 (b)단계에서 각각 저장된 히스토그램 등화된 결과들을 저휘도/고휘도 선택 정보에 따라 조합하고, 조합된 결과를 역광 보정된 휘도신호로서 얻는 단계를 구비하는 것을 특징으로 하는 영상의 역광 보정방법.
2. 제1항에 있어서, 상기 (a) 단계는,

   (a1) 필드 단위의 상기 휘도신호를 저역 필터링하는 단계;

   (a2) 상기 휘도신호의 각 화소의 휘도레벨에 대해 상기 역광 임계값보다 크면 제1식별데이타를 부여하고, 상기 역광 임계값 이하이면 제2식별데이타를 부여하는 단계; 및

   (a3) 상기 제1 또는 상기 제2식별데이타에 근거하여 상기 휘도신호를 상기 고휘도 영역 또는 상기 저휘도 영역으로 분리하는 단계를 구비하는 것을 특징으로 하는 영상의 역광 보정방법.
3. 제1항에 있어서, 상기 (b) 단계는,

   (b1) 상기 고휘도 및 상기 저휘도 각각의 영역에서, 각 화소의 휘도레벨을 검출하고, 검출된 휘도레벨들 각각의 빈도수를 계산하여 누적하는 단계;

   (b2) 상기 각각의 영역에서 누적된 결과들을 이용하여 각각 히스토그램 등화하는 단계; 및

   (b3) 상기 각각의 영역에서 히스토그램 등화된 결과들을 각각 저장하는 단계를 구비하는 것을 특징으로 하는 영상의 역광 보정방법.
4. 제1항에 있어서, 상기 (c) 단계는,

   (c1) 상기 저장된 상기 히스토그램 등화된 결과들을 상기 휘도신호를 어드레스로 하여 각각 독출하는 단계;

   (c2) 각각 독출된 결과들의 순서를 상기 저휘도/고휘도 선택 정보에 따라 결정하여 조합하고, 조합된 결과를 상기 역광 보정된 휘도신호로서 얻는 단계를 구비하고,

   상기 저휘도/고휘도 선택 정보는, 상기 (a) 단계에서 상기 휘소신호의 각 화소의 휘도레벨에 대해 상기 역광 임계값보다 크면 제1식별비트를 부여하고, 상기 역광 임계값 이하이면 제2식별비트를 부여할 경우에 상기 제1 및 상기 제2식별비트를 순차적으로 저장한 결과인 것을 특징으로 하는 영상의 역광 보정방법.
5. 역광조건에서 촬상된 영상의 역광 보정방법에 있어서,

   (a) 상기 영상의 휘도신호를 역광 임계값에 따라 고휘도 영역과 저휘도 영역으로 분리하는 단계;

   (b) 상기 고휘도 영역과 상기 저휘도 영역으로 분리된 상기 휘도신호를 각각 히스토그램 등화하고 저장하는 단계;

   (c) 상기 (b)단계에서 각각 저장된 히스토그램 등화된 결과들을 저휘도/고휘도 선택 정보에 따라 조합하는 단계; 및

   (d) 상기 (c)단계에서 조합된 결과를 역광조건 계수에 따라 상기 휘도신호와 조합하고, 최종 조합된 결과를 역광 보정된 성분을 갖는 휘도신호로서 얻는 단계를 구비하는 것을 특징으로 하는 영상의 역광 보정방법.
6. 제5항에 있어서, 상기 (a) 단계는,

   (a1) 필드 단위의 상기 휘도신호를 저역 필터링하는 단계;

   (a2) 상기 휘도신호의 각 화소의 휘도레벨에 대해 상기 역광 임계값보다 크면 제1식별데이타를 부여하고, 상기 역광 임계값 이하이면 제2식별데이타를 부여하는 단계; 및

   (a3) 상기 제1 또는 상기 제2식별데이타에 근거하여 상기 휘도신호를 상기 고휘도 영역 또는 상기 저휘도 영역으로 분리하는 단계를 구비하는 것을 특징으로 하는 영상의 역광 보정방법.
7. 제5항에 있어서, 상기 (b) 단계는,

   (b1) 상기 고휘도 및 상기 저휘도 각각의 영역에서, 각 화소의 휘도레벨을 검출하고, 검출된 휘도레벨들 각각의 빈도수를 계산하여 누적하는 단계;

   (b2) 상기 각각의 영역에서 누적된 결과들을 이용하여 각각 히스토그램 등화하는 단계; 및

   (b3) 상기 각각의 영역에서 히스토그램 등화된 결과들을 각각 저장하는 단계를 구비하는 것을 특징으로 하는 영상의 역광 보정방법.
8. 제5항에 있어서, 상기 (c) 단계는,

   (c1) 상기 저장된 상기 히스토그램 등화된 결과들을 상기 휘도신호를 어드레스로 하여 각각 독출하는 단계;

   (c2) 각각 독출된 결과들의 순서를 상기 저휘도/고휘도 선택 정보에 따라 결정하여 조합하고, 조합된 결과를 상기 역광 보정된 휘도신호로서 얻는 단계를 구비하고,

   상기 저휘도/고휘도 선택 정보는, 상기 (a) 단계에서 상기 휘소신호의 각 화소의 휘도레벨에 대해 상기 역광 임계값보다 크면 제1식별비트를 부여하고, 상기 역광 임계값 이하이면 제2식별비트를 부여할 경우에 상기 제1 및 상기 제2식별비트를 순차적으로 저장한 결과인 것을 특징으로 하는 영상의 역광 보정방법.
9. 제5항에 있어서, 상기 (d) 단계는,

   상기 영상의 휘도 분포 정도를 나타내는 상기 역광조건 계수에 따라서, 휘도 분포가 역광조건에 가까우면 상기 조합된 결과에 비중을 두어 조합하고, 상기 휘도 분포가 역광조건에 가깝지 않으면 상기 휘도신호에 비중을 두어 조합하는 것을 특징으로 하는 영상의 역광 보정방법.
10. 역광조건에서 촬상된 영상의 역광 보정장치에 있어서,

    역광 임계값에 응답하여 휘도신호의 각 화소의 휘도레벨이 저휘도 레벨인가 고휘도 레벨인가를 판단하고, 판단 결과를 식별데이타로서 출력하는 역광조건 레벨 분리수단;

    상기 식별데이타를 선택신호로서 이용하여 상기 휘도신호를 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력하는 디멀티플렉서;

    상기 저휘도 및 상기 고휘도 영역 각각의 데이타를 각각 히스토그램 등화하는 제1 및 제2 히스토그램 등화수단;

    상기 제1 및 제2 히스토그램 등화수단의 출력을 각각 저장하고, 상기 휘도신호를 어드레스로 하여 각각 독출하는 상기 제1 및 제2 룩업 테이블; 및

    상기 제1 및 상기 제2 룩업 테이블의 출력을 저휘도/고휘도 선택신호에 응답하여 선택하고, 선택된 결과를 역광 보정된 휘도신호로서 출력하는 멀티플렉서를 구비하는 것을 특징으로 하는 영상의 역광 보정장치.
11. 제10항에 있어서, 상기 역광 보정장치는,

    필드 단위로 입력되는 상기 휘도신호를 저역 필터링하여 상기 역광조건 레벨 분리수단으로 출력하는 저역통과 필터; 및

    상기 휘도신호를 소정 시간만큼 그룹 지연시켜 상기 디멀티플렉서로 출력하는 지연 조정수단을 더 포함하는 것을 특징으로 하는 영상신호의 역광 보정장치.
12. 제10항 또는 제11항에 있어서, 상기 역광 보정장치는,

    상기 역광조건 레벨 분리수단의 출력인 상기 식별데이타를 필드 단위로 저장한 후에, 상기 저휘도/고휘도 선택신호로서 상기 멀티플렉서로 출력하는 필드 메모리를 더 포함하는 것을 특징으로 하는 영상의 역광 보정장치.
13. 역광조건에서 촬상된 영상의 역광 보정장치에 있어서,

    역광 임계값에 응답하여 휘도신호의 각 화소의 휘도레벨이 저휘도 레벨인가 고휘도 레벨인가를 판단하고, 판단 결과를 식별데이타로서 출력하는 역광조건 레벨 분리수단;

    상기 식별데이타를 선택신호로서 이용하여 상기 휘도신호를 저휘도 영역의 데이타와 고휘도 영역의 데이타로 분리하여 출력하는 디멀티플렉서;

    상기 저휘도 및 상기 고휘도 영역 각각의 데이타를 각각 히스토그램 등화하여 역광 보정하는 제1 및 제2 히스토그램 등화수단;

    상기 제1 및 제2 히스토그램 등화수단의 출력을 각각 저장하고, 상기 휘도신호를 어드레스로 하여 각각 독출하는 상기 제1 및 제2 룩업 테이블;

    상기 제1 및 상기 제2 룩업 테이블의 출력을 저휘도/고휘도 선택신호에 응답하여 선택하는 멀티플렉서; 및

    상기 제1 및 상기 제2 히스토그램 등화수단에서 구한 히스토그램을 이용하여 역광조건 계수를 발생하고, 상기 역광조건 계수에 의해 상기 멀티플렉서의 출력과 상기 휘도신호의 출력 비율을 조정하여 조합한 결과를 역광 보정된 성분을 갖는 휘도신호로서 출력하는 출력 제어수단을 구비하는 것을 특징으로 하는 영상의 역광 보정장치.
14. 제13항에 있어서, 상기 출력 제어수단은,

    상기 히스토그램을 이용하여 0보다 크거나 같거나 1보다 작거나 같은 값을 갖는 상기 역광조건 계수를 발생하는 역광조건 계수 발생수단;

    상기 역광조건 계수와 상기 멀티플렉서의 출력을 승산하는 제1 승산수단;

    1에서 상기 역광조건 계수를 감산한 값과 상기 휘도신호를 승산하는 제2 승산수단; 및

    상기 제1 및 상기 제2 승산수단의 출력을 가산하고, 가산된 결과를 상기 역광 보정된 성분을 갖는 휘도신호로서 출력하는 가산수단을 구비하고,

    상기 역광조건 계수는 휘도 분포 정도를 나타내며, 상기 역광조건 계수가 클수록 상기 역광조건으로 상기 휘도신호가 분포되어 있으며, 작을수록 상기 역광조건에 관계없이 상기 휘도신호가 분포되어 있는 것을 특징으로 하는 영상의 역광 보정장치.
15. 제13항에 있어서, 상기 역광 보정장치는,

    필드 단위로 입력되는 상기 휘도신호를 저역 필터링하여 상기 역광조건 레벨 분리수단으로 출력하는 저역통과 필터; 및

    상기 휘도신호를 소정 시간만큼 그룹 지연시켜 상기 디멀티플렉서로 출력하는 지연 조정수단을 더 포함하는 것을 특징으로 하는 영상신호의 역광 보정장치.
16. 제13항 또는 제15항에 있어서, 상기 역광 보정장치는,

    상기 역광조건 레벨 분리수단의 출력인 상기 식별데이타를 필드 단위로 저장한 후에, 상기 저휘도/고휘도 선택신호로서 상기 멀티플렉서로 출력하는 필드 메모리를 더 포함하는 것을 특징으로 하는 영상의 역광 보정장치.

Images