KR100672856B1 - 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치 - Google Patents

Abstract

본 발명은 넓은 다이내믹 레인지(dynamic range)를 갖는 영상신호 처리장치에 관한 것으로서, 특히 서로 노출 레벨이 다른 두장의 영상을 이용하여 각각의 영상이 갖는 다이내믹 레인지의 한계를 극복하여 더 넓은 영역의 다이내믹 레인지를 갖는 새로운 영상신호를 출력하는 장치에 관한 것이다.

본 발명에 의하면, 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치에 있어서, 피사체 화상의 장노광 영상에 해당하는 제1 영상신호와; 상기 피사체 화상의 단노광 영상에 해당하는 제2 영상신호와; 상기 제1 및 제2 영상신호의 절대 차분값을 검출하는 차분수단과; 상기 검출된 절대 차분값을 바탕으로 선형적으로 변화하는 가산비율에 따라 상기 제1 및 제2 영상신호의 합성비율을 결정하는 승산계수 연산수단; 및 상기 결정된 합성 비율에 따라 상기 제1 영상신호와 제2 영상신호를 합성하는 합성수단을 포함하는 카메라 영상신호 처리장치를 제시한다.

다이나믹 레인지, 카메라 영상 장치, 차분회로, 승산계수

Description

넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치{Apparatus for expanding dynamic range of camera image processing system}

도 1은 종래의 영상 합성 방법을 설명하기 위한 블록 구성도이다.

도 2는 종래의 또 다른 영상 합성 방법을 설명하기 위한 블록 구성도이다.

도 3은 본 발명에 따른 영상 합성 방법을 설명하기 위한 블록 구성도이다.

도 4는 본 발명에 따른 선형적 승산 비율 결정 방법을 나타낸 그래프이다.

도 5는 본 발명의 실시 예에 따라 비선형적 승산 비율 결정 방법을 나타낸 그래프이다.

도 6은 본 발명의 실시 예에 따라 비선형적 승산 비율 결정 방법을 나타낸 그래프이다.

도 7은 종래의 넓은 다이내믹 레인지 합성 특성을 나타낸 그래프이다.

도 8은 본 발명에 따라 넓은 다이내믹 레인지 합성 특성을 나타낸 그래프이다.

< 도면의 주요부분에 대한 부호의 설명 >

13: 촬상소자 14: 장노광 획득회로

15: 차분회로 16: 단노광 획득회로

17,19: 제 1 및 제 2승산회로 18: 승산계수 연산회로

20: 합성회로

본 발명은 넓은 다이내믹 레인지(dynamic range)를 갖는 영상신호 처리장치에 관한 것이다. 보다 상세하게는 서로 노출 레벨이 다른 두장의 영상을 이용하여 각각의 영상이 갖는 다이내믹 레인지의 한계를 극복하여 더 넓은 영역의 다이내믹 레인지를 갖는 새로운 영상신호를 출력하는 장치에 관한 것이다.

기존의 일반적인 영상신호 처리장치(카메라)는 촬상소자의 전하축적용량에 의한 제한으로 인하여 일반적으로 60dB 정도의 다이내믹 레인지를 갖는다. 이는 인간의 눈이 120dB 이상의 다이내믹 레인지를 갖는 것을 고려 할 때, 그 사용범위가 제한적일 수 밖에 없다.

따라서, 매우 밝은(고휘도) 피사체와 비교적 어두운(저휘도)피사체가 혼재하는 경우에는 고휘도 피사체이거나 저휘도 피사체중 어느 한쪽만이 적정레벨로 얻어지도록 노광시간 등을 제어하지 않을 수 밖에 없었다. 저휘도부분을 적정레벨로 하면 고휘도부분이 포화(saturation)가 되고, 고휘도부분을 적정레벨로 하면 저휘도부분이 검게 뭉게지게 된다.

이러한 영상신호 출력 장치의 문제점을 개선하기 위하여 다양한 방법들이 제시되고 있다. 이를 크게 나누어 보면 고체촬상소자 자체의 특성, 예를 들면 열에 기인한 영상 잡음의 개선을 통하여 폭넓은 다이내믹 레인지를 확보하고자 하는 방법과, 기존의 고체촬상소자 등을 활용하되 노광조건이 다른 연속하는 복수의 영상을 합성하여 더 넓은 다이내믹 레인지를 얻고자 하는 방법이 있다. 현재는 전자의 방법에 의한 성능개선의 어려움으로 인하여 후자에 기반한 연구들이 활발히 이루어지고 있다고 볼 수 있다.

그 대표적인 연구로서는, 1) 2개의 촬상소자를 사용하여 1개의 피사체에 대하여 2개의 다른 영상신호를 생성하고, 2개의 영상신호에 의거하여 넓은 다이내믹레인지의 영상신호를 출력하는 방법이 미국특허 제5,589,880호에 개시되어 있다.

2) 고속셔터와 저속셔터를 1개의 CCD 촬상소자와 조합하여 노광시간이 다른 2개의 영상신호를 생성하고, 적절한 영상신호를 선택하여 출력하는 텔레비전 카메라장치가 한국특허 10-0363827에 개시되어 있다.

3) 피사체로부터의 광을 광스프리터로 광량이 다른 2개의 빔으로 분할하고, 2개의 CCD 소자로 이들 광빔을 수광하여 2개의 영상신호를 생성하는 방식의 촬상장치가 미국특허 제5,420,635호에 개시되어 있다.

4) 전하축적시간을 제어할 수 있는 촬상소자로부터 전하축적시간이 서로 다른 2개의 영상신호를 생성하고, 2개의 신호의 각각에 적당한 가중계수를 인가한 신호를 합성함으로써 어두운 화상으로부터 밝은 화상까지 신호포화나 노이즈가 적은 넓은 다이내믹레인지의 영상신호를 얻는 촬상장치가 미국특허 제5,455,621호에 개시되어 있다.

상기와 같은 기존의 방법들과 본 발명을 비교해 볼 때, 고속셔터와 저속셔터 를 1개의 고체촬상소자와 조합하여 노광시간이 다른 2개의 영상신호를 생성하고 적절한 영상합성신호를 생성하는 방법이라고 할 수 있다.

이러한 방법에 대한 전형적인 블록 구성도는 도 1과 같으며, 그 구성은 촬상소자(1), 장노광 획득회로(2), 단노광 획득회로(3), 제 1 및 제 2승산회로(4)(6), 승산계수 연산회로(5) 및 합성회로(7)로 이루어져 있다.

도 1의 넓은 다이내믹레인지 영상신호(w)에 있어서, 단노광 영상신호(v2)가 차지하는 최대의 비율인 가산비율(R)을 R%, 장노광 영상신호(v1)의 승산계수를 L, 단노광 영상신호(v2)의 승산계수를 S라 하면, 승산계수(L, S)는 하기의 수학식 1과 같이 고정의 계수가 된다.

L = (100% - R%)/100%

S = R%/100%

상기의 수학식에서와 같이 L + S = l 이다. 이것은 장노광 영상신호(vl)와 단노광 영상신호(v2)가, 각각 최대의 입력레벨인 100% 레벨이 입력된 경우에도 가산후의 신호레벨이 100% × L + 100% ×S = 100%가 되어 넓은 다이내믹레인지 영상신호(w)가 100% 레벨이내에 수습되도록 하기 위함이다.

즉, 가산후의 신호레벨이 100%를 넘어서면 카메라장치의 최종출력이 100%로 규제되어 있어 100%이상의 신호성분은 100%로 포화(Saturation)되어 넓은 다이내믹레인지의 영상신호가 인출되지 않게 되기 때문이다.

그러나 이러한 방법에 있어서 가산비율 R = 50으로 하고, 단노광 영상신호 (v2)의 피크치가 영상신호의 포화레벨 100%보다 작은 60%레벨의 경우, 가산후의 넓은 다이내믹레인지 영상신호(W)의 진폭은 100% ×L(0.5) + 60% ×S(0.5) = 80%가 되어 영상신호의 포화레벨 100%까지 진폭하지 않고, 영상신호의 출력레벨 100%를 온전히 활용할 수 없기 때문에 콘트라스트가 낮은 영상이 되는 문제점이 발생되었다.

이러한 문제점을 개선하기 위한 하나의 방법이 한국특허 10-036827호라고 할 수 있으며, 이에 대한 블록 구성도는 도 2와 같다. 그 구성은 피크치 검출회로(8), 제 1 및 제 2 승산회로(9)(11), 승산계수 연산회로(10) 및 합성회로(12)로 이루어져 있다.

도 2의 가장 큰 특징은 승산계수의 확정에 단노광 영상의 피크치(8)를 검출하여 이를 승산계수회로에 반영하여 어떠한 경우에도 100%의 컨트라스트를 활용하고자 하였다. 그러나, 이러한 방법도 영상의 피크치의 변화에 따라 전체 영상의 밝기가 급격히 변할 수 있는 단점을 항상 가지고 있다고 할 수 있다.

이러한 기존의 방법은 위에서 언급한 내용 이외에도 도 7에서 보는 바와 같이 광량에 따라 신호 출력이 연속적이지 아니하고 두 직선에 의하여 불연속적으로 변하게 되어 자연스러운 영상을 획득하는 것이 어렵게 된다. 물론 이러한 특성을 보완하기 위하여 도 1,2에 도시된 합성회로(7, 12)에서 비선형적으로 곡선 보간을 할 수 있으나 실시간을 요구하는 시스템의 특성을 고려할 때 계산상의 복잡성 증가가 필연적이라고 하겠다.

본 발명은 도 8에서 보는바와 같이 이러한 문제점을 제거하여 합성된 넓은 다이내믹레인지의 영상이 광량의 증가에 따라 곡선 형태의 연속적인 영상신호의 실현을 구현하는 것이다.

이에 본 발명은 상기한 문제점을 해결하기 위한 것으로서 본 발명은 고속셔터와 저속셔터를 1개의 촬상소자와 조합하여 노광시간이 다른 2개의 영상신호를 생성하고 적절한 합성방법에 의하여 넓은 다이나믹 레인지 영상을 획득하는 방법에 있어서, 광량의 증가에 따른 영상신호가 곡선에 따른 연속적인 신호가 되도록 하는 카메라 영상신호 처리장치를 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 기술적 사상으로서 본 발명은

넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치에 있어서,

피사체 화상의 장노광 영상에 해당하는 제1 영상신호와;

상기 피사체 화상의 단노광 영상에 해당하는 제2 영상신호와;

상기 제1 및 제2 영상신호의 절대 차분값을 검출하는 차분수단과;

상기 검출된 절대 차분값을 바탕으로 선형적으로 변화하는 가산비율에 따라 상기 제1 및 제2 영상신호의 합성비율을 결정하는 승산계수 연산수단; 및

상기 결정된 합성 비율에 따라 상기 제1 영상신호와 제2 영상신호를 합성하는 합성수단을 포함하는 카메라 영상신호 처리장치를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 구성 및 작용에 대하여 좀 더 상세히 살펴보기로 한다.

도 3은 본 발명에 따른 영상 합성 방법을 설명하기 위한 블록 구성도이다.

도 3을 살펴보면, 본 발명은 촬상소자(13)로부터 장노광 및 단노광 영상신호(v1과 v2)를 획득하는 장노광/단노광 획득회로(14)(16)와; 상기 두 영상 신호의 차분값을 계산하는 차분회로(15)와; 상기 차분회로(15)로부터 얻어지는 차분영상(dv)과 차분영상값에 따라 변화하는 승산계수(L,S)를 만들어 내기 위한 승산비율계수(Rls)를 입력 하여 승산계수(L,S)를 만들어내는 승산계수 연산회로(18)와; 상기 두 영상 신호의 승산 계수(L,S)를 각 영상에 곱하는 제 1 및 제 2승산회로(17)(19); 및 상기 승산에 의해 얻어진 두 영상(vL과 vS)을 합성하는 합성회로(20)로 구성되어 있다.

본 발명은 도 4에 도시된 바와 같이 각 영상의 동일 위치에서 두 영상의 절대 차분값 |v1-v2|과 승산비율을 결정하는 변수인 승산비율계수(Rls)가 미리 주어지는 경우에, 각 |v1-v2|에 대하여 승산비율(L과 S)을 RC 직선에 따라 결정할 수 있다. 예컨대, |v1-v2|가 a%인 경우에 그에 따른 장노광 승산비율(L)과 단노광 승산비율(S)이 결정됨을 도 4에서 알 수 있다. 따라서 본 발명에서는 모든 영상위치에 대하여 상수의 가산비율을 도입하는 것이 아니라 두 영상의 절대차분값에 따라 그 비율이 선형적으로 달라지는 특성이 있다. 본 발명에서의 승산비율 및 넓은 다이내믹 레인지 영상신호(w)는 다음의 수학식으로 표현될 수 있다.

S = (|v1-v2|/100)*(1-Rls)

L = 1-S

w = v1*L + v2*S

상기 수학식에서의 L과 S가 |v1-v2|에 따라 변하므로 w는 비선형적인 특징을 가지며, 이러한 비선형적인 특성은 도 8에서 볼 수 있는 바와 같이 c1 및 c2 곡선에 의하여 합성 영상출력을 얻을 수 있다. 이는 단노광 영상신호와 장노광 영상신호를 부드럽게 연결할 수 있다는 것을 의미한다. 따라서 합성영상의 결과가 광량 변화에 자연스럽게 대응할 수 있는 방법을 제공한다고 할 수 있다. 이는 기존의 발명에 해당하는 도 7과 비교할 때, 그 차이를 알 수 있다.

특히, 본 발명에서는 두 영상의 가산비율을 두 영상의 절대차분값에 따라 비선형적으로도 합성을 할 수 있는데, 이는 좀 더 다양한 합성비율을 제공하며 이에 해당하는 비선형 합성비율이 도 5 및 도 6과 같다. 도 5는 다항식 형태의 곡선에 의한 합성비율 결정방법이며, 도 6은 지수함수에 의한 합성비율 결정방법을 보여주고 있다.

이상에서와 같이 본 발명에 의하면, 노광시간이 다른 2개의 영상신호를 생성하고 적절한 합성방법에 의하여 넓은 다이나믹 레인지 영상을 획득하는 방법에 있어서, 광량의 증가에 따라 영상신호가 곡선 형태의 연속적인 신호가 되도록 하는 영상신호를 얻을 수 있다.

Claims (2)

1. 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치에 있어서,

   피사체 화상의 장노광 영상에 해당하는 제1 영상신호와;

   상기 피사체 화상의 단노광 영상에 해당하는 제2 영상신호와;

   상기 제1 및 제2 영상신호의 절대 차분값을 검출하는 차분수단과;

   상기 검출된 절대 차분값을 바탕으로 선형적으로 변화하는 가산비율에 따라 상기 제1 및 제2 영상신호의 합성비율을 결정하는 승산계수 연산수단; 및

   상기 결정된 합성 비율에 따라 상기 제1 영상신호와 제2 영상신호를 합성하는 합성수단을 포함하는 카메라 영상신호 처리장치.
2. 청구항 1에 있어서, 상기 승산계수 연산수단에서는 검출된 절대 차분값을 바탕으로 비선형적으로 변화하는 가산비율에 따라 상기 제1 및 제2 영상신호의 합성비율을 결정하는 것을 특징으로 하는 카메라 영상신호 처리장치.

Images