KR102615738B1 - 영상 처리 장치 및 방법 - Google Patents

Abstract

이미지 센서로부터 넓은 동적 레인지(WDR)를 갖는 영상을 생성하는 영상 처리 장치는, 피사체를 촬영하여 복수의 영상 채널을 갖는 영상 데이터를 출력하는 이미지 센서와, 상기 출력된 영상 데이터의 휘도 정보에 기초하여, 제1 개수의 서브 영상을 합성하는 제1 모드로부터 제2 개수의 서브 영상을 합성하는 제2 모드로 변경하는 모드 설정부와, 상기 변경된 제2 모드에 따라 상기 이미지 센서의 레지스터 값을 변경하는 레지스터 설정부와, 상기 레지스터 값이 변경된 이미지 센서에서 출력되는 영상 데이터로부터, 상기 제2 개수의 서브 영상을 합성한 영상을 생성하는 이미지 신호 처리부로 이루어진다.

Description

영상 처리 장치 및 방법{Image processing apparatus and method thereof}

본 발명은 영상 처리 장치에 관한 것으로, 이미지 센서로부터 넓은 동적 레인지(Wide Dynamic Range, WDR)를 갖는 영상을 생성하는 장치 및 방법에 관한 것이다.

비디오 카메라나 디지털 카메라 등에 이용되는 CCD 이미지 센서나 CMOS 이미지 센서와 같은 고체 촬상 소자는 입사광량에 따른 전하를 축적하고, 축적한 전하에 대응하는 전기신호를 출력하는 광전 변환을 한다. 그러나 광전 변환 소자의 전하 축적량에는 상한이 있고, 일정 이상의 광량을 받으면 축적 전하량이 포화 레벨에 이르러 버려 일정 이상의 밝기의 피사체 영역은 포화한 휘도 레벨로 설정되는 이른 바 화이트 노이즈가 발생한다.

이러한 현상을 방지하기 위해, 밝은 피사체에 대해서는 셔터를 고속으로 분할함으로써 노출 시간을 단축해 광전 변환 소자의 전하 축적 기간을 짧게 해 축적 전하량이 포화 레벨에 이르기 이전에 전기 신호를 출력시킨다. 이러한 처리에 의해 피사체에 따른 계조를 정확하게 재현한 화상의 출력이 가능해진다. 그러나 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영에 있어서는 셔터를 고속으로 분할하면, 어두운 부분에서 충분한 노출 시간을 취할 수 없기 위해 SNR(Signal-to-Noise Ratio)이 열화되어 화질이 떨어지게 된다.

이와 같이 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영 화상에 있어서 밝은 부분, 어두운 부분의 휘도 레벨을 정확하게 재현하기 위해서는 이미지 센서 상에서의 입사광이 적은 화소에서는 긴 노출 시간으로서 높은 SNR을 실현하면서도, 입사광이 많은 화소에서는 포화를 회피하는 별도의 처리가 필요하다.

이러한 처리를 실현하는 기법으로서 연속적으로 노출 시간이 다른 복수의 화상을 촬영해 합성하는 기법이 알려져 있다. 즉 장시간 노출 화상과 단시간 노출 화상을 연속적으로 개별적으로 촬영해, 어두운 화상 영역에 대해서는 장시간 노출 화상을 이용해, 장시간 노출 화상에서는 흰색이 되어 버리는 밝은 화상 영역에서는 단시간 노출 화상을 이용하는 합성 처리에 의해 하나의 화상을 생성하는 기법, 넓은 동적 레인지(WDR; wide dynamic range) 기술이 개발되고 있다.

이와 같이 WDR 기술을 이용하면 복수가 다른 노출 화상을 합성하여 다이내믹 레인지의 넓은 화상을 얻을 수 있다. 예를 들어, 실내의 창가와 같은 역광이 존재하는 장소에서 촬영할 경우나, 야경과 같이 명부와 암부가 혼재해 있는 경우에서 촬영할 경우, 또는 스포츠 경기 등 햇볕에 의한 명부와 그늘에 의한 암부가 혼합된 장면을 촬영하는 경우 등 다양한 촬상 환경에서, WDR 기술을 적용하여 보다 자연스러운 영상을 획득할 수 있는 것이다.

도 1은 일반적인 WDR 영상 생성 기술의 일 예를 보여준다. 여기에는 120 fps(frame per second)를 지원하는 이미지 센서에서 4개 서브 영상을 합성하여 하나의 WDR 프레임을 합성하는 경우가 도시된다. 원래의 서브 영상은 120 fps가 지원된다고 하더라도 4개의 서브 영상이 하나의 WDR 프레임으로 합성되므로 실제로는 30fps까지만 허용되는 것이다. 이 때, 4개의 서브 영상은 각각 상이한 셔터 시간(노출 시간)으로 촬영된 것으로 각각 VL(very long), L(long), S(short), VS(very short)의 셔터 시간을 가질 수 있다. 이와 같이 상이한 셔터 시간으로 인하여 4개의 서브 영상은 서로 다른 휘도를 가진다.

그런데, 이와 같은 WDR 합성 기술에는 최대 셔터 시간을 충분히 활용할 수 없는 문제가 있다. 즉, WDR을 사용하지 않는 노멀 모드에 비해, 도 1과 같은 4 WDR 모드에서는 이미지 센서의 노출 시간이 1/4 밖에 확보할 수 없기 때문에 이에 따라 이미지 센서에 제공되는 광량도 1/4로 감소된다. 이러한 광량의 부족은 어두운 환경에서 WDR을 적용할 경우 최종 영상의 화질이 현저히 하락하는 문제를 유발한다. 특히, 광량 부족으로 인한 센서 게인이 증가되기 때문에 노이즈가 급격히 증가하게 된다.

미국 특허 공보 제8,625,012호

본 발명이 이루고자 하는 기술적 과제는, 영상이 촬영되는 환경에 따라 다양한 WDR 모드 및 노멀 모드(WDR 합성을 사용하지 않는 모드) 간에 신속한 전환을 통해 화질의 열화를 방지하는 영상 처리 장치 및 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 이와 같은 자동 WDR 모드 전환시에도 지연을 최소화하여 끊김 없는(seamless) WDR 모드 전환을 지원하는 영상 처리 장치 및 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는, 피사체를 촬영하여 복수의 영상 채널을 갖는 영상 데이터를 출력하는 이미지 센서; 상기 출력된 영상 데이터의 휘도 정보에 기초하여, 제1 개수의 서브 영상을 합성하는 제1 모드로부터 제2 개수의 서브 영상을 합성하는 제2 모드로 변경하는 모드 설정부; 상기 변경된 제2 모드에 따라 상기 이미지 센서의 레지스터 값을 변경하는 레지스터 설정부; 및 상기 레지스터 값이 변경된 이미지 센서에서 출력되는 영상 데이터로부터, 상기 제2 개수의 서브 영상을 합성한 영상을 생성하는 이미지 신호 처리부를 포함한다.

또한, 상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 방법은, 이미지 센서를 통해 피사체를 촬영하여 복수의 영상 채널을 갖는 영상 데이터를 출력하는 단계; 상기 출력된 영상 데이터의 휘도에 기초하여, 제1 개수의 서브 영상을 합성하는 제1 모드로부터 제2 개수의 서브 영상을 합성하는 제2 모드로 변경하는 단계; 상기 변경된 제2 모드에 따라 상기 이미지 센서의 레지스터 값을 변경하는 단계; 상기 레지스터 값이 변경된 이미지 센서를 통해 상기 복수의 영상 채널을 갖는 수정된 영상 데이터를 출력하는 단계; 및 상기 수정된 영상 데이터로부터, 상기 제2 개수의 서브 영상을 합성한 영상을 생성하는 단계를 포함한다.

본 발명에 따른 영상 처리 장치 및 방법에 따르면, 영상이 촬영되는 환경에 따라 적응적으로 촬영 모드를 상이하게 함으로써 화질의 열화를 최소화할 수 있는 장점이 있다.

또한, 노멀 모드를 포함한 다양한 WDR 모드 간의 모드 전환에 따라 일일이 ISP(image signal process)를 재설정할 필요 없이도, 이미지 센서 레지스터 값의 변경에 의해 동일한 모드 전환의 효과를 제공한다는 장점이 있다.

따라서, 다양한 WDR 모드 간의 모드 전환시에도 지연에 따른 프레임 손실이 발생하지 않기 때문에 자연스러운 출력 영상을 얻을 수 있다.

도 1은 일반적인 WDR 영상 생성 기술의 일 예를 보여주는 도면이다.
도 2는 본 발명의 실시 형태와 관련된 영상 처리 장치를 도시한 블록도이다.
도 3은 WDR 이미지 센서 및 ISP를 리셋함에 의해 4 WDR 모드에서 2 WDR 모드로 전환하는 과정을 보여주는 도면이다.
도 4는 WDR 이미지 센서의 레지스터 값을 변경하는 방식을 통해, 4 WDR 모드에서 2 WDR 모드로 전환하는 과정을 보여주는 도면이다.
도 5는 WDR 이미지 센서의 레지스터 값을 변경하는 방식을 통해, 4 WDR 모드에서 노멀 모드로 전환하는 과정을 보여주는 도면이다.
도 6은 이미지 신호 처리부의 세부 구성을 보여주는 블록도이다.
도 7은 4 WDR 모드에서 이미지 신호 처리부가 수행하는 동작을 보다 자세히 보여주는 도면이다.
도 8은 2 WDR 모드에서 이미지 신호 처리부가 수행하는 동작을 보다 자세히 보여주는 도면이다.
도 9은 노멀 모드에서 이미지 신호 처리부가 수행하는 동작을 보다 자세히 보여주는 도면이다.
도 10은 광역 영상 생성부의 세부 구성을 보여주는 블록도이다.
도 11은 영상 합성부에서 수행되는 서브 영상 합성 과정을 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 따라 영상 처리 장치에서 수행되는 영상 처리 방법을 설명하는 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 2는 본 발명의 실시 형태와 관련된 영상 처리 장치(100)를 도시한 블록도이다.

피사체로부터의 출사된 광은 촬영 렌즈(20)를 통해 WDR 이미지 센서(30)로 유도되고, WDR 이미지 센서(30)에서 영상 데이터(전기적 신호)로 변환된다. 예를 들어, WDR 이미지 센서(30)는 WDR 기능을 지원하는 이미지 센서로서, 복수의 영상 채널(영상 출력 채널)을 통해 각각의 대응되는 서브 영상들(예: 도 1에서는 4개의 서브 영상들이 존재함)을 제공할 수 있다. 상기 서브 영상들은 서로 다른 촬영 조건에서 촬영된 영상 데이터로서 하나의 WDR 영상을 합성하기 위해 사용되는 기초 영상들이다.

WDR 모드 설정부(60)는 상기 출력된 영상 데이터의 휘도 정보를 산출하고 계산된 휘도 정보에 기초하여, 적합한 WDR 모드를 설정한다. 만약, 현재 모드가 제1 개수의 서브 영상을 합성하는 노멀 모드(서브 영상이 하나여서 WDR 합성이 바이패스 되는 것과 동일한 의미임)일 때, WDR 모드 설정부(60)는 상기 휘도에 따라 제2 개수의 서브 영상을 합성하는 2 WDR 모드로 변경하도록 설정할 수 있다. 예를 들어, 현재 모드가 4개의 서브 영상을 합성하는 4 WDR 모드일 때, 촬영 렌즈(20)로 유입되는 광량이 부족하여 상기 휘도가 제1 기준값보다 낮으면, 2개의 서브 영상을 합성하는 2 WDR 모드로 변경될 수 있다. 물론, 상기 휘도가 매우 낮아서 2 WDR 모드에도 적합하지 않은 경우라면(제1 기준값보다 작은 제2 기준값보다도 작으면), WDR 합성을 비활성화(disable)하는 노멀 모드로 변경할 수도 있다.

상기 모드 변경의 기준이 되는 휘도 정보는 예를 들어, 상기 출력된 영상 데이터에 포함된 화소가 갖는 휘도의 평균 값일 수 있다. 또는, 상기 출력된 영상 데이터에서 일정 이하의 휘도를 갖는 암화소의 수가 전체 화소에서 차지하는 비율이나, 일정 이상의 휘도를 갖는 명화소의 수가 전체 화소에서 차지하는 비율을 기초로 상기 출력된 영상 데이터의 휘도 정보를 정의할 수도 있다. 또한, 상기 영상 데이터의 휘도를 대표할 수 있다면 상기 휘도 정보를 다른 방식으로 정의할 수 있음은 물론이다.

이와 같이, WDR 모드 설정부(60)에서 WDR 모드를 변경하는 것으로 판단하면, 영상 처리 장치(100)는 이에 따라 WDR 이미지 센서(30)뿐만 아니라 이미지 신호 처리부(70) 즉, ISP(Image Signal Processor)를 리셋함으로써 변경된 WDR 모드를 시작할 수 있다. 도 3은 이와 같이 WDR 이미지 센서(30) 및 ISP(70)를 리셋함에 의해 4 WDR 모드에서 2 WDR 모드로 전환하는 과정을 보여준다.

먼저, 4 WDR 모드에 따라 서로 다른 촬영 조건에서 얻어진 총 4개의 서브 영상들(A, B, C, D)이 하나의 WDR 유닛(N-1)을 형성한다. 여기서 WDR 유닛이란 복수의 서브 영상들로부터 하나의 WDR 영상이 얻어지는 단위를, N-1, N, N+1은 상기 WDR 유닛의 시간 순서를 각각 나타낸다. 이 때, WDR 모드 설정부(60)가 WDR 모드를 변경할 것으로 결정하면(90), WDR 이미지 센서(30)와 ISP(70)는 2 WDR 모드로 전환되기 위해 함께 리셋된다. 현재 모드가 2 WDR 모드로 전환된 후에는 2개의 서브 영상들(A와 B, 또는 C와 D)이 하나의 WDR 유닛(N, N+1)을 형성한다.

그런데, 이와 같은 방식으로 WDR 모드를 변경하면 전술한 바와 같이 ISP(70)의 리셋이 필요한데 이러한 리셋을 위해서는 상당한 시간(대략 2~3초)이 소요된다. 따라서, 그 시간 동안에는 영상이 생성되지 않기 때문에 출력 비디오에 일시 정지 현상(frozen)이 발생할 수 있다. 이는 사용자에게는 불편함을 유발함으로써 장치의 성능 및 품질의 저하로 이어질 수 있다.

따라서, 본 발명의 이하에서는, 이와 같이 ISP(70)를 리셋하지 않고도 신속히 WDR 모드를 변경할 수 있는 바람직한 실시예에 대해 설명한다.

도 2에서, WDR 모드 설정부(60)가 현재 모드를 다른 모드로 변경하는 것으로 결정하면, 센서 컨트롤러(42)는 상기 변경된 제2 모드에 따라 WDR 이미지 센서(30)의 레지스터 값을 변경한다. 여기서, 상기 레지스터 값은 센서 컨트롤러(42)가 WDR 이미지 센서(30)의 다양한 촬영 조건을 제어하기 위한 파라미터를 의미한다. 바람직하게는, 상기 레지스터 값은 최대 셔터 시간(Vmax)과, 영상 채널별 설정 셔터 시간이다. 여기서 최대 셔터 시간(Vmax)은 하나의 영상 채널에서 확보 가능한 최대의 노출 시간을 의미하고, 영상 채널별 셔터 시간은 각각의 영상 채널에 실제로 할당되는 셔터 시간들(VL, L, S, VS 등)을 의미한다. 도 3과 같이 ISP(70)를 리셋하는 경우에 비해, WDR 이미지 센서(30)의 레지스터 값을 변경하는 경우는 실질적으로 시간 지연이 거의 발생하지 않는다.

도 4 및 도 5는 각각 이와 같이 WDR 이미지 센서(30)의 레지스터 값을 변경하는 방식을 통해, 4 WDR 모드에서 2 WDR 모드로 전환하는 예와, 4WDR 모드에서 노멀 모드로 전환하는 예를 각각 보여준다.

먼저 도 4를 참조하면, 4 WDR 모드에 따라 서로 다른 촬영 조건에서 얻어진 총 4개의 서브 영상들(A, B, C, D)이 하나의 WDR 유닛(N-1)을 형성한다. 이 후, WDR 모드 설정부(60)가 현재 모드를 2 WDR 모드로 변경할 것으로 결정하면(90), 레지스터 설정부(50)는 WDR 이미지 센서(30)의 최대 셔터 시간과 영상 채널별 설정 셔터 시간을 포함한 레지스터 값을 변경한다. 구체적으로, 상기 최대 셔터 시간은 기존의 영상 채널이 갖던 최대 셔터 시간(Fs)의 2배로 설정되고, 영상 채널별 설정 셔터 시간은 2개의 영상 채널을 주기로 할당된다. 레지스터 설정부(18)는 WDR 이미지 센서(30)의 리셋 타이밍을 제어함에 의해 전자 셔터로서 축적 시간을 제어할 수 있고 이에 따라 상기 레지스터 값을 변경할 수 있다.

따라서, 도 4에서 영상 채널별(A, B, C, D) 설정 셔터 시간은 L(long), S(short), L(long), S(short)로 설정될 수 있다. 하지만 ISP(70)에서 WDR 모드 변경하기 위한 리셋이 수행된 것은 아니므로, WDR 이미지 센서(30)에서 출력되는 영상 채널의 수 즉, WDR 유닛(N)에 포함되는 영상 채널의 수는 여전히 4이다. 이에 비해, 도 3과 같이 ISP 리셋이 실행된 경우에는 WDR 유닛에 포함되는 영상 채널의 수가 2로 감소된다.

도 4에서, 레지스터 설정부(50)가 레지스터 값을 변경한 이후에는 실질적으로 지연 없이 2 WDR 모드로 전환될 수 있다. 즉, 4개의 영상 채널 중에서 앞의 2개의 영상 채널(A, B)을 합성하여 하나의 2 WDR 영상 프레임을 얻고, 나머지 2개의 영상 채널(C, D)를 합성하여 또 하나의 2 WDR 영상 프레임을 얻을 수 있다. 따라서, 도 4에서 나타난 WDR 유닛은 2개(N-1, N)이지만 이로부터 얻어지는 WDR 영상 프레임은 총 3개로 도 3과 마찬가지가 된다.

다음으로 도 5를 참조하면, 4 WDR 모드에 따라 서로 다른 촬영 조건에서 얻어진 총 4개의 서브 영상들(A, B, C, D)이 하나의 WDR 유닛(N-1)을 형성한다. 이 후, WDR 모드 설정부(60)가 현재 모드를 노멀 모드(no WDR 모드 내지 1 WDR 모드)로 변경할 것으로 결정하면(90), 레지스터 설정부(50)는 WDR 이미지 센서(30)의 최대 셔터 시간을 기존의 영상 채널이 갖던 최대 셔터 시간(Fs)의 4배로 설정하고, 영상 채널별 설정 셔터 시간은 4개의 영상 채널에 동일하게 할당한다. 따라서, 영상 채널별(A, B, C, D) 설정 셔터 시간은 모두 동일하게 L(long)로 설정될 수 있다. 여기서도, WDR 이미지 센서(30)에서 출력되는 영상 채널의 수 즉, WDR 유닛(N)에 포함되는 영상 채널의 수는 여전히 4이다.

레지스터 설정부(50)가 레지스터 값을 변경한 이후에는 실질적으로 지연 없이 노멀 모드로 전환될 수 있다. 즉, 동일한 노출시간(L)으로 설정되는 4개의 영상 채널(A, B, C, D) 각각으로부터 별도의 합성과정 없이 4개의 영상 프레임(노멀 프레임)을 얻을 수 있다. 따라서, 도 5에서 나타난 바와 같이 WDR 유닛은 2개(N-1, N)이지만 이로부터 얻어지는 영상 프레임은 총 5개가 된다.

이와 같이, WDR 모드 설정부(60)에서의 모드 변경에 따라, WDR 이미지 센서(30)의 레지스터 값이 변경된 후에는, 도 4 및 도 5에서 도시된 바와 같이 WDR 이미지 센서(30)는 동일한 수의 영상 채널을 갖지만 파라미터가 변경된 수정된 영상 데이터를 출력하게 된다. 이 때, 상기 최대 셔터 시간(Vmax)은 상기 변경되는 WDR 모드가 갖는 서브 영상의 수에 반비례하여 설정됨을 알 수 있다. 예를 들어, 도 4에서는 4 WDR 모드로부터 2 WDR 모드로 변환됨에 따라 Vmax는 2배로 설정되고, 도 5에서는 4 WDR 모드로부터 노멀 모드(no WDR 모드)로 변환됨에 따라 Vmax는 4배로 설정되는 것이다.

한편, WDR 모드의 변경을 위해서는 WDR 이미지 센서(30)에서의 레지스터 값 변경과 더불어, 이에 대응되는 이미지 신호 처리부(70)의 동작도 따라서 수정될 필요가 있다. 이미지 신호 처리부(70)는 기본적으로, 상기 수정된 영상 데이터로부터 변경된 개수(제2 개수)의 서브 영상을 합성한 영상을 생성해야 한다. 특히, 이미지 신호 처리부(70)는 상기 변경된 모드(제2 모드)에 따라 WDR 이미지 센서(30)로부터 출력되는 영상 데이터가 갖는 복수의 영상 채널들(A, B, C, D) 중에서, 상기 제2 개수를 단위로 영상 채널을 판독하여 상기 제2 개수의 서브 영상을 합성한 영상들을 생성한다.

도 6은 이미지 신호 처리부(70)의 세부 구성을 보여주는 블록도이다. 이미지 신호 처리부(70)는 채널 기록부(72), 입력 채널 버퍼(74), 채널 판독부(76), 출력 채널 버퍼(78) 및 광역 영상 생성부(80)를 포함하여 구성될 수 있다. 다만, 입력 채널 버퍼(74) 및 출력 채널 버퍼(78)는 이미지 신호 처리부(70) 외부에 별도로 존재하는 것으로 구성할 수도 있다. 상기 버퍼들(74, 78)은 데이터를 일시적으로 저장하기 위한 저장 매체로서 RAM(Random Access Memory), 플래시 메모리(Flash Memory), SSD(Solid State Disk) 등으로 구현될 수 있다.

채널 기록부(72)는 상기 변경된 현재 모드에 따라 WDR 이미지 센서(30)로부터 출력되는 영상 데이터가 갖는 복수의 영상 채널들을 입력 채널 버퍼(74)에 순차적으로 기록한다. 그리고, 채널 판독부(76)는 WDR 모드 설정부(60)로부터 제공되는 모드 변경 정보(제2 모드로의 변경)에 따라, 입력 채널 버퍼(74)에 기록된 영상 채널 중에서 상기 제2 개수의 영상 채널 단위로 판독하여 출력 채널 버퍼(78)에 기록한다. 이후, 광역 영상 생성부(80)는 출력 채널 버퍼(78)에 기록된 제2 개수의 영상 채널에 해당하는 서브 영상들을 합성하여 이미지 신호 처리부(70)의 외부로 출력한다.

도 7 내지 도 9는 각각 4 WDR 모드, 2 WDR 모드 및 노멀 모드에서 이미지 신호 처리부(70)가 수행하는 동작을 보다 자세히 보여준다. 먼저 4 WDR 모드에 관한 도 7을 참조하면, 이미지 센서 인가 전압(VD)에 따라 이미지 센서(30)는 4개의 영상 채널(A, B, C, D)에 대하여 각각 서로 다른 셔터 속도 VL(very long), L(long), S(short), VS(very short)를 갖는 영상 데이터를 출력한다. 이 때, DMA(Direct Memory Access) 기록부(72)는 현재 모드에 따라 영상 데이터가 갖는 복수의 영상 채널들(A, B, C, D)을 입력 채널 버퍼(74)에 순차적으로 기록한다. 그리고, DMA 판독부(76)는 4개의 영상 채널들(A, B, C, D)을 각각 판독하여 출력 채널 버퍼(78)에 4개의 채널을 그대로 유지한 채로 저장한다. 이에 따라 광역 영상 생성부(80)는 출력 채널 버퍼(78)에 저장된 4개의 채널에 따른 4개의 서브 영상을 합성하여 하나의 WDR 영상을 생성한다. 이 때에는 입력 채널 버퍼(74)에 저장된 채널들의 배열과, 출력 채널 버퍼(78)에 저장된 채널들의 배열이 동일하며, 최종 WDR 영상의 프레임 번호(n)도 일정하다.

다음으로 2 WDR 모드에 관한 도 8을 참조하면, 이미지 센서 인가 전압(VD)에 따라 이미지 센서(30)는 4개의 영상 채널(A, B, C, D)에 대하여 2개를 주기로 반복되는 셔터 속도 L(long), S(short), L(long), S(short)를 갖는 영상 데이터를 출력한다. 이 때, 이미지 센서 인가 전압(VD)이 유지되는 시간, 즉 최대 셔터 속도(Vmax)는 기존의 4 WDR에 비해 2배(Fs*2)로 레지스터 설정부(50)에 의해 설정된다.

DMA(Direct Memory Access) 기록부(72)는 현재 모드에 따라 영상 데이터가 갖는 복수의 영상 채널들(A, B, C, D)을 입력 채널 버퍼(74)에 순차적으로 기록한다. 그리고, DMA 판독부(76)는 4개의 영상 채널들(A, B, C, D)을 각각 판독하여 출력 채널 버퍼(78)에 4개의 채널 중에서 2개의 채널 단위로 출력 채널 버퍼(78)에 저장한다. 이에 따라 광역 영상 생성부(80)는 출력 채널 버퍼(78)에 저장된 2개의 영상 채널(A, B)에 대응되는 2개의 서브 영상을 합성하여 n번째 WDR 영상을 생성한다. 또한, 광역 영상 생성부(80)는 출력 채널 버퍼(78)에 저장된 나머지 2개의 영상 채널(C, D)에 대응되는 2개의 서브 영상을 합성하여 n+1번째 WDR 영상을 생성한다.

다음으로 노멀 모드에 관한 도 9를 참조하면, 이미지 센서 인가 전압(VD)에 따라 이미지 센서(30)는 4개의 영상 채널(A, B, C, D)에 대하여 동일한 셔터 속도 L(long)를 갖는 영상 데이터를 출력한다. 이 때, 이미지 센서 인가 전압(VD)이 유지되는 시간, 즉 최대 셔터 속도(Vmax)는 4 WDR에 비해 4배(Fs*4)로 레지스터 설정부(50)에 의해 설정된다.

DMA(Direct Memory Access) 기록부(72)는 현재 모드에 따라 영상 데이터가 갖는 복수의 영상 채널들(A, B, C, D)을 입력 채널 버퍼(74)에 순차적으로 기록한다. 그리고, DMA 판독부(76)는 4개의 영상 채널들(A, B, C, D)을 각각 판독하여 출력 채널 버퍼(78)에 4개의 채널 각각을 단위로 출력 채널 버퍼(78)에 저장한다. 이에 따라 광역 영상 생성부(80)는 출력 채널 버퍼(78)에 저장된 1개의 영상 채널(A)로부터 n번째 노멀 영상을 생성한다. 마찬가지로, 영상 채널(B), 영상 채널(C), 영상 채널(D)로부터 각각 n+1, n+2, n+3번째 노멀 영상을 생성한다.

도 10은 광역 영상 생성부(80)의 세부 구성을 보여주는 블록도이다. 상기 광역 영상 생성부(80)는 채널 입력부(82), 서브 영상 생성부(84a, 84b, 84k), 영상 합성부(86) 및 영상 후처리부(88)를 포함하여 구성될 수 있다.

채널 입력부(82)는 출력 채널 버퍼(78)에 기록된 상기 제2 모드에 따라 변경된 제2 개수의 영상 채널을 순차적으로 입력 받는다. 서브 영상 생성부(84a, 84b, 84k)는 채널 입력부(82)로 순차적으로 입력된 제2 개수의 영상채널 각각으로부터 제2 개수의 서브 영상을 생성한다. 영상 합성부(86)는 상기 생성된 제2 개수의 서브 영상들 간의 화소를 합성하여 광역 영상을 생성한다. 여기서 화소(pixel)는 RGB 데이터 포맷, YUV 데이터 포맷, 또는 YCbCr 데이터 포맷을 가질 수 있으나 이에 한정되는 것은 아니다. 또한, 영상 후처리부(88)는 영상 합성부(86)에서 합성된 광역 영상(WDR 영상)을 후처리한다. 이러한 후처리에는 화이트 밸런스 조절, 감마 처리, 게인 조절 등의 처리가 포함될 수 있다.

도 11은 영상 합성부(86)에서 수행되는 서브 영상 합성 과정을 보여주는 도면이다.

제1 서브 영상 생성부(84a)는 상대적으로 긴 셔터 시간으로 쵤영된 제1 서브 영상(92)을 생성하고, 제2 서브 영상 생성부(84b)는 상대적으로 짧은 셔터 시간으로 촬영된 제2 서브 영상(94)을 생성한다.

영상 합성부(86)는 제1 서브 영상(92)에 제1 가중치를 적용하여 제1 가중된(weighted) 서브 영상(96)을 얻고, 제2 서브 영상(94)에 제2 가중치를 적용하여 제2 가중된 서브 영상(98)을 얻은 후, 가중된 서브 영상들(96, 98)내에서 대응되는 위치의 화소들 가산하여 하나의 WDR 영상(95)를 생성한다. 이때, 상기 제1 가중치와 상기 제2 가중치의 합은 1일 수 있다. 이와 같은 가중치들은 각각의 서브 영상별로 부여될 수도 있지만, 서브 영상 내의 영역(또는 블록) 별로 부여될 수도 있다. 도 11에서는 2개의 서브 영상들을 합성하는 것으로 예를 들었으나 4개 또는 다른 수의 서브 영상들을 합성하는 경우에도 마찬가지이다.

다시 도 2를 참조하면, 이미지 신호 처리부(70)에서 생성된 WDR 영상(정지 영상 또는 동영상)은 화상 메모리(26)에 저장된다. 화상 표시부(28)는 LCD(Liquid Crystal Display), OLED(Organic Light-emitting Diode), CRT(Cathode Ray Tube) 등으로 구성되며, 화상 메모리(26)에 기록된 WDR 영상을 화면 상에 표시한다. 또한 화상 표시부(28)는 조작부(43)의 지시에 의해 ON/OFF될 수 있다.

영상 부호화부(41)는 화상 메모리(26)에 저장된 WDR 영상을 읽어 들여 압축 처리를 하고 처리를 끝낸 데이터를 다시 화상 메모리(26)에 저장한다.

조작부(43)는 시스템 프로세서(40)의 각종의 동작 지시를 입력하기 위한 수단으로서 스위치나 다이얼, 터치패널, 시선 검지에 의한 포인팅, 음성인식 장치 등의 단수 혹은 복수의 조합으로 구성될 수 있다. 조작부(43)를 통해 사용자는 전원 온/오프, WDR 모드 온/오프, 줌 인/아웃, 화상 표시부의 온/오프 등의 다양한 기능을 설정할 수 있다.

센서 컨트롤러(42)는 WDR 이미지 센서(30)에 구비되는 기계식 또는 전자식 셔터를 제어한다. 또한 플래시(미도시 됨)과 연동함으로써 플래시 조광 기능도 제어할 수 있다. 또한, 렌즈 컨트롤러(44)는 촬영 렌즈(20)의 초점 또는 줌 배율을 제어할 수 있다.

시스템 프로세서(40)는 영상 처리 장치(100) 전체를 제어하는 컨트롤러이며, 시스템 프로세서(40)가 실행하는 프로그램은 상기 시스템 메모리(46)에 기록되어 순차 판독되면서 실행된다. 또한 시스템 메모리(46) 내에는 시스템 정보를 기억하는 영역이나 사용자 설정 정보를 기억하는 영역이 구비되어, 다양한 정보나 설정을 추후 기동시에 판독하고 복원하는 것이 가능하다. 이러한 시스템 메모리(46)는 RAM(Random Access Memory), 플래시 메모리(Flash Memory), SSD(Solid State Disk) 등으로 구현될 수 있다.

통신부(48)은 USB, IEEE1394, LAN 등의 통신 기능을 가지며, 영상 처리 장치(100)와 다른 장치로부터 제어 신호를 수신하거나 상기 생성된 WDR 영상을 상기 다른 장치로 전송할 수 있다.

지금까지 도 2, 도 6 및 도 10의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

도 12는 본 발명의 일 실시예에 따라 영상 처리 장치(100)에서 수행되는 영상 처리 방법을 설명하는 흐름도이다.

먼저, 영상 처리 장치(100)는 WDR 이미지 센서(30) 및 이미지 신호 처리부(70)를 4 WDR로 설정한다(S1). WDR 모드 설정부(60)는 WDR 이미지 센서(30)에서 출력되는 영상 데이터의 휘도를 분석하여(S2), 상기 휘도를 소정의 제1 기준값 및 상기 제1 기준값 1보다 작은 제2 기준값과 비교한다(S3, S4). 그 결과 상기 휘도가 두 기준값보다 모두 크면 계속하여 4 WDR 설정을 유지하고(S1), 상기 휘도가 제1 기준값과 제2 기준값 사이에 있으면 S5로 진행하며, 상기 휘도가 제2 기준값보다 작으면 S12로 진행한다.

S5에서, 레지스터 설정부(50)는 WDR 이미지 센서(30)의 최대 셔터 시간(Vmax)를 현재의 최대 셔터 시간(Fs)의 2배로 설정하고(S5), 4개의 영상 채널별 셔터 시간을 각각 L(long), S(short), L(long), S(short)로 설정한다(S6).

이 때 이미지 신호 처리부(70)의 채널 기록부(72)는 입력 채널 버퍼(74)에 4개의 채널(A, B, C, D)를 기록하고(S7), 채널 판독부(76)는 상기 4개의 채널(A, B, C, D) 중에서 최초 2개의 채널(A, B)을 판독한다(S8). 광역 영상 생성부(80)는 상기 2개의 채널(A, B)에 포함되는 2개의 서브 영상들을 합성하여 하나의 WDR 영상을 생성한다(S9). 마찬가지로, 채널 판독부(76)는 상기 4개의 채널(A, B, C, D) 중에서 나머지 2개의 채널(C, D)을 판독한다(S10). 그리고, 광역 영상 생성부(80)는 상기 2개의 채널(C, D)에 포함되는 2개의 서브 영상들을 합성하여 또 다른 WDR 영상을 생성한다(S11). 이후에는 다시 S2의 휘도 분석 단계로 복귀한다.

한편 S12에서, 레지스터 설정부(50)는 WDR 이미지 센서(30)의 최대 셔터 시간(Vmax)를 현재의 최대 셔터 시간(Fs)의 4배로 설정하고(S12), 4개의 영상 채널별 셔터 시간을 동일하게 L(long)로 설정한다(S13).

이 때 이미지 신호 처리부(70)의 채널 기록부(72)는 입력 채널 버퍼(74)에 4개의 채널(A, B, C, D)를 기록하고(S14), 채널 판독부(76)는 상기 4개의 채널(A, B, C, D) 중에서 최초의 채널(A)를 판독한다(S15). 이 경우에는 서브 영상이 1개만 존재하므로 광역 영상 생성부(80)의 WDR 합성 과정은 바이패스 되어, 상기 단일의 서브 영상이 그대로 노멀 영상으로서 이미지 신호 처리부(70)에서 출력된다(S16). 그 다음부터는 순차적으로 하나씩 다음의 채널을 판독하는 과정(S15)을 거쳐 마찬가지로 노멀 영상이 출력된다(S16). 4개의 채널 중 마지막 채널까지 처리되면(S17의 Y), 다시 S2의 휘도 분석 단계로 복귀한다.

이상에서는, 4 WDR 모드가 2 WDR 모드 또는 노멀 모드(no WDR 모드)로 전환되는 예를 중심으로 설명하였지만, 이에 한하지 않고 임의의 개수의 서브 영상을 합성하는 WDR 모드의 변환 간에도 적용이 가능하다. 또한, 합성되는 서브 영상의 수가 감소되는 WDR 모드의 전환뿐만 아니라 서브 영상의 수가 증가되는 WDR 모드의 전환에도 적용될 수도 있다. 예를 들어, 도 4나 도 5와 같은 전환 과정을 역으로 수행한다면 서브 영상의 수가 증가되는 WDR 모드의 전환도 충분히 구현할 수 있다.

또한, 노멀 모드의 경우 실제로 하나의 서브 영상을 합성하지 않고 WDR 합성 과정이 바이패스 되는 것이지만, 기술적 표현의 통일성을 기하기 위해 본 명세서에서는 노멀 모드를 하나의 영상을 합성하는 과정으로도 기술되어 있음을 이해해야 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이지 않다.

20: 촬영 렌즈 30: WDR 이미지 센서
50: 레지스터 설정부 60: WDR 모드 설정부
70: 이미지 신호 처리부 72: 채널 기록부
74: 입력 채널 버퍼 76: 채널 판독부
78: 출력 채널 버퍼 80: 광역 영상 생성부
82: 채널 입력부 84: 서브 영상 생성부
86: 영상 합성부 88: 영상 후처리부

Claims (20)

1. 피사체를 촬영하여 복수의 영상 채널을 갖는 영상 데이터를 출력하는 이미지 센서;
   상기 출력된 영상 데이터의 휘도 정보에 기초하여, 제1 개수의 서브 영상을 합성하는 제1 모드로부터 제2 개수의 서브 영상을 합성하는 제2 모드로 변경하는 모드 설정부;
   상기 변경된 제2 모드에 따라 상기 이미지 센서의 레지스터 값을 변경하는 레지스터 설정부; 및
   상기 레지스터 값이 변경된 이미지 센서에서 출력되는 영상 데이터로부터, 상기 제2 개수의 서브 영상을 합성한 영상을 생성하는 이미지 신호 처리부를 포함하되,
   상기 제1 모드로부터 상기 제2 모드로의 변경은 이미지 신호 프로세서를 리셋하지 않고 수행되며,
   상기 제1 개수는 상기 제2 개수의 2배이고,
   상기 제1 모드의 WDR 유닛에 속하는 영상 채널의 개수와, 상기 제2 모드의 WDR 유닛에 속하는 영상 채널의 개수는 동일하되, 상기 제1 모드의 WDR 유닛에 속하는 영상 채널이 갖는 최대 셔터 시간에 비해, 상기 제2 모드의 WDR 유닛에 속하는 영상 채널이 갖는 최대 셔터 시간이 2배가 되는, 영상 처리 장치.
2. 제1항에 있어서,
   상기 레지스터 값은 상기 최대 셔터 시간과, 영상 채널별 설정 셔터 시간인 영상 처리 장치.
3. 제2항에 있어서,
   상기 최대 셔터 시간은 상기 제2 개수에 반비례하여 설정되는 영상 처리 장치.
4. 제3항에 있어서,
   상기 제2 모드로 변경된 후에도 상기 이미지 센서에서 출력되는 상기 복수의 영상 채널의 수는 일정한 영상 처리 장치.
5. 제1항에 있어서, 상기 이미지 신호 처리부는
   상기 변경된 제2 모드에 따라 상기 이미지 센서로부터 출력되는 영상 데이터가 갖는 복수의 영상 채널들 중에서, 상기 제2 개수의 영상 채널을 판독하여 상기 제2 개수의 서브 영상을 합성한 영상을 생성하는 영상 처리 장치.
6. 제5항에 있어서, 상기 이미지 신호 처리부는
   상기 변경된 제2 모드에 따라 상기 이미지 센서로부터 출력되는 영상 데이터가 갖는 복수의 영상 채널들을 입력 채널 버퍼에 순차적으로 기록하는 채널 기록부;
   상기 입력 채널 버퍼에 기록된 영상 채널 중에서 상기 제2 개수의 영상 채널을 판독하여 출력 채널 버퍼에 기록하는 채널 판독부; 및
   상기 출력 채널 버퍼에 기록된 상기 제2 개수의 영상 채널에 해당하는 서브 영상을 합성하는 광역 영상 생성부를 포함하는 영상 처리 장치.
7. 제6항에 있어서, 상기 광역 영상 생성부는
   상기 출력 채널 버퍼에 기록된 상기 제2 개수의 영상채널 각각으로부터 상기 제2 개수의 서브 영상을 생성하는 서브 영상 생성부; 및
   상기 생성된 제2 개수의 서브 영상들 간의 화소를 합성하여 광역 영상을 생성하는 영상 합성부를 포함하는 영상 처리 장치.
8. 제7항에 있어서, 상기 영상 합성부는
   상기 제2 개수의 서브 영상별로, 또는 상기 제2 개수의 서브 영상에 포함된 영역별로 서로 다른 가중치를 부여하여 합성함으로써 상기 광역 영상을 생성하는 영상 처리 장치.
9. 제1항에 있어서,
   상기 제1 개수 및 상기 제2 개수는 1 이상의 정수인 영상 처리 장치.
10. 이미지 센서를 통해 피사체를 촬영하여 복수의 영상 채널을 갖는 영상 데이터를 출력하는 단계;
    상기 출력된 영상 데이터의 휘도에 기초하여, 제1 개수의 서브 영상을 합성하는 제1 모드로부터 제2 개수의 서브 영상을 합성하는 제2 모드로 변경하는 단계;
    상기 변경된 제2 모드에 따라 상기 이미지 센서의 레지스터 값을 변경하는 단계;
    상기 레지스터 값이 변경된 이미지 센서를 통해 상기 복수의 영상 채널을 갖는 수정된 영상 데이터를 출력하는 단계; 및
    상기 수정된 영상 데이터로부터, 상기 제2 개수의 서브 영상을 합성한 영상을 생성하는 단계를 포함하되,
    상기 제1 모드로부터 상기 제2 모드로의 변경은 이미지 신호 프로세서를 리셋하지 않고 수행되며,
    상기 제1 모드로부터 상기 제2 모드로 변경될 때, 상기 서브 영상의 개수는 변경되지만 각각의 모드에서 WDR 유닛에 속하는 영상 채널의 개수는 그대로 유지되는, 영상 처리 방법.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제