KR102495754B1 - 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법 - Google Patents

Abstract

영상 처리 장치는, 피사체를 촬영하여 영상 프레임들을 출력하는 WDR 이미지 센서와, 상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 광역 영상 합성부와, 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성하는 니커브 생성부와, 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 동적 범위 변환부로 이루어진다.

Description

광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법{Image processing apparatus and method for compressing dynamic range of WDR image}

본 발명은 영상 처리 장치에 관한 것으로, WDR 이미지 센서로부터 넓은 동적 레인지(Wide Dynamic Range, WDR)를 갖는 영상을 생성하는 장치 및 방법에 관한 것이다.

비디오 카메라나 디지털 카메라 등에 이용되는 CCD 이미지 센서나 CMOS 이미지 센서와 같은 고체 촬상 소자는 입사광량에 따른 전하를 축적하고, 축적한 전하에 대응하는 전기신호를 출력하는 광전 변환을 한다. 그러나 광전 변환 소자의 전하 축적량에는 상한이 있고, 일정 이상의 광량을 받으면 축적 전하량이 포화 레벨에 이르러 버려 일정 이상의 밝기의 피사체 영역은 포화한 휘도 레벨로 설정되는 이른 바 화이트 노이즈가 발생한다.

이러한 현상을 방지하기 위해, 밝은 피사체에 대해서는 셔터를 고속으로 분할함으로써 노출 시간을 단축해 광전 변환 소자의 전하 축적 기간을 짧게 해 축적 전하량이 포화 레벨에 이르기 이전에 전기 신호를 출력시킨다. 이러한 처리에 의해 피사체에 따른 계조를 정확하게 재현한 화상의 출력이 가능해진다. 그러나 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영에 있어서는 셔터를 고속으로 분할하면, 어두운 부분에서 충분한 노출 시간을 취할 수 없기 위해 SNR(Signal-to-Noise Ratio)이 열화되어 화질이 떨어지게 된다.

이와 같이 밝은 곳과 어두운 곳이 혼재하는 피사체의 촬영 화상에 있어서 밝은 부분, 어두운 부분의 휘도 레벨을 정확하게 재현하기 위해서는 이미지 센서 상에서의 입사광이 적은 화소에서는 긴 노출 시간으로서 높은 SNR을 실현하면서도, 입사광이 많은 화소에서는 포화를 회피하는 별도의 처리가 필요하다.

이러한 처리를 실현하는 기법으로서 연속적으로 노출 시간이 다른 복수의 화상을 촬영해 합성하는 기법이 알려져 있다. 즉 장시간 노출 화상과 단시간 노출 화상을 연속적으로 개별적으로 촬영해, 어두운 화상 영역에 대해서는 장시간 노출 화상을 이용해, 장시간 노출 화상에서는 흰색이 되어 버리는 밝은 화상 영역에서는 단시간 노출 화상을 이용하는 합성 처리에 의해 하나의 화상을 생성하는 기법, 넓은 동적 레인지(WDR; wide dynamic range) 기술이 개발되고 있다.

이와 같이 WDR 기술을 이용하면 복수가 다른 노출 화상을 합성하여 다이내믹 레인지의 넓은 화상을 얻을 수 있다. 예를 들어, 실내의 창가와 같은 역광이 존재하는 장소에서 촬영할 경우나, 야경과 같이 명부와 암부가 혼재해 있는 경우에서 촬영할 경우, 또는 스포츠 경기 등 햇볕에 의한 명부와 그늘에 의한 암부가 혼합된 장면을 촬영하는 경우 등 다양한 촬상 환경에서, WDR 기술을 적용하여 보다 자연스러운 영상을 획득할 수 있는 것이다.

도 1은 일반적인 WDR 프레임 생성 기술의 일 예를 보여준다. 여기에는 120 fps(frame per second)를 지원하는 이미지 센서에서 4개 서브채널을 합성하여 하나의 WDR 프레임을 합성하는 경우가 도시된다. 원래의 서브채널은 120 fps가 지원된다고 하더라도 4개의 서브채널이 하나의 WDR 프레임으로 합성되므로 실제로는 30fps까지만 허용되는 것이다. 이 때, 4개의 서브채널은 각각 상이한 셔터 시간(노출 시간)으로 촬영된 것으로 각각 VL(very long), L(long), S(short), VS(very short)의 셔터 시간을 가질 수 있다. 이와 같이 상이한 셔터 시간으로 인하여 4개의 서브채널은 서로 다른 휘도를 가진다.

그런데, 이와 같은 WDR 프레임은 각각의 서브채널보다 넓은 동적 범위(dynamic range)를 같기 때문에 한정된 동적 범위를 갖는 표시 장치(예: 디스플레이 장치, 영상 표시 단말 등)에서의 출력을 위해서는 상기 동적 범위를 축소(압축)할 필요가 있다.

예를 들어, 각각의 서브채널이 12비트이고 상기 표시 장치에서 표시 가능한 동적 범위도 12비트라고 하면, 4개의 서브채널을 합성한 WDR 프레임은 각각의 서브채널의 게인(gain)과 오버랩 범위에 따라 23~24비트로 동적 범위가 상당히 증가한다. 따라서, 이와 같이 증가된 동적 범위를 다시 12비트로 압축할 필요가 있는 것이다.

그러나, 종래에는 상기 동적 범위 압축에 있어서 각각의 서브채널이 갖는 고유의 특성을 충분히 반영하지 못하였고 주로 고정된 니커브(knee curve)를 사용할 뿐이어서, 서브채널의 고유 특성에도 부합하지 않는다. 반면에, 장면(scene) 분석 기반으로 니커브를 생성한다고 하더라도 장면의 변화에 따라 지나치게 민감하게 압축 변환이 이루어지면 영상 아티팩트(artifact)가 발생하는 문제도 있다.

따라서, 다중 채널 기반의 WDR 프레임 기술에 있어서, 장면 기반으로 동적 범위를 압축하되, 각각의 서브채널의 특성을 충분히 반영할 수 있는 동적 범위 압축 방식을 창안할 필요가 있다.

한국 특허 공보 제895,207호 (2009. 4. 21. 등록)

전술한 본 발명이 이루고자 하는 기술적 과제는, 다중 채널 기반의 WDR 프레임의 동적 범위 압축에 있어서, 각각의 서브채널의 특성을 충분히 반영할 수 있는 영상 처리 장치 및 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 다중 채널 기반의 WDR 프레임의 동적 범위 압축에 있어서, 각각의 서브채널의 지정 영역 및 포화 영역의 분포를 종합적으로 고려한 영상 처리 장치 및 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 장치는, 피사체를 촬영하여 영상 프레임들을 출력하는 WDR 이미지 센서; 상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 광역 영상 합성부; 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성하는 니커브 생성부; 및 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 동적 범위 변환부를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 방법은, WDR 이미지 센서에 의해 피사체를 촬영하여 영상 프레임들을 출력하는 단계; 상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 단계; 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들 각각에 대해, 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하는 단계; 상기 추출 영역에 포함되는 화소들의 수를 카운트하는 단계; 상기 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출하는 단계; 상기 산출된 통합 히스토그램으로부터 니커브를 생성하는 단계; 및 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 단계를 포함한다.

본 발명에 따른 동적 범위 압축 장치 및 방법에 따르면, 영상이 촬영되는 환경에 따라 적응적으로, WDR 프레임의 동적 범위를 압축할 수 있게 함으로써 화질의 열화를 감소시킬 수 있는 장점이 있다.

또한, 상기 WDR 프레임의 동적 범위의 압축에 있어서, 상기 WDR 프레임을 합성하기 위한 서브채널들 각각의 영상 특성이 종합적으로 반영되기 때문에, 사용자에게 시각적으로 매우 자연스러운 WDR 프레임을 제공할 수 있는 장점도 있다.

도 1은 일반적인 WDR 프레임 생성 기술의 일 예를 보여주는 도면이다.
도 2는 본 발명의 실시 형태와 관련된 영상 처리 장치를 도시한 블록도이다.
도 3은 메모리 억세스부의 구성을 보다 자세히 보여주는 블록도이다.
도 4는 도 2의 광역 영상 생성부의 세부 구성을 보여주는 블록도이다.
도 5는 도 2의 광역 영상 합성부에서 수행되는 서브채널 합성 과정을 보여주는 블록도이다.
도 6은 도 2의 니커브 생성부의 세부적인 구성을 보여주는 블록도이다.
도 7은 시간의 흐름에 따른 복수의 WDR 유닛 및 이에 속하는 복수의 서브채널의 예를 보여주는 도면이다.
도 8은 각각의 서브채널을 지정 영역과 포화 영역으로 분할하고 카운트하는 구체적인 방법을 보여주는 도면이다.
도 9는 동일한 셔터 속도를 갖는 서브채널에 대해 4개의 연속된 프레임을 참조하여 추출 영역을 설정하는 예를 보여주는 도면이다.
도 10은 총 16개의 서브채널에서 얻어진 추출 영역의 개념을 보여주는 도면이다.
도 11은 통합 히스토그램의 예를 보여주는 도면이다.
도 12는 통합 히스토그램의 각각에 구간에 대응되는 가중치를 나타낸 도면이다.
도 13은 도 6의 최대 레벨 감지부에서의 동작을 자세히 보여주는 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 니커브 함수를 보여주는 도면이다.
도 15는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 2는 본 발명의 실시 형태와 관련된 영상 처리 장치(100)를 도시한 블록도이다.

피사체로부터의 출사된 반사광은 촬영 렌즈(10)를 통해 WDR 이미지 센서(20)로 유도되고, WDR 이미지 센서(20)에서 영상 데이터(전기적 신호)로 변환된다. WDR 이미지 센서(20)는 CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등과 같은 고체 촬상 소자로 구현될 수 있다. WDR 이미지 센서(120)는 R(red), G(green), B(blue)의 3색의 컬러 필터가 베이어(bayer) 배열된 컬러 대응 센서일 수 있다. 일 실시예에 있어서, 화소 데이터는 R→G→R→G→...의 순서로 출력되는 화소열과 B→G→B→G→의 순서로 출력되는 화소열이 교대로 반복되어 출력된다. 단, 이 출력순서는 일례이며 WDR 이미지 센서(120)가 갖는 컬러 필터의 배열에 따라 출력되는 색의 순서가 달라질 수 있다.

또한, WDR 이미지 센서(20)는 WDR 기능을 지원하며, 복수의 영상 채널(영상 출력 채널)을 통해 각각의 대응되는 서브채널들(예: 도 1에서는 4개의 서브채널들이 존재함)을 제공한다. 상기 서브채널들은 서로 다른 촬영 조건에서 촬영된 영상 데이터로서 하나의 WDR 프레임을 합성하기 위해 사용되는 기초 영상들이다.

이러한 하나의 WDR 프레임을 합성하기 위한 서브채널들의 갯수, 즉 WDR 모드는 미도시된 WDR 모드 설정부에 의해 변경될 수 있다. 예를 들어, 현재 모드가 4개의 서브채널을 합성하는 4 WDR 모드일 때, 촬영 렌즈(10)로 유입되는 광량이 부족하여 상기 휘도가 제1 기준값보다 낮으면, 2개의 서브채널을 합성하는 2 WDR 모드로 변경될 수 있다. 물론, 휘도가 충분한 경우에는 상기 2 WDR 모드에서 상기 4 WDR 모드로 재차 변경될 수도 있다.

메모리 억세스부(30)는 WDR 이미지 센서(20)로부터 제공되는 베이어 화소열을 순차적으로 누적하여 서브채널들, 예를 들어, VL(very long), L(long), S(short), VS(very short)과 같은 4개의 서브채널들을 구성하고, 상기 구성된 서브채널들을 광역 영상 합성부(50) 및 니커브 생성부(60)에 제공한다.

도 3은 메모리 억세스부(30)의 구성을 보다 자세히 보여주는 블록도이다.

먼저, WDR 이미지 센서(20)에서 출력되는 베이어 화소열은 메모리 억세스부(30)의 DMA (Direct Memory Access) 기록부(32)에 순차적으로 누적된다. 누적된 화소열은 각각의 서브채널로 구성되어 입력 채널 버퍼(34)에 저장된다. 입력 채널 버퍼(34)는 WDR 모드, 즉 서브채널의 수(n)에 따라 k번째 프레임에 속하는 서로 다른 셔터 시간을 갖는 서브채널들(VL_k, L_k, S_k, VS_k)을 DMA 판독부(36)에 제공한다. DMA 판독부(36)는 광역 영상 합성부(50) 또는 니커브 생성부(60)의 요청에 따라 상기 서브채널들을 제공한다.

다시 도 2를 참조하면, 광역 영상 합성부(50)는 WDR 이미지 센서(20)로부터 출력된 영상 프레임에 각각 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성한다. 상기 n은 자연수로서 2의 누승인 것이 바람직하다. 광역 영상 합성부(50)에서 수행되는 구체적인 동작은 도 4를 참조하여 후술할 것이다.

또한, 니커브 생성부(60)는 상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성한다. 상기 m은 자연수로서 n과 동일한 것이 바람직하나 반드시 이에 한하는 것은 아니다. 니커브 생성부(60)에서 수행되는 구체적인 동작은 도 6를 참조하여 후술하기로 한다.

동적 범위 변환부(78)는 상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소(압축)함으로써 변환영상을 생성한다. 예를 들어, 동적 범위 변환부(78)는 도 14와 같은 니커브를 이용하여 동적 범위를 압축할 수 있다. 이 중에서 가로축은 동적 범위 변환전 휘도 값(입력 휘도 레벨)이고 세로축은 동적 범위 변환후 휘도 값(출력 휘도 레벨)이다. 상기 입력 휘도 레벨을 상기 출력 휘도 레벨로 변환하는 과정을 통하여, WDR 프레임의 넓은 동적 범위가 서브채널의 동적 범위 정도로 축소된다.

이미지 신호 처리부(80)는 동적 범위 변환부(78)에서 제공되는 변환영상을 후처리한다. 이러한 후처리에는 화이트 밸런스 조절, 감마 처리, 게인 조절 등의 처리가 포함될 수 있다. 영상 부호화부(41)는 화상 메모리(26)에 저장된 WDR 프레임을 읽어 들여 영상 부호화 처리를 하고 처리를 끝낸 데이터를 다시 화상 메모리(26)에 저장한다.

이미지 신호 처리부(80)에서 출력되는 WDR 프레임(정지 영상 또는 동영상)은 화상 메모리(26)에 저장된다. 화상 표시부(28)는 LCD(Liquid Crystal Display), OLED(Organic Light-emitting Diode), CRT(Cathode Ray Tube) 등으로 구성되며, 화상 메모리(26)에 기록된 WDR 프레임을 화면 상에 표시한다. 또한 화상 표시부(28)는 조작부(43)의 지시에 의해 ON/OFF될 수 있다.

영상 부호화부(41)는 화상 메모리(26)에 저장된 WDR 프레임을 읽어 들여 영상 부호화 처리를 하고 처리를 끝낸 데이터를 다시 화상 메모리(26)에 저장한다.

조작부(43)는 시스템 프로세서(40)의 각종의 동작 지시를 입력하기 위한 수단으로서 스위치나 다이얼, 터치패널, 시선 검지에 의한 포인팅, 음성인식 장치 등의 단수 혹은 복수의 조합으로 구성될 수 있다. 조작부(43)를 통해 사용자는 전원 온/오프, WDR 모드 온/오프, 줌 인/아웃, 화상 표시부의 온/오프 등의 다양한 기능을 설정할 수 있다.

센서 제어부(42)는 WDR 이미지 센서(20)에 구비되는 기계식 또는 전자식 셔터를 제어한다. 또한 플래시(미도시 됨)과 연동함으로써 플래시 조광 기능도 제어할 수 있다. 또한, 렌즈 제어부(44)는 촬영 렌즈(10)의 초점 또는 줌 배율을 제어할 수 있다. 또한, 센서 제어부(42)는 시스템 프로세서(40)의 제어에 따라 WDR 모드를 설정할 수 있다. WDR 모드는 하나의 WDR 영상을 합성하기 위해 사용되는 서브채널의 수를 나타내는데 2나 4와 같은 2의 누승으로 설정되는 것이 일반적이다.

시스템 프로세서(40)는 영상 처리 장치(100) 전체를 제어하는 컨트롤러이며, 시스템 프로세서(40)가 실행하는 프로그램은 상기 시스템 메모리(46)에 기록되어 순차 판독되면서 실행된다. 또한 시스템 메모리(46) 내에는 시스템 정보를 기억하는 영역이나 사용자 설정 정보를 기억하는 영역이 구비되어, 다양한 정보나 설정을 추후 기동시에 판독하고 복원하는 것이 가능하다. 이러한 시스템 메모리(46)는 RAM(Random Access Memory), 플래시 메모리(Flash Memory), SSD(Solid State Disk) 등으로 구현될 수 있다.

그리고, 통신부(48)은 USB, IEEE1394, LAN 등의 통신 기능을 가지며, 영상 처리 장치(100)와 다른 장치로부터 제어 신호를 수신하거나 상기 생성된 WDR 프레임을 상기 다른 장치로 전송할 수 있다.

도 4는 광역 영상 생성부(50)의 세부 구성을 보여주는 블록도이다. 광역 영상 생성부(50)는 채널 입력부(52), 서브채널 생성부(54a, 54b, 54k) 및 영상 합성부(50)를 포함하여 구성될 수 있다.

채널 입력부(52)는 메모리 억세스부(30)로부터 n개의 서브채널을 순차적으로 입력 받는다. 서브채널 생성부(54a, 54b, 54k)는 채널 입력부(52)로 순차적으로 입력된 서브채널 각각으로부터 복수의 서브 영상을 생성한다. 영상 합성부(50)는 상기 생성된 복수의 서브 영상들 간의 화소를 합성하여 광역 영상을 생성한다. 여기서 화소(pixel)는 RGB 데이터 포맷, YUV 데이터 포맷, 또는 YCbCr 데이터 포맷을 가질 수 있으나 이에 한정되는 것은 아니다.

도 5는 도 2의 광역 영상 합성부(50)에서 수행되는 서브채널 합성 과정을 보여주는 블록도이다. 제1 서브채널 생성부(54a)는 상대적으로 긴 셔터 시간으로 촬영된 제1 서브 영상(92)을 생성하고, 제2 서브채널 생성부(54b)는 상대적으로 짧은 셔터 시간으로 촬영된 제2 서브 영상(94)을 생성한다.

영상 합성부(50)는 제1 서브 영상(92)에 제1 가중치를 적용하여 제1 가중된(weighted) 서브 영상(96)을 얻고, 제2 서브 영상(94)에 제2 가중치를 적용하여 제2 가중된 서브 영상(98)을 얻은 후, 가중된 서브 영상들(96, 98)내에서 대응되는 위치의 화소들을 가산하여 하나의 WDR 프레임(95)를 생성한다. 이때, 상기 제1 가중치와 상기 제2 가중치의 합은 1일 수 있다. 이와 같은 가중치들은 각각의 서브 영상별로 부여될 수도 있지만, 서브 영상 내의 영역(또는 블록) 별로 부여될 수도 있다. 도 5에서는 2개의 서브 영상들을 합성하는 것으로 예를 들었으나 4개 또는 다른 수의 서브 영상들을 합성하는 경우에도 마찬가지이다.

도 6은 니커브 생성부(60)의 세부적인 구성을 보여주는 블록도이다. 니커브 생성부(60)는 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성한다. 상기 m 및 n은 자연수이며, 특히 2의 누승일 수 있다. 또한, 상기 m 및 n은 같은 값인 것이 바람직하다. 이하의 설명에서는 예시적으로 m과 n은 동일하게 4인 것으로 하여 설명할 것이다.

도 6에서 니커브 생성부(60)는 예를 들어, 서브채널 판독부(62), 영역 분할부(64), 지정영역 처리부(66), 포화영역 처리부(68), 히스토그램 산출부(70), 전처리부(72), 최대 레벨 감지부(74) 및 함수 산출부(76)를 포함하여 구성될 수 있다.

먼저, 서브채널 판독부(62)는 메모리 억세스부(30)로부터 제공된 서브채널들을 각각의 서브채널 별로 읽어 들인다.

영역 분할부(64)는 4×4개 총 16개의 서브채널들 각각에 대한 지정 영역 및 포화 영역을 분할한다. 도 7을 참조하면, 하나의 WDR 유닛은 4개의 서로 다른 셔터 시간을 갖는 서브 채널들(VL, L, S, VS)을 포함한다. 하나의 WDR 유닛은 하나의 WDR 프레임을 생성하기 위한 기본 단위이다. 이러한 WDR 유닛(i=1~4)은 프레임 레이트에 따른 소정의 시간간격으로 연속적으로 생성된다. 이와 같이, 하나의 프레임(또는 WDR 유닛)이 4개의 서브채널을 가질 때, 4개의 프레임을 참조하면 총 16개의 서브채널이 본 발명의 동적 범위 변환을 위한 기초 정보로 이용될 수 있는 것이다.

지정 영역 처리부(66)는 상기 지정 영역의 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하고, 상기 추출 영역에 포함되는 화소들의 수를 카운트한다. 이 때, 상기 지정 영역 처리부(66)는 상기 4×4개의 서브채널들 중에서 동일한 셔터 시간을 갖는 서브채널 간에 상기 추출 영역들을 중복되지 않도록 설정할 수 있다. 여기서, 상기 중복되지 않도록 설정된 추출 영역들은 각각 연속된 서로 다른 4개의 WDR 프레임에 속한다.

한편, 포화 영역 처리부(68)는 상기 분할된 포화 영역에 포함되는 화소들의 수를 카운트한다.

도 8은 각각의 서브채널을 지정 영역과 포화 영역으로 분할하고 카운트하는 구체적인 방법을 보여주는 도면이다. 여기서, 하나의 WDR 프레임(i=1)에 대해 4개의 서브채널의 지정 영역과 포화 영역이 분할된다. 먼저, 각각의 서브 영상은 그대로 서브채널로 입력될 수 있지만 후속 처리 과정에서의 연산량의 감소를 위해 8x8 크기의 블록의 평균을 구하여 하나의 샘플로 다운샘플링하는 과정을 추가로 거칠 수 있다. 이러한 다운샘플링 과정을 통해 얻어진 4개의 서브채널 각각에 대해서 지정 영역과 포화 영역이 결정된다. 여기서 포화 영역은 일정 이상의 휘도를 갖는 화소의 영역으로 시각적으로 구분이 어려운 휘도 포화가 발생한 영역을 의미하고, 지정 영역은 상 포화 영역을 제외한 영역을 의미한다.

지정 영역 처리부(66)는 상기 지정 영역에 대해 하위 문턱값(A)과 상위 문턱값(B)을 설정함으로 그 사이의 휘도 영역, 즉 추출 영역에 포함되는 화소의 수를 카운트한다.

이 때, 상기 추출 영역은 특정 프레임(도 9에서는 i=1)에서 하나의 서브 채널로부터 모두 추출되는 것이 아니라 복수의 프레임으로부터 배분하여 추출되는 것이 바람직하다. 이러한 방식은 동적 영역 압축을 위한 니커브가 너무 빠르게 변화되는 것을 방지할 뿐만 아니라 예측 하지 못한 노이즈가 발생한 일부의 서브채널이 존재하더라도 전체적으로 큰 왜곡이 발생하지 않도록 하기 위함이다. 또한, 특정 프레임에서 하나의 서브 채널로부터 다수의 문턱값을 설정하는 것은 시스템 부하를 가중시켜 실시간 WDR 영상의 원활한 처리에 부담을 줄 수 있기 때문이다.

또한, n개의 서브채널에 대해서 구체적으로 몇 개의 프레임까지를 고려할 것인가도 고려되어야 할 요소이다. 본 발명에서는 동적 범위 압축의 연산량과 영상 변환의 품질을 모두 고려하여, 서브채널의 수와 고려되는 프레임의 수를 일치시키는 것이 바람직하다는 점을 제안한다. 이 점은 다양한 영상을 통한 실제 시뮬레이션을 통해서도 확인할 수 있다.

도 9는 동일한 셔터 속도를 갖는 서브채널(예: VL)에 대해 4개의 연속된 프레임(i=1~4)을 참조하여 추출 영역을 설정하는 예를 보여주는 도면이다. 이 때, 각각의 서브채널상의 추출 영역은 서로 중복되지 않도록 하위 문턱값(A)과 상위 문턱값(B)을 설정하는 것이 바람직하다. 이 경우, 시간적으로 이전 서브채널의 상위 문턱값(예: B₁₁)은 후속 서브채널의 상위 문턱값(예: A₂₁)과 일치한다. 물론 상기 추출 영역들은 약간의 오버랩(overlap)을 갖도록 설정될 수도 있다. 이 경우에는 중복된 영역은 양쪽의 추출 영역에서 모두 카운트될 수도 있을 것이다.

여기서, 기준 값(C₁)보다 큰 영역은 시각적으로 구분이 어려운, 시각적으로 포화된 영역에 해당한다. 다만, 포화 영역은 4개의 서브채널(VL₁ 내지 VL₄)에 모두 존재하므로 포화 영역 처리부(68)는 4개의 포화 영역 모두에 대해 카운트를 할 수도 있지만, 단순히 첫번째 서브채널(VL₁)에서의 포화 영역만을 카운트하는 것도 가능하다.

이와 같이 하나의 서브채널(VL)에 대해 4개의 추출 영역들을 얻을 수 있고, 마찬가지로 다른 서브채널들(L, S, VS)에 대해서도 각각 4개의 추출 영역들을 얻을 수 있으므로, 결국 추출 영역의 개수는 총 16개가 될 것이다. 이 때, 마찬가지로 하나의 서브 채널에서 얻어지는 추출 영역들의 범위도 다른 서브 채널에서 얻어지는 추출 영역들의 범위와 중복되지 않도록 하는 것이 바람직하다. 예를 들어, VL의 경우 상대적으로 어두운 휘도 영역을, VS의 경우 상대적으로 밝은 휘도 영역을, 그리고 L과 S는 그 사이의 휘도 영역을 담당하게 한다.

이상의 과정을 통해, 하나의 프레임이 4개의 서브채널을 갖는 경우, 4개의 프레임까지 고려하면, 총 16개의 서브채널에서 각각 1개의 추출 영역이 얻어진다. 따라서, 도 10에 도시된 바와 같이 하나의 니커브 변환함수를 얻기 위한 기초 자료로서 총 16개의 추출 영역이 얻어진다.

한편, 도 6의 히스토그램 산출부(70)는 상기 추출 영역들에서 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출한다. 구체적으로, 히스토그램 산출부(70)는, 도 11의 예시와 같이, 전술한 과정에서 얻어진 총 16개의 추출 영역에서 카운트된 숫자, 즉 히스토그램을 가장 낮은 휘도 레벨부터 가장 높은 휘도 레벨까지 나열함으로써 상기 통합 히스토그램을 산출한다. 여기서, 가장 셔터 시간이 긴 VL은 암부를 담당하고 가장 셔터 시간이 짧은 VS는 명부를 담당한다. 도 10에서 A_mn 및 B_mn과 같은 형태로 표시된 기호는 m번째 프레임에서 n번째 서브채널이 갖는 하위 문턱값 및 상위 문턱값을 각각 나타낸다. 이러한 개별 문턱값을 통합 히스토그램 내에서의 문턱값들로 표시하면 각각 0 내지 T-₁₆으로 나타낼 수 있다.

전처리부(72)는 상기 산출된 통합 히스토그램을 정규화하고, 상기 정규화된 통합 히스토그램에 대해 구간별 가중치를 적용한다. 상기 정규화 과정은 전체 히스토그램의 합계를 계산하고, 각각의 히스토그램을 상기 합계로 나눔으로써 얻어질 수 있다. 따라서 정규화가 적용된 히스토그램의 총합은 1이 된다.

상기 전처리부(72)는 상기 정규화된 통합 히스토그램에 대해 구간별 가중치를 적용하는데, 바람직하게는 도 12와 같이 휘도 레벨이 낮은 구간과 상기 휘도 레벨이 높은 구간에 상대적으로 높은 가중치를 적용한다. 도 12에서 16개의 막대 그래프는 각각에 대응되는 히스토그램에 대한 가중치의 크기를 나타낸다. 이와 같이, 휘도 레벨이 중간인 구간에 비해 낮거나 높은 구간에 더 높은 가중치를 적용하는 이유는 WDR 영상에서는 암부와 명부가 가시성이 떨어지는 문제가 있으므로 이러한 영역에 보다 높은 비트를 할당하기 위함이다.

전처리부는(72)는 이와 같이 구한 가중치 각각을 구간별로 통합 히스토그램에 승산(multiplying)함으로써, 가중된 통합 히스토그램(weighted integral histogram)을 생성하여 함수 산출부(76)에 제공한다.

다시 도 6을 참조하면, 최대 레벨 감지부(74)는 셔터 시간이 가장 짧은 서브채널부터 셔터 시간이 가장 긴 서브채널로의 순서로, 상기 포화 영역에 포함되는 화소들의 수가 각각의 서브채널별 최대 문턱값을 넘는가를 기준으로, 최대 레벨 값을 감지한다. 이러한 최대 레벨 값은 통합 히스토그램 전체에 대해 단일한 값을 가질 수 있다.

도 13은 최대 레벨 감지부(74)에서의 동작을 자세히 보여주는 흐름도이다. 먼저, 포화 영역 처리부(68)는 포화 영역에 포함된 화소 수를 카운트한다(S1). 포화 영역 처리부(68)는 이러한 화소 수의 카운트와 더불어 선택적으로 IIR 필터(impulse response filter)를 적용할 수도 있다(S2).

그 다음, 최대 레벨 감지부(74)는 VS(very short) 서브채널의 포화 영역 카운트(VS_count)가 소정의 임계치(VS_max)보다 크지 않으면(S3의 N), 상기 VS 서브채널이 갖는 게인 값(VS_gain)을 최대 레벨 값으로 설정한다(S4). 그렇지 않으면(S3의 Y), S5로 진행한다.

S5에서, 최대 레벨 감지부(74)는 S(short) 서브채널의 포화 영역 카운트(S_count)가 소정의 임계치(S_max)보다 크지 않으면(S5의 N), 상기 S 서브채널이 갖는 게인 값(S_gain)을 최대 레벨 값으로 설정한다(S6). 그렇지 않으면(S5의 Y), S7로 진행한다.

S7에서, 최대 레벨 감지부(74)는 L(long) 서브채널의 포화 영역 카운트(L_count)가 소정의 임계치(L_max)보다 크지 않으면(S7의 N), 상기 L 서브채널이 갖는 게인 값(L_gain)을 최대 레벨 값으로 설정한다(S8). 그렇지 않으면(S7의 Y), VL(very long) 서브채널이 갖는 게인 값(VL_gain)을 최대 레벨 값으로 설정한다(S9).

이와 같이, 최대 레벨 감지부(74)는 현재 서브채널의 포화 영역에 포함되는 화소들의 수가 상기 현재 서브채널에 대한 최대 임계치를 넘지 않으면 상기 현재 서브채널의 게인 값을 상기 최대 레벨 값으로 설정하는 것이다. 상기 게인 값이란, 복수의 서브채널들로부터 하나의 WDR 영상을 합성할 때 각각의 서브채널에 부여되는 휘도 상승치(휘도 가중치)를 의미한다.

다시 도 6을 참조하면, 함수 산출부(76)는 상기 통합 히스토그램이 갖는 구간들에 대해 구간별 슬로프를 산출하고, 상기 구간별 슬로프와 상기 감지된 최대 레벨 값을 기초로 전체 휘도 레벨에 대한 니커브 함수를 산출한다. 상기 구간별 슬로프는 예를 들어, 감마 커브를 이용하여 결정될 수 있다.

구체적으로 상기 함수 산출부(76)는 상기 통합 히스토그램에서 상기 카운트된 화소의 수가 적은 제1 구간과, 상기 제1 구간에 후속 인접하고 상기 카운트된 화소의 수가 상기 제1 구간보다 많은 제2 구간이 있을 때, 상기 제1 구간에 비해 상기 제2 구간에서의 슬로프가 상승하도록 상기 니커브 함수를 산출하는 것이 바람직하다.

다음의 수학식 1은 구체적인 구간별 니커브 함수(Knee_curve(x))의 구체적인 예를 보여준다.

여기서, x는 입력 휘도 레벨 값이고 T_k는 통합 히스토그램에서의 문턱값들이고, M은 최대 레벨 감지부(74)에서 설정된 최대 레벨 값이다. 또한, w_k+1은 전처리부(72)에서 계산된 가중된 통합 히스토그램에서 k+1번째 구간에서의 값이다.

한편, 수학식 1에서 계수 a는 다음의 수학식 2와 같이 표현될 수 있다.

이와 같은 과정을 통해 각 구간별 니커브 함수를 전체 영역으로 연결하면 도 14와 같은 통합된 니커브 함수를 얻을 수 있다. 이러한 통합된 니커브 함수는 다음과 같은 몇 가지 특성을 갖는다.

첫째, Knee_curve(x)는 각각의 경계점에서 연속적이다. 예를 들어, 수학식 1을 참조하면, x=T₁에서 Knee_curve(x)는 좌측 구간의 함수와 우측 구간의 함수에서 모두 (T₁/M)²으로 동일하다.

둘째, Knee_curve(x)는 해당 구간에서의 가중된 통합 히스토그램의 값이 클수록 함수의 기울기를 증가시키는 특성을 갖는다. 수학식 1에서

는 w_k+1이 클수록 그 기울기가 커진다는 것을 알 수 있다(도 14의 원형 표시 부분 참조).

셋째, 모든 입력 휘도 레벨(x)은 최대 레벨 값(M)에 의해 스케일링 되어 x/M 의 형태로 입력된다. 따라서, 도 13의 알고리즘에서 포화 영역의 카운트가 어떠한 서브채널의 게인 값으로 결정되는지에 따라 입력 휘도 레벨(x)가 상기 결정된 게인 값에 의해 스케일링되는 효과가 있다.

이러한 본 발명에서 예시한 니커브 함수의 3가지 특성으로 인하여 서브채널의 영상의 특성에 따라 상기 니커브 함수가 적응적으로 산출될 수 있는 것이다. 따라서, 동적 범위 압축을 위해, 최초 4개의 프레임에서 어떤 니커브 함수가 사용되었다면, 다음 4개의 프레임에서는 이와 다른 니커브 함수가 적응적으로 사용될 것이다.

이와 같이 니커브 함수가 결정되면 도 2의 동적 범위 변환부(78)는 상기 니커브 함수를 이용하여 광역 영상 합성부(50)에서 제공되는 합성영상의 동적 범위를 압축한다. 예컨대, 도 14에서 가로 축은 입력 휘도 레벨(x)이고 세로 축은 출력 휘도 레벨인데, 세로 축의 비트량이 가로 축의 비트량보다 적기 때문에 동적 범위가 줄어들게 된다.

지금까지 도 2 내지 4 및 도 6의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

도 15는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 흐름도이다.

먼저, 센서 제어부(42)는 n개의 서브채널로부터 WDR 영상을 합성하기 위한 n WDR 모드로 WDR 이미지 센서(20)를 설정한다(S101). 최초에는 프레임 인덱스 i와 서브채널 인덱스 j는 모두 1로 설정되어 있다.

다음으로, 니커브 생성부(60)의 서브채널 판독부(62)는 i번째 프레임의 j번째 서브채널을 판독하고(S102), 영역 분할부(64)는 상기 판독된 서브채널을 지정영역과 포화영역으로 분할한다(S103).

지정영역 처리부(66)는 상기 분할된 지정영역에 하위 문턱값 및 상위 문턱값(A_ij, B_ij)을 설정하고(S104), 두 문턱값 사이, 즉 추출 영역에 있는 화소의 수(C_ij)를 카운트한다(S105). 마찬가지로 포화영역 처리부(68)는 상기 분할된 포화영역에 있는 화소의 수(D_ij)를 카운트한다(S106).

다음으로 니커브 생성부(60)는 서브채널 카운트인 j가 n보다 작으면(S107의 Y), j는 1만큼 증가되고 다시 S102로 진행한다. 만약 상기 j가 n과 같으면(S107의 N), 니커브 생성부(60)는 프레임 카운트인 i가 m보다 작은지를 판단한다(S108). 이 때, 상기 i가 m보다 크면(S108의 Y) i는 1만큼 증가되고 다시 S102로 진행한다. 만약 i가 m과 같으면(S108의 N), m개의 프레임에 대해 모두 처리가 완료되었으므로 S109로 진행한다.

S109에서, 히스토그램 산출부(70)는 추출 영역에 있는 화소의 수(C_ij)를 참조하여 상기 총 m×n개의 히스토그램을 취합한 통합 히스토그램을 산출한다(S109). 그 후, 전처리부(72)는 상기 통합 히스토그램을 정규화하고(S110), 상기 통합 히스토그램의 각각의 구간에 대해 서로 다른 가중치를 적용하여 가중된 통합 히스토그램을 생성한다(S111).

한편, 최대 레벨 감지부(74)는 포화영역에 있는 화소의 수(Dij)를 참조하여 도 13과 같은 과정을 거쳐 최대 레벨을 감지한다(S112).

함수 산출부(76)는 상기 가중된 통합 히스토그램 및 상기 감지된 최대 레벨을 이용하여 니커브 함수의 구간별 슬로프를 산출하고(S113), 구간별 슬로프를 연결한 전체 구간에서의 니커브 함수를 계산한다(S114).

마지막으로, 동적 범위 변환부(78)는 이와 같이 계산된 니커브 함수를 이용하여 광역 영상 합성부(50)로부터 제공되는 합성영상의 동적 범위를 압축한다(S115).

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이지 않다.

10: 촬영 렌즈 20: WDR 이미지 센서
30: 메모리 억세스부 40: 시스템 프로세서
41: 영상 부호화부 42: 센서 제어부
43: 조작부 44: 렌즈 제어부
46: 시스템 메모리 48: 통신부
50: 광역 영상 합성부 60: 니커브 생성부
62: 서브채널 판독부 64: 영역 분할부
66: 지정영역 처리부 68: 포화영역 처리부
70: 히스토그램 산출부 72: 전처리부
74: 최대 레벨 감지부 76: 함수 산출부
78: 동적 범위 변환부 80: 이미지 신호 처리부

Claims (20)

1. 피사체를 촬영하여 영상 프레임들을 출력하는 WDR 이미지 센서;
   상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 광역 영상 합성부;
   상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들의 휘도 레벨로부터 통합 히스토그램을 산출하고 상기 통합 히스토그램으로부터 니커브를 생성하는 니커브 생성부; 및
   상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 동적 범위 변환부를 포함하는 영상 처리 장치.
2. 제1항에 있어서,
   상기 m과 상기 n은 동일한 값인 영상 처리 장치.
3. 제2항에 있어서,
   상기 동일한 값은 4인 영상 처리 장치.
4. 제1항에 있어서, 상기 니커브 생성부는
   상기 m×n개의 서브채널들 각각에 대한 지정 영역을 분할하는 영역 분할부;
   상기 지정 영역의 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하고, 상기 추출 영역에 포함되는 화소들의 수를 카운트하는 지정 영역 처리부; 및
   상기 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출하는 히스토그램 산출부를 포함하는 영상 처리 장치.
5. 제4항에 있어서, 상기 지정 영역 처리부는
   상기 m×n개의 서브채널들 중에서 동일한 셔터 시간을 갖는 서브채널 간에 상기 추출 영역들을 중복되지 않도록 설정하는 영상 처리 장치.
6. 제5항에 있어서, 상기 중복되지 않도록 설정된 추출 영역들은
   각각 연속된 서로 다른 상기 m개의 영상 프레임에 속하는 영상 처리 장치.
7. 제6항에 있어서, 상기 히스토그램 산출부는
   상기 중복되지 않도록 설정된 추출 영역들에 포함된 화소를 카운트하여 휘도 레벨의 순서대로 나열함으로써 총 m×n개 빈도 데이터를 갖는 통합 히스토그램을 생성하는 영상 처리 장치.
8. 제4항에 있어서, 상기 니커브 생성부는
   상기 산출된 통합 히스토그램을 정규화하고, 상기 정규화된 통합 히스토그램에 대해 구간별 가중치를 적용하는 전처리부를 더 포함하는 영상 처리 장치.
9. 제8항에 있어서, 상기 전처리부는
   상기 정규화된 통합 히스토그램에서, 휘도 레벨이 가장 낮은 구간과 상기 휘도 레벨이 가장 높은 구간을 제외한 구간보다, 상기 휘도 레벨이 가장 낮은 구간과 상기 휘도 레벨이 가장 높은 구간에 더 높은 가중치를 적용하는 영상 처리 장치.
10. WDR 이미지 센서에 의해 피사체를 촬영하여 영상 프레임들을 출력하는 단계;
    상기 영상 프레임들 각각에 포함되는 n개의 서브채널들을 합성하여 광역 영상 프레임을 합성하는 단계;
    상기 영상 프레임들 중에서 m개의 영상 프레임에 포함되는 총 m×n개의 서브채널들 각각에 대해, 휘도 레벨을 기준으로 하위 문턱값 및 상위 문턱값을 갖는 추출 영역들을 설정하는 단계;
    상기 추출 영역에 포함되는 화소들의 수를 카운트하는 단계;
    상기 카운트된 화소들의 수에 기초하여 통합 히스토그램을 산출하는 단계;
    상기 산출된 통합 히스토그램으로부터 니커브를 생성하는 단계; 및
    상기 생성된 니커브를 이용하여 상기 합성된 광역 영상의 동적 범위를 축소하는 단계를 포함하는 광역 영상 처리 방법.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images