KR20110082421A

KR20110082421A - 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법

Info

Publication number: KR20110082421A
Application number: KR1020100002385A
Authority: KR
Inventors: 조승기; 홍현석; 한희철; 최양림; 이용주
Original assignee: 삼성전자주식회사
Priority date: 2010-01-11
Filing date: 2010-01-11
Publication date: 2011-07-19
Also published as: US8547451B2; CN102122388B; CN102122388A; US20110169980A1; KR101643319B1

Abstract

소정의 영역 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성하는 이미지 센서와 제 1 이미지를 동일한 노출 시간을 가지는 영역들로만 구성되는 이미지들로 분리하는 이미지 분리부와 분리된 이미지들을 제 1 이미지와 동일한 해상도를 갖도록 복원하는 이미지 복원부와 복원된 이미지들을 하나의 제 2 이미지로 합성하는 이미지 합성부를 포함하는 하이 다이나믹 레인지 영상 획득 장치가 개시되어 있다.

Description

하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법{Apparatus and Method for obtaining high dynamic range image}

본 발명의 일 실시예는 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 노출 시간을 제어하여 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법에 관한 것이다.

이미지의 다이나믹 레인지(dynamic range)란 이미지에서 어두운 부분에서 밝은 부분까지의 휘도를 표현할 수 있는 범위를 의미한다. 다이나믹 레인지를 조절하는 과정은 이미지의 휘도 등 밝기를 나타내는 픽셀값을 조정함으로써 이루어진다. 최근 각광받고 있는 하이 다이나믹 레인지(high dynamic range, HDR)를 구현하는 방법은 크게 3가지로 분류될 수 있다.

첫 번째 분류는 이미지센서에서 출력된 이미지 데이터를 이미지 시그널 프로세싱에서 알고리즘을 이용해서 다이나믹 레인지와 화질을 향상시키는 기술이다. 대표적인 기술은 감마 보정(Gamma-Correction) 또는 레티넥스 이미지 향상(Retinex Image Enhancement) 등이 있다.

두 번째 분류는 노출의 량이 다른 2장 이상의 이미지를 얻고 이미지를 합성하여 다이나믹 레인지를 향상시키는 기술이다. 이미지를 얻는 방법은 셔터 속도를 다르게 하여 2장의 사진을 찍어서 이미지 데이터를 얻는다. 그리고 적합한 이미지 시그널 프로세싱 알고리즘을 적용하여 이미지를 합성하고 보정하는 방식이다.

세 번째 분류는 이미지 센서에서 서로 다른 감도(Sensitivity)를 가지는 픽셀을 한 픽셀에 배치하여 두 개의 이미지 데이터를 얻는 방식이다. 동일한 노출시간에 서로 다른 감도를 가지는 픽셀에서 생성된 픽셀 데이터는 노출이 다르게 하여 생성된 이미지 데이터와 같은 효과를 가지며 두 픽셀에 의해 생성된 이미지 데이터를 합성하고 보정하여 하이 다이나믹 레인지 영상을 얻는 기술이다.

본 발명이 해결하고자 하는 기술적 과제는 라인 별로 노출 시간을 달리하여 획득한 이미지를 이용하여 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법을 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 하이 다이나믹 레인지(High Dynamic Range, HDR) 영상 획득 장치는 라인 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성하는 이미지 센서; 상기 제 1 이미지를 동일한 노출 시간을 가지는 라인들로만 구성되는 이미지들로 분리하는 이미지 분리부; 상기 분리된 이미지들을 상기 제 1 이미지와 동일한 해상도를 갖도록 복원하는 이미지 복원부; 및 상기 복원된 이미지들을 하나의 제 2 이미지로 합성하는 이미지 합성부를 포함한다.

상기 소정의 영역은 라인 별로 구성될 수 있다.

상기 소정의 영역은 두 라인 별로 구성될 수 있다.

상기 소정의 영역은 복수의 픽셀로 구성될 수 있다.

상기 이미지 센서는 라인마다 구비될 수 있다.

상기 라인마다 구비된 노출 시간을 제어하는 셔터를 더 포함할 수 있다.

상기 이미지 센서에 배열되는 픽셀은 어느 하나의 라인에서는 레드 픽셀 및 그린 픽셀이 교대로 배열되고, 다음 라인에서는 블루 픽셀 및 그린 픽셀이 교대로 배열되는 베이어 패턴으로 배열될 수 있다.

상기 이미지 센서에 배열되는 픽셀이 하나의 라인에서 레드 픽셀, 그린 픽셀 및 블루 픽셀이 모두 포함되어 교대로 배열되는 패턴으로 배열된 경우에는, 상기 이미지 센서는 하나의 라인 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성할 수 있다.

상기 이미지 복원부는 분리된 이미지 각각에서 상기 제 1 이미지와 비교하여 손실 라인(missing line)에 인접한 이웃 라인들을 이용한 보간을 수행하여 상기 생략된 라인을 복원할 수 있다.

상기 이미지 복원부는 분리된 이미지 각각에서 노출 시간의 비율에 따른 이득 계수(gain factor)를 이용하여 상기 손실 라인을 복원할 수 있다.

상기 이미지 복원부는 분리된 이미지 각각에서 상기 제 1 이미지와 비교하여 손실 라인에 인접한 이웃 라인의 이득 계수를 이용하여 상기 손실 라인을 복원할 수 있다.

상기 이미지 복원부는 손실 라인에 인접한 이웃 라인의 이득 계수를 이용하는 제 1 방법, 노출 시간의 비율에 따른 이득 계수(gain factor)를 이용하는 제 2 방법 및 손실 라인에 인접한 이웃 라인들을 이용한 보간을 수행하는 제 3 방법 중 적어도 두 개 이상을 조합하여 상기 손실 라인을 복원할 수 있다.

상기 하이 다이나믹 레인지 영상 획득 장치는 상기 제 2 이미지를 화이트 밸런스(white valance, WB), 컬러 보간(color interpolation, CI) 및 감마 보정(gamma correction) 중 적어도 하나를 포함하는 이미지 시그널 프로세싱을 통하여 보정하는 이미지 보정부를 더 포함할 수 있다.

상기 하이 다이나믹 레인지 영상 획득 장치는 상기 이미지 복원부에 의하여 복원된 이미지들을 화이트 밸런스, 컬러 보간 및 감마 보정 중 적어도 하나를 포함하는 이미지 시그널 프로세싱을 통하여 보정하는 이미지 보정부를 더 포함하고, 상기 이미지 합성부는 상기 보정된 이미지들을 하나의 제 2 이미지로 합성할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따라, 하이 다이나믹 레인지 영상 획득 방법은 소정의 영역 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성하는 단계; 상기 제 1 이미지를 동일한 노출 시간을 가지는 영역들로만 구성되는 이미지들로 분리하는 단계; 상기 분리된 이미지들을 상기 제 1 이미지와 동일한 해상도를 갖도록 복원하는 단계; 및 상기 복원된 이미지들을 하나의 제 2 이미지로 합성하는 단계를 포함한다.

도 1은 본 발명의 일 실시예에 따른 하이 다이나믹 레인지 영상 획득 장치에 관한 블록 다이어그램이다.
도 2는 본 발명의 일 실시예에 따른 노출 시간에 관한 그래프를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 베이어 패턴을 가진 이미지 센서에서 라인 별로 노출 시간을 달리하여 이미지가 생성되는 예시를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 베이어 패턴과 다른 컬러 필터 어레이 패턴을 가진 이미지 센서에서 라인 별로 노출 시간을 달리하여 이미지가 생성되는 예시를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 하이 다이나믹 레인지 영상을 획득하는 방법에 관한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 하이 다이나믹 레인지 영상을 획득하는 방법에 관한 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 하이 다이나믹 레인지 영상을 획득하는 방법에 관한 흐름도이다.

첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 하이 다이나믹 레인지(high dynamic range, HDR) 영상 획득 장치에 관한 블록 다이어그램이다.

도 1을 참조하면 하이 다이나믹 레인지 영상 획득 장치(100)는 이미지 센서(110), 이미지 분리부(120), 이미지 복원부(130) 및 이미지 합성부(140)를 포함한다.

이미지 센서(110)는 소정의 영역 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성한다. 일반적으로 이미지 센서(110)는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 찍어내는 장치를 의미한다. 통상적으로 자연계에 존재하는 피사체의 각 부분은 빛의 밝기 및 파장 등이 서로 다르므로, 이미지 센서(110)는 렌즈를 통해 빛의 밝기 및 파장 등에 의해 얻어진 빛 에너지를 전기적인 신호로 변환하는 기능을 수행한다. 이러한 이미지 센서의 대표적인 것으로, 전하결합소자(Charge Coupled Device; 'CCD') 이미지 센서와 상보성 금속 산화막 반도체(Complimentary Metal Oxide Semiconductor; 'CMOS') 이미지 센서가 있다. 이미지 센서(110)는 M*n 개의 픽셀로 이루어져 있으며, 이미지 센서(110)에서 출력되는 이미지 데이터도 M*n 개의 이미지 픽셀 어레이로 구성된다. 하나의 이미지에 대하여 노출 시간은 달리하는 방법은 전기적으로 이미지 센서(110)의 데이터 캡쳐 시간을 제어하거나, 물리적으로 카메라의 셔터를 영역 별로 제어함으로써 구현된다. 소정의 영역은 바람직하게는 적어도 하나의 라인 별로 구성될 수 있다. 따라서, 이미지 센서(110)는 두 라인 별로 노출 시간을 교대로 달리하여 하나의 제 1 이미지를 생성할 수 있다. 이 때, 이미지 센서(110)는 라인마다 별도의 센서 또는 셔터를 구비함으로써, 라인 별로 노출 시간을 제어할 수가 있다. 또한, 소정의 영역은 적어도 두 개 이상의 픽셀로 구성될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 노출 시간에 관한 그래프를 나타내는 도면이다.

도 2를 참조하면, 't'는 시간을 나타내며, 't=FRAME'은 한 프레임의 이미지를 찍기 위한 시간을 나타내며, 't=LET'은 하나의 이미지에서 소정의 라인에 대한 상대적으로 긴 노출 시간(long exposure time, LET)을 나타내며, 't=SET'는 하나의 이미지에서 소정의 라인에 대한 상대적으로 짧은 노출 시간(short exposure time, SET)을 나타낸다.

이미지 센서(110) 자체로는 이미지의 밝기 혹은 빛의 세기만을 기록할 수 있기 때문에, 이미지 센서(110)는 컬러 필터가 필요하다. 이미지 센서(110)의 컬러 필터 어레이(color filter array, CFA)에서 각각의 픽셀은 레드(red), 그린(green), 블루(blue) 중 한 가지 색상만을 기록할 수 있다. 이미지 센서(110)에 배열된 픽셀들은 베이어 패턴(bayer pattern)이라고 부르는 모양으로 배열되어 있다. 베이어 패턴에서 어느 한 라인은 레드 픽셀 및 그린 픽셀이 교대로 배열되어 있고, 다음 라인은 그린 픽셀 및 블루 픽셀이 교대로 배열되어 있다. 본 발명의 일 실시예에서, 이미지 센서(110)에 배열된 픽셀이 베이어 패턴으로 배열되어 있는 경우, 두 라인 별로 노출 시간을 달리한다. 만약 한 라인 별로 노출 시간을 달리하는 경우에는 한 라인은 레드 픽셀 및 그린 픽셀 또는 그린 픽셀 또는 블루 픽셀로 이루어져 있어서, 즉, 한 라인은 레드 픽셀, 그린 픽셀 및 블루 픽셀 모두를 포함하고 있지 않기 때문에 컬러 예측(color prediction)이 어려울 수 있다. 따라서, 라인 별로 노출 시간을 달리하더라도, 베이어 패턴에서 레드 픽셀, 그린 픽셀 및 블루 픽셀을 모두 포함하고 있는 두 라인이 동일한 노출 시간을 가지도록 두 라인 별로 노출 시간을 달리하는 것이 요구된다. 이 경우, 더욱 다이나믹 레인지가 넓은 이미지를 획득할 수가 있다.

도 3은 본 발명의 일 실시예에 따른 베이어 패턴을 가진 이미지 센서에서 라인 별로 노출 시간을 달리하여 이미지가 생성되는 예시를 나타내는 도면이다.

도 3을 참조하면, 베이어 패턴(300)에서 어느 한 라인은 레드 픽셀(301) 및 그린 픽셀(302)이 교대로 배열되어 있고, 다음 라인은 그린 픽셀(303) 및 블루 픽셀(304)이 교대로 배열되어 있다. 연속된 두 라인 별로 노출 시간을 달리한다. 처음 두 라인의 경우 상대적으로 긴 노출 시간(LET, 310)을 가지며, 다음 두 라인의 경우에는 이 상대적으로 짧은 노출 시간(SET, 320)을 가진다. 그 다음 두 라인을 기준으로 하여 긴 노출 시간(LET, 330) 및 짧은 노출 시간(SET, 340)이 교대로 도시되어 있다.

도 4는 본 발명의 일 실시예에 따른 베이어 패턴과 다른 컬러 필터 어레이 패턴을 가진 이미지 센서에서 라인 별로 노출 시간을 달리하여 이미지가 생성되는 예시를 나타내는 도면이다.

도 4를 참조하면, 도 4에 도시된 패턴(400)에서 레드 픽셀(401), 그린 픽셀(402) 및 블루 픽셀(403) 모두가 한 라인에 배열되어 있다. 이 경우, 하나의 라인 별로 노출 시간을 달리한다. 한 라인 별로 교대로 긴 노출 시간(LET, 410, 430)과 짧은 노출 시간(SET, 420, 440)이 도시되어 있다.

이미지 분리부(120)는 이미지 센서(110)에서 생성된 제 1 이미지를 분리한다. 구체적으로, 이미지 분리부(120)는 제 1 이미지를 동일한 노출 시간을 가지는 라인들로만 구성되는 이미지들로 분리한다. 예를 들어, 도 3에서와 같이 두 라인 별로 긴 노출 시간(LET)과 짧은 노출 시간(SET) 동안 교대로 노출량을 제어하는 경우에는, 이미지 분리부(120)는 긴 노출 시간(LET)을 가지는 라인들로만 구성되는 이미지와 짧은 노출 시간(SET)을 가지는 라인들로만 구성되는 이미지로 분리한다. 이 경우, 분리된 이미지들의 해상도는 제 1 이미지의 해상도의 반이 된다.

이미지 복원부(130)는 분리된 이미지들을 각각 제 1 이미지와 동일한 해상도를 갖도록 복원한다. 이미지를 복원하는 하나의 방법은 비디오 처리에서 널리 알려진 인터레이스 대 프로그레시브 변환(Interlaced to Progressive Conversion, 이하 'IPC'라고 함)를 이용하는 방법이다. IPC는 인터레이스 신호를 처리하여 프로그레시브 신호로 바꾸는 것을 의미한다. IPC는 두 개의 인접한 라인들 사이의 손실 라인(missing line)을 채워 넣기 위하여 인접한 두 라인을 이용한 보간(interpolation)을 수행한다. 본 발명의 일 실시예에서, 제 1 이미지에서 분리된 이미지들에서 손실 라인을 채워 넣기 위하여 손실 라인과 인접한 두 개의 라인들을 이용한 보간이 수행된다. 보간이 수행되어 손실 라인을 채워 넣는 경우, 각각의 복원된 이미지들은 제 1 이미지와 동일한 해상도를 가지게 된다. 예를 들어, 분리된 이미지가 긴 노출 시간(LET)을 가지는 라인들로만 구성되어 있는 경우, 제 1 이미지에서 짧은 노출 시간(SET)을 가진 라인들이 손실 라인이 되며, 손실 라인에 인접한 긴 노출 시간(LET)를 가지는 두 라인들을 이용한 보간이 수행되어, 손실 라인이 복원되게 된다. 분리된 이미지가 짧은 노출 시간(SET)을 가지는 라인들로만 구성되어 있는 경우에도 동일하게 손실라인을 복원하게 된다. 다만, 두 라인을 기준으로 교대로 노출 시간을 달리한 경우에는, IPC와 다르게 한 라인이 아닌 연속되는 두 라인이 손실 라인이 되므로, IPC와 동일한 알고리즘이 적용되는 것이 아니라, IPC와 유사한 알고리즘이 적용된다.

이미지를 복원하는 다른 방법으로는 이미지 복원부(130)는 분리된 이미지 각각에서 두 노출 시간의 비율에 따른 이득 계수(gain factor)를 이용하여 손실 라인을 복원한다. 이렇게 분리된 이미지를 복원할 경우, 센서가 선형적으로 반응하는 영역에서는 손실 라인을 정확히 복원하는 것이 가능하다. 하지만 센서가 비선형적으로 반응하는 영역에서는 노출 시간의 비율로 구해진 이득 계수는 에러를 내포하게 된다.

따라서, 이미지를 복원하는 또 다른 방법으로는 이미지 복원부(130)는 분리된 이미지 각각에서 손실 라인에 인접한 이웃 라인의 이득 계수를 이용하여 손실 라인을 복원한다.

또한, 위와 같은 방법(두 라인 IPC 방법, 노출 시간 비율에 따른 이득 계수 이용 방법, 인접 이웃 라인의 이득 계수 이용 방법)은 해상도와 아티팩트 발생에 있어서 서로 장단점이 있기 때문에, 해상도를 최적화하면서 아티팩트가 최대한 없도록 하기 위하여, 이미지 복원부(130)는 위와 같은 방법들을 섞어서 적용하여 손실 라인을 복원한다..

이미지 합성부(140)는 동일한 해상도를 가지는 복원된 이미지들을 동일한 해상도를 가지는 하나의 제 2 이미지로 합성한다. 두 이미지를 하나의 이미지로 합성하는 방법은 널리 알려져 있으므로, 그 설명을 생략하기로 한다.

도면에 도시하지는 않았지만, 하이 다이나믹 레인지 영상 획득 장치(100)는 합성된 제 2 이미지를 화이트 밸런스(white valance, WB), 컬러 보간(color interpolation, CI) 및 감마 보정(gamma correction) 중 적어도 하나를 포함하는 이미지 시그널 프로세싱을 통하여 보정하는 이미지 보정부를 더 포함할 수 있다. 또한 이미지 보정부는 복원된 이미지들을 이미지 시그널 프로세싱을 통하여 보정할 수 있다. 이 경우, 이미지 합성부(140)는 보정된 이미지들을 합성하여 제 2 이미지를 생성할 수 있다.

도 5는 본 발명의 일 실시예에 따른 하이 다이나믹 레인지 영상을 획득하는 방법에 관한 흐름도이다.

도 5를 참조하면, 단계 510에서, 소정의 영역 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성된다. 일반적으로 제 1 이미지는 이미지 센서에서 생성된다. 이미지 센서는 M*n 개의 픽셀로 이루어져 있으며, 이미지 센서에서 출력되는 이미지 데이터도 M*n 개의 이미지 픽셀 어레이로 구성된다. 하나의 이미지에 대하여 노출 시간은 달리하는 방법은 전기적으로 이미지 센서의 데이터 캡쳐 시간을 제어하거나, 물리적으로 카메라의 셔터를 영역 별로 제어함으로써 구현된다. 소정의 영역은 바람직하게는 적어도 하나의 라인 별로 구성될 수 있다. 또한 이미지 센서는 두 라인 별로 노출 시간을 교대로 달리하여 하나의 제 1 이미지를 생성할 수 있다. . 이 때, 이미지 센서(110)는 라인마다 별도의 센서 또는 셔터를 구비함으로써, 라인 별로 노출 시간을 제어할 수가 있다. 또한, 소정의 영역은 적어도 두 개 이상의 픽셀로 구성될 수도 있다. 이미지 센서 자체로는 이미지의 밝기 혹은 빛의 세기만을 기록할 수 있기 때문에, 이미지 센서는 컬러 필터가 필요하다. 이미지 센서의 컬러 필터 어레이(color filter array, CFA)에서 각각의 픽셀은 레드(red), 그린(green), 블루(blue) 중 한 가지 색상만을 기록할 수 있다. 이미지 센서에 배열된 픽셀들은 베이어 패턴(bayer pattern)이라고 부르는 모양으로 배열되어 있다. 베이어 패턴에서 어느 한 라인은 레드 픽셀 및 그린 픽셀이 교대로 배열되어 있고, 다음 라인은 그린 픽셀 및 블루 픽셀이 교대로 배열되어 있다. 본 발명의 일 실시예에서, 이미지 센서에 배열된 픽셀이 베이어 패턴으로 배열되어 있는 경우, 두 라인 별로 노출 시간을 달리한다. 만약 한 라인 별로 노출 시간을 달리하는 경우에는 하나의 라인은 레드 픽셀, 그린 픽셀 및 블루 픽셀 모두를 포함하고 있지 않기 때문에 컬러 예측(color prediction)이 어려울 수 있다. 따라서, 라인 별로 노출 시간을 달리하더라도, 베이어 패턴에서 레드 픽셀, 그린 픽셀 및 블루 픽셀을 모두 포함하고 있는 두 라인이 동일한 노출 시간을 가지도록 두 라인 별로 노출 시간을 달리하는 것이 요구된다. 이 경우, 더욱 다이나믹 레인지가 넓은 이미지를 획득할 수가 있다.

본 발명의 일 실시예에서, 이미지 센서에 베이어 패턴이 채용된 경우, 처음 두 라인의 경우 상대적으로 긴 노출 시간(LET)을 가지며, 다음 두 라인의 경우에는 상대적으로 짧은 노출 시간(SET)을 가진다. 즉, 두 라인을 기준으로 하여 긴 노출 시간(LET) 및 짧은 노출 시간(SET)이 교대로 적용되도록 제어된다.

또한, 이미지 센서에서 채용된 컬러 필터 어레이의 패턴이 베이어 패턴과는 달리 레드 픽셀, 그린 픽셀 및 블루 픽셀 모두가 한 라인에 배열되어 있는 경우, 하이 다이나믹 레인지 영상 획득 장치는 하나의 라인 별로 노출 시간을 달리한다. 예를 들어, 하이 다이나믹 레인지 영상 획득 장치는 한 라인 별로 교대로 긴 노출 시간(LET)과 짧은 노출 시간(SET)이 적용되도록 제어한다.

단계 520에서, 제 1 이미지는 동일한 노출 시간을 가지는 영역들로만 구성되는 이미지들로 분리된다. 예를 들어, 소정의 영역이 라인 별로 구성되는 경우, 더욱 구체적으로, 소정의 영역이 두 라인 별로 구성되는 경우에 있어서, 두 라인 별로 긴 노출 시간(LET)과 짧은 노출 시간(SET) 동안 교대로 노출량이 제어되는 경우에는, 긴 노출 시간(LET)을 가지는 라인들로만 구성되는 이미지와 짧은 노출 시간(SET)을 가지는 라인들로만 구성되는 이미지로 분리된다. 이 경우, 분리된 이미지들의 해상도는 제 1 이미지의 해상도의 반이 된다.

단계 530에서, 분리된 이미지들은 제 1 이미지와 동일한 해상도를 갖도록 복원된다. 예를 들어, 분리된 어느 하나의 이미지가 긴 노출 시간(LET)을 가지는 라인들로만 구성되어 있는 경우, 제 1 이미지에서 짧은 노출 시간(SET)을 가진 라인들이 손실 라인이 되며, 손실 라인은 소정의 방법에 의하여 채워지게 된다. 이 경우, 복원된 이미지의 해상도는 제 1 이미지의 해상도와 동일하게 된다.

단계 540에서, 동일한 해상도를 가지는 복원된 이미지들은 동일한 해상도를 가지는 하나의 제 2 이미지로 합성된다. 두 이미지를 하나의 이미지로 합성하는 방법은 널리 알려져 있으므로, 그 설명을 생략하기로 한다.

도 6은 본 발명의 다른 실시예에 따른 하이 다이나믹 레인지 영상을 획득하는 방법에 관한 흐름도이다.

단계 610, 620은 도 5의 단계 510, 520과 유사하다. 다만, 소정의 영역이 라인 별로 구성된 경우이다. 또한, 단계 650은 도 5의 단계 540과 동일하다. 따라서, 이에 대한 설명은 생략하기로 한다.

단계 630 및 단계 640은 분리된 이미지를 복원하는 도 5의 단계 530을 구체화한 단계들이다.

단계 630에서, 분리된 이미지 각각에서 상기 제 1 이미지와 비교하여 손실 라인에 인접한 이웃 라인들을 이용한 보간이 수행되어 손실 라인이 복원된다. 이 방법은 비디오 처리에서 널리 알려진 인터레이스 대 프로그레시브 변환(Interlaced to Progressive Conversion, 이하 'IPC'라고 함)를 이용하는 방법이다. IPC는 두 개의 인접한 라인들 사이의 손실 라인(missing line)을 채워 넣기 위하여 인접한 두 라인을 이용한 보간(interpolation)을 수행한다. 본 발명의 일 실시예에서, 제 1 이미지에서 분리된 이미지들에서 손실 라인을 채워 넣기 위하여 손실 라인과 인접한 두 개의 라인들을 이용한 보간이 수행된다. 보간이 수행되어 손실 라인을 채워 넣는 경우, 각각의 복원된 이미지들은 제 1 이미지와 동일한 해상도를 가지게 된다. 예를 들어, 분리된 이미지가 긴 노출 시간(LET)을 가지는 라인들로만 구성되어 있는 경우, 제 1 이미지에서 짧은 노출 시간(SET)을 가진 라인들이 손실 라인이 되며, 손실 라인에 인접한 긴 노출 시간(LET)를 가지는 두 라인들을 이용한 보간이 수행되어, 손실 라인이 복원되게 된다. 분리된 이미지가 짧은 노출 시간(SET)을 가지는 라인들로만 구성되어 있는 경우에도 동일하게 손실라인이 복원된다. 다만, 두 라인을 기준으로 교대로 노출 시간을 달리한 경우에는, IPC와 다르게 한 라인이 아닌 연속되는 두 라인이 손실 라인이 되므로, IPC와 동일한 알고리즘이 적용되는 것이 아니라, IPC와 유사한 알고리즘이 적용된다.

단계 640에서, 분리된 이미지 각각에서 두 노출 시간의 비율에 따른 이득 계수(gain factor)를 이용하여 손실 라인이 복원된다. 이런 방식으로 분리된 이미지가 복원될 경우, 센서가 선형적으로 반응하는 영역에서는 손실 라인이 정확히 복원되는 것이 가능하다. 하지만 센서가 비선형적으로 반응하는 영역에서는 노출 시간의 비율로 구해진 이득 계수는 에러를 내포하게 된다.

단계 650에서, 분리된 이미지 각각에서 손실 라인에 인접한 이웃 라인의 이득 계수를 이용하여 손실 라인이 복원된다.

또한, 위의 단계 630 ~ 650은 해상도와 아티팩트 발생에 있어서 서로 장단점이 있기 때문에, 상황에 따라 해상도를 최적화하면서 아티팩트가 최대한 없도록 하기 위하여, 단독적으로 또는 함께 수행될 수 있다.

단계 660에서, 복원된 이미지들은 하나의 제 2 이미지로 합성된다.

단계 670에서, 합성된 제 2 이미지는 화이트 밸런스(white valance, WB), 컬러 보간(color interpolation, CI) 및 감마 보정(gamma correction) 중 적어도 하나를 포함하는 이미지 시그널 프로세싱을 통하여 보정된다.

도 7은 본 발명의 또 다른 실시예에 따른 하이 다이나믹 레인지 영상을 획득하는 방법에 관한 흐름도이다.

단계 710, 720, 730, 740, 750은 도 6의 단계 610, 620, 630, 640, 650과 동일하므로, 그 설명을 생략하기로 한다.

단계 760은 도 6의 단계 660과는 달리, 단계 730, 단계 740 및 단계 750에 의하여 복원된 이미지는 이미지 시그널 프로세싱을 통하여 보정된다. 그 후, 단계 770에서 보정된 이미지들은 하나의 제 2 이미지로 합성된다.

이상 설명한 바와 같은 하이 다이나믹 레인지 영상을 획득하는 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 디스크 관리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100... 하이 다이나믹 레인지 영상 획득 장치
110... 이미지 센서 120... 이미지 분리부
130... 이미지 복원부 140... 이미지 합성부

Claims

소정의 영역 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성하는 이미지 센서;
상기 제 1 이미지를 동일한 노출 시간을 가지는 영역들로만 구성되는 이미지들로 분리하는 이미지 분리부;
상기 분리된 이미지들을 상기 제 1 이미지와 동일한 해상도를 갖도록 복원하는 이미지 복원부; 및
상기 복원된 이미지들을 하나의 제 2 이미지로 합성하는 이미지 합성부를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지(High Dynamic Range, HDR) 영상 획득 장치.
제 1 항에 있어서,
상기 소정의 영역은 라인 별로 구성되는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 소정의 영역은 두 라인 별로 구성되는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 1 항에 있어서,
상기 소정의 영역은 복수의 픽셀로 구성되는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 이미지 센서는 라인마다 구비되는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 라인마다 구비된 노출 시간을 제어하는 셔터를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 3 항에 있어서,
상기 이미지 센서에 배열되는 픽셀은 어느 하나의 라인에서는 레드 픽셀 및 그린 픽셀이 교대로 배열되고, 다음 라인에서는 블루 픽셀 및 그린 픽셀이 교대로 배열되는 베이어 패턴으로 배열되는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 이미지 센서에 배열되는 픽셀이 하나의 라인에서 레드 픽셀, 그린 픽셀 및 블루 픽셀이 모두 포함되어 교대로 배열되는 패턴으로 배열된 경우에는, 상기 이미지 센서는 하나의 라인 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 이미지 복원부는 분리된 이미지 각각에서 상기 제 1 이미지와 비교하여 손실 라인(missing line)에 인접한 이웃 라인들을 이용한 보간을 수행하여 상기 생략된 라인을 복원하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 이미지 복원부는 분리된 이미지 각각에서 노출 시간의 비율에 따른 이득 계수(gain factor)를 이용하여 상기 손실 라인을 복원하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 이미지 복원부는 분리된 이미지 각각에서 상기 제 1 이미지와 비교하여 손실 라인에 인접한 이웃 라인의 이득 계수를 이용하여 상기 손실 라인을 복원하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 2 항에 있어서,
상기 이미지 복원부는 손실 라인에 인접한 이웃 라인의 이득 계수를 이용하는 제 1 방법, 노출 시간의 비율에 따른 이득 계수(gain factor)를 이용하는 제 2 방법 및 손실 라인에 인접한 이웃 라인들을 이용한 보간을 수행하는 제 3 방법 중 적어도 두 개 이상을 조합하여 상기 손실 라인을 복원하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 1 항에 있어서,
상기 제 2 이미지를 화이트 밸런스(white valance, WB), 컬러 보간(color interpolation, CI) 및 감마 보정(gamma correction) 중 적어도 하나를 포함하는 이미지 시그널 프로세싱을 통하여 보정하는 이미지 보정부를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
제 1 항에 있어서,
상기 이미지 복원부에 의하여 복원된 이미지들을 화이트 밸런스, 컬러 보간 및 감마 보정 중 적어도 하나를 포함하는 이미지 시그널 프로세싱을 통하여 보정하는 이미지 보정부를 더 포함하고,
상기 이미지 합성부는 상기 보정된 이미지들을 하나의 제 2 이미지로 합성하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 장치.
소정의 영역 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성하는 단계;
상기 제 1 이미지를 동일한 노출 시간을 가지는 영역들로만 구성되는 이미지들로 분리하는 단계;
상기 분리된 이미지들을 상기 제 1 이미지와 동일한 해상도를 갖도록 복원하는 단계; 및
상기 복원된 이미지들을 하나의 제 2 이미지로 합성하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 방법.
하이 다이나믹 레인지 영상 획득 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
소정의 영역 별로 노출 시간을 달리하여 하나의 제 1 이미지를 생성하는 단계;
상기 제 1 이미지를 동일한 노출 시간을 가지는 영역들로만 구성되는 이미지들로 분리하는 단계;
상기 분리된 이미지들을 상기 제 1 이미지와 동일한 해상도를 갖도록 복원하는 단계; 및
상기 복원된 이미지들을 하나의 제 2 이미지로 합성하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 획득 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.