KR100912873B1

KR100912873B1 - 영상 생성 방법 및 장치

Info

Publication number: KR100912873B1
Application number: KR1020070055252A
Authority: KR
Inventors: 최원희; 프란시스코 이마이; 박성호; 이성덕
Original assignee: 삼성전자주식회사
Priority date: 2007-04-26
Filing date: 2007-06-05
Publication date: 2009-08-19
Also published as: US8599282B2; US20080266418A1; KR20080096333A

Abstract

영상 생성 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 영상 생성 방법은 서로 다른 노광량을 갖는 복수의 영상을 획득하는 단계, 복수의 영상 각각에 대하여 화이트 밸런싱(white balancing)을 수행하는 단계 및 화이트 밸런싱이 수행된 각각의 영상을 합성하는 단계를 포함한다.

영상, 광대역, 다이나믹 레인지, high dynamic range, 휘도, 색온도, CCT, 화이트 밸런싱, white ballancing

Description

영상 생성 방법 및 장치{Method and apparatus for generating imgae}

도 1은 본 발명의 일 실시예에 따른 영상 생성 방법의 흐름도이다.

도 2는 본 발명의 일 실시예에 따른 도 1의 화이트 밸런싱(white balancing)을 수행하는 방법의 흐름도이다.

도 3은 본 발명의 일 실시예에 따른 상대적 삼자극치 값을 계산하는 방법의 흐름도이다.

도 4는 본 발명의 일 실시예에 따른 노출 시간을 달리한 두 개의 영상으로 광대역(high dynamic range) 영상을 생성하는 과정에서의 각 단계에서의 데이터 변환 과정을 보여주는 도면이다.

도 5는 본 발명의 일 실시예에 따른 영상 생성 방법의 블록도이다.

도 6은 본 발명의 일 실시예에 따른 도 5의 화이트 밸런싱부의 블록도이다.

도 7은 본 발명의 일 실시예에 따른 도 6의 상대적 삼자극치 값 계산부의 블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

510: 영상 획득부

520: 화이트 밸런싱부

521: 휘도 계산부

522: 상대적 삼자극치 값 계산부

523: 상대적 삼자극치 값 변환부

524: 컬러 채널값 선택부

525: 상관 색온도 계산부

526: 변환 행렬 계산부

530: 영상 합성부

본 발명은 영상 생성 방법 및 장치에 관한 것으로, 보다 상세하게는 다중 노출에 의한 영상으로부터 각각에 대하여 참조 상관 색온도에 따른 화이트 밸런싱을 수행한 후 합성하여, 측색적으로(colorimetrically) 보정된 광대역(HDR; High Dynamic Range) 영상을 생성하는 영상 생성 방법 및 장치에 관한 것이다.

최근 디지털 카메라, 및 카메라 폰 등과 같이 고해상도 카메라를 장착한 장치들의 보급이 확산되고 있다. 이러한 카메라는, 일반적으로 렌즈 및 이미지 센서 등을 포함하여 구성된다.

이때, 렌즈는 피사체에서 반사된 광을 모으는 역할을 하며, 이미지 센서는 렌즈에 의해 모아진 광을 검출하여 전기적인 이미지 신호로 변환하는 역할을 한다. 이미지 센서는, 크게 촬상관(Camera tube)과 고체 이미지 센서로 나뉠 수 있으며, 고체 이미지 센서의 대표적인 예로써, 전하 결합 소자(Charge Coupled Device, CCD), 및 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등이 있다.

또한, 이러한 카메라의 이미지 센서에는 각 픽셀에 도달하는 빛을 각각의 칼라 필터가 필터링하는 칼라 필터들의 모자이크로 구성된다. 컬러 필터 어레이(Color Filter Array, CFA)가 형성될 수 있으며, 컬러 필터 어레이의 상부에는 이미지 센서가 적외선에 민감하여 이미지의 변색 등이 발생하는 것을 방지하기 위한 적외선 차단 필터가 형성된다.

한편, 고조도/저조도 환경 및 역광(back-lighting)과 극단적인 콘트라스트 환경에서 영상을 촬영할 경우에, 기존의 이미지 센서로부터는 센서의 광대역 범위의 한계 때문에 영상을 자세히 표현할 수 없는 영역이 발생하게 된다. 따라서, 광대역 장면(HDR scenes)에 대하여 쉐도우(shadow) 지역이나 하이라이트(highlight) 지역의 이미지 정보를 잃을 수 있다.

위와 같은 환경에서 형상을 자세히 획득할 수 있는 광대역 센서가 개발되었지만, 이러한 센서는 보안측정 및 군사적 목적으로 사용되는 고가의 센서이다. 따라서 대중적인 사용에 있어서 적합하지 않다.

또한, 카메라 등에 사용되는 기존의 센서로 광대역 영상을 생성하기 위해서, 종래에는 다른 노광량을 가지는 이미지를 생성하고, 생성된 이미지를 합성하는 방법을 사용하였다.

예를 들어, 역광 상태에서의 피사체를 촬영할 경우, 노광량이 적은 상태에서는 적은 노출 시간으로 인해 하이라이트 지역은 포화(saturation)되지 않은 영상을 획득하나 쉐도우 지역은 에지 등이 불명확해진다. 반면에, 노광량이 많은 상태에서는 많은 노출 시간으로 인해 쉐도우 지역은 명확해지나 하이라이트 지역은 포화 때문에 이미지 정보를 잃게 된다. 그러나, 노광량이 적은 영상과 노광량이 많은 영상을 합성하므로써 광대역 영상을 생성하게 된다.

종래의 이러한 방법은 방사보정을 거쳐 이미지를 RGB 값으로 엔코딩하고, 엔코딩 값을 합성하는데, 광대역 환경에서 색재현성(color fidelity)이 우수하지 못하였다. 그리고, 노출 시간을 달리하여 노광량이 다른 이미지는 서로 다른 화이트 포인트(white point)를 가지는데(예를 들어, 많은 노출 시간을 가진 이미지는 쉐도우 지역에 높은 상관 색온도(CCT; correlated color temperature)를 가지고, 적은 노출 시간을 가진 이미지는 하이라이트 지역에 낮은 상관 색온도를 가진다.), 화이트 밸런싱(white balancing)을 수행할 때 각각의 화이트 포인트를 고려하지 않고 영상을 합성하는 문제점이 있었다.

본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 다중 노출에 의한 영상으로부터 각각에 대하여 참조 상관 색온도에 따른 화이트 밸런싱을 수행한 후 합성하여, 측색적으로(colorimetrically) 보정된 광대역(HDR; High Dynamic Range) 영상을 생성하는 것에 관한 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것 이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 생성 방법은 서로 다른 노광량을 갖는 복수의 영상을 획득하는 단계; 상기 복수의 영상 각각에 대하여 화이트 밸런싱(white balancing)을 수행하는 단계; 및 상기 화이트 밸런싱이 수행된 각각의 영상을 합성하는 단계를 포함할 수 있다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 생성 장치는 서로 다른 노광량을 갖는 복수의 영상을 획득할 수 있는 영상 획득부; 상기 복수의 영상 각각에 대하여 화이트 밸랜싱(white balancing)을 수행하는 화이트 밸런싱부; 및 상기 화이트 밸런싱이 수행된 각각의 영상을 합성하는 영상 합성부를 포함할 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다

이하, 본 발명의 실시예들에 의하여 영상 생성 방법 및 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

본 발명의 일 실시예에 따른 영상 생성 방법(100)은 먼저 영상 획득부(510)에서 노광량을 달리한 다수의 영상을 획득한다(S110). 즉, 하나의 장면에 대하여 노출 시간을 달리한 다수의 영상을 획득하는 것이다. 이때, 획득한 영상은 화이트 밸런싱, 컬러 수정(color correction) 등의 이미지 프로세싱을 거치지 않았기 때문에 로(raw) 영상이라 칭하기로 한다.

다음, 화이트 밸런싱부(520)는 노출 시간을 달리한 각각의 로 영상에 대하여 화이트 밸런싱을 수행한다(S120). 화이트 밸런싱은 참조 상관 색온도(CCT; correlated color temperature)를 기준으로 수행되는데, 참조 상관 색온도는 사용자가 임의로 정할 수 있는 영상에 대한 상관 색온도를 말한다. 예를 들어, 표준 RGB(sRGB) 엔코딩이 사용되었을 때, 삼자극치(tristimulus) 값 XYZ는 D65에서의 값이어야 하는데, 이때, 상관 색온도는 6500K라고 할 수 있다. 화이트 밸런싱을 수행할 때 색온도가 보통 5000K~10000K일 때 정상적인 백색의 범위라고 본다. 그 중에서 국제 표준이 되는 백색은 약 6500K의 색온도를 가진 소위 D65이다.

노출 시간을 달리하여 두 개의 영상을 획득하였을 때, 각각의 영상은 상관 색온도가 다를 수 있다. 예를 들어 많은 노출 시간을 가진 영상은 7000K의 색온도를 가질 수 있고, 적은 노출 시간을 가진 영상은 5000K의 색온도를 가질 수 있다. 즉, 각각의 영상은 서로 다른 화이트 포인트를 가질 수 있다. 이에 대하여 본 발명 에서는 각각의 영상을 참조 상관 색온도(예를 들어, 6500K)를 화이트 포인트로 하여 각각의 영상에 대하여 화이트 밸런싱을 수행하는 것이다. 화이트 밸런싱을 수행하는 과정은 도 2 및 도 3을 참조로 후술하기로 한다.

다음, 영상 합성부(530)는 화이트 밸런싱을 수행한 각각의 영상을 합성하여 측색적으로 보정된 광대역(HDR) 영상을 생성한다(S130). 영상을 합성하는 방법으로 적절한 가우시안(Gaussian) 가중치를 이용하여 모든 세 개의 XYZ 채널값을 동시에 합성하는 방법과, 노출을 달리한 각각의 영상의 휘도(Y)를 많은 노출 시간으로 획득한 영상의 X, Z값과 합성하는 방법을 들 수 있다. 이는 당업자에게 널리 알려진 공지의 기술로 자세한 설명은 생략하기로 한다.

전술한 화이트 밸런싱을 수행하는 단계(S120)를 도 2, 도 3을 참조로 상술하기로 한다.

도 2는 본 발명의 일 실시예에 따른 도 1의 화이트 밸런싱(white balancing)을 수행하는 방법의 흐름도이며, 도 3은 본 발명의 일 실시예에 따른 상대적 삼자극치 값을 계산하는 방법의 흐름도이다.

먼저, 본 발명의 일 실시예에 따른 화이트 밸런싱을 수행하는 단계(S120)는, 휘도 계산부(521)에서 노광량을 달리하여 획득한 각각의 영상에 대하여 휘도(luminance)를 계산하고, 상대적 삼자극치 값 계산부(522)에서 전술한 참조 상관 색온도에 대한 상대적 삼자극치 값 X'Y'Z'를 계산한다(S122).

휘도(Y)는 획득한 영상의 컬러 채널값에 대하여 가중치를 곱한 것의 합으로 계산할 수 있다. 즉, 아래의 식 (1)과 같이 나타낼 수 있다.

Y = K(W1*C1+W2*C2+W3*C3) (1)

여기서, C1, C2, C3는 획득한 영상의 컬러 채널값이고, W1, W2, W3는 각각 C1, C2, C3에 대한 가중치이며, K는 노출 시간, 조리개, 게인값 등에 따라 휘도값을 조정하는 계수이다.

상대적 삼자극치 값은 참조 상관 색온도를 기준으로 하여 변환된 삼자극치 값을 말한다. 노출을 달리하여 획득한 영상은 각각 고유의 상관 색온도를 가진다. 이때, 삼자극치 값은 획득한 영상의 상관 색온도에 따른 값인데, 이를 참조 상관 색온도에 따른 값으로 변환하는 것이다. 상대적 삼자극치 값을 계산하는 과정은 도 3을 참조로 더욱 상세하게 후술하기로 한다.

상대적 삼자극치 값 변환부(523)는 획득한 영상에 대하여 휘도와 상대적 삼자극치 값을 계산한 후, 상대적 삼자극치 값을 휘도를 반영한 값으로 변환한다(S128). 특정 상관 색온도에 따른 삼자극치 값은 휘도에 따라서 또한 바뀌는데, 이를 고려하는 것이다. 이와 같이 각각의 획득한 영상에 대하여 화이트 밸런싱을 수행한 후, 각각의 영상을 합성하여 참조 상관 색온도를 기초로 화이트 밸런싱을 수행한 영상을 생성한다.

다시, 도 3을 참조로 상대적 삼자극치 값을 계산하는 과정을 상술하기로 한다.

컬러 채널값 선택부(524)는 획득한 영상의 소정의 영역에 대하여, 미리 설정된 컬러 채널값의 문턱값의 범위에 있는 특정 컬러 채널값을 선택한다(S123). 문턱값의 범위를 두는 이유는 아주 어두운 쉐도우(shadow) 영역이나 직사 광선을 받은 하이라이트(highlight) 영역의 컬러 채널값은 정확한 컬러 채널값을 나타내지 못할 수도 있기 때문이다. 예를 들어, 짧은 노출 시간으로 획득한 영상에 대하여, 쉐도우 영역의 컬러 채널값은 아주 낮은 값을 가지는데, 이는 노이즈 값일 수 있다. 따라서, 쉐도우 영역에 대하여 특정 문턱값보다 큰 값의 컬러 채널값을 가지는 경우 이를 선택한다. 이와 반대로, 긴 노출 시간으로 획득한 영상에 대하여, 하이라이트 영역의 컬러 채널값은 아주 높은 값을 가지는데, 이는 새츄레이션(saturation)된 값일 수 있다. 따라서, 하이라이트 영역에 대하여 특정 문턱값보다 작은 값을 가지는 경우 이를 선택한다. 그러므로 획득한 영상의 소정의 영역이 하위와 상위의 문턱값의 사이에 컬러 채널값을 가지는 경우 이를 선택한다.

다음, 상관 색온도 계산부(525)에서는 획득한 영상의 상관 색온도를 계산한다(S124). 컬러 채널값으로부터 상관 색온도를 판단하는 방법은 여러가지 방법이 있다. 컬러 채널 선택부에서 선택된 컬러 채널값의 특정 성분을 C1, C2라고 하였을 때, 채널값의 비율인 C1/C2를 계산한다. 적색 필터(R), 녹색 필터(G), 청색 필터(B)로 이루어진 RGB 컬러 필터 어레이(CFA; color filter array)를 이용하여 영상을 획득한 경우에는 C1/C2는 R/B이고, 시안(Cyan) 필터(C), 마젠타(Magenta) 필터(M), 옐로우(Yellow) 필터로 이루어진 CMY 컬러 필터 어레이을 이용하여 영상을 획득한 경우에는 C1/C2는 C/Y일 수 있다. 이 예에서 아이디어는 상호관련도가 떨어지는 두 채널 사이의 비를 계산하는 것이다.

이때, 컬러 채널값의 비율은 영상의 상관 색온도와 특정한 관계를 갖는다. 이러한 컬러 컬러 채널값의 비율과 상관 색온도 사이의 특정한 관계를 미리 계산한 룩업 테이블(look-up table)을 참조로 획득한 영상의 컬러 채널값의 비율에 따른 상관 색온도를 구할 수 있다. 룩업 테이블에 나타나지 않는 값은 보간(interpolation)에 의해 구할 수 있을 것이다.

다음, 획득한 영상의 상관 색온도를 이용하여 획득한 영상의 참조 상관 색온도에 대한 영상으로 변환한다. 이는 획득한 영상의 상관 색온도를 이용하여 획득한 영상의 참조 상관 색온도에 대한 영상으로 변환하도록 하는 변환행렬을 구하는 단계(S125)와 변환 행렬을 획득한 영상의 로 영상에 적용하여 상대적 삼자극치 값을 계산하는 단계(S126)를 포함할 수 있다. 예를 들어 획득한 영상의 상관 색온도가 5000K이고, 임의의 참조 상관 색온도를 6500K라고 하였을 때, 획득한 영상의 삼자극치 값을 6500K의 참조 상관 색온도를 가지는 값으로 변환하는 것이다. 변환 행렬 계산부(526)에서는 상관 색온도에 따라 참조 상관 색온도의 값으로 획득한 영상을 변환하는 관계를 미리 계산한 룩업 테이블을 참조하여 변환 행렬을 구할 수 있다. 변환 행렬을 로 영상의 삼자극치 값에 적용하여 계산한 결과가 참조 상관 색온도에 따른 상대적 삼자극치 값이다.

전술한 방법으로 구한 상대적 삼자극치 값은 최종적으로 휘도에 따른 값으로 변환을 하면서 화이트 밸런싱을 수행하게 된다.

노출 시간을 달리하여, 짧은 노출로 획득한 로 영상(200a)과 상대적으로 긴 노출로 획득한 영상의 로 영상(200b)을 획득한다. 각각의 로 영상(200a, 200b)에 대하여 화이트 밸런싱(210a, 210b)이 수행되는데, 먼저 로 영상(200a, 200b)으로부터 휘도 Y(300)와 참조 상관 색온도에 대한 상대적 삼자극치 값 X'Y'Z'(310)을 계산하고, 상대적 삼자극치 값 X'Y'Z'(310)에 휘도 Y(300)를 반영한 삼자극치 값 XYZ(320)를 계산한다. 상대적 삼각 극치값 X'Y'Z'(310)를 계산하는 과정은 먼저 획득한 로 영상(200a, 200b)으로부터 소정의 문턱값을 참조로 컬러 채널값 C1, C를 선택(400)하고, 컬러 채널값의 비율 C1/C2와 상관 색온도에 따른 룩업 테이블을 참조로 상관 색온도(410)를 계산한다. 로 영상(200a, 200b)을 참조 상관 색온도에 따른 영상으로 변환하는 변환 행렬에 관한 룩업 테이블을 참조로 변환 행렬(420)을 계산하고 변환 행렬을 로 영상(200a, 200b)에 적용하여 상대적 삼자극치 값 X'Y'Z'(310)를 계산한다. 최종적으로 각각의 로 영상(200a, 200b)에 화이트 밸런싱을 수행한 삼자극치 값 XYZ(210a, 210b)를 합성하여 본 발명의 실시예에 따른 광대역 영상(220)을 생성한다.

전술한 영상 생성 방법은 로우 다이나믹 레인지(LDR; low-dynamic range 센서를 사용하는 장치에 있어서 광대역 범위를 향상시킬 수 있다. 또한, 로우 다이나믹(LDR) 디스플레이 장치 뿐만 아니라 하이 다이나믹(HDR) 디스플레이 장치에서도 색 재현성 등이 향상된 광대역 영상을 보여줄 수 있다.

도 5는 본 발명의 일 실시예에 따른 영상 생성 방법의 블록도이고, 도 6은 본 발명의 일 실시예에 따른 도 5의 화이트 밸런싱부의 블록도이며, 도 7은 본 발명의 일 실시예에 따른 도 6의 상대적 삼자극치 값 계산부의 블록도이다.

본 발명의 일 실시예에 따른 영상 생성 장치는 영상 획득부(510), 화이트 밸런생부(520) 및 영상 합성부(530)를 포함하여 구성될 수 있다. 또한, 화이트 밸런싱부(520)는 휘도 계산부(521), 상대적 삼자극치 값 계산부(522) 및 상대적 삼각극값 변환부(523)를 포함하여 구성될 수 있다. 또한, 상대적 삼자극치 값 계산부(522)는 컬러 채널값 선택부(524), 상관 색온도 계산부(525) 및 변환 행렬 계산부(526)를 포함하여 구성될 수 있다.

이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.

이때, 본 발명의 실시예에서 영상 생성 장치는 디지털 카메라 등과 같이, 전하 결합 소자(Charge Coupled Devcie, CCD), 및 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등의 고체 이미지 센서를 이 용하여 소정 피사체에 대한 영상을 저장할 수 있는 장치로 이해될 수 있다. 따라서, 본 발명의 실시예에 따른 영상 생성 장치(100)는 디지털 카메라와 같이, 고체 이미지 센서를 구비한 카메라 폰, 및 PDA(Personal Digital Assistant) 등도 포함할 수 있으나, 이에 한정되지 않는다.

영상 획득부(510)는 노광량을 조절하여 다수의 영상을 획득한다. 하나의 장면에 대하여 노출 시간을 짧게 한 영상과 노출 시간을 상대적으로 길게 한 영상을 획득하는 것이다. 영상 획득부(510)는 디지털 카메라와 같은 일반적인 형상 획득 장치에 있어서 피사체에서 반사된 빛을 집광하는 렌즈, 입사된 빛을 필터링하는 필터, 입사된 빛을 감지하는 촬상 소자, 감지한 신호를 변환하는 영상 신호 처리부 등으로 구성될 수 있고, 이에 한정되는 것은 아니다.

화이트 밸런싱부(520)는 영상 획득부(510)로부터 획득한 각각의 영상에 대하여 화이트 밸런싱을 수행한다. 화이트 밸런싱부(520)는 도 6과 같이 휘도 계산부(521), 상대적 삼자극치 값 계산부(522), 상대적 삼자극치 값 변환부(523)를 포함하여 구성될 수 있다.

휘도 계산부(521)는 획득한 영상의 휘도를 계산한다. 휘도는 획득한 영상의 컬러 채널값들에 대하여 각각 가중치를 곱한 것의 합으로 계산될 수 있다.

상대적 삼자극치 값 계산부(522)는, 예를 들어 국제 표준이 되는 색온도인 D65의 6500K를 참조 상관 색온도로 한다면, 획득한 영상을 참조 상관 색온도에 따른 삼자극치 값을 계산한다. 상대적 삼자극치 값 계산부(522)는 도 7과 같이 컬러 채널값 선택부(524), 상관 색온도 계산부(525) 및 변환 행렬 계산부(526)를 포함하 여 구성될 수 있다.

컬러 채널값 선택부(524)는 획득한 영상의 소정의 영역에 대하여 컬러 채널값의 문턱값(threshold) 범위에 있는 컬러 채널값을 선택한다. 이때, 획득한 영상이 짧은 노광량으로부터 획득한 영상인 경우에는 노이즈가 되는 채널값을 문턱값으로 하여 문턱값보다 큰 값일 경우에 선택하고, 작은 값을 가지는 경우에는 그 값을 버리고 다른 영역에 대하여 선택할 수 있다. 또한, 획득한 영상이 긴 노광량으로부터 획득한 영상인 경우에는 새츄레이션(saturation)되는 채널값을 문턱값으로 하여 문턱값보다 작은 값을 가지는 경우에 선택한다. 이처럼 하위와 상위의 문턱값 사이의 컬러 채널값을 선택한다.

상관 색온도 계산부(525)는 컬러 채널값 선택부(524)에서 선택된 특정 컬러 채널들의 비율을 계산하여 획득한 영상의 상관 색온도를 계산한다. 이때, RGB 컬러 필터 어레이를 이용하여 영상을 획득한 경우에는 컬러 채널값의 비율은 R/B이고, CMY 컬러 필터 어레이를 이용하여 영상을 획득한 경우에는 C/Y일 수 있다. 상관 색온도를 계산할 때, 상관 색온도 계산부(525)는 컬러 채널값의 비율에 따른 색온도의 관계를 미리 계산한 룩업 테이블 참조 또는 보간하여 획득한 영상의 상관 색온도를 계산할 수 있다.

변환 행렬 계산부(526)는 상관 색온도 계산부(525)에서 구한 상관 색온도를 이용하여 계산한 상관 색온도의 영상을 참조 상관 색온도에 따른 영상으로 변환하는 변환 행렬을 계산한다. 변환 행렬을 계산할 때, 상관 색온도와 참조 상관 색온도에 따라서 영상을 변환하는 관계를 미리 계산한 룩업 테이블을 참조 또는 보간하 여 계산할 수 있다.

다시 도 6을 참조하면, 상대적 삼자극치 값 변환 변환부(523)는 휘도 계산부(521)에서 구한 획득한 영상의 휘도와 상대적 삼자극치 값 계산부(522)에서 구한 획득한 영상의 상대적 삼자극치 값에 대하여 상대적 상각극치 값을 휘도에 따른 삼자극치 값으로 변환한다.

다시 도 5를 참조하면, 영상 합성부(530)는 화이트 밸런싱부(520)에서 화이트 밸런싱을 수행한 각각의 영상을 합성하여 최종적으로 본 발명의 실시예에 따른 측색적으로 보정된 광대역 영상을 생성한다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

상기한 바와 같은 본 발명의 영상 생성 방법 및 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 본 발명에 따른 가시성(visibility)이 향상된 광대역 영상을 생성할 수 있다는 장점이 있다.

둘째, 고가의 광대역 센서를 사용하지 않고서도 광대역 영상을 생성할 수 있다는 장점도 있다.

셋째, HDR 디스플레이 장치 뿐만 아니라 LDR 디스플레이 장치에서도 본 발명에 따른 HDR 영상을 출력할 수 있다는 장점도 있다.

Claims

서로 다른 노광량을 갖는 복수의 영상을 획득하는 단계;

상기 복수의 영상 각각에 대하여 임의의 참조 상관 색온도를 기초로 화이트 밸런싱을 수행하는 단계; 및

상기 화이트 밸런싱이 수행된 각각의 영상을 합성하는 단계를 포함하는 영상 생성 방법.
제 1 항에 있어서,

상기 화이트 밸런싱을 수행하는 단계는

상기 획득한 영상의 휘도를 계산하고, 임의의 참조 상관 색온도에 대한 상기 획득한 영상의 상대적 삼자극치 값을 계산하는 단계; 및

상기 상대적 삼자극치 값을 상기 휘도에 따른 삼자극치 값으로 변환하는 단계를 포함하는 영상 생성 방법.
제 2 항에 있어서,

상기 휘도(Y)는 Y=K(W1*C1+W2*C2+W3*C3)로 계산되는데, C1, C2, C3는 상기 획득한 영상의 컬러 채널값이고, W1, W2, W3는 각각 C1, C2, C3에 대한 가중치이며, K는 상기 영상을 획득할 때의 촬영 조건에 따라 휘도값을 조정하는 계수인 영상 생성 방법.
제 2 항에 있어서,

상기 상대적 삼자극치 값을 계산하는 단계는

상기 획득한 영상의 소정의 영역에 대하여, 컬러 채널값의 문턱값 범위에 있는 컬러 채널값을 선택하는 단계;

상기 선택된 컬러 채널값의 비율을 계산하여 상기 획득한 영상의 상관 색온도를 계산하는 단계;

상기 획득한 영상의 상기 상관 색온도를 이용하여 상기 획득한 영상을 상기 참조 상관 색온도에 대한 영상으로 변환하는 변환 행렬을 구하는 단계; 및

상기 획득한 영상에 상기 변환 행렬을 적용하여 상기 상대적 삼자극치 값을 계산하는 단계를 포함하는 영상 생성 방법.
제 4 항에 있어서,

상기 컬러 채널값을 선택하는 단계는

상기 획득한 영상이 짧은 노광량으로부터 획득한 영상인 경우에는 노이즈가 되는 채널값을 상기 문턱값으로 하여 상기 문턱값보다 큰 값을 가지는 컬러 채널값을 선택하고, 상기 획득한 영상이 긴 노광량으로부터 획득한 영상인 경우에는 새츄레이션(saturation)이 되는 채널값을 상기 문턱값으로 하여 상기 문턱값보다 작은 값을 가지는 컬러 채널값을 선택하는 영상 생성 방법.
제 4 항에 있어서,

상기 컬러 채널값의 비율은

RGB 컬러 필터 어레이를 이용하여 상기 영상을 획득한 경우에는 R, G, B 중 두 개의 컬러 채널값의 비이고, CMY 컬러 필터 어레이를 이용하여 상기 영상을 획득한 경우에는 C, M, Y 중 두 개의 컬러 채널값의 비인 영상 생성 방법.
제 4 항에 있어서,

상기 획득한 영상의 상관 색온도를 계산하는 단계는

상기 컬러 채널값의 비율에 따른 상관 색온도의 관계를 미리 계산한 룩업 테이블을 참조하여 계산하는 영상 생성 방법.
제 4 항에 있어서,

상기 변환 행렬은 상기 상관 색온도에 따라 상기 참조 상관 색온도의 값으로 획득한 영상을 변환하는 관계를 미리 계산한 룩업 테이블을 참조하여 구하는 영상 생성 방법.
서로 다른 노광량을 갖는 복수의 영상을 획득할 수 있는 영상 획득부;

상기 복수의 영상 각각에 대하여 임의의 참조 상관 색온도를 기초로 화이트 밸랜싱을 수행하는 화이트 밸런싱부; 및

상기 화이트 밸런싱이 수행된 각각의 영상을 합성하는 영상 합성부를 포함하는 영상 생성 장치.
제 9 항에 있어서,

상기 화이트 밸랜싱부는

상기 획득한 영상의 휘도를 계산하는 휘도 계산부;

임의의 참조 상관 색온도에 대한 상기 획득한 영상의 상대적 삼자극치 값을 계산하는 상대적 삼자극치 값 계산부; 및

상기 상대적 삼자극치 값을 상기 휘도에 따른 삼자극치 값으로 변환하는 상대적 삼자극치 값 변환부를 포함하는 영상 생성 장치.
제 10 항에 있어서,

상기 휘도(Y)는 Y=K(W1*C1+W2*C2+W3*C3)로 계산되는데, C1, C2, C3는 상기 획득한 영상의 컬러 채널값이고, W1, W2, W3는 각각 C1, C2, C3에 대한 가중치이며, K는 상기 영상을 획득할 때의 촬영 조건에 따라 휘도 값을 조정하는 계수인 영상 생성 장치.
제 10 항에 있어서,

상기 상대적 삼자극치 값 계산부는

상기 획득한 영상의 소정의 영역에 대하여, 컬러 채널값의 문턱값 범위에 있는 컬러 채널값을 선택하는 컬러 채널값 선택부;

상기 선택된 컬러 채널값의 비율을 계산하여 상기 획득한 영상의 상관 색온도를 계산하는 상관 색온도 계산부; 및

상기 획득한 영상의 상관 색온도를 이용하여 상기 획득한 영상을 상기 참조 상관 색온도에 대한 영상으로 변환하는 변환 행렬 계산부를 포함하며,

상기 획득한 영상에 상기 변환 행렬을 적용하여 상기 상대적 삼자극치 값을 계산하는 영상 생성 장치.
제 12 항에 있어서,

상기 컬러 채널값 선택부는

상기 획득한 영상이 짧은 노광량으로부터 획득한 영상인 경우에는 노이즈가 되는 채널값을 상기 문턱값으로 하여 상기 문턱값보다 큰 값을 가질 때 택하고, 상기 획득한 영상이 긴 노광량으로부터 획득한 영상인 경우에는 새츄레이션(saturation)이 되는 채널값을 상기 문턱값으로 하여 상기 문턱값보다 작은 값을 가질 때 선택하는 영상 생성 장치.
제 12 항에 있어서,

상기 컬러 채널값의 비율은

RGB 컬러 필터 어레이를 이용하여 상기 영상을 획득한 경우에는 R, G, B 중 두 개의 컬러 채널값의 비이고, CMY 컬러 필터 어레이를 이용하여 상기 영상을 획득한 경우에는 C, M, Y 중 두 개의 컬러 채널값의 비인 영상 생성 장치.
제 12 항에 있어서,

상기 상관 색온도를 계산부는

상기 컬러 채널값의 비율에 따른 상관 색온도의 관계를 미리 계산한 룩업 테이블을 참조하여 계산하는 영상 생성 장치.
제 12 항에 있어서,

상기 변환 행렬은 상기 상관 색온도에 따라 상기 참조 상관 색온도의 값으로 획득한 영상을 변환하는 관계를 미리 계산한 룩업 테이블을 참조하여 구하는 영상 생성 장치.