KR20130013288A

KR20130013288A - 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법

Info

Publication number: KR20130013288A
Application number: KR1020110074847A
Authority: KR
Inventors: 문영수; 태용민; 조정욱; 이시화
Original assignee: 삼성전자주식회사
Priority date: 2011-07-28
Filing date: 2011-07-28
Publication date: 2013-02-06
Also published as: CN102905058B; JP2013031174A; US20130028509A1; JP6081726B2; KR101699919B1; US8989484B2; CN102905058A

Abstract

다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치 및 방법에 관한 것으로서, 상기 HDR 영상 생성 장치는 수신되는 다중 노출 멀티 프레임에 대해 HDR(High Dynamic Range) 가중치 맵을 계산하는 영상별 HDR 가중치 맵 계산부, 상기 수신되는 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인하여, 영상별 고스트 확률을 계산하는 영상별 고스트 확률 계산부, 상기 계산된 고스트 확률을 고려하여, 상기 계산된 HDR 가중치 맵을 갱신하는 영상별 고스트 보정 HDR 가중치 맵 갱신부, 및 상기 수신된 다중 노출 멀티 프레임에 상기 갱신된 HDR 가중치 맵을 반영하여 HDR 영상을 생성하는 멀티스케일 블렌딩 처리부를 포함한다.

Description

다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ＨＤＲ 영상 생성 장치 및 방법{HIGH DYNAMIC RANGE IMAGE CREATION APPARATUS OF REMOVALING GHOST BLUR BY USING MULTI EXPOSURE FUSION AND METHOD OF THE SAME}

본 발명은 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR(High Dynamic Range) 영상 생성 장치 및 방법에 관한 것으로서, 다중 노출의 멀티 프레임을 촬영하여 HDR 복원을 수행하여, 고대비 환경에서 HDR 영상을 확보하기 위한 기술적 사상을 개시한다.

인간의 눈과 비교하여 기존 대부분의 카메라 센서들은 DR(Dynamic range)이 상대적으로 작아, 기본적으로 자연에 존재하는 장면의 세밀한 부분을 놓치게 된다. 예를 들면, 역광 촬영과 같은 고조도, 즉, 아주 밝은 영역과 저조도의 아주 어두운 영역이 공존하는 고대비 장면 촬영 시, 아주 밝거나 어두운 영역에서는 디테일 정보가 거의 사라져 버린 사진을 촬영하게 된다.

고대비 환경에서 사진 촬영 시, 고조도 영역이나 저조도 영역에서는 원래 실제 장면속에 살아있는 색감, 톤, 디테일들이 거의 사라져 버린다.

이와 같은 단점을 극복하기 위해, 노출을 바꿔가면서 여러 장의 프레임을 촬영하고 이를 융합 처리함으로써 원래의 디테일들이 살아있는 HDR 영상 생성이 가능하다.

그러나, 근래의 HDR 영상에는 피사체나 배경의 물체가 움직일 경우에는 HDR 융합처리 과정에서 움직임에 의한 열화, 일명 고스트 흐림 (ghost blur)이 발생하게 되고, 고스트 흐림을 줄이기 위한 별도의 처리과정이 필요하다.

본 발명의 일실시예에 따른 멀티노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치는, 수신되는 다중 노출 멀티 프레임에 대해 HDR(High Dynamic Range) 가중치 맵을 계산하는 영상별 HDR 가중치 맵 계산부, 상기 수신되는 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인하여, 영상별 고스트 확률을 계산하는 영상별 고스트 확률 계산부, 상기 계산된 고스트 확률을 고려하여, 상기 계산된 HDR 가중치 맵을 갱신하는 영상별 고스트 보정 HDR 가중치 맵 갱신부, 및 상기 수신된 다중 노출 멀티 프레임에 상기 갱신된 HDR 가중치 맵을 반영하여 HDR 영상을 생성하는 멀티스케일 블렌딩 처리부를 포함할 수 있다.

본 발명의 일측에 따른 멀티노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치는, 상기 수신되는 다중 노출 멀티 프레임 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임을 기준으로 상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임에 대해서, 밝기를 정합하는 영상별 밝기 정합 처리부를 더 포함할 수 있다.

본 발명의 일실시예에 따른 멀티노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 방법은, 영상별 HDR 가중치 맵 계산부에서, 수신되는 다중 노출 멀티 프레임에 대해 HDR(High Dynamic Range) 가중치 맵을 계산하는 단계, 영상별 고스트 확률 계산부에서, 상기 수신되는 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인하여, 영상별 고스트 확률을 계산하는 단계, 영상별 고스트 보정 HDR 가중치 맵 갱신부에서, 상기 계산된 영상별 고스트 확률을 고려하여, 상기 계산된 HDR 가중치 맵을 갱신하는 단계, 및 멀티스케일 블렌딩 처리부에서, 상기 수신된 다중 노출 멀티 프레임에 상기 갱신된 HDR 가중치 맵을 반영하여 HDR 영상을 생성하는 단계를 포함할 수 있다.

도 1은 본 발명의 일실시예에 따른 HDR 영상 생성 장치를 설명하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 HDR 영상 생성 방법을 설명하는 흐름도이다.
도 3은 본 발명의 일실시예에 따른 영상별 밝기 정합 처리부에서 밝기를 정합하는 것을 설명하는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 영상별 밝기 정합 처리부 및 영상별 고스트 확률 계산부가 동작하는 실시예를 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 영상별 HDR 가중치 맵 계산부가 동작하는 실시예를 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 멀티스케일 블렌딩 처리부가 영상을 합성하여 생성하는 실시예를 설명하는 도면이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 HDR 영상 생성 장치를 설명하는 블록도이다.

본 발명의 일실시예에 따른 HDR 영상 생성 장치(100)는 다중 노출의 멀티 프레임을 촬영하여 HDR(High Dynamic Range) 복원을 수행하여 고대비 환경에서 HDR 영상을 확보할 수 있다.

이를 위해, 본 발명의 일실시예에 따른 HDR 영상 생성 장치(100)는 영상의 픽셀별로 다른 가중치를 고려하여 별도의 HDR radiances 값의 복원 없이 비교적 간단하게 HDR 영상을 합성하고, 합성과 동시에 장면 속의 움직임 물체에 의해 발생하는 고스트 흐림 열화를 제거하여 효과적으로 HDR 영상을 합성할 수 있다.

이러한 HDR 영상 생성 장치(100)는 DSC(Distributed Source Coding), DVC(Distributed Video Coding), 감시용 등의 카메라, 모바일 카메라 폰, 스마트 폰, ISP(Image Signal Processor) 및 DSP(Digital Signal Processor) 등의 카메라 센서 영상 신호처리 프로세서, 개인용 컴퓨터의 영상처리 소프트웨어 등에 적용될 수 있다.

본 발명의 일실시예에 따른 HDR 영상 생성 장치(100)는 영상별 밝기 정합 처리부(110), 영상별 HDR 가중치 맵 계산부(120), 영상별 고스트 확률 계산부(130), 영상별 고스트 보정 HDR 가중치 맵 갱신부(140), 및 멀티스케일 블렌딩 처리부(150)를 포함할 수 있다.

영상별 밝기 정합 처리부(110)는 수신되는 다중 노출 멀티 프레임 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임을 기준으로 상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임에 대해서, 밝기를 정합할 수 있다.

본 발명의 일실시예에 따른 영상별 밝기 정합 처리부(110)는 상기 수신되는 다중 노출 멀티 프레임 중에서 어느 하나의 프레임을 상기 기준 프레임으로 결정하고, 상기 수신되는 다중 노출 멀티 프레임 중에서 상기 기준 프레임을 제외한 나머지 프레임의 노출 밝기를 조절하여 상기 밝기를 정합할 수 있다.

본 발명의 일실시예에 따른 영상별 밝기 정합 처리부(110)는 입력 영상 중 하나를 기준 프레임으로 설정하고 나머지 영상을 기준 프레임의 노출 밝기 정도에 맞춰 밝기변환을 수행할 수 있다.

이때, 본 발명의 일실시예에 따른 영상별 밝기 정합 처리부(110)는 밝기 정합기능을 구현하기 위해 설정된 기준 프레임에 대비하여 다른 노출 영상 간 밝기 변환 함수를 계산하고, 각 노출 영상의 기준 프레임으로부터의 밝기 변환을 수행하여 밝기를 정합할 수 있다.

본 발명의 일실시예에 따른 영상별 밝기 정합 처리부(110)는, 다른 실시예로서 히스토그램 매칭(histogram matching) 기법을 적용하여, 밝기 정합을 수행할 수 있다.

상기 히스토그램 매칭(histogram matching) 기법을 적용하면, 프레임간 기하학적 위치정합이 부정확하더라도 밝기 정합이 가능하다.

따라서, 본 발명의 일실시예에 따른 영상별 밝기 정합 처리부(110)는, 기준 프레임의 히스토그램과 나머지 프레임들의 히스토그램을 계산한 후, 나머지 프레임 각각의 히토그램이 기준 프레임의 히스토그램과 유사해지도록 하는 변환함수를 구할 수 있다.

이렇게 구해진, LUT(Look Up Table) 형태의 변환함수를 이용하여 기준 프레임이 아닌 나머지 노출 프레임들을 기준 프레임과 유사한 밝기의 영상으로 변환할 수 있다.

밝기 변환에 대한 실시예는 도 4에서 추후 상세히 설명한다.

영상별 HDR 가중치 맵 계산부(120)는 수신되는 다중 노출 멀티 프레임에 대해 HDR(High Dynamic Range) 가중치 맵을 계산할 수 있다.

본 발명의 일실시예에 따른 상기 HDR 가중치 맵은 상기 다중 노출 멀티 프레임을 구성하는 각 프레임의 픽셀에 대해서 대비(contrast), 칼라포화(saturation), 및 적정노출도(well-exposedness) 중에서 적어도 하나의 정보를 상기 HDR 가중치로서 저장할 수 있다.

본 발명의 일실시예에 따른 영상별 HDR 가중치 맵 계산부(120)는 수신되는 다중 노출 멀티 프레임을 구성하는 각각의 프레임에 대해서 [수학식 1]을 이용하여 HDR 가중치 맵(

)을 계산할 수 있다.

[수학식 1]

여기서,

,

, 및

은 수신되는 다중 노출 멀티 프레임에 대해서 각각 k노출 영상의 (i,j)픽셀에서의 대비(contrast), 칼라포화(saturation), 적정노출도(well-exposedness)를 나타낸다.

더불어,

,

의 지수 상수는 "0" 또는 "1"값으로 설정될 수 있다.

영상별 고스트 확률 계산부(130)는 상기 수신되는 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인하여, 영상별 고스트 확률을 계산할 수 있다.

일례로, 본 발명의 일실시예에 따른 영상별 고스트 확률 계산부(130)는 상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임에 대한 정합된 밝기를 참고하여, 상기 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인할 수 있다.

또한, 본 발명의 일실시예에 따른 영상별 고스트 확률 계산부(130)는 상기 밝기를 정합한 결과에 따라, 상기 결정된 기준 프레임과 상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임 각각의 밝기 차이 값을 확인하고, 상기 각각의 밝기 차이 값이 임계값 이상인 경우에 고스트 흐림을 확인할 수 있다.

일례로, 본 발명의 일실시예에 따른 영상별 고스트 확률 계산부(130)는 기준 프레임과 밝기 정합된 노출 영상간의 차분(difference)을 이용하여 각 노출 영상별 고스트 확률(

)을 계산할 수 있다.

상기 각 노출 영상별 고스트 확률(

)은 [수학식 2]를 이용해서 산출될 수 있다.

[수학식 2]

[수학식 2]에서 exp()는 exponential 함수를 의미하고,

은 잡음 수준을 의미하며,

은 문턱치 조절 상수를 의미한다.

본 발명의 일실시예에 따른 영상별 고스트 확률 계산부(130)는 밝기 차분 이외에, 영상의 구배(gradient) 차분을 이용하여 영상의 고스트 확률을 계산할 수도 있다.

예를 들면, 본 발명의 일실시예에 따른 영상별 밝기 정합 처리부(110)에서 밝기 정합 대신에 입력되는 각각의 프레임에 대해 소벨(Sobel) 구배 연산자 등을 이용하여 입력 영상을 구배 영상(gradient image)으로 변환할 수 있다.

이렇게 구해진 기준 프레임과 다른 각 노출 영상에 대한 구배 영상 차분을 이용하여, 영상별 HDR 가중치 맵 계산부(120)에서 영상별 HDR 가중치 맵을 계산할 수 있다.

이에, 본 발명의 일실시예에 따른 영상별 고스트 확률 계산부(130)는 [수학식 2]에서 사용된 밝기차분 개념과 동일한 방식으로써, 확률개념을 적용하여 각 픽셀에서의 고스트 확률을 계산할 수 있게 된다.

다시 말해, 본 발명의 일실시예에 따른 영상별 고스트 확률 계산부(130)는 밝기영상 차분, 구배영상 차분뿐만 아니라 엔트로피 차분과 같은 다양한 영상 차분을 정의하여 [수학식 2]과 같은 확률개념으로 각 픽셀이 고스트 영역일 가능성을 계산할 수 있다.

영상별 고스트 보정 HDR 가중치 맵 갱신부(140)는 상기 계산된 고스트 확률을 고려하여, 상기 계산된 HDR 가중치 맵을 갱신할 수 있다.

일례로, 본 발명의 일실시예에 따른 영상별 고스트 보정 HDR 가중치 맵 갱신부(140)는 상기 계산된 고스트 확률이 임계값 이상인 픽셀의 HDR 가중치를, 상기 계산된 고스트 확률이 임계값 이하인 픽셀의 HDR 가중치 보다 낮게 수정하여, 상기 HDR 가중치 맵을 갱신할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 영상별 고스트 보정 HDR 가중치 맵 갱신부(140)는 계산된 HDR 가중치 맵(Wij,k)과 고스트 흐림이 확인된 고스트 확률을 이용하여, HDR 가중치 맵을 갱신할 수 있다.

다시 말해, 본 발명의 일실시예에 따른 영상별 고스트 보정 HDR 가중치 맵 갱신부(140)는 [수학식 3]을 이용하여 HDR 가중치 맵(

)에 고스트 흐림이 확인된 고스트 확률을 적용하고, [수학식 4]를 이용하여 일련의 정규화 과정을 통해 각각의 프레임을 구성하는 픽셀에서의 가중치 합이 "1"이 되도록 조절할 수 있다.

[수학식 3]

[수학식 4]

[수학식 3] 및 [수학식 4]에서, "k"는 특정 노출영상을 (ij)는 픽셀위치를, "I"는 피라미드에서의 특정 레벨 (level)을 나타낸다. 또한, "I"는 입력 노출영상, "Wg"는 HDR 가중치 맵, "R"은 합성 HDR 영상을 나타낸다.

멀티스케일 블렌딩 처리부(150)는 상기 수신된 다중 노출 멀티 프레임에 상기 갱신된 HDR 가중치 맵을 반영하여 HDR 영상을 생성할 수 있다.

멀티스케일 블렌딩 처리부(150)는 상기 수신된 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 입력받고, 가우시안 피라미드(Gaussian pyramid) 및 라플라시안 피라미드(Laplacian pyramid)를 이용하여, 상기 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 합성하여 상기 HDR 영상을 생성할 수 있다.

본 발명의 일실시예에 따른 멀티스케일 블렌딩 처리부(150)는 [수학식 5]를 이용하여, 8비트의 다중 노출 멀티프레임과 갱신된 HDR 가중치 맵을 입력으로 받아들여 최종적으로 8bit HDR 영상을 합성하여 출력할 수 있다.

[수학식 5]

상기 수학식 5에서 G{}는 가우시안 피라미드(Gaussian pyramid)를 나타내고, L{}은 라플라시안 피라미드(Laplacian pyramid)를 나타낸다.

"k"는 특정 노출영상을 (ij)는 픽셀위치를, "I"는 피라미드에서의 특정 레벨 (level)을 나타낸다. 또한, "I"는 입력 노출영상, "Wg"는 HDR 가중치 맵, "R"은 합성 HDR 영상을 나타낸다.

결국, 본 발명의 일실시예에 따른 HDR 영상 생성 장치(100)는 MTB(Median threshold Bitmap) 영상을 활용하지 않고 다른 노출 입력 영상간의 밝기정합 과정을 수행한 후 그 편차를 움직임 검출 특징으로 활용함으로써 보다 단순한 처리 과정을 통해서 고스트 흐림 문제를 해결할 수 있다.

또한, 본 발명의 일실시예에 따른 HDR 영상 생성 장치(100)는 종래기술에 비교하여 HDR radiance 맵의 복원과, 복원된 HDR radiance 맵을 8bit HDR로 만들기 위한 tone compression과정을 수행하지 않고 직접 가중평균을 수행하여 최종 결과를 얻을 수 있다.

따라서, 본 발명의 일실시예에 따른 HDR 영상 생성 장치(100)를 이용하면, 계산량이 줄어들어 처리 속도 및 처리 비용이 절감될 수 있고, 색감이 보존될 수 있다.

또한, 본 발명의 일실시예에 따른 HDR 영상 생성 장치(100)는 기본적으로 구현하고 있는 멀티 프레임 퓨젼 기술은 HDR 뿐만 아니라 멀티 Focusing 등의 다양한 computational photography 기술에 응용가능하고 이외에도 멀티센서 퓨젼 및 메디컬 이미징 분야에서의 멀티모드 퓨젼에도 널리 활용될 수 있다.

도 2는 본 발명의 일실시예에 따른 HDR 영상 생성 방법을 설명하는 흐름도이다.

본 발명의 일실시예에 따른 HDR 영상 생성 방법은 HDR(High Dynamic Range) 가중치 맵을 계산할 수 있다(단계 210).

본 발명의 일실시예에 따른 상기 HDR 가중치 맵은 상기 다중 노출 멀티 프레임을 구성하는 각 프레임의 픽셀에 대해서 대비(contrast), 칼라포화(saturation), 및 적정노출도(well-exposedness) 중에서 적어도 하나의 정보를 상기 HDR 가중치로서 저장할 수 있는데, 본 발명의 일실시예에 따른 HDR 영상 생성 방법은 프레임의 픽셀을 확인하여 상기 HDR 가중치 맵을 계산할 수 있다.

본 발명의 일실시예에 따른 HDR 영상 생성 방법은 고스트 흐림을 확인하여, 영상별 고스트 확률을 계산할 수 있다(단계 220).

고스트 흐림을 확인하여, 영상별 고스트 확률을 계산하기 위해, 본 발명의 일실시예에 따른 HDR 영상 생성 방법은 도 3과 같이, 영상별 밝기 정합을 이용할 수 있다.

도 3은 본 발명의 일실시예에 따른 영상별 밝기 정합 처리부에서 밝기를 정합하는 것을 설명하는 흐름도이다.

본 발명의 일실시예에 따른 영상별 밝기 정합 처리부에서 입력되는 다중 노출 멀티 프레임 중에서 기준 프레임 선정하고(단계 310), 기준 프레임에 대비하여 다른 프레임들 간의 밝기 변환함수를 계산하며(단계 320), 다른 프레임들을 기준 프레임을 기준으로 하여 밝기 변환을 수행할 수 있다(단계 330).

다시 도 2를 참조하면, 본 발명의 일실시예에 따른 HDR 영상 생성 방법은 상기 단계 220에서, 상기 기준 프레임에 따라 밝기 변환된 다른 프레임들을 이용하여 상기 영상별 고스트 확률을 계산할 수 있다.

다음으로, 본 발명의 일실시예에 따른 HDR 영상 생성 방법은 계산된 영상별 고스트 확률을 고려하여, HDR 가중치 맵을 갱신할 수 있다(단계 230).

예를 들어, 본 발명의 일실시예에 따른 HDR 영상 생성 방법은 HDR 가중치 맵에 고스트 흐림이 확인된 고스트 확률을 적용하고, 상기 고스트 확률이 적용된 상기 HDR 가중치 맵에 일련의 정규화 과정을 통해 각각의 프레임을 구성하는 픽셀에서의 가중치 합이 "1"이 되도록 조절하여 상기 HDR 가중치 맵을 갱신할 수 있다.

본 발명의 일실시예에 따른 HDR 영상 생성 방법은 갱신된 HDR 가중치 맵을 반영하여 HDR 영상을 생성할 수 있다(단계 240).

본 발명의 일실시예에 따른 HDR 영상 생성 방법은 상기 수신된 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 입력받고, 가우시안 피라미드(Gaussian pyramid) 및 라플라시안 피라미드(Laplacian pyramid)를 이용하여, 상기 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 합성하여 상기 HDR 영상을 생성할 수 있다.

도 4는 본 발명의 일실시예에 따른 영상별 밝기 정합 처리부 및 영상별 고스트 확률 계산부가 동작하는 실시예를 설명하는 도면이다.

본 발명의 일실시예에 따른 상기 영상별 밝기 정합 처리부에서는 입력 영상 중 하나를 기준 프레임으로 설정하고 다른 노출 영상을 기준 프레임의 노출밝기 정도에 맞춰 밝기변환을 수행하여 밝기가 변환된 영상으로 정합한다.

이를 위해, 본 발명의 일실시예에 따른 상기 영상별 밝기 정합 처리부에서는 시스템 특성에 따라 입력영상을 하나를 기준 프레임으로 선정한다.

구체적으로, 세 장의 노출영상을 입력으로 사용한 경우로서 세 장 중 장노출 영상(k=1)을 기준 프레임(410)으로 설정하고 단노출 영상(420, k=3)을 밝기 정합할 수 있다.

두 장의 노출영상, 즉 기준 프레임(410)과 단노출 영상(420, k=3)을 이용하여 중앙에 표시되어있는 2D 조인트 히스토그램(440, joint-histogram)을 계산하고, 이로부터 curve로 표시되는 밝기변환 함수를 curve-fitting 기법을 활용하여 추정할 수 있다.

2D 조인트 히스토그램의 세로축은 기준 프레임에 대한 픽셀 밝기값을 나타내고 가로축은 정합하려고 하는 다른 노출영상의 픽셀 밝기값을 나타낸다.

따라서 기준 프레임(410)과 단노출 영상(420, k=3)의 동일 픽셀에서의 밝기값 쌍(pair)들을 히스토그램상에서 모두 voting 함으로써 2D 조인트 히스토그램이 얻어지게 된다.

단노출 영상(420, k=3)에서 기준 프레임(410)으로의 밝기변환 함수 BTF(k:3->#ref)가 결정되면 단노출 영상(420, k=3)의 모든 픽셀값에 대해 일대일로 대응하는 픽셀값을 결정할 수 있게 된다. 참고로, #ref은 기준 프레임(410)의 번호를 표시한다.

예로서, 2D 조인트 히스토그램 상의 추정 변환함수는 커브상에서 서로 만나게 그려져 있는 두 개의 선으로 표시되어 있다.

단노출 영상(420, k=3)의 픽셀 값(Iij,k)이 BTF(k:3->#ref)에 의해 기준 프레임 노출수준의 밝기 값(I'ij,k)으로 맵핑되어, 밝기가 정합된 노출 영상(430)이 생성될 수 있다.

도 5는 본 발명의 일실시예에 따른 영상별 HDR 가중치 맵 계산부가 동작하는 실시예를 설명하는 도면이다.

도 5는 세 장의 프레임을 포함하는 다중 노출 멀티프레임이 입력된 경우, 그 중간 결과와 최종 결과를 보여주고 있다.

도 5에서는 장 노출(long exposure) 영상을 I_k=1, 중 노출(middle exposure) 영상을 I_k=2, 및 단 노출(short exposure) 영상을 I_k=3로 표시한다.

또한, 각각의 입력 영상들로서, 다중 노출 입력 영상(510), 밝기 변환입력 영상(520), 및 입력 영상별 고스트 확률맵(530)의 장 노출 영상을 기준 프레임(reference frame)으로 설정하였다.

도 5의 다중 노출 입력 영상(510)은 세 장의 입력영상을 보여주고 있고, 밝기 변환입력 영상(520)에서는 장 노출영상을 기준으로 밝기정합을 한 결과를 보여주고 있다.

입력 영상별 고스트 확률맵(530)에서는 기준 프레임과 밝기 변환입력 영상(520) 상의 밝기정합 영상간의 차분을 이용하여 고스트 확률맵을 구현 결과를 확인할 수 있다.

도 6은 본 발명의 일실시예에 따른 멀티스케일 블렌딩 처리부가 영상을 합성하여 생성하는 실시예를 설명하는 도면이다.

도 6에서도 세 장의 프레임을 포함하는 다중 노출 멀티프레임이 입력된 경우, 그 중간 결과와 최종 결과를 보여주고 있다.

도 6에서는 장 노출(long exposure) 영상을 I_k=1, 중 노출(middle exposure) 영상을 I_k=2, 및 단 노출 (short exposure) 영상을 I_k=3로 표시한다.

도 6의 (a)에서는 HDR 가중치 맵(610)에서는 도 5의 다중 노출 입력 영상(510)과 같이, 각 입력 노출영상에 대한 계산된 HDR 가중치 맵을 나타낸다.

또한, 도 6의 (b)에서는 상기 도 5의 입력 영상별 고스트 확률맵(530)을 기반으로 고스트가 보정되어 갱신된 HDR 가중치 맵(620)을 나타낸다. 또한, 도 6 (c)에서는 최종 결과로서, HDR 합성된 HDR 결과 영상(630)을 도시한다.

결국, 본 발명의 일실시예에 따른 HDR 영상 생성 방법을 이용하면, MTB(Median threshold Bitmap) 영상을 활용하지 않고 다른 노출 입력 영상간의 밝기정합 과정을 수행한 후 그 편차를 움직임 검출 특징으로 활용함으로써 보다 단순한 처리 과정을 통해서 고스트 흐림 문제를 해결할 수 있다.

뿐만 아니라, 본 발명의 일실시예에 따른 HDR 영상 생성 방법을 이용하면, 종래에 비해 HDR radiance 맵의 복원과, 복원된 HDR radiance 맵을 8bit HDR로 만들기 위한 tone compression과정을 수행하지 않고 직접 가중평균을 수행하여 최종 결과를 얻을 수 있다.

본 발명의 일실시예에 따른 HDR 영상 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: HDR 영상 생성 장치 110: 영상별 밝기 정합 처리부
120: 영상별 고스트 확률 계산부
130: 영상별 고스트 보정 HDR 가중치 맵 갱신부
140: 영상별 HDR 가중치 맵 계산부 150: 멀티스케일 블렌딩 처리부

Claims

수신되는 다중 노출 멀티 프레임에 대해 HDR(High Dynamic Range) 가중치 맵을 계산하는 영상별 HDR 가중치 맵 계산부;
상기 수신되는 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인하여, 영상별 고스트 확률을 계산하는 영상별 고스트 확률 계산부;
상기 계산된 고스트 확률을 고려하여, 상기 계산된 HDR 가중치 맵을 갱신하는 영상별 고스트 보정 HDR 가중치 맵 갱신부; 및
상기 수신된 다중 노출 멀티 프레임에 상기 갱신된 HDR 가중치 맵을 반영하여 HDR 영상을 생성하는 멀티스케일 블렌딩 처리부
를 포함하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
제1항에 있어서,
상기 수신되는 다중 노출 멀티 프레임 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임을 기준으로 상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임에 대해서, 밝기를 정합하는 영상별 밝기 정합 처리부
를 더 포함하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
제2항에 있어서,
상기 영상별 밝기 정합 처리부는,
상기 수신되는 다중 노출 멀티 프레임 중에서 어느 하나의 프레임을 상기 기준 프레임으로 결정하고, 상기 수신되는 다중 노출 멀티 프레임 중에서 상기 기준 프레임을 제외한 나머지 프레임의 노출 밝기를 조절하여 상기 밝기를 정합하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
제2항에 있어서,
상기 영상별 고스트 확률 계산부는,
상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임에 대한 정합된 밝기를 참고하여, 상기 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
제4항에 있어서,
상기 영상별 고스트 확률 계산부는,
상기 밝기를 정합한 결과에 따라, 상기 결정된 기준 프레임과 상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임 각각의 밝기 차이 값을 확인하고, 상기 각각의 밝기 차이 값이 임계값 이상인 경우에 고스트 흐림을 확인하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
제1항에 있어서,
상기 영상별 고스트 보정 HDR 가중치 맵 갱신부는,
상기 계산된 고스트 확률이 임계값 이상인 픽셀의 HDR 가중치를, 상기 계산된 고스트 확률이 임계값 이하인 픽셀의 HDR 가중치 보다 낮게 수정하여, 상기 HDR 가중치 맵을 갱신하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
제6항에 있어서,
상기 HDR 가중치 맵은 상기 다중 노출 멀티 프레임을 구성하는 각 프레임의 픽셀에 대해서 대비(contrast), 칼라포화(saturation), 및 적정노출도(well-exposedness) 중에서 적어도 하나의 정보를 상기 HDR 가중치로서 저장하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
제1항에 있어서,
상기 멀티스케일 블렌딩 처리부는,
상기 수신된 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 입력받고, 가우시안 피라미드(Gaussian pyramid) 및 라플라시안 피라미드(Laplacian pyramid)를 이용하여, 상기 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 합성하여 상기 HDR 영상을 생성하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 장치.
영상별 HDR 가중치 맵 계산부에서, 수신되는 다중 노출 멀티 프레임에 대해 HDR(High Dynamic Range) 가중치 맵을 계산하는 단계;
영상별 고스트 확률 계산부에서, 상기 수신되는 다중 노출 멀티 프레임에 대한 고스트 흐림을 확인하여, 영상별 고스트 확률을 계산하는 단계;
영상별 고스트 보정 HDR 가중치 맵 갱신부에서, 상기 계산된 영상별 고스트 확률을 고려하여, 상기 계산된 HDR 가중치 맵을 갱신하는 단계; 및
멀티스케일 블렌딩 처리부에서, 상기 수신된 다중 노출 멀티 프레임에 상기 갱신된 HDR 가중치 맵을 반영하여 HDR 영상을 생성하는 단계
를 포함하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 방법.
제9항에 있어서,
영상별 밝기 정합 처리부에서, 상기 수신되는 다중 노출 멀티 프레임 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임을 기준으로 상기 다중 노출 멀티 프레임을 구성하는 적어도 하나 이상의 프레임에 대해서, 밝기를 정합하는 단계
를 더 포함하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 방법.
제9항에 있어서,
상기 멀티스케일 블렌딩 처리부에서, 상기 HDR 영상을 생성하는 단계는,
상기 수신된 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 입력받고, 가우시안 피라미드(Gaussian pyramid) 및 라플라시안 피라미드(Laplacian pyramid)를 이용하여, 상기 다중 노출 멀티 프레임 및 상기 HDR 가중치 맵을 합성하여 상기 HDR 영상을 생성하는 단계
를 포함하는 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 HDR 영상 생성 방법.