KR101664123B1

KR101664123B1 - 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법

Info

Publication number: KR101664123B1
Application number: KR1020100055973A
Authority: KR
Inventors: 차준혁; 이경무; 허용석; 문영수; 이상욱; 이시화
Original assignee: 삼성전자주식회사; 서울대학교산학협력단
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2016-10-11
Also published as: EP2395748A2; EP2395748A3; US20120141029A1; US8942509B2; KR20110136152A

Abstract

본 발명은 필터링에 기반하여 고스트가 없는 HDRI를 생성하는 장치 및 방법에 관한 것으로서, 이미지에서 고스트 지역을 구체적으로 판단하지 않고, 여러 프레임들의 집중도에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.

Description

필터링에 기반하여 고스트가 없는 ＨＤＲＩ를 생성하는 장치 및 방법{APPARATUS AND METHOD OF CREATING HIGH DYNAMIC RANGE IMAGE EMPTY GHOST IMAGE BY USING FILTERING}

본 발명의 실시예들은 움직이는 카메라에 의해 움직임을 갖고 있는 피사체가 포함된 장면을 노출을 바꿔가면서 연속 촬영을 할 때, 마치 고정 카메라로 움직임이 없는 피사체 상태로 연속 영상을 촬영된 것과 같은 효과를 갖도록, 필터링에 기반하여 고스트 이미지가 없는 HDRI(High Dynamic Range Image)를 생성하는 장치 및 방법에 관한 것이다.

하나의 씬(scene)에 대하여, 카메라 노출(exposure)을 다양하게 설정해서 취득하는 여러 장의 LDRI(Low Dynamic Range Image)들을 이용하여, 한 장의 HDRI를 생성하는 대부분의 기술들은 장면이 정지되어 있다는 가정에 기초한다.
그러나, 실제 환경에서는 물체가 움직인다는 점에서, 하나의 정지된 장면에 대한 여러 장의 LDRI들을 취득하기가 쉽지 않다.
이러한 물체의 움직임들은 한 물체가 HDRI에서 여러 번 발생하는 현상을 야기시킬 수 있다.
HDRI에서 물체의 움직임으로 인해서 하나의 물체가 여러 번 표시되는 현상을 고스트 현상이라고 한다.
이러한, 고스트 현상의 문제를 해결하기 위한 방법은 크게 두 가지로 나눌 수 있다.
첫 번째 방법은, 각각의 LDRI의 픽셀을 background와 foreground로 구분하여 움직임이 존재하는 foreground 지역을 고스트로 정의하는 것이다.
두 번째 방법은 여러 장의 LDRI들 중에서 기준 프레임(reference frame)을 정의하고, 이 기준 프레임을 기준으로 움직임이 존재하는 지역을 고스트로 판단하는 것이다.
첫 번째 방법은 관심 물체가 움직임이 있을 때, 이를 고스트로 판단하여 제거되는 부작용이 있으므로, 두 번째 방법이 보다 실용적인 측면에서 효과적일 수 있다.
기준 프레임을 기준으로 고스트 문제를 해결하는 기존의 방법들은 적절한 방법으로 고스트 지역을 검출(detection)한 뒤, 검출된 고스트 지역을 제외하고 [Debevec &　Malik, 1997] 방법을 이용하여 여러 exposure의 radiance에 대하여 가중치 합을 수행하여 최종의 radiance 값을 결정할 수 있다.
그러나, 일반적으로 고스트 지역을 정확하게 판단하는 것은 쉽지 않고, 고스트 지역이 잘못 판단될 경우, 가중치 합을 하는 과정에서 고스트 지역에 해당하는 픽셀값이 포함될 여지가 있기에, HDRI에서는 여전히 고스트가 존재할 수 있다.

본 발명의 일실시예에 따른 HDRI 생성 장치는 촬영 수단의 노출을 변경하면서 복수의 LDRI들을 수집하는 LDRI 수집부, 및 상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하며, 상기 결정된 조인트 확률함수에 기초하여 HDRI를 생성하는 HDRI 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 촬영 수단의 노출을 변경하면서 복수의 LDRI들을 수집하는 단계, 상기 수집된 복수의 LDRI 중에서 시인성을 고려하여 기준 프레임을 결정하는 단계, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하는 단계, 및 상기 결정된 조인트 확률함수에 기초하여 HDRI를 생성하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 이미지에서 고스트 지역을 구체적으로 판단하지 않고, 여러 프레임들의 집중도에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의 함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.
본 발명의 일실시예에 따르면, 여러 장의 노출 변화를 가진 연속 멀티 프레임들을 이용하여 다양한 고기능 촬영, 예를 들어, 파노라마 촬영, HDR(high dynamic Range) 촬영, 저조도 고감도 촬영, 초해상도 촬영 등을 구현하는데 있어 많은 활용이 가능하다.
본 발명의 일실시예에 따르면, 다양하게 노출이 변화되는 멀티 프레임 처리를 통한 고기능이 탑재될 걸로 예상되는 기기로서, 고성능 카메라, 고성능 모바일 폰 등의 모바일 미디어 제품뿐만 아니라, 집에서 사용되어 일반적으로 접할 수 있는 PC(Personal Computer), DTV(Digital TV), 및 셋톱박스 등에 손쉽게 적용될 수 있다.

도 1은 본 발명의 일실시예에 따른 HDRI 생성 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 따른 HDRI 생성부를 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 따른 일반화 필터링을 수행하는 실시예를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 HDRI 생성 방법을 설명하기 위한 흐름도이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 HDRI 생성 장치(100)를 설명하기 위한 블록도이다.
본 발명의 일실시예에 따른 HDRI 생성 장치(100)는 LDRI 수집부(110) 및 HDRI 생성부(120)를 포함할 수 있다.
LDRI 수집부(110)는 촬영 수단의 노출을 변경하면서 복수의 LDRI들을 수집할 수 있다.
본 발명에서 언급되는 LDRI라 함은 일반적인 비트맵 방식의 이미지를 의미 하는 것으로서, Jpeg, Tiff, Bmp 등의 형식으로 픽셀 당 8비트인 256가지 모드의 색을 표현할 수 있는 이미지로 해석될 수 있다.
또한, 본 발명에서 언급되는 HDRI는 단순히 색상에 대한 정보를 저장하는 LDRI와는 달리 각 픽셀들이 색상과 함께 밝기 집중도(intensity) 값을 저장하는 이미지로 해석될 수 있다.
본 발명의 일실시예에 따른 HDRI는 이미지에 대한 표현 범위가 향상되며, HDRI의 빛의 양 정보는 하나의 이미지에서 동일한 색상을 가진 픽셀간의 구별을 가능하게 할 수 있다.
HDRI 생성부(120)는 상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정하며, 상기 결정된 조인트 확률함수에 기초하여 HDRI를 생성할 수 있다.
다시 말해, HDRI 생성부(120)는 촬영 수단의 노출을 변경하면서 수집된 복수의 LDRI들에 대해서, 고스트가 발생한 지역(이하, 고스트 지역이라 함)을 구체적으로 판단하지 않고, 여러 프레임들의 집중도(intensity)에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(120)는 도 2를 통해서 구체적으로 설명한다.
도 2는 본 발명의 일실시예에 따른 HDRI 생성부(200)를 구체적으로 설명하기 위한 블록도이다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 복수의 프레임들의 집중도(intensity)에 대한 관계식인 글로벌 전송함수에 근거하여, 고스트 지역을 확률로 정의하기 위해, 조인트 확률함수 결정부(210)를 포함할 수 있다.
본 발명의 일실시예에 따른 조인트 확률함수 결정부(210)는 기준 프레임 결정부(미도시)와 조인트 히스토그램 계산부(미도시)를 포함할 수 있다.
먼저, 상기 기준 프레임 결정부는 복수의 LDRI들로부터 기준 프레임을 결정하고, 상기 조인트 히스토그램 계산부는 상기 결정된 기준 프레임과 상기 복수의 LDRI(Low Dynamic Range Image)들 각각을 비교하여 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산할 수 있다.
본 발명의 일실시예에 따른 상기 기준 프레임 결정부는 상기 복수의 LDRI들 중에서 시인성이 가장 좋은 이미지의 프레임을 상기 기준 프레임으로 결정할 수 있다.
상기 시인성은 프레임의 집중도와 관련된 이미지 특성 중에 하나로서, 추후 상기 기준 프레임과, 상기 복수의 LDRI들 중에서 상기 기준 프레임을 제외한 나머지 프레임들 간의 비교에 이용될 수 있다.
다음으로, 조인트 확률함수 결정부(210)는 상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정할 수 있다.
다시 말해, 조인트 확률함수 결정부(210)는 입력이 연속되는 N장의 노출 영상들이 주어졌을 때, 프레임들 중에서 가장 시인성이 좋은 영상을 기준 프레임으로 정하고, 각 입력 (노출) 프레임과 기준 프레임을 이용하여 각 노출별 조인트 히스토그램을 계산할 수 있다.
조인트 확률함수 결정부(210)는 계산된 조인트 히스토그램에 적절한 처리를 통해 조인트 확률함수(pdf)를 계산할 수 있다.
조인트 확률함수는 노출이 다른 프레임들 사이의 글로벌 집중도(Global Intensity)에 대한 확률적인 관계식으로 표현될 수 있다.
보다 구체적으로 설명하면, 조인트 확률함수 결정부(210)는 노출이 다른 프레임들 사이의 글로벌 집중도(Global Intensity)의 확률적인 관계를 통해서, 같은 위치의 밝기 값에 대하여 조인트 히스토그램을 산출할 수 있다.
따라서, 조인트 히스토그램은 [수학식 1]을 통해서 산출될 수 있다.
[수학식 1]

[수학식 1]에서, 'no'는 기준 프레임을 의미하고, 'i'는 상기 기준 프레임의 집중도를 의미하며, 'n'은 복수의 LDRI들 n 번째 프레임을 의미하며, 'j'는 상기 n 번째 프레임의 집중도를 의미한다.
이때, k는 Red, Green, 및 Blue 색상 집합의 원소로 해석될 수 있고, T()는 괄호 안의 값이 True일 때, '1'의 값을 갖고, False일 때 '0'의 값을 갖는다. 또한, N은 한 이미지 내에서의 모든 픽셀 p의 개수를 의미할 수 있다.
이러한 조인트 히스토그램을 조인트 확률함수로 변환하기 위해, 상기 조인트 히스토그램을 2차원 가우시안(Gaussian) 함수를 이용하여 Parzen window 처리를 수행할 수 있다.
또한, Parzen window 처리된 상기 조인트 히스토그램의 확률의 총합이 '1'이 되도록 노멀라이징을 수행할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 글로벌 전송함수 결정부(220)를 더 포함할 수 있다.
본 발명의 일실시예에 따른 글로벌 전송함수 결정부(220)는 조인트 확률함수 결정부(210)가 산출한 상기 조인트 확률함수를 기준으로 기준 프레임과, 다른 프레임들 간의 글로벌 전송함수를 산출할 수 있다.
상기 글로벌 전송함수는 [수학식 2]를 통해서 산출될 수 있다.
[수학식 2]

[수학식 2]는, [수학식 1]을 통해서 산출한 기준 프레임에 대한 조인트 확률함수에 대하여 MMSE(Mean Squared Error Estimate)를 적용함으로써, 글로벌 전송함수를 산출할 수 있다.
본 발명의 일실시예에 따르면, 글로벌 전송함수의 보다 매끄러운 커브(curve)를 산출하기 위해서, [수학식 2]를 통해 산출한 글로벌 전송함수에 least-square를 수행하거나 또는 n차 polynomial을 통해 근사화 시킬 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 HDR 라디언스 맵 생성부(230)를 더 포함할 수 있다.
본 발명의 일실시예에 따른 HDR 라디언스 맵 생성부(230)는 상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성할 수 있다.
상기 일반화 필터링은 국부적 가중평균 필터링으로 해석될 수 있다.
이에, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성할 수 있다.
구체적으로 설명하면, 먼저, 픽셀 p에서 라디언스 값 E(p)와 인버스 카메라 응답 함수(inverse camera response function)인 g() 사이의 관계식을 살펴보면, [수학식 3]으로 표현될 수 있다.
[수학식 3]

[수학식 3]에서,

은 프레임에 대한 노출 시간을 의미할 수 있다.
[수학식 3]의 관계식은 각각의 프레임에 대한 라디언스 값들의 가중치 합으로 정의될 수 있다.
본 발명의 일실시예에 따른 HDRI 생성부(200)는 상기 결정된 글로벌 전송함수를 일반화 필터링(Generalized filtering)을 수행하여, HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성할 수 있다.
이때, 상기 일반화 필터링은 양방향 필터(Bilateral filter)에 기반할 수 있다.
다시 말해, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 보다 넓은 지역을 필터링하여 최종적으로 라디언스를 결정할 수 있다.
이를 위해, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 [수학식 4]를 통해서, 최종적인 라디언스를 결정할 수 있다.
[수학식 4]

본 발명의 일실시예에 따른 HDRI 생성부(200)는 [수학식 4]와 같이 3개의 웨이트 함수들

,

, 및

를 이용하여 이미지에서 보다 넓은 지역을 필터링하여 최종적인 라디언스를 결정할 수 있다.
도 3은 [수학식 4]를 이용하여, 본 발명의 일실시예에 따른 일반화 필터링을 수행하는 실시예를 설명하는 도면이다.
도 3에서는 각각의 프레임들, 즉 기준 프레임(Frame #0)과 다른 프레임들(Frame #1, Frame #2)에 대해서 최종적인 라디언스를 결정하는 것을 설명할 수 있다. 구체적으로, 도 3에서는 상기 [수학식 4]와 같이 3개의 웨이트 함수들

,

, 및

를 이용하여 이미지에서 보다 넓은 지역을 필터링하여 최종적인 라디언스를 결정할 수 있다.
보다 구체적으로 설명하면,

는 기준 프레임 n0의 밝기 값(In0)과 글로벌 전송함수(Bn())를 이용하여 얻어진 밝기 값(Bn(In0))의 컬러 차이에 대한 웨이트로 해석될 수 있다.

는 기준 프레임의 위치 p와 해당하는 다른 프레임에서의 해당 위치 q의 지오메트릭 거리(geometric distance)에 대한 웨이트로 해석될 수 있다.
또한,

는 [수학식 3]에서와 같이 집중도에 대한 웨이트로 해석될 수 있다.
N(p)는 픽셀 p를 중심으로 갖는 윈도우 내의 모든 픽셀들의 집합을 의미할 수 있다.
따라서, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 [수학식 4]를 통한 필터링을 통해서 픽셀 p의 최종 라디언스 값

을 산출할 수 있다.
다시 도 2를 참조하면, 본 발명의 일실시예에 따른 HDRI 생성부(200)는 양방향 필터의 개념뿐만 아니라, 다른 국부 가중평균 필터링 기법들을 적용하여, 일반화 필터링을 수행할 수 도 있다.
예를 들어, 양방향 필터 대신에 non-local means filtering 기법을 적용하여 일반화 필터링을 수행할 수도 있다.
결국, 본 발명의 일실시예에 따른 HDRI 생성부(200)를 이용하면, 특정 고스트 지역의 직접적인 탐지 없이, 고스트 지역을 제거하여 기준 프레임의 라디언스를 산출할 수 있다. 이로 인해, 전체 이미지의 노이즈를 줄일 수도 있음은 자명하다.
본 발명의 일실시예에 따른 HDRI 생성부(200)가 적용된 HDRI 생성장치는 이미지에서 고스트 지역을 구체적으로 판단하지 않고, 여러 프레임들의 집중도에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의 함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 효과적으로 예방할 수 있다.
뿐만 아니라, 본 발명의 일실시예에 따른 HDRI 생성장치는, 여러 장의 노출 변화를 가진 연속 멀티 프레임들을 이용하여 다양한 고기능 촬영, 예를 들어, 파노라마 촬영, HDR(high dynamic Range) 촬영, 저조도 고감도 촬영, 초해상도 촬영 등을 구현하는데 있어 많은 활용이 가능하다.
또한, 본 발명의 일실시예에 따르면, 다양하게 노출이 변화되는 멀티 프레임 처리를 통한 고기능이 탑재될 걸로 예상되는 기기로서, 고성능 카메라, 고성능 모바일 폰 등의 모바일 미디어 제품뿐만 아니라, 집에서 사용되어 일반적으로 접할 수 있는 PC(Personal Computer), DTV(Digital TV), 및 셋톱박스 등에 손쉽게 적용될 수 있다.
도 4는 본 발명의 일실시예에 따른 HDRI 생성 방법을 설명하기 위한 흐름도이다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하고, 상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하며, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여, 조인트 확률함수를 결정함으로써, 상기 결정된 조인트 확률함수에 기초하여 HDRI(High Dynamic Range Image)를 생성할 수 있다.
구체적으로, 본 발명의 일실시예에 따른 HDRI 생성 방법은 촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하고(단계 410), 상기 수집된 복수의 LDRI들 중에서 기준 프레임을 결정할 수 있다(단계 420).
본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 수집된 복수의 LDRI들에 대한 시인성을 확인하고, 시인성이 가장 좋은 프레임을 상기 기준 프레임으로 결정할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여(단계 430), 조인트 확률함수를 결정할 수 있다.
구체적으로, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 비교 결과를 고려하여, 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산하고(단계 440), 상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정할 수 있다(450).
본 발명의 일실시예에 따르면, 노출이 다른 프레임들 사이의 글로벌 집중도의 확률적인 관계를 통해서, 같은 위치의 밝기 값에 대하여 조인트 히스토그램을 산출할 수 있다.
이에, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 조인트 확률함수에 기초하여, 글로벌 전송함수(Global transfer function)를 결정할 수 있다(단계 460).
상기 글로벌 전송함수는 복수의 프레임들(LDRI들)의 집중도(intensity)에 대한 관계식으로 해석될 수 있다.
이후, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 글로벌 전송함수에 기초하여, HDR 라디언스 맵을 생성하고(단계 470), 상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성할 수 있다(단계 480).
예를 들어, 본 발명의 일실시예에 따른 HDRI 생성 방법은 상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성할 수 있다.
본 발명의 일실시예에 따른 HDRI 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

200: HDRI 생성부 210: 조인트 확률함수 결정부
220: 글로벌 전송함수 결정부 230: HDR 라디언스 맵 생성부

Claims

촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하는 LDRI 수집부; 및
상기 수집된 복수의 LDRI 중에서 기준 프레임을 결정하고, 상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여 조인트 확률함수를 결정하며, 상기 조인트 확률 함수에 기초하여 결정된 기준 프레임과 복수의 LDRI 간의 집중도에 대한 관계를 나타내는 글로벌 전송함수를 결정하고, 상기 조인트 확률함수를 이용하여 고스트가 발생하는 영역을 정의하고, 상기 결정된 글로벌 전송함수에 기초하여 HDRI(High Dynamic Range Image)를 생성하는 HDRI 생성부
를 포함하는 것을 특징으로 하는 HDRI 생성 장치.
제1항에 있어서,
상기 HDRI 생성부는,
조인트 확률함수 결정부를 포함하고,
상기 조인트 확률함수 결정부는,
상기 복수의 LDRI(Low Dynamic Range Image)들로부터 기준 프레임을 결정하는 기준 프레임 결정부; 및
상기 결정된 기준 프레임과 상기 복수의 LDRI(Low Dynamic Range Image)들 각각을 비교하여 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산하는 조인트 히스토그램 계산부
를 포함하고,
상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정하는 것을 특징으로 하는 HDRI 생성 장치.
제2항에 있어서,
상기 기준 프레임 결정부는 상기 복수의 LDRI들 중에서 시인성이 가장 좋은 이미지의 프레임을 상기 기준 프레임으로 결정하는 것을 특징으로 하는 HDRI 생성 장치.
제2항에 있어서,
상기 조인트 확률함수는,
노출이 다른 상기 복수의 LDRI들 각각의 글로벌 집중도(Global Intensity)에 대한 확률적인 관계식이고,
상기 조인트 확률함수에 기초하는 상기 조인트 히스토그램은 상기 조인트 확률함수와 같은 위치의 밝기 값에 기초하는 것을 특징으로 하는 HDRI 생성 장치.
제2항에 있어서,
상기 HDRI 생성부는,
상기 결정된 조인트 확률함수에 기초하여, 글로벌 전송함수(Global transfer function)를 결정하는 글로벌 전송함수 결정부
를 더 포함하는 것을 특징으로 하는 HDRI 생성 장치.
제5항에 있어서,
상기 글로벌 전송함수는,
MMSE(Mean Squared Error Estimate)를 적용하여 기준 프레임에 대한 조인트 확률함수를 산출하는 것을 특징으로 하는 HDRI 생성 장치.
제3항에 있어서,
상기 HDRI 생성부는,
상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성하는 HDR 라디언스 맵 생성부
를 더 포함하고,
상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성하는 것을 특징으로 하는 HDRI 생성 장치.
촬영 수단의 노출을 변경하면서 복수의 LDRI(Low Dynamic Range Image)들을 수집하는 단계;
상기 수집된 복수의 LDRI 중에서 시인성을 고려하여 기준 프레임을 결정하는 단계;
상기 결정된 기준 프레임과 상기 수집된 복수의 LDRI를 각각 비교하여 조인트 확률함수를 결정하는 단계;
상기 결정된 기준프레임과 상기 복수의 LDRI 간의 집중도에 대한 관계를 나타내는 글로벌 전송함수를 상기 조인트 확률함수에 기초하여 결정하는 단계;
상기 조인트 확률 함수를 이용하여 고스트가 발생하는 영역을 정의하는 단계; 및
상기 결정된 글로벌 전송 함수에 기초하여 HDRI(High Dynamic Range Image)를 생성하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법.
제8항에 있어서,
상기 조인트 확률함수를 결정하는 단계는,
상기 결정된 기준 프레임과 상기 복수의 LDRI(Low Dynamic Range Image)들 각각을 비교하여 상기 복수의 LDRI들의 각각의 노출에 따른 노출별 조인트 히스토그램을 계산하는 단계; 및
상기 계산된 노출별 조인트 히스토그램에 기초하여, 조인트 확률함수를 결정하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법.
제9항에 있어서,
상기 기준 프레임 결정하는 단계는,
상기 복수의 LDRI들 중에서 시인성이 가장 좋은 이미지의 프레임을 상기 기준 프레임으로 결정하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법.
제9항에 있어서,
상기 HDRI를 생성하는 단계는,
상기 결정된 조인트 확률함수에 기초하여, 글로벌 전송함수(Global transfer function)를 결정하는 단계;
상기 결정된 글로벌 전송함수를 양방향 필터(Bilateral filter)에 기반하는 일반화 필터링(Generalized filtering)을 수행하여 HDR 라디언스 맵(High Dynamic Range Radiance Map)을 생성하는 단계; 및
상기 생성된 HDR 라디언스 맵에 기초하여, 상기 HDRI을 생성하는 단계
를 포함하는 것을 특징으로 하는 HDRI 생성 방법.