KR102145201B1

KR102145201B1 - 이미지의 동적 범위 향상을 위한 방법 및 장치

Info

Publication number: KR102145201B1
Application number: KR1020130122017A
Authority: KR
Inventors: 파리자트 프라까쉬 프라부데사이; 사베리 라쥬 샨무감; 나라심하 고팔라크리쉬나 빠이
Original assignee: 삼성전자주식회사
Priority date: 2013-08-12
Filing date: 2013-10-14
Publication date: 2020-08-18
Also published as: CN105453134A; EP3033731A1; EP3033731A4; US9218653B2; US20150043811A1; KR20150019985A; WO2015023074A1; CN105453134B

Abstract

본 발명의 다양한 실시예들은 이미지의 전체적인 동적 범위에 영향을 주지 않고 노출 브라케팅된 이미지 셋의 컨텐츠를 사용하여 이미지의 국소적인 동적 범위를 향상시키는 방법 및 장치를 제공한다. 상기 방법은 사용자로부터 기준 이미지를 수신한 후에 향상을 위해 적어도 하나의 영역을 선택할 수 있도록 한다. 또한, 상기 방법은 노출 가중치들을 이용하여 상기 기준 이미지를 분할하는 단계를 포함하고, 노출 브라케팅된 이미지 셋으로부터 향상 지원 이미지를 선택한다. 또한, 상기 방법은 기준 및 향상 지원 이미지들의 가중치 맵들을 결정하고, 상기 결정된 가중치 맵들을 이용하여 동적 범위가 향상된 기준 이미지를 생성한다.

Description

이미지의 동적 범위 향상을 위한 방법 및 장치{METHOD AND APPARATUS FOR DYNAMIC RANGE ENHANCEMENT OF AN IMAGE}

본 발명의 다양한 실시예들은 이미지 처리 방법 및 장치에 관한 것이다.

디지털 카메라, 스캐너 및 비디오 카메라와 같은 제품들에서, 전하 결합 소자(Charge-Coupled Device: CCD)와 같은 이미지 센싱 장치들을 흔히 볼 수 있다. 이러한 이미지 센싱 장치들은 전통적인 네거티브(negative) 필름 제품들에 비해 매우 제한된 동적 범위를 갖는다. 통상적인 이미지 센싱 장치는 약 5개의 스탑(stops)의 동적 범위를 갖는다.

또한, 다중 광원들 (예를 들어, 장면의 전광(frontlit) 및 후광(backlit) 부분들)로 인해, 장면이 종종 매우 넓은 동적 범위를 갖기도 한다. 넓은 동적 범위 장면의 경우, 피사체에 대해 적절한 노출을 선택하기 위해서는, 이미지의 다른 부분의 데이터를 잘라낼 필요가 있다(clipping). 따라서, 할로겐 미디어에 비해, 이미지 센싱 장치의 내부 동적 범위는 이미지 센싱 장치에 의해 획득한 이미지들에 대해 더 낮은 화질을 초래한다. 따라서, 이미지의 일부분들은 과하게 노출(over-exposed)되거나 부족하게 노출(under-exposed)될 수도 있다.

종래의 카메라를 이용한 단일 이미지 캡쳐링에 비해, HDR (High Dynamic Range) 이미징 방법들은 더 높은 동적 범위 이미지를 제공한다. HDR 이미징은 휴대용 카메라와 사진 편집 도구에 있어 고유한 특징들 중 하나가 되었다. 증가된 동적 범위를 갖는 이미지를 획득하는 이러한 방법은, 서로 다른 노출들(different exposures)에서 동일한 해상도를 갖는 다수의 정지 이미지들을 캡쳐하고 이미지들을 증가된 동적 범위를 갖는 단일 출력 이미지로 결합하여 이루어진다. 이러한 방식은 종종 디지털 카메라에서 별도의 캡쳐 모드와 처리 경로를 요구한다.

전술한 다중 캡쳐들의 시간적 근접성은, 이미지들이 이미지 센서로부터 독출될 수 있는 비율에 의해 제한된다. 카메라 모션이 핸드 지터(jitter)와 관련되어 있던, 장면 모션이 장면 내에서 이동하는 객체들로 인한 것이든 간에, 캡쳐들 간의 더 큰 시간적 불일치는 캡쳐들 간의 모션 가능성(likelihood)을 증가시킨다. 모션은 다수의 이미지들을 단일 출력 이미지로 결합하는 것을 더욱 어렵게 만든다는 문제가 있다.

게다가, 다수의 노출된 이미지들로부터 HDR 이미지를 생성하면, 사용자의 기대에 최적이지 않을 수도 있는 섀도우(shadow), 중간 톤(tone) 및 하이라이트(highlight) 디테일(detail)을 증가시키는 문제도 있다.

또한, 래디언스 맵이라 불리는 이러한 단일 출력 이미지는 픽셀/채널 당 8 비트 이상을 요구하고, 현재 장치들에서 찾아볼 수 있는 액정 디스플레이(LCD) 또는 발광 다이오드(LED) 디스플레이 상에서 디스플레이 될 수 없으므로, LDR (Low Dynamic Range) 이미지라 불리는 8 비트 표시로 톤(tone) 맵핑되어야 한다. 톤 맵핑 오퍼레이터로 불리는, 이러한 맵핑을 위해 이용되는 오퍼레이터는 래디언스 맵을 LDR 이미지로 맵핑한다. 이러한 과정의 결과, 비교적 더 낮은 콘트라스트를 갖는 영역들 중 일부는 이미지의 나머지보다 더 적은 컬러들을 이용하여 표시될 수도 있다. 따라서, 사용자는 이미지의 나머지에 영향을 주지 않고 이러한 영역들의 동적 범위의 향상을 요구할 수도 있다. 업계에는, 이미지의 전반적인 동적 범위를 향상시키는 방법들이 존재한다.

HDR 이미지의 생성을 위해서는, 카메라 응답 기능(Camera Response Function: CRF)을 추정하고 노출 설정을 알아야 한다. 그러한 방법들의 경우, 이동 객체들은 최종 이미지에 고스트(ghost)라는 아티팩트(artifacts)을 생성하기 때문에, 동적 장면들은 어려움을 줄 수 있다(pose a challenge). 동적 장면의 경우, 장면에서 이동하는 객체들로 인해 발생되는 고스트를 제거하기 위해 추가적인 동작들을 수행해야 한다. 디고스팅(de-ghosting)이라 알려진 이러한 과정은 국소적 모션 없이 다수의 노출 이미지들 중 하나 또는 그 이상으로부터 모션 영역들의 픽셀 강도를 대체함으로써 수행될 수 있다. 디고스팅 알고리즘은 이러한 아티팩트를 줄이는데 이용되지만, 이미지 캡쳐링에서 노출 차이로 인해, 디고스팅 알고리즘은 고스트를 검출할 수 없거나 잘못 검출하여, HDR 이미지 품질을 저하시킨다.

본 발명의 다양한 실시예들은 전술한 문제점들을 고려하여 안출된 것으로써, 노출 브라케팅된 이미지들의 사용하여 이미지의 국소적인 동적 범위를 향상시키는 방법 및 장치를 제공한다.

또한, 본 발명의 다양한 실시예들은 HDR 이미지 품질을 향상시키기 위해 이미지의 고스팅 아티팩트를 줄이는 방법 및 장치를 제공한다.

본 발명의 다양한 실시예의 일 측면에 따른 방법은 기준 이미지의 동적 범위를 향상시키는 방법을 제공한다. 본 발명의 다양한 실시예의 일 측면에 따른 상기 방법은 향상을 위해 상기 기준 이미지의 적어도 하나의 영역을 선택하는 단계를 포함한다. 상기 방법은 또한 노출 가중치들을 이용하여 상기 기준 이미지를 분할하는 단계를 포함한다. 상기 방법은 노출 브라케팅된 이미지 셋으로부터 향상 지원 이미지를 선택하는 단계를 포함하고, 상기 기준 이미지와 상기 향상 지원 이미지 중 상기 선택된 적어도 하나의 영역의 가중치 맵들을 결정한다. 상기 방법은 상기 기준 이미지의 상기 향상된 동적 범위를 생성하는 단계를 포함한다.

따라서, 본 발명은 기준 이미지의 고스팅 아티팩트를 감소시키는 방법을 제공한다. 상기 방법은 고스트에 대해 상기 기준 이미지의 적어도 하나의 영역을 선택하는 단계를 포함하고 노출 브라케팅된 이미지 셋으로부터 향상 지원 이미지를 선택한다. 상기 방법은 상기 기준 이미지 및 향상 지원 이미지의 선택된 영역들의 가중치 맵들을 결정하는 단계를 포함하고, 상기 고스팅 아티팩트를 감소시켜 상기 향상된 기준 이미지를 생성한다.

본 발명의 실시예들의 이러한 및 다른 측면들은 하기의 설명과 첨부된 도면들과 함께 고려될 때 더 잘 인식되고 이해될 것이다. 그러나, 하기의 설명은 본 발명의 바람직한 실시예들 및 다수의 특정 사항들을 나타내지만, 예시로서 제공되는 것이지 한정으로서 제공되는 것은 아님을 이해해야 한다. 본 발명의 사항을 벗어나지 않고 실시예들의 범위 내에서 많은 변경들 및 수정들이 이루어질 수 있으며, 본 발명의 실시예들은 그러한 모든 수정들을 포함한다.

본 발명은 첨부된 도면들에서 예시되며, 도면들에 걸쳐 동일한 참조 문자들은 다양한 도면들에 해당 부분들을 나타낸다. 본 발명의 실시예들은 아래의 도면들을 참조하여 하기의 설명으로부터 더 잘 이해될 것이다.
도 1은 개시된 실시예들에 따른, 이미지의 국소적인 동적 범위를 향상시키기 위한 장치의 전체적인 블록도이다.
도 2는 개시된 실시예들에 따른, 수동 동적 범위 향상 모드에서 이미지의 국소적인 동적 범위를 향상시키기 위한 장치의 완전한 블록도이다.
도 3은 개시된 실시예들에 따른, 자동 동적 범위 향상 모드에서 이미지의 국소적인 동적 범위를 향상시키기 위한 장치의 완전한 블록도이다.
도 4는 개시된 실시예들에 따른, 서로 다른 입력 이미지들에 대해 미리 정의된 가중치(weight) 맵들의 예들을 도시하고 있다.
도 5는 개시된 실시예들에 따른, 이미지의 동적 범위를 향상시키기 위한 방법을 설명하는 흐름도이다.
도 6은 개시된 실시예들에 따른, 자동 동적 범위 향상 모드에서 이미지를 처리하는 방법을 설명하는 흐름도이다.
도 7은 개시된 실시예들에 따른, 수동 동적 범위 향상 모드에서 이미지를 처리하는 방법을 설명하는 흐름도이다.
도 8은 개시된 실시예들에 따른, 고스팅 아티팩트 감소 모드에서 이미지를 처리하는 방법을 설명하는 흐름도이다.
도 9는 개시된 실시예들에 따른, 이미지의 밝은 영역들의 동적 범위를 향상시키는 예시적인 방법을 도시하고 있다.
도 10은 개시된 실시예들에 따른, 이미지의 어두운 영역들의 동적 범위를 향상시키는 예시적인 방법을 도시하고 있다.
도 11은 개시된 실시예들에 따른, 이미지의 고스팅 아티팩트를 줄이는 예시적인 방법을 도시하고 있다.

본 발명의 실시예들은, 노출 브라케팅된(exposure bracketed) 이미지 집합의 내용(contents)을 이용하여, HDR (High Dynamic Range) 이미지의 선택된 영역들의 동적 범위를 향상시키고 이미지의 고스팅 아티팩트(ghosting artifacts)를 줄이는 방법 및 장치를 달성한다. 상기 이미지 집합은 서로 다른 노출들의 범위에서(range) 캡쳐된 동일한 장면의 복수의 이미지들을 포함한다. 상기 제안된 방법은 사용자로부터 기준 이미지(reference image)를 수신하여 향상될 기준 이미지의 원하는 영역들을 선택하고, 상기 기준 이미지의 영역들을 분할한다. 또한, 상기 방법은, 상기 기준 이미지에 대해, 노출 브라케팅된 이미지의 모든 이미지들의 전체적인 변화(global shifts)를 보정함으로써, 이미지 캡쳐링 장치의 전체적인 모션(이미지 캡쳐링 장치 움직임/손떨림)을 보상할 수 있다. 또한, 상기 방법을 통해, 사용자는 원하는 수정 또는 개선을 선택, 즉 그러한 특정 영역들의 동적 범위를 증가시키거나 감소시킬 수 있다. 이러한 선택된 영역들은 상기 노출 브라케팅된 이미지 셋으로부터 선택된 향상 지원 이미지(enhancement support image)를 이용하여 보정된다.

또는, 상기 방법의 일 모드 또는 구현에서, 선택된 영역들에서 상기 향상 지원 이미지에 대한 가중치들이 미리 정의된 노출 가중치 맵에 기초하여 결정된다. 상기 방법의 다른 모드 또는 구현에서, 사용자는 사용자 인터페이스를 통해 상기 향상 지원 이미지에 대한 가중치들을 입력할 수 있도록 하여, HDR 처리에서 세밀한 사용자 제어를 제공한다.

종래 시스템들에 비해, 상기 방법은 사용자가 이미지의 원하는 영역들을 양방향(interactively)으로 선택할 수 있도록 하여, 이미지의 전반적인 동적 범위에 영향을 주지 않고 상기 선택된 영역들의 동적 범위를 향상시킨다. 제한은 아닌 예시로서, 종래의 시스템에서와 같이 전체적으로 이미지의 모든 부분들에 조정(adjustments)을 적용하는 대신, 사용자는 이미지의 특정 선택된 영역들에서만 명암(lighting) 또는 컬러(예를 들어, 범위, 변화(shift) 등)를 변경하도록 선택할 수 있다.

상기 제안된 발명에 따르면, 사용자는 수정 또는 향상을 위해, 한 번에 유사한 특성들 또는 특징들을 갖는 하나 또는 그 이상의 영역들을 선택할 수 있다. 제한은 아닌 예시로서, 상기 이미지의 영역들은 유사한 노출 또는 유사한 컬러를 갖는 객체들 또는 영역들로 구성될 수 있다. 이러한 객체들 또는 영역들은 사람 얼굴, 텍스처(texture) 영역 및 동질(homogeneous) 영역들 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 캡쳐링 장치는 디지털 카메라, 카메라를 구비한 이동 장치, 캠코더, 스마트폰, 테이블릿, 전자 가젯(gadget) 또는 기타 노출 브라케팅된 이미지 셋을 캡쳐할 수 있는 장치일 수 있다. 설명의 단순성을 위해, 당업자에게 알려진 이미지 캡쳐링 단계들을 수행하기 위한 세부 내용들은 제공되지 않는다.

일 실시예에서, 사용자 인터페이스는 터칭 메커니즘, 마우스 포인터, 또는 인터랙티브 디스플레이와 상호작용할 수 있는 기타 인터페이스일 수 있다.

설명에 있어, 이미지 디스플레이 모듈(image display module)과 인터랙티브 디스플레이라는 용어는 혼용된다.

유사한 참조 문자들이 도면들에서 일관되게 해당 특징들을 나타내는 도면을 참조하면, 더 자세히는 도 1 내지 8을 참조하면, 본 발명의 다양한 실시예들이 도시되어 있다.

도 1은 본 발명의 다양한 실시예에 따른 장치의 전체적인 블록도를 도시한다. 상기 도면은 이미지 캡쳐링 모듈(101), 이미지 디스플레이 모듈(102) 및 이미지 처리 모듈(103)을 포함하는 이미지 동적 범위 향상 장치(100)를 도시한다. 상기 이미지 캡쳐링 모듈(101)은 서로 다른 노출들(different exposures)의 범위(range)에서 동일한 장면의 복수의 이미지들을 캡쳐한다. 이러한 이미지들은 자동 노출 이미지, 적어도 하나의 저노출(low exposure) 이미지 및 적어도 하나의 고노출(high exposure) 이미지를 포함한다. 상기 이미지 디스플레이 모듈(102)은 사용자가 서로 다른 사용자 인터페이스들을 통해 디스플레이와 상호작용할 수 있도록 하고, 동작 모드를 포함하여 수신된 이미지 및 사용자가 원하는 이미지의 편집 기능들을 표시한다. 예컨대, 상기 이미지 편집 기능들은 노출 인자, 밝기, 컬러 포화도 및 선명도(sharpness)를 포함할 수 있다. 상기 이미지 처리 모듈(103)은 이미지의 전반적인 동적 범위에 영향을 주지 않고 이미지의 선택된 영역들의 국소적인 동적 범위를 향상시키기 위해, 상기 이미지 디스플레이 모듈(102)에 표시된 기준 이미지의 선택된 영역들을 처리하도록 구성된다.

도 2 및 도 3은 각각 자동 동적 범위 향상 모드 및 수동 동적 범위 향상 모드들에서, 본 발명의 다양한 실시예에 따른 장치의 동작을 예시한다.

상기 장치는 사용자로부터 입력으로 기준 이미지(201)를 수신하고, 상기 기준 이미지(201)는 캡쳐된 자동 노출 이미지 또는 톤 맵핑된 고(high) 동적 범위 이미지일 수 있다. 인터랙티브 디스플레이(102)는 상기 수신된 기준 이미지를 디스플레이 하도록 구성되고, 상기 장치는 사용자가 터치 메커니즘, 마우스 포인터 또는 기타 인터랙티브 디스플레이와 상호작용할 수 있는 인터페이스와 같은 인터페이스들을 통해 디스플레이와 상호작용할 수 있도록 한다. 상기 장치는 또한 사용자 인터페이스를 통해 밝기, 동적 범위, 컬러 포화도, 고스팅 아티팩트 제거, 선명도 및 기타 이미지 편집 기능들에서의 향상을 위한 사용자 요청을 수신하도록 구성된다. 사용자 인터페이스를 이용하여, 사용자는 향상을 위해, 유사한 특성들 또는 특징들을 갖는 기준 이미지의 복수의 영역들을 선택할 수 있다. 유사한 특징들을 갖는 영역들은 향상을 위해 한 번에 선택될 수 있지만, 서로 다른 특징들을 갖는 영역들은 서로 별개의 선택으로 향상될 수 있다. 특정 영역은 향상을 위해 다수 회 선택될 수 있다.

상기 이미지 처리 모듈(103)은 영역 선택 장치, 이미지 선택 모듈(202a), 가중치 결정 모듈(205) 및 HDR 구성(HDR composition) 모듈(206)을 포함한다. 상기 영역 선택 장치는 상기 기준 이미지(201)를 수신하는 이미지 분할(image segmentation) 모듈(204)을 포함한다. 상기 이미지 분할 모듈(201)은 상기 기준 이미지(201)를 수신하도록 구성되고, 선택된 영역들의 픽셀 클러스터를 결정하고 도 4의 자동 노출 이미지의 미리 정의된 가중치 맵을 이용하여, 노출 가중치들에 기초하여 선택된 영역들을 분할한다. 예컨대, 상기 이미지 분할 모듈(202)은 노출 가중치들을 이용하여 기준 이미지(201)를 분할할 수 있다.

상기 이미지 처리 모듈(103)은 노출 인자 결정 모듈(300)을 이용하여 노출 가중치들을 결정하거나 사용자에 의해 입력된 노출 인자 또는 향상 인자의 형태의 가중치들을 이용하여, 상기 기준 이미지(201)를 향상시키기 위해 복수의 다르게 노출된 이미지들(203)을 활용한다. 즉, 상기 이미지 처리 모듈(103)은 사용자 요청에 기초하여, 자동 동적 범위 향상 모드나 수동 동적 범위 향상 모드에서 기준 이미지를 처리할 수 있다.

상기 이미지 선택 모듈(204)은 노출 브라케팅된 이미지 셋(203), 노출 인자 및 동작 모드를 수신한다. 수신 시, 상기 선택 모듈(204)은 사용자가 원하는 향상을 위해 기준 이미지를 결합하도록 노출 이미지 집합으로부터 적절한 향상 지원 이미지를 선택한다.

상기 가중치 결정 모듈(205)은 선택된 향상 지원 이미지와 노출 인자를 수신하고, 향상 지원 이미지와 기준 이미지에서 선택된 영역들에 대해 가중치 맵들을 생성하도록 구성된다. 자동 동적 범위 향상 모드에서, 향상 지원 이미지에 대한 가중치들은 도 4의 저노출 및 고노출 이미지들의 미리 정의된 비대칭 노출 가중치 맵들에 기초하여 결정된다. 수동 동적 범위 향상 모드에서, 상기 향상 지원 이미지의 가중치 맵은 양의(positive) 혹은 음의(negative) 퍼센티지 형태로 사용자 인터페이스를 통해 사용자에 의해 수신된 사용자 제공 노출 인자에 기초하여 결정된다. 상기 가중치 결정 모듈은 고스트 제거 모드의 경우 이진 가중치를 생성하고, 동적 범위 향상 모드들의 경우 연속 가중치들을 생성한다.

상기 HDR 구성 모듈(206)은 상기 기준 이미지와 상기 향상 지원 이미지의 생성된 가중치 맵들을 수신하도록 구성되고, 노출 융합(exposure fusion) 또는 톤 맵핑 기술을 이용하여 상기 다르게 노출된 이미지들을 결합하여 향상된 HDR 이미지를 생성한다.

상기 장치는, 요구되는 경우 생성된 HDR 이미지가 추가적인 향상을 위해 인터랙티브 디스플레이에 참조되는 폐루프 모드에서 동작한다. 상기 장치는 또한 생성된 이미지를 저장하는 옵션을 사용자에게 제공한다.

도 4는 본 발명의 다양한 실시예에 따른 방법에 사용되는 미리 정의된 가중치 맵들의 예들을 도시한다. HDR 이미지는 입력 이미지들의 가중 결합(weighted combination)에 의해 합성된다. 이러한 가중치들은 다른 응답 함수로부터 생성된 데이터인 가중치 맵들로부터 결정된다. 상기 가중치 맵들은 미리 결정되어 룩업(look-up) 테이블들로서 저장될 수 있다. 상기 자동 노출/HDR 이미지 가중치 맵(401)은 다음과 같은 대칭 가우시안(Gaussian) 분포 함수를 이용하여 생성된다.

여기서, a는 함수의 스케일(scale)이고, b는 평균(mean)이고, c는 표준 편차이며, x는 0 내지 255 사이 범위의 값들로 8 비트 픽셀 표현에 맵핑된 구간 (0,1)에 속한다. 자동 노출/HDR 가중치 맵(401)의 경우, 0.5의 평균, 1의 스케일 및 0.5의 표준 편차가 이용된다. 또한, 상기 자동 노출 이미지 가중치 맵(401)은 다음과 같은 레이라이(Rayleigh) 함수를 이용하여 비대칭 함수로부터 생성될 수 있다.

여기서, α는 그 값이 저노출 이미지를 캡쳐하는데 이용되는 센서 응답과 노출 시간에 가장 적합하도록 실험적으로 선택된 스케일 파라미터이다.

는 스케일 또는 데이터 범위 R이나 선택된 α에 대한 정상화를 초과할 수 있다.

상기 저노출 이미지 가중치 맵(402)은 하기의 전력 응답 함수를 이용하여 생성된다.

여기서, m과 y는 그 값들이 실험적으로 선택된 스케일 및 전력 파라미터이다. X는 픽셀 범위 (0, 255)로부터 맵핑된 구간 (0, 1)을 말한다. 상기 고노출 이미지 가중치 맵(403)은 하기의 수학식을 이용하여 산출된다.

도 5는 본 발명의 다양한 실시예에 따른 본 발명의 이미지의 동적 범위를 향상시키는 방법의 흐름도를 도시한다. 흐름도(500)에 도시된 바와 같이, 501 단계에서, 카메라의 다양한 노출 레벨들에 걸쳐 캡쳐된 동일한 장면의 복수의 이미지들을 포함한 노출 브라케팅된 이미지 셋(203)이 사용자로부터 수신된다. 다음으로, 502 단계에서, 동적 범위가 향상된 기준 이미지가 사용자로부터 수신되어 인터랙티브 디스플레이(102)에 제공된다. 503 단계에서, 사용자 인터페이스를 통해 인터랙티브 디스플레이(102)와 상호작용하여, 자동 동적 범위 향상 모드, 수동 동적 범위 향상 모드 및 고스트 아티팩트 감소 모드를 포함하는 원하는 동작 모드를 선택받을 수 있다.

504 단계에서는, 상기 선택된 동작 모드에 기초하여, 상기 이미지 처리 모듈(103)은 상기 수신된 이미지(201)를 처리하여, 수신된 이미지의 향상된 동적 범위를 출력할 수 있다. 본 발명의 실시예들에 따른 방법은 또한 505 단계에서, 상기 생성된 향상된 출력 이미지의 품질을 확인할 수 있는 옵션을 제공한다. 507 단계에서는, 추가적인 향상이 요구되면, 상기 방법은 발생된 향상된 기준 이미지를 추가적인 향상을 위한 기준 이미지로 간주하여 504 단계를 반복한다. 506 단계에서는, 향상된 출력 이미지가 사용자가 원하는 요구에 맞는 경우, 상기 생성된 출력 이미지는 저장될 수 있다. 상기 흐름도(500)의 다양한 동작들은 제시된 순서, 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시예들에서, 도 5에 제시된 일부 동작들이 생략될 수도 있다.

도 6은 수동 동적 범위 향상 모드에서, 도 5의 504단계의 동작을 설명하는 흐름도이다. 흐름도(600)에 도시된 바와 같이, 601 단계에서, 사용자는 인터랙티브 디스플레이(102)와 상호작용하여, 향상될 유사한 특징들을 갖는 이미지의 적어도 하나의 영역을 선택한다. 602 단계에서, 상기 수신된 이미지(101)는 상기 영역 선택 장치에 제공되어, 미리 정의된 비대칭 가중치 맵, 즉 도 4의 자동 노출 또는 고 동적 범위 이미지 (AE/HDR 이미지)를 이용하여, 노출 가중치들에 기초하여 이미지의 영역들을 분할하기 위한 이미지 분할 모듈(202)에 제공된다. 603 단계에서, 선택된 영역들의 원하는 향상 인자 또는 노출 인자와 다른 이미지 편집 기능들 중 적어도 하나를 입력 받을 수 있다. 상기 분할은 서로 다른 기술들을 이용하여 수행될 수 있다. 예컨대, 이미지 분할은 노출 가중치들에 기초하여 수행될 수 있다. 그러나, 상기 선택된 영역이 객체 기반 향상을 위한 것인 경우, 컬러 또는 이미지 텍스처 기반 분할이 이용될 수 있다. 전술한 바와 같이, 사용자 상호작용 전에 전체 이미지에 대해 분할이 수행될 수도 있다. 또는, 픽셀 클러스터를 결정하기 위해 영역 성장(growing) 알고리즘을 이용하여 사용자가 선택한 영역 주변에서 분할이 수행될 수도 있다.

604 단계에서, 향상될 영역들을 선택하고 영역들의 동적 노출 인자 또는 향상 인자를 수신하면, 상기 이미지 선택 모듈(204)은 선택된 영역들의 모든 픽셀들의 평균 노출 가중치들을 결정하여, 상기 노출 브라케팅된 이미지 셋(203)로부터 향상 지원 이미지를 선택한다. 양의 퍼센티지를 입력받으면, 상기 이미지 선택 모듈(204)은 도 4의 고노출(HE) 이미지의 미리 정의된 비대칭 가중치 맵들을 이용하여, 고노출 캡쳐 이미지들의 선택된 영역들 내의 모든 픽셀들의 노출 가중치들을 결정하고, 가장 높은 평균 노출 가중치를 갖는 고노출 이미지를 향상 지원 이미지로서 선택한다. 음의 퍼센티지가 입력되면, 상기 방법은 도 4의 저노출(LE) 이미지의 비대칭 가중치 맵들을 이용하여 저노출 캡쳐 이미지들의 선택된 영역들 내의 모든 픽셀들의 노출 가중치들을 결정하고, 최대 노출 가중치를 갖는 저노출 이미지를 향상 지원 이미지로서 선택한다. 예를 들어, 선택된 영역들의 동적 범위 증가가 요구되는 경우, 상기 방법은 모든 캡쳐된 고노출 이미지들에서 가장 높은 평균 노출 가중치를 제공하는 이미지를 선택할 수 있다. 그리고, 선택된 영역들의 동적 범위 감소가 요구되는 경우, 상기 방법은 모든 캡쳐된 저노출 이미지들에서 가장 높은 노출 가중치를 제공하는 이미지를 선택하고, 해당 이미지를 향상 지원 이미지로서 선택할 수 있다.

604 단계에서 상기 이미지 선택 모듈(204)이 향상 지원 이미지를 선택함에 따라, 상기 가중치 결정 모듈(205)은 향상 지원 이미지와 기준 이미지 모두를 수신한다. 또한, 605 단계에서, 상기 가중치 결정 모듈(205)은 상기 두 이미지들 모두에 대해 가중치 맵들을 생성한다. 상기 가중치 결정 모듈(205)은 상기 기준 이미지의 비선택 영역들에 대한 향상 지원 이미지의 비선택 영역들의 영향을 제거하기 위해, 사용자 제공 동적 향상 인자 또는 노출 인자를 선택된 영역의 모든 픽셀들에 대한 가중치들로서 할당하고, 0(zero)을 향상 지원 이미지의 비선택 영역들의 가중치로서 할당한다. 상기 기준 이미지(201)에 대한 가중치 맵은, 선택 및 비선택 영역들의 각 픽셀에 대해 가능한 가장 높은 가중치들과 향상 지원 이미지의 가중치들 간의 차를 산출하여 결정되고, 상기 산출된 차를 기준 이미지의 픽셀들에 대한 가중치들로서 할당한다.

605 단계에서 상기 기준 이미지(201)와 상기 향상 지원 이미지에 대한 가중치 맵들이 생성되면, 606 단계에서 상기 HDR 구성 모듈(206)은 수신된 이미지(201)와 향상된 동적 범위 모두의 가중치 맵들을 처리하여 향상된 동적 범위를 생성한다. 상기 처리 단계는 다중 해상도 가우시안 피라미드 확산을 이용하여 스무드 블렌딩을 위해 한정된 이웃에 걸쳐 가중치 맵들의 가중치들을 스무드닝(smoothening)하는 단계를 포함한다. 스무드닝의 양은 확산 레벨들의 수를 정의하여 제어되며, 이 확산 레벨들의 수는 선택된 영역 및 그 이웃의 픽셀들 간의 평균 강도(intensity) 차이에 의해 결정된다. 강도 차이가 클수록, 레벨들의 수가 커진다. 가우시안 피라미드를 이용하여 가중치를 확산함으로써, 경계에서 블락킹 아티팩트 없이 스무드한 블렌딩이 보장된다. 상기 흐름도(600)에서 예시된 다양한 동작들은 제시된 순서, 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시예들에서, 도 6에 제시된 일부 동작들이 생략될 수도 있다.

도 7은 자동 동적 범위 향상 모드에서, 도 5의 504단계의 동작을 설명하는 흐름도이다. 흐름도(700)에 도시된 바와 같이, 701 단계에서, 사용자는 인터랙티브 디스플레이(102)와 상호작용 하여, 향상될 유사한 특징들을 갖는 이미지의 적어도 하나의 영역을 선택한다. 702 단계에서, 상기 수신된 이미지는 상기 영역 선택 장치에 참조되어, 미리 정의된 비대칭 가중치 맵, 즉, 도 4의 자동 노출(AE) 또는 고 동적 범위(HDR) 이미지를 이용하여 픽셀 클러스터를 결정함으로써 노출 가중치들에 기초하여 이미지의 영역들을 분할하기 위한 이미지 분할 모듈(202)에 참조된다. 상기 방법은 703 단계에서, 미리 정의된 비대칭 가중치 맵, 즉 도 4의 자동 노출(AE) 또는 고 동적 범위(HDR) 이미지를 이용하여 기준 이미지의 선택된 영역들 내의 모든 픽셀들의 노출 가중치들에 기반하여 선택된 영역들의 동적 향상 인자(300)를 결정한다. 전술한 바와 같이, 상기 분할은 픽셀 클러스터를 결정하기 위해 영역 성장 알고리즘을 이용하여, 사용자가 선택한 영역 주변에서 수행될 수 있다. 원하는 영역 선택이 객체 기반 향상을 위한 것이면, 컬러-텍스처 기반 분할이 이용될 수 있다.

703 단계에서 향상될 영역들 및 상기 영역들의 동적 노출 인자를 선택하면, 704 단계에서 상기 이미지 선택 모듈(204)은 선택된 영역들의 모든 픽셀들의 노출 가중치들을 결정하여, 노출 집합으로부터 향상 지원 이미지를 선택한다. 상기 이미지 선택 모듈(204)은 미리 정의된 비대칭 가중치 맵들을 이용하여, 기준 이미지, 캡쳐된 고노출 이미지 및 저노출 이미지들의 선택된 영역들 내의 픽셀들의 평균 노출 가중치들을 결정하고, 가장 높은 평균 노출 가중치를 갖는 이미지를 향상 지원 이미지로 선택한다.

상기 이미지 선택 모듈(204)에 의해 적절한 향상 지원 이미지가 선택되면, 상기 가중치 결정 모듈(205)은 705 단계에서 향상 지원 이미지와 기준 이미지(201) 모두를 수신하여, 두 이미지들에 대한 가중치 맵들을 생성한다. 상기 가중치 결정 모듈(205)은 도 4의 미리 정의된 비대칭 가중치 맵 곡선들에 기초하여, 향상 지원 이미지와 기준 이미지의 선택된 영역들의 모든 픽셀들의 가중치들을 산출하고, 기준 이미지의 비선택 영역들의 모든 픽셀들에 대해, 향상 지원 이미지의 비선택 영역들의 모든 픽셀들의 가중치들을 0 및 최대 가중치로서 할당한다.

705 단계에서 상기 기준 이미지(201) 및 향상 지원 이미지에 대한 가중치 맵들이 생성되면, 상기 HDR 구성 모듈(206)은 706 단계에서 상기 수신된 이미지(201) 및 향상된 동적 범위 모두에 대한 가중치 맵들을 처리하여, 향상된 동적 범위 이미지를 생성한다. 상기 처리 과정은 다중 해상도 가우시안 피라미드 확산을 이용하여 스무드 블렌딩을 위한 한정된 이웃에 걸쳐 가중치 맵들의 가중치들을 스무드닝(smoothening)하는 단계를 포함한다. 스무드닝의 양은 확산 레벨들의 수를 정의하여 제어되며, 이 확산 레벨들의 수는 선택된 영역 및 그 이웃의 픽셀들 간의 평균 강도(intensity) 차이에 의해 결정된다. 강도 차이가 클수록, 레벨들의 수가 커진다. 가우시안 피라미드들을 이용하여 가중치를 확산함으로써, 경계에서 블락킹 아티팩트 없이 스무드한 블렌딩이 보장된다. 흐름도(700)의 다양한 동작들은 제시된 순서, 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시예들에서, 도 7에 제시된 일부 동작들은 생략될 수 있다.

도 8은 고스팅 아티팩트 감소 모드에서 도 5의 504 단계의 동작을 설명한 흐름도이다. 흐름도(800)에 도시된 바와 같이, 801 단계에서, 사용자는 인터랙티브 디스플레이와 상호작용하여, 고스팅 아티팩트를 갖는 이미지의 고스트 영역을 선택한다.

적어도 하나의 고스트 영역을 선택하면, 이미지 선택 모듈(204)은 802 단계에서 선택된 영역들의 모든 픽셀들의 노출 가중치들을 결정하여, 노출 집합으로부터 향상 지원 이미지를 선택한다. 상기 이미지 선택 모듈(204)은 고노출 및 저노출 캡쳐 이미지들의 선택된 영역들 내의 모든 픽셀들의 평균 노출 가중치들을 결정하고, 가장 높은 평균 노출 가중치를 갖는 이미지를 향상 지원 이미지로서 선택한다.

상기 이미지 선택 모듈(204)에 의해 적절한 향상 지원 이미지가 선택되면, 상기 가중치 결정 모듈(205)은 803 단계에서 향상 지원 이미지와 기준 이미지(201) 모두를 수신하여 이 두 이미지들에 대한 가중치 맵들을 생성한다. 상기 가중치 결정 모듈(205)은 향상 지원 이미지의 선택된 영역들 내의 모든 픽셀들에 대해 최대 가중치를 할당하고, 이미지의 나머지 모든 비선택 영역들에 대해서는 0을 할당하며, 상기 향상 지원 이미지의 가중치들을 인버싱하여(inversing) 기준 이미지의 가중치들을 결정한다.

803 단계에서 상기 기준 이미지(201)와 향상 지원 이미지에 대한 가중치 맵들을 생성하면, 상기 HDR 구성 모듈(206)은 804 단계에서 수신된 이미지 및 향상된 동적 범위 모두의 가중치 맵들을 처리하여 향상된 동적 범위 이미지를 생성한다. 상기 처리 단계는 다중 해상도 가우시안 피라미드 확산을 이용하여 스무드 블렌딩을 위해 한정된 이웃에 걸쳐 가중치 맵들의 가중치들을 스무드닝(smoothening)하는 단계를 포함한다. 스무드닝의 양은 확산 레벨들의 수를 정의하여 제어되며, 이 확산 레벨들의 수는 선택된 영역 및 그 이웃의 픽셀들 간의 평균 강도(intensity) 차이에 의해 결정된다. 강도 차이가 클수록, 레벨들의 수가 커진다. 가우시안 피라미드를 이용하여 가중치를 확산함으로써, 경계에서 블락킹 아티팩트 없이 스무드한 블렌딩이 보장된다.

804 단계에 응하여, 본 방법은 고스팅의 질을 확인하고, 이미지의 품질을 더 향상시키기 위해 출력 향상 이미지를 기준 이미지로서 취함으로써 801 내지 804 단계들을 반복한다. 생성된 이미지가 원하는 요건을 만족하면, 상기 방법은 사용자가 방법 단계들을 반복하지 않고 상기 생성된 이미지를 저장할 수 있도록 한다.

도 9는 개시된 실시예들에 따른, 이미지의 밝은 영역들의 동적 범위를 향상시키는 예시적인 방법을 도시하고 있다. 도 9의 A 및 B는 사용자에 의해 캡쳐된 이미지의 자동 이미지 및 HDR 이미지 각각을 도시하고 있다. 상기 사용자는 도 9의 C에 도시된 바와 같이, 동적 범위 향상을 위해 HDR 이미지의 더 밝은 영역을 선택한다. 영역 선택에 따라, 제안된 방법은 선택된 영역에 걸쳐 노출 기반 분할을 수행하고, 동작 모드에 기초하여 상기 선택된 영역들에 대한 동적 노출을 수신하거나 산출한다. 도 9의 D는 선택된 영역에 대해 분할을 수행할 때의 이미지를 도시한다. 상기 분할된 이미지에 대해, 상기 방법은 노출 브라케팅된 이미지 셋으로부터 적절한 향상 지원 이미지를 선택하고 상기 캡쳐된 HDR 이미지와 향상 지원 이미지의 가중치 맵들을 결정한다. 또한, 상기 방법은 도 9의 E에 도시된 바와 같이 HDR 이미지의 향상된 동적 범위를 생성한다.

도 10은 개시된 실시예들에 따른, 이미지의 더 어두운 영역들의 동적 범위를 향상시키는 예시적인 방법을 도시한다. 도 10의 A와 B는 사용자에 의해 캡쳐된 이미지의 자동 이미지와 HDR 이미지를 각각 도시하고 있다. 상기 사용자는 도 10의 C에 도시된 바와 같이 동적 범위 향상을 위해 HDR 이미지의 더 밝은 영역을 선택한다. 영역 선택에 따라, 제안된 방법은 선택된 영역에 대해 노출 기반 분할을 수행하고, 동작 모드에 기초하여 상기 선택된 영역들에 대한 동적 노출 인자를 수신하거나 산출한다. 도 10의 D는 선택된 영역에 대해 분할을 수행할 때의 이미지를 도시하고 있다. 분할된 이미지에 대해, 상기 방법은 노출 브라케팅된 이미지 셋으로부터 적절한 향상 지원 이미지를 선택하여, 캡쳐된 HDR 이미지와 향상 지원 이미지의 가중치 맵들을 결정한다. 또한, 상기 방법은 도 10의 E에 도시된 바와 같이, HDR 이미지의 향상된 동적 범위를 생성한다.

도 11은 개시된 실시예들에 따른, 이미지의 선택된 영역에서 고스팅 아티팩트를 줄이는 예시적인 방법을 도시한다. 도 11의 A 및 B는 사용자에 의해 캡쳐된 이미지의 자동 이미지와 HDR 이미지 각각을 도시한다. 상기 사용자는 도 11의 C에 도시된 바와 같이 디고스팅을 위해 HDR 이미지의 영역을 선택한다. 상기 선택된 영역에 따라, 상기 방법은 상기 노출 브라케팅된 이미지 셋으로부터 적절한 향상 지원 이미지를 선택하여, 상기 캡쳐된 HDR 이미지와 향상 지원 이미지의 가중치 맵들을 결정한다. 또한, 상기 방법은 도 11의 D에 도시된 바와 같이 HDR 이미지의 향상된 동적 범위를 생성한다.

본 발명에 따른 이미지의 국소적인 동적 범위를 향상시키는 방법 및 장치는 많은 이점들을 제공한다. 사용자 상호작용의 빠르고, 단순하며 효율적인 수단이 제공되며, 선택된 영역의 가장 높은 노출 가중치를 갖는 이미지를 향상 지원 이미지로서 선택하여, 노출 브라케팅된 이미지 셋의 다른 이미지들에 비해 동적 범위를 향상시키는데 더 도움이 된다. 이에 더하여, 비대칭 가중화(weighting)는 저노출 이미지에서 더 밝은 영역들에, 그리고 고노출 이미지에서 더 어두운 영역들의 우선적 가중화를 가능하게 하여, 향상 지원 이미지를 기준 이미지와 결합할 때 더 높은 동적 범위를 얻게 된다. 또한, 제안된 방법 및 장치는 사용자가 영역들을 선택하는데 있어 복잡성을 덜어주는 분할 기반 영역 선택을 제공한다. 또한, 주어진 영역의 모든 픽셀들을 선택하고 영역 경계들을 구분하는데 효과적이다.

특정 실시예들의 상기 설명은 다른 이들이 현재 지식을 이용하여 전체적인 개념을 벗어나지 않고 다양한 응용을 위해 그러한 특정 실시예들을 쉽게 수정 및/또는 각색할 수 있도록 실시예들의 전체적인 특성을 충분히 나타낼 것이며, 따라서, 그러한 각색 및 수정은 개시된 실시예들과 동등한 것들의 의미 및 범위 내에 속해야 하며 속하도록 의도된다. 여기서 이용되는 어구나 용어는 설명을 위한 것이지 한정을 위한 것은 아님을 이해할 것이다. 따라서, 실시예들이 바람직한 실시예들에 관하여 설명되었지만, 당업자는 실시예들이 여기에서 설명된 실시예들의 사상 및 범위 내에서 수정과 함께 실시될 수 있음을 알 것이다.

Claims

기준 이미지(reference image)의 동적 범위를 향상시키는 방법에 있어서,
향상을 위해 상기 기준 이미지의 적어도 하나의 영역을 선택하는 단계;
노출 가중치들을 이용하여 상기 기준 이미지의 상기 선택된 적어도 하나의 영역을 분할하는 단계;
노출 브라케팅된 이미지 셋으로부터 상기 선택된 적어도 하나의 영역에서 가장 높은 가중치 또는 가장 높은 평균 가중치를 갖는 이미지에 기반하여 향상 지원 이미지를 선택하는 단계;
상기 기준 이미지의 상기 선택된 적어도 하나의 영역의 가중치 맵들 및 상기 향상 지원 이미지의 가중치 맵들을 결정하는 단계; 및
상기 결정된 가중치 맵들을 처리하여, 상기 기준 이미지로부터 동적 범위가 향상된 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제1항에 있어서, 상기 노출 브라케팅된 이미지 셋은 서로 다른 노출들의 범위에서 캡쳐된 동일한 장면의 복수의 이미지들을 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제2항에 있어서, 상기 복수의 이미지들은 자동 노출 이미지와 적어도 하나의 저노출(low-exposure) 이미지 및 적어도 하나의 고노출(high-exposure) 이미지를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제3항에 있어서, 상기 기준 이미지는 상기 자동 노출 이미지와 톤 맵핑된 고 동적 범위 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제3항에 있어서, 상기 기준 이미지의 상기 선택된 적어도 하나의 영역을 분할하는 것은 상기 자동 노출 이미지의 미리 정의된 비대칭 가중치 맵을 이용하여 수행되는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제1항에 있어서, 상기 기준 이미지의 상기 선택된 적어도 하나의 영역은 유사한 노출이나 유사한 컬러 중 하나를 갖는 영역들로 구성된 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제3항에 있어서, 상기 방법은,
사용자가 원하는 이미지 편집 기능들을 입력할 수 있도록 옵션을 제공하는 단계;를 더 포함하고,
상기 옵션들은 국소적인 동적 범위 향상 인자, 상기 영역들의 노출 인자 및 원하는 동작 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제7항에 있어서, 상기 원하는 동작 모드는,
수동 동적 범위 향상 모드, 자동 동적 범위 향상 모드 및 고스팅 아티팩트 감소 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제8항에 있어서,
상기 자동 동적 범위 향상 모드에서 상기 향상 지원 이미지를 선택하는 단계는,
상기 기준 이미지의 선택된 영역들의 모든 픽셀들 내의 평균 노출 가중치들을 결정하고, 상기 적어도 하나의 고노출 이미지 및 상기 적어도 하나의 저노출 이미지는 미리 정의된 비대칭 가중치 맵들을 이용하는 단계; 및
가장 높은 평균 노출 가중치를 상기 향상 지원 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제8항에 있어서,
상기 수동 동적 범위 향상 모드에서 상기 향상 지원 이미지를 선택하는 단계는,
선택된 영역들에 대해 요구되는 상기 동적 범위 향상 인자를 상기 사용자로부터 수신하고, 상기 수신된 동적 범위 향상 인자는 양의 퍼센트나 음의 퍼센티지 중 하나의 형태인 단계;
상기 사용자가 상기 양의 퍼센트를 입력하면, 상기 적어도 하나의 고노출 이미지의 미리 정의된 비대칭 가중치 맵을 이용하여 상기 적어도 하나의 고노출 이미지의 선택된 영역들 내의 모든 픽셀들의 노출 가중치들을 결정하고, 가장 높은 노출 가중치를 갖는 고노출 이미지를 향상 지원 이미지로서 선택하는 단계; 및
상기 사용자가 상기 음의 퍼센티지를 입력하면, 상기 적어도 하나의 저노출 이미지의 미리 정의된 비대칭 가중치 맵을 이용하여 상기 적어도 하나의 저노출 이미지의 선택된 영역들 내의 모든 픽셀들의 노출 가중치들을 결정하고, 최대 노출 가중치를 갖는 저노출 이미지를 향상 지원 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제9항에 있어서, 상기 자동 동적 범위 향상 모드에서 상기 기준 이미지의 상기 선택된 적어도 하나의 영역의 가중치 맵들과 상기 향상 지원 이미지의 가중치 맵들을 결정하는 단계는,
상기 미리 정의된 비대칭 가중치 맵들에 기초하여 상기 향상 지원 이미지와 상기 기준 이미지의 선택된 영역들 내의 모든 픽셀들의 가중치들을 산출하는 단계; 및
상기 향상 지원 이미지의 비선택 영역들 내의 모든 픽셀들의 가중치들을 0으로 할당하고, 상기 기준 이미지의 비선택 영역들 내의 모든 픽셀들에 대해서는 최대 가중치를 할당하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제1항에 있어서,
수동 동적 범위 향상 모드에서 상기 기준 이미지와 상기 향상 지원 이미지의 가중치 맵들을 결정하는 단계는,
사용자 제공 동적 범위 향상 인자를 선택된 영역들 내의 모든 픽셀들에 대한 가중치들로서 할당하고, 상기 향상 지원 이미지의 비선택 영역들의 가중치로서 0을 할당하는 단계;
선택 및 비선택 영역들의 각 픽셀에 대해 가능한 가장 높은 가중치들과 향상 지원 이미지의 가중치들 간의 차를 산출하는 단계; 및
상기 산출된 차이를 상기 기준 이미지의 픽셀들에 대한 가중치들로서 할당하는 단계;를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제1항에 있어서, 상기 동적 범위가 향상된 이미지를 생성하는 단계는,
상기 결정된 가중치 맵들의 가중치들을 스무드닝하는 단계; 및
상기 가중치들이 스무드닝된 가중치 맵들을 결합하고 평균화하여 상기 동적 범위가 향상된 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
제1항에 있어서, 상기 생성된 이미지는 상기 기준 이미지의 상기 선택된 적어도 하나의 영역에서 분할되는 것을 특징으로 하는 기준 이미지의 동적 범위를 향상시키는 방법.
기준 이미지(reference image)의 고스팅 아티팩트를 감소시키는 방법에 있어서,
고스트에 대해 상기 기준 이미지의 적어도 하나의 영역을 선택하는 단계;
노출 브라케팅된 이미지 셋으로부터 상기 선택된 적어도 하나의 영역에서 가장 높은 가중치 또는 가장 높은 평균 가중치를 갖는 이미지에 기반하여 향상 지원 이미지를 선택하는 단계;
상기 기준 이미지의 상기 선택된 적어도 하나의 영역의 가중치 맵들 및 상기 향상 지원 이미지의 가중치 맵들을 결정하는 단계; 및
상기 결정된 가중치 맵들을 처리하여, 상기 기준 이미지로부터 고스팅 아티팩트가 감소된 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 고스팅 아티팩트를 감소시키는 방법.
제15항에 있어서, 상기 노출 브라케팅된 이미지 셋은 서로 다른 노출들의 범위에서 캡쳐된 동일한 장면의 복수의 이미지들을 포함하는 것을 특징으로 하는 기준 이미지의 고스팅 아티팩트를 감소시키는 방법.
제16항에 있어서, 상기 복수의 이미지들은 자동 노출 이미지와 적어도 하나의 저노출(low-exposure) 이미지 및 적어도 하나의 고노출(high-exposure) 이미지를 포함하는 것을 특징으로 하는 기준 이미지의 고스팅 아티팩트를 감소시키는 방법.
제17항에 있어서, 상기 기준 이미지는 상기 자동 노출 이미지와 톤 맵핑된 고 동적 범위 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 기준 이미지의 고스팅 아티팩트를 감소시키는 방법.
제18항에 있어서, 상기 향상 지원 이미지를 선택하는 단계는,
상기 기준 이미지의 선택된 영역들의 모든 픽셀들 내의 평균 노출 가중치들을 결정하고, 상기 적어도 하나의 고노출 이미지 및 상기 적어도 하나의 저노출 이미지는 미리 정의된 비대칭 가중치 맵들을 이용하는, 단계; 및
가장 높은 평균 노출 가중치를 상기 향상 지원 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 고스팅 아티팩트를 감소시키는 방법.
제18항에 있어서, 상기 기준 이미지의 상기 선택된 적어도 하나의 영역의 가중치 맵들과 상기 향상 지원 이미지의 가중치 맵들을 결정하는 단계는,
상기 향상 지원 이미지의 선택된 영역들의 모든 픽셀들에 대해 최대 가중치를 설정하고, 상기 향상 지원 이미지의 나머지 모든 비선택 영역들에 대해서는 0을 설정하는 단계; 및
상기 향상 지원 이미지의 결정된 가중치들을 인버싱(inversing)하여 상기 기준 이미지의 가중치들을 결정하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 고스팅 아티팩트를 감소시키는 방법.
제18항에 있어서, 상기 동적 범위가 향상된 이미지를 생성하는 단계는,
상기 기준 이미지와 상기 향상 지원 이미지의 가중치 맵들의 가중치들을 스무드닝하는 단계; 및
상기 기준 이미지와 상기 향상 지원 이미지의 스무드닝된 가중치 맵들을 결합하고 평균화하여 상기 고스팅 아티팩트가 감소된 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 기준 이미지의 고스팅 아티팩트를 감소시키는 방법.