KR20190093143A

KR20190093143A - 클리핑된 영역들이 감소된 hdr 이미지들을 생성하기 위한 방법 및 장치

Info

Publication number: KR20190093143A
Application number: KR1020190010533A
Authority: KR
Inventors: 로랑 코빈; 엠마뉴엘 졸리; 조나단 케르벡; 하사네 겔모우드
Original assignee: 인터디지털 씨이 페이튼트 홀딩스
Priority date: 2018-01-31
Filing date: 2019-01-28
Publication date: 2019-08-08
Also published as: JP2019165434A; US20190236761A1; EP3522108A1; CN110097493A; EP3522107A1

Abstract

클리핑된 영역들이 감소된 HDR 이미지들을 생성하기 위한 방법 및 장치가 개시된다. 본 방법은 장면의 보다 낮은 다이내믹 레인지 이미지(LDR 이미지라 지칭됨) 및 보다 높은 다이내믹 레인지 이미지(HDR 이미지라 지칭됨)를 수신하는 단계 - 상기 HDR 이미지는 LDR 이미지에 역 톤 매핑을 적용하여 얻어짐 -; HDR 이미지에서 검출된 밝은 영역들 및 LDR 이미지에서 검출된 밝은 영역들로부터 LDR 이미지에서 존재하지 않는 HDR 이미지의 새로운 밝은 영역들을 결정하는 단계; 및 HDR 이미지의 상기 새로운 밝은 영역들의 휘도 값들을 HDR 이미지의 상기 새로운 밝은 영역들에 대응하는 LDR 이미지의 영역들의 휘도 값들과 혼합함으로써 HDR 이미지의 새로운 밝은 영역들의 휘도를 수정하는 단계를 포함한다.

Description

클리핑된 영역들이 감소된 HDR 이미지들을 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING HDR IMAGES WITH REDUCED CLIPPED AREAS}

본 발명은 일반적으로 하이 다이내믹 레인지(high dynamic range)(HDR) 이미징 분야에 관한 것으로, 로우(low) 또는 표준 다이내믹 레인지 이미지들의 다이내믹 레인지를 확장하는 방법을 다룬다. 특히, 본 발명은 클리핑된 영역(clipped area)들이 감소된 HDR 이미지들을 생성하기 위한 방법 및 장치에 관한 것이다.

디스플레이 기술에서 최근 발전들로 인해 디스플레이되는 이미지들에서 컬러(color), 휘도(luminance) 및 대비(contrast)의 확장된 다이내믹 레인지가 허용되기 시작하고 있다. "이미지(image)들"이라는 용어는 예를 들어 비디오 또는 정지 화상일 수 있는 이미지 콘텐츠를 지칭한다.

이미지들의 휘도 또는 밝기(brightness)에서 확장된 다이내믹 레인지를 가능하게 하는 기술들은 하이 다이내믹 레인지 이미징 또는 HDR 이미징이라 알려져 있다. 확장된 다이내믹 레인지로 HDR 이미지들을 처리하고 디스플레이하는 역량을 갖는 다수의 디스플레이 디바이스는 이미 고객들이 이용할 수 있다. 이와 같이 다이내믹 레인지가 증가된 이미지들을 캡처할 수 있는 이미지 캡처 디바이스들도 또한 개발되고 있다. 그러나, HDR 이미지들은 아직 잘 널리 퍼져있지 않고 SDR(표준 다이내믹 레인지(Standard Dynamic Range)) 또는 LDR(로우 다이내믹 레인지(Low Dynamic Range)) 이미지들인 기존의 이미지들이 많이 존재하고 있다. 그러므로 로우 또는 표준 다이내믹 레인지(LDR 또는 SDR) 이미지들을 최근의 하이 다이내믹 레인지(HDR) 디바이스들 상에 시각화할 필요가 있다.

이를 위해, 반대 또는 역 톤 매핑(inverse tone mapping)(ITM) 알고리즘들이 개발되어왔다. 이들은 원래 장면의 외관을 회복 또는 재현할 목적으로 이미지들 내 픽셀들의 휘도 정보를 처리하는 알고리즘들을 사용함으로써, 통상적인 (LDR 또는 SDR) 이미지들로부터 HDR 이미지들을 발생할 수 있게 한다.

대부분 ITM은 LDR 입력 이미지들에 적용되어, 다이내믹 및 대비를 증가시키고 HDR 출력 이미지들을 생성하는 전역적 전달 함수(global transfer function)를 정의하는 것으로 구성된다.

간단한 ITM은 LDR(또는 SDR) 비디오 신호에 예를 들어, 2.4와 같은 상수 계수를 갖는 감마 곡선을 적용하는 것일 수 있다. 다른 알고리즘들 중 일부는 더 복잡하여 국부적으로 및 일시적으로 픽처 특징들에 따라 곡선을 적응하도록 제안하고 있다.

다른 알려진 제안된 해결책은 잡음 확장을 방지하기 위해 이미지들의 국부적인 특징들을 고려하면서 다이내믹 확장을 조합시킨다. 확장 곡선은 콘텐츠 자체에 적응되는데, 이는 예를 들어, LDR 이미지들의 그레이 레벨의 히스토그램과 같이, 곡선의 형상이 LDR 비디오 특징들에 종속하여 각 프레임마다 리프레시될 수 있음을 의미한다.

대비의 개선과 LDR 이미지들의 낮은 및 중간-톤들을 보존하여 결과적으로 예술적 의도(컬러리스트 또는 영화 감독의 의도)를 보존하는 사실 간의 상쇄관계(trade-off)로 인해 빈번하게 전달 함수가 생겨난다. 이러한 상쇄관계는 때로는 대비를 증가시키는 동안 이미지들의 밝은 부분들에서 클리핑된 영역들을 초래한다. 클리핑된 영역들은 디테일 레벨(detail level)이 낮은 최대로 인코딩 가능한 휘도에 가까운 이미지의 영역들이다. 클리핑된 영역들은 LDR 이미지 및 HDR 이미지에 존재할 수 있다. HDR 이미지 내의 클리핑된 영역들은 LDR 이미지 내에서 이미 존재하는 클리핑된 영역들에 대응하거나 또는 역 톤 매핑 프로세스에 의해 생성되는 클리핑된 영역들에 대응할 수 있다. 본 특허 출원에서, 클리핑된 영역들은 디테일 레벨이 낮은 더 명확하게 밝은 영역을 지정한다.

본 개시내용은 HDR 이미지의 클리핑된 영역들, 보다 구체적으로는 ITM 프로세스에 의해 생성되는 클리핑된 영역들을 감소시키는 것을 제안한다. 이렇게 클리핑된 영역을 감소시키는 것은 ITM에 의해 또는 ITM 프로세스를 적응하여 얻어지는 HDR 이미지들에 후처리를 적용함으로써 달성된다.

본 개시내용은 이미지들을 처리하기 위한 방법을 제안하는 것으로, 본 방법은:

장면의, LDR 이미지라고 지칭하는 로우 다이내믹 레인지 이미지(low dynamic range image) 및 HDR 이미지라 지칭하는 하이 다이내믹 레인지 이미지(high dynamic range image)를 수신하는 단계 - 상기 HDR 이미지는 LDR 이미지에 역 톤 매핑을 적용하여 얻어짐 -,

- 상기 LDR 및 HDR 이미지들 내의 밝은 영역들을 검출하는 단계,

- LDR 이미지에서 존재하지 않는, 새로운 밝은 영역들이라고 부르는 HDR 이미지의 밝은 영역들을 결정하는 단계,

- 상기 새로운 밝은 영역들 내의 클리핑된 영역들의 수를 줄이기 위해 HDR 이미지의 새로운 밝은 영역들의 휘도를 수정하는 단계를 포함한다.

본 방법에 따르면, LDR 이미지와 HDR 이미지 사이의 밝은 영역들의 편차가 결정되고 새로이 도입되는 밝은 영역들은 이러한 새로운 밝은 영역들 내의 클리핑된 영역들을 제한하기 위해 수정된다.

실시예에 따르면, 상기 LDR 이미지 및 상기 HDR 이미지 내의 밝은 영역들은 LDR 이미지 및 HDR 이미지의 컬러 값들을 휘도 값들로 변환하고 LDR 이미지의 휘도 값들을 제1 문턱 값(Th_LDR)으로 문턱 값 처리(thresholding)하고 HDR 이미지의 휘도 값들을 제2 문턱 값(Th_HDR)으로 문턱 값 처리함으로써 검출된다.

실시예에 따르면, LDR 이미지의 휘도 값들이 n 비트로 인코딩되고 HDR 이미지의 휘도 값들이 m 비트로 인코딩되고, m과 n이 m>n이 되는 정수들이면, Th_HDR ≥ 2^m-n x Th_LDR이다.

실시예에 따르면, ThHDR = f(ThLDR)이고, 여기서 f는 HDR 이미지를 얻기 위해 LDR 이미지에 적용된 상기 역 톤 매핑의 전달 함수이다.

실시예에 따르면, 새로운 밝은 영역들은 LDR 이미지의 밝은 영역들을 HDR 이미지의 밝은 영역들로부터 차감(subtracting)함으로써 결정된다.

실시예에 따르면, HDR 이미지의 새로운 밝은 영역의 휘도는 HDR 이미지의 상기 새로운 밝은 영역들의 휘도 값들을 HDR 이미지의 상기 새로운 밝은 영역들에 대응하는 LDR 이미지의 영역들의 휘도 값들과 혼합함으로써 수정된다.

실시예에 따르면, 상기 HDR 이미지의 새로운 밝은 영역들의 휘도는 다음과 같이 수정되고:

- α는 미리 결정된 파라미터이고,

- Y_HDRmodified는 HDR 이미지의 새로운 밝은 영역들의 픽셀의 수정된 휘도이고,

- Y_HDR은 HDR 이미지의 대응하는 픽셀의 휘도이고,

- Y_LDR은 LDR 이미지의 대응하는 픽셀의 휘도이다.

실시예에 따르면, 파라미터(α)는 다음과 같다:

실시예에 따르면, 방법은 LDR 이미지에 역 톤 매핑을 적용하여 상기 HDR 이미지를 얻는 단계를 더 포함하고, HDR 이미지의 새로운 밝은 영역들의 휘도는 역 톤 매핑의 전달 함수의 적어도 하나의 파라미터를 수정함으로써 수정된다.

실시예에서, 역 톤 매핑의 전달 함수의 적어도 하나의 파라미터는 새로운 밝은 영역들의 픽셀들의 수가 미리 결정된 수(N)를 초과할 때까지 수정된다.

본 개시내용은 또한 이미지들을 처리하는 디바이스에 관련하고, 상기 디바이스는:

- 장면의, LDR 이미지라 지칭되는 로우 다이내믹 레인지 이미지 및 HDR 이미지라 지칭되는 하이 다이내믹 레인지 이미지를 수신하고 - 상기 HDR 이미지는 LDR 이미지에 역 톤 매핑을 적용하여 얻어짐 -,

- 상기 LDR 및 HDR 이미지들 내의 밝은 영역들을 검출하고,

- LDR 이미지에서 존재하지 않는, 새로운 밝은 영역들이라고 부르는 HDR 이미지의 밝은 영역들을 결정하고,

- 상기 새로운 밝은 영역들 내의 클리핑된 영역들의 수를 줄이기 위해 HDR 이미지의 새로운 밝은 영역들의 휘도를 수정하도록 구성된다.

실시예에 따르면, HDR 이미지의 새로운 밝은 영역들의 휘도는 HDR 이미지의 상기 새로운 밝은 영역들의 휘도 값들을 HDR 이미지의 상기 새로운 밝기 영역들에 대응하는 LDR 이미지의 영역들의 휘도 값들과 혼합함으로써 수정된다.

실시예에 따르면, 디바이스는 LDR 이미지에 역 톤 매핑을 적용하여 상기 HDR 이미지를 얻도록 추가로 구성되고, HDR 이미지의 새로운 밝은 영역들의 휘도는 역 톤 매핑의 전달 함수의 적어도 하나의 파라미터를 수정함으로써 수정된다.

본 개시 내용은 또한 컴퓨터 프로그램이 컴퓨터 또는 프로세서 상에서 실행될 때, 위에서 정의된 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

본 개시 내용은 또한 위에서 언급된 컴퓨터 프로그램 제품을 저장하는 비일시적 컴퓨터 판독가능 저장 매체에 관한 것이다.

본 발명은 예로서 제공되고 보호 범위를 제한하지 않는 다음의 설명 및 도면들을 참조하여 보다 잘 이해될 수 있다.
도 1a 및 도 1b는 각각 LDR 이미지 및 HDR 이미지의 도면들이고, HDR은 LDR 이미지에 적용되는 역 톤 매핑에 의해 얻어진다.
도 2는 본 개시내용의 제1 실시예에 따른 방법의 연속적인 단계들의 흐름도이다.
도 3a 및 도 3b는 도 2의 방법의 검출 단계의 결과들을 도시하는 마스크들이다.
도 4는 도 2의 방법의 차감 단계의 결과들을 도시하는 마스크이다.
도 5는 도 2의 방법으로부터 생기는 수정된 HDR 이미지를 도시하는 도면이다.
도 6a, 도 6b 및 도 6c는 각각 도 2의 방법을 설명하는 LDR 이미지, HDR 이미지 및 수정된 HDR 이미지의 도면들이다.
도 7은 본 개시내용의 제2 실시예에 따른 방법의 연속적인 단계들의 흐름도이다.
도 8은 본 개시내용의 디바이스의 예시적인 실시예의 개략도이다.
도면들의 구성요소들은 반드시 축척하는 것은 아니며, 그 대신에 본 발명의 원리들을 설명하는데 역점을 둔다.

예시적인 실시예들은 다양한 수정예들과 대안적인 형태들이 가능하지만, 그 실시예들은 도면들에서 예로서 도시되고 본 명세서에서 상세히 설명될 것이다. 그러나, 예시적인 실시예들을 개시된 특정 형태들로 제한하려는 것이 아니고, 그와 반대로, 예시적인 실시예들은 청구항들의 범위 내에 드는 모든 수정예들, 등가물들 및 대안예들을 포함하는 것으로 이해하여야 한다. 동일한 번호들은 도면들의 설명 전체에서 동일한 요소들을 지칭한다.

예시적인 실시예들을 보다 상세히 논의하기 전에, 일부 예시적인 실시예들은 흐름도들로서 도시된 프로세스들 또는 방법들로서 설명된다는 것을 알아야 한다. 흐름도들이 순차적인 프로세스들로서 동작들을 설명하지만, 많은 동작들은 병렬로, 동시에 또는 일제히 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스들은 그 동작들이 완료될 때 종료될 수 있지만, 도면들에 포함되지 않은 추가 단계들을 또한 가질 수 있다. 프로세스들은 방법들, 기능들, 절차들, 서브루틴들, 서브프로그램들 등에 대응할 수 있다.

그 중 일부가 흐름도들로 설명되는 이후 논의되는 방법들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 서술 언어들 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 머신 또는 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서(들)는 필요한 작업들을 수행할 수 있다. 본 명세서에 설명되는 특정한 구조적 및 기능적 세부 사항들은 단지 본 발명의 예시적인 실시예들을 설명할 목적으로 대표할 뿐이다. 그러나, 본 발명은 많은 대안적인 형태들로 구현될 수 있으며, 본 명세서에 설명되는 실시예들만으로 제한되는 것으로 해석되지 않아야 한다.

다음의 단락들에서, 도면들을 참조하면, 실시예에 따른 방법 및 관련된 디바이스들의 구현이 설명될 것이다. HDR 이미지는 LDR 또는 SDR 이미지보다 높은 다이내믹 레인지를 갖는 이미지를 지정할 것이다. "LDR 이미지"라는 표현은 LDR(Low Dynamic Range) 이미지 또는 SDR(Standard Dynamic Range) 이미지를 지정하는데 사용될 것이다. 보다 일반적인 방식으로, 본 특허 출원에서, LDR 또는 SDR 이미지는 하나의 HDR 이미지보다 낮은 다이내믹 레인지를 갖는 이미지를 지정한다. 대조적으로, HDR 이미지는 LDR 이미지 또는 SDR 이미지 중의 하나보다 높은 다이내믹 레인지를 갖는 이미지를 지정한다.

본 발명에 따른 방법은 복수의 단계를 포함하고, 비디오의 각 프레임 또는 각 이미지마다, LDR 버전 및 HDR 버전이 이용가능하고, HDR 버전이 LDR 버전에 적용되는 ITM의 동작으로부터 발생되는 것으로 가정한다. 도 1a 및 도 1b는 본 발명의 방법에 입력되는 LDR 이미지와 HDR 이미지의 예들이다. 이들 이미지는 구름이 낀 하늘을 포함하는 풍경을 나타낸다.

도 1a의 LDR 이미지(예를 들어, 8비트로 코딩됨)와 비교하여, 도 1b의 HDR 이미지는 구름의 밝은 영역들에서 뚜렷이 클리핑된 영역들을 포함하고, 여기서 디테일 레벨들은 ITM 프로세스 동안 손실되었다.

본 발명의 제1 실시예에 따른 방법의 단계들은 도 2에 도시된다.

이 도면은 LDR 이미지로부터 (처리될) HDR 이미지를 생성하기 위한 역 톤 매핑(ITM)의 예비 단계(10)를 도시한다. ITM의 이러한 단계는 본 발명의 방법 중 일부일 수 있다. 이 단계가 점선으로 도시되어 있는 이유가 그것이다.

ITM 프로세스는 임의의 유형을 가질 수 있다. ITM 프로세스의 전달 함수는 예를 들어 단순한 감마 곡선 또는 WO2015/096955에 개시된 바와 같은 확장 지수 맵(expansion exponent map)을 사용한 함수이다. LDR 이미지는 도 1a의 LDR 이미지이고 결과의 HDR 이미지는 도 1b의 HDR 이미지일 수 있다.

본 실시예에 따르면, 단계(11 및 12)에서 각각 LDR 이미지 및 HDR 이미지 내의 밝은 영역들이 검출된다. 검출된 HDR 이미지의 밝은 영역들은 잠재적 클리핑된 영역들이다.

이들 두 단계는 각각 세그먼테이션에 의해 수행될 수 있다. 이러한 세그먼테이션은 문턱 값 연산을 사용하여 이루어질 수 있다. RGB 값들이 각 컬러마다 8 비트로 인코딩된 LDR 이미지의 예를 든다. 단계(11)는 먼저 LDR 이미지의 RGB 값들을 휘도 값들로 변환하고, 이어서 휘도 값들을 제1 문턱 값(Th_LDR)으로 문턱 값 처리하는 단계로 구성될 수 있다. 마찬가지로, 단계(12)는 먼저 HDR 이미지의 RGB 값들을 휘도 값들로 변환하고, 이어서 휘도 값들을 제2 문턱 값(Th_HDR)으로 문턱 값 처리하는 단계로 구성될 수 있다.

변환은 다음의 식에 의해 다음과 같이 수행될 수 있다:

여기서,

Y_LDR은 LDR 이미지의 픽셀의 휘도 값이다.

R_LDR은 LDR 이미지의 상기 픽셀의 적색 성분의 값이다.

G_LDR은 LDR 이미지의 상기 픽셀 중 녹색 성분의 값이다.

B_LDR은 LDR 이미지의 상기 픽셀 중 청색 성분의 값이다.

그리고

Y_HDR은 HDR 이미지의 픽셀의 휘도 값이다.

R_HDR은 HDR 이미지의 상기 픽셀 중 적색 성분의 값이다.

G_HDR은 HDR 이미지의 상기 픽셀 중 녹색 성분의 값이다.

B_HDR은 HDR 이미지의 상기 픽셀 중 청색 성분의 값이다.

그 다음으로 문턱 값 연산이 변환 연산으로부터 발생된 휘도 값들에 적용된다. 문턱 값 연산의 결과들은 도 3a 및 도 3b의 마스크들(Mask_LDR 및 Mask_HDR)로 도시된다.

마스크들(Mask_LDR 및 Mask_HDR)은 다음과 같이 구해진다:

도 3a에서, Y_LDR>Th_LDR이면, Mask_LDR=백색, 아니면 Mask_LDR=흑색.

도 3b에서, Y_HDR>Th_HDR이면, Mask_HDR=백색, 아니면 Mask_HDR=흑색.

문턱 값들(Th_LDR 및 Th_HDR)은 휘도 값들(Y_LDR)이 n 비트로 인코딩되고 휘도 값들(Y_HDR)이 m 비트로 인코딩되고, m과 n이 정수들이고 m>n이면, Th_HDR ≥ 2^m-n x Th_LDR이도록 정의된다.

문턱 값(Th_LDR 및 Th_HDR)은 상수이거나(고정되거나) 또는 이미지 콘텐츠 또는 ITM의 전달 함수에 종속적일 수 있다.

문턱 값은 인코딩 비트들의 수에 맞추어져야 한다.

값들(Y_LDR)이 8비트로 인코딩되면(n=8), 문턱 값(Th_LDR)은 예를 들어 230과 같다. 본 명세서에서 위에서 언급한 바와 같이, 이 값은 이미지의 유형(풍경, 실내, …)에 따라 다를 수 있다. 문턱 값(Th_LDR)은 255에 더 가까울 수 있다. 그러나, 문턱 값(Th_LDR)은 바람직하게는 225와 같지 않은데, 왜냐하면 피할 수 없는 잡음의 존재로 인해, 클리핑된 영역들이 255의 픽셀들만을 의미하지 않기 때문이다.

값들(Y_HDR)이 12비트로 인코딩되면(m=12), 연관된 문턱 값(Th_HDR)은 ITM의 전달 함수가 무엇이든 예를 들어 230*(24)=3680과 같다. 문턱 값(Th_LDR)은 3680과 4095 사이에 포함될 수 있다.

다른 예에서, 문턱 값(Th_LDR)은 Y_HDR을 생성하는데 사용되는 ITM의 전달 함수(f)에 종속할 수 있다. 예를 들어, Th_HDR = f(230)이다.

다시 도 2를 참조하면, 이후 두 이미지의 밝은 영역들은 ITM 동작 동안 나타나는 밝은 영역들을 결정하기 위해 단계(13)에서 처리된다. 이들 밝은 영역들은 새로운 밝은 영역들이라 부른다. 이들은 HDR 이미지의 밝은 영역들로부터 LDR 이미지의 밝은 영역들을 차감함으로써 결정된다. 따라서 단계(13)는 마스크(Mask_HDR)의 픽셀들로부터 마스크(Mask_LDR)의 밝은 픽셀들을 차감하는 단계로 구성된다. 결과로 도 4에 도시된 마스크(Mask_HDR-LDR)가 발생된다.

이 단계는 LDR 이미지에 이미 존재하는 클리핑된 영역들과 HDR에서 ITM 프로세스에 의해 "추가된" 새로운 클리핑된 영역들을 분리하는 것을 목적으로 한다. 기본적인 개념은 (컬러리스트에 의해 유리하게 등급 매겨진(grade)) LDR 이미지 내의 이미 클리핑된 영역들이 (디테일이 손실되지 않고) HDR 이미지에서 그대로 유지될 수 있다고 간주하는 것이다. 반대로, Mask_HDR-LDR에 존재하는 HDR 이미지의 "새로운 클리핑된 영역들"(도 4의 백색 영역들)은 하이라이트 부분들에서 부스트(boost)를 줄이기 위해 적응되어야 한다. 실제로, LDR 이미지 내 밝은 영역들에 비해 HDR 이미지 내 밝은 영역들이 증가하는 것은 휘도 값들이 ITM 프로세스 동안 너무 많이 부스트되었음을 보여준다.

따라서, 단계(14)에서, (마스크 Mask_HDR-LDR에서 보이는) 새로운 밝은 영역들의 휘도 값들은 이들 영역에서 휘도 레벨들을 줄여서, 결과적으로 이들 영역에서 클리핑된 영역들의 수를 줄이도록 적응된다.

실시예에 따르면, 단계(14)에서, HDR 이미지의 새로운 밝은 영역들의 휘도는 HDR 이미지의 새로운 밝은 영역들의 휘도 값들을 LDR 이미지 내의 대응하는 영역들의 휘도 값들과 혼합함으로써 수정된다.

예를 들어, HDR 이미지의 새로운 밝은 영역들의 휘도는 다음과 같이 수정된다:

여기서,

이고,

- Y_HDR은 HDR 이미지의 대응하는 픽셀의 휘도이고,

- Y_LDR은 LDR 이미지의 대응하는 픽셀의 휘도이다.

이 공식에 따라, LDR 픽셀 값이 최대 휘도 값(8비트시 255)에 가까울수록 HDR 값은 LDR 값과 더 많이 혼합된다.

수학식 [3]은 선형 도메인에서 적용된다. 그런 다음 휘도 값들은 RGB 값들로 변환된다. 물론, 대응하는 새로운 RGB 값들은 픽셀 컬러를 보존하도록 계산된다.

도 1a 및 도 1b의 이미지들에 적용된 이러한 프로세스의 결과는 HDR_modified라 부르는 결과 HDR 이미지를 나타내는 도 5에 의해 도시된다.

도 6a 내지 도 6c는 LDR 및 HDR 입력 이미지들을 HDR 출력 이미지와 비교 가능하게 하는 도면들이다. 도 6a, 도 6b 및 도 6c는 각각 도 1a, 도 1b 및 도 5와 동등하다. 도 6b 및 도 6c에서, 직사각형 영역들은 높은 대비들이 보존되는 (적응 없는) 영역들을 도시하고 원형 영역들은 (수정된 HDR 이미지에서) 디테일이 회복된 영역들을 도시한다.

위에서 설명된 실시예는 ITM 프로세스 이후에 적용된 후처리 방법이다.

변형예에서, ITM 프로세스는 본 발명의 방법의 일부이고 ITM 프로세스는 HDR 이미지에서 클리핑된 영역들을 줄이기 위해 보정된다.

이러한 변형예는 도 7에 의해 도시된다. 본 방법은 이전의 실시예에 대해 이미 설명된 단계들(10 내지 13)을 포함한다.

이전의 실시예와 다르게, HDR 이미지는 역 톤 매핑(단계(10))의 전달 함수의 적어도 하나의 파라미터를 수정함으로써 수정된다.

이러한 변형예에 따르면, 단계(15)에서 새로운 밝은 영역들의 픽셀들의 수(=마스크(Mask_HDR-LDR)의 백색 픽셀들의 수)가 결정되고 미리 결정된 수(N)와 비교된다. 수(N)는 고정되거나 또는 이미지의 유형(풍경, 실내, …)에 따라 다를 수 있다. 이 수는 아마도 0과 같을 수 있다.

새로운 밝은 영역들의 픽셀들의 수가 N을 초과하면, 단계(16)에서 ITM 단계(10)의 전달 함수(f)의 적어도 하나의 파라미터가 새로운 밝은 영역들을 줄이기 위해 수정된다.

일 예에서, 전달 함수(f)는 다음의 유형을 가질 수 있다:

여기서,

- Y_HDR(p)는 HDR 이미지 내 픽셀(p)의 휘도 값이고;

- Y_LDR(p)는 LDR 이미지 내 픽셀(p)의 휘도 값이고;

- E(p)는 확장 지수 맵에서 픽셀(p)에 연관된 값 또는 값들의 세트이고; 확장 지수 맵은 2차 함수일 수 있다.

수정되는 f의 파라미터는 2차 함수의 파라미터일 수 있다.

ITM의 전달 함수는 새로운 밝은 영역들의 픽셀들의 수가 N 이하일 때까지 수정된다. 이러한 조건이 만족될 때, (ITM 프로세스에 의해 전달된) 새로운 HDR 이미지는 수정된 HDR 이미지(HDR_modified)이다. 이와 같이 수정된 이미지는 단계(17)에서 전달된다.

도 8은 본 개시내용의 예시적인 실시예에 따라 LDR 이미지들 및 HDR 이미지들을 처리하도록 구성된 디바이스(800)의 예시적인 아키텍처를 도시한다.

디바이스(800)는 예를 들어 CPU, GPU 및/또는 DSP(Digital Signal Processor)인 하나 또는 그 이상의 프로세서(810)와 함께, 내부 메모리(820)(예를 들어, RAM, ROM, EPROM)를 포함한다. 디바이스(800)는 출력 정보를 디스플레이하고 및/또는 사용자가 커맨드들 및/또는 데이터를 입력할 수 있도록 적응된 하나 또는 몇 개의 입력/출력 인터페이스(830)(예를 들어, 키보드, 마우스, 터치패드, 웹캠); 및 디바이스(800)에 외부적으로 연결될 수 있는 전원(840)을 포함한다. 디바이스(800)는 또한 네트워크 인터페이스(들)(도시되지 않음)도 포함할 수 있다. 디바이스가 ITM 프로세스를 구현하면, 디바이스는 LDR 이미지들만을 수신할 수 있다. 디바이스가 ITM 프로세스를 구현하지 않으면, 디바이스는 LDR 이미지들 및 HDR 이미지들을 수신한다.

본 발명의 예시적이고 비제한적인 실시예에 따르면, 디바이스(800)는 메모리(820)에 저장된 컴퓨터 프로그램을 더 포함한다. 컴퓨터 프로그램은 디바이스(800)에 의해, 특히 프로세서(810)에 의해 실행될 때, 디바이스(800)가 도 2 또는 도 7을 참조하면 설명된 방법을 수행하게 하는 명령어들을 포함한다. 변형예에 따르면, 컴퓨터 프로그램은 디바이스(800) 외부의 비일시적 디지털 데이터 지원체 상에, 예를 들어, 종래 기술에서 모두 공지된 HDD, CD-ROM, DVD, 판독 전용 및/또는 DVD 드라이브 및/또는 DVD 판독/기입 드라이브와 같은 외부 저장 매체상에 저장된다. 따라서 디바이스(800)는 컴퓨터 프로그램을 판독하는 인터페이스를 포함한다. 또한, 디바이스(800)는 대응하는 범용 직렬 버스(Universal Serial Bus)(USB)(도시되지 않음) 포트들을 통해 하나 이상의 USB 타입 저장 디바이스(예를 들어, "메모리 스틱들")에 액세스할 수 있다.

예시적이고 비제한적인 실시예들에 따르면, 디바이스(800)는 다음을 포함하는 세트에 속하는 디바이스이다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 정지 이미지 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 정지 이미지 서버;

- 비디오 서버(예를 들어, 방송 서버, 주문형 비디오 서버 또는 웹 서버);

- 비디오 업로딩 플랫폼; 및

- 디스플레이 또는 디코딩 칩.

본 명세서에 설명되는 구현예들은 예를 들어, 방법 또는 프로세스, 디바이스, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 비록 단일 형태의 구현예의 맥락에서만 논의되었지만(예를 들어, 방법 또는 디바이스로서만 논의되었지만), 논의된 특징들의 구현예는 또한 다른 형태로 (예를 들어, 프로그램으로) 구현될 수도 있다. 디바이스는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법들은 예를 들어, 컴퓨터, 마이크로프로세서, 직접 회로 또는 프로그래머블 로직 디바이스를 비롯한 일반적으로 프로세싱 디바이스들이라고 지칭하는 예를 들어, 프로세서와 같은 디바이스에서 구현될 수 있다. 프로세서들은 또한 예를 들어, 컴퓨터, 셀 폰들, 휴대용/개인 휴대 정보 단말기(personal digital assistant)("PDA") 및 최종 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 명세서에 설명되는 다양한 프로세스들과 특징들의 구현예들은 다양한 상이한 장비 또는 애플리케이션들에서, 특히 예를 들어, 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 카메라, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 퍼스널 컴퓨터, 셀 폰, PDA 및 다른 통신 디바이스들을 포함한다. 명확히 해야 할 것으로, 장비는 이동성일 수 있고 이동 차량에도 설치될 수 있다.

또한, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들 (및/또는 구현에 의해 만들어지는 데이터 값들)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 예를 들어 하드 디스크, 콤팩트 디스켓(compact diskette)(CD), (예를 들어, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크라고도 지칭되는 DVD와 같은) 광학 디스크, 랜덤 액세스 메모리(random access memory)(RAM), 판독 전용 메모리(read-only memory)(ROM)와 같은 다른 저장 디바이스와 같은 프로세서-판독 가능 매체 상에 저장될 수 있다. 명령어들은 프로세서-판독가능 매체상에서 유형으로 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 되어 있을 수 있다. 명령어들은 예를 들어, 오퍼레이팅 시스템, 별도의 애플리케이션 또는 두 가지의 조합에서 찾아 볼 수 있다. 그러므로, 프로세서는 예를 들어, 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 실행하기 위한 명령어들을 갖는 (저장 디바이스와 같은) 프로세서-판독가능 매체를 포함하는 디바이스 둘 모두를 특징으로 할 수 있다. 또한, 프로세서-판독가능 매체는 명령어들 이외에 또는 그 대신에 구현함으로써 생성되는 데이터 값들을 저장할 수 있다.

관련 기술분야에서 통상의 기술자에게 명확한 바와 같이, 구현예들은 예를 들어 저장되거나 전송될 수 있는 정보를 반송하도록 포맷된 다양한 신호들을 생성할 수 있다. 정보는 예를 들어, 방법을 수행하기 위한 명령어들 또는 설명된 구현예들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 신택스를 기입 또는 판독하기 위한 규칙들을 데이터로서 반송하도록 또는 설명된 실시예에 의해 기입되는 실제 신택스-값들을 데이터로서 반송하도록 포맷될 수 있다. 이와 같은 신호는 예를 들어, 전자기파로서 (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여) 또는 기저대역 신호로서 포맷될 수 있다. 포맷하는 것은 예를 들어, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 바와 같이, 다양한 다른 유선 또는 무선 링크들을 통해 전송될 수 있다. 신호는 프로세서-판독가능 매체에 저장될 수 있다.

Claims

이미지들을 처리하기 위한 방법으로서,
- 장면의, LDR 이미지라 지칭되는 보다 낮은 다이내믹 레인지(lower dynamic range) 이미지 및 HDR 이미지라 지칭하는 보다 높은 다이내믹 레인지(higher dynamic range) 이미지를 수신하는 단계 - 상기 HDR 이미지는 상기 LDR 이미지에 역 톤 매핑(inverse tone mapping)을 적용하여 얻어짐 -,
- 상기 HDR 이미지에서 검출된 밝은 영역들 및 상기 LDR 이미지에서 검출된 밝은 영역들로부터 상기 LDR 이미지에서 존재하지 않는 상기 HDR 이미지의 새로운 밝은 영역들을 결정하는 단계, 및
- 상기 HDR 이미지의 상기 새로운 밝은 영역들의 휘도 값들을 상기 HDR 이미지의 상기 새로운 밝은 영역들에 대응하는 상기 LDR 이미지의 영역들의 휘도 값들과 혼합(mixing)함으로써 상기 HDR 이미지의 상기 새로운 밝은 영역들의 휘도를 수정하는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 LDR 이미지 및 상기 HDR 이미지 내의 상기 밝은 영역들은 상기 LDR 이미지 및 상기 HDR 이미지의 컬러 값들을 휘도 값들로 변환하고 상기 LDR 이미지의 휘도 값들을 제1 문턱 값(Th_LDR)으로 문턱 값 처리(thresholding)하고 상기 HDR 이미지의 휘도 값들을 제2 문턱 값(Th_HDR)으로 문턱 값 처리함으로써 검출되는, 방법.
제2항에 있어서, 상기 LDR 이미지의 휘도 값들이 n 비트로 인코딩되고 상기 HDR 이미지의 휘도 값들이 m 비트로 인코딩되고, m과 n이 m>n이 되는 정수들이면, Th_HDR ≥ 2^m-n x Th_LDR인, 방법.
제2항에 있어서, Th_HDR = f(Th_LDR)이고, f는 상기 HDR 이미지를 얻기 위해 상기 LDR 이미지에 적용된 상기 역 톤 매핑의 전달 함수인, 방법.
제1항에 있어서, 상기 새로운 밝은 영역들은 상기 LDR 이미지의 밝은 영역들을 상기 HDR 이미지의 밝은 영역들로부터 차감(subtracting)함으로써 결정되는, 방법.
제1항에 있어서, 상기 HDR 이미지의 상기 새로운 밝은 영역들의 휘도는 다음과 같이 수정되고:

- α는 미리 결정된 파라미터이고,
- Y_HDRmodified는 상기 HDR 이미지의 상기 새로운 밝은 영역들의 픽셀의 수정된 휘도이고,
- Y_HDR은 상기 HDR 이미지의 대응하는 픽셀의 휘도이고,
- Y_LDR은 상기 LDR 이미지의 대응하는 픽셀의 휘도인, 방법.
제6항에 있어서, 상기 파라미터(α)는 다음과 같이:

로서 정의되는, 방법.
제1항에 있어서, 상기 LDR 이미지에 역 톤 매핑을 적용하여 상기 HDR 이미지를 얻는 단계를 더 포함하고, 상기 HDR 이미지의 상기 새로운 밝은 영역들의 휘도는 상기 역 톤 매핑의 전달 함수의 적어도 하나의 파라미터를 수정함으로써 수정되는(15, 16), 방법.
제8항에 있어서, 상기 역 톤 매핑의 전달 함수의 적어도 하나의 파라미터는 상기 새로운 밝은 영역들의 픽셀들의 수가 미리 결정된 수(N)를 초과할 때까지 수정되는, 방법.
이미지들을 처리하기 위한 디바이스로서,
상기 디바이스는 프로세서를 포함하고, 상기 프로세서는:
- 장면의, LDR 이미지라 지칭되는 보다 낮은 다이내믹 레인지 이미지 및 HDR 이미지라 지칭되는 보다 높은 다이내믹 레인지 이미지를 얻고 - 상기 HDR 이미지는 상기 LDR 이미지에 역 톤 매핑을 적용하여 얻어짐 -,
- 상기 HDR 이미지에서 검출된 밝은 영역들 및 상기 LDR 이미지에서 검출된 밝은 영역들로부터 상기 LDR 이미지에서 존재하지 않는 상기 HDR 이미지의 새로운 밝은 영역들을 결정하고,
- 상기 HDR 이미지의 상기 새로운 밝은 영역들의 휘도 값들을 상기 HDR 이미지의 상기 새로운 밝은 영역들에 대응하는 상기 LDR 이미지의 영역들의 휘도 값들과 혼합함으로써 상기 HDR 이미지의 상기 새로운 밝은 영역들의 휘도를 수정
하도록 구성되는, 디바이스.
제10항에 있어서, 상기 LDR 이미지 및 상기 HDR 이미지 내의 상기 밝은 영역들은 상기 LDR 이미지 및 상기 HDR 이미지의 컬러 값들을 휘도 값들로 변환하고 상기 LDR 이미지의 휘도 값들을 제1 문턱 값(Th_LDR)으로 문턱 값 처리하고 상기 HDR 이미지의 휘도 값들을 제2 문턱 값(Th_HDR)으로 문턱 값 처리함으로써 검출되는, 디바이스.
제11항에 있어서, 상기 LDR 이미지의 휘도 값들이 n 비트로 인코딩되고 상기 HDR 이미지의 휘도 값들이 m 비트로 인코딩되며, m과 n이 m>n이 되는 정수들이면, Th_HDR ≥ 2^m-n x Th_LDR인, 디바이스.
제11항에 있어서, Th_HDR = f(Th_LDR)이고, f는 상기 HDR 이미지를 얻기 위해 상기 LDR 이미지에 적용된 상기 역 톤 매핑의 전달 함수인, 디바이스.
제10항에 있어서, 상기 프로세서는 상기 LDR 이미지를 역 톤 매핑함으로써 상기 HDR 이미지를 얻도록 추가로 구성되고, 상기 HDR 이미지의 상기 새로운 밝은 영역들의 휘도는 상기 역 톤 매핑의 전달 함수의 적어도 하나의 파라미터를 수정함으로써 수정되는, 디바이스.
프로그램이 컴퓨터 또는 프로세서 상에서 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품을 저장하는, 비일시적 컴퓨터-판독가능 저장 매체.