KR20220149715A

KR20220149715A - 역 톤 맵핑을 위한 방법 및 장치

Info

Publication number: KR20220149715A
Application number: KR1020227033707A
Authority: KR
Inventors: 로랑 카우빈; 마리-진 콜라티스; 프레데릭 플리슨노우; 기욤 포이리에
Original assignee: 인터디지털 브이씨 홀딩스 프랑스
Priority date: 2020-03-02
Filing date: 2021-02-22
Publication date: 2022-11-08
Also published as: EP4115383A1; US20230017160A1; CN115335853A; WO2021175633A1; JP2023516184A; BR112022017272A2

Abstract

역 톤 맵핑을 위한 방법은, LDR 이미지로 불리는 낮은 동적 범위 이미지의 히스토그램을 획득하는 단계(41); ITMO 함수를 획득하여, LDR 이미지의 픽셀 값 및 LDR 이미지의 상기 픽셀 값에 따른 이득 함수로부터, HDR 이미지로 불리는 높은 동적 범위 이미지의 픽셀 값을 획득하는 것을 허용하는 단계(42); 획득된 히스토그램을 사용하는 검색 프로세스를 적용하여, ITMO 함수가 상기 LDR 이미지에 적용될 때 HDR 이미지에 밝은 영역들을 생성하는 LDR 이미지의 영역들을 식별하여, 밝은 영역들을 나타내는 정보를 사용하여 이득 함수를 언제 수정할지를 결정하여, HDR 이미지가 적어도 하나의 미리정의된 광 에너지 제약을 중요시함을 보장하는 단계를 포함한다.

Description

역 톤 맵핑을 위한 방법 및 장치

본 실시예들 중 적어도 하나는 대체적으로, 높은 동적 범위(high dynamic range, HDR) 이미징 분야에 관한 것으로, 구체적으로는, 낮은 또는 표준 동적 범위 이미지의 동적 범위를 확장하기 위한 방법 및 장치에 관한 것이다.

디스플레이 기술의 최근의 진보들은 디스플레이될 이미지에서 색상, 휘도 및 콘트라스트의 확장된 동적 범위를 허용하기 시작하고 있다. 용어 "이미지"는 본 명세서에서, 예를 들어 비디오 또는 정지 픽처 또는 이미지일 수 있는 이미지 콘텐츠를 지칭한다.

이미지들의 휘도 또는 밝기의 확장된 동적 범위를 허용하는 기술들은 높은 동적 범위(HDR) 이미징으로 알려져 있다. 다수의 HDR 디스플레이 디바이스들뿐만 아니라 증가된 동적 범위로 이미지들을 캡처할 수 있는 이미지 카메라들이 등장했지만, 여전히, 매우 제한된 수의 이용가능한 HDR 콘텐츠들이 있다. 기존 콘텐츠의 동적 범위를 확장하여, 이러한 콘텐츠들이 HDR 디스플레이 디바이스들 상에서 효율적으로 디스플레이될 수 있게 하는 솔루션들이 필요하다.

HDR 디스플레이 디바이스들에 대한 종래의(이후, 낮은 동적 범위에 대해서 LDR로 또는 표준 동적 범위에 대해서 SDR로 지칭됨) 콘텐츠를 준비하기 위해, 반전(reverse) 또는 역 톤 맵핑 오퍼레이터(inverse tone mapping operator, ITMO)들이 채용될 수 있다. ITMO들은, 대응하는 오리지널 장면의 출연을 복구하거나 재생성하는 것을 목표로 이미지들 내의 픽셀들의 휘도 정보를 프로세싱하는 알고리즘들을 사용함으로써, 종래의(LDR 또는 SDR) 이미지들로부터 HDR 이미지들을 생성할 수 있게 한다. 전형적으로, ITMO들은 종래의 이미지를 입력으로서 취하고, 이러한 이미지의 색상들의 휘도 범위를 포괄적 방식으로 확장시키고, 후속적으로, 하이라이트들 또는 밝은 영역들을 프로세싱하여 이미지에서 색상들의 HDR 출연을 국부적으로 향상시킨다.

여러 ITMO 솔루션들이 존재하지만, 이들은 대체적으로, 오리지널 장면의 출연을 지각적으로 재생하는 데 중점을 두고, 콘텐츠에 관한 엄격한 가정들에 의존한다. 추가적으로, 문헌에 제안된 대부분의 확장 방법들은 동적 범위의 극한 증가들을 향해 최적화된다.

전형적으로, HDR 이미징은 양자화 단계들의 수의 증가와 조합된, 색상들의 휘도의 어두움 값과 밝음 값 사이의 동적 범위의 확장에 의해 한정된다. 동적 범위의 더 극적인 증가들을 달성하기 위해, 많은 방법들은 포괄적 확장을, 하이라이트들, 및 이미지들의 다른 밝은 영역들의 출연을 향상시키는 국부적 프로세싱 단계들과 조합한다. 문헌에서 제안된 알려진 포괄적 확장 단계들은 역 S자형으로부터 선형 또는 구분적 선형까지 다양하다.

이미지에서 밝은 국부적 특징부들을 향상시키기 위해, 휘도 확장 맵을 생성하는 것이 알려져 있으며, 여기서 이미지의 각각의 픽셀은 이러한 픽셀의 휘도에 적용할 확장 값과 연관된다. 가장 간단한 경우에, 이미지 내의 클립핑된 영역이 검출되고, 이어서, 더 급격한 확장 곡선을 사용하여 확장될 수 있지만, 그러한 솔루션은 이미지의 출연에 대한 충분한 제어를 제공하지 않는다.

상기의 단점들을 극복하는 것이 바람직하다.

종래의(LDR 또는 SDR) 이미지들로부터 생성된 HDR 이미지들의 출연의 제어를 개선하는 것을 허용하는 역 톤 맵핑 방법을 개선하는 것이 특히 바람직하다. 또한, 합리적인 복잡성을 갖는 신규한 ITMO를 설계하는 것이 특히 바람직하다.

제1 태양에서, 본 실시예들 중 하나 이상은,

LDR 이미지로 불리는 낮은 동적 범위 이미지를 나타내는 히스토그램을 획득하는 단계; ITMO 함수로 불리는 역 톤 맵핑 오퍼레이터 함수를 획득하여, LDR 이미지의 픽셀 값 및 LDR 이미지의 상기 픽셀 값에 따른 이득 함수로부터, HDR 이미지로 불리는 높은 동적 범위 이미지의 픽셀 값을 획득하는 것을 허용하는 단계; 획득된 히스토그램을 사용하는 검색 프로세스를 적용하여, ITMO 함수가 상기 LDR 이미지에 적용될 때 HDR 이미지에 밝은 영역들을 생성하는 LDR 이미지의 영역들을 식별하는 단계를 포함하는 방법을 제공하며, 검색 프로세스는, 대역들로 불리는 히스토그램의 하위부분들을 정의하고, 각각의 대역의, 집단으로 불리는 다수의 픽셀들 및 기여도를 계산하는 것 - 각각의 기여도는 상기 대역에 의해 나타난 픽셀들에 의해 방출된 ITMO 함수의 적용 후의 광 에너지를 나타냄 -; 기여도들에서 적어도 하나의 국부적 최대치를 식별하고, 각각의 국부적 최대치에 대해, 후보로 불리는 대응하는 대역을 이웃 대역들과 함께 집적하는 것; 집단들에서 적어도 하나의 국부적 최대치를 식별하고, 각각의 국부적 최대치에 대해, 후보 집단으로 불리는 대응하는 대역을 이웃 대역들과 함께 집적하는 것; 각각의 집적된 후보 집단으로부터 임의의 집적된 후보와는 독립적인 집적된 후보를 생성하는 것; 상기 집적된 후보에 의해 나타난 픽셀들에 의해 방출된 광 에너지 및 상기 집적된 후보에 의해 나타난 다수의 픽셀들을 나타내는 정보를 포함하는 각각의 집적된 후보를 나타내는 정보의 함수에서 집적된 후보들로부터 적어도 하나의 최종 집적된 후보를 선택하는 것; 및, 최종 집적된 후보를 사용하는 결정 프로세스를 적용하여, 이득 함수를 언제 수정할지를 결정하여 HDR 이미지가 적어도 하나의 미리정의된 광 에너지 제약을 중요시함을 보장하는 것을 포함한다.

일 실시예에서, 픽셀 값은 휘도 값이다.

일 실시예에서, 적어도 하나의 미리정의된 광 제약은 MaxFall 제약 및/또는 확산 백색 제약(diffuse white constraint)을 포함한다.

일 실시예에서, 적어도 하나의 최종 집적된 후보의 선택은, 광 에너지를 나타내는 정보의 최고 값과 연관된 집적된 후보들의 서브세트를 선택하는 것 - 적어도 하나의 최종 집적된 후보는 최고 개수의 픽셀들을 나타내는 서브세트의 집적된 후보들로부터 선택됨 - 을 포함한다.

일 실시예에서, 결정 프로세스는,

적어도 하나의 최종 집적된 후보를 나타내는, 최종 픽셀 값으로 불리는 픽셀 값을 결정하는 것; ITMO 함수를 사용하여 최종 픽셀 값으로부터 확장된 픽셀 값을 나타내는 값을 계산하는 것; 및 확장된 픽셀 값이 미리정의된 확산 백색 제약 값을 나타내는 광 에너지 제약보다 더 높을 때 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하는 것을 포함한다.

일 실시예에서, SDR 이미지는 이미지들의 시퀀스의 현재 이미지이고, 최종 픽셀 값은 이미지들의 시퀀스 내의 현재 이미지에 선행하는 적어도 하나의 이미지에 대해 계산된 적어도 하나의 최종 픽셀 값을 사용하여 시간적으로 필터링된다.

일 실시예에서, 결정 프로세스는,

HDR 이미지의 MaxFall을 나타내는 값이 미리정의된 MaxFall 제약을 나타내는 광 에너지 제약보다 더 높을 때 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하는 것을 포함한다.

일 실시예에서, HDR 이미지의 MaxFall을 나타내는 값은 계산된 기여도들의 합이다.

제2 태양에서, 본 실시예들 중 하나 이상은 전자 회로부를 포함하는 디바이스를 제공하며, 전자 회로부는,

LDR 이미지로 불리는 낮은 동적 범위 이미지를 나타내는 히스토그램을 획득하기 위해; ITMO 함수로 불리는 역 톤 맵핑 오퍼레이터 함수를 획득하여, LDR 이미지의 픽셀 값 및 LDR 이미지의 상기 픽셀 값에 따른 이득 함수로부터, HDR 이미지로 불리는 높은 동적 범위 이미지의 픽셀 값을 획득하는 것을 허용하기 위해; 획득된 히스토그램을 사용하는 검색 프로세스를 적용하여, ITMO 함수가 상기 LDR 이미지에 적용될 때 HDR 이미지에 밝은 영역들을 생성하는 LDR 이미지의 영역들을 식별하기 위해 적응되며, 검색 프로세스는, 대역들로 불리는 히스토그램의 하위부분들을 정의하고, 각각의 대역의, 집단으로 불리는 다수의 픽셀들 및 기여도를 계산하는 것 - 각각의 기여도는 상기 대역에 의해 나타난 픽셀들에 의해 방출된 ITMO 함수의 적용 후의 광 에너지를 나타냄 -; 기여도들에서 적어도 하나의 국부적 최대치를 식별하고, 각각의 국부적 최대치에 대해, 후보로 불리는 대응하는 대역을 이웃 대역들과 함께 집적하는 것; 집단들에서 적어도 하나의 국부적 최대치를 식별하고, 각각의 국부적 최대치에 대해, 후보 집단으로 불리는 대응하는 대역을 이웃 대역들과 함께 집적하는 것; 각각의 집적된 후보 집단으로부터 임의의 집적된 후보와는 독립적인 집적된 후보를 생성하는 것; 상기 집적된 후보에 의해 나타난 픽셀들에 의해 방출된 광 에너지 및 상기 집적된 후보에 의해 나타난 다수의 픽셀들을 나타내는 정보를 포함하는 각각의 집적된 후보를 나타내는 정보의 함수에서 집적된 후보들로부터 적어도 하나의 최종 집적된 후보를 선택하는 것; 및, 최종 집적된 후보를 사용하는 결정 프로세스를 적용하여, 이득 함수를 언제 수정할지를 결정하여 HDR 이미지가 적어도 하나의 미리정의된 광 에너지 제약을 중요시함을 보장하는 것을 포함한다.

일 실시예에서, 픽셀 값은 휘도 값이다.

일 실시예에서, 적어도 하나의 미리정의된 광 제약은 MaxFall 제약 및/또는 확산 백색 제약을 포함한다.

일 실시예에서, 적어도 하나의 최종 집적된 후보를 선택하기 위해, 디바이스는, 광 에너지를 나타내는 정보의 최고 값과 연관된 집적된 후보들의 서브세트를 선택하기 위해 - 적어도 하나의 최종 집적된 후보는 최고 개수의 픽셀들을 나타내는 서브세트의 집적된 후보들로부터 선택됨 - 추가로 적응된다.

일 실시예에서, 결정 프로세스를 적용하기 위해, 디바이스는, 적어도 하나의 최종 집적된 후보를 나타내는, 최종 픽셀 값으로 불리는 픽셀 값을 결정하기 위해; ITMO 함수를 사용하여 최종 픽셀 값으로부터 확장된 픽셀 값을 나타내는 값을 계산하기 위해; 그리고 확장된 픽셀 값이 미리정의된 확산 백색 제약 값을 나타내는 광 에너지 제약보다 더 높을 때 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하기 위해 추가로 적응된다.

일 실시예에서, 결정 프로세스를 적용하기 위해, 디바이스는, HDR 이미지의 MaxFall을 나타내는 값이 미리정의된 MaxFall 제약을 나타내는 광 에너지 제약보다 더 높을 때 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하기 위해 추가로 구성된다.

제3 태양에서, 본 실시예들 중 하나 이상은 제2 태양에 따른 디바이스를 포함하는 장치를 제공한다.

제4 태양에서, 본 실시예들 중 하나 이상은 제1 태양의 방법에 의해 또는 제2 태양의 디바이스에 의해 또는 제3 태양의 장치에 의해 생성된 신호를 제공한다.

제5 태양에서, 본 실시예들 중 하나 이상은 제1 태양에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램을 제공한다.

제6 태양에서, 본 실시예들 중 하나 이상은 제1 태양에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 저장하는 정보 저장 수단을 제공한다.

도 1은 하기에 기술되는 실시예들이 구현될 수 있는 상황의 일례를 도시한다.
도 2는 다양한 태양들 및 실시예들을 구현할 수 있는 프로세싱 모듈의 하드웨어 아키텍처의 일례를 개략적으로 도시한다.
도 3은 다양한 태양들 및 실시예들이 구현되는 시스템의 일례의 블록도를 도시한다.
도 4는 역 톤 맵핑을 개선하는 방법의 다양한 제1 실시예들의 하이-레벨 표현을 개략적으로 도시한다.
도 5는 역 톤 맵핑을 개선하는 방법의 제1 태양의 세부사항을 개략적으로 도시한다.
도 6은 역 톤 맵핑을 개선하는 방법의 제2 태양의 세부사항을 개략적으로 도시한다.
도 7은 역 톤 맵핑을 개선하는 방법의 제3 태양의 세부사항을 개략적으로 도시한다.
도 8은 역 톤 맵핑을 개선하는 방법의 제3 태양의 세부사항을 개략적으로 도시한다.
도 9a, 도 9b 및 도 9c는 3개의 상이한 ITM 곡선들을 나타낸다.
도 10은 역 톤 맵핑을 개선하는 방법의 다양한 제2 실시예들의 하이-레벨 표현을 개략적으로 도시한다.

상이한 종류들의 역 톤 맵핑 방법들이 존재한다. 예를 들어, 국부적 톤 맵핑 알고리즘들의 분야에서, 특허 출원 WO 2015/096955호는 이미지의 각각의 픽셀 P에 대해, 픽셀 확장 지수 값 E(P)를 획득하는 단계, 및 이어서, 픽셀 P의 휘도 Y(P)를 확장된 휘도 값 Y _exp (P)에 하기와 같이 역 톤 맵핑하는 단계를 포함하는 방법을 개시한다:

(수학식 1)

여기서,

Y _exp (P)는 픽셀 P의 확장된 휘도 값이다.

Y(P)는 SDR(또는 LDR) 입력 이미지 내의 픽셀 P의 휘도 값이다.

는 SDR(또는 LDR) 입력 이미지 내의 픽셀 P에 대한 휘도 향상 값이다.

는 픽셀 P에 대한 픽셀 확장 지수 값이다.

이미지의 모든 픽셀들에 대한 값들 E(P)의 세트는 이미지에 대해, 확장 지수 맵 또는 확장 맵 또는 확장 함수 또는 이득 함수를 형성한다. 이러한 확장 지수 맵은 상이한 방법들에 의해 생성될 수 있다. 예를 들어, 방법은 각각의 픽셀 P의 휘도 값 Y(P)를 저역 통과 필터링하여 저역 통과 필터링된 휘도 값 Y _low (P)를 획득하는 단계 및 저역 통과 필터링된 휘도 값에 2차 함수를 적용하는 단계로 이루어지며, 상기 2차 함수는 하기의 수학식에 따라 파라미터들 a, b 및 c에 의해 정의된다:

하드웨어 구현을 용이하게 하는 WO 2015/096955호에 기초한 다른 방법은 하기의 수학식을 사용한다:

상기의 수학식은 하기와 같이 표현될 수 있다:

여기서, 파라미터 d는, 예를 들어, d=1.25로 설정될 수 있다. 이 경우에 있어서

는 이미지 휘도 값 Y(P) 및 상기 휘도 값

의 저역 통과 버전 둘 모두의 함수이다.

문서 ITU-R BT.2446-0은 동일한 종류의 공식을 사용함으로써 SDR 콘텐츠들을 HDR 콘텐츠들로 변환하기 위한 방법을 개시한다:

여기서,

은 [0…1] 범위 내에 있다.

(

≤

때)

(

>

때)

상기에서 알 수 있는 바와 같이, 확장은 지수가 현재 픽셀의 휘도 값, 또는 이러한 휘도 값의 필터링된 버전에 의존하는 멱함수(power function)에 기초한다.

보다 대체적으로, 모든 포괄적 확장 방법들은 0과는 상이한 모든 입력 값들에 대해 하기의 형태의 ITM 함수로서 표현될 수 있다(입력이 0인 경우, 출력은 로직 0임):

(수학식 2)

여기서 G()는 Y의 이득 함수이다.

동일한 방식으로, 모든 국부적 확장 방법들은 0과는 상이한 모든 입력 값들에 대해 하기의 방식으로 표현될 수 있다:

(수학식 3)

여기서 Y _F 는 Y의 필터링된 버전이고, G()는 Y _F 의 이득 함수이고, Y _enhance 는 Y 및 그의 주변 픽셀들 Ys _i 의 함수이다.

두 경우(포괄적 또는 국부적) 모두에서, 확장 함수는, 입력 SDR 이미지와 일치하도록 하기 위해 단조적이다.

일부 역 톤 맵핑 방법들은 이미지 콘텐츠에 대한 어떠한 적응 없이 (예를 들어 ITU-R BT.2446-0 문서에 기재된 바와 같은) 미리결정된 확장 파라미터들에 기초하여 이득 함수 G()(확장 함수로도 불림)를 사용한다. 특허 출원 EP3249605호는 톤 맵핑할 이미지 콘텐츠에 자동으로 적응할 수 있는 이미지의 역 톤 맵핑을 위한 방법을 개시한다. 그 방법은 템플릿을 형성하는 프로파일들의 세트를 사용한다. 이러한 프로파일들은 오프라인 프로세싱인 학습 단계에서 미리결정된다. 각각의 프로파일은 이득 함수가 연관되는, 휘도 히스토그램과 같은 시각적 특징부에 의해 정의된다.

학습 단계에서, 프로파일들은, 역 톤 맵핑 파라미터들을 수동으로 설정하고 이러한 이미지들에 대한 이득 함수들을 생성하는, 컬러리스트들에 의해 수동으로 등급화되는 다수의 기준 이미지들로부터 결정된다. 이어서, 이러한 생성된 이득 함수들에 기초하여 기준 이미지들이 클러스터링된다. 각각의 클러스터는 휘도의 대표적인 히스토그램 및 그에 연관된 대표적인 이득 함수를 추출하기 위해 프로세싱되어, 이에 따라, 상기 클러스터로부터 발행되는 프로파일을 형성한다.

새로운 SDR 콘텐츠가 수신될 때, 히스토그램들은 SDR 콘텐츠의 SDR 이미지들에 대해 결정된다. 이어서, 각각의 계산된 히스토그램은 템플릿의 최상의 매칭 히스토그램을 찾기 위해, 학습 단계에서 발행된, 템플릿에 저장된 각각의 히스토그램들과 비교된다. 예를 들어, 계산된 히스토그램과 템플릿에 저장된 각각의 히스토그램들 사이의 거리가 계산된다. 이어서, 계산된 히스토그램과 최상의 매칭을 제공하는 템플릿의 히스토그램에 관련된 이득 함수가 선택되고, 계산된 히스토그램에 대응하는 이미지(또는 이미지들)에 대해 역 톤 맵핑을 수행하는 데 사용된다. 이러한 방식으로, 대응하는 HDR 이미지를 출력하기 위해, SDR 이미지에 적응된 템플릿의 최상의 이득 함수가 적용된다.

그럼에도 불구하고, 최상의 이득 함수를 갖고도, 그리고 고정 이득 함수를 갖는 더 한층 강력한 이유로, 일부 특정 이미지들에서 일부 휘도 범위들에 대해 불량 등급화가 획득된다. 특히, SDR 이미지들 내의 넓은 영역들 상의 하이라이트들 또는 밝은 부분들은 HDR 이미지들에서 너무 밝은 영역들을 초래할 수 있다. 결과적으로, 일부 HDR 디스플레이 디바이스들은 이러한 HDR 이미지들을 정확하게 디스플레이할 수 없는데, 그 이유는 그들이 그들의 전력 용량을 초과하기 때문이다. 그러한 HDR 이미지들을 처리하기 위해, 일부 디스플레이 디바이스들은 HDR 이미지들의 밝기를 국부적으로 또는 포괄적으로 감소시키기 위해 더 효율적인 또는 덜 효율적인 알고리즘을 적용한다. 디스플레이의 이러한 용량은 디스플레이의 MaxFall로 불리고, 니트(nit) 단위(즉, candela/m² (cd/m²))로 표현되고, 최대 프레임 평균 광 레벨(즉, 이미지의 최대 평균 휘도 레벨)로서 정의될 수 있다. MaxFall은 또한, 뷰어 측면에서 생각될 수 있다: 넓은 밝은 영역들은 뷰어를 현혹(dazzle)시킬 수 있거나 또는 적어도 그의 HDR 이미지 뷰잉 경험을 불쾌하게 만들 수 있다.

다른 측면에서, 문서 ITU-R BT.2408-1에서의 것과 같은, 일부 권고(recommendation)들이 등장하였는데, 이는 특히, 제어되는 스튜디오 조명 하에서, "1000" cd/m2(명목상 피크 휘도) 디스플레이 상에서 PQ(Perceptual quantization) 방법 기반 생성에 대해 그리고 HLG(Hybrid log-gamma) 방법 기반 생성에 대해 "203" 니트의 기준 레벨(Reference Level) 또는 확산 백색(Diffuse White)의 개념을 도입한다. 독자는 HLG 및 PQ 방법들에 대한 더 큰 정밀도를 위해 권고 ITU-R BT.2100을 참조할 수 있다. HDR 기준 백색의 신호 레벨은 SDR "피크 백색(peak white)"의 신호 레벨과 관련되지 않는 것으로 특정된다. 다른 측면에서, HLG 기반 라이브 방송으로부터 추출된 이미지들의 제1 세트에서 그리고 테스트 이미지들의 제2 세트에서 기준 레벨들의 분석이 목적인 문서 ITU-R BT.2408-1의 부록 "2"는 하기와 같이 결론내린다:

"이 보고서의 표 1에서 203 cd/m2의 HDR 기준 백색 레벨은 이 부록에서 분석된 콘텐츠에서 측정된 바와 같은 평균 확산 백색과 일치한다. 그러나, 콘텐츠의 2개의 상이한 소스들에서의 확산 백색의 표준 편차는 크며, 이는 평균 근처의 확산 백색의 유의한 스프레드를 나타낸다".

이러한 표준 편차들은 (상정된 "1000" cd/m2 신호에 대해) 제1 세트에 대해서는 약 "123" 내지 "345" cd/m2(즉, 평균 ± 1 표준 편차)의 범위로, 그리고 제2 세트에 대해서는 약 "80" 내지 "700" cd/m2(즉, 평균 ± 1 표준 편차)의 범위로 변환한다. 이는, 확산 백색의 이러한 개념이 다루기에는 어려운 개념이고, 그의 레벨 값이 콘텐츠에 따라 크게 변할 수 있음을 의미한다.

하기의 실시예들 중 적어도 하나는 하기에 의해 적어도 하나의 입력 SDR 이미지의 역 톤 맵핑을 개선하는 것을 목표로 한다:

1. 확장된 출력 HDR 이미지의 MaxFall, 또는 적어도 MaxFal의 밝은 영역 부분이 미리정의된 MaxFall 값을 초과하지 않을 것(또는 그에 가까울 것)임을 보장하는 것; 및/또는

2. 출력 HDR 이미지에서, 확산 백색 영역이 될 가능성이 있는 넓은 밝은 영역을 추적하고, (그러한 경우) 그의 평균 휘도 값이, 그의 크기에 따라, 이러한 평균 휘도 값이 미리정의된 타깃 확산 백색 값보다 더 높다면, 미리정의된 타깃 확산 백색 값에 가까움을 보장하는 것.

MaxFall 제약 및 확산 백색 제약은 출력 HDR 이미지의 광 에너지 제약으로서 관찰될 수 있다.

결과적으로, 본 발명은 확장된 HDR 이미지의 전체 밝기를, 그것을 상승시키는 것이 아니라, 그의 콘텐츠에 따라 감소시키는 것을 목표로 한다.

도 1은 하기에 기술되는 실시예들이 구현될 수 있는 상황의 일례를 도시한다.

도 1에서, 카메라, 저장 디바이스, 컴퓨터, 또는 SDR 콘텐츠를 전달할 수 있는 임의의 디바이스일 수 있는 디바이스(1)가 통신 채널(2)을 사용하여 SDR 콘텐츠를 시스템(3)으로 송신한다. 통신 채널(2)은 유선(예를 들어, 이더넷) 또는 무선(예를 들어, WiFi, 3G, 4G 또는 5G) 네트워크 링크일 수 있다.

SDR 콘텐츠는 고정 이미지 또는 비디오 시퀀스를 포함한다.

시스템(3)은 SDR 콘텐츠를 HDR 콘텐츠로 변환하는데, 즉, DSR 콘텐츠에 역 톤 맵핑을 적용하여 HDR 콘텐츠를 획득한다.

이어서, 획득된 HDR 콘텐츠는 유선 또는 무선 네트워크일 수 있는 통신 채널(4)을 사용하여 디스플레이 시스템(5)으로 송신된다. 이어서, 디스플레이 디바이스는 HDR 콘텐츠를 디스플레이한다.

일 실시예에서, 시스템(3)은 디스플레이 시스템(5)에 포함된다.

일 실시예에서, 디바이스(1), 시스템(3) 및 디스플레이 디바이스(5) 모두는 동일한 시스템에 포함된다.

일 실시예에서, 디스플레이 시스템(5)은 HDR 콘텐츠를 저장하는 저장 디바이스에 의해 대체된다.

도 2는 시스템(3)에 포함되고 다양한 태양들 및 실시예들을 구현할 수 있는 프로세싱 모듈(30)의 하드웨어 아키텍처의 일례를 개략적으로 도시한다. 프로세싱 모듈(30)은, 통신 버스(305)에 의해 접속되는, 비제한적인 예들로서, 하나 이상의 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들, 및 멀티코어 아키텍처에 기초한 프로세서들을 포괄하는 프로세서 또는 CPU(central processing unit)(300); 랜덤 액세스 메모리(random access memory, RAM)(301); 판독 전용 메모리(read only memory, ROM)(302); 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 판독 전용 메모리(ROM), 프로그래밍가능 판독 적용 메모리(Programmable Read-Only Memory, PROM), 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(Dynamic Random Access Memory, DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이들로 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리, 또는 저장 매체 판독기, 예컨대 SD(secure digital) 카드 판독기 및/또는 하드 디스크 드라이브(hard disc drive, HDD) 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있는 저장 유닛(303); 및 다른 모듈들, 디바이스들, 시스템들 또는 장비들과 데이터를 교환하기 위한 적어도 하나의 통신 인터페이스(304)를 포함한다. 통신 인터페이스(304)는 통신 채널을 통해 데이터를 송신하고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이로 제한되지 않는다. 통신 인터페이스(304)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이로 제한되지 않는다.

통신 인터페이스(304)는, 예를 들어 프로세싱 모듈(30)이 SDR 콘텐츠를 수신하고 HDR 콘텐츠를 제공할 수 있게 한다.

프로세서(300)는 ROM(302)으로부터, 외부 메모리(도시되지 않음)로부터, 저장 매체로부터, 또는 통신 네트워크로부터 RAM(301)으로 로딩된 명령어들을 실행할 수 있다. 프로세싱 모듈(30)에 전력이 공급될 때, 프로세서(300)는 RAM(301)으로부터의 명령어들을 판독하고 이들을 실행할 수 있다. 이러한 명령어들은, 예를 들어, 도 4와 관련하여 하기에 기술된 역 톤 맵핑 방법의 프로세서(300)에 의한 구현을 야기하는 컴퓨터 프로그램을 형성한다.

상기 역 톤 맵핑 방법의 알고리즘들 및 단계들의 전부 또는 일부는 프로그래밍가능 기계, 예컨대 DSP(digital signal processor) 또는 마이크로제어기에 의한 명령어들의 세트의 실행에 의해 소프트웨어 형태로 구현될 수 있거나, 또는 기계 또는 전용 컴포넌트, 예컨대 FPGA(field-programmable gate array) 또는 ASIC(application-specific integrated circuit)에 의해 하드웨어 형태로 구현될 수 있다.

도 3은 다양한 태양들 및 실시예들이 구현되는 시스템(3)의 일례의 블록도를 도시한다. 시스템(3)은 후술되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있고, 본 문헌에 기술된 태양들 및 실시예들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예들은, 다양한 전자 디바이스들, 예컨대 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱 박스, 디지털 TV 수신기, 개인 비디오 기록 시스템, 커넥티드 가전, 및 서버를 포함하지만, 이들로 제한되지 않는다. 시스템(3)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로(IC), 다수의 IC들, 및/또는 별개의 컴포넌트들에서 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(3)은 역 톤 맵핑 방법을 구현하는 하나의 프로세싱 모듈(30)을 포함한다. 다양한 실시예들에서, 시스템(3)은, 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해, 하나 이상의 다른 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다.

프로세싱 모듈(30)에 대한 입력은 블록(32)에 나타낸 바와 같은 다양한 입력 모듈들을 통해 제공될 수 있다. 그러한 입력 모듈들은, (i) 예를 들어 브로드캐스터(broadcaster)에 의해 공중무선통신으로(over the air) 송신된 무선 주파수(radio frequency, RF) 신호를 수신하는 무선 주파수(RF) 모듈, (ii) 컴포넌트(COMP) 입력 모듈(또는 COMP 입력 모듈들의 세트), (iii) 범용 직렬 버스(Universal Serial Bus, USB) 입력 모듈, 및/또는 (iv) 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI) 입력 모듈을 포함하지만, 이들로 제한되지 않는다. 도 3에 도시되지 않은 다른 예들은 복합 비디오(composite video)를 포함한다.

다양한 실시예들에서, 블록(32)의 입력 모듈들은 당업계에 알려진 바와 같은 연관된 각자의 입력 프로세싱 요소들을 갖는다. 예를 들어, RF 모듈은, (i) 원하는 주파수를 선택하는 것(신호를 선택하는 것, 신호를 주파수들의 대역으로 대역-제한하는 것으로도 지칭됨), (ii) 선택된 신호를 하향변환(down converting)하는 것, (iii) (예를 들어) 소정 실시예들에서 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 주파수들의 더 좁은 대역으로 다시 대역-제한하는 것, (iv) 하향 변환되고 대역-제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 데이터 패킷들의 원하는 스트림을 선택하기 위해 역다중화하는 것에 적합한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 모듈은 이러한 기능들을 수행하기 위한 하나 이상의 요소들, 예를 들어 주파수 선택기들, 신호 선택기들, 대역-제한기들, 채널 선택기들, 필터들, 하향변환기들, 복조기들, 에러 정정기들, 및 역다중화기들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 기저대역 인근(near-baseband) 주파수)로 또는 기저대역으로 하향변환하는 것을 포함한, 다양한 이들 기능들을 수행하는 동조기를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 모듈 및 그의 연관된 입력 프로세싱 요소는 유선(예를 들어, 케이블) 매체를 통해 송신된 RF 신호를 수신하고, 원하는 주파수 대역에 대해 필터링, 하향변환, 및 다시 필터링함으로써 주파수 선택을 수행한다. 다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이들 요소들 중 일부를 제거하고/하거나 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소를 추가하는 것은, 예를 들어, 증폭기들 및 아날로그-디지털 변환기를 삽입하는 것과 같이, 기존 요소들 사이에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 모듈은 안테나를 포함한다.

또한, USB 및/또는 HDMI 모듈들은 시스템(3)을 USB 및/또는 HDMI 접속부들을 통해 다른 전자 디바이스들에 접속하기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세싱, 예를 들어, 리드 솔로몬(Reed-Solomon) 에러 정정의 다양한 태양들이, 예를 들어, 필요에 따라, 별개의 입력 프로세싱 IC 내에서 또는 프로세싱 모듈(30) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 프로세싱의 태양들이, 필요에 따라, 별개의 인터페이스 IC 내에서 또는 프로세싱 모듈(30) 내에서 구현될 수 있다. 복조된, 에러 정정된, 그리고 역다중화된 스트림이 프로세싱 모듈(30)에 제공된다.

시스템(3)의 다양한 요소들이 통합형 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들은 적합한 접속 배열들, 예를 들어, IC간(I2C) 버스, 배선, 및 인쇄 회로 보드들을 포함하는, 본 기술분야에 알려진 바와 같은 내부 버스를 사용하여 상호접속되고, 그들 사이에서 데이터를 송신할 수 있다. 예를 들어, 시스템(3)에서, 프로세싱 모듈(30)은 버스(305)에 의해 상기 시스템(3)의 다른 요소들에 상호접속된다.

프로세싱 모듈(30)의 통신 인터페이스(304)는 시스템(3)이 통신 채널(2) 상에서 통신할 수 있게 한다. 통신 채널(2)은, 예를 들어 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예들에서, Wi-Fi 네트워크, 예를 들어 IEEE 802.11(IEEE는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)를 지칭함)과 같은 무선 네트워크를 사용하여, 시스템(3)에 스트리밍되거나 또는 달리 제공된다. 이러한 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들에 대해 적응된 통신 채널(2) 및 통신 인터페이스(304)를 통해 수신된다. 이러한 실시예들의 통신 채널(3)은 전형적으로, 스트리밍 응용들 및 다른 OTT(over-the-top) 통신들을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 다른 실시예들은 입력 블록(32)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(3)에 제공한다. 또 다른 실시예들은 입력 블록(32)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(3)에 제공한다. 전술한 바와 같이, 다양한 실시예들은 비-스트리밍 방식으로 데이터를 제공한다. 또한, 다양한 실시예들은 Wi-Fi 이외의 무선 네트워크들, 예를 들어 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.

시스템(3)은 디스플레이(5), 스피커들(6), 및 다른 주변 디바이스들(7)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다양한 실시예들의 디스플레이(5)는, 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 커브드(curved) 디스플레이, 및/또는 폴더블(foldable) 디스플레이 중 하나 이상을 포함한다. 디스플레이(5)는 텔레비전, 태블릿, 랩톱, 휴대폰(모바일 폰), 또는 다른 디바이스들을 위한 것일 수 있다. 디스플레이(5)는 또한, (예를 들어, 스마트 폰에서와 같이) 다른 컴포넌트들과 통합될 수도 있거나, 또는 별개일 수 있다(예를 들어, 랩톱을 위한 외부 모니터). 디스플레이 디바이스(5)는 HDR 콘텐츠 호환가능하다. 실시예들의 다양한 예들에서, 다른 주변 디바이스들(7)은 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(두 용어들 모두에 대해, DVR), 디스크 플레이어, 스테레오 시스템, 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예들은 시스템(3)의 출력에 기초하여 기능을 제공하는 하나 이상의 주변 디바이스들(7)을 사용한다. 예를 들어, 디스크 플레이어는 시스템(3)의 출력을 재생하는 기능을 수행한다.

다양한 실시예들에서, 제어 신호들은, AV.Link, 소비자 전자제품 제어(Consumer Electronics Control, CEC)와 같은 시그널링, 또는 사용자 개입이 있거나 또는 개입 없이 디바이스 대 디바이스 제어를 가능하게 하는 다른 통신 프로토콜들을 사용하여 시스템(3)과 디스플레이(5), 스피커들(6), 또는 다른 주변 디바이스들(7) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(33, 34, 35)을 통한 전용 접속들을 통해 시스템(3)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(304)를 통해 통신 채널(2)을 사용하여 시스템(3)에 접속될 수 있다. 디스플레이(5) 및 스피커들(6)은 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(3)의 다른 컴포넌트들과 단일 유닛으로 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(5)는, 예를 들어 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.

디스플레이(5) 및 스피커(6)는 대안적으로, 예를 들어, 입력(32)의 RF 모듈이 별개의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상과 별개일 수 있다. 디스플레이(5) 및 스피커들(6)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는, 예를 들어 HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.

다양한 구현예들은 역 톤 맵핑 방법을 적용하는 것을 수반한다. 본 출원에서 사용되는 바와 같은 역 톤 맵핑은, 예를 들어 디스플레이에 적합한 최종 HDR 출력을 생성하기 위해 수신된 SDR 이미지 또는 비디오 스트림에 대해 수행되는 프로세스들의 전부 또는 일부를 포괄할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은, 이미지 또는 비디오 디코더, 예를 들어, JPEG 디코더, 또는 (JVET(Joint Video Experts Team)로서 알려진 ITU-T 및 ISO/IEC 전문가들의 공동 협력 팀에 의한 개발 하의) H.264/AVC(ISO/IEC 14496-10 - MPEG-4 Part 10, Advanced Video Coding), H.265/HEVC(ISO/IEC 23008-2 - MPEG-H Part 2, High Efficiency Video Coding / ITU-T H.265) 또는/및 H.266/VVC(Versatile Video Coding) 디코더에 의해 전형적으로 수행되는 프로세스들 중 하나 이상을 포함한다.

도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한 대응하는 방법/프로세스의 흐름도를 제공한다는 것을 이해해야 한다.

본 명세서에 기술된 구현예들 및 태양들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. 구현예의 단일 형태의 맥락에서 논의된다 하더라도(예를 들어, 방법으로서만 논의됨), 논의된 특징들의 구현예는 다른 형태들(예를 들어, 장치 또는 프로그램)에서 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 프로세서에서 구현될 수 있으며, 이는, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들을 지칭한다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 휴대폰들, 휴대용/개인 디지털 어시스턴트들("PDA들"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

"하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예"뿐만 아니라 그의 다른 변형들에 대한 언급은, 실시예와 관련하여 기술된 특정 특징부, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 출원 전반에 걸친 다양한 곳에서 나타나는 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현예에서"라는 문구뿐만 아니라 임의의 다른 변형예들의 출현들은 반드시 모두 동일한 실시예를 참조하는 것은 아니다.

또한, 본 출원은 다양한 정보들을 "결정하는 것"을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 메모리로부터 정보를 검색하는 것, 또는 예를 들어 다른 디바이스, 모듈, 또는 사용자로부터 정보는 획득하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보들에 "액세스하는 것"을 지칭할 수 있다. 정보에 액세스하는 것은, 예를 들어 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동하는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보들을 "수신하는 것"을 지칭할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 전형적으로, 예를 들어 정보를 저장하는 동작, 정보를 프로세싱하는 동작, 정보를 전송하는 동작, 정보를 이동하는 동작, 정보를 복사하는 동작, 정보를 소거하는 동작, 정보를 계산하는 동작, 정보를 결정하는 동작, 정보를 예측하는 동작, 또는 정보를 추정하는 동작 동안 어떤 방식으로든 수반된다.

다음의 "/", "및/또는", 및 "중 적어도 하나", "중 하나 이상" 중 임의의 것의 사용은, 예를 들어 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나", "A 및 B 중 하나 이상"의 경우들에 있어서, 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 옵션들(A, B) 둘 모두의 선택을 포괄하도록 의도된다는 것이 이해될 것이다. 또 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나", "A, B 및 C 중 하나 이상"의 경우들에서, 그러한 어구는 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 제3 열거된 옵션(C) 단독의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B) 단독의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C) 단독의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C) 단독의 선택, 또는 3개의 모든 옵션들(A, B 및 C)의 선택을 포괄하도록 의도된다. 이는, 본 명세서에 기술된 바와 같은 많은 항목들에 대해, 본 명세서 및 관련 분야의 당업자에게 명백한 바와 같이 확장될 수 있다.

당업자에게 명백한 바와 같이, 구현예들 또는 실시예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 예를 들어, 정보는 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 또는 실시예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 HDR 이미지 또는 비디오 시퀀스를 전달하도록 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 인코딩된 스트림 내의 HDR 이미지 또는 비디오 시퀀스를 인코딩하고 인코딩된 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

도 4는 역 톤 맵핑의 방법의 다양한 제1 실시예들의 하이-레벨 표현을 개략적으로 도시한다. 도 4의 실시예들의 목적은 확산 백색 제약을 중요시하는 것이다.

도 4에서, 역 톤 맵핑 방법은 프로세싱 모듈(30)에 의해 실행된다.

단계(40)에서, 프로세싱 모듈(30)은 현재 입력 SDR 이미지를 획득한다. 현재 입력 SDR 이미지는 정지 이미지 또는 비디오 시퀀스의 이미지 중 어느 하나이다. 하기에서는, 현재 입력 SDR 이미지에 대해 이득 함수 G()(수학식 2 및 수학식 3에 도시된 바와 같음)가 정의되었다고 가정된다. 하기의 실시예들 중 적어도 하나의 실시예의 목표는, 이러한 이득 함수 G()에 대응하는 이득 곡선

를 수정하여(또는 동등하게는, 이득 함수 G()를 수정함), 이를 확산 백색 제약에 적응시키는 것이다.

단계(41)에서, 프로세싱 모듈(30)은 현재 입력 SDR 이미지를 나타내는 히스토그램을 계산한다(예를 들어, 히스토그램은 현재 입력 SDR 이미지에 대해 또는 현재 입력 SDR 이미지의 필터링된 버전에 대해 직접 계산됨). 현재 입력 SDR 이미지의 히스토그램은 하기에서 로브(lobe)들로 불리는 밝은 관심 영역들을 식별하는 데 사용된다. 현재 입력 SDR 이미지는 감마화(gammatize)(비선형)된 것으로 가정된다.

일 실시예에서, 히스토그램은 빈(bin)들의 개수 nbOfBins를 포함하며, nbOfBins는 정수, 예를 들어 "64"의 배수이다. 예를 들어, nbOfBins=256이다.

일례로서, 문서의 나머지 부분에서, ITMO의 타깃 LMax(즉, 타깃 최고 휘도 값)는 "1000" 니트이고, 현재 입력 SDR 이미지는 "10" 비트 이미지인 것으로 가정되며, 이때 값 "1023"은 100 니트에 대응한다. "10"개의 비트들이 방법을 예시하기 위해 선택되었지만, "8" 비트 이미지들이 사용되는 경우, "4"만큼 간단한 스케일링이 적용되어야 한다는 것에 주목한다.

그 경우, ITMO 함수는 하기와 같이 기록될 수 있다:

(수학식 4)

여기서

은 현재 입력 SDR 이미지의 휘도 값이고,

은 출력 HDR 이미지의 휘도 값이다. 휘도 값

은, 그의 비트들의 개수가 무엇이든, 범위 [0; 255]에서 정규화된다. 동일한 방식으로, LMax가 "1000" 니트인 경우, 휘도 값

은, 그의 비트들의 개수가 무엇이든, 범위 [0; 1000]에서 정규화된다.

및

둘 모두는 감마화되고,

및

둘 모두는 선형인데, 예컨대:

단계(42)에서, 프로세싱 모듈(30)은 이득 함수 G()를 획득한다. 일단 획득되면, 이득 함수 G()는 수학식 4의 ITMO 함수로부터 ITM 곡선을 획득하는 것을 허용한다.

도 9a, 도 9b 및 도 9c는 수학식 4로 획득된 "1000" 니트 디스플레이를 타깃화하는 ITM 곡선들의 3개의 예들을 나타낸다. SDR 입력은 범위 [0...255] 내에 있고(이는, 그것이 "8" 비트 이미지가 아닌 경우에 그것이 범위 [0;255]에서 정규화되어야 한다는 것을 의미함), 출력은 범위 [0;1000] 내에 있다. 도 9a의 곡선은 최대 입력 값 "255"("100" 니트 SDR에 대응함)가, 선형화될 때 "1000" 니트인 "1000"과 동일한 출력을 생성함을 보여준다. 도 9b의 곡선은 최대 값이 약 "700"임을 보여주고 - 이는 선형화될 때, "425" 니트에 대응함 -, 도 9c의 곡선은 최대 값이 약 "1200"임을 보여준다 - 이는 선형화될 때, "1550" 니트에 대응함 -.

도 9a, 도 9b 및 도 9c로부터, SDR 이미지가 백색 이미지인 경우(SDR 이미지가 "10" 비트 이미지이면 모든 픽셀들의 휘도 값은 "1023"임), 도 9a에 대응하는 HDR 이미지의 MaxFall은 "1000" 니트이고, 도 9b에 대응하는 HDR 이미지의 MaxFall은 "425" 니트이고, 도 9c에 대응하는 HDR 이미지의 MaxFall은 "1550" 니트라는 것에 주목할 수 있다.

단계(43)에서, 프로세싱 모듈(30)은 역 톤 맵핑 방법에 의해 생성된 출력 HDR 이미지에서 로브들(즉, 밝은 관심 영역들)을 생성하는 현재 입력 SDR 이미지의 영역들을 식별하도록 의도된 검색 프로세스를 적용한다.

출력 HDR 이미지에서의 많은 양의 광이, 휘도 값이 중간(예를 들어, 최대 입력 휘도 "255"에 대해 "180")인 현재 입력 SDR 이미지의 많은 양의 입력 픽셀들 또는 휘도가 높은(즉, 약 "250") 더 적은 양의 입력 픽셀들에 의해 생성될 수 있다는 것을 관찰할 수 있다. 예를 들어(LMax = "1000" 니트를 사용함), 입력 휘도가 무엇이든, 이득 함수 G() = 1.25를 가정하는 경우:

(180) = 368 니트이고;

(255) = 1046 니트이다.

이어서, "255"에 중심을 둔 영역은, "180"에 중심을 두지만 픽셀들의 수가 거의 3배 더 큰(실제로, 1046 = 2.8 * 368) 영역과 동일한 양의 광을 생성할 것이다. 이는, 방법이 출력 HDR 이미지 내의 로브들 및 또한 히스토그램 내의 픽셀들의 로브들(또는 집단 로브들)을 검색해야 한다는 것을 의미한다.

단계(43)는 도 5와 관련하여 하기에서 상술된다.

단계(400)에서, 프로세싱 모듈은 확산 백색 제약이 중요시되는지의 여부를 결정한다. 단계(400)는 하위 단계들(44, 45, 46)을 포함한다.

단계(44)에서, 프로세싱 모듈(30)은 현재 입력 SDR 이미지의 식별된 영역들 중 적어도 하나의 영역을 나타내는 휘도 값 YposDW를 계산한다. 단계(44)의 일 실시예는 도 6과 관련하여 하기에서 상술된다.

단계(45)에서, 프로세싱 모듈(30)은 휘도 값 YposDW에 대한 확장된 휘도 값 YexpDW을 계산한다. 단계(45)는 도 7과 관련하여 하기에서 상술된다.

단계(46)에서, 프로세싱 모듈은 확장된 휘도 값 YexpDW를 사용하여, 확산 백색 제약이 중요시되는지의 여부를 결정한다. 그렇게 하기 위해, 확장된 휘도 값 YexpDW는 확산 백색 제약 값 DWTarget과 비교된다. 확산 백색 제약 값 DWTarget은, 예를 들어, 현재 입력 SDR 이미지에 대응하는 HDR 이미지를 디스플레이하도록 의도된 디스플레이 디바이스에 의존하는, 그리고/또는 상기 HDR 이미지가 디스플레이되는 룸 내의 주변 광의, 그리고/또는 디스플레이된 HDR 이미지가 의도되는 사용자에 의해 주어진 파라미터의 미리정의된 값이다.

확장된 휘도 값 DWTarget이 확산 백색 제약 값 DWTarget 이하인 경우, 이득 함수 G()에 대응하는 이득 곡선(또는 동등하게는, 이득 함수 G())은 수정되지 않고, 수학식 4의 ITMO 함수는 단계(47)에서 출력 HDR 이미지를 생성하는 데 사용된다. 이와 달리, 확장된 휘도 값 YexpDW가 확산 백색 제약 값 DWTarget보다 더 높은 경우, 수정된 이득 곡선

(즉, 이득 함수 G()로 획득된 이득 곡선

의 수정된 버전 또는 동등하게는, 수정된 이득 함수 G'()로 획득된 수정된 이득 곡선

)이 정의되고, 수학식 4의 ITMO 함수로 획득된 휘도 값들

은 단계(48)에서 출력 HDR 이미지를 생성하기 위해 상기 수정된 이득 곡선

을 사용하여 수정된다. 단계(48)는 도 8과 관련하여 하기에서 상술된다.

도 5는 역 톤 맵핑의 방법의 단계(43)의 상세한 실시예를 개략적으로 도시한다.

단계(4300)에서, 프로세싱 모듈은 히스토그램의 각각의 대역의 기여도(하기에서 기여(contrib) 또는 에너지로도 불림)를 계산한다. 대역은 히스토그램의 연속적인 빈들의 그룹이다. "256"개의 빈들을 포함하는 히스토그램의 예에서, 각각의 대역은 4개의 빈들을 포함하고, 따라서, 히스토그램은 동일한 크기들의 "64"개의 대역들로 분할된다. 현재 입력 SDR 이미지가 "10"개의 비트들로 코딩되는 경우, 각각의 빈은 4개의 휘도 값들

을 포함한다. 히스토그램의 제1 대역은 "0" 내지 "15"의 입력 휘도 값들

을 수집하고, 제 32 대역은 "496" 내지 "511"의 입력 휘도 값들

을 수집하고, 제 64 대역은 "1008" 내지 "1023"의 입력 휘도 값들

을 수집한다. 대역의 기여도는 상기 기여에 대응하는 픽셀들에 의해 방출되는, 수학식 4의 ITMO 함수의 적용 후의 광 에너지, 즉, 상기 대역에 의해 나타난 픽셀들에 의해 방출된 에너지를 나타낸다. 이어서, 제n 기여는 하기와 같이 정의된다:

(수학식 5)

이때 n은 "0" 내지 "63"에서 변하고, 반면:

i는

내지

에서 변하는 정수이다.

A = (Ymax + 1) / (nbOfBins), Ymax는 입력 이미지의 최대 가능한 코드 값이고;

j는 범위 [A * i; A * (i+1) - 1] 내에 있고;

nbOfBins는 히스토그램의 빈들의 개수(본 예에서는, = 256)이다.

은 수학식 4로 계산된 출력 휘도 값

의 선형화된 버전이다.

, 여기서 k는 0 내지 nbOfBins -1에서 변하는 정수 변수이다. sumOfBins는 히스토그램이 계산된 픽셀들의 총 개수를 나타낸다.

입력이 "8"개의 비트들로 인코딩되는 경우, 상기의 수학식 5는 하기와 같이 단순화될 수 있다:

(수학식 5')

이때 n은 "0" 내지 "63"에서 변한다.

단계(4300)의 변형에서, 예를 들어 2개 중 하나의 대역 또는 3개 중 하나의 대역에 대해, 히스토그램의 대역들의 서브세트에 대해서만 기여도들이 계산된다.

단계(4301)에서, 프로세싱 모듈(30)은 각각의 기여도에 대한 집단(contribPop)을 계산한다:

(수학식 6)

여기서 i는

내지

에서 변하는 정수 변수이다.

단계(4302)에서, 프로세싱 모듈(30)은 기여도들의 세트에서 높은 에너지의 영역들을 나타내는 국부적 최대치들을 식별한다. 대역 n의 기여도 contrib[n]은 그의 값이 그의 2개의 이웃 대역들(즉, 대체적으로, 대역 n-1 및 대역 n+1)의 기여도들의 값보다 더 큰 경우에 국부적 최대치로서 간주된다. 다시 말해, 기여도 contrib[n]은 하기의 경우에 국부적 최대치이다:

contrib[n]> contrib[n-1] 및 contrib[n]>contrib[n+1]

최고 랭크의 기여도(여기서, contrib[63])에 대해, 조건은 contrib[63]>contrib[62]임에 주목한다. 하기에서, 국부적 최대치를 나타내는 기여도들에 해당하는 대역들은 후보들로 불린다.

단계(4303)에서, 프로세싱 모듈(30)은 집적 프로세스를 후보들에 적용한다. 집적 프로세스 동안, 각각의 후보에 대응하는 대역은 좌측에서 LN개의 이웃 대역들의 최대치 및 우측에서 RN개의 이웃 대역들의 최대치로 하기와 같이 집적된다(이는 LN+RN+1의 총 최대 폭을 만듦):

좌측에서 LN개의 이웃 대역들에 대해, 프로세싱 모듈(30)은 하기를 충족시키는 [1; LN] 내의 최소 ln 값을 검색한다:

o contrib [n- ln ] > 0.2 × contrib [n]; 및

o contrib [n- ln ] < 1.025 × contrib [n- ln +1].

어느 것도 발견되지 않는 경우, ln = 0이다.

유사하게, 우측에서 RN개의 이웃 대역들에 대해, 프로세싱 모듈(30)은 하기를 충족시키는 [1; RN] 내의 최소 rn 값을 검색한다:

o contrib [n+rn] > 0.2 × contrib [n]; 및

o contrib [n+rn] < 1.025 × contrib [n+rn-1].

이때 ln+rn ≤ 63. 어느 것도 발견되지 않는 경우, rn = 0이다.

n-ln과 n+rn 사이에서 집적이 이루어진다.

일 실시예에서, LN=RN=5이다.

후보 주위의 대역들의 집적은, 넓은 밝은 영역들(하늘의 구름들, 책의 페이지의 클로즈업, 깨끗한 의복을 갖춘 캐릭터들, 흰색 동물들 등으로서)이 균일하게 백색인 것이 아니라, 대체적으로, 소정 폭을 갖는 로브를 특징으로 할 수 있는 중간 값 근처에서 약간의 분산을 나타낸다는 사실이 동기가 된다.

값들 "0.2" 및 "1.025"는 예들이고, 다른 가까운 값들로 변경될 수 있다는 점에 주목한다.

단계(4304)에서, 프로세싱 모듈(30)은 이러한 후보를 나타내는 각각의 후보 정보를 저장한다. 일 실시예에서, 상기 저장된 정보는 히스토그램 내의 집적된 대역들의 최저 및 최고 포지션들뿐만 아니라, 후보의 에너지로 명명된 상기 집적된 대역들의 기여도의 합을 포함한다.

단계(4305)에서, 프로세싱 모듈(30)은 기여도들(단계(4301)에서 계산됨)에 연관된 집단들 contribPop에서 국부적 최대치를 검색한다. 집단 contribPop[n]는 그것이 하기의 조건들을 중요시하는 경우에 국부적 최대치이다:

contribPop[n]> contribPop[n-1] 및 contribPop[n]>contribPop[n+1]

최고 랭크의 집단(여기서, contribPop[63])에 대해, 조건은 contribPop[63]>contribPop[62]임에 주목한다.

단계(4306)에서, 프로세싱 모듈(30)은 집단들 contribPop에서 식별된 국부적 최대치들에 대응하는 대역들(candidatePop로 불림)에 집적 프로세스를 적용한다. candidatePop에 대해 단계(4306) 동안 적용된 집적 프로세스는 후보들에 대해 단계(4303) 동안 적용된 집적 프로세스와 동일하다.

단계(4307)에서, 프로세싱 모듈(30)은 적어도 하나의 집적된 후보 집단들 candidatePop이 임의의 식별된 집적된 후보와 독립적인지의 여부를 검증한다. 독립적이라는 것은, 이러한 집적된 후보 집단이 임의의 식별된 집적된 후보와 어떠한 기여도 포지션도 공유하지 않는다는 것을 의미한다.

적어도 하나의 독립적인 집적된 후보 집단들 candidatePop이 존재하는 경우, 단계(4308)에서, 프로세싱 모듈(30)은 각각의 독립적인 집적된 후보 집단 candidatePop이 집적된 후보임을 특정함으로써 집적된 후보 식별을 완료하는데, 즉, 각각의 독립적인 집적된 후보 집단에 대해, 프로세싱 모듈(30)은 상기 독립적인 집적된 후보 집단으로부터 집적된 후보를 생성한다. 이는, 에너지가 더 높은 휘도 값의 측면에서 더 멀리 위치된 에너지의 최대치에 이르기까지 약간씩 증가하고 있을 때 발생할 수 있다. 그럼에도 불구하고, 이러한 영역은, 후보 집단 candidatePop을 둘러싸고 잠재적으로 다량의 에너지를 나타내는 다수의 픽셀들을 내장할 수 있다.

단계(4309)에서, 일단 모든 집적된 후보들이 식별되었다면, 프로세싱 모듈(30)은 식별된 집적된 후보들로부터 최고 에너지를 갖는 개수 N_cand개의 집적된 후보들을 선택한다. 다시 말해, 단계(4309)에서, 프로세싱 모듈은 대부분의 광 에너지를 방출하는 픽셀들을 포함하는 N_cand개의 집적된 후보들을 선택한다. 일 실시예에서, 개수 N_cand = 5이다. N_cand개의 선택된 집적된 후보들 각각에 대해, 프로세싱 모듈(30)은, 예를 들어 하기를 포함하는, 이러한 선택된 집적된 후보를 나타내는 정보를 저장한다:

loPos로 명명된, 집적된 후보의 최저 포지션(즉, 상기에서 정의된 값 n-nr에 대응함);

hiPos로 명명된, 집적된 후보의 최고 포지션(즉, 상기에서 정의된 값 n+h에 대응함);

maxEnergyPos로 명명된, 집적된 후보의 중심 포지션, 즉, 후보 자체의 포지션(즉, 상기에서 정의된 바와 같은 값 n);

에너지로 명명된, 집적된 후보의 에너지를 나타내는 정보(즉, 집적 후보에서 모든 기여도의 합);

population로 명명된, 집적된 후보의 집단(즉, sumOfBins로 나눈 포지션 loPos로부터 포지션 hiPos까지의 집적된 후보에 포함된 히스토그램의 모든 빈들의 합).

단계(4310)에서, 프로세싱 모듈(30)은 N_cand개의 선택된 집적된 후보들의 세트에서 최대 집단을 갖는 N_cand_Max_Pop (N_cand_Max_Pop >1 및 N_cand_Max_Pop < N_cand)개의 집적된 후보들을 선택한다.

일 실시예에서, N_cand_Max_Pop=2이다. 그 경우, 단계(4310)에서 선택된 2개의 집적된 후보들(하기에서, CP1 및 CP2로 표시됨)이 중첩되는 경우, 즉:

maxEnergyPos[CP1] > maxEnergyPos[CP2]이면, loPos[CP1] < hiPos[CP2]인 경우; 또는,

maxEnergyPos[CP1] < maxEnergyPos[CP2]이면, loPos[CP2] < hiPos[CP1]인 경우;

2개의 집적된 후보들이 병합되고(즉, 에너지 및 집단이 병합되고), 프로세싱 모듈(30)은 N_cand개의 선택된 집적된 후보들에서 제3 집단을 갖는 집적된 후보를 선택한다.

알 수 있는 바와 같이, 프로세싱 모듈(30)은, 도 5의 프로세스를 적용할 때, 에너지의 관점에서 N_cand개의 최대 영역들 중 집단(즉, 픽셀들의 개수)의 관점에서 N_cand_Max_Pop개의 최대 영역들을 선택한다: 이는 출력 HDR 이미지에서 다량의 광이 다량의 입력 픽셀들에 의해 생성될 수 있다는 상기의 아이디어를 따른다. 에너지의 관점에서 N_cand개의 제1 집적된 후보들을 찾음으로써, 프로세싱 모듈(30)은 N_cand개의 메인 로브들을 획득하고, 이어서, 최대 개수의 픽셀들을 수집하는 N_cand_Max_Pop개의 것들을 선택한다. N_cand개의 제1 에너지 로브들뿐만 아니라 N_cand_Max_Pop개의 제1 집단들은 작을 수 있고(그리고 심지어 존재하지 않을 수 있음): 그것은 입력 이미지가 어두운 것인 경우일 것임에 주목한다.

하기에서 기술되는 바와 같이, N_cand_Max_Pop개의 집적된 후보들은 이득 함수 G()를 갖는 ITMO 함수가 현재 입력 SDR 이미지에 적용되는 경우에 확산 백색 제약이 출력 HDR 이미지에 의해 중요시되지 않을 위험이 있는지의 여부를 결정하는 데 사용된다. 따라서, 출력 HDR 이미지가 미리정의된 광 에너지 제약(확산 백색)을 중요시함을 보장하기 위해, 언제 이득 함수 G()(또는 동등하게는, 이득 함수를 사용하여 획득된 이득 곡선

)를 수정할지를 결정하는 데 N_ cand _Max_ Pop개의 집적된 후보들이 사용된다.

도 6은 역 톤 맵핑의 방법의 단계(44)의 상세한 실시예를 개략적으로 도시한다.

단계(4400)에서, 프로세싱 모듈(30)은 최대 집단을 갖는 선택된 N_cand_Max_Pop개의 후보들을 나타내는 휘도 값 YposDW를 결정한다.

N_cand_Max_Pop=2일 때, 프로세싱 모듈(30)은 휘도 값 YposDW를 결정하기 위해 하기의 알고리즘을 적용한다:

(히스토그램이 동일한 크기의 "64"개의 연속적인 대역들 및 "256"개의 빈들을 포함하는 이전 예에서 4개의 빈들을 포함하는) CP1의 포지션 maxEnergyPos에 대응하는 대역에서, 히스토그램 내의 빈이 최고이고 이러한 입력 휘도 값을 firstPopY로 명명하는 입력 휘도 값

을 검색하는 것.

CP2의 포지션 maxEnergyPos에 대응하는 대역에서, 히스토그램 내의 빈이 최고이고 입력 휘도 값을 secondPopY로 명명하는 입력 휘도 값

을 검색하는 것.

휘도 값 YposDW를 하기와 같이 결정하는 것:

(수학식 7)

여기서

o

;

o

;

o

;

따라서, 휘도 값 YposDW는 최고 에너지를 갖는 것들 중 픽셀들의 2개의 최대 영역들 사이의 어딘가에 위치된다.

단계(4400)의 상기의 실시예에서, 파라미터 EnByPopCoef(및 따라서 휘도 값 YposDW)는 N_cand_Max_Pop(=2)개의 후보들의 집단과 에너지의 곱의 제곱근에 의존한다. 상기의 수학식 7에서, 집단 및 에너지는 동일한 가중치를 갖는다.

단계(4400)의 다른 실시예에서, 더 많은 가중치가 하기와 같이 집단에 제공된다:

;

단계(4400)의 다른 실시예에서, 더 많은 가중치가 하기와 같이 에너지에 제공된다:

;

N_cand_Max_Pop=1일 때, 즉, 최대 집단을 갖는 단 하나의 후보들 CP1이 N_cand개의 선택된 후보들의 세트에서 결정될 때, 프로세싱 모듈(30)은 휘도 값 YposDW를 결정하기 위해 하기의 알고리즘을 적용한다:

CP1의 포지션 maxEnergyPos에 대응하는 대역에서, 히스토그램 내의 빈이 최고이고 이러한 입력 휘도 값을 firstPopY로 명명하는 입력 휘도 값

을 검색하는 것.

휘도 값 YposDW를 하기와 같이 결정하는 것:

(수학식 7bis)

선택적으로(예를 들어, 비디오 시퀀스로부터 추출된 현재 입력 SDR 이미지들에 적응된 일 실시예에서), 단계(4401)에서, 프로세싱 모듈(30)은 시간 필터를 휘도 값 YposDW에 적용한다. 선택적 단계(4401)의 목적은 2개의 연속적인 HDR 이미지들 사이에서 작은 휘도 변화들(또는 진동들)을 감쇠(또는 심지어 상쇄)시키는 것이다. 시간 필터링 프로세스는, 현재 입력 SDR 이미지에 선행하는 이미지들에 대해 계산하고 recursiveYposDW로 표시되는, 휘도 값 YposDW와 휘도 값들 YposDW를 나타내는 휘도 값 사이의 가중된 평균을 계산하는 것에 있다. 휘도 값들 YposDW 및 recursiveYposDW는 하기와 같이 계산된다:

recursiveYposDW = DWFeedBack × recursiveYposDW + (1 - DWFeedBack) × YposDW; (수학식 8)

YposDW = recursiveYposDW;

여기서 DWFeedBack은 범위 [0;1] 내의 가중치이다. 일 실시예에서, DWFeedBack= 0.9이다. 다른 실시예에서, DWFeedBack은 비디오 시퀀스의 프레임 속도에 의존한다. 프레임 속도가 높을수록, 가중치 DWFeedBack가 더 높다. 예를 들어, 초당 "25"개의 이미지들(Im/s)의 프레임 속도의 경우에, DWFeedBack = 0.95인 한편,"100" Im/s의 프레임 속도의 경우에, DWFeedBack = 0.975이다.

현재 입력 SDR 이미지가 장면 컷(즉, 현재 입력 SDR 이미지에 선행하는 이미지들을 갖는 콘텐츠의 관점에서 균질하지 않은 비디오 시퀀스의 일부)에 대응하는 경우에 필터링이 적용되지 않음에 주목한다.

단계(4400)(또는 적용되는 경우, 단계(4401))에서 획득된 휘도 값 YposDW이 범위 [0;255] 내의 부동 소수점 수이고, 현재 입력 SDR 이미지의 비트들의 개수로 쉽게 스케일링될 수 있음에 주목한다:

YposDW = YposDW × (Ymax / 255)

여기서 입력 비디오의

는 n개의 비트들에 코딩된다(즉, n=10인 경우, Ymax =1023임).

도 7은 역 톤 맵핑의 방법의 단계(45)의 세부사항을 개략적으로 도시한다.

단계(4500)에서, 프로세싱 모듈(30)은 휘도 값 YposDW에 대응하는 확장된 값

을 하기와 같이 계산하고:

단계(4501)에서, 획득된 값에 선형화를 적용한다:

도 8은 역 톤 맵핑의 방법의 단계(48)의 세부사항을 개략적으로 도시한다. 리마인더로서, 단계(48)는, 프로세싱 모듈이 단계(46)에서, 이득 함수 G()를 사용하여 현재 입력 SDR 이미지에 적용된 역 톤 맵핑이 너무 밝은 영역들을 포함하는 출력 HDR 이미지를 생성할 위험이 있다고 결정했을 때 실행된다. 단계(48)의 목적은 HDR 이미지의 그러한 영역들의 밝기를 감소시키는 것이다.

단계(4800)에서, 프로세싱 모듈(30)은 최대 집단을 갖는 선택된 N_cand_Max_Pop개의 후보들의 집단 DWpopulation을 결정한다.

N_ cand _Max_Pop=2일 때, DWpopulation = population(CP1) + population(CP2)(수학식 10)이다.

N_ cand _Max_Pop=1일 때, DWpopulation = population(CP1)(수학식 10bis)이다.

더 많은 DWpopulation이 높을수록, YexpDW가 DWTarget에 더 많이 가까워야 한다. 예를 들어, 크기가 이미지 크기의 "1%"인 하늘의 밝은 태양은 무시되어야 하지만(실제로, 그 경우, 예를 들어, 비디오를 시청하는 사용자를 현혹시킬 위험이 없음), 크기가 이미지 크기의 "60%"인 밝은 아이스링크는 DWTarget 상에서 로킹될 수 있다.

이어서, 2개의 파라미터들이 도입된다:

파라미터 loThresholdPop: DWpopulation < loThresholdPop인 경우, YposDW에서의 이득은 그대로 유지된다. 이는, DWpopulation이 픽셀들의 총 개수의 loThresholdPop% 미만을 나타내는 경우, 이득 곡선

(또는 동등하게는, 이득 함수 G())이 수정되지 않고, 단계(47)가 적용된다. 일 실시예에서, loThresholdPop는 미리정의된 값이다. 예를 들어, loThresholdPop=5%이다.

범위 [0…1] 내의 파라미터 DWsensitivity: DWsensitivity는 다른 임계치 hiThresholdPop를 정의하는데, 그 이상에서 휘도 값 YposDW에서의 이득 곡선

(또는, 동등하게는, 이득 함수 G())은 YexpDW = DWTarget를 갖기 위해 수정된다.

변수들 loThresholdPop 및 DWsensitivity는 변수 modDWpopulation을 계산하는 데 사용된다:

modDWpopulation = (DWpopulation - loThresholdPop) / (0.65 - 0.4 × DWsensitivity) (수학식 11)

이때 modDWpopulation은 범위 [0;1]로 제한된다.

알 수 있는 바와 같이, DWpopulation < loThresholdPop인 경우, modDWpopulation = 0이다. 결과적으로, modDwpopulation = 0은 현재 입력 SDR 이미지로부터 HDR 이미지를 획득하기 위해 이득 곡선

(또는 동등하게는, 이득 함수 G())을 수정할 필요가 없음을 나타낸다.

DWsensitivity에 관해:

DWsensitivity = 0은 hiThresholdPop = 0.7을 유도하고: DWpopulation은, 최종적으로 YexpDW = DWTarget를 갖기 위해 이미지의 픽셀들의 적어도 70%를 나타내야 한다. 그 경우, 역 톤 맵핑 방법 및 특히 이득 곡선(또는 동등하게는, 이득 함수 G())을 수정하는 프로세스는 DWpopulation에 대한 낮은 반응성을 갖는다.

DWsensitivity = 0.5는 hiThresholdPop = 0.5를 유도한다. DWpopulation은, 최종적으로 YexpDW = DWTarget을 갖기 위해 이미지의 픽셀들의 적어도 50%를 나타내야 한다.

DWsensitivity = 1은 hiThresholdPop = 0.3을 유도한다. DWpopulation은, 최종적으로 YexpDW = DWTarget을 갖기 위해 이미지의 픽셀들의 적어도 30%를 나타내야 한다. 그 경우, 역 톤 맵핑 방법 및 특히 이득 곡선

(또는 동등하게는, 이득 함수 G())을 수정하는 프로세스는 DWpopulation에 대해 매우 반응이 빠르다.

단계(4801)에서, 프로세싱 모듈(30)은 변수 modDWpopulation으로부터 변수 DWrate를 도출한다:

, 이때

. (수학식 12)

단계(4802)에서, 프로세싱 모듈(30)은 값 YexpDWTarget을 하기와 같이 결정한다:

YexpDWTarget = DWrate * DWTarget + (1 - DWrate) * YexpDW (수학식 13)

여기서 YexpDWTarget 및 YexpDW는 선형 값들이다.

결과적으로, DWpopulation이 더 높을수록, 휘도 값 YposDW의 확장된 값이 확산 백색 타깃 DWtarget에 더 많이 가깝다.

N_cand_Max_Pop=2일 때, CP1의 집단이 CP2의 집단보다 훨씬 더 높은 경우, 휘도 값 YposDW은 포지션 firstPopY에 더 가깝고, 로브 CP1 내부의 픽셀들은 로브 CP1의 크기에 따라 확산 백색 타깃 DWtarget에 더 가까운 그들의 HDR 값을 갖는다.

알 수 있는 바와 같이,

DWrate = 0인 경우, YexpDWTarget은 휘도 값 YexpDW과 동일한데, 이는 이득 곡선

(또는 동등하게는, 이득 함수 G())이 수정될 필요가 없음을 의미한다. 그 경우, 단계(47)는 프로세싱 모듈(30)에 의해 실행된다.

DWrate = 1인 경우, YexpDWTarget은 확산 백색 타깃 DWTarget과 동일한데, 이는 이득 곡선

(또는 동등하게는, 이득 함수 G())이 휘도 값 YposDW에 대한 DWTarget를 획득하기 위해 수정되어야 함을 의미한다.

단계(4803)에서, 프로세싱 모듈(30)은 값 YexpDWTarget을 감마화된 값으로 변환한다:

단계(4804)에서, 프로세싱 모듈은 휘도 값 YposDW에 대응하는 이득 gainAtDWTarget을 계산한다:

gainAtDWTarget = log(YexpDWTarget') / log(255 / Ymax × YposDW)(수학식 14)

단계(4805)에서, 프로세싱 모듈은 전체로서 이득 함수 G()로 획득된 이득 곡선

를 수정하여 새로운 이득 곡선

을 획득한다. 단계(4805)의 여러 변형들이 가능하다:

1. 높은 입력 휘도 값들에서만 이득 곡선

을 수정하면서,

곡선(수학식 4로 획득됨)이 단조로움을 보장하는 것. 이러한 실시예는, 그럼에도 불구하고, 많은 높은 입력 휘도 값들이 동일한 출력 휘도 값을 취하는 경우,

곡선의 높은 휘도 값들에 일종의 클립핑을 도입할 수 있음;

2. 이득 곡선

로부터 상수를 감산함으로써 모든 입력 값들에 대한 이득 곡선

를 수정하면서,

곡선이 너무 어두운 이미지를 생성하지 않음을 보장하는 것;

3. 2개의 제1 솔루션들의 혼합.

변형 1은 최고

레벨들에 대해서만 압축을 생성하는,

의 하이 레벨에서 이득 곡선

의 압축으로서 관찰될 수 있다. 단계(4805)의 실시예 1에서, 수정된 이득 곡선

이 하기의 수학식을 사용하여 획득될 수 있다:

(수학식 15)

gainMod(Y')는 "감마화된 입력 휘도 값 Y'의 수정된 이득"을 의미하고, HlExp는 하이 레벨 지수(high levels Exponent)로 불리고, HlCoef는 하이 레벨 계수(high levels coefficient)로 불린다.

일 실시예에서, 하이 레벨 지수 HlExp =6이지만, 그것은 "2" 초과로 유지되면서 낮춰질 수 있다. 일 실시예에서, 하이 레벨 계수 HlCoef는 범위 [0;0.3] 내에 있다. HlCoef = 0은 어떠한 압축도 적용되지 않음을 의미한다. HlCoef는 수학식 15에서 HlExp = 6을 갖는 이득의 알려진 값들 G(YposDW) 및 gainMod(YposDW)을 사용함으로써 계산된다.

이어서, 이득 곡선이 압축되는 방식으로 콘트라스트의 개념을 도입한다.

변형 1에서, 콘트라스트는 "0"(최소 콘트라스트)이다. 압축 후, 그리고 "10" 비트 현재 입력 SDR 이미지에 대해, 휘도 값 "1023"에 대한 확장된 출력이 휘도 값 "1020"에 대한 것보다 더 높다면, 수학식 15가 적용된다:

(수학식 16)

그렇지 않은 경우, 수학식 15에서 HlExp는 주어진 감소 파라미터 RedParam, 예를 들어 RedParam=0.05를 사용하여 재귀적으로 감소되는데, 이는 수학식 16이 참이 될 때까지 HlCoef에 대한 더 높은 값을 생성한다. HlExp < 2인 경우, HlExp는 "2"로 클립핑되거나, 또는 HlCoef < 0.3인 경우, HlCoef는 "0.3"으로 클립핑되고, 값 c0이 하기를 갖도록 계산된다:

(수학식 17)

c0은 음수여야 한다. c0은 HlExp ≥ 2이고 HlCoef ≥ 0.3인 경우에 "0"과 동일하다. 다른 값들이 HlCoef의 최대 값에 대해 그리고 HlExp의 시작 값 및 최소 값에 대해 선택될 수 있다는 점에 주목한다.

변형 2에서, 콘트라스트는 1(최대 콘트라스트)이다. 압축 후, 그리고 "10" 비트 현재 입력 SDR 이미지에 대해, 휘도 값 "1023"에 대한 이득이 휘도 값 "1020"에 대한 것보다 더 높다면, 수학식 15가 적용된다:

gainMod(1020) < gainMod(1023) (수학식 18)

그렇지 않은 경우, 새로운 값 HlCoef1이 수학식 15를 사용하여 발견되며, 이 경우에 gainMod(1020) = gainMod(1023)이다. HlCoef1은 이전 값 HlCoef보다 더 낮다. 이어서, 값 c1은 하기의 수학식 19에서 HlCoef1 및 YposDW를 사용하여 계산된다(HlExp1 = 6):

(수학식 19)

c1은 음수이다. c1은 수학식 18이 검증되는 경우에 "0"과 동일하다.

변형 3은 범위 ]0…1[ 내의 새로운 콘트라스트 값들 contrast를 도입함으로써 콘트라스트 "0" 및 "1" 둘 모두를 사용하여 구현될 수 있다. 이어서, c 및 Hlcoef는 하기와 같이 계산된다(수학식 20):

그리고, 이어서, YposDW가 Ymax가 아니라면, HlExp는 포지션 YposDW에서 수학식 17을 사용하여 찾을 수 있다:

그리고 이어서:

c = log((G(YposDW) + c - gainMod(YposDW)) / HlCoef) / log(YposDW / Ymax) (수학식 21)

YposDW = Ymax인 경우, Ymax - 1에 대한 값을 찾을 수 있다.

펌핑 효과들을 회피하기 위해, HlCoef, HlExp 및 c는 YposDW와 동일한 방식으로(즉, 단계(4401)에서) (그러나, 가능하게는, 상이한 피드백 값으로) 시간적으로 필터링될 수 있다. 시간적 필터링의 다른 및 심지어 더 양호한 방식은 이득 함수 G() 자체에 대한 피드백을 적용하는 것이다. 두 경우들 모두에서, 시간 필터링은 YposDW가 재설정된 것과 동일한 방식으로 각각의 컷 포지션에서 재설정된다.

지금까지, 확산 백색 제약을 중요시하는 목표를 다루는 실시예들이 도 4 내지 도 8과 관련하여 기술되었다. 하기에서는, 유사한 실시예들이 MaxFall 제약을 중요시하는 목표를 다룰 수 있음을 보여준다.

이미지의 MaxFall MF는 하기와 같이 정의될 수 있다:

MF = (∑ max(Rp, Gp, Bp)) / nbOfPixelsInTheImage

여기서 Rp, Gp 및 Bp는 픽셀 P의 3개의 선형 색상 성분 값들이고, nbOfPixelsInTheImage는 이미지 내의 픽셀들의 개수이다.

하기에서, 이러한 정의는 하기의 공식으로 근사화된다(이는 매우 정확한데, 그 이유는 본 발명이 밝은 영역들을 다루기 때문이며, 이어서, 그 영역들에서, 휘도는 높거나 매우 높은데, 이는 3개의 RGB 색상 성분 값들 중 적어도 2개가 가깝다고 가정함):

여기서

는 픽셀 P의 감마화된 휘도

로부터 획득된 픽셀 P의 선형화된 휘도이고:

여기서

은 범위 [0;1] 내의 값이고, LMax는 타깃 디스플레이의 피크 니트이다.

은 또한 n개의 비트들에 인코딩된 코드 값일 수 있고, 이 경우:

, 이때

예를 들어, "8"개의 비트들에 코딩된 SDR 입력 감마화된 휘도 값

= 100은 "10.6" 니트의 선형 값을 갖는다. "10"개의 비트에 코딩되고 "1000" cd/m2(명목상 피크 휘도) 디스플레이 디바이스에 대해 생성된 HDR 출력 휘도 값

= 400은 "105" 니트의 선형 값을 갖는다.

하기에서, 값 MFTarget은 확장된 이미지의 MaxFall이 취할 수 있는 최대 값을 나타낸다. 이는, 확장된 이미지의 계산된 MaxFall이 MFTarget보다 더 낮아야 함을 의미한다. 계산된 MaxFall이 MFTarget보다 더 높은 경우, 이득 함수는 이러한 값에 도달하기 위해 수정된다. MaxFall 제약 값 MFTarget은, 예를 들어, 현재 입력 SDR 이미지에 대응하는 HDR 이미지를 디스플레이하도록 의도된 디스플레이 디바이스에 의존하는, 그리고/또는 상기 HDR 이미지가 디스플레이되는 룸 내의 주변 광의, 그리고/또는 디스플레이된 HDR 이미지가 의도되는 사용자에 의해 주어진 파라미터의 미리정의된 값이다.

확장된 이미지의 MaxFall의 계산, 즉 MaxFallOut은 히스토그램의 콘텐츠를 사용함으로써 단순화된다:

(수학식 22)

여기서,

i는 범위 [0;nbOfBins] 내에 있고;

A = (Ymax + 1) / (nbOfBins), Ymax는 입력 이미지의 최대 가능한 코드 값이고;

j는 범위 [A * i; A * (i+1) - 1] 내에 있고;

은 선형 휘도(니트 단위로 표현됨)이다.

알 수 있는 바와 같이, MaxFallOut은 수학식 5에서 정의된 "64"개의 contrib[n]의 합((∑contrib[n])로 언급됨)과 동일하다(즉, MaxFallOut=∑contrib[n]).

도 10은 역 톤 맵핑의 방법의 다양한 제2 실시예들의 하이-레벨 표현을 개략적으로 도시한다. 도 10의 실시예들의 목적은 MaxFall 제약을 중요시하는 것이다.

도 10의 방법은 프로세싱 모듈(30)에 의해 실행된다.

도 10의 방법은 단계들(43, 400, 48)이 각각 단계들(43bis, 400bis, 48bis)에 의해 대체된다는 점에서 도 4의 방법과는 상이하다. 다른 단계들은 동일하게 유지된다.

단계(43)와 비교하면, 단계(43bis)에서, 단계들(4301, 4305, 4306, 4307, 4308, 4310)은 실행되지 않는다. 단계(4309)에서, 프로세싱 모듈(30)은 식별된 집적된 후보들로부터 최고 에너지를 갖는 집적된 후보들을 선택한다.

단계(400bis)에서, 프로세싱 모듈(30)은 확장된 HDR 이미지의 MaxFall을 나타내는 값을 MaxFall 제약 MFTarget에 비교한다. 단계(400bis) 동안, 단계(4300) 동안 계산된 기여도들 contrib[n]의 합 ∑contrib[n]이 확장된 HDR 이미지의 MaxFall을 나타낸다는 것이 고려된다.

모든 기여도들의 합 ∑contrib[n]이 MFTarget보다 더 낮거나 그와 동일한 경우, 이득 함수 G()(또는 동등하게는, 이득 곡선

)는 수정될 필요가 없다(즉, 단계(47)가 실행됨).

반대로, 모든 기여도들의 합 ∑contrib[n]이 MFTarget보다 더 높은 경우, 단계(48bis) 동안, 프로세싱 모듈(30)은 최고 에너지를 갖는 후보 CP1(도 5와 관련하여 정의된 바와 같음)을 사용하고, 후보 CP1에서 최고 에너지(하기에서

로 불림)를 갖는 휘도 값

을 검색하고, 휘도 값

에 대응하는 확장 이득을 하기와 같이 수정한다:

(수학식 23)

및 Ymax는 코드워드들이고, 이들은 이어서 감마화된다. 히스토그램이 "256"개의 빈들을 갖는 경우,

는 CP1의 maxEnergyPos(이는 최대 에너지를 포함함)의 빈 내의 최고 입력 휘도 값

이다.

이어서, 프로세싱 모듈(30)은 수학식 15를 사용하여

포지션에서의 수정된 이득 gainModMF(

)를 찾는다.

이어서, 프로세싱 모듈은, 수학식 16 내지 수학식 22를 사용하여, 이득 곡선 또는 동등하게는 이득 함수 G()의 수정에 관하여 확산 백색 제약을 중요시하기 위해, 그리고 gainMod 및 YposDW를 각각 gainModMF 및 Ypos에 의해 대체하여 HlCoef, HlExp 및 c의 3개의 값들을 찾기 위해 사용되는 것과 동일한 전략을 적용한다(즉, 동일한 콘트라스트 개념을 사용함).

일 실시예에서, 확산 백색 제약에 초점을 맞춘 도 4의 방법만이 현재 입력 SDR 이미지의 역 톤 맵핑 동안 적용된다.

일 실시예에서, MaxFall 제약에 초점을 맞춘 도 10의 방법만이 현재 입력 SDR 이미지의 역 톤 맵핑 동안 적용된다.

일 실시예에서, 도 4 및 도 10의 방법 둘 모두가 현재 입력 SDR 이미지의 역 톤 맵핑 동안 적용된다. 일 실시예에서, 도 4의 방법은 도 10의 방법 전에 적용된다. 실제로, 확산 백색 제약을 중요시하도록 의도된 도 4의 방법이 현재 입력 SDR 이미지에 적용되는 경우, 생성된 이미지는 그럼에도 불구하고 MFTarget보다 더 높은 MaxFall을 가질 수 있다. 이러한 경우, 하기와 같은 트리플렛(HlCoef, HlExp, c)을 찾았다:

이어서, (HlCoef, HlExp, c)는 콘트라스트에 관한 상기의 규칙을 따르면서 하기를 갖기 위해 (HlCoef', HlExp', c')로 수정된다:

전술된 실시예들은 밝은 영역들을 다룬다. 그럼에도 불구하고, MaxFall 검출은 넓은 포화된 청색 또는 적색 영역들로 확장될 수 있는데, 이는 큰 MaxFall 값들을 생성할 수 있는 한편, 그들의 대응하는 휘도 값 Y는 비교적 낮다. 이는, 청색 및 적색 히스토그램들을 사용함으로써 해결될 수 있다(청색 및 적색 값들은 Y, U 및 V 값들로부터 계산될 수 있음). 709 색공간(권고 UIT-R BT 709에서 정의된 바와 같음)을 사용할 때, R(적색), B(청색) 및 G(녹색) 성분들의 분포는 하기와 같이 행해진다:

R은 Y의 21%이다

G는 Y의 72%이다

B는 Y의 7%이다

넓은 약간 흰색의 영역들은 휘도(Y) 히스토그램에서 로브들을 야기한다. 이들은 또한, R 및 B 히스토그램들에서 로브들이 대략적으로 동일한 포지션에 위치되게 할 것이다. 반면, Y 히스토그램에서 동일한 위치에 어떠한 로브 없이도 R 및/또는 B 히스토그램들의 높은 값들에 넓은 로브들을 갖는 것(이는, 등가 크기 Y 로브들이 Y의 더 낮은 값들에 대해 존재한다는 것을 의미함)은 Y 상에서 계산된 MaxFall이 작거나 적어도 더 작은 동안, RGB MaxFall의 큰 값을 야기할 것이다(RGB MaxFall은 여기서 MaxFall의 실제 선명도임). Y 상의 집단 후보들을 찾는 데 사용되는 방법은 R 및 B 상에서 사용될 수 있고, 이어서, Y 집적된 집단과 상이한 포지션에 위치된 R 및/또는 B 집단들 사이의 매칭이 행해질 수 있다. 이어서, 그러한 매칭된 집단 후보들의 에너지는, 그들에 녹색이 부족하다는 사실을 고려함으로써 과대평가될 수 있고, 이어서, 표준 Y 후보들 및 과대평가된 Y 후보들의 전체 세트가 분류될 수 있다. 이어서, MaxFall 계산은 최고 에너지를 갖는 후보에서 행해진다.

다수의 실시예들이 전술되었다. 이들 실시예들의 특징들은 단독으로 또는 임의의 조합으로 제공될 수 있다. 또한, 실시예들은 다양한 청구 범위들 및 유형들에 걸쳐 단독으로 또는 임의의 조합으로 다음의 특징들, 디바이스들, 또는 태양들 중 하나 이상을 포함할 수 있다:

기술된 실시예들 중 적어도 하나를 수행하는 TV, 셋톱 박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.

기술된 실시예들 중 적어도 하나를 수행하고 생성된 이미지를 (예컨대, 모니터, 스크린, 또는 다른 유형의 디스플레이를 사용하여) 디스플레이하는 TV, 셋톱 박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.

인코딩된 이미지 또는 비디오 스트림을 포함하는 신호를 수신할 채널을 (예컨대, 동조기를 사용하여) 동조시키고, 기술된 실시예들 중 적어도 하나를 수행하는 TV, 셋톱 박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.

인코딩된 이미지 또는 비디오 스트림을 포함하는 신호를 공중무선통신으로 (예컨대, 안테나를 사용하여) 수신하고 기술된 실시예들 중 적어도 하나를 수행하는 TV, 셋톱 박스, 셀 폰, 태블릿, 또는 다른 전자 디바이스.

Claims

방법으로서,
ITMO 함수로 불리는 역 톤 맵핑 오퍼레이터(inverse tone mapping operator) 함수를 획득하기 위해 사용되는 이득 함수를 획득하여, LDR 이미지로 불리는 낮은 동적 범위 이미지로부터, HDR 이미지로 불리는 높은 동적 범위 이미지를, ITMO 함수가 상기 LDR 이미지에 적용될 때 HDR 이미지에 밝은 영역들을 생성하는 LDR 이미지의 영역들을 식별하기 위해 검색 프로세스를 적용함으로써 획득하는 것을 허용하는 단계(42)를 포함하고, 검색 프로세스는,
대역들로 불리는 LDR 이미지의 히스토그램의 하위부분들을 정의하고, 각각의 대역의, 집단으로 불리는 다수의 픽셀들 및 기여도를 획득하는 것(4300) - 각각의 기여도는 상기 대역에 의해 나타난 픽셀들에 의해 방출된 ITMO 함수의 적용 후의 광 에너지를 나타냄 -;
기여도들에서 적어도 하나의 국부적 최대치 및 집단들에서 적어도 하나의 국부적 최대치로부터 적어도 하나의 후보를 생성하는 것(4307, 4308);
상기 후보에 의해 나타난 픽셀들에 의해 방출된 광 에너지 및 상기 후보에 의해 나타난 픽셀들의 개수를 나타내는 정보를 포함하는 각각의 후보를 나타내는 정보의 함수에서 적어도 하나의 후보로부터 적어도 하나의 최종 후보를 선택하는 것(4309, 4310);
및, 최종 후보를 사용하는 결정 프로세스를 적용하여, 이득 함수의 수정을 결정하여 HDR 이미지가 적어도 하나의 미리정의된 광 에너지 제약을 중요시함을 보장하는 것을 포함하는, 방법.
제1항에 있어서, 기여도들에서 적어도 하나의 국부적 최대치 및 집단들에서 적어도 하나의 국부적 최대치로부터 적어도 하나의 후보를 생성하는 것(4307, 4308)은,
기여도들에서 적어도 하나의 국부적 최대치를 식별하고(4302), 각각의 국부적 최대치에 대해, 대응하는 대역을 이웃 대역들과 함께 집적하여 후보를 생성하는 것(4303);
집단들에서 적어도 하나의 국부적 최대치를 식별하고(4305), 각각의 국부적 최대치에 대해, 대응하는 대역을 이웃 대역들과 함께 집적하여 후보 집단을 생성하는 것(4306); 및
각각의 후보 집단으로부터 임의의 후보와는 독립적인 후보를 생성하는 것(4307, 4308)을 포함하는, 방법.
제1항 또는 제2항에 있어서, 픽셀 값은 휘도 값인, 방법.
제1항, 제2항 또는 제3항에 있어서, 적어도 하나의 미리정의된 광 제약은 MaxFall 제약 및/또는 확산 백색 제약(diffuse white constraint)을 포함하는, 방법.
제1항, 제2항, 제3항 또는 제4항에 있어서, 적어도 하나의 최종 후보의 선택은,
광 에너지를 나타내는 정보의 최고 값과 연관된 후보들의 서브세트를 선택하는 것 - 적어도 하나의 최종 후보는 최고 개수의 픽셀들을 나타내는 서브세트의 후보들로부터 선택됨 - 을 포함하는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 결정 프로세스는,
적어도 하나의 최종 후보를 나타내는, 최종 픽셀 값으로 불리는 픽셀 값을 결정하는 것(4400);
ITMO 함수를 사용하여 최종 픽셀 값으로부터 확장된 픽셀 값을 나타내는 값을 계산하는 것(4500, 4501); 및
확장된 픽셀 값이 미리정의된 확산 백색 제약 값을 나타내는 광 에너지 제약보다 더 높다고 결정한 것에 응답하여 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하는 것(48)을 포함하는, 방법.
제6항에 있어서, SDR 이미지는 이미지들의 시퀀스의 현재 이미지이고, 최종 픽셀 값은 이미지들의 시퀀스 내의 현재 이미지에 선행하는 적어도 하나의 이미지에 대해 계산된 적어도 하나의 최종 픽셀 값을 사용하여 시간적으로 필터링되는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 결정 프로세스는,
HDR 이미지의 MaxFall을 나타내는 값이 미리정의된 MaxFall 제약을 나타내는 광 에너지 제약보다 더 높다고 결정한 것에 응답하여 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하는 것을 포함하는, 방법.
제8항에 있어서, HDR 이미지의 MaxFall을 나타내는 값은 획득된 기여도들의 합인, 방법.
전자 회로부를 포함하는 디바이스로서, 전자 회로부는,
ITMO 함수로 불리는 역 톤 맵핑 오퍼레이터 함수를 획득하기 위해 사용되는 이득 함수를 획득하여, LDR 이미지로 불리는 낮은 동적 범위 이미지로부터, HDR 이미지로 불리는 높은 동적 범위 이미지를, ITMO 함수가 상기 LDR 이미지에 적용될 때 HDR 이미지에 밝은 영역들을 생성하는 LDR 이미지의 영역들을 식별하기 위해 검색 프로세스를 적용함으로써 획득하는 것을 허용하기 위해(42) 적응되고, 검색 프로세스는,
대역들로 불리는 LDR 이미지의 히스토그램의 하위부분들을 정의하고, 각각의 대역의, 집단으로 불리는 다수의 픽셀들 및 기여도를 획득하는 것(4300) - 각각의 기여도는 상기 대역에 의해 나타난 픽셀들에 의해 방출된 ITMO 함수의 적용 후의 광 에너지를 나타냄 -;
기여도들에서 적어도 하나의 국부적 최대치 및 집단들에서 적어도 하나의 국부적 최대치로부터 적어도 하나의 후보를 생성하는 것(4307, 4308);
상기 후보에 의해 나타난 픽셀들에 의해 방출된 광 에너지 및 상기 후보에 의해 나타난 픽셀들의 개수를 나타내는 정보를 포함하는 각각의 후보를 나타내는 정보의 함수에서 적어도 하나의 후보로부터 적어도 하나의 최종 후보를 선택하는 것(4309, 4310);
및, 최종 후보를 사용하는 결정 프로세스를 적용하여, 이득 함수의 수정을 결정하여 HDR 이미지가 적어도 하나의 미리정의된 광 에너지 제약을 중요시함을 보장하는 것을 포함하는, 디바이스.
제10항에 있어서, 기여도들에서 적어도 하나의 국부적 최대치 및 집단들에서 적어도 하나의 국부적 최대치로부터 적어도 하나의 후보를 생성하는 것(4307, 4308)은,
기여도들에서 적어도 하나의 국부적 최대치를 식별하고(4302), 각각의 국부적 최대치에 대해, 대응하는 대역을 이웃 대역들과 함께 집적하여 후보를 생성하는 것(4303);
집단들에서 적어도 하나의 국부적 최대치를 식별하고(4305), 각각의 국부적 최대치에 대해, 대응하는 대역을 이웃 대역들과 함께 집적하여 후보 집단을 생성하는 것(4306); 및
각각의 후보 집단으로부터 임의의 후보와는 독립적인 후보를 생성하는 것(4307, 4308)을 포함하는, 디바이스.
제10항 또는 제11항에 있어서, 픽셀 값은 휘도 값인, 디바이스.
제10항, 제11항 또는 제12항에 있어서, 적어도 하나의 미리정의된 광 제약은 MaxFall 제약 및/또는 확산 백색 제약을 포함하는, 디바이스.
제10항, 제11항, 제12항 또는 제13항에 있어서, 적어도 하나의 최종 후보를 선택하기 위해, 디바이스는,
광 에너지를 나타내는 정보의 최고 값과 연관된 후보들의 서브세트를 선택하기 위해 - 적어도 하나의 최종 후보는 최고 개수의 픽셀들을 나타내는 서브세트의 후보들로부터 선택됨 - 추가로 적응되는, 디바이스.
제10항 내지 제14항 중 어느 한 항에 있어서, 결정 프로세스를 적용하기 위해, 디바이스는,
적어도 하나의 최종 후보를 나타내는, 최종 픽셀 값으로 불리는 픽셀 값을 결정하기 위해(4400);
ITMO 함수를 사용하여 최종 픽셀 값으로부터 확장된 픽셀 값을 나타내는 값을 계산하기 위해(4500, 4501); 그리고
확장된 픽셀 값이 미리정의된 확산 백색 제약 값을 나타내는 광 에너지 제약보다 더 높을 때 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하기 위해(48) 추가로 적응되는, 디바이스.
제15항에 있어서, SDR 이미지는 이미지들의 시퀀스의 현재 이미지이고, 최종 픽셀 값은 이미지들의 시퀀스 내의 현재 이미지에 선행하는 적어도 하나의 이미지에 대해 계산된 적어도 하나의 최종 픽셀 값을 사용하여 시간적으로 필터링되는, 디바이스.
제10항 내지 제14항 중 어느 한 항에 있어서, 결정 프로세스를 적용하기 위해, 디바이스는,
HDR 이미지의 MaxFall을 나타내는 값이 미리정의된 MaxFall 제약을 나타내는 광 에너지 제약보다 더 높을 때 이득 함수를 수정하도록 적응된 수정 프로세스를 실행하기 위해 추가로 구성되는, 디바이스.
제17항에 있어서, HDR 이미지의 MaxFall을 나타내는 값은 계산된 기여도들의 합인, 디바이스.
제10항 내지 제18항 중 어느 한 항에 따른 디바이스를 포함하는 장치.
제1항 내지 제9항 중 어느 한 항의 방법에 의해, 또는 제10항 내지 제18항 중 어느 한 항의 디바이스에 의해, 또는 제19항의 장치에 의해 생성된 신호.
제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램.
제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어들을 저장하는 정보 저장 수단.