KR20160125399A

KR20160125399A - Hdr 이미지들을 인코딩 및 디코딩하기 위한 방법 및 장치

Info

Publication number: KR20160125399A
Application number: KR1020167023235A
Authority: KR
Inventors: 미까엘 르 뻥뒤; 로낭 부와따르; 크리스띤 기유모; 도미니끄 또로
Original assignee: 톰슨 라이센싱
Priority date: 2014-02-26
Filing date: 2015-02-23
Publication date: 2016-10-31
Also published as: CN106062816A; TW201543867A; EP3111416A1; TWI677235B; WO2015128295A1; KR20230062888A; KR102361927B1; CN106062816B; KR20220025153A; CN110708545A; JP2017509057A; US20210062095A9; US10650501B2; CN110708545B; US20200172813A1; JP6546599B2; US20160371822A1; US11727548B2

Abstract

HDR(High Dynamic Range) 이미지들을 인코딩하기 위해, HDR 이미지들은 톤 맵핑 연산을 통해 LDR(Low Dynamic Range) 이미지들로 변환될 수 있고, LDR 이미지들은 LDR 인코더로 인코딩될 수 있다. 본 원리들은, 톤 맵핑 곡선을 설계할 때 레이트 왜곡 최소화 문제를 공식화한다. 특히, 톤 맵핑 곡선은, 인코딩되는 HDR 이미지들의 확률 분포 함수, 및 인코딩 파라미터들에 의존하는 라그랑지안 승수의 함수로서 공식화된다. 디코더에서는, 톤 맵핑 함수를 지시하는 파라미터들에 기초하여, 디코딩된 LDR 이미지들로부터 HDR 이미지들을 재구성하기 위한 인버스 톤 맵핑 함수가 유도될 수 있다.

Description

HDR 이미지들을 인코딩 및 디코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING HDR IMAGES}

관련 출원들의 상호 참조

본 출원은, 2014년 2월 26일에 출원된 유럽 출원 제14305266호, 2014년 4월 1일에 출원된 유럽 출원 제14305480호의 이익을 주장하며, 상기 출원들은 그 전체가 참조로 본원에 통합된다.

기술 분야

본 발명은, HDR(High Dynamic Range) 이미지들 및 비디오들의 인코딩 및 디코딩을 위한 방법 및 장치에 관한 것이다.

이미지 시퀀스들을 압축하기 위한 툴들은 종종 제한된 동적 범위를 갖는 정수 데이터를 인코딩하도록 설계된다. 예를 들어, MPEG-4 AVC/H.264 및 HEVC(High Efficiency Video Coding)와 같은 압축 표준들은, 8 비트 정수들로 표현되는 색상 성분들을 갖는 이미지들 및 비디오들을 압축하기 위해 이용될 수 있다. 이러한 표준들의 확장된 버전들에서, 더 큰 비트 깊이들을 갖는 데이터가 입력으로 취해질 수 있다. 예를 들어, HEVC의 범위 확장 버전에서는, 16 비트들까지의 비트 깊이가 지원된다. 큰 비트-깊이 확장들은 증가된 구현 및 계산 비용들을 요구할 수 있다. 게다가, 3D 컴퓨터 그래픽스와 같은 일부 애플리케이션들의 경우, 16 비트들보다 더 큰 비트 깊이를 갖는 이미지 타입들이 또한 존재한다.

큰 비트-깊이 이미지들을 인코딩하기 위한 대안적인 솔루션은, 비트 깊이를 감소시키고, HDR 이미지들의 LDR(Low Dynamic Range) 버전을 생성하기 위해, HDR 이미지들에 톤 맵핑 연산자(TMO)를 적용하는 것이다. 그 다음, LDR 버전을 압축하기 위해 작은 비트-깊이 인코더가 이용될 수 있다. 이러한 접근법에서, TMO는 통상적으로 반전가능하고, 인버스 톤 맵핑은 디코더에 알려져야 한다. 이러한 접근법의 예는, ISCAS 2010에서 Z. Mai 등에 의한 표제 "On-the-Fly Tone Mapping for Backward-Compatible High Dynamic Range Image/Video Compression"의 문헌에서 설명되고, 이는, 톤 맵핑 및 인코더 에러 둘 모두에 의해 초래되는 데이터 손실을 최소화하는 톤 맵핑 곡선을 정의한다.

본 원리는, HDR 이미지들을 디코딩하기 위한 방법을 제공하고, 방법은, HDR 이미지들이 포함된 비트스트림에 액세스하는 단계; 비트스트림으로부터 LDR(Low Dynamic Range) 이미지들을 디코딩하는 단계; 비트스트림으로부터의 정보에 액세스하는 단계 ―액세스된 정보는, LDR 이미지들을 인코딩하기 위해 이용된 파라미터를 포함함―; 및 아래에서 설명되는 바와 같이, 액세스된 파라미터에 대한 응답으로 LDR 이미지들로부터 HDR 이미지들을 생성하는 단계를 포함한다. 본 원리들은 또한, 이러한 단계들을 수행하기 위한 장치를 제공한다.

본 원리들은 또한 HDR 이미지들을 인코딩하기 위한 방법을 제공하고, 방법은, HDR 이미지들 및 적어도 하나의 인코딩 파라미터에 대한 응답으로 톤 맵핑 함수를 결정하는 단계; 톤 맵핑 함수에 대한 응답으로 HDR 이미지들로부터 LDR 이미지들을 결정하는 단계; 및 결정된 톤 맵핑 함수를 지시하는 정보 및 결정된 LDR 이미지들을 인코딩하는 단계를 포함하고, 적어도 하나의 인코딩 파라미터는, 아래에서 설명되는 바와 같이, LDR 이미지들을 인코딩하기 위해 이용된다. 본 원리들은 또한, 이러한 단계들을 수행하기 위한 장치를 제공한다.

본 원리들은 또한, 앞서 설명된 방법들에 따라 HDR 이미지들을 인코딩 또는 디코딩하기 위한 명령어들이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.

본 원리들은 또한, 앞서 설명된 방법들에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체를 제공한다.

도 1은 본 원리들의 실시예에 따라, 압축 방식의 예시적인 수학적 모델을 도시하는 도면이다.
도 2는 본 원리들의 실시예에 따라, 톤 맵핑을 이용하여 HDR 이미지들을 인코딩하는 예시적인 방식을 도시하는 도면이다.
본 원리들의 실시예에 따라, 도 3a는 히스토그램을 도시하는 도식적 예이고, 도 3b는 기대값 최대화를 이용한 도 3a의 히스토그램에 대한 피팅된(fitted) 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 도시하는 도식적 예이고, 도 3c는, 100개의 인터벌들로 컴퓨팅된 확률 분포 함수를 도시하는 도식적 예이다.
도 4는 변하는 람다 값들 및 QP 파라미터들에 걸쳐 HDR 이미지의 인코딩에 대한 레이트 왜곡 결과들을 도시하는 도식적 예이다.
도 5는 본 원리들의 실시예에 따라, 인버스 톤 맵핑을 이용하여 HDR 이미지들을 디코딩하는 예시적인 방식을 도시하는 도면이다.
도 6a는 "수송선" 이미지를 도시하고, 도 6b는, "수송선" 이미지에 대한 추정된 확률 분포 함수를 도시하고, 도 6c 및 도 6d는, QP=0인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시하고, 도 6e 및 도 6f는, QP=16인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시하고, 도 6g 및 도 6h는, QP=32인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다.
도 7a는 "열기구" 이미지를 도시하고, 도 7b는, "열기구" 이미지에 대한 추정된 확률 분포 함수를 도시하고, 도 7c 및 도 7d는, QP=0인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시하고, 도 7e 및 도 7f는, QP=16인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시하고, 도 7g 및 도 7h는, QP=32인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다.
도 8은 본 원리들의 실시예에 따라, HDR 이미지들을 인코딩하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 9는 본 원리들의 실시예에 따라, HDR 이미지들을 디코딩하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 10은 본 원리들의 실시예에 따라, HDR 이미지들을 인코딩하기 위한 예시적인 시스템을 도시하는 블록도이다.
도 11은 본 원리들의 실시예에 따라, HDR 이미지들을 디코딩하기 위한 예시적인 시스템을 도시하는 블록도이다.
도 12는 하나 이상의 구현들에 이용될 수 있는 이미지 프로세싱 시스템의 예를 도시하는 블록도이다.
도 13은 하나 이상의 구현들에 이용될 수 있는 이미지 프로세싱 시스템의 다른 예를 도시하는 블록도이다.

본 원리들은, 톤 맵핑 기술들을 이용한 HDR 이미지들 및 비디오들의 인코딩 및 디코딩에 관한 것이다. 톤 맵핑 함수는, 입력으로서 큰 비트-깊이 정수를 취하고, 작은 비트-깊이 정수를 리턴하며, 인버스 톤 맵핑 함수는, 입력으로서 작은 비트-깊이 정수를 취하고, 큰 비트-깊이 정수를 리턴한다. 본 출원에서는, 용어들 "톤 맵핑 함수", "톤 맵핑 곡선" 및 "톤 곡선"이 상호교환가능하게 이용되고, 용어들 "인버스 톤 맵핑 함수" 및 "인버스 톤 맵핑 곡선"이 상호교환가능하게 이용된다.

일 실시예에서는, 도 1에 예시된 바와 같이, 압축 방식의 수학적 모델이 정의된다. 이 모델에서, 이미지가 압축되고, 그 픽셀들이 실수 값들(반드시 정수들인 것은 아님)을 갖는 것으로 고려된다. 입력 이미지 I는, 확률 분포 함수(pdf) p를 갖고, 그 최소 및 최대 픽셀 값들은 각각 x_min 및 x_max이다.

먼저, 압축기 함수 F가 픽셀 값들에 적용되고, 여기서 F는, 인터벌 [x_min, x_max] 상에 정의되고, F(x_min)=0 및 F(x_max)=2ⁿ-1이고, 여기서, n은 LDR 인코더에 의해 인코딩되는 LDR 이미지의 비트 깊이이다. 이 수학적 모델에서, 압축기 함수는, 실수 값 입력 및 출력을 갖는 연속 및 엄격하게는 단조 함수를 나타낸다. 이러한 특성들은, F가 역함수 F^-1(확장기 함수로 나타냄)를 갖는 것을 보장한다. 수학적 모델이 인코딩 HDR 이미지들에 적용되는 경우, 압축기 함수는, 정수인 출력을 갖는 톤 맵핑 함수에 대응한다. 톤 맵핑 함수는, 압축기 함수 및 균일한 양자화(라운딩)의 연접(concatenation)으로 고려될 수 있다. 함수 F를 적용한 후, F가 수학적으로 반전가능하기 때문에, 이론적으로 어떠한 데이터도 손실되지 않는다. 압축기 함수로부터의 출력 이미지를 I_F로, 그리고 I_F의 확률 분포 함수를 p_F로 나타낸다.

그 다음, I_F를 인코딩하고 포맷 변환으로부터의 에러(존재하는 경우)를 라운딩하는 경우 도입되는 인코더 에러를 모델링하기 위해 각각의 픽셀 값에 랜덤 변수 (ε)가 추가된다. 여기서, 랜덤 변수들의 분포들은 픽셀들의 위치들 또는 값들에 의존하지 않는 것으로 가정한다. 또한, 랜덤 변수 ε은 제로 평균 및 분산 σ²을 갖는 것으로 가정한다. I_F가 인코딩된 후, 확장기 F^-1이 적용되어 HDR 이미지 I_rec를 재구성한다.

수학적 모델에서, 입력 및 출력으로서 실수 값들이 이용되는 것으로 가정한다. 수학적 모델이 실제 적용되는 경우, 입력은 통상적으로 정수이고, 출력도 또한 정수인데, 이는, LDR 인코더에 의해 인코딩되는 작은 비트-깊이(예를 들어, 8 비트)의 정수 값들을 생성할 필요가 있기 때문이다.

도 1에 도시된 모델에 대한 톤 맵핑 곡선을 설계하기 위해, 레이트 왜곡 함수 J= D_tot+λ₀.R로 공식화하고, 여기서 D_tot는 원래의 HDR 이미지 I와 재구성된 HDR 이미지 I_rec 사이의 총 왜곡이고, R은 LDR 이미지를 인코딩하는 비트 레이트이고, λ₀는 레이트 왜곡 성능을 개선하기 위해 조절되는 라그랑지안(Lagrangian) 승수이다. 이미지 I 및 인코더가 주어지면, 인코딩된 이미지의 비트 레이트 R은 I_F의 엔트로피에 비례하는 것으로 가정한다. 따라서, D_tot+λ₀.R을 최소화하는 것은, D_tot + λ.entropy(I_F)를 최소화하는 것과 동등하며, 여기서 λ는 다른 라그랑지안 승수이다.

일 실시예에서, 왜곡은 제곱 평균 에러(MSE)로 측정되어, 즉, D_tot=E{(I_rec-I)²}이고, 여기서 E{.}는 랜덤 변수의 기대값을 계산하는 것으로 가정한다. 우리의 목적은, 레이트 왜곡 함수 D_tot + λ.entropy(I_F)를 최소화하는 함수 F*를 찾는 것이다. 분석적으로, 함수 F*의 도함수는,

(1)

로 공식화 될 수 있는 것이 제시될 수 있다.

따라서,

(2)

이고, 여기서 c는, F*(x_max) = 2ⁿ-1이 되도록 조절될 수 있는 상수이다.

그러나, λ 및 σ가 주어지면, c의 값을 결정하기 위한 분석적 솔루션은 없다. 게다가, σ의 값을 발견하기 위해, 이용되는 실제 인코더의 모델 및 인코딩 파라미터들(예를 들어, HEVC의 양자화 파라미터 QP 및 LDR 이미지의 비트 깊이, 그러나 이에 제한되는 것은 아님)이 필요할 것이다. 변수들 c 및 σ에 대한 함수

의 의존성을 제거하기 위해, 함수,

(3)

를 정의한다.

임의의 양의 값 λ 및 σ에 대해,

(4)

이 되게 하는 값

가 존재함이 제시될 수 있다. 그 결과, 톤 맵핑 함수를 유도하기 위해 오직 파라미터 λ_i만이 필요하다. 일 실시예에서, 수치적 적분에 의해

를 컴퓨팅할 수 있고, 이 결과를

로 나눌 수 있다.

도 2는, 본 원리들에 따라, 톤 맵핑을 이용하여 HDR 이미지들을 인코딩하는 예시적인 실시예를 예시한다. 입력 HDR 이미지의 픽셀 값들은 원래 큰 비트-깊이 정수들 또는 부동소수점 값들로 표현될 수 있다. HDR 이미지들이 부동소수점 값들로 표현되면, 정수로의 변환이 이용될 수 있다. 예를 들어, 입력 이미지가 하프 플로우트(half float) 포맷으로 정의되면, 정수로 해석되는 비트 패턴(즉, 1개의 부호 비트, 5개의 지수 비트들 및 10개의 가수 비트들)을 취하는 것은, 부동소수점으로부터 16-비트 정수로의 무손실 변환을 제공한다. 이미지가 오직 양의 값들만을 포함하면, 이러한 변환은 원래의 부동소수점 값들의 로그 인코딩을 근사화한다.

다른 예에서, 부동소수점 값들에 로그 함수를 적용하고 그 결과를 정수들로 라운딩할 수 있다. 이러한 경우, 이용되는 함수는, 제로 및 최대 부동소수점 값들이 0 및

에 각각 맵핑되도록 조절되어야 하고, 여기서

은 HDR 이미지의 정수 버전의 비트 깊이이다. 원래의 이미지가 하프 플로우트 포맷(즉, 16 비트 부동소수점 값들)인 경우,

의 값에 대한 합리적 선택은 16이거나, 또는 원래의 이미지가 단일 정밀도 플로우트 포맷(즉, 32 비트 부동소수점 값들)인 경우

=32이다. 디코딩된 정수 HDR 이미지를 다시 부동소수점 데이터로 변환하기 위해서는, 대응하는 인버스 변환 함수가 그에 적용되어야 한다.

그 다음, 픽셀 값들의 확률 분포 함수 p의 가우시안 혼합 모델을 획득하기 위해 기대값 최대화가 수행된다. GMM 모델은, 파라미터 세트 θ(가우시안들의 평균, 분산, 가중치)로 설명된다. θ, x_min 및 x_max(이미지의 최소 및 최대 픽셀 값들)는 톤 맵핑 LUT를 컴퓨팅하기 위해 이용된다. 인코딩 파라미터 QP로부터 컴퓨팅된 라그랑지안 승수 λ_i가 또한 LUT 계산을 위해 고려된다. 그 다음, 인코딩 파라미터 QP를 이용하여 LDR 인코더에 전송되는 LDR 버전을 획득하기 위해, LUT가 이미지에 적용된다. 마지막으로, 파라미터들 θ, x_min 및 x_max는 LDR 이미지를 표현하는 비트스트림에 지시된다. 다음으로, 확률 분포 함수 및 라그랑지안 승수의 결정을 더 상세히 설명한다.

확률 분포 함수 결정

수식 (4)에서 설명된 바와 같은 톤 맵핑 함수를 유도하기 위해, 픽셀 값들의 확률 분포 함수 (p(x))가 결정될 필요가 있다. 일례에서, p(x)는 이미지의 히스토그램을 컴퓨팅함으로써 결정될 수 있다. 디코더가 인버스 톤 맵핑 곡선을 컴퓨팅하기 위해, 확률 분포 함수를 정의하는 파라미터들은 디코더에 알려질 필요가 있다. p(x)를 표현하기 위해 인코딩될 필요가 있는 파라미터들의 수를 감소시키기 위해, 히스토그램을 파라미터화할 수 있다.

일 실시예에서, 히스토그램을 피팅하기 위해 가우시안 혼합 모델을 이용할 수 있고, 여기서 GMM은 몇몇 가우시안들의 가중된 합이다. 모델 파라미터들은, 혼합 모델에서 각각의 가우시안 j의 분산 v_j, 평균값 μ_j, 가중치 α_j이다. 확률 분포 함수의 모델은,

(5)

로 공식화될 수 있고, 여기서 m은 모델에서 이용되는 가우시안들의 수이고, g는 가우시안 함수,

(6)

이다.

피팅 연산을 위해 기대값 최대화(Expectation Maximization, EM) 알고리즘이 이용될 수 있다. 이 알고리즘은, 1977년 Journal of the Royal Statistical Society에서 Dempster 등에 의한 표제 "Maximum Likelihood from Incomplete Data via the EM Algorithm"의 문헌에서 정의된다. 가우시안 모델들의 수 m 및 초기 파라미터 세트

가 주어지면, 로그-우도 함수,

(7)

를 최대화하는 θ를 발견하는 것이 목적이고, 여기서 N은 픽셀들의 수이고, x_i는 픽셀 i의 값이다.

알고리즘의 각각의 반복 k는 하기 단계들로 이루어진다:

그 다음, EM에 의해 획득되는 GMM 파라미터들은, 수식 (5)에 의해 x_min부터 x_max까지의 임의의 정수 값 x에서 확률 분포 함수를 컴퓨팅하기 위해 이용될 수 있다. 도 3a는, 예시적인 히스토그램을 도시하고, 도 3b는 EM에 의한 피팅된 GMM을 도시한다.

범위 [x_min, x_max]를 넘는 픽셀들의 확률은 널(null)인 것으로 고려한다. 따라서, GMM 파라미터들에 추가로, 최소 및 최대 값들 x_min 및 x_max는 또한, 디코더가 확률 분포 함수를 생성하도록 비트스트림에 지시된다.

HDR 이미지들에서, 이미지가 매우 작은 값들을 갖는 소수의 픽셀들을 포함하는 것이 가능하다. 이러한 픽셀들은 알고리즘의 계산을 방해할 수 있기 때문에, EM 알고리즘을 수행하기 전에 이 값들을 주어진 퍼센타일 아래로(예를 들어, 0.1%로) 클리핑(clip)할 수 있다. 그러한 경우, x_low의 값이 x_min로서 이용된다. 유사하게, 이미지가 매우 큰 값들을 갖는 소수의 픽셀들을 포함하면, EM 알고리즘을 수행하기 전에 그 큰 값들을 주어진 퍼센타일 아래로 클리핑할 수 있다. 그러한 경우, x_high의 값이 x_max로서 이용된다.

라그랑지안 승수 결정

수식 (4)에서 설명된 바와 같은 톤 맵핑 함수를 유도하기 위해, 라그랑지안 승수 λ_i를 또한 결정할 필요가 있다. λ_i의 값은 이용되는 인코더(예를 들어, HEVC, MPEG-2, MPEG-4 AVC/H.264 또는 JPEG), LDR 인코더에 의해 허용되는 입력 데이터 포맷의 비트 깊이 및 인코딩 파라미터들(예를 들어, HEVC의 양자화 파라미터 QP)에 의존할 수 있다. 다음으로, 라그랑지안 승수 λ_i를 결정하는 방법을 더 상세히 논의한다.

일 실시예에서, 몇몇 품질 파라미터들(예를 들어, HEVC에 대한 QP 값) 및 λ_i 값들로 몇몇 이미지들을 인코딩할 수 있다. 각각의 QP에서 주어진 이미지에 대해, 인코딩은 큰 범위에 걸쳐 λ_i의 값을 변경함으로써 수회 수행된다. QP 값이 주어지면, 최적의 λ_i에 의해 획득되는 레이트 왜곡(RD) 포인트는 도 4에 예시된 바와 같이, 모든 RD 포인트들의 세트의 볼록 껍질(convex hull) 상에 있다. 따라서, 라그랑지안 승수 λ_i ^*를 QP의 함수로서 유도할 수 있다. 예를 들어, 16-비트 이미지들이 8-비트로 톤 맵핑되고 HEVC로 인코딩되는 경우, 라그랑지안 승수를 표현하기 위해 하기 지수 함수가 발견되었다.

(8)

수식 (8)에서 설명된 함수가 주어지면, QP 값이 디코더에 알려지기 때문에, 인코더 및 디코더에서 동일한 값의 λ_i가 유도될 수 있다.

룩업 테이블 생성

일 실시예에서, 본 원리들을 구현하기 위해 수치적 적분을 수행할 필요가 있을 수 있다. 모든 픽셀에 대한 합산을 컴퓨팅하는 것은 매우 시간 소모적일 것이기 때문에, x-1에서의 결과를 누산함으로써 값 x에 대해, 아래의 수식 (10)에 제시된 바와 같이 합산을 컴퓨팅할 수 있다. 수치적 연산들을 수행하기 위해 다른 방법들이 이용될 수 있다.

이전에 설명된 바와 같이, 함수 F*'는, 값 λ_i 및 확률 분포 p가 주어지면 수식 (9)로부터 컴퓨팅될 수 있다:

(9)

각각의 정수 값

에 대해 F*'의 값이 컴퓨팅되는 경우, 이는, 수식 (3)에서 정의된 함수 S를 근사화하는 F_num을 컴퓨팅하기 위해 수치적으로 적분될 수 있다. 예를 들어, 누산적 합산은,

(10)

로서 수행될 수 있다.

톤 맵핑 곡선을 표현하기 위한 룩업 테이블(LUT)을 생성할 수 있다. 특히, 함수 F는, LDR 이미지에 대해 요구되는 비트 깊이 n을 갖는 정수들을 획득하기 위해 스케일링 및 라운딩될 수 있다:

(11)

는 수식 (4)로부터의

의 수치적 근사화임을 주목한다. LUT가 생성된 후, 톤 맵핑 연산은, 원래의 HDR 이미지의 모든 픽셀에 LUT를 적용할 수 있다. 그 다음, 획득된 이미지는 LDR 인코더로 압축된다. 톤 맵핑 곡선의 구성을 위해 이용되는 파라미터들(예를 들어, 확률 분포 함수 파라미터들, x_min, x_max)은, 예를 들어, 무손실 코딩을 이용하여 디코더에 전달될 필요가 있다.

도 5는, 본 원리들에 따라, 인버스 톤 맵핑을 이용하여 HDR 이미지들을 디코딩하는 예시적인 실시예를 도시한다. 도 5의 입력 비트스트림은 도 2에 따라 생성될 수 있다. LDR 이미지들 및 모델 파라미터들(예를 들어, θ, x_min, x_max 및 QP)이 비트스트림으로부터 디코딩될 수 있다. 파라미터들을 알면, 톤 맵핑 룩업 테이블을 생성하기 위해, 수식들 (5), (9), (10) 및 (11)에서 설명된 연산들이 수행될 수 있다. 그 다음, 인버스 톤 맵핑 룩업 테이블을 생성하기 위해 LUT가 반전된다. 인버스 LUT는 HDR 이미지를 재구성하기 위해 디코딩된 LDR 이미지에 적용된다. 원래의 이미지가 부동소수점 포맷으로 정의되면, 재구성된 HDR 이미지는 정수로부터 다시 부동소수점으로 변환될 수 있다.

도 6a 내지 도 6h 및 도 7a 내지 도 7h는, HEVC 인코더가 LDR 인코더로서 이용되는 경우, 입력된 16-비트 HDR 이미지들, 확률 분포 함수들, 및 16-비트 이미지들과 8-비트 이미지들 사이의 변환을 위한 톤 맵핑 곡선들 및 인버스 톤 맵핑 곡선들의 예들을 예시한다.

도 6a는 x_min=0 및 x_max=27024를 갖는 "수송선" 이미지를 도시한다. 도 6b는 "수송선" 이미지에 대한 추정된 확률 분포 함수를 도시한다. 도 6c 및 도 6d는, QP=0(λ_i=100)인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다. 도 6e 및 도 6f는, QP=16(λ_i=6055)인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다. 도 6g 및 도 6h는, QP=32(λ_i=3.67e+05)인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다.

도 7a는 x_min=1834 및 x_max=23634를 갖는 "열기구" 이미지를 도시한다. 도 7b는 "열기구" 이미지에 대한 추정된 확률 분포 함수를 도시한다. 도 7c 및 도 7d는, QP=0(λ_i=100)인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다. 도 7e 및 도 7f는, QP=16(λ_i=6055)인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다. 도 7g 및 도 7h는, QP=32(λ_i=3.67e+05)인 경우 톤 맵핑 LUT 및 인버스 톤 맵핑 LUT를 각각 도시한다.

도 6a 내지 도 6h 및 도 7a 내지 도 7h로부터, 톤 맵핑 곡선들은 더 큰 QP 값들(및 더 큰 λ_i)에서 더 평탄함이 관측된다. 더 작은 QP들에서, 톤 맵핑 곡선은 확률 분포 함수에 더 의존적이고, 곡선의 기울기는 큰 확률 값들에서 더 급격하다. 그 결과, 이러한 값들은 더 정확하게 톤 맵핑될 것이다.

인코더에서 톤 맵핑 곡선을 결정하는 경우, 왜곡을 측정하기 위해 MSE가 이용될 수 있고, 확률 분포를 추정하기 위해 GMM에 의한 기대값 최대화가 이용될 수 있음을 앞서 논의하였다. 변화예에서, 제곱 평균 에러 대신에, 왜곡 메트릭으로서 절대값 차의 합(SAD)을 선택할 수 있다. 이러한 경우 수식 (1) 내지 수식 (3)의 3제곱근은 제곱근으로 대체될 것이다.

다른 변화예에서, 히스토그램의 경량의 버전을 컴퓨팅하고, 몇몇 파라미터들을 갖는 확률 분포 함수를 모델링할 수 있다. 구체적으로, 각각의 정수 값에서 이미지의 픽셀들의 수를 포함하는 전체 히스토그램을 컴퓨팅하는 것 대신에, 범위 [x_min, x_max]를, 동일한 길이의 소수의 인터벌들로 분할할 수 있다. 각각의 인터벌 K에 대해, 이러한 인터벌에 속하는 이미지의 픽셀들의 수 N_K가 컴퓨팅될 수 있다. 그 다음, 인터벌 K에서 각각의 값 x에 대해 확률은

로 추정된다. 예를 들어, 100개의 인터벌들을 취할 수 있고, 100개 값들의 N_K(

) 및 값들 x_min 및 x_max가 디코더에 전달될 필요가 있다. 도 3a에 도시된 예시적인 히스토그램의 경우, 도 3c는 100개의 인터벌들로 컴퓨팅된 확률 분포 함수를 도시한다.

다양한 인코더들, 예를 들어, MPEG-2, MPEG-4 AVC/H.264 및 HEVC에 부합하는 인코더들이 LDR 인코더로서 이용될 수 있다. LDR 인코더는 또한 비트 깊이 스케일링가능 비디오 인코더의 베이스 계층 인코더일 수 있다. 앞선 예들에서, 톤 맵핑 함수를 지시하는 파라미터들을 인코딩하기 위해 이용되는 비트레이트는 무시가능하고, 레이트 왜곡 최소화 문제에는 포함되지 않는 것으로 가정한다. 또한, 이러한 파라미터들에 대한 비트레이트가 더 중요해지는 경우 이를 우리의 모델에 포함시킬 수 있다. 앞서, 하나의 이미지를 입력으로 이용하였다. 본 원리는 또한, 비디오 시퀀스가 입력으로 이용되는 경우에도 적용될 수 있고, 파라미터들을 이미지마다 변경할 수 있다.

예를 들어, λ_i 계산, 히스토그램 인터벌들 및 작은 퍼센티지를 갖는 매우 작은 및 매우 큰 픽셀 값들에 대한 예들을 제공하기 위해, 몇몇 수치적 값들이 앞서 이용되었다. 이러한 수치적 값들은, 입력 이미지들 및/또는 인코딩 세팅들이 변화함에 따라 변경될 수 있다.

본 원리들은, 레이트 왜곡 성능에 대한 톤 맵핑 곡선을 설계할 때, 재구성되는 HDR 이미지의 왜곡 및 HDR 이미지를 인코딩하기 위한 레이트 둘 모두를 고려하는 이점을 갖는다. 본 원리들에 따른 톤 맵핑 곡선 및 인버스 톤 맵핑 곡선은 입력 HDR 이미지 특성들에 의존할 뿐만 아니라 인코딩 세팅들의 영향을 고려한다. 일 실시예에서, 입력 이미지들에 고유한 파라미터들의 세트(즉, θ, x_min, x_max)를 비트스트림에 지시한다. 인코딩 파라미터(예를 들어, 양자화 파라미터) 및 이러한 고유한 파라미터들의 세트에 기초하여, 양자화 파라미터 및 그에 따른 비트레이트에 적응적인 상이한 세트들의 톤 맵핑 곡선들 및 인버스 톤 맵핑 곡선들을 생성할 수 있다. HDR 재구성에 필요한 인버스 톤 맵핑 곡선은 명시적으로 송신될 필요가 없다. 오히려, 이는, 입력 이미지들에 고유한 파라미터들의 세트 및 인코딩 파라미터로부터 디코더에 의해 컴퓨팅될 수 있다. 그 결과, 본 원리들에 따른 방법들은 인코딩 세팅들(예를 들어, 비트레이트)에 적응적이고, HDR 이미지들을 인코딩하는 경우 압축 효율을 개선할 수 있다.

도 8은, 본 원리들에 따라, HDR 이미지들을 인코딩하기 위한 예시적인 방법(800)을 예시한다. 방법(800)은, 입력 HDR 이미지들의 포맷 및 LDR 이미지들의 허용되는 포맷을 결정할 수 있는 초기화 단계(810)에서 시작한다. 단계(820)에서, 방법은, 예를 들어, GMM에 의한 기대값 최대화를 이용하여 또는 히스토그램의 경량의 버전을 이용하여, HDR 이미지들의 확률 분포 함수를 모델링한다.

단계(830)에서, 라그랑지안 승수가, 예를 들어, 양자화 파라미터의 함수로서 추정된다. 라그랑지안 승수는 인코더 세팅들, 예를 들어, 이용되는 비디오 압축 표준 및 LDR 인코더의 포맷의 비트 깊이에 의존할 수 있기 때문에, 라그랑지안 승수를 컴퓨팅하기 위한 함수를 디코더에 전달할 수 있거나 또는 인코더 및 디코더는 라그랑지안 승수를 미리 결정된 수로서 저장할 수 있다.

단계(820)에서 모델링된 확률 분포 함수 및 단계(830)에서 추정된 라그랑지안 승수에 기초하여, 예를 들어, 수식 (4)에 따라 톤 맵핑 함수가 생성될 수 있다. 수치적 연산을 수행하기 위해, 룩업 테이블이 생성될 수 있다. 단계(850)에서, HDR 이미지들은, 톤 맵핑 함수를 이용하여 LDR 이미지들로 변환된다. LDR 이미지들 및 톤 맵핑 함수를 지시하는 파라미터들, 예를 들어, 확률 분포 함수를 지시하는 파라미터들은 단계(860)에서 비트스트림에 인코딩된다.

방법(800)은, 도 8에 도시된 것과는 상이한 순서로 진행할 수 있어서, 예를 들어, 단계(820) 이전에 단계(830)가 수행될 수 있다. 라그랑지안 승수는, 입력 이미지들에 의존하지 않을 수 있기 때문에, 입력 HDR 이미지들을 인코딩하기 전에 유도될 수 있다. 따라서, 단계(830)는 임의적일 수 있다.

도 9는, 본 원리들에 따라, HDR 이미지들을 디코딩하기 위한 예시적인 방법(900)을 예시한다. 방법(900)의 입력은 방법(800)에 따라 생성된 비트스트림일 수 있다. 방법(900)은, 재구성되는 HDR 이미지들의 포맷을 결정할 수 있는 초기화 단계(910)에서 시작한다. 단계(920)에서, 톤 맵핑 함수를 지시하는 파라미터들 및 LDR 이미지들이 디코딩된다. 톤 맵핑 함수를 지시하는 파라미터들에 기초하여, 예를 들어, 수식(4)에 따라 톤 맵핑 함수가 생성될 수 있다. 후속적으로, 단계(930)에서 인버스 톤 맵핑 함수가 생성될 수 있다. 방법(800)에서 수행되는 것과 유사하게, 수치적 연산들을 수행하기 위해, 룩업 테이블 및 인버스 룩업 테이블이 생성될 수 있다. 단계(940)에서, LDR 이미지들은, 인버스 톤 맵핑 함수를 이용하여 HDR 이미지들로 변환된다.

도 10은, HDR 이미지들을 인코딩하기 위한 예시적인 인코더(1000)의 블록도를 도시한다. 인코더(1000)의 입력은, 인코딩되는 HDR 이미지들, 인코딩 파라미터들, 및/또는 라그랑지안 승수를 추정하기 위해 이용될 수 있는 다른 이미지들을 포함한다. 확률 추정기(1010)는 입력 이미지들의 확률 분포 함수를 추정한다. 톤 곡선 추정기(1020)는, 예를 들어, 양자화 파라미터에 기초하여 라그랑지안 승수를 추정하고, 확률 분포 함수 파라미터들 및 라그랑지안 승수에 기초하여, 예를 들어, 수식 (4)를 이용하여 톤 맵핑 곡선을 생성한다. 톤 맵핑 곡선에 기초하여, LDR 이미지 생성기(1030)는 입력 HDR 이미지들을 LDR 이미지들로 변환한다. LDR 인코더(1040)는 LDR 이미지들을 인코딩하고, 톤 곡선 파라미터 인코더(1050)는, 톤 맵핑 함수를 지시하는 파라미터들, 예를 들어, 확률 분포 함수 파라미터들 및 입력 이미지들의 최소 및 최대 픽셀 값들을 인코딩한다. 라그랑지안 승수를 설명하기 위한 파라미터들이 비트스트림에 지시되면, 이러한 파라미터들은 또한 톤 곡선 파라미터 인코더(1050)에 의해 인코딩될 것이다. 톤 곡선 파라미터 인코더(1050)는 독립형 모듈일 수 있거나, 또는 LDR 인코더(1040) 내에 포함될 수 있다.

도 11은, HDR 이미지들을 디코딩하기 위한 예시적인 디코더(1100)의 블록도를 도시한다. 디코더(1100)의 입력은 디코딩되는 비트스트림을 포함한다. 입력 비트스트림은 인코더(1000)에 의해 생성될 수 있다. LDR 디코더(1100)는 LDR 이미지들을 디코딩하고, 톤 곡선 파라미터 디코더(1120)는, 톤 맵핑 함수를 지시하는 파라미터들, 예를 들어, 확률 분포 함수 파라미터들 및 입력 이미지들의 최소 및 최대 픽셀 값들을 디코딩한다. 톤 곡선 파라미터 디코더(1120)는 독립형 모듈일 수 있거나, 또는 LDR 디코더(1110) 내에 포함될 수 있다.

인버스 톤 곡선 추정기(1130)는, 비트스트림으로부터 디코딩된 양자화 파라미터에 기초하여 라그랑지안 승수와 같은 파라미터들을 추정하고, 예를 들어, 수식 (4)를 이용하여 톤 맵핑 곡선을 생성한다. 인버스 톤 맵핑 곡선에 기초하여, HDR 이미지 생성기(1140)는 디코딩된 LDR 이미지들을 HDR 이미지들로 변환한다.

이제 도 12를 참조하면, 앞서 설명된 특징들 및 원리들이 적용될 수 있는 데이터 송신 시스템 또는 장치(1200)가 도시된다. 예를 들어, 데이터 송신 시스템 또는 장치(1200)는, 예를 들어, 위성, 케이블, 전화선 또는 지상 브로드캐스트와 같은 임의의 다양한 매체를 이용하여 신호를 송신하기 위한 송신 시스템 또는 전파 중계소(head-end)일 수 있다. 데이터 송신 시스템 또는 장치(1200)는 추가적으로 또는 대안적으로, 예를 들어, 저장을 위한 신호를 제공하기 위해 이용될 수 있다. 송신은 인터넷 또는 일부 다른 네트워크를 통해 제공될 수 있다. 데이터 송신 시스템 또는 장치(1200)는, 예를 들어, 비디오 컨텐츠 및 다른 컨텐츠를 생성 및 전달할 수 있다.

데이터 송신 시스템 또는 장치(1200)는 프로세서(1201)로부터 프로세싱된 데이터 및 다른 정보를 수신한다. 일 구현에서, 프로세서(1201)는 HDR 이미지들을 LDR 이미지들로 변환한다. 데이터 송신 시스템 또는 장치(1200)는, 인코더(1202), 및 인코딩된 신호를 송신할 수 있는 송신기(1204)를 포함한다. 인코더(1202)는 프로세서(1201)로부터 데이터 정보를 수신한다. 인코더(1202)는 인코딩된 신호(들)를 생성한다. 일부 구현들에서, 인코더(1202)는 프로세서(1201)를 포함하고, 따라서 프로세서(1201)의 동작들을 수행한다.

송신기(1204)는 인코더(1202)로부터 인코딩된 신호(들)를 수신하고, 인코딩된 신호(들)를 하나 이상의 출력 신호들에서 송신한다. 송신기(1204)는, 예를 들어, 인코딩된 영상들 및/또는 그에 관련된 정보를 표현하는 하나 이상의 비트스트림들을 갖는 프로그램 신호를 송신하도록 적응될 수 있다. 통상적인 송신기들은, 예를 들어, 에러-정정 코딩을 제공하는 것, 신호의 데이터를 인터리빙하는 것, 신호의 에너지를 랜덤화하는 것, 및 변조기(12012)를 이용하여 신호를 하나 이상의 캐리어들 상으로 변조하는 것 중 하나 이상과 같은 기능들을 수행한다. 송신기(1204)는, 안테나(미도시)를 포함하거나 그와 인터페이싱할 수 있다. 추가로, 송신기(1204)의 구현들은 변조기(12012)로 제한될 수 있다.

데이터 송신 시스템 또는 장치(1200)는 또한 저장 유닛(1208)에 통신가능하게 커플링된다. 일 구현에서, 저장 유닛(1208)은 인코더(1202)에 커플링되고, 인코더(1202)로부터 인코딩된 비트스트림을 저장한다. 다른 구현에서, 저장 유닛(1208)은 송신기(1204)에 커플링되고, 송신기(1204)로부터의 비트스트림을 저장한다. 송신기(1204)로부터의 비트스트림은, 예를 들어, 송신기(1204)에 의해 추가로 프로세싱된 하나 이상의 인코딩된 비트스트림을 포함할 수 있다. 상이한 구현들에서, 저장 유닛(1208)은, 표준 DVD, 블루레이 디스크, 하드 드라이브 또는 일부 다른 저장 디바이스 중 하나 이상이다.

이제 도 13을 참조하면, 앞서 설명된 특징들 및 원리들이 적용될 수 있는 데이터 수신 시스템 또는 장치(1300)가 도시된다. 데이터 수신 시스템 또는 장치(1300)는, 예를 들어, 저장 디바이스, 위성, 케이블, 전화선 또는 지상 브로드캐스트와 같은 다양한 매체를 통해 신호들을 수신하도록 구성될 수 있다. 신호들은 인터넷 또는 일부 다른 네트워크를 통해 수신될 수 있다.

데이터 수신 시스템 또는 장치(1300)는, 예를 들어, 셀폰, 컴퓨터, 셋탑 박스, 텔레비젼, 또는 인코딩된 비디오를 수신하고, 예를 들어, 디스플레이를 위해(예를 들어, 사용자에게의 디스플레이), 프로세싱을 위해 또는 저장을 위해, 디코딩된 비디오 신호를 제공하는 다른 디바이스일 수 있다. 따라서, 데이터 수신 시스템 또는 장치(1300)는, 자신의 출력을, 예를 들어, 텔레비젼의 스크린, 컴퓨터 모니터, 컴퓨터에 (저장, 프로세싱 또는 디스플레이를 위해) 또는 일부 다른 저장, 프로세싱 또는 디스플레이 디바이스에 제공할 수 있다.

데이터 수신 시스템 또는 장치(1300)는, 예를 들어, 본 출원의 구현들에서 설명된 신호들과 같은 인코딩된 신호를 수신하기 위한 수신기(1302)를 포함한다. 수신기(1302)는, 예를 들어, 도 12의 데이터 송신 시스템(1200)으로부터 출력되는 신호를 수신할 수 있다.

수신기(1302)는, 예를 들어, 인코딩된 영상들을 표현하는 복수의 비트스트림들을 갖는 프로그램 신호를 수신하도록 적응될 수 있다. 통상적인 수신기들은, 예를 들어, 변조되고 인코딩된 데이터 신호를 수신하는 것, 하나 이상의 캐리어들로부터의 데이터 신호를 복조기(1304)를 이용하여 복조하는 것, 신호의 에너지를 디랜덤화하는 것, 신호의 데이터를 디인터리빙하는 것, 신호를 에러-정정 디코딩하는 것 중 하나 이상과 같은 기능들을 수행한다. 수신기(1302)는, 안테나(미도시)를 포함하거나 그와 인터페이싱할 수 있다. 수신기(1302)의 구현들은 복조기(1304)로 제한될 수 있다.

데이터 수신 시스템 또는 장치(1300)는 디코더(1306)를 포함한다. 수신기(1302)는 수신된 신호를 디코더(1306)에 제공한다. 수신기(1302)에 의해 디코더(1306)에 제공되는 신호는 하나 이상의 인코딩된 비트스트림들을 포함할 수 있다. 디코더(1306)는, 예를 들어, 비디오 정보를 포함하는 디코딩된 비디오 신호들과 같은 디코딩된 신호를 출력한다. 디코더(1306)는, 예를 들어, 도 11에 설명된 디코더(1100)일 수 있다.

데이터 수신 시스템 또는 장치(1300)는 또한 저장 유닛(1307)에 통신가능하게 커플링된다. 일 구현에서, 저장 유닛(1307)은 수신기(1302)에 커플링되고, 수신기(1302)는 저장 유닛(1307)으로부터의 비트스트림에 액세스한다. 다른 구현에서, 저장 유닛(1307)은 디코더(1306)에 커플링되고, 디코더(1306)는 저장 유닛(1307)으로부터의 비트스트림에 액세스한다. 상이한 구현들에서, 저장 유닛(1307)으로부터 액세스된 비트스트림은 하나 이상의 인코딩된 비트스트림들을 포함한다. 상이한 구현들에서, 저장 유닛(1307)은, 표준 DVD, 블루레이 디스크, 하드 드라이브 또는 일부 다른 저장 디바이스 중 하나 이상이다.

일 구현에서, 디코더(1306)로부터의 출력 데이터는 프로세서(1308)에 제공된다. 일부 구현들에서, 디코더(1306)는 프로세서(1308)를 포함하고, 따라서 프로세서(1308)의 동작들을 수행한다. 다른 구현들에서, 프로세서(1308)는, 예를 들어, 셋탑 박스 또는 텔레비젼과 같은 다운스트림 디바이스의 일부이다.

본원에서 설명되는 구현들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 오직 단일 형태의 구현의 상황에서 논의되는(예를 들어, 오직 방법으로서만 논의되는) 경우에도, 논의되는 특징들의 구현은 또한 다른 형태들(예를 들어, 장치 또는 프로그램)로 구현될 수 있다. 장치 및 그에 포함되는 구성요소들, 예를 들어, 프로세서, 인코더 및 디코더는, 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능 로직 디바이스를 포함하는 일반적인 프로세싱 디바이스들을 지칭하는, 예를 들어, 프로세서와 같은 장치로 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인 휴대 정보 단말("PDA들"), 및 최종 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 원리들의 "일 실시예" 또는 "실시예" 또는 "일 구현" 또는 "구현" 뿐만 아니라 이들의 다른 변화예들에 대한 참조는, 실시예와 관련하여 설명되는 특정한 특징, 구조, 특성 등이 본 원리들의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, 본 명세서 전반에 걸친 다양한 위치들에서 등장하는 구 "일 실시예에서" 또는 "실시예에서" 또는 "일 구현에서" 또는 "구현에서" 뿐만 아니라 다른 변화예들은 모두 반드시 동일한 실시예를 참조할 필요는 없다.

추가적으로, 본 출원 또는 본 출원의 청구항들은, 정보의 다양한 조각들을 "결정"하는 것을 참조할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것 또는 메모리로부터 정보를 조회하는 것 중 하나 이상을 포함할 수 있다.

추가적으로, 본 출원 또는 본 출원의 청구항들은, 정보의 다양한 조각들에 "액세스"하는 것을 참조할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 조회하는 것, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

추가적으로, 본 출원 또는 본 출원의 청구항들은, 정보의 다양한 조각들을 "수신"하는 것을 참조할 수 있다. 수신하는 것은, "액세스하는 것"에서와 같이 광의의 용어로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것 또는 (예를 들어, 메모리로부터) 정보를 조회하는 것 중 하나 이상을 포함할 수 있다. 추가적으로, "수신하는 것"은 통상적으로, 예를 들어, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것 또는 정보를 추정하는 것과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.

본 기술분야의 통상의 기술자에게 자명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 운반하도록 포맷된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 설명된 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는, 설명된 실시예의 비트스트림을 운반하도록 포맷될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 이용하는) 전자기 파로서 또는 기저대역 신호로서 포맷될 수 있다. 포맷은, 예를 들어, 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림과 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 공지된 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수 있다.

Claims

HDR(High Dynamic Range) 이미지들을 디코딩하기 위한 방법으로서,
HDR 이미지들이 포함된 비트스트림에 액세스하는 단계;
상기 비트스트림으로부터 LDR(Low Dynamic Range) 이미지들을 디코딩하는 단계(920);
상기 비트스트림으로부터의 정보에 액세스하는 단계(920) ―액세스된 정보는, 상기 LDR 이미지들을 인코딩하기 위해 이용된 파라미터를 포함함―; 및
액세스된 파라미터에 대한 응답으로 상기 LDR 이미지들로부터 상기 HDR 이미지들을 생성하는 단계(940)
를 포함하는, HDR 이미지들을 디코딩하기 위한 방법.
제1항에 있어서,
상기 액세스된 정보는 인버스 톤 맵핑 함수를 지시하고,
상기 액세스된 정보에 대한 응답으로 상기 인버스 톤 맵핑 함수를 생성하는 단계(930)를 더 포함하고,
상기 HDR 이미지들을 생성하는 단계는, 상기 인버스 톤 맵핑 함수에 대한 응답인, HDR 이미지들을 디코딩하기 위한 방법.
제1항에 있어서,
상기 액세스된 파라미터는 양자화 파라미터인, HDR 이미지들을 디코딩하기 위한 방법.
제1항에 있어서,
상기 액세스된 정보는, 디코딩되는 상기 HDR 이미지들에 대응하는 원래의 HDR 이미지들의 동적 범위를 지시하는 파라미터들을 포함하는, HDR 이미지들을 디코딩하기 위한 방법.
제1항에 있어서,
상기 액세스된 정보는, 디코딩되는 상기 HDR 이미지들에 대응하는 원래의 HDR 이미지들의 확률 분포 함수를 지시하는 파라미터들을 더 포함하는, HDR 이미지들을 디코딩하기 위한 방법.
HDR(High Dynamic Range) 이미지들을 인코딩하기 위한 방법으로서,
상기 HDR 이미지들 및 적어도 하나의 인코딩 파라미터에 대한 응답으로 톤 맵핑 함수를 결정하는 단계(840);
상기 톤 맵핑 함수에 대한 응답으로 상기 HDR 이미지들로부터 LDR 이미지들을 결정하는 단계(850); 및
상기 결정된 톤 맵핑 함수를 지시하는 정보 및 상기 결정된 LDR 이미지들을 인코딩하는 단계(860)
를 포함하고,
상기 적어도 하나의 인코딩 파라미터는, 상기 LDR 이미지들을 인코딩하기 위해 이용되는, HDR 이미지들을 인코딩하기 위한 방법.
제6항에 있어서,
상기 적어도 하나의 인코딩 파라미터는 양자화 파라미터를 포함하는, HDR 이미지들을 인코딩하기 위한 방법.
제7항에 있어서,
상기 톤 맵핑 함수를 결정하는 단계는, 상기 양자화 파라미터에 대한 응답으로 라그랑지안(Lagrangian) 승수를 결정하는 단계를 포함하는, HDR 이미지들을 인코딩하기 위한 방법.
제6항에 있어서,
상기 톤 맵핑 함수를 결정하는 단계는, 상기 HDR 이미지들의 동적 범위 및 상기 HDR 이미지들의 확률 분포 함수 중 적어도 하나를 결정하는 단계를 포함하는, HDR 이미지들을 인코딩하기 위한 방법.
제6항에 있어서,
상기 톤 맵핑 함수를 결정하는 단계는 레이트 왜곡 함수에 대한 응답인, HDR 이미지들을 인코딩하기 위한 방법.
HDR(High Dynamic Range) 이미지들을 디코딩하기 위한 장치(1100)로서,
HDR 이미지들이 포함된 비트스트림으로부터 LDR(Low Dynamic Range) 이미지들을 디코딩하도록 구성되는 디코더(1110);
상기 비트스트림으로부터의 정보에 액세스하도록 구성되는 프로세서(1110, 1120) ―액세스된 정보는, 상기 LDR 이미지들을 인코딩하기 위해 이용된 파라미터를 포함함―; 및
액세스된 파라미터에 대한 응답으로 상기 LDR 이미지들로부터 상기 HDR 이미지들을 생성하도록 구성되는 HDR 이미지 생성기(1140)
를 포함하는, HDR 이미지들을 디코딩하기 위한 장치.
제11항에 있어서,
상기 액세스된 정보는 인버스 톤 맵핑 함수를 지시하고,
상기 액세스된 정보에 대한 응답으로 상기 인버스 톤 맵핑 함수를 생성하도록 구성되는 인버스 톤 곡선 추정기(1130)를 더 포함하고,
상기 HDR 이미지 생성기는, 상기 인버스 톤 맵핑 함수에 대한 응답으로 상기 HDR 이미지들을 생성하도록 구성되는, HDR 이미지들을 디코딩하기 위한 장치.
제11항에 있어서,
상기 액세스된 파라미터는 양자화 파라미터인, HDR 이미지들을 디코딩하기 위한 장치.
제12항에 있어서,
상기 액세스된 정보는, 디코딩되는 상기 HDR 이미지들에 대응하는 원래의 HDR 이미지들의 동적 범위를 지시하는 파라미터들을 포함하는, HDR 이미지들을 디코딩하기 위한 장치.
제12항에 있어서,
상기 액세스된 정보는, 디코딩되는 상기 HDR 이미지들에 대응하는 원래의 HDR 이미지들의 확률 분포 함수를 지시하는 파라미터들을 더 포함하는, HDR 이미지들을 디코딩하기 위한 장치.
HDR(High Dynamic Range) 이미지들을 인코딩하기 위한 장치(1000)로서,
상기 HDR 이미지들 및 적어도 하나의 인코딩 파라미터에 대한 응답으로 톤 맵핑 함수를 결정하도록 구성되는 톤 곡선 추정기(1020);
상기 톤 맵핑 함수에 대한 응답으로 상기 HDR 이미지들로부터 LDR 이미지들을 결정하도록 구성되는 LDR 이미지 생성기(1030); 및
상기 결정된 톤 맵핑 함수를 지시하는 정보 및 상기 결정된 LDR 이미지들을 인코딩하도록 구성되는 프로세서(1040, 1050)
를 포함하고,
상기 적어도 하나의 인코딩 파라미터는, 상기 LDR 이미지들을 인코딩하기 위해 이용되는, HDR 이미지들을 인코딩하기 위한 장치.
제16항에 있어서,
상기 적어도 하나의 인코딩 파라미터는 양자화 파라미터를 포함하는, HDR 이미지들을 인코딩하기 위한 장치.
제17항에 있어서,
상기 톤 곡선 추정기는, 상기 양자화 파라미터에 대한 응답으로 라그랑지안 승수를 결정하는, HDR 이미지들을 인코딩하기 위한 장치.
제16항에 있어서,
상기 톤 곡선 추정기는, 상기 HDR 이미지들의 동적 범위 및 상기 HDR 이미지들의 확률 분포 함수 중 적어도 하나를 결정하는, HDR 이미지들을 인코딩하기 위한 장치.
제16항에 있어서,
상기 톤 곡선 추정기는 레이트 왜곡 함수에 대한 응답으로 상기 톤 맵핑 함수를 결정하는, HDR 이미지들을 인코딩하기 위한 장치.
제1항 내지 제10항 중 어느 한 항에 따라, HDR(High Dynamic Range) 이미지들을 인코딩 또는 디코딩하기 위한 명령어들이 저장된 컴퓨터 판독가능 저장 매체.
제6항 내지 제10항 중 어느 한 항에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체.