KR101356548B1

KR101356548B1 - 하이 다이나믹 레인지 코덱들

Info

Publication number: KR101356548B1
Application number: KR1020087020660A
Authority: KR
Inventors: 알렉산더 에프레모프; 라팔 만티우크; 그르제고르즈 크라우치크; 카롤 미스즈코우스키; 한스-페터 사이델
Original assignee: 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우.
Priority date: 2006-01-23
Filing date: 2006-09-07
Publication date: 2014-01-28
Also published as: KR20080107389A; US20170041626A1; EP2320653A3; JP2013153508A; HK1129181A1; ES2551561T3; US8989267B2; US10931961B2; US20180103263A1; US9544610B2; EP1989882B1; CN101371583B; EP1989882A2; EP2290983A2; WO2007082562A3; EP2320653B1; WO2007082562A2; US8611421B1; EP2988499B1; JP2009524371A

Abstract

하이 다이나믹 레인지(HDR) 이미지들을 인코딩하기 위한 방법은, 낮은 다이나믹 레인지(LDR) 이미지를 제공하고, LDR 이미지 내의 그에 상응하는 픽셀들의 값들에 기초하여, HDR 이미지 내의 픽셀들에 대한 값들을 예측하기 위한 예측 함수를 발생시키고, 그리고 HDR 이미지의 픽셀 값들과 예측된 픽셀 값들 간의 차이들에 기초하여 레지듀얼 프레임을 획득하는 것을 포함한다. LDR 이미지, 예측 함수 및 레지듀얼 프레임은 모두, 그로부터 LDR 이미지나 HDR 이미지가 재생성될 수 있는, 데이터로 인코딩될 수 있다.

Description

하이 다이나믹 레인지 코덱들{HIGH DYNAMIC RANGE CODECS}

본 발명은 이미지 데이터를 인코딩하는데 관한 것이다. 본 발명은 구체적으로 이미지들을 인코딩하기 위해 또는 비디오 데이터의 시퀀스들을 인코딩하기 위해 적용된다.

다이나믹 레인지(dynamic range)는, 이미지의 가장 밝은 부분들과 가장 어두운 부분들의 상대적인 밝기의 척도이다. 최근까지, 대부분의 텔레비젼들, 컴퓨터 모니터들, 및 다른 표시 장치들은 겨우 수백 내지 1의 다이나믹 레인지들을 재현할(reproduce) 수 있었다. 이는 인간의 육안에 의해 인식될 수 있는 다이나믹 레인지보다 훨씬 더 적은 것이다. 더 큰 다이나믹 레인지들을 갖는 표시 장치들이 구입 가능해지고 있다. 이와 같은 하이 다이나믹 레인지 표시 장치들(high dynamic range display devices)은, 종래의 "로우 다이나믹 레인지(low dynamic range)" 표시 장치들에 의해 생성되는 이미지들보다 훨씬 더 자연스럽고 사실적인 이미지들을 제공할 수 있다.

하이 다이나믹 레인지 표시 장치들은 광범위한 응용 분야들에서 이점이 있 다. 예를 들어, 하이 다이나믹 레인지 표시 장치들은, 영화 및 게임 영상부들(visuals)에서부터, 모의 비행장치들(flight simulators)과 같은 시뮬레이터들의 영상 표시들까지의 범위에서 사실적인 비디오 이미지들을 표시하기 위해 사용될 수 있다. 하이 다이나믹 레인지 표시 장치들은 또한, 의료용 이미징(medical imaging)과 같은 이미지 응용을 필요로 하는 분야에 적용된다.

현재의 많은 이미지 데이터 포맷들은 픽셀마다 24 비트들 또는 더 적은 비트들을 사용하여 픽셀 값들을 규정한다(specify). 이 비트들은 픽셀에 대한 밝기와 컬러 모두를 규정한다(specify). 24 비트들은, 하이 다이나믹 레인지 표시 장치가 재현할 수 있는 범위에 걸쳐서 순조롭게 변화될 수 있는 밝기와 전체 범위의 컬러들 두 가지 모두를 규정하기에는 너무 적다. 하이 다이나믹 레인지 디스플레이 장치의 이점을 전부 누리기 위해, 광범위한 픽셀 값들을 규정할 수 있는 이미지 데이터를 제공하는 것이 필요하다. 픽셀마다 더 많은 수의 비트들을 제공하는, 다양한 하이 다이나믹 레인지 데이터 포맷들이 개발되거나 제안되어 왔다. 이러한 하이 다이나믹 레인지 데이터 포맷들은 더 낮은 다이나믹 레인지의 종래의 데이터 포맷들과는 역 호환성이지(backward compatible) 않은 것이 일반적이다.

예를 들어, "Perception-motivated high dynamic range video encoding."[R. Mantiuk, G. Krawczyk, K. Myszkowski, 및 H-P. Seidel., ACM Transactions on Graphics(SIGGRAPH 2004 학회지), 23(3):730- 38, 2004]에 기술된, HDRV "인지-동인 HDR 비디오 인코딩(perception-motivated HDR Vedio Encoding)" 방법은 손실이 많은 HDR 비디오 압축 방법인데, 역 호환성이 제공되지 않는다. 이 방법은, 루미넌 스(luminance)를 위해 11 비트들을, 그리고 크로미넌스(chrominance)를 위해 두 배의 8 비트들을 사용하여 HDR 픽셀들을 인코딩한다. 그 결과로서의 비디오 스트림은 LDR 프레임들에 대한 어떠한 정보도 포함하지 않는다.

JPEG HDR 방법이, "Subband encoding of high dynamic range imagenery"[2004년도 1차 APGV(Applied perception in graphics and visualization) 심포지움 학회지, 페이지 83-90, 뉴욕, 미국, 2004. ACM Press]에 기술되어 있다. 이 방법은 서브밴드 레이어(subband layer)를 서브-샘플링하는(sub-sample) 것을 포함하는 방법인데, 고주파의 손실을 일으킬 수 있다. 이를 막기 위해, 이 방법은 다음의 세 가지의 접근법을 제안한다: 서브-샘플링 때문에 소실될 수 있는 고주파를 이 레이어 내에 인코딩하기 위한 LDR 레이어의 사전-보정(pre-correction); LDR 이미지를 수정하는(modify) 대신에, 소실된 고주파를 복원하는 사후-보정(post-correction), 그리고 서브-샘플링이 수행되지 않음을 의미하는, 전수-샘플링(full-sampling).

HDR 이미지들, 특히 HDR 비디오 이미지들을 인코딩하고 디코딩하기 위한 실질적인 방법들 및 장치들이 아직도 필요하다. 더 낮은 다이나믹 레인지 이미지들을 재현하기 위한 현재의 하드웨어와의 역 호환성을 제공하는 그러한 방법들 및 장치들이 특히 필요하다.

발명의 요약

본 발명은, 하이 다이나믹 레인지 이미지 데이터를 인코딩하고, 더 낮은 다이나믹 레인지 이미지 데이터와 더 높은 다이나믹 레인지 이미지 데이터 모두를 제공하기 위해, 이 데이터를 디코딩하기 위한 방법들과 장치들을 제공한다. 이 방법들과 장치들은 비디오 데이터를 인코딩하는데 적용될 수 있다. 본 발명의 몇몇 구체예들에서, 더 낮은 다이나믹 레인지 데이터가 MPEG(Motion Pictures Experts Group) 포맷과 같은 표준 포맷으로 인코딩된다.

본 발명의 하나의 측면은, 하이 다이나믹 레인지 이미지를 인코딩하기 위한 방법을 제공하는 것이다. 이 방법은, 하이 다이나믹 레인지 이미지와 상응하는 더 낮은 다이나믹 레인지 이미지를 획득하고; 그에 대해 더 낮은 다이나믹 레인지 이미지 내의 상응하는 픽셀들 모두가 동일한 픽셀 값을 갖는, 하이 다이나믹 레인지 이미지 내의 픽셀들의 군들을 식별하고; 복수의 픽셀 군들 각각에 속하는 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들에 적어도 부분적으로 기초하는 예측 함수(prediction function)를 생성하고; 예측된 이미지를 획득하기 위해, 이 예측 함수를 더 낮은 다이나믹 레인지 이미지에 적용하고; 예측된 이미지 내의 픽셀 값들과 하이 다이나믹 레인지 이미지 내의 상응하는 픽셀 값들 간의 차이들을 나타내는 잔상(residual image)을 컴퓨터 계산하고; 그리고, 더 낮은 다이나믹 레인지 이미지, 예측 함수, 및 잔상을 나타내는 데이터를 인코딩 및 저장하는 단계를 포함하여 구성된다.

본 발명의 다른 측면들은, 본 발명에 의하여 인코딩된 하이 다이나믹 레인지 이미지들을 디코딩하기 위한 방법들과, 하이 다이나믹 레인지 이미지들을 인코딩 및/또는 디코딩하기 위한 장치를 제공한다.

본 발명의 또 다른 측면들과, 본 발명의 특정한 구체예들의 특징들을 아래에서 설명한다.

본 발명의 비제한적 구체예들을 도시한 도면들로서,

도 1은, 본 발명의 하나의 구체예에 의한 인코딩 방법을 도시한 흐름도이고 ;

도 1A는, 그에 상응하는 더 낮은 다이나믹 레인지 버젼 내의 픽셀들이 모두 동일한 픽셀 값을 갖는, 하이 다이나믹 레인지 이미지로부터의 픽셀 값들의 히스토그램(histogram)이고;

도 2는, 본 발명에 의한 하나의 디코딩 방법을 도시한 흐름도이고;

도 3는, 하나의 특정 구체예에 의한 MPEG 인코딩 방법을 도시한 흐름도이고;

도 4A 내지 도 4F는, 다양한 톤 맵핑(tone mapping) 알고리즘들에 대한, 상응하는 HDR 이미지들과 LDR 이미지들 내의 루마(luma) 값들 간의 상관 관계를 나타내는 도면이고;

도 5는, 본 발명의 하나의 구체예에 의한, 잔상 이미지 데이터를 필터링하기 위한 방법을 나타내는 도면이고; 그리고,

도 6은, 하나의 프로토타입 인코딩 시스템을 위한 이미지 품질 파라미터로서의 비트 레이트(bit rate)를 도시한 도면이다.

발명의 설명

다음의 상세한 설명 전반에 걸쳐, 본 발명에 대한 보다 철저한 이해를 제공하기 위해 구체적인 사항들이 기술되어 있다. 그러나, 본 발명은 이러한 특정 사항들을 벗어나서 실시될 수 있다. 다른 경우들에서, 본 발명을 불필요하게 불분명하게 하는 것을 피하기 위해, 잘 알려진 요소들을 도시하지 않거나 상세히 설명하지 않을 수 있다. 따라서, 본 명세서 및 도면들은 한정적이기보다는 예시적인 의미로 받아들여져야 한다.

도 1은, 본 발명의 하나의 기본적 구체예에 의해 한 프레임의 이미지 데이터를 인코딩하기 위한 방법 (10)을 나타낸다. 방법 (10)은, 하이 다이나믹 레인지(HDR) 데이터 (12)와 더 낮은 다이나믹 레인지(LDR) 데이터 (14) 모두를 인코딩된 이미지 데이터 (38)로 인코딩한다. 아래에 설명되는 바와 같이, 인코딩된 이미지 데이터 (38)는 LDR 데이터와 HDR 데이터 모두를 재구성하도록(reconstruct) 디코딩될 수 있다.

단지 예시적으로, HDR 데이터 (12)는, 각 픽셀의 컬러와 밝기가 세 부동 소수들(three floating point numbers)로 규정되는 절대 CIE XYZ(2E 표준 관찰자) 색 공간(color space)과 같은, 색 공간에 나타낼 수 있다. LDR 데이터 (14)는, 각 픽셀의 컬러와 밝기가 3 바이트들로 규정되는 sRGB 색 공간과 같은, 색 공간에 나타낼 수 있다. 몇몇 구체예들에서, LDR 데이터 (14)는, 적절한 다이나믹 레인지 감축 처리(reduction process) (16)에 의해 HDR 데이터 (12)(또는 HDR 데이터 (12)의 프리커서(precusor))로부터 유도된다.

다이나믹 레인지 감축은, 예를 들어, 톤 맵핑(tone mapping) 및/또는 색역사상(gamut mapping)을 포함하여 구성될 수 있다. 적절한 톤 맵핑 오퍼레이터나 색역 사상이 사용될 수 있다. 예를 들어, 톤 맵핑 오퍼레이터는, 루미넌스와 컬러 모두를 포화시키고(saturate), 컬러 값들(color values)을 변경하고, 그리고 국부 명암대비(local contrast)를 증강시키기 위해 선택될 수 있다. 이러한 변화가 압축률을 더 낮출 수 있지만, LDR과 HDR 프레임들 모두가 결과물인 비디오 스트림 내에 보존될 것이다.

블록 (18)에서, 이 방법 (10)은 하나의 예측 함수(prediction function) (19)를 확립한다. 예측 함수 (19)는, LDR 데이터 (14) 내의 상응하는 픽셀에 대한 픽셀 값에 기초하여, HDR 데이터 (12) 내의 하나의 픽셀에 대한 예측된 픽셀 값을 출력으로서 제공한다. 인코딩된 이미지 데이터 (38)로부터 HDR 데이터 (12)와 LDR 데이터 (14)를 재현할 수 있는 것이 목표이므로, 예측 함수 (19)가, 인코딩된 이미지 데이터 (38)로부터 재구성될 수 있는, LDR 데이터 (14)의 버젼에 기초하게 하는 것이 바람직하다.

손실이 많은 알고리즘을 사용하여 LDR 데이터 (14)가 인코딩 및 압축되는 경우에는, LDR 데이터 (14)의 재구성된 버젼이 원래의 LDR 데이터 (14)와 동일할 것이라고 장담할 수 없다. 이러한 이유들로, 도 1은 블록 (19)이 재구성된 LDR 데이터 (26)를 입력으로서 수신하는 것을 보여준다. 인코딩되고 압축된 LDR 데이터 (22)를 제공하기 위해, 블록 (20)에서 LDR 데이터 (14)를 인코딩/압축함으로써, 그리고 다음으로, 인코딩되고 압축된 LDR 데이터 (22)를 블록 (24)에서 디코딩/압축해제(복원)함으로써, 재구성된 LDR 데이터 (26)를 얻는다. 인코딩되고 압축된 LDR 데이터 (22)는 인코딩된 이미지 데이터 (38)에 포함된다. 라인 (15)은, 예측 함수 (19)를 확립하기 위해, 블록 (18)이 LDR 데이터 (14)를 직접 사용하는 덜 정확한 대안을 도시한다.

예측 함수 (19)가, 재구성된 LDR 데이터 (26) 내의 픽셀 값들과 HDR 데이터 (12) 내의 상응하는 픽셀 값들 간의 통계적 상관관계들을 이용하는 것이 바람직하다. 일반적으로, 동일한 특정 픽셀 값을 가지는, 재구성된 LDR 이미지 (26) 내의 모든 픽셀들을 취할지라도, HDR 이미지 데이터 (12) 내의 상응하는 픽셀들이 모두 동일한 픽셀 값을 갖지는 않을 것이다. 즉, 일반적으로, LDR 픽셀 값들과 HDR 픽셀 값들 간에는 1-대-다수의 상관관계가 있다.

도 1A는, 수평축이 모든 가능한 HDR 픽셀 값들의 범위에 있고, 수직축이 HDR 이미지 데이터 (12)에 의해 나타내어진 이미지 내의 얼마나 많은 픽셀들이 그 값을 갖는 지를 나타내는 히스토그램이다. 이미지에 그 값을 갖는 픽셀들이 전혀 없는, 상당한 수의 픽셀 값들이 있을 수 있다. 도 1A의 칠하여진 막대들은, 재구성된 LDR 이미지 데이터 (26) 내의 상응하는 픽셀들이 모두 동일한 픽셀 값 (X_LDR)을 가지는, HDR 이미지 데이터 (12) 내의 픽셀들의 값들을 나타낸다. LDR 픽셀 값 (X_LDR)에 상응하는 HDR 픽셀 값들은 A에서 B까지의 범위에 있다. 재구성된 LDR 이미지 데이터 (26) 내의 동일한 픽셀 값에 상응하는 픽셀들에 있어서의 HDR 픽셀 값들 모두를 하나의 빈(bin)으로 부를 수 있다. 상이한 빈들은 중첩되지 않는 것이 일반적이지만, 강제적인 것은 아니다.

이미지에 대한 예측 함수 (19)는, HDR 이미지 데이터 (12) 및 재구성된 LDR 이미지 데이터 (26)로부터 HDR 픽셀 값들을 빈들(bins) 별로 모으고, 이 빈들 각각을 통계적으로 분석함으로써 얻을 수 있다. HDR 픽셀 값들을 빈들에 모으는 것은 다음을 포함하여 구성될 수 있다:

$ 재구성된 LDR 이미지 데이터 (26)를 취하고, 재구성된 LDR 이미지 데이터 (26) 내에 나타내어진 각 픽셀 값에 대해, 그 픽셀 값을 갖는 모든 픽셀들의 세트를 식별하는 것;

$ 각 LDR 픽셀 값에 상응하는 모든 HDR 픽셀 값들의 한 세트를 제공하기(yield) 위해, 이 픽셀들의 세트들 각각에 대해, HDR 데이터 (12) 내의 상응하는 픽셀들을 식별하고, 그 상응하는 픽셀들의 픽셀 값들을 결정하는(determining) 것.

예측 함수 (19)는 다음 중 어떠한 방식에 의해서도 얻을 수 있다:

각 빈 내의 HDR 픽셀 값들의 산술 평균을 구하는 것;

각 빈 내의 HDR 픽셀 값들의 중앙값(median)을 구하는 것;

빈의 범위를 정하는(delimit) 값들인 A와 B의 평균을 구하는 것;

이들의 어떠한 조합; 또는

이와 동등한 것.

많은 응용분야들에 있어서, 산술 평균법이, 정확성과 컴퓨터 계산 효율성의 양호한 조합을 제공한다고 믿어진다.

예측 함수 (19)가 주어지면, 예측 함수 (19)에 의해 예측된 값들과 HDR 이미지 데이터 (12)로부터의 실제 값들 간의 차이들을 인코딩하는 것이 필요할 뿐이다. 이와 같은 차이들은 대개 0에 가까워서, 그러므로 레지듀얼 프레임들(residual frames) 내에 효율적으로 압축될 수 있다.

예측 함수 (19)는, LDR 데이터 (14) 내의 가능한 픽셀 값들(픽셀 값들이 8-비트 수로 나타내어지는 경우에는 256개 값들)에 대해서만 정의될 필요가 있다. 예측 함수 (19)는 LDR 픽셀들에 대해 유효한 값들에 의해 인덱싱되는(indexed) 룩업 테이블(lookup table)을 포함하여 구성될 수 있다. 예측 함수 (19)는 각 인덱스 값과 상응하는 하나의 출력 값을 가진 룩업 테이블로서 구현될 수 있다. 예를 들어, LDR 픽셀들이 8-비트 값들을 가지는 경우에, 룩업 테이블은 1 내지 256의 범위에 있는 정수들에 의해 인덱싱된 256 개의 상이한 값들을 포함할 수 있다. 예측 함수 (19)는, 그것의 주된 역할이 레지듀얼 프레임들의 값들을 가능한 한 작게 만드는 것이므로, 연속적일 필요는 없다. 이와 달리, 예측 함수 (19)는, 부분적으로 또는 전체적으로, 적절히 파라미터화된 연속적인 곡선으로 나타내어질 수 있다.

블록 (28)에서, 이 방법 (10)은 재구성된 LDR 데이터 (26)에 예측 함수 (19)를 적용함으로써 예측된 HDR 이미지를 획득한다. 재구성된 LDR 데이터 (26)의 각 픽셀에 대한 픽셀 값은 입력으로서 예측 함수 (19)에 가해지고, 이 픽셀 값은, 예측된 HDR 이미지 (29)를 제공하기 위해, 예측 함수 (19)로부터의 결과 출력으로 대 체된다.

블록 (30)은, 잔상 (32)을 제공하기 위해, 예측된 HDR 이미지 (29)와 HDR 데이터 (12)의 이미지 간의 차이를 컴퓨터 계산한다. 잔상 (32)은 블록 (34)에서 인코딩/압축되어, 잔상 데이터 (35)로서 인코딩된 이미지 데이터 (38)에게로 출력된다. 블록 (34)은, 인코딩된 이미지 데이터 (38)로부터, 재구성된 HDR 이미지의 신뢰성에 대해 식별가능한 영향을 갖지 못할 정보를(또는, 보다 더 적극적인 필터링 및/또는 양자화(quantization)로써 과도하게 해로운 영향을) 제거하기 위해, 잔상 (32)을 필터링 및 양자화하는 것을 포함하여 구성될 수 있다.

도 2는, 인코딩된 이미지 데이터 (38)를 디코딩하기 위한 하나의 방법 (40)을 나타낸다. LDR 데이터 출력 (44)으로서 출력되는 LDR 데이터 (43)를 제공하기 위해, LDR 데이터 (22)는 인코딩된 이미지 데이터 (38)로부터 추출되어, 블록 (32)에서 디코딩/압축해제될 수 있다. 만일 LDR 데이터 출력 (44)이 필요한 전부라면, 그 경우에는 추가적인 처리가 행해질 필요가 없다.

만일 HDR 데이터 출력 (56)이 또한 필요하면, 그 경우에는, 예측 함수 (47)를 제공하기 위해, 예측 함수 (37)가 블록 (46)에서 디코딩되고, 잔상 (52)을 제공하기 위해, 잔상 데이터 (35)가 블록 (50)에서 디코딩/압축해제된다.

블록 (48)에서, 예측 함수 (47)가, 예측된 HDR 이미지 (49)를 제공하기 위해, LDR 데이터 (43)에 적용된다. 블록 (54)에서, 예측된 HDR 이미지 (49)가, HDR 데이터 출력 (56)을 제공하기 위해, 잔상 (52)과 결합된다. 도 2에 나타낸 바와 같이 작동하는 디코더는, HDR 데이터 출력부 (56)에 고품질 HDR 데이터를 제공하는 한편, LDR 데이터 출력부 (44)를 필요로 하는 시스템들 및 장치들과 역-호환될 수 있다.

방법 (10) 및 방법 (40)은 다음에 의해 수행될 수 있다:

$ 데이터 프로세서들로 하여금 이 방법들을 실시하도록(implement) 만드는 소프트웨어를 실행하는 하나 또는 그보다 많은 마이크로프로세서들, 디지털 신호 프로세서들, 이들의 어떠한 조합, 또는 그 동등물을 포함하여 구성될 수 있는, 프로그램된 데이터 프로세서들;

$ 하드웨어 회로들, 예를 들어, 이 방법을 실시하기 위해 협력하는 기능적인 블록들을 포함하고, 예를 들어, 적절하게 구성된 현장-프로그램가능 게이트 어레이들("FPGAs") 또는 주문형 집적 회로들("ASICs": application-specific integrated circuits)을 포함하여 구성될 수 있는 회로들; 또는,

$ 프로그램된 데이터 프로세서들에서 이 방법들의 몇몇 부분들을, 그리고 적절한 하드웨어 회로들에서 이 방법들의 다른 부분들을 수행하는 것.

도 3은, 하나의 보다 더 구체적인 예시적 구체예에 의한 방법 (70)을 나타낸다. 이 방법 (70)은, MPEG(Motion Pictures Experts Group) 표준에 의해 설정된 표준에 따르는 방법으로 비디오 프레임들을 인코딩한다. 이 방법 (70)은 비디오 데이터의 두 개의 인입 스트림들을 수신한다. HDR 프레임들 (74)을 포함하는 하나의 스트림이 입력부 (72)에서 수신된다. LDR 프레임들 (76)을 포함하는 하나의 스트림은 입력부 (78)에서 수신된다. LDR 프레임들 (76)은 입력부 (78)로부터 상부의 HDR 프레임들 (74) 업스트림 또는 HDR 프레임들 (74)의 어떤 프리커서(precusor)로부터 유도될 수 있다.

도 3에 나타낸 바와 같이 작동하는 인코더는, 다음의 세 가지 압축된 스트림들을 생성한다: MPEG와 완전히 호환성인 LDR 스트림 (80); LDR 프레임들 (76)과 이에 상응하는 HDR 프레임들 (74) 간의 차이들을 포함하는 레지듀얼 스트림 (82); 그리고 HDR 프레임들 (74)을 재구성하기 위한 보조 데이터(auxiliary data)를 포함하는 보조 스트림 (84). 최고의 성능은, 레지듀얼 스트림 (82)과 보조 스트림 (84)이 LDR 스트림 (80) 내에 인코딩된 정보를 되풀이하지(duplicate) 않는 때에 달성될 수 있다.

LDR 프레임들 (76)은 적절한 인코더를 사용하여 블록 (88)에서 인코딩된다. 예를 들어, 블록 (88)은 ISO/IEC 14496-2 표준과 호환성인 MPEG 비디오 인코더를 사용할 수 있다. 다른 비디오 인코더들이 그 대신에 사용될 수 있다. 그 결과로서의 비디오 스트림은, 현재의 소프트웨어에 의해 인식되고 재생될 수 있도록, AVI(Audio Vedio Interleave) 또는 QuickTime^TM과 같은 적절한 미디어 컨테이너 포맷(media container format)으로 캡슐화될(encapsulated) 수 있다.

블록 (90)에서, MPEG 인코딩된 LDR 프레임들이 디코딩된다. 컴퓨터 계산을 최소화하기 위해, 블록 (90)에서의 디코딩은 블록 (88)에서 사용된 MPEG 인코더에 의해 수행될 수 있다. MPEG 인코더들은 모션 벡터들(motion vectors)을 예측하는데(estimating) 사용하기 위해 프레임들을 내부적으로 디코딩하는 것이 일반적이다. 블록 (90)은, MPEG 인코더에 의해 발생된 디코딩된 프레임들을 액세스(access) 하는 것을 포함하여 구성될 수 있다. 이와 달리, 블록 (90)은 블록 (88)과는 독립적으로 수행될 수 있다.

블록 (90)으로부터의 출력은, MPEG이 손실이 많은 압축 방법이므로, 블록 (88)에 대한 입력과 상이한 것이 일반적일 것이다. MPEG 인코딩된 다음에 디코딩된 LDR 프레임들은 원래의 LDR 프레임들과 완전히 동일하지 않고, 압축 가공물들(compression artifacts)을 포함한다.

블록들 (92A 및 92B)에서, 상호 호환성인 색 공간들에 나타내어지는 LDR 프레임들 및 HDR 프레임들을 제공하기 위해, 필요하면, LDR 프레임들 (76)과 HDR 프레임들 (74) 중 하나 또는 모두의 색 공간들이 변환된다(transformed). 만일 변환이 있다면, 블록들 (92A 및 92B)에서 어떠한 변환이 수행될 것인가는 인입되는 LDR 프레임들 (76) 및 HDR 프레임들 (74)의 색 공간들에 좌우된다. 몇몇 경우들에서는, 블록들 (92A 및 92B)은 필요하지 않다. 다른 경우들에서는, 블록들 (92A 및 92B) 중 하나만 필요하다.

HDR 및 LDR 색 공간들은, LDR와 HDR 색 공간들 모두의 컬러 채널들이 대략적으로 동일한 정보를 나타낼 때 호환성이다. HDR과 LDR 색 공간들이 지각적으로 통일적인(perceptually uniform) 것이 또한 바람직하다. 지각적인 통일성은 산술적인 차이들보다는 지각적인 차이들에 의한 컬러 차이들에 대한 예측을 용이하게 한다. 비록 전체 가시성 컬러 개멋(full visible color gamut)이 현재의 디스플레이 장치들 상에 표시될 수는 없지만, HDR 색 공간이 넓은 컬러 개멋(색상 전반)을, 이상적으로는 전체 가시성 컬러 개멋을 보존하는 것이 또한 바람직하다.

발명자들은, HDR 이미지 데이터를 나타내는데 사용하기 위한 우수한 색 공간은, CIE 1976 UCS(Uniform Chromacity Scales) (u_o, v_o)의 sRGB 색 공간의 감마 보정(gamma correction)과의 조합이라고 생각한다. 다른 색 공간들 또한 사용될 수 있다. 하나의 예에서, 인입되는 LDR 프레임들 (76)은 sRGB 색 공간에 나타내어지고, 그 반면 인입되는 HDR 프레임들 (74)은 CIE XYZ(2E 표준 관찰자) 색 공간에 나타내어진다. 이러한 경우에서, 블록 (92A)은 LDR 픽셀들을 sRGB 색 공간으로부터 l_ldru_ldrv_ldr 공간으로 전환하는(converting) 것을 포함하여 구성된다. 이것은, CIE XYZ 컬러 좌표들을 컴퓨터 계산한 다음에, 이 XYZ 값들로부터 u'와 v' 좌표들과 루마(luma)를 계산함으로써 수행될 수 있다. XYZ 값들은, IEC 61966-2-1:1999(멀티미디어 시스템들 및 장치 - 컬러 측정 및 매니지먼트 - 파트 2-1: 디폴트 RGB 색 공간 - sRGB. 국제 전기 기술 표준 위원회, 1999)에 주어진 sRGB 전환식들을 사용하여 결정될 수 있다. 예를 들어, R₈ _- _비트 에 대한 8-비트 컬러 좌표는 다음과 같다:

(1)

(2)

G₈ _-비트와 B_8-비트 컬러 좌표들은, 유사하게 부동 소수 값들로 변환될 수 있고, 그 다음에 X, Y, 및 Z는 다음 방정식으로부터 결정될 수 있다:

방정식 (3)의 예시적인 매트릭스는 화이트 지점(white point) D65를 가정한 것이다. 루마는 적절한 보정된 컬러 값들을 사용하여 각 LDR 픽셀에 대해 컴퓨터 계산될 수 있다. 예를 들어, 루마는 다음에 의해 주어질 수 있다:

[상기 식에서, l_ldr은 LDR 픽셀에 대한 루마 값임]. 루마는 감마 보정이 적용된 후의 비선형 R' G' B' 성분들의 가중 합(weighted sum)이다.

색도(chromaticity)들 (u'와 v')은 다음으로부터 얻을 수 있다:

그리고

다음으로, 8-비트 수들(u_ldr과 v_ldr)은 다음과 같은 적절한 변환 인자(scaling factor)를 u'와 v' 각각에 곱함으로써 얻을 수 있다:

그리고

변환된(transformed) 색 공간에서, LDR 데이터의 각 픽셀은 픽셀 값들 l_ldr, v_ldr, u_ldr로 나타내어진다.

블록 (92B)은, LDR 픽셀 값들에 대해 위에서 설명된 바와 실질적으로 동일한 방식으로 HDR 프레임들 (74)의 컬러 값들을 변환시킬 수 있다. 일반적인 감마 보정은, HDR 프레임 내에 규정될(specified) 수 있는 루미넌스 값들의 범위에 대해서는 일반적으로 사용될 수 없다. 그러므로, 몇몇 구체예들은 인간 관찰자를 위한 콘트라스트 검출 측정값들로부터 유도된 지각적으로 균일한 루미넌스 표현을 사용한다. 이러한 공간은 LDR 픽셀 값들이 감마 보정된 공간과 유사한 성질들을 갖지만, (예를 들어 11-12 비트들을 사용하여) 루미넌스의 가시성 범위 전부를 인코딩할 수 있다.

하나의 예시적인 구체예에서, HDR 루미넌스 (y)는 다음 식에 의해 12-비트 HDR 루마(l_hdr)로 변환된다:

(9)

[상기 식에서, 상수들은 아래의 표 I에 열거되어 있음]. 그 역 변환은 다음 식에 의해 주어진다:

(10)

[상기 식에서, 방정식들 (9 및 10)에 사용된 여러 상수들은 아래의 표 I에 열거되어 있음].

표 I - 방정식들 (9 및 10)에 대한 예시적인 상수들

a	b	c	d	e	f
17.554	826.81	0.10013	-884.17	209.16	-731.28
y_l	y_h
5.6046	10469
a'	b'	c'	d'	e'	f'
0.056968	7.3014e-30	9.9872	884.17	32.994	0.00478
l_l	l_h
98.381	1204.7

블록 (94)은 HDR 이미지 데이터에 대한 예측 함수를 생성한다. 예측 함수는, LDR 이미지 데이터 내의 상응하는 픽셀에 대한 상응하는 픽셀 값에 기초하여, HDR 이미지 데이터 내의 하나의 픽셀에 대한 픽셀 값을 예측하려는 것이다. 예측 함수는, 예측 함수에 의해 예측된 값들과는 현저하게 다른 값들을 갖는 HDR 이미지 데이터 내의 픽셀들의 수를 최소화하도록 선택되는 것이 이상적이다. 예측 함수는 로그 도메인(logarithmic domain)에서 비선형적인 것이 바람직하다.

HDR 데이터 내의 색도를 나타내는 픽셀 값들이 LDR 이미지 데이터 내의 상응하는 픽셀 값들과 거의 동일한 경우들에서, 색도 픽셀 값들(예컨대, u' 및 v')에 대해 예측 함수를 컴퓨터 계산하는 것은 이점이 없다. 이와 같은 경우들에서, 밝기 값들(예컨대, 루마, 루미넌스 등)에 대해서 예측 함수를 제공하는 것이 필요할 뿐이다.

LDR 프레임들 (76) 및 HDR 프레임들 (74)은 유사한 정보를 포함하기 때문에, 이 프레임들은 강하게 상관되어(correlated) 있다. HDR 프레임들 (74)에 톤 맵핑 알고리즘을 적용함으로써 LDR 프레임들 (76)이 얻어지는 경우에, 상관관계의 특정한 성질은 어떤 톤 맵핑이 사용되었는 지에 의해 좌우된다.

도 4A 내지 도 4F는, LDR 프레임의 루마 값들이 상응하는 HDR 프레임의 루마 값들과 어떻게 관련되는 지를 나타낸다. 각각의 이들 도면은, 예시적인 HDR 이미지로부터 LDR 이미지를 유도하기 위해 상이한 톤 맵핑을 적용한다. 이들 톤 맵핑 함수들은, 낮은 값들에서 l_ldr과 l_hdr간에 선형 관계를 제공하는 것이 일반적이다. 더 높은 루미넌스 값들에 대해서는 톤 맵핑 함수들 간에 더 많은 변동(variation)이 있다. 도 4A 내지 도 4D 각각에서, LDR 루마 값들은 수평축에 찍혀 있고, HDR 루마 값들은 수직축에 찍혀 있다. X 표시된 지점들은 LDR과 HDR 이미지들 내의 상응하는 픽셀들의 픽셀 값들을 나타낸다.

도 4A 내지 도 4F는, 다음에 개시된 톤 맵핑에 각각 상응한다:

S. Pattanaik, J.E. Tumblin, H Yee, 및 D.P. Greenberg의 "사실적인 이미지 표시를 위한 시간 의존성 시각적 적응(Time dependent visual adaptation for realistic image display)"[Proceedings of ACM SIGGRAPH 2000, Computer Graphics Proceedings, Annual Conference Series, 47-54 페이지, 2000년 7월].

Erik Reinhard, Michael Stark, Peter Shirley, 및 Jim Ferwerda의 "디지털 이미지들을 위한 사진 톤 재현(Photographic tone reproduction for digital image)"[ACM Trans. on Graph., 21(3):267-276, 2002].

Fredo Durand와 Julie Dorsey의 "하이-다이나믹-레인지 이미지들의 표시를 위한 고속 양방향 필터링(Fast filtering for the display of high-dynamic-range images)"[ACM Trans. on Graph., 21(3):257-266, 2002].

Raanan Fattal, Dani Lischinski, 및 Michael Werman의 "그래디언트 도메인 하이 다이나믹 레인지 압축(Gradient domain high dynamic range compression)"[ACM Trans. on Graph., 21(3):249-256, 2002].

Frederic Drago, Karol Myszkowski, Thomas Annen, 및 Norishige Chiba의 "높은 콘트라스트 장면들을 표시하기 위한 적응성 로그 맵핑(Adaptive logarithmic mapping for displaying high contrast scenes)"[Computer Graphics Forum, proceedings of Eurographics 2003, 22(3):419-426, 2003].

Rafal Mantiuk, Karol Myszkowski, 및 Hans-Peter Seidel의 "하이 다이나믹 레인지 이미지들의 콘트라스트 처리를 위한 인지적 프레임웍(A perceptual framework for contrast processing of high dynamic range images)"[APGV '05: Proceedings of the 2nd Symposium on Applied Perception in Graphics and Visualization, 87-94 페이지, New York, NY, USA, 2005. ACM Press].

예측 함수는 위에서 설명한 바와 같이 생성될 수 있다. 예측 함수가, 상응하는 빈(bin)에 속하는 모든 HDR 픽셀들의 값들의 산술 평균으로 정의되는 경우에, 그 경우의 예측은 다음과 같이 표기될 수 있다:

[상기 식에서, Σ_i={i=1...N*l_ldr(i)=l}, l=0...255이고;

N은 프레임 내의 픽셀들의 수이고, l_ldr(i)와 l_ldr(I)는 LDR과 HDR 프레임들 각각의 i^번째 픽셀에 대한 루마 값들임] 예측 함수는 각 프레임에 대해 갱신되는 것이 바람직하다.

도 4A 내지 도 4F에서, 예측 함수들은 실선들로 도시되어 있다. 예측 함수들은, 사용된 톤-맵핑 함수는 물론이고, 이미지의 내용(image content)에 의해 좌우될 것이다. 도 4A 내지 도 4F는, 일반적인 HDR 이미지들에 대한 예측 함수들을 나타낸다. 도 4A 내지 도 4F는, 그 범위의 상당한 부분들에 걸쳐 기울기가 증가하며 천천히 변화하는 경향이 있음을 보여준다. 그러므로, 몇몇 구체예들에서, 모든 빈(bin)에 대한 예측 함수의 값들을 인코딩하는 대신에, 두 개의 연속적인 빈들에 대한 예측 함수 값들 간의 차이들이 인코딩된다. 비트들의 수를 더 줄이기 위해, 이 차이들은, 예를 들어, 블록 (95)에 나타낸 바와 같은 적응성 허프만 알고리즘(adaptive Huffman algorithm)을 사용하여 압축될 수 있다. 보조 데이터 스트림 (84)의 크기는, 몇몇 구체예들에서는 전체 스트림 크기의 1%이거나 그보다 작다. 그러므로 예측 함수의 저장 오버헤드(storage overhead)는 거의 미미할 수 있다. 예측 함수들, 또는 예측 함수들의 일부분은, 예를 들어, 파라미터화된 다항식 곡선들, 스플라인 곡선들, 또는 다른 파라미터화된 함수들과 같은 다른 방식으로 나타내어질 수 있다.

블록 (96)에서, 레지듀얼 프레임들이 컴퓨터 계산된다. 레지듀얼 프레임 각각의 픽셀 값들은, HDR 프레임의 상응하는 픽셀에 대한 픽셀 값과, LDR 프레임의 상응하는 픽셀의 픽셀 값에 예측 함수를 적용함으로써 예측된 픽셀에 대한 픽셀 값 간의 차이를 나타낸다. 블록 (96)은 각 픽셀 값(이 예에서는, l, u 및 v)에 대해 별개로 수행될 수 있다. 루미넌스 값들에 대해, 레지듀얼 프레임 내의 각 픽셀 r_l(i)은 다음과 같이 계산될 수 있고:

색도 값들에 대해, 예측 함수는 항등 함수(identity function)일 수 있으며, 그 경우에는 다음과 같다:

그리고

적절히 선택된 예측 함수가 HDR 프레임들을 인코딩하는 데이터의 양을 현저하게 감소시킬 수 있다. 이러한 감소에도 불구하고, 레지듀얼 프레임들은, 재구성된 HDR 이미지들의 품질을 가시적으로 개선시킬 수 없게 만드는 상당한 양의 노이즈를 여전히 포함할 수 있다. 이러한 노이즈를 줄이거나 제거하기 위해 레지듀얼 프레임들을 필터링함으로써 이미지 품질의 눈에 띌만한 저하를 일으키지 않고도, 압축율이 개선될 수 있다. 블록 (98)은 레지듀얼 프레임들을 필터링한다. 레지듀얼 프레임들 내의 신호는 종종 상대적으로 시인성 임계(visibility threshold)에 근접한다. 그러므로, 필터링은, 데이터로부터 재구성된 HDR 이미지들의 품질의 현저한 저하 없이, 데이터의 현저한 감소를 일으킬 수 있다.

블록 (98)의 출력은, 고주파들이 비가시성인 영역들에서 약화되어 있는 레지 듀얼 프레임이다. 도 5는, 레지듀얼 프레임들을 필터링하기 위해 적용될 수 있는 방법 (110)을 나타낸다. 방법 (110)은, 본 발명에 의한 인코딩 방법의 맥락에서 수행될 수 있을 뿐만 아니라, 이미지 내로 가시성 가공물들(visible artifacts)을 생기도록 하지 않음으로써 이미지를 나타내는 데이터의 양을 감소시키기를 바라는 다른 맥락들에 적용될 수 있다.

이어지는 설명은 루마 채널에 대해 행해지는 처리를 설명한다. 동일한 처리가 또한 크로마 채널들(chroma channels)에 적용될 수 있다. 크로마 채널들은, 예를 들어, 처리를 감소시키기 위해 그 원래의 레졀루션(resolution)의 절반으로 서브샘플링될 수 있다. 이러한 감소가 루미넌스와 크로미넌스 CSF의 차이를 대략적으로 설명한다.

방법 (110)은 하나의 레지듀얼 프레임 (112)과 이 레지듀얼 프레임을 마스킹하는 하나의 HDR 프레임 (114)을 수신한다. 블록들 (116 및 118)에서, 이산 웨이블렛 변환(DWT: Discrete Wavelet Transform)이, 마스킹 프레임 (114)과 레지듀얼 프레임 (112) 각각을 몇 개의 프리퀀시-선택성 및 방향-선택성(orientation-selective) 채널들로 분할하기 위해 사용된다. A.B. Watson의 "코르텍스 변환: 시뮬레이션된 신경 이미지들의 급속 계산(The cortex transform: Rapid computation of simulated neural images)"[Computer Vision Graphics and Image Processing, 39:311-327, 1987]에 기술된 코르텍스 변환과 같은 다른 적절한 변환들이, DWT를 대신하여 적용될 수 있다. 코르텍스 변환은 고도로 컴퓨터 계산적이어서, 만일 충분한 컴퓨터 계산 자원들이 가용하다면 매우 실용적이다.

프로토타입 구체예는, (JPEG-2000 표준에 의한 이미지들의 손실 많은 압축에 또한 사용되는) CDF 9/7 이산 웨이블렛 베이시스를 사용한다. 이러한 웨이블렛 베이시스는 원활함(smoothness)과 계산 효율을 양호하게 절충시켜 준다. 프로토타입에서, 더 성긴 스케일들(coarser scales)에서의 더 낮은 공간 프리퀀시들의 필터링은 눈에 띨만한 결함들을 초래할 수 있으므로, 세 가지 가장 미세한 스케일들의 웨이블렛 분해(decomposition)만이 사용된다.

블록 (120)에서, 콘트라스트 감도 함수(CSF: contrast sensitivity function)와 같은 함수가, 높은 공간 프리퀀시에 대한 인간 시각 시스템의 더 낮은 감도를 설명하기 위해 적용된다. CSF를 적용하는 것은, 각 밴드의 웨이블렛 계수들을 일정한 값으로 가중하는(weighting) 것을 포함한다. 1700 픽셀들의 시 거리(viewing distance)에 대한 예시적인 가중 인자들(weighting factors)이 표 2에 주어져 있다.

표 2

표 2 - CSF 계수들
스케일	LH	HL	HH
1	0.275783	0.275783	0.090078
2	0.837755	0.837755	0.701837
3	0.999994	0.999994	0.999988

인간의 시각 채널들은 제한된 위상 감도(phase sensitivity)를 가진다. 이러한 점은, 재구성된 이미지들의 눈에 띌만한 저하 없이 정보를 폐기할 추가적인 기회를 제공한다. 마스킹 신호는 웨이블렛 계수들의 값들이 가장 높은 영역들에 영향을 줄 뿐만 아니라, 인접 영역들에도 영향을 미칠 수 있다. 위상 불확정성(phase uncertainty)은, 더 많은 양의 마스킹을 보여주는 텍스쳐들(textures)과는 반대로, 또한 주변부들(edges)에서의 마스킹의 영향을 감소시킨다.

위상 불확정성은, JPEG-2000 이미지 압축에도 또한 사용되는 L₀.₂ 놈(norm)으로 모델링될 수 있다. L₀.₂ 놈은 다음에 의해 주어진다:

및 그 수학적 등가식.

[상기 식에서, Θ는 계수의 네이버후드(neighbourhood)를 의미하고(13×13 박스가 프로토타입 실시에서의 네이버후드로 사용됨), L_CSF는 CSF 인자를 적용함으로써 가중된 웨이블렛 계수이고, 그리고

는 위상 불확정성을 고려한 후의 CFS-가중된 웨이블렛 계수임].

블록 (124)은, 임계 콘트라스트(threshold contrast)가, 원래의 HDR 프레임 (114)으로부터의 마스킹 신호의 존재하에 어떻게 변화할 것인지를 예측한다. 콘트라스트 마스킹을 모델링하기 위해, 임계 상승 함수(threshold elevation function)를 사용할 수 있다. 임계 상승 함수는, 예를 들어, 다음의 식을 가질 수 있다:
(16)

삭제

프로토타입 구체예에서, 식 (16)의 상수들은 a=0.093071이고, b=1.0299이며, 그리고 c=11.535로 주어진다.

레지듀얼 프레임에 대한 각각의 CSF-가중된 계수(R_CSF)는, 원래의 HDR 프레임 (114)으로부터 계산된, 상응하는 임계 상승의 값(T_e)과 비교된다. 만일 R_CSF가 방정식 (16)의 가시성 임계(visibility threshold) (T_e)보다 작으면, 계수는, 최종 재구성된 이미지에 눈에 띌만한 변화들을 도입함이 없이, 0으로 설정될 수 있다. 이것은 다음으로 표현된다:

(17)

마지막으로, 필터링된 웨이블렛 계수들(R_filt)는 이미지 도메인으로 역으로 변환된다. 위에 제시된 사전 필터링 방법은 레지듀얼 스트림의 크기를 실질적으로 감소시킬 수 있다. 이 필터링은 계산 효율과 시각적 모델의 정확성 간의 합리적인 절충 방법이다. 본 명세서에서 기술된 필터링은, 단지 약 80% 정도로 인코딩 시간을 증가시키는 것이 일반적이다. 인코딩 도중의 필터링은 디코딩 시간을 증가시키지 않는다.

도 3으로 되돌아가서, 블록 (100)은 필터링된 레지듀얼 프레임들을 양자화한다. 레지듀얼 프레임들 내에 인코딩된 차이들의 크기들이 작은 것이 일반적일지라도, 그것들은, (12-비트 HDR 루마 인코딩의 경우) !4095 내지 4095의 범위 내에 있는 값들을 취할 수 있다. 명백하게, 이와 같은 값들은 8-비트 MPEG 인코더를 사용하여 인코딩될 수 없다. 비록 MPEG 표준이 12 비트들 상에 루마 값들을 인코딩하기 위한 익스텐션(extension)을 제공할지라도, 이와 같은 익스텐션은, 특히 하드웨어 로는, 거의 실시되지 않는다.

양자화 블록 (100)은 레지듀얼 값들의 크기가, 바람직하게는 이들 값들이 표준 8-비트 MPEG 인코더를 사용하여 인코딩될 수 있을 정도로 충분히, 감소될 수 있도록 해준다. 다양한 양자화 방법들(schemes)이 사용될 수 있다. 예를 들어, 몇몇 구체예들은, 레지듀얼의 큰 절대 값들은 강하게(heavily) 양자화되고, 반면에 작은 값들은 최대의 정확성을 갖고 보존되는, 비선형 양자화를 적용한다. 매우 적은 픽셀들이 커다란 크기를 갖는 레지듀얼을 포함하므로, 대부분의 픽셀들은 강한 양자화에 의해 영향을 받지 않는다.

강한 양자화는 저조한 시각적 품질을 갖는 몇몇 이미지들을 초래할 수 있다. 이는, 커다란 양자화 오류들을 갖는 픽셀들이 몇 안될지라도 지각된 이미지 품질에 손상이 가는 방식으로 두드러질 수 있기 때문이다.

(예를 들어, 8-비트 레인지로의) 레지듀얼 값들의 단순한 클램핑(clamping)은, 매우 밝거나 매우 어두운 영역들 내의 디테일들을 놓치게 되지만, 시각적으로 더 좋은 결과들을 낳을 수 있다. 나아가, 일반적인 이미지들에서는, 적절하게 선택된 예측 함수들을 사용하여, 매우 적은 픽셀들만이 8-비트 레인지를 초과하는 레지듀얼 값들을 가진다.

몇몇 구체예들에서, 더 강하게 양자화시키는 댓가로 클램핑을 감소시키기 위해, 레지듀얼 값들이 일정한 양자화 인자(constant quantization factor)로 나눠진다(divide). 이 인자는, 클램핑에 기인하는 오류들과 양자화에 기인하는 오류들 간의 절충(trade-off)에 기초하여 선택될 수 있다. 이와 같은 양자화 인자들은, 그 빈에 속하는 모든 픽셀들에 대한 레지듀얼의 최대 크기에 기초하여, 각 빈(bin)에 대해 별개로 설정될 수 있다. 그러므로, 양자화 후의 레지듀얼 값들은 다음과 같이 계산될 수 있다:

(18)

[상기 식에서,

오퍼레이터 [.]^-127÷127는 대괄호 내부의 값을 가장 근사한 정수로 반올림한 다음에, 그것이 127보다 크거나 -127보다 작으면 그 값을 클램핑하고;

q(l)은, 각 빈(Σ_k)에 대해 별개로 선택된 양자화 인자임].

이 양자화 인자는 다음에 의해 주어질 수 있다:

[상기 식에서, q_min은, 예를 들어, 1 또는 2일 수 있는, 최소 양자화 인자임].

양자화 인자들 (q(l))은 보조 데이터 스트림 (84)에 예측 함수와 함께 저장될 수 있다. 이 데이터는 블록 (95)에서와 같이 먼저 압축될 수 있다. 대부분의 경우들에서, 대부분의 양자화 인자들 (q(l))은 q_min 값을 가질 것이다. 그러므로, 반복 길이(run-length) 인코딩을 한 다음에 허프만 인코딩(Huffman encoding)을 하는 것이 양자화 인자들을 나타내는 데이터를 압축하는 효과적인 방법이다.

블록 (102)에서, 레지듀얼 값들이 인코딩된다. 레지듀얼 값들이 8-비트 값들일 때, 이것들은 일반적인 MPEG 압축(예컨대, MPEG-4 압축)을 사용하여 인코딩될 수 있다. 프로토타입 구체예에서, 양자화된 레지듀얼 값들(

)과 크로마 레지듀얼 값들(r_u 및 r_v)은, 가장 근사한 정수 값으로 반올림된 후에 MPEG 인코딩된다. 레지듀얼 값들을 획득하기 위해 적용된 연산들(operations)이, 예측 함수가 거의 선형이고 방정식 (18)의 적응성 양자화의 효과가 극히 적은 경우들에서는, 대략적으로 선형이라는 것에 주목해야 한다. 이와 같은 경우들에서, 레지듀얼 프레임의 시각 정보는 원래의 HDR 프레임과 동일한 프리퀀시 밴드들 내에 있고, 레지듀얼의 DCT 양자화는 원래의 HDR 픽셀 값들에 대한 것과 유사한 효과를 가진다. 그러므로, 표준 DCT 양자화 매트릭스가 레지듀얼 프레임들을 인코딩하기 위해 사용될 수 있다.

블록들 (88 및 102)에서의 MPEG 인코딩은 독립적이므로, 블록들 (88 및 102) 각각에 대해 MPEG 품질 파라미터들을 별개로 설정하는 것이 가능하다. 대부분의 응용들에서, 두 세트의 MPEG 품질 파라미터들을 설정하는 것은 직감적이지도 또한 편리하지도 않다. 바람직한 구체예들에서, 단일 품질 조절부가 블록들 (88 및 102) 모두에 대한 품질 파라미터들을 설정한다. 블록들 (88 및 102)에서 품질 파라미터들을 서로 동등하게 설정하는 것이 일반적으로 만족스런 결과를 제공하는 것으로 밝혀졌다.

블록들 (88 및 102)에 대한 몇몇 품질 설정들은 다른 것들보다 더 나은 압축 결과들을 가져올 수 있다. 최고 품질 HDR 이미지들을 달성하기 위해, 블록 (102)은 최고 품질을 사용하여 인코딩하는 것을 포함해야 한다. 블록 (88)에서의 품질 설정들은 주로, 스트림 (80)으로부터 재구성된 LDR 이미지들의 품질에 영향을 주지만, 또한 HDR 이미지들의 품질에도 상당한 영향을 가질 수 있다.

발명의 몇몇 구체예들은 LDR과 HDR 프레임들 모두가 동일한 씬들(scenes)을 포함한다는 사실을 활용한다. 그러므로 옵티칼 플로우(optical flow)은 이들 모두에 대해 동일해야 한다. 이와 같은 구체예들에서, LDR 프레임들에 대해 계산된 것과 동일한 모션 벡터들이 레지듀얼 프레임들에 대해서도 또한 사용된다. 데이터 구조(data structure) (38)는 단지 1 세트의 모션 벡터들을 포함할 수 있다. 본 발명의 다른 구체예들에서, 모션 벡터들은, LDR과 레지듀얼 프레임들에 대해 별개로 계산되고, 모션 벡터들의 양 세트들은 인코딩된 이미지 데이터 (38)에 저장된다.

본 발명에 의한 방법들을 수행하기 위한 소프트웨어는 다양한 방식들로 구현될 수 있다. 프로토타입 구체예에서, 이 소프트웨어는, 외부 소프트웨어와의 통합을 단순화시키기 위해, 다이나믹 라이브러리(dynamic library)로서 구현된다. 별개의 코맨드 라인 툴들(command line tools)의 세트가, HDR 이미지 파일들로부터의 그리고 HDR 이미지 파일들로의, 비디오 스트림들의 인코딩 및 디코딩을 가능케 한다.

HDR 비디오 재생은, 두 MPEG 스트림들 (80 및 82)을 디코딩하는 것을 포함하여 구성되므로, 받아들일만한 프레임 레이트을 달성하는 것은, 일반적인 LDR 비디오 재생의 경우에서보다 더 어렵다. 재생 프레임 레이트는, 그래픽 처리장치를 사용하여 디코딩 처리의 몇몇 부분들을 수행함으로써 증가될 수 있다. 예를 들어, 컬 러 채널들의 업-샘플링(up-sampling)과 색 공간 변환 모두가 하나의 CPU 상에서 실행될 때는 컴퓨터 계산상 부담이 될(computationally expensive) 수 있지만, 프래그먼트 프로그램들(fragment programs)과 같은 그래픽 처리장치(GPU) 내에서는 극히 효율적으로 수행될 수 있다. 추가로, 몇몇 컬러 변환 함수들은, 고정 소수점 계산(fixed point arithmetic)과 룩업 테이블들의 사용으로 현저하게 가속화될 수 있다.

도 6은, 품질 설정의 함수로서(as a function of the quality section) 프로토타입 구체예의 성능을 나타내고 있다. 낮은 지점들은 LDR 스트림 (80)에 상응하고, 반면에 높은 지점들은 LDR 스트림 (80)과 레지듀얼 스트림 (82)의 합에 상응한다. 낮은 값들의 큐스케일(qscale) 품질 파라미터의 더 낮은 값들의 경우에(즉, 높은 품질 이미지들의 경우에), 레지듀얼 스트림 (82)이 차지하는 전체 데이터 스트림의 백분율은, 품질 파라미터의 더 높은 값들의 경우에서(낮은 품질 LDR 이미지들에 상응함)보다 더 작다는 것을 알 수 있다.

본 명세서에서 설명된 코덱들(Codecs)은 개별적인 이미지들과 비디오 시퀀스들 모두를 인코딩하고 디코딩하기 위해 사용될 수 있다. 이와 같은 코덱들은, DVD들과 같은 매체나, 미래에 동영상들(movies)을 저장하기 위해 보편화될 수 있는 여타의 저장 매체에 저장될 수 있도록 동영상들을 인코딩하고 디코딩하기 위해 사용될 수 있다.

본 발명의 몇몇 측면들은, HDR 표시 장치가 연결되거나 연결될 수 있고, HDR 이미지들에 대한 출력부를 포함하는 미디어 플레이어들(media players)을 제공한 다. 이 미디어 플레이어들은, 예를 들어, 도 2에 나타낸 디코딩 방법들을 실시하는, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 포함한다.

본 발명의 특정한 실시예들은, 프로세서들로 하여금 본 발명의 방법을 수행하도록 만드는 소프트웨어 명령들을 실행하는 컴퓨터 프로세서들을 포함하여 구성된다. 예를 들어, 데이터 처리 시스템 내의 하나 또는 그보다 많은 프로세서들은, 그 프로세서들이 액세스 가능한 메모리 내에 저장된 소프트웨어 명령들을 실행함으로써, 도 1 또는 도 3의 인코딩 방법들이나 도 2의 디코딩 방법을 실시할 수 있다. 본 발명은 또한, 프로그램 제품(program product)의 형태로 제공될 수 있다. 이 프로그램 제품은, 데이터 프로세서에 의해 실행될 때, 그 데이터 프로세서로 하여금 본 발명의 방법을 실행하도록 만드는 명령들을 포함하여 구성되는, 한 세트의 컴퓨터-판독가능 신호들을 지니고 있는 여하한 매체를 포함하여 구성될 수 있다. 본 발명에 의한 프로그램 제품들은 매우 다양한 형태들로 가질 수 있다. 프로그램 제품들은, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들; CD ROM들, DVD들을 포함하는 광학 데이터 저장 매체들; ROM들, 플래쉬 RAM을 포함하는 전자 데이터 저장 매체들 등과 같은 물리적 매체들을 포함하여 구성될 수 있다. 프로그램 제품 상의 컴퓨터-판독가능 신호들은, 선택적으로, 압축되거나 암호화될 수 있다.

하나의 구성요소[예컨대, 소프트웨어 모듈, 프로세서, 어셈블리, 장치, 회로 등]가 위에서 언급된 경우에, 달리 표시되지 않는 한, 그러한 구성요소에 대한 언급("수단"에 대한 언급 포함)은, 설명된 구성요소의 기능을 수행하는(즉, 기능적으 로 균등한) 여하한 구성요소를 그 구성요소의 균등물로서 포함하는 것으로 해석되어야 하며, 그러한 구성요소는 예를 들어 설명한 본 발명의 구체예들에서의 기능을 수행하는, 개시된 구조와 구조적으로 동일하지 않은 구성요소들을 포함하는 것이다.

이 분야의 통상의 지식을 가진 자들에게 명백한 바와 같이, 전술한 설명들에 비추어 본 발명의 정신과 범위를 벗어나지 않고서, 본 발명의 실시에 대한 많은 변경들 및 변형들이 가능하다. 따라서, 본 발명의 범위는 다음의 청구범위에 의해 정의되는 내용에 의하여 해석되어야 한다.

Claims

하이 다이나믹 레인지 이미지에 상응하며, 상기 하이 다이나믹 레인지 이미지의 다이나믹 레인지보다 낮은 다이나믹 레인지를 가지는, 낮은 다이나믹 레인지 이미지(a lower dynamic range image)를 얻는 단계;

상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 각각의 군에 대하여, 각 군의 픽셀들의 픽셀 값들이 상기 낮은 다이나믹 레인지 이미지의 한 부분으로서의 상기 낮은 다이나믹 레인지 이미지 내의 동일한 픽셀 값에 매핑되고, 그에 따라 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 각각의 군과 상기 각 군내의 픽셀들의 픽셀 값들이 매핑되는 상기 낮은 다이나믹 레인지 이미지 내의 하나의 상응하는 픽셀 값의 사이에 1 대 1 대응을 확립하는, 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 복수의 군들을 식별하는 단계;

예측되는 이미지의 픽셀들의 픽셀 값들을 상기 낮은 다이나믹 레인지 이미지의 픽셀들의 픽셀 값들의 함수로서 출력하는 하나의 예측 함수(a prediction function)를 발생시키고, 상기 낮은 다이나믹 레인지 이미지 내의 각 픽셀 값에 대하여, 상기 예측 함수가 적어도 부분적으로, 상기 낮은 다이나믹 레인지 이미지의 픽셀 값에 상응하는 픽셀 군에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 상기 픽셀 값들을 기초로 하는, 예측 함수 발생 단계;

예측된 이미지를 획득하기 위해, 상기 예측 함수를 상기 낮은 다이나믹 레인지 이미지에 적용하는 단계;

상기 예측된 이미지 내의 픽셀 값들과 상기 하이 다이나믹 레인지 이미지 내의 상응하는 픽셀 값들 간의 차이들을 나타내는 잔상(residual image)을 컴퓨터 계산하는 단계; 그리고,

상기 낮은 다이나믹 레인지 이미지, 상기 예측 함수, 및 상기 잔상을 나타내는 데이터를 인코딩 및 저장하는 단계;를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항에 있어서, 상기 낮은 다이나믹 레인지 이미지를 얻는 단계가, 상기 낮은 다이나믹 레인지 이미지를 인코딩하고, 인코딩된 상기 낮은 다이나믹 레인지 이미지를 디코딩하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 예측 함수를 확립하기 전에, 상기 하이 다이나믹 레인지 이미지나, 상기 낮은 다이나믹 레인지 이미지나, 또는 상기 하이 다이나믹 레인지 이미지 및 상기 낮은 다이나믹 레인지 이미지 모두를 색 공간들 사이에 변환하는(transform) 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 예측 함수를 발생시키는 단계에 바로 앞서, 상기 낮은 다이나믹 레인지 이미지와 더 높은 다이나믹 레인지 이미지가 모두, 하나의 루마 또는 루미넌스 픽셀 값 그리고 둘 또는 그보다 많은 색도 (chromaticity) 픽셀 값들을 포함하는 색 공간들에 표현되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제4항에 있어서, 상기 낮은 다이나믹 레인지 이미지가, 하나의 강도(intensity) 픽셀 값 그리고 둘 또는 그보다 많은 크로마(chroma) 픽셀 값들을 포함하여 구성되는 하나의 색 공간에 표현되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 예측 함수가 로그 도메인 내에서 비선형인, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 예측 함수를 발생시키는 단계가, 상기 복수의 군들 각각에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들의 산술 평균을 컴퓨터 계산하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 예측 함수를 발생시키는 단계가, 상기 복수의 군들 각각에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들의 중앙값(median)을 컴퓨터 계산하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 예측 함수를 발생시키는 단계가, 상기 복수의 군들 각각에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들 중 최고 픽셀 값과 최저 픽셀 값의 평균을 컴퓨터 계산하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 예측 함수를 발생시키는 단계가,

상기 복수의 군들 각각에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들의 산술 평균을 컴퓨터 계산하는 단계;

상기 복수의 군들 각각에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들의 중앙값(median)을 컴퓨터 계산하는 단계;

상기 복수의 군들 각각에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들 중 최고 픽셀 값과 최저 픽셀 값의 평균을 컴퓨터 계산하는 단계;

상기 복수의 군들 각각에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들의 하나의 서브세트(subset)의 중심(centroid)을 계산하는 단계; 의 하나 이상 및 상기 단계들의 조합들을 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 낮은 다이나믹 레인지 이미지와 하이 다이나믹 레인지 이미지가 각각, 비디오 시퀀스 내의 하나의 프레임을 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제11항에 있어서, 상기 비디오 시퀀스 내의 각 프레임에 대한 새로운 예측 함수를 생성하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제11항에 있어서, 상기 비디오 시퀀스 내의 연속적인 프레임들 간의 차이를 모니터링하는 단계와, 이러한 차이가 현재의 프레임이 이전의 프레임과 현저하게 상이함을 나타낼 때마다 새로운 예측 함수를 발생시키는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 픽셀 값들이 픽셀 강도 값들인, 하이 다이나믹 레인지 이미지인코딩 방법.
제14항에 있어서, 상기 픽셀 강도 값들이 루미넌스 값들, 루마 값들 또는 레디언스(radiance) 값들을 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제14항에 있어서, 하나 또는 그보다 많은 크로마 값들 각각에 대한 크로마 예측 함수를 생성하는 단계와, 그리고, 상기 하나 또는 그보다 많은 크로마 값들 각각에 대해:

예측된 이미지를 얻기 위해, 해당 크로마 예측 함수를, 상기 더 낮은 다이나믹 레인지 이미지 내의 픽셀들에 대한 상응하는 크로마 값들에 적용하는 단계;

상기 예측된 이미지들과 하이 다이나믹 레인지 이미지들 내의 픽셀들에 대한 크로마 값들 간의 차이들을 나타내는 레지듀얼 크로마 이미지를 컴퓨터 계산하는 단계; 그리고,

상기 크로마 예측 함수들과 상기 레지듀얼 크로마 이미지들을 나타내는 데이터를 인코딩하고 저장하는 단계;를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 잔상을 나타내는 데이터를 저장하는 단계에 앞서, 상기 잔상을 다운샘플링하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제1항 또는 제2항에 있어서, 상기 잔상을 나타내는 데이터를 저장하는 단계에 앞서 노이즈를 제거하기 위해, 상기 잔상을 필터링하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제18항에 있어서, 상기 잔상을 필터링하는 단계가,

하나의 변환된 잔상과 하나의 변환된 하이 다이나믹 레인지 이미지를 주기 위해, 상기 잔상과 상기 하이 다이나믹 레인지 이미지에 이산 웨이블렛 변환을 적용하는 단계;

상기 변환된 하이 다이나믹 레인지 이미지의 계수들의 값들에 기초하여, 상기 변환된 잔상의 계수들에 대한 임계 값들을 확립하는 단계; 그리고,

만일 상기 계수들이 상기 임계들을 초과하지 않는 값들을 가지면, 상기 변환된 잔상의 계수들에 대한 값들을 0으로 설정하는 단계;를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제19항에 있어서, 상기 임계 값들을 확립하는 단계가, 상기 변환된 하이 다이나믹 레인지 이미지의 계수들에 임계 상승 함수를 적용하는(apply) 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제20항에 있어서, 상기 임계 상승 함수가, 상기 계수들을 미리 정한 콘스탄트 파워(constant power)로 올리는(raise) 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제21항에 있어서, 상기 임계 상승 함수가, 상기 계수들을 미리 정한 상수로 곱셈하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제20항에 있어서, 상기 임계 상승 함수가, 하기 식

(여기서, T_e는 임계 상승 함수이고,
는 위상 불확정성을 고려한 후의 콘트라스트 감도 함수(CSF)-가중된 웨이블렛 계수이고, a, b 및 c는 상수임)

또는 그 수학적 동등식으로 주어지는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제20항에 있어서, 상기 계수들에 상기 임계 상승 함수를 적용하는 단계에 앞서, 상기 변환된 하이 다이나믹 레인지 이미지의 계수들에 미리 정한 콘트라스트 감도 함수 가중 인자들(contrastsensitivity function weighting factors)을 적용하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제20항에 있어서, 상기 계수들에 상기 임계 상승 함수를 적용하는 단계에 앞서, 상기 변환된 하이 다이나믹 레인지 이미지의 계수들에 위상 불확정성 함수(phase uncertainty function)를 적용하는 단계를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
제25항에 있어서, 상기 위상 불확정성 함수를 적용하는 단계가,

하기 식

[상기 식에서, card(Θ)는 위상 불확정성 함수이고, Θ는 계수(coefficient)의 네이버후드(neighbourhood)이고, L_CSF는 콘트라스트 감도 함수(CSF) 인자를 적용함으로써 가중된 웨이블렛 계수이고, 그리고
는 위상 불확정성 함수 적용 후의 콘트라스트 감도 함수(CSF)-가중된 웨이블렛 계수임],

또는 그 수학적 동등식을 컴퓨터 계산하는 것을 포함하는, 하이 다이나믹 레인지 이미지 인코딩 방법.
하나의 데이터 프로세서를 포함하여 구성되며, 하이 다이나믹 레인지 이미지를 인코딩하는 장치로서, 상기 데이터 프로세서로 하여금,

하이 다이나믹 레인지 이미지에 상응하며, 상기 하이 다이나믹 레인지 이미지의 다이나믹 레인지보다 낮은 다이나믹 레인지를 가지는, 낮은 다이나믹 레인지 이미지를 얻도록 하고;

상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 각각의 군에 대하여, 각 군의 픽셀들의 픽셀 값들이 상기 낮은 다이나믹 레인지 이미지를 획득하는 한 부분으로서의 상기 낮은 다이나믹 레인지 이미지 내의 동일한 픽셀 값에 매핑되고, 그에 따라 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 각각의 군과 상기 각 군내의 픽셀들의 픽셀 값들이 매핑되는 상기 낮은 다이나믹 레인지 이미지 내의 하나의 상응하는 픽셀 값의 사이에 1 대 1 대응을 확립하는, 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 복수의 군들을 식별하도록 하고

예측되는 이미지의 픽셀들의 픽셀 값들을 상기 낮은 다이나믹 레인지 이미지의 픽셀들의 픽셀 값들의 함수로서 출력하는 하나의 예측 함수(a prediction function)로서 발생시키고, 상기 낮은 다이나믹 레인지 이미지 내의 각 픽셀 값에 대하여, 상기 예측 함수가 적어도 부분적으로, 상기 낮은 다이나믹 레인지 이미지의 픽셀 값에 상응하는 픽셀 군에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 상기 픽셀 값들을 기초로 하며;

예측된 이미지를 얻기 위해, 상기 예측 함수를 상기 낮은 다이나믹 레인지 이미지에 적용하도록 하고;

상기 예측된 이미지 내의 픽셀 값들과 상기 하이 다이나믹 레인지 이미지 내의 상응하는 픽셀 값들 간의 차이들을 나타내는 잔상(residual image)을 컴퓨터 계산하도록 하고; 그리고,

상기 낮은 다이나믹 레인지 이미지, 상기 예측 함수, 및 상기 잔상을 나타내는 데이터를 인코딩 및 저장하도록 하는 명령들을 실행하도록 하는, 하이 다이나믹 레인지 이미지 인코딩장치.
하이 다이나믹 레인지 이미지를 인코딩하는 장치로서,

상기 하이 다이나믹 레인지 이미지에 상응하며, 상기 하이 다이나믹 레인지 이미지의 다이나믹 레인지보다 낮은 다이나믹 레인지를 가지는, 낮은 다이나믹 레인지 이미지(a low dynamic range image)를 획득하기 위한 수단;

상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 각각의 군에 대하여, 각 군의 픽셀들의 픽셀 값들이 상기 낮은 다이나믹 레인지 이미지를 획득하는 한 부분으로서의 상기 낮은 다이나믹 레인지 이미지 내의 동일한 픽셀 값에 매핑되고, 그에 따라 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 각각의 군과 상기 각 군내의 픽셀들의 픽셀 값들이 매핑되는 상기 낮은 다이나믹 레인지 이미지 내의 하나의 상응하는 픽셀 값의 사이에 1 대 1 대응을 확립하는, 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 복수의 군들을 식별하도록 하기 위한 수단;

예측되는 이미지의 픽셀들의 픽셀 값들을 상기 낮은 다이나믹 레인지 이미지의 픽셀들의 픽셀 값들의 함수로서 출력하는 하나의 예측 함수(a prediction function)로서 발생시키고, 상기 낮은 다이나믹 레인지 이미지 내의 각 픽셀 값에 대하여, 상기 예측 함수가 적어도 부분적으로, 상기 낮은 다이나믹 레인지 이미지의 픽셀 값에 상응하는 픽셀 군에 속하는 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 상기 픽셀 값들을 기초로 하는 예측 함수 발생 수단;

예측된 이미지를 얻기 위해, 상기 예측 함수를 상기 낮은 다이나믹 레인지 이미지에 적용하기 위한 수단;

상기 예측된 이미지 내의 픽셀 값들과 상기 하이 다이나믹 레인지 이미지 내의 상응하는 픽셀 값들 간의 차이들을 나타내는 잔상(residual image)을 컴퓨터 계산하기 위한 수단; 그리고,

상기 낮은 다이나믹 레인지 이미지, 상기 예측 함수, 및 상기 잔상을 나타내는 데이터를 인코딩 및 저장하기 위한 수단;을 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 장치.
하나의 데이터 프로세서를 포함하여 구성되며, 하이 다이나믹 레인지 이미지를 디코딩하는 장치로서, 상기 데이터 프로세서로 하여금,

상기 장치에 수신되고, 하나의 예측 함수, 하나의 잔상 그리고 상기 하이 다이나믹 레인지 이미지에 상응하고 상기 하이 다이나믹 레인지 이미지의 다이나믹 레인지보다 낮은 다이나믹 레인지를 가지는 하나의 낮은 다이나믹 레인지 이미지를 포함하는 입력 데이터를 검색하고(retrieve);

예측된 하이 다이나믹 레인지 이미지를 얻기 위해, 상기 낮은 다이나믹 레인지 이미지에 상기 예측 함수를 적용하여, 상기 예측 함수의 적용으로, 상기 예측된 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들을, 상기 낮은 다이나믹 레인지 이미지의 픽셀들의 픽셀 값들의 함수로서 출력하고; 그리고,

상기 하이 다이나믹 레인지 이미지를 얻기 위해, 상기 잔상을 상기 예측된 하이 다이나믹 레인지 이미지와 결합하도록 하는; 그러한 명령들을 실행하도록 하는, 하이 다이나믹 레인지 이미지 디코딩 장치.
하이 다이나믹 레인지 이미지를 디코딩하는 장치로서,

하나의 예측 함수, 하나의 잔상 그리고 상기 하이 다이나믹 레인지 이미지에 상응하고 상기 하이 다이나믹 레인지 이미지의 다이나믹 레인지보다 낮은 다이나믹 레인지를 가지는 하나의 낮은 다이나믹 레인지 이미지를 포함하여 수신된 입력 데이터를 검색하기(retrieve) 위한 수단;

예측된 하이 다이나믹 레인지 이미지를 얻기 위해, 상기 낮은 다이나믹 레인지 이미지에 상기 예측 함수를 적용하여, 상기 예측 함수의 적용으로, 상기 예측된 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들을, 상기 낮은 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들의 함수로서 출력하도록 하기 위한 수단; 그리고,

상기 하이 다이나믹 레인지 이미지를 얻기 위해, 상기 예측된 하이 다이나믹 레인지 이미지와 상기 잔상을 결합하기 위한 수단;을 포함하여 구성되는, 하이 다이나믹 레인지 이미지 디코딩 장치.
하이 다이나믹 레인지 이미지로부터 낮은 다이나믹 레인지 이미지를 발생시키는 단계;

상기 낮은 다이나믹 레인지 이미지로부터 상기 하이 다이나믹 레인지 이미지의 예측값(prediction)으로의 통계에 기초한 역 톤 맵핑(inverse tone mapping)을 포함하여 구성되는, 예측 함수를 결정하는 단계;

상기 예측된 이미지(29)내의 픽셀 값들과 상기 하이 다이나믹 레인지 이미지내의 대응되는 픽셀 값들 간의 차이를 나타내는 잔상을 계산하는 단계; 및

상기 낮은 다이나믹 레인지 이미지, 상기 예측 함수 및 상기 잔상을 나타내는 데이터를 인코딩하고 저장하는 단계;를 포함하여 구성되는, 하이 다이나믹 레인지 이미지 인코딩 방법.
삭제
낮은 다이나믹 레인지 이미지, 상기 낮은 다이나믹 레인지 이미지와 하이 다이나믹 레인지 이미지간의 통계적 관계를 포함하여 구성되는 예측 함수, 및 잔상으로 인코딩된 데이터스트림을 수신하도록 구성된 입력 장치;

상기 하이 다이나믹 레인지 이미지의 예측값을 얻기 위해, 상기 예측 함수를 상기 낮은 다이나믹 레인지 이미지에 적용하도록 구성되고, 상기 예측 함수의 적용으로, 상기 하이 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들을, 상기 낮은 다이나믹 레인지 이미지 내의 픽셀들의 픽셀 값들의 함수로서 출력하는, 컨버터(converter); 및

디코딩된 하이 다이나믹 레인지 이미지를 얻기 위해, 상기 잔상을 상기 예측된 하이 다이나믹 레인지 이미지와 결합하도록 구성된 결합기(combiner);를 포함하여 구성되는, 디코더.