KR101176341B1

KR101176341B1 - 높은 동적범위 이미지의 엔코딩, 디코딩 및 표시

Info

Publication number: KR101176341B1
Application number: KR1020067024642A
Authority: KR
Inventors: 그레고리 제이. 워드; 마리안 시몬스
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2004-04-23
Filing date: 2006-11-23
Publication date: 2012-08-22
Also published as: US8514934B2; WO2005104035A1; EP2375383A2; US20080192819A1; US8218625B2; US20080310501A1; US20150003537A1; EP2375383B1; CN1954344A; EP1743301A1; JP2007534238A; CN101902637B; CN1954344B; CA2563523C; ES2397341T3; JP5180344B2; EP2375383A3; EP1743301A4; HK1150679A1; US20160345031A1

Abstract

고 동적범위 이미지를 정의하는 데이터 구조가 감소된 동적범위(reduced dynamic range)와 고 동적범위 정보를 갖는 톤 맵핑을 포함하여 구성된다. 고 동적범위 이미지는 톤 맵핑과 고 동적범위 정보로부터 복원될 수 있다. 이 데이터 구조는 기존의 하드웨어 또는 소프트웨어 뷰어와 역방향 호환 가능할 수 있다. 이 데이터 구조는, JFIF 파일의 애플리케이션 확장부분 이나 주석부분의 고 동적범위 정보로 JPEG 이미지로서 엔코딩된 톤 맵핑을 갖는 JFIF 파일, 또는 MPEG 파일의 비디오나 오디오 채널의 고 동적범위 정보로 MPEG 이미지로서 엔코딩된 톤 맵을 갖는 MPEG 파일을 포함하여 구성될 수 있다. 이러한 데이터 구조를 엔코딩 또는 디코딩하는 장치와 방법은 고 동적범위 정보의 손실 있는 엔코딩(lossy encoding)을 보상하기 위해 사전 또는 사후 교정을 적용할 수 있다.

Description

높은 동적범위 이미지의 엔코딩, 디코딩 및 표시 {Encoding, decoding and representing high dynamic range images}

기술분야

본 출원은, 2004년 4월 23일자로 출원된 미국 특허 제 60/564,608 호의 우선권을 주장하며, 상기 특허출원은 본 명세서의 참고문헌을 이룬다.

기술분야

본 발명은 높은 동적범위 디지털 이미지(High Dynamic Range Digital Images)에 관한 것이다. 구체적으로 본 발명은 고 동적범위 이미지(High Dynamic Range Images: 이하 동일하게 통일함)를 엔코딩하고 디코딩하는 방법 및 장치 그리고 고 동적범위 디지털 이미지를 포함하는 데이터 구조에 관한 것이다.

사람의 시각은 1:10,000까지의 콘트라스트 비(contrast ratios)를 감지할 수 있다. 다시 말하면, 사람은 한 장면 속에서 어떤 부분이 다른 부분보다 10,000배 더 밝음을 감지할 수 있고 그 장면의 가장 밝은 부분과 가장 어두운 부분 내의 세부적인 것을 볼 수 있다. 나아가, 사람의 시각은 60배(over a further 6 orders of magnitude) 더 밝거나 더 어두운 장면에 대해 시각의 감도(sensitivity)를 적응시킬 수 있다.

가장 일반적인 디지털 이미지 포맷(conventional digital image formats)(소위 24비트 포맷)은 이미지 내의 각 픽셀(pixel)에 색채와 휘도(luminance) 정보를 저장하기 위해 24비트까지 사용한다. 예를 들면, 픽셀에 대한 적색, 녹색, 청색(Red, Green and Blue) 각각의 값은 1 바이트(8비트) 범위로 저장될 수 있다. 이런 포맷들은 단지 약 20배 범위(two orders of magnitude)로 밝기의 변화 정도(brightness variations)를 표현할 수 있다(각 바이트는 256개의 표현할 수 있는 값 중 하나를 저장할 수 있다). 디지털 이미지(정지 이미지와 비디오 이미지를 포함)를 표현하기 위한 수많은 표준 포맷들이 있다. 이러한 표준 포맷들은 JPEG(Joint Photographic Experts Group), MPEG(Motion Picture Experts Group), AVI(Audio Video Interleave), TIFF(Tagged Image File Format), BMP(Bit Map), PNG(Portable Network Graphics), GIF(Graphical Interchange Format) 등을 포함한다. 이러한 포맷들은 가장 일반적으로 이용할 수 있는 형태의 전자디스플레이(electronic displays)에 의해 재생될 수 있는 범위를 뛰어 넘게 이미지 정보를 보존하려 하지 않기 때문에, 소위 "출력 관련 표준(output referred standards)" 이라 불린다. 최근까지, 컴퓨터 디스플레이, 텔레비전, 디지털 영사기 등과 같은 디스플레이들(displays)은 1:1000 보다 우수한 콘트라스트 비(contrast ratios)를 갖는 이미지들을 정확하게 재생할 수 없었다.

양수인 등에 의해 개발된 디스플레이 기술 등은 고 동적범위(HDR, High Dynamic Range)를 갖는 이미지를 재생할 수 있다. 이러한 디스플레이들은 종래의 디스플레이에 비해 훨씬 실제에 가까운 이미지를 표시할 수 있다. 이들 디스플레이 및 향후 통용될 다른 고 동적범위(HDR) 디스플레이 상에 재생하기 위한 HDR 이미지를 저장하기 위한 포맷들이 요구된다.

HDR 이미지를 디지털 데이터로서 저장하기 위해 수많은 포맷들이 제안된 바 있다. 이러한 포맷들은 모두 여러 단점들을 가지고 있다. 이러한 수많은 포맷들은 특화된 소프트웨어로만 볼 수 있는, 터무니없이 큰 이미지 파일을 초래한다. 몇몇 디지털 카메라 제조업자들은 독점 RAW 포맷들을 제공한다. 이러한 포맷들은 카메라 특정적(camera-specific)이고, 데이터 저장 요건의 관점에서 보면, 과도하기(excessive) 쉽다.

고 동적범위 이미지를 저장하고 교환하고 재생시키기 위한 편리한 프레임 워크(framework)가 요구된다. 종래의 이미지 뷰어 기술(image viewer technology)과 역방향 호환 가능한 프레임워크가 특히 필요하다. 하드웨어를 기초로 한 이미지 디코더(Image decoders)를 가진 DVD플레이어와 같은, 기존 장치들에 의해 이미지가 재생될 필요가 있는 경우 역방향 호환성(backwards compatibility)이 특히 필요하다.

발명의 요약

본 발명의 하나의 양상(aspect)은 고 동적범위 이미지 데이터를 엔코딩시키기 위한 방법을 제공한다. 이러한 방법은 고 동적범위 이미지 데이터에 상응하는 톤 맵핑 데이터(tone mapping data)를 얻는 것을 포함한다. 톤 맵핑 데이터는 고 동적범위 이미지 데이터보다 더 낮은 동적범위(Dynamic Range)를 갖는다. 본 발명의 방법은, 고 동적범위 이미지 데이터의 값들과 톤 맵핑 데이터의 상응하는 값들의 비율들의 비율데이터(ratio data)를 컴퓨터 계산하고; 이러한 비율데이터를 기초로 고 동적범위 정보를 발생시키고; 톤 맵핑 데이터를 바탕으로 톤 맵핑 정보(tone mapping information)를 발생시키고; 데이터 구조(data structure)에 고 동적범위 정보와 톤 맵핑 정보를 저장한다.

본 발명의 데이터 구조는 기존 이미지 뷰어들에 의해 쉽게 판독가능하다. 기존 이미지 뷰어들은 톤 맵핑 정보를 읽을 수도 있고 고 동적범위 정보를 무시할 수도 있다. 몇몇 실시예에서, 데이터 구조는 JFIF 파일을 포함하여 구성되고 톤 맵핑 정보는 JPEG 이미지를 포함한다. 몇몇 실시예에서, 데이터 구조는 MPEG 파일을 포함하여 구성되고, 톤 맵핑 정보는 MPEG 비디오 프레임(frame)을 포함한다.

본 발명의 또 다른 양상은 초기 동적범위(an initial dynamic range)를 가지는 고 동적범위 이미지를 재생하기 위한 데이터 구조를 제공한다. 이러한 데이터 구조는 톤 맵핑 부분(tone mapping portion)과 고 동적범위 정보부분을 포함하여 이루어져 있다. 톤 맵핑 부분은 이미지를 나타내는 톤 맵핑 정보를 포함하고 초기 동적범위(the initial dynamic range) 보다 적은 동적범위를 갖는다. 고 동적범위 정보부분은 톤 맵핑 부분의 휘도값(luminance values)의 고 동적범위 이미지의 휘도 값에 대한 비율을 기술하는 정보를 포함한다.

본 발명의 또 다른 양상은 고 동적범위 이미지를 엔코딩시키기 위한 장치를 제공한다.

본 발명의 다른 양상과 구체적 실시예의 특징을 아래에 기술한다.

본 발명의 비제한적 실시예를 도시하는 도면에서,

도 1은 본 발명의 하나의 실시예에 따른, HDR 이미지 파일을 생성하기 위한 방법을 도시한 데이터 흐름도이고;

도 2는 본 발명에 따른 HDR 이미지의 엔코딩 방법 및 디코딩 방법에 대한 개관을 나타낸 흐름도이며;

도 3은 본 발명의 하나의 특정 실시예에 따른, HDR 이미지 파일을 생성하기 위한 방법을 도시한 데이터 흐름도이고;

도 4는 압축 및/또는 다운샘플링(down sampling)에서 초래되는 가공물(artefacts:솜털형상이나 일그러짐들)에 대한 교정을 제공하는 본 발명의 몇몇 실시예에 따른 방법을 도시한 흐름도이며; 그리고,

도 5는 HDR 이미지를 복원하는(reconstruct) 동안 압축 및/또는 다운샘플링에서 초래되는 가공들에 대한 교정을 제공하는 본 발명의 하나의 실시예에 따른 방법을 도시하는 흐름도이다.

발명의 상세한 설명

다음의 설명을 통해, 본 발명의 좀 더 철저한 이해를 위해 구체적인 세부항목이 제공된다. 그러나, 본 발명은 이러한 특정 사항 없이 실시될 수도 있다. 다른 경우에, 본 발명을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 요소들은 자세하게 명시되거나 기술되지 않았다. 따라서 상세한 설명과 도면들은 제한적 관점보다는 설명적 관점에서 이해되어야 한다.

본 발명의 하나의 양상은 HDR 이미지(HDR 데이터 구조)를 표시하기 위한 데이터 구조를 제공한다. 바람직한 실시예에서, HDR 데이터 구조들은, 이미지들이 표준 이미지 뷰잉 소프트웨어(standard image viewing software)를 사용하여 표준 동적범위 모드(standard dynamic range mode)로 보여지도록 하고, 동일한 이미지들의 고 동적범위 버전들이 HDR 뷰어와 적당한 HDR 디스플레이를 사용하여 고 동적범위 모드로 보여 지도록 해준다(permit).

도 1은 HDR 데이터 구조들(16)을 생성하고 그리고 HDR 데이터 구조들(16)에 의해 표시된 이미지들을 보기 위한, 본 발명에 따른 시스템(10)을 보여준다. 도 2는 HDR 데이터 구조들을 생성하기 위해 시스템(10)에 수행된 방법(30) 그리고 HDR 데이터 구조들(16) 내의 데이터로부터의 이미지를 표시하기 위한 다른 방법들(31A, 31B)을 보여준다.

본 발명의 시스템(10)은 오리지널 HDR 이미지 데이터(12)를 기초로 HDR 이미지 데이터 구조(16)를 생성하기 위한 엔코더(encoder)(14)를 포함하여 구성된다. 데이터 구조(16)는 표준 동적범위 이미지(19)를 제공하기 위하여 표준 디코더(decoder)(18)에 의해 디코딩될 수 있다. 본 발명의 몇몇 실시예에서, 표준 디코더(18)는, "종래의" 하드웨어 디코더 또는 적절한 이미지 뷰어 소프트웨어와 같은 소프트웨어 기초 디코더로 이루어진다. 데이터 구조(16)는 복원된 HDR 이미지(21)를 나타내기 위해 HDR 디코더(20)에 의해 디코딩될 수 있다.

본 발명의 방법(30)은 블록(32)에서 HDR 이미지 데이터(12)를 획득함으로써 시작된다. HDR 이미지 데이터(12)는 이미지 내의 픽셀의 휘도(luminance of pixels)를 직ㆍ간접적으로 구체화하는 정보를 포함한다. HDR 이미지 데이터(12)는 적절한 포맷으로 이루어질 수 있고, 적절한 HDR 카메라[아마도 복합 다중 노출(combining multiple exposures)에 의해서]의 사용으로 얻어지거나 컴퓨터에서 직접적으로 제공될 수 있다. HDR 이미지 데이터(12)의 출처(source)는 본 발명의 실시에 중요하지 않다.

본 발명의 방법(30)은 또한 HDR 이미지 데이터(12)에 상응하는 톤 맵핑 데이터(15)를 얻는다(블록(34)). 톤 맵핑 데이터(15)는 HDR 이미지(12)와 유사한 이미지를 나타내지만, HDR 이미지 데이터(12)보다 낮은 동적범위(dynamic range)를 갖는다. 톤 맵핑 데이터(15)는, 선 (13)으로 표시한 것처럼, HDR 이미지 데이터(12)로부터 생성될 수 있거나, HDR 이미지 데이터(12)와 공통된 출처(source)를 가지는 데이터로부터 유래된 다른 방식으로 생성될 수 있다. 만약 톤 맵핑 데이터(15)가 HDR 이미지 데이터(12)에서 얻어지지 않으면, 톤 맵핑 데이터(15)와 HDR 이미지 데이터(12)가 얻어지는 순서(바꿔 말하면, 블록(32)과 블록(34)의 순서)는 중요하지 않다.

엔코더(14)는 데이터 구조(16)를 만든다. 이 데이터 구조(16)는 톤 맵핑 데이터(15)를 기초로 하는 톤 맵핑 부분(16A), 그리고 HDR 이미지 데이터(12) 혹은 그것에 가장 가까운 것을 복원하기 위해 톤 맵핑 부분(16A)의 데이터와 HDR 디코더(20)에 의해 조합될 수 있는 정보를 가지는 HDR 정보부분(16B)을 포함한다. 본 발명의 방법(30)은 톤 맵핑 데이터(15)[또는 동일하게, 데이터 구조(16)의 톤 맵핑 부분(16A)으로부터 복원된 톤 맵핑 데이터]와 HDR 이미지 데이터(12)를 비교함으로써 HDR 정보부분을 만든다(블록(36)). 블록(38)에서, 본 발명의 방법(30)은 톤 맵핑 부분(16A)과 HDR 정보부분(16B)을 데이터 구조(16)에 저장한다.

본 발명의 바람직한 실시예에서, 데이터 구조(16)는 저 동적범위(Lower Dynamic Range)(LDR) 이미지를 생성하기 위해 표준 디코더로 판독될 수 있는 포맷을 가진다. 표준 디코더(18)가 디코딩 방법(31A)을 실행할(implement) 수도 있다. 표준 디코더(18)는 톤 맵핑 부분(16A)을 검색하여(retrieve) 톤 맵핑 부분(16A)에 의해 표시되는(represented) 이미지를 나타냄으로써 표준 LDR 이미지(19)를 생성한다(블록(39)). 이 표준 디코더는 HDR 정보부분(16B)을 무시할 수 있다.

데이터 구조(16)는 또한 HDR 디코더(20)에 의해 판독될 수 있다. HDR 디코더(20)는 디코딩 방법(31B)을 실행하고, 톤 맵핑 부분(16A)과 HDR 정보부분(16B)으로부터의 정보를 바탕으로 HDR 이미지(21)를 생성한다. 본 발명의 방법(31B)은 블록(40) 내의 데이터 구조(16)의 톤 맵핑 부분(16A)과 HDR 정보부분(16B)으로부터 데이터를 검색한다. 블록(42)에서, 복원된 HDR 이미지는 HDR 정보부분(16B)의 HDR 정보에 따라 톤 맵핑 부분(16A)에서 추출된 톤 맵핑을 변경(modify)함으로써 만들어진다. 복원된 HDR 이미지가 블록(44)에 표시되어 있다.

톤 맵핑 부분(16A)은 적합한 특정 포맷 내에 있을 수 있다. 예를 들면, 톤 맵핑 부분(16A)은 JPEG, MPEG, AVI, TIFF, BMP, GIF 또는 어떤 다른 적합한 포맷에 있을 수 있다. 톤 맵핑 부분(16A)은 오리지널 HDR 이미지(12)의 동적범위(dynamic range)보다 낮은 동적범위로 이미지 내의 픽셀의 휘도를 직ㆍ간접적으로 설정하는(specify) 정보로 이루어져 있다. HDR 이미지 데이터(12)가 색채 이미지를 설정하는 경우, 톤 맵핑 부분(16A)은 이미지 내의 픽셀들에 대한 색채를 설정하는 정보를 포함하는 것이 바람직하다.

본 발명의 상당수의 실시예에서, 데이터 구조(16)는 JPEG 파일 교환 포맷(JPEG File Interchange Format)(JFIF)으로 포맷 된 파일을 포함하여 구성된다. 이러한 실시예에서, 톤 맵핑 부분(16A)은 JFIF 파일의 이미지부분에 포함(contain)될 수 있고, HDR 정보부분(16B)은 JFIF 파일의 하나 또는 그 이상의 애플리케이션 확장부분(application extension portions)에 및/또는 JFIF 파일의 하나 또는 그 이상의 주석부분(comment portions)에 저장될 수 있다. 그러한 실시예에서, 어떤 표준 JPEG 뷰어도 데이터 구조(16)를 열 수 있고, 오리지널 HDR데이터(12) 또는 복원된 HDR 이미지(21)의 동적범위보다 낮은 동적범위로 농도 맵 부분(16A) 내에 제공된 이미지를 나타낼 수 있다.

표준 JPEG 뷰어들은 그들이 지원하지 않는 JFIF 파일들의 애플리케이션 확장부분들(application extensions)을 무시한다. 그러므로, HDR 정보부분(16B)의 존재(presence)는 본질적으로 어느 것이든 표준 JPEG 뷰어를 사용하는 데이터 구조(16)로부터의 이미지를 보는데(view) 어떠한 영향도 미치지 않는다. HDR 정보(16B)가 JFIF 파일의 주석부분(comment fields)에 있는 경우, 몇몇 애플리케이션들이 JFIF 파일들의 주석부분을 읽으려고 시도할 수 있기 때문에, HDR 정보부분(16B)이 ASCⅡ 텍스트로 엔코딩 되는 것이 바람직하다. 그러한 애플리케이션들은 주석부분들이 텍스트만을 포함하는 것으로 예상할 수 있어서, 예상하지 못한 형태의 데이터를 포함하는 주석부분을 열기 위한 시도를 부적절하게 행할 수도 있다. 버전 1.2는 JFIF의 하나의 버전이다. JFIF 버전 1.2는 여기에 참고문헌을 이루는 ISO DIS 10918-1의 부록 B에 완전히 기술되어 있다.

본 발명의 상당수의 실시예에서, 데이터 구조(16)는 MPEG 포맷 된 파일로 이루어져 있다. 그러한 실시예에서, 톤 맵핑 부분(16A)이 MPEG 파일의 이미지부분에 포함될 수 있고, HDR 정보부분(16B)이 하나 또는 그 이상의 MPEG 파일의 애플리케이션 확장부분에, 및/또는 하나 또는 그 이상의 MPEG 파일의 주석부분에 저장될 수 있다. 그러한 실시예에서, 몇몇 표준 MPEG 뷰어는 데이터 구조(16)를 열 수 있고, 오리지널 HDR 데이터(12) 또는 복원된 HDR 이미지(21)의 동적범위보다 낮은 동적범위로 톤 맵핑 부분(16A)에 제공된 이미지를 나타낼(display) 수 있다. 하나의 HDR 정보부분(16B)은 MPEG 비디오 파일의 각 프레임(frame)과 연관될(associated) 수 있고, 또는 키 프레임들(keyframes)을 사용하는(employ) MPEG의 버전들의 경우, HDR 정보부분(16B)은 오직 키 프레임들하고만 연관될 수 있다. 종래의 MPEG 키 프레임 보간 기법들(MPEG keyframe interpolation techniques)은 키 프레임간 프레임들(inter-keyframe frames)(다시 말하면, 키 프레임들 사이에 있는 프레임들)을 만드는데 사용될 수 있다.

표준 MPEG 뷰어들은 그들이 지원하지 않는 MPEG 파일의 채널들을 무시한다. 그러므로, HDR 정보부분(16B)의 존재는, 여하한 표준 MPEG 뷰어를 사용하여 데이터 구조(16)로부터의 이미지를 보더라도 실질적으로 영향을 미치지 못한다. HDR 정보(16B)가 MPEG 파일의 주석부분에 있는 경우, 몇몇 애플리케이션들이 MPEG 파일들의 주석부분을 읽으려고 시도할 수 있기 때문에 보다 HDR 정보(16B)가 ASCⅡ 텍스트로 엔코딩 되는 것이 바람직하다. 이런 애플리케이션들은 주석부분들이 텍스트만을 포함하는 것으로 예상할 수 있고, 그리고 예상하지 못한 형태의 데이터를 포함하는 주석부분을 열기 위한 시도를 부적절하게 행할 수도 있다.

톤 맵핑 부분(16A)은 여하한 적절한 방식으로 톤 맵핑 데이터(15)로부터 만들어질 수 있다. 예를 들면, 톤 맵핑 부분(16A)은 적절한 톤 매핑 연산자(tone mapping operator)를 사용함으로써 생성될 수 있다. 이 톤 매핑 연산자는 다음의 성질을 갖는 것이 바람직하다:

ㆍ 오리지널 HDR 입력[즉, 오리지널 HDR 이미지 데이터(12)]이 표준 동 적 해상도(standard dynamic resolution)(통상 24비트) 출력 도메인으로 원 활 하게 표현되고(smoothly mapped);

ㆍ 톤 매핑 연산자의 출력 중 어떠한 컴포넌트(components)도 0 또는 255의 값에 고정되지(clamped) 않으며;

ㆍ 색상(hue)이 각 픽셀에 대해 유지되고; 그리고,

ㆍ 만약 톤 매핑 연산자가 채도 값들(saturation values)을 바꾼다면, 그것은 가역 함수(invertible function)에 의해 설명될 수 있는 근소한 변화(mild changes)만을 만든다.

발명자들은 그래픽스에 관한 2002년 미국컴퓨터 학회(ACM) 보고서 21, 3, 249-256에 실린 듀란드와 도르시(Durand and Dorsey)의 고 동적범위 이미지의 표현을 위한 급속 바이래터럴 필터링(Fast bilateral filtering for the display of high dynamic range images)에 기술된 바이래터럴 필터(bilateral filter)가 적절한 톤 매핑 연산자를 제공한다는 것을 발견했다. 톤 맵핑 부분(16A)은 JPEG 엔코더(encoder) 또는 MPEG 엔코더와 같은 적절한 엔코더를 사용함으로써 엔코딩될 수 있다.

톤 맵핑 부분(16A)은 어떤 적절한 방식으로 픽셀 색채 값(color values)을 나타낼 수 있다. 예를 들어, 픽셀 색채 값들은 RGB(적색, 녹색 및 청색) 값들, CMYK(사이안-마젠타-황색-흑색 모델:Cyan, magenta, yellow and black) 값들, YCbCr(휘도와 색차) 값들, 또는 그밖에 유사한 값들로 표현될 수 있다. 톤 맵핑 부분(16A)의 데이터는 어떤 적절한 압축 배열을 사용함으로써 압축될 수 있다. 예를 들어, 톤 맵핑 부분(16A)의 데이터는 JPEG 또는 MPEG 표준과 호환 가능한 방식으로 압축될 수 있다.

본 발명의 몇몇 실시예에서, HDR 정보부분(16B)은 개인 픽셀들을 위한 톤 맵핑 부분(16A)에 의해 설정된(specified) 값들과, 같은 픽셀들을 위한 오리지널 HDR 이미지(12)에 의해 설정된 값들 사이의, 비율(ratios)을 포함한다. 그러한 실시예에서, HDR 정보(16B)는, 오리지널 HDR 이미지(12)에 의해 설정된 값들을 톤 맵핑 부분(16A)에 의해 설정된 상응값(corresponding values)으로 나눔으로써 생성될 수 있다. 이런 연산에서 발생하는 데이터는 HDR 정보부분(16B)으로서 저장될 수 있다. HDR 정보부분(16B)의 데이터 값들이 표현되는 정밀도(precision)는 복원된 HDR 이미지의 적합한 화질을 제공하기 위해 선택될 수 있다. 본 발명의 몇몇 실시예에서 HDR 정보부분(16B)의 데이터 값들은 압축에 앞서 1 바이트(8비트)로 각기 표현된다.

본 발명의 몇몇 실시예에서, HDR 정보부분(16B)은 복원된 HDR 이미지(21)의 픽셀들의 휘도(luminance)와, 상응 픽셀들을 위해 톤 맵핑 부분(16A)에 의해 설정된 휘도사이의, 관계를 설정한다. 그러한 실시예에서, HDR 정보부분(16B)은 색채 정보를 포함할(contain) 필요가 없다.

HDR 정보부분(16B)은 이미지 내의 영역이나 픽셀에 대해 오리지날 HDR 이미지(12)에 의해 설정된 휘도의, 상응하는 영역이나 픽셀에 대해 톤 맵핑 부분(16A)에 의해 설정된 휘도의 비율을 포함하여 구성한다. 이러한 실시예에서, 색채 정보는 톤 맵핑 부분(16A)에 들어있다. 그러한 실시예에서, HDR부분(16B)은 그레이 스케일(grey-scale) 이미지와 동일한 구조를 가질 수 있다. 예를 들어, HDR 데이터 구조(16)가 JFIF 파일을 포함하는 경우, HDR 부분(16B)은 JPEG 그레이 스케일 이미지(JPEG grey-scale image)로 엔코딩 될 수 있다. HDR 데이터 구조(16)가 MPEG 파일을 포함하는 경우, HDR 부분(16B)은 MPEG 그레이 스케일 이미지로 엔코딩 될 수 있다.

데이터구조(16)의 HDR부분(16B)을 만드는데 사용되는 HDR 정보가, HDR 이미지(12)내의 픽셀 값들의, 톤 맵핑 부분(16A)에 의해 설정된 유사 값들에 대한 비율을 포함하는, 본 발명의 실시예에 따른 HDR 엔코더(50)를 도 3은 보여준다. 엔코더(50)는 HDR 이미지 데이터(12)를 수신한다. 엔코더(50)는 점선(13)과 톤 맵핑퍼(tone mapper)(17)에 의해 표시된 바와 같이, HDR 이미지 데이터(12)로부터 톤 맵핑 데이터(15)를 추출함으로써, 또는 점선(13A)으로 표시된 바와 같이 어떤 다른 출처로부터 톤 맵핑 데이터(15)를 받음으로써, 톤 맵핑 데이터(15)를 얻는다. 톤 맵핑퍼(17)는 색채값 또는 휘도 값들을 커트(clip)하지 않고, 톤 맵핑 데이터(15)내의 각 픽셀에 대한 색채 및 휘도비를 유지하는 것이 바람직하다.

예시된 실시예에서, 엔코더(50)는 표준 엔코더(52)를 포함한다. 표준 엔코더는 엔코딩된 톤 맵핑 데이터(15A)를 만들기 위해 톤 맵핑 데이터(15)를 엔코딩한다. 표준 뷰어로 엔코딩된 톤 맵핑 데이터(15A)를 읽을 수 있다. 예를 들어, 표준 엔코더(52)는, 톤 맵핑 데이터(15)를 JPEG 또는 MPEG 뷰어가 읽을 수 있는, JPEG 또는 MPEG 엔코딩된 톤 맵핑 데이터로 엔코딩하는 엔코더를 포함하여 구성될 수 있다. 엔코딩된 톤 맵핑 데이터는 HDR 데이터 구조(16)의 톤 맵핑 데이터부분(16A)에 보존된다(saved).

본 발명의 몇몇 실시예에서, 엔코더(50)는 어떤 외부소스(external source)로부터 엔코딩된 톤 맵핑 데이터(15A)를 수신한다. 이러한 실시예에서, 엔코더(50)는 표준 엔코더(52)를 편입시킬 필요가 없다.

엔코딩된 톤 맵핑 데이터(15A)는 복원된 톤 맵핑 데이터(55)를 산출하기(yield) 위해 디코더(54)로 디코딩된다. HDR 이미지 데이터(12)는 비율데이터(ratio data)(57)를 산출하기 위한 분할기(56)에 의해 복원된 톤 맵핑 데이터(55)로 분할된다. 비율데이터(57)는 HDR 정보(16B)를 산출하기 위한 데이터 압축기 (58)에 의해 선택적으로 압축된다. 데이터 압축기(58)는 JPEG 엔코더 또는 MPEG 엔코더를 포함하여 구성될 수 있는 것이 편리하다. 본 발명의 몇몇 실시예에서, 동일한 JPEG 엔코더 또는 MPEG 엔코더가 HDR 데이터 구조(16)의 톤 맵핑 부분(16A)과 HDR 정보부분(16B)을 모두 엔코딩하는 데 사용된다.

본 발명의 몇몇 실시예에서, 비율데이터(57)는, HDR 이미지 데이터(12)의 값들의, 톤 맵핑 부분(15)[또는 톤 맵핑 부분(16A)]에 의해 설정된, 상응 값들의 비율의 어떤 함수를 포함하여 구성된다. 예를 들어, 비율데이터(57)는 그러한 비율의 로가리즘(logarithm)을 설정하는 정보를 포함하여 구성될 수 있다.

본 발명의 대안적인(alternative) 실시예에서, 톤 맵핑 데이터(15)는 선(53)으로 표시된 바와 같이 분할기(56)에 직접 제공된다. 그러한 실시예에서, 디코더(54)는 필요하지 않다. 톤 맵핑 부분(16A)이 JPEG 또는 MPEG 엔코딩과 같은 손실 있는 알고리즘(lossy algorithm)을 사용하여 엔코딩되는 경우, HDR 정보부분(16B)은 톤 맵핑 데이터(15) 대신 복원된 톤 맵핑 데이터(55)를 기초로 하는 것이 바람직하다. 톤 맵핑 정보부분(16A)이 손실 있는 엔코딩 처리과정(a lossy encoding process)에 의해 엔코딩되는 경우, HDR 정보부분(16B)은 복원된 톤 맵핑 데이터(55)를 기초로 하도록 하는 것은, HDR 데이터 구조(16)로부터 HDR 이미지 데이터(12)의 더 정확한 복원을 가능케 한다(permits). 톤 맵핑 데이터(15) 보다 오히려, 톤 맵핑 정보부분(16A)이 HDR 이미지(21)를 복원하는 데 사용될 것이다(도 1).

압축기(58)는 수많은 형식 중 어느 것도 취할 수 있다. 본 발명의 몇몇 실시예에서, 압축기(58)는 하나 또는 그 이상의 다음의 연산을 수행한다:

ㆍ 비율데이터(57)의 다운샘플링(downsampling);

ㆍ 비율데이터(57)의 압축

압축의 적절한 형태의 여하한 압축도 사용될 수 있다. 본 발명의 바람직한 실시예에서, 압축기(58)는 비율데이터(57)를 다운샘플링하고 다운샘플링된 비율데이터를 엔코딩하는 것을 모두 한다. 비율데이터(57)가 다운샘플링 되는 경우, HDR 정보부분(16B)은 비율데이터(57) 또는 톤 맵핑 데이터(15)의 이미지 크기보다 더 작은 크기의 이미지를 갖는다 [다시 말하면, 비율데이터(57) 또는 톤 맵핑 데이터(15)가 값들을 설정하는(specify) 그러한 픽셀들의 수보다 더 적은 픽셀들에 대해, HDR 정보부분(16B)이 값들을 설정한다]. 그러한 경우, HDR 정보부분(16B)은 톤 맵핑 데이터(15)보다 더 낮은 공간 해상도(a lower spatial resolution)를 갖는다.

비율데이터(57)가 다운샘플링되는 본 발명의 이러한 실시예에서, 또는 다른 손실 있는 압축 매커니즘(lossy compression mechanisms)에서, HDR 정보부분(16B)은 HDR 이미지 데이터(12)를 정확하게 복원하기 위해 필요한 모든 세부사항들이 부족할 수 있다. 비율데이터(57)의 손실 있는 압축에서 발생하는 일그러짐들(distortions)은 톤 맵핑 부분(16A) 및/또는 HDR 정보부분(16B)에 교정을 적용함으로써(by applying corrections) 적어도 부분적으로 보정될 수 있다.

도 4는 톤 맵핑 부분(16A) 및/또는 HDR 정보부분(16B)의 손실 있는 엔코딩에서 발생 되는 가공물들(artefacts)을 감소시키기 위해, 톤 맵핑 부분(16A) 또는 HDR 정보부분(16B)의 데이터를 교정하는 방법(60)의 동작을 도시하는 흐름도이다. 그러한 방법들(60)은 블록(62, 64)에서 HDR 이미지 데이터(90)와 톤 맵핑 데이터(91)를 얻는다. HDR 이미지 데이터(90)와 톤 맵핑 데이터(91)는 위에서 설명된 그러한 방식들을 포함한 적절한 방식으로 얻을 수 있다. 상당수의 실시예에서, 톤 맵핑 데이터(91)는 화살표(65)로 표시한 대로 HDR 이미지 데이터(90)로부터 추출된다.

블록(66)에서, 톤 맵핑 데이터(91)는 엔코딩된 톤 맵핑 데이터(92)를 산출하기 위해 엔코딩된다. 본 발명의 상당수의 실시예에서, 엔코딩 블록(encoding block)(66)은 JPEG 엔코딩 또는 MPEG 엔코딩을 포함하여 구성한다. 그에 이어서, 블록(68)에서, 엔코딩된 톤 맵핑 데이터(92)가 복원된 톤 맵핑 데이터(94)를 산출하기 위해 디코딩된다. 복원 블록(68), 블록(66)이 JPEG 엔코딩 또는 MPEG 엔코딩을 포함하여 구성하는 경우의, JPEG 디코더 또는 MPEG 디코더와 같은, 적절한 디코더에 엔코딩된 톤 맵핑 데이터(92)를 통과시키는 것을 포함하여 구성될 수 있다.

블록(70)은 HDR 이미지 데이터(90)로부터의 값들(제1값) 그리고 복원된 톤 맵핑 데이터(94)로부터의 상응하는 값들(제2값)을 입력으로 취하는 함수를 적용함으로써 비율데이터(96)를 생성한다. 이러한 함수는 제2값으로 제1값을 나누고 또는 그 반대로 하는 것을 포함한다. 본 발명의 간단한 실시예에서, 비율데이터(96)는 다음 식(1)에 의해 주어지는 이미지내의 각 픽셀에 대한 가치 값(

)을 포함한다:

(1)

여기서:

는 픽셀을 식별하는 좌표이고;

은 그 픽셀에 대한 데이터로부터 그 픽셀의 휘도를 회답하는(return) 함수이며;

는 좌표

에서의 HDR 이미지 데이터(90)내의 픽셀 데이터이고; 그리고,

는 좌표

의 픽셀에 대한 복원된 톤 맵핑 데이터(94)[또는 톤 맵핑 데이터(91)]의 픽셀 데이터이다. 상당수의 실시예에서, 비율데이터는

의 로가리즘,

의 제곱근 또는

의 또 다른 함수를 저장한다.

블록(72)과 블록(74)은 비율데이터(96)를 엔코딩한다. 이러한 실시예에서, 엔코딩은, 다운샘플링된 비율데이터(98)를 산출하기 위해 블록(72)내의 비율데이터(96)를 다운샘플링 하는 것 그리고 엔코딩된 비율데이터(100)를 산출하기 위해 다운샘플링된 비율데이터(98)를 압축하는 것을 포함한다. 블록(72)에서 수행된 다운샘플링의 양은, HDR 이미지부분(16B)을 적게 만들고 그리고 HDR 데이터 구조(16)로부터 복원된 HDR 이미지가 최고의 충실도로 HDR 이미지 데이터(90)를 재생하도록 하는, 상충된 목표(competing goals)를 바탕으로 선택될 수 있다. 본 발명의 상당수의 실시예에서, 비율데이터(96)는 다운샘플링된 비율데이터(98)가 비율데이터(96)보다 4 내지 15 사이의 범위의 인수(factor) 만큼(by a factor in the range of 4 to 15) 더 적은 픽셀들을 갖도록 충분히 다운샘플링된다.

예를 들면, 다운샘플링은, 가중식(weighting formula)(

)을 따르는 가우스 필터 커널(Gaussian filter kernel)을 사용하여 수행될 수 있으며, 여기서

는 입력이미지(input image)의 출력 픽셀의 중앙(output pixel's centre)으로부터의 거리이고,

은 다운샘플링 반경(downsampling radius)이다. 이 다운샘플링 반경은 기여 입력 픽셀(contributing input pixels)의 가중치의 합계가 그 아래에서 출력 픽셀의 전체 값의 중요한 부분(significant portion)이 되는 영역으로 정의될 수 있다.

적절한 형태의 데이터 압축이 블록(74)에서 실행될 수 있다. 본 발명의 상당수의 실시예에서, 블록(74)은 JPEG 엔코딩을 수행한다. 본 발명의 다른 실시예에서, 블록(74)은 MPEG 엔코딩을 수행한다.

블록(76)에서, 엔코딩된 비율데이터(100)를 디코딩함으로써 복원된 비율데이터(102)가 만들어진다. 복원된 비율데이터(102)는, 블록(74)과 블록(76)에서의 데이터 손실로 인하여, 비율데이터(96)와 일치하지 않는 것이 일반적일 것이다.

블록(78)에서, 복원된 HDR 이미지 데이터(104)는, 블록(70)에서 비율데이터에 적용된 함수의 역수(the inverse of the function)를 복원된 비율데이터(102)에 더하고(apply), 그리고나서 각 픽셀에 대하여, 복원된 톤 맵핑 데이터(94)내 픽셀에 대한 휘도에 그 결과를 곱함으로써 만들어진다. 예를 들어, 비율데이터(96)가 위의 (1)에서 정의된 값 (

)을 저장하는 경우, 복원된 HDR 이미지 데이터(104)는, 복원된 톤 맵핑 데이터(94)내 각 픽셀에 대한 휘도에 복원된 비율데이터(102)으로부터의

의 상응하는 값을 곱함으로써 얻을 수 있다. 예를 들어, 비율데이터가 자연 로가리즘 값(the natural logarithm values)[In(

)]을 저장하는 경우, 복원된 HDR 이미지 데이터(104)는, 자연 로가리즘의 기수,

를 복원된 비율데이터(102)의 값으로 거듭제곱하고(raise

, the base of natural logarithms, to the power of the value in reconstructed ratio data), 그리고나서 그 결과에 복원된 톤 맵핑 데이터(94)의 각 픽셀에 대한 휘도를 곱함으로써 얻어질 수 있다.

복원된 HDR 이미지 데이터(104)는, 복원된 비율데이터(102)가 오리지널 비율데이터(96)에 일치하지 않기 때문에 그리고, 일반적으로는 덜 중요하지만, 비율데이터(96)의 라운딩 오차(rounding errors) 때문에, 오리지널 HDR 이미지 데이터(90)와 차이가 날 것이다. 어떠한 교정이 요구되는지를 결정하기 위해, 그리고 어떻게 교정이 실행될 것인가를 결정하기 위해, 블록(80)은 임의로 복원된 HDR 이미지 데이터(104)와 오리지널 HDR 이미지 데이터(90)를 선택적으로(optionally) 비교한다. 교정은 톤 맵핑 부분(16A)의 데이터를 교정함(correcting)으로써 및/또는 HDR 정보부분(16B)의 데이터를 교정함으로써 실행될 것이다. 상당수의 방법들은 이러한 교정들의 어느 것 하나(one or the other)를 간단하게 수행한다.

블록(82)은 교정된 톤 맵핑 데이터(106)를 얻는다. 교정된 톤 맵핑 데이터(106)는 복원된 비율데이터(102)로 오리지널 HDR 이미지 데이터(90)를 나눔으로써 얻어질 수 있다. 그런 다음, 필요에 따라, 블록(83)에 표시된 바와 같이 교정된 톤 맵핑 데이터(106)는 엔코딩될 수 있고, HDR 데이터 구조(16)의 톤 맵핑 데이터부분(16A)으로서 블록(84)에 저장될 수 있다. 이러한 사전교정은 복원된 비율데이터(102)가 이용가능한 후 언제라도 수행될 수 있다. 여러 가지 목적으로, 이러한 사전교정이, 통상적인 이미지 뷰어로 톤 맵핑 데이터부분(16A)을 관찰함으로써 볼 수 있는 이미지의 질을 심하게 떨어뜨리지는 않는다. 이러한 교정은, 톤 맵핑 부분(16A)으로 보여지는 이미지를, 교정 없는 경우보다 다소 더 뚜렷하게(sharper) 만드는 경향이 있다. 복원된 HDR 이미지 데이터(104)는 블록(86)의 HDR 데이터 구조(16)의 HDR 정보부분(16B)으로 저장될 수 있다.

상당수의 경우에, 톤 맵핑 부분(16A)에 저장된 톤 맵핑 데이터를 바꾸는(alter) 것은 바람직하지 않다. 예를 들어, 엔코딩된 톤 맵핑 데이터(92)는, 예를 들어 DVD 플레이어의 MPEG 디코더와 같은 특정 뷰어로 볼 때, 최상의 이미지 품질을 제공하기 위해 조심스럽게 최적화될 수 있다. 이러한 경우에, 엔코딩된 톤 맵핑 데이터(92)는 데이터 구조(16)의 톤 맵핑 부분(16A)에 저장될 것이고, 비율데이터(96)는 HDR 데이터 구조(16)의 HDR 정보부분(16B)에 저장될 것이다. 데이터 구조(16)에서 생성된 HDR 이미지의 외관(appearance)에 대한 교정은 HDR 이미지의 복원과 동시에 HDR 정보부분(16B)을 교정함으로써 만들어질 수 있다. 예를 들어, HDR 정보부분(16B)의 데이터는 HDR 이미지를 처리할 수 있는 뷰어에 의해 교정될 수 있다.

도 5는 HDR 정보부분(16B)의 손실 있는 엔코딩으로부터 발생하는 가공물들(artefacts)을 줄이기 위해 HDR 정보부분(16B)의 데이터에 사후 교정을 가

하는(apply) 방법(110)의 동작을 보여주는 흐름도이다. 이 방법(110)은 HDR 이미지를 처리할 수 있는 처리장치(processor)에서 수행될 수 있다. 톤 맵핑 부분(16A)은 표준 이미지(19)를 만들기 위해 표준 디코더에 의해 블록(112)에서 디코딩된다. 이렇게 디코딩된 톤 맵핑 정보는 블록(114)에서 HDR 정보부분(16B)을 교정하는데 사용된다. 이 교정된 HDR 정보는 복원된 HDR 이미지(21)를 만들어 내기 위해 HDR 디코더에 의해 블록(116)에서 디코딩된다.

톤 맵핑 데이터부분(16A)에 의해 표시된 고해상도 이미지(the full resolution image)의 공간 주파수 콘텐츠가 비율데이터(96)의 그것과 대체로 같은, 간단한 경우에, 교정된 비율데이터는 다음의 식(2)에 의한 계산을 수행함으로써 얻어질 수 있다:

(2)

여기서:

는 교정된 HDR 정보가 기초로 하는

의 교정 값이고;

는 비율데이터(96)로부터의 픽셀에 대한 비율이며;

은 톤 맵핑 데이터(91)로부터의 픽셀에 대한 휘도이고; 그리고

는, 다운샘플링된 비율데이터(98)를 산출하기 위해 블록(72)에서 수행된 것고 동일한 방식으로 다운샘플링된 바 있는 톤 맵핑 데이터의 상응하는 픽셀에 대한 휘도이다. 톤 맵핑 데이터는,

과

이 같은 해상도를 갖도록, 이미지비율 (

)과 같은 방식으로, 다운샘플링되고 다시 업샘플링(upsampled)될 수 있다.

이러한 간단한 교정은 비율데이터(96)에 있는 공간 주파수들이 모든 이미지에 대한 톤 맵핑 데이터(91)에 있는 공간 주파수들과 동일하지 않기 때문에 항상 적절한 것은 아니다. 따라서, 비율데이터(96)내의

값들과

의 상응 값들 사이의 비율의 분산(variance in the ratio)을 고려하는 인수(factor)를 교정함수(correction function)에 포함하는 것이 바람직하다. 이러한 분산을 고려하기 위한 하나의 방법은 다음의 식(3)에 의해 교정 값 (

)을 생성하는 것이다:

(3)

여기서:

는 비율데이터(96)의

의 값들과

의 상응 값들 사이의 비율의 분산의 측정치(a measure of variance)이다. 본 발명의 몇몇 실시예에서,

는 다음의 식(4)에 의해 컴퓨터계산된다:

(4)

분산함수(variance function)[

]는 이웃하는 픽셀들에 대한

값의 최대치와 최소치 사이의 차이로 정의될 수 있는데, 이 차이는 이웃하는 픽셀들에 대한

의 평균값에 의해 나눠지거나 또는 이웃하는 픽셀들 중 중앙에 위치한 픽셀의

에 대한 값으로 나뉜다. 예를 들어, 분산값(variance)은 문제의 픽셀에 중심을 둔 한 블록의 픽셀들에 대해 컴퓨터계산될 수 있다. 그것에 대해

가 컴퓨터계산되는 이웃영역(neighborhood)의 크기는 블록(72)의 다운샘플링을 위한 다운샘플링 반경과 일치하는 것이 바람직하다.

블록(114)에 의해 제공된 사후교정이 가공물들(artefacts)을 초래할 수 있기 때문에, 교정의 크기(the magnitude of the correction)를 선택하는데 주의하는 것이 바람직하다. 예를 들어,

이 교정하려고 하는 에러(error)보다 큰 경우에,

는 0에 맞출 수 있다. 에러의 크기는 블록(80)의 비교에 의해 결정되어, 데이터 구조(16)에 저장될 수 있다. 또한

을 지키는 것이 바람직하다.

이

값을 갖도록 허용하는 것은, 바람직하지 않게 높은

값들을 가져올 수 있다.

블록(82, 83, 84)의 사전교정을 선택적으로 수행하고, 또한 블록(83)의 교정이, HDR 이미지의 관찰에 따라(upon viewing) 수행되도록 허용하는, 본 발명의 실시예에서, 사전교정이 수행되었는지 여부를 표시하는 데이터 구조(16)내 플래그(flag)를 포함하는 것이 바람직하다. 이러한 플래그는, HDR 이미지를 지원하지(support) 않는 표준 디스플레이에 의해서는 무시될 수 있는, 주석부분이나 애플리케이션 확장부분(application extension field)에 제공되는 것이 바람직하다.

몇몇 경우에, HDR 디스플레이들은, 통상적인 디스플레이의 색상 범위(color gamut)의 바깥쪽에 있는, 색채들을 제공할(render) 수 있다. 오리지널 HDR 이미지 데이터에 의해 구체화된(specified) 색채들의 고 충실도 재생(high fidelity reproduction of the colors)을 허용하는 매카니즘을 제공하는 것이 바람직하다. 색채 화질을 높이는 하나의 방법은, 톤 맵핑 부분(16A)을 엔코딩하기 위해 사용되는 엔코더(예를 들면, JPEG 또는 MPEG 엔코더)로 효과적으로 다뤄질 수 있는 영역의 밖에 주요 컴포넌트(primary component)를 갖는 어떠한 색채라도 엔코더에 의해 다뤄질 수 있는 범위 내로 축소되도록(scaled back), 색채 정보를 크기조정하는(scale) 것이다. 이 비율데이터는 크기조정된 색채를 정확하게 되찾도록(recover) 조절될 수 있다.

색채 화질을 높이는(to provide enhanced color) 하나의 방법은, 톤 맵핑 부분(16A)을 만드는 동안, 이미지에 광범위한 채도감소(global desaturation)를 사용하는(apply) 것이다. 이 채도감소의 양(the amount of desaturation)은 이미지내의 모든 색채들이 톤 맵핑 부분(16A)을 엔코딩하는 데 사용되는 JPEG 엔코더 또는 다른 엔코더에 의해 효과적으로 다뤄질 수 있는 범위 내에 있도록 하기 위해 선택될 수 있다. 이러한 방법은, 네거티브 주요 컴포넌트들(negative primary components)을 갖는 색채를 다룰 수 있기 때문에, 앞서 설명된 방법보다 바람직하다. 네거티브 주요 컴포넌트들은 몇몇 HDR 포맷들에 허용되고, 그리고 표준 RGB 색상범위(gamut)를 넘어 색채를 나타내는데 필요할 수 있다. 채도감소 과정은 HDR 뷰어에 의해 디코딩하는 동안 반전될(reverse) 수 있다.

입력 채도 레벨(Input color saturation level)은 아래 식(5)과 같이 정의될 수 있다:

(5)

여기서: S는 채도 레벨(saturation level)이고; R, G 그리고 B는 각각 빨강, 초록, 파랑의 원색 컴포넌트(primary color components)에 대한 값들이며; 그리고, Y는 전체휘도(overall luminance)이다. 만일 이미지가 원색 컴포넌트들에 대한 네거티브 값들을 포함한다면, 채도 레벨은 1보다 큰 값을 가질 것이다.

채도 레벨이 0인 경우, 이미지의 어떠한 추가처리가 필요 없다. 채도레벨이 제로가 아닌 경우, 채도 레벨은 다음 식(6)에 따라 수정될 수 있다:

(6)

여기서:

와

는 매개변수(parameters)이고; 그리고,

는 교정된 채도이다. 매개변수

는 엔코딩된 색채들에 얼마나 많은 채도를 보유하는가를 표시한다.

채도 레벨을 바꾸는 것은 이미지의 각 픽셀에 대한 주요 컴포넌트들에 대한 새로운 값을 끌어냄으로써 성취할 수 있다. 이것은 다음의 식(7) 내지 식(9)에 따라 상당수의 실시예에서 수행될 수 있다:

(7)

및,

(8)

그리고

(9)

여기서 R', G' 그리고 B'는 각각 R, G, 그리고 B에 대해 크기조정된(scaled) 값들이다.

이러한 변형(transformation)이 휘도, 즉 Y를 바꾸지 않는다는 것에 유의할 필요가 있다. 변형되기 이전에 가장 작았던 주요 컴포넌트는 변형된 이후에도 가장 작은 것으로 남아있다. 오리지널 색채 값들은 식들 (7, 8, 9)을 인버팅시킴(inverting)으로써 회복될 수 있다. 예를 들어, 만약 픽셀에 대하여 가장 작은 값을 가지는 원색 컴포넌트가 청색일 때, 그 픽셀에 대한 청색채널(blue channel)에 대한 역변형(the inverse transformation)은 다음 식(10)에 의해 주어질 것이고:

(10)

그리고, 적색채널과 녹색채널에 대한 역변형은 각각 다음 식(11)과 식(12)에 의해 주어질 것이다:

(11)

그리고

(12)

많은 HDR 이미지들이, 위에서 설명한 대로 HDR 데이터 구조(16)에 저장되었다. 오리지널 이미지들이, HDR 데이터 구조(16)로부터 복원된, HDR 이미지들과 비교되었다. 1993년 에이.비.왓슨이 편집하고 캠브리지 매사츄세츠의 MIT 프레스가 발행한 "디지털 이미지와 인간의 시각(Digital Images and Human Vision)"에 게재된, 에스. 달리(Daly, S.)의 시각 오차 예측기(Visual Differences Predictor): 이미지 충실도의 평가를 위한 알고리즘(An algorithm for the assessment of image fidelity)에 기술되어 있는, 달리(Daly)의 시각 오차 예측기(Visual Differences Predictor)(VDP)가, 복원된 HDR 이미지내의 픽셀들의 몇 퍼센트나 일반적인(예를 들어 75% 보다 큰 가능성을 가지는 것) 관찰 조건하에서(under typical viewing conditions) 오리지널 HDR 이미지의 상응하는 픽셀들과 다르게 인간들에 의해 지각되는지를 평가하는데 사용되었다. VDP가, 차이점들이 이미지들 사이에서 언제 인지될 수 있었는지에 대한 우수한 예측기인 것으로 파악되었다.

실험들의 제1 세트는, 톤 맵핑 부(16A)를 만드는데 다양한 톤 매핑 연산자(tone mapping operators)를 사용하는 것 그리고, 위에서 설명된 교정 방법 중 하나에 따라, 각각의 톤 맵핑 연산자에 대하여, 톤 맵핑 부분(16A)이나 HDR 정보부분(16B)의 어느 하나를 교정하는 것을 포함한다. 90과 100의 두 품질 레벨(two quality levels)에서의 JPEG 엔코딩을 사용하여, 톤 맵핑 부분(16A)과 HDR 정보부분(16B)이 각각 엔코딩되었다. 이 실험세트는 표Ⅰ에 나타낸 결과를 산출했다.

표Ⅰ - 여러 가지의 톤 매핑 연산자들을 위한 이미지 품질 (Image Quality for Several Tone Mapping Operators)
톤 매핑 연산자 (Tone Mapping Operator)	JPEG 품질 (JPEG Quality)	사전 교정을 사용하는 VDP (VDP using precorrection)	사후 교정을 사용하는 VDP (VDP using postcorrection)
바이래터럴 필터 (Bilateral Filter)	90 100	0.93% 0.02%	5.4% 1.8%
라인하드 글로벌 (Reinhard Global)	90 100	2.5% 0.09%	4.7% 2.8%
히스토그램 조절 (Histogram Adj.)	90 100	5.9% 0.63%	21% 17%
기울기 (Gradient)	90 100	7.5% 3.0%	36% 34%

표Ⅰ의 VDP 값들은 많은 이미지들의 평균값이다. 톤 매핑 연산자의 선정이, HDR 데이터 구조(16)로부터 복원될 수 있는 HDR 이미지의 품질에 상당한 효과를 줄 수 있음을 알 수 있다. 이들 실험에 사용된 톤 매핑 연산자들 중 바이래터럴 필터가 평균적으로 최고의 결과를 제공하는 것으로 나타났다.

본 발명의 특정 실시예들은, 본 발명의 방법을 수행하도록 하는 소프트웨어 명령을 실행하는(execute) 컴퓨터 처리장치를 포함하여 구성된다. 예를 들어, 컴퓨터 시스템의 하나 또는 그 이상의 컴퓨터 처리 장치들은 그 처리장치들에 접근할 수 있는 프로그램 메모리(program memory)내 소프트웨어 명령들을 실행함으로써 도 1 내지 도 5의 여하한 방법들도 실시(implement)할 수 있을 것이다. 본 발명은 또한 프로그램 제품의 형태로 제공될 수 있다. 이 프로그램 제품은, 컴퓨터 처리장치(computer processor)에 의해 실행될(execute) 때, 데이터 처리장치(data processor)로 하여금 본 발명의 하나의 방법을 실행하도록 하는 명령들을 포함하는 하나의 컴퓨터 판독가능 컴퓨터 신호 세트(a set of computer-readable signals)를 저장하고 있는(carry) 어떤 매체를 포함하여 구성될 수 있다. 본 발명에 의한 프로그램 제품들은 폭넓은 다양한 형식으로 만들 수 있다. 본 발명의 프로그램 제품은, 예를 들어, 플라피디스크, 하드디스크 드라이브를 포함하는 매그네틱 데이터 저장 매체(magnetic data storage media), CD ROM, DVD를 포함하는 광 데이터 저장 매체(optical data storage media), ROM, 플래시 RAM을 포함하는 컴퓨터 통신망의 데이터 저장 매체(electronic data storage media) 또는 이와 유사한 것들과 같은 물리적 매체(physical media) 또는 디지털이나 아날로그 통신 링크(digital or analog communication links)와 같은 전송 타입 매체를 포함하여 구성될 수 있다. 이러한 명령들은 선택적으로, 압축된 및/또는 엔코딩된 포맷의, 컴퓨터 판독가능 신호(computer-readable signals)로 존재할 수 있다.

컴포넌트[예를 들면, 소프트웨어 모듈(software module), 처리장치(processor), 어셈블리(assembly), 디바이스(device), 회로(circuit)등]가 위에서 언급되는 경우, 달리 표시되지 않는한, 그 컴포넌트[수단(means)을 포함]에 대한 언급은, 본 발명의 예시로서 열거된 실시예의 기능을 수행하는 공개 구조에 구조적으로 일치하지 않는 컴포넌트들을 포함하여, 상술한 컴포넌트의 기능을 수행하는(즉, 기능적으로 동일한) 여하한 컴포넌트도 그 균등물로서 포함하는 것으로 해석되어야한다.

이 분야에 통상의 기술을 가진 자들에 명백하듯이, 본 발명의 실시에 있어서 많은 변경과 수정들이 앞의 기술에 비추어 본 발명의 정신이나 범위로부터 벗어남이 없이 가능하다. 따라서, 발명의 범위는 다음의 청구항에 의해 정의된 요지에 따라 해석되어야 한다.

Claims

초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩(encoing) 방법으로서,

상기 고 동적범위 이미지 데이터에 상응하는 톤 맵핑 데이터를 획득하는 단계로서, 상기 톤 맵핑 데이터는 상기 초기 동적범위보다 낮은 감소된 동적범위를 가지는 것인 단계;

상기 고 동적범위 이미지 데이터 내의 값들(values)과 톤 맵핑 데이터 내의 상응하는 값들의 비율들을 포함하는 비율데이터를 컴퓨터 계산하는 단계;

상기 비율데이터에 기초한 고 동적범위 정보를 생성하는 단계;

상기 톤 맵핑 데이터에 기초한 톤 맵핑 정보를 생성하는 단계; 및

상기 고 동적범위 정보 및 상기 톤 맵핑 정보를 데이터 구조에 저장하는 단계를 포함하는,

초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제1항에 있어서, 상기 데이터 구조는 이미지부분(image field) 및 애플리케이션 확장부분(application extension field)을 포함하고, 상기 고 동적범위 정보 및 상기 톤 맵핑 정보를 저장하는 단계는 상기 애플리케이션 확장부분에 상기 고 동적범위 정보를 저장하고 상기 이미지부분에 상기 톤 맵핑 정보를 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제1항에 있어서, 상기 톤 맵핑 정보를 생성하는 단계가, 상기 톤 맵핑 데이터를 JPEG 엔코딩하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제3항에 있어서, 상기 데이터 구조가 JFIF 데이터 구조를 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제4항에 있어서, 상기 고 동적범위 정보를 JFIF 데이터 구조의 애플리케이션 확장부분에 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제4항에 있어서, 상기 고 동적범위 정보를 JFIF 데이터 구조의 주석부분(comment field)에 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제6항에 있어서, 상기 주석부분에 상기 고 동적범위 정보를 저장하기 전에 텍스트(text)로서 상기 고 동적범위 정보를 엔코딩 하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제4항에 있어서, 상기 고 동적범위 정보를 생성하는 것이 상기 비율데이터를 압축하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제8항에 있어서, 상기 비율데이터를 압축하는 것이 상기 비율데이터를 다운샘플링하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제8항에 있어서, 상기 비율데이터의 압축단계가 상기 비율데이터를 JPEG 엔코딩 하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제1항에 있어서, 상기 톤 맵핑 정보를 생성하는 단계가 상기 톤 맵핑 데이터를 MPEG 엔코딩하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제11항에 있어서, 상기 데이터 구조가 MPEG 데이터 구조를 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제12항에 있어서, MPEG 데이터 구조의 애플리케이션 확장부분에 상기 고 동적범위 정보를 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제12항에 있어서, 상기 고 동적범위 정보를 MPEG 데이터 구조의 주석부분에 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제13항 또는 제14항에 있어서, MPEG 비디오의 각 프레임(frame)에 대해 상기 고 동적범위 정보를 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제13항 또는 제14항에 있어서, 종래의 MPEG 키프래임 보간기법(conventional MPEG keyframe interpolation techniques)이 키프레임간 프레임들(inter-keyframe frames)을 만들기 위해 사용되는 MPEG 비디오의 키프레임들에 대해서만 상기 고 동적범위 정보를 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제11항에 있어서, 상기 고 동적범위 정보를 생성하는 단계가 상기 비율데이터를 압축하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제17항에 있어서, 상기 비율데이터 압축단계가 상기 비율데이터를 다운샘플링하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제17항에 있어서, 상기 비율데이터 압축단계가 상기 비율데이터의 MPEG 엔코딩을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제1항에 있어서, 상기 톤 맵핑 데이터는 손실 있는 엔코딩에 의해 엔코딩되고, 상기 톤 맵핑 데이터를 디코딩하고 이어서 상기 디코딩된 톤 맵핑 데이터로부터 비율데이터를 컴퓨터 계산하는 단계를 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제20항에 있어서, 상기 톤 맵핑 데이터를 디코딩하기에 앞서 손실 있는 엔코딩 방법에 의해 상기 톤 맵핑 데이터를 엔코딩하는 단계를 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제20항에 있어서, 상기 톤 맵핑 정보를 저장하는 단계가 엔코딩된 상기 톤 맵핑 데이터를 저장하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제22항에 있어서, 상기 고 동적범위 정보를 생성하는 단계가 압축된 비율데이터를 산출하기 위해 상기 비율데이터를 압축하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제23항에 있어서, 상기 비율데이터를 압축하는 단계가 상기 비율데이터의 손실 있는 압축을 실행하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제24항에 있어서, 상기 비율데이터의 압축단계가 상기 비율데이터를 다운샘플링 하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제24항 또는 제25항에 있어서, 상기 비율데이터를 압축하는 단계가 상기 비율데이터의 JPEG 엔코딩을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제24항 또는 제25항에 있어서, 상기 비율데이터를 압축하는 단계가 상기 비율데이터의 MPEG 엔코딩을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제23항 내지 제25항 중의 어느 한 항에 있어서, 상기 톤 맵핑 정보를 생성하는 단계가 상기 압축된 비율데이터로부터의 비율데이터를 복원하는 단계 및 상기 복원된 비율데이터에 의해 상기 고 동적범위 이미지 데이터를 나누는 단계를 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제23항에 있어서, 상기 고 동적범위 정보를 생성하는 단계가, 상기 비율데이터에 상기 톤 맵핑 데이터에 기초한 교정함수를 적용하는(apply) 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제29항에 있어서, 상기 교정함수가
대
의 비율(여기서
이 상기 톤 맵핑 데이터 내의 픽셀에 대한 휘도이고
이 다운샘플링된 톤 맵핑 데이터의 상응하는 픽셀에 대한 휘도임)을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제29항에 있어서, 상기 교정함수가 아래의 식 또는 그의 수학적 등가식으로 이루어진, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법:

상기 식에서:
는 수치 매개변수(numeric parameter)이다.
제31항에 있어서,
가
대
의 비율의 분산 측정치(a measure of variance)인, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제32항에 있어서,
가 아래의 식에 의해 컴퓨터 계산되는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제1항 내지 제14항, 제17항 내지 제25항 및 제29항 중의 어느 한 항에 있어서, 상기 고 동적범위 정보를 생성하는 단계가 상기 비율데이터의 로가리즘을 컴퓨터 계산하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
삭제
제1항에 있어서, 상기 톤 맵핑 데이터를 획득하는 단계가 색채값이나 휘도값들을 손상시킴(chopping) 없이 톤 맵핑퍼(tone mapper)로 상기 톤 맵핑 데이터를 생성하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
제1항에 있어서, 상기 톤 맵핑 데이터를 획득하는 단계가 상기 톤 맵핑 데이터의 각 픽셀에 대한 색채비율과 휘도 비율을 유지하는 톤 맵핑퍼로 상기 톤 맵핑 데이터를 생성하는 것을 포함하는, 초기 동적범위를 가지는 고 동적범위 이미지 데이터의 엔코딩 방법.
톤 맵핑 부분 및 고 동적범위 정보부분을 포함하는, 초기 동적범위를 갖는 고 동적범위 이미지를 나타내는 데이터 구조를 저장하기 위한 기록 매체로서,

상기 톤 맵핑 부분은 상기 이미지를 나타내는 톤 맵핑 정보를 함유하되, 상기 톤 맵핑 부분은 상기 초기 동적범위보다 적은 감소된 동적범위를 가지며;

상기 고 동적범위 정보부분은 상기 톤 맵핑 부분 내의 휘도값들 대 상기 고 동적범위 이미지의 상응하는 휘도값들의 비율을 표시하는(describe) 정보를 함유하는, 데이터 구조를 저장하기 위한 기록 매체.
삭제
제38항에 있어서, 상기 톤 맵핑 정보가 JPEG 엔코딩된, 데이터 구조를 저장하기 위한 기록 매체.
제40항에 있어서, 상기 데이터 구조가 JFIF 데이터 구조를 구성하는, 데이터 구조를 저장하기 위한 기록 매체.
제41항에 있어서, 상기 고 동적범위 정보부분이 하나 이상의 JFIF 애플리케이션 확장부분(application extension)을 포함하는, 데이터 구조를 저장하기 위한 기록 매체.
제41항에 있어서, 상기 고 동적범위 정보부분이 JFIF 주석부분을 포함하는, 데이터 구조를 저장하기 위한 기록 매체.
제38항에 있어서, 상기 톤 맵핑 정보가 MPEG 엔코딩된, 데이터 구조를 저장하기 위한 기록 매체.
제44항에 있어서, 상기 데이터 구조가 MPEG 데이터 구조를 구성하는 데이터 구조를 저장하기 위한 기록 매체.
제45항에 있어서, 상기 고 동적범위 정보부분이 하나 이상의 MPEG 애플리케이션 확장부분을 포함하는, 데이터 구조를 저장하기 위한 기록 매체.
제45항에 있어서, 상기 고 동적범위 정보부분이 MPEG 주석부분을 포함하는, 데이터 구조를 저장하기 위한 기록 매체.
제46항 또는 제47항에 있어서, 상기 고 동적범위 부분이 MPEG 비디오의 프레임과 연관된, 데이터 구조를 저장하기 위한 기록 매체.
제46항 또는 제47항에 있어서, 상기 고 동적범위 부분은, 종래의 MPEG 키프래임 보간기법(conventional MPEG keyframe interpolation techniques)이 키프레임간 프레임들(inter-keyframe frames)을 만들기 위해 사용되는, MPEG 비디오의 키프레임과 연관된, 데이터 구조를 저장하기 위한 기록 매체.
제38항 및 제40항 내지 제47항 중의 어느 한 항에 있어서, 상기 톤 맵핑 정보가 모든 픽셀에 대해 영(0)이 아닌 값을 설정하는(specify), 데이터 구조를 저장하기 위한 기록 매체.
제38항에 있어서, 상기 고 동적범위 정보가 압축된, 데이터 구조를 저장하기 위한 기록 매체.
제38항에 있어서, 상기 고 동적범위 정보가 JPEG 엔코딩된, 데이터 구조를 저장하기 위한 기록 매체.
제38항에 있어서, 상기 고 동적범위 정보가 MPEG 엔코딩된, 데이터 구조를 저장하기 위한 기록 매체.
제52항 또는 제53항에 있어서, 상기 톤 맵핑 정보가 상기 고 동적범위 정보의 이미지크기보다 큰 이미지 크기를 갖는, 데이터 구조를 저장하기 위한 기록 매체.
초기 동적범위를 가지는 고 동적범위 이미지 데이터를 엔코딩하는 장치로서,

상기 고 동적범위 이미지 데이터내의 값들 대 상기 고 동적범위 이미지 데이터에 상응하는 톤 맵핑 데이터 내의 상응하는 값들의 비율들을 포함하는 비율데이터를 컴퓨터 계산하는 수단으로서, 상기 톤 맵핑 데이터가 상기 초기 동적범위보다 낮은 감소된 동적범위를 갖는 것인 수단;

상기 비율데이터에 기초하여 고 동적범위 정보를 생성하는 수단;

상기 톤 맵핑 데이터에 기초하여 톤 맵핑 정보를 생성하는 수단; 및

상기 고 동적범위 정보 및 상기 톤 맵핑 정보를 데이터 구조에 저장하는 수단을 포함하는,

초기 동적범위를 갖는 고 동적범위 이미지 데이터를 엔코딩하는 장치.