KR102128233B1

KR102128233B1 - 고 동적 범위 이미지들의 인코딩，디코딩，및 표현

Info

Publication number: KR102128233B1
Application number: KR1020197028647A
Authority: KR
Inventors: 웬후이 지아; 아지트 니난; 아르카디 텐; 그레고리 존 워드; 게이븐 왕
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2011-04-15
Filing date: 2012-04-16
Publication date: 2020-06-30
Also published as: TWI624182B; CA3000434A1; IL259069B; EP3376749B1; JP2017050028A; TW201820861A; JP2014510988A; IL238138B; TWI521973B; CA2830678A1; BR112013026191A2; TW201304558A; JP2015062291A; JP6058183B2; TW201720143A; KR20150098245A; ES2686980T3; JP6469631B2; JP5661218B2; BR112013026191B1

Abstract

휘도 비들 및 색 잔류 값들의 형태의 HDR 재구성 데이터를 갖는 톤 매핑된(TM) 이미지를 포함하는 이미지 데이터를 인코딩 및 디코딩하기 위한 기술들이 제공된다. 일 예시적인 실시예에 있어서, 색 공간의 색 채널들에서의 휘도 비 값들 및 잔류 값들은 휘도 비 이미지를 갖는 TM 이미지로부터 복원가능하지 않을 수 있는 하나 이상의 색 변화들을 포함하는 고 동적 범위(HDR) 이미지 및 파생 톤-매핑된(TM) 이미지에 기초하여 개별 화소 단위로 생성된다. 휘도 비 값들 및 색-채널 잔류 값들로부터 유도된 HDR 재구성 데이터를 갖는 TM 이미지는 예를 들면, 디코딩, 렌더링 및/또는 저장을 위해 이미지 파일로 다운스트림 디바이스에 출력될 수 있다. 이미지 파일은 색 변화들에 자유로운 복원된 HDR 이미지를 생성하기 위해 디코딩될 수 있다.

Description

고 동적 범위 이미지들의 인코딩，디코딩，및 표현{ENCODING, DECODING, AND REPRESENTING HIGH DYNAMIC RANGE IMAGES}

본원은 전체로서 본원에 참조로 통합되는, 2011년 4월 15일 출원된 미국 가출원 제 61/476,174 호 및 2011년 10월 28일 출원된 미국 가 출원 제 61/552,868 호에 대한 우선권을 주장한다.

본 발명은 일반적으로 이미지 처리에 관한 것으로, 특히, 고 동적 범위 이미지들의 인코딩, 디코딩 및 표현에 관한 것이다.

양수인 및 다른 사람들에 의해 개발되고 있는 디스플레이 기술들은 고 동적 범위(high dynamic range; HDR)를 갖는 이미지들을 재생할 수 있다. 이러한 디스플레이들은 종래의 디스플레이들보다 더 정확히 실세계 장면들을 표현하는 이미지들을 재생할 수 있다.

역 호환성(backwards compatibility) 뿐만 아니라, 새로운 HDR 디스플레이 기술들을 지원하기 위해서, HDR 이미지는 그레이스케일 휘도 비들을 포함하는 부가 메타데이터를 갖는 톤-매핑된 이미지에 의해 표현될 수 있다. 한편, 톤-매핑된 이미지는 (예를 들면, 레거시 디스플레이 상에서) 일반적인 동적 범위 이미지를 표현하기 위해 이용될 수 있다. 다른 한편으로, 부가 메타데이터는 (예를 들면, HDR 디스플레이에 의해) HDR 이미지를 생성, 복원 또는 표현하기 위해 톤-매핑된 이미지와 함께 이용될 수 있다.

그러나, 톤-매핑된 이미지는 이미지를 조작하는 이용자 또는 톤-매핑된 이미지를 생성하기 위해 이용된 특정 톤 매핑 연산자와 관련된 다양한 이유들로 인해 야기된 하나 이상의 색 변화들을 포함할 수 있다. 예를 들면, 이용자는 더 예술적으로 보이는 이미지를 생성하기 위해서 이미지의 화소들 중 일부 또는 모두와 관련된 색조 정보를 변경할 수 있다. 또한, 톤-매핑 연산자는 다양한 색 채널들에서 상이한 블랙 또는 화이트 클리핑들(black or white clippings)을 수행할 수 있고, 예를 들면, 이미지의 비교적 노출이 부족한 또는 과도하게 노출된 영역들에서 색 변화들을 도입할 수 있다. 기존의 기술들 하에서, 다운스트림 디코더가 톤-매핑된 이미지 및 수반되는 그레이스케일 휘도 비들로부터 HDR 이미지를 재구성하려고 할 때, 톤-매핑된 이미지에서의 이들 색 변화들은 제거하기에 어렵거나 불가능하다.

이 섹션에서 서술된 방식들은 추구될 수 있는 방식들이지만, 반드시 이전에 생각되었거나 추구되었던 방식들은 아니다. 따라서, 달리 나타내지 않는다면, 이 섹션에서 서술된 방식들 중 임의의 방식들은 단지 이 섹션에 포함되는 것으로 인해 종래 기술로서 간주하는 것으로 가정되어서는 안 된다. 마찬가지로, 하나 이상의 방식들과 관련하여 확인된 쟁점들은, 달리 나타내지 않는 한, 이 섹션에 기초하여 종래 기술에서 인식된 것으로 가정하지 않아야 한다.

본 발명의 목적은 휘도 비들 및 색 잔류 값들의 형태의 HDR 재구성 데이터를 갖는 톤 매핑된(TM) 이미지를 포함하는 이미지 데이터를 인코딩 및 디코딩하기 위한 기술들을 제공하는 것이다.

일 예시적인 실시예에 있어서, 색 공간의 색 채널들에서의 휘도 비 값들 및 잔류 값들은 휘도 비 이미지를 갖는 TM 이미지로부터 복원가능하지 않을 수 있는 하나 이상의 색 변화들을 포함하는 고 동적 범위(HDR) 이미지 및 파생 톤-매핑된(TM) 이미지에 기초하여 개별 화소 단위로 생성된다. 휘도 비 값들 및 색-채널 잔류 값들로부터 유도된 HDR 재구성 데이터를 갖는 TM 이미지는 예를 들면, 디코딩, 렌더링 및/또는 저장을 위해 이미지 파일로 다운스트림 디바이스에 출력될 수 있다. 이미지 파일은 색 변화들에 자유로운 복원된 HDR 이미지를 생성하기 위해 디코딩될 수 있다.

본 발명은 첨부 도면들에서 제한적이지 않고 예시적인 방식으로 설명되며, 도면들에서 동일한 참조 부호들은 유사한 소자들을 나타낸다.

도 1은 본 발명의 일부 가능한 일 실시예들에 따른 예시적인 HDR 이미지 인코더를 도시하는 도면.
도 2는 본 발명의 일부 가능한 일 실시예들에 따른 예시적인 HDR 이미지 디코더를 도시하는 도면.
도 3a 및 도 3b는 본 발명의 가능한 실시예에 따른 예시적인 처리 흐름들을 도시하는 도면들.
도 4는 본 발명의 가능한 실시예에 따른, 본원에서 기술되는 컴퓨터 또는 컴퓨팅 디바이스가 구현될 수 있는 예시적인 하드웨어 플랫폼을 도시하는 도면.
도 5는 블랙에서 화이트로의 변화도에 따른 일반적인 카메라에서의 상이한 색 센서들의 가변 포화도 특성들을 도시하는 도면.
도 6a 및 도 6b는 사후(post-hoc) 화이트 밸런스를 수행하는 색 공간을 모니터링하기 위해 카메라 센서 색 공간으로부터 이미지 데이터를 변형하는 본 시스템의 실시예들을 도시하는 도면들.
도 7은 화이트 밸런스 정정 기술의 하나의 실시예를 도시하는 도면.

이미지 처리 기술들과 관련된 예시적인 가능한 실시예들이 본원에서 기술된다. 다음 서술에서, 설명의 목적상, 본 발명의 철저한 이해를 제공하기 위해서 다수의 특정 세부사항들이 제시된다. 그러나, 본 발명은 이들 특정 세부사항들 없이 실시될 수 있다는 것이 명백할 것이다. 다른 예들에 있어서, 본 발명을 불필요하게 가리거나 불분명하게 하거나 불명확하게 하는 것을 피하기 위해서, 잘-공지되어 있는 구조들 및 디바이스들은 상세히 서술되지 않는다.

예시적인 실시예들은 본원에서 다음의 개요에 따라 서술된다.

1. 개관

2. HDR 이미지 인코더

3. 화이트 밸런스 정정

4. HDR 이미지 디코더

5. 예시적인 처리 흐름

6. 구현 메커니즘들-하드웨어 개관

7. 등가물들, 확장들, 대안들 및 기타

1. 개관

이 개관은 본 발명의 가능한 실시예의 일부 양태들의 기본적인 서술을 제시한다. 이 개관은 가능한 실시예의 양태들의 광범위한 또는 완전한 요약이 아니라는 점을 유념해야 한다. 또한, 이 개관은 가능한 실시예의 임의의 특히 중요한 양태들 또는 소자들을 식별하는 것으로서 이해되어서는 안 되고, 특히 가능한 실시예나 일반적으로는 발명의 임의의 범위를 기술하는 것으로서 이해되어서는 안 된다는 것을 유념해야 한다. 이 개관은 단지 요약되고 간소화된 포맷으로 예시적인 가능한 실시예와 관련되는 일부 개념들을 나타내고, 다음에 이어지는 예시적인 가능한 실시예들의 더욱 상세한 설명에 대한 단지 개념적인 서두로서 이해되어야 한다.

다양한 이미지 렌더링 디바이스들 상에 이미지들을 디스플레이하기 위해서, 톤 매핑 연산자들(TMO들)은 입력 HDR 이미지들을 톤 매핑된(TM) 기본 이미지들로 처리한다. TM 기본 이미지들은 입력 이미지와 관련된 색 변화들(예를 들면, 색조 변경들, 색 클리핑들, 예술적 보기들 등)을 포함할 수 있다. 일부 기술들 하에서, 입력 HDR 이미지들과 동등한 HDR 이미지들을 재구성하기 위해 휘도 비들에 따라 다운스트림 이미지 디코더들에 TM 베이스 이미지들이 제공된다. 그러나, 다운스트림 이미지 디코더는, TM 베이스 이미지 및 그레이스케일 휘도 비들에 의존하여, 재구성된 HDR 이미지에서 색 변화들을 제거할 수 없을 수 있다. 결과적으로, 색 변화들은 재구성된 HDR 이미지에 주목할 만한 정도로 남아 있을 수 있다.

그에 반해서, 본원에서 서술되는 기술들 하에서의 HDR 이미지 인코더는 입력 HDR 이미지 및 TM 베이스 이미지에 기초하여 휘도 비들 뿐만 아니라 색 잔류 값들을 생성한다. 휘도 비들 및 색 잔류 값들은 총괄하여 HDR 재구성 데이터로 표기될 수 있다. 선택적으로 및/또는 부가적으로, 휘도 비들은 비교적 넓은 범위의 휘도 값들을 지원하기 위해 대수 도메인으로 변형된다. 선택적으로 및/또는 부가적으로, 결과적인 대수 휘도 비들 및 색 잔류 값들이 양자화된다. 선택적으로 및/또는 부가적으로, 양자화된 대수비들 및 색 잔류 값들은 잔류 이미지에 저장된다. 일부 실시예들에서의 양자화된 대수비들 및 색 잔류 값들, 또는 잔류 이미지에는 다운스트림 이미지 디코더에 대한 TM 베이스 이미지가 제공된다. 선택적으로 및/또는 부가적으로, 양자화된 대수비들 및 색 잔류 값들과 관련된 파라미터들(예를 들면, 범위 한계들 등)에는 또한 TM 베이스 이미지가 제공된다.

본원에서의 TMO는 저(블랙) 또는 고(화이트) 휘도 레벨들을 갖는 개별 화소들에 대한 색 채널들에서 색 클리핑들을 자유롭게 수행할 수 있다. 또한, 본원에서 서술되는 것과 같은 TM0는 각 화소에서 색조를 유지할 필요가 없다. 본원에서 서술되는 기술들 하에서, 이용자는 이미지 콘텐트(예를 들면, 사람 형상들, 실내 이미지, 실외 장면, 야경, 일몰 등) 또는 (예를 들면, 영화, 포스터, 결혼 사진, 잡지 등에서 이용되는) 애플리케이션들에 기초하여 TM0를 선택하는데 있어서 자유롭다. 색 클리핑들 또는 수정들은 이미지들의 예술적인 보기들을 생성하기 위해 의도적으로 및 자유롭게 이용될 수 있다. 본원에서의 HDR 이미지 인코더들 및 디코더들은 광범위한 가능한 색 변화들을 도입할 수 있는 상이한 유형들의 편집 소프트웨어 및 카메라 제조자들에 의해 구현되는 TMO들을 지원한다. 본원에서 서술되는 기술들 하에서, HDR 인코더들은 색 잔류 값들을 HDR 디코더들에 제공한다. HDR 디코더들은 재구성된 HDR 이미지들에 색 변화들이 존재하는 것을 방지하기 위해(또는 최소화하기 위해) 색 잔류 값들을 차례로 이용한다.

본원에서 서술되는 기술들 하에서, 비트 스트림들 및/또는 이미지 파일들은 디코딩 및/또는 렌더링을 위해 TM 베이스 이미지들 및 그들 각각의 HDR 재구성 데이터를 다운스트림 이미지 뷰어들 또는 디코더들에 저장 및 제공하기 위해 이용될 수 있다. 본원에서 서술되는 기술들 하에서의 이미지 포맷은 상이한 유형들의 편집 소프트웨어 및 카메라 제조자들에 의해 구현되는 TMO들을 지원한다. 본원에서 서술되는 이미지 포맷들의 예들은 (예를 들면, JPEG-HDR을 포함하는) 표준 JPEG 이미지 포맷들 등을 포함할 수 있지만 그것으로 제한되지는 않는다. 일 예시적인 실시예에 있어서, JPEG-HDR 이미지 포맷은 휘도 비들 및 색 잔류 값들을 갖는 TM 베이스 이미지의 저장을 지원하기 위해 이용된다. 부가적으로 및/또는 선택적으로, 이미지 파일에 저장된 TM 베이스 이미지 및 잔류 이미지 중 하나 또는 모두는 압축된다. 본원에서 서술되는 것과 같은 압축은 JPEG 표준 또는 상이한 방법을 이용하여 수행될 수 있다.

본원에서 서술되는 기술들 하에서 HDR 이미지 처리를 지원하지 않는 이미지 디코더 또는 뷰어는 단순히 이미지 파일에서 TM 베이스 이미지를 연다. 다른 한편으로, 본원에서 서술되는 기술들 하에서의 HDR 이미지 디코더들은 이미지 파일을 TM 베이스 이미지 및 그의 대응하는 휘도 비들과 색 잔류 값들로 판독/파싱하고 HDR 이미지를 복원/재구성하도록 구성된다. 본원에서 서술되는 재구성된 HDR 이미지는 원래의 입력 HDR 이미지에는 없지만 TMO에 의해 TM 베이스 이미지에 도입되는 색 변화들에 대해서 자유롭다.

일부 가능한 실시예들에 있어서, 본원에서 서술되는 것과 같은 메커니즘들은 휴대형 디바이스, 게임기, 극장 시스템, 가정용 오락 시스템, 텔레비전, 랩탑 컴퓨터, 노트북 컴퓨터, 셀룰러 무선 전화, 전자 서적 리더, 포스 단말(point of sale terminal), 데스크톱 컴퓨터, 컴퓨터 워크스테이션, 컴퓨터 키오스크, 및 다양한 다른 유형들의 단말들 및 처리 유닛들을 포함하지만 이들로 제한되지는 않는 이미지 인코더의 일부를 형성한다.

본원에서 서술되는 바람직한 실시예들 및 일반 원리들 및 특징들에 대한 다양한 수정들이 당업자들에게는 손쉽게 명백할 것이다. 따라서, 본 개시는 제시된 실시예들로 제한되도록 의도되지 않지만, 본원에서 서술되는 원리들 및 특징들에 맞는 넓은 범위에 부합되어야 한다.

2. HDR 이미지 인코더

도 1은 본 발명의 일부 가능한 실시예들에 따른 예시적인 HDR 이미지 인코더를 도시한다. 일부 가능한 실시예들에 있어서, HDR 이미지 인코더는 하나 이상의 컴퓨팅 디바이스들에 의해 구현되고, 입력 HDR 이미지를 표준-기반 또는 독점 이미지 포맷의 HDR 재구성 데이터를 갖는 TM 이미지로 인코딩하기 위한 이미지 처리 기술들을 구현하는 소프트웨어 및/또는 하드웨어 구성요소들로 구성된다.

HDR 이미지 인코더는 입력 HDR 이미지를 수신하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 본원에서 이용되는 것과 같이, "입력 HDR 이미지"는 부동 소수점 또는 고정점 고 동적 범위 이미지 데이터를 포함할 수 있는 임의의 HDR 이미지를 나타낸다. 입력 HDR 이미지는 고 동적 범위 색역을 지원하는 임의의 색 공간에 있을 수 있다. 일 예시적인 실시예에 있어서, 입력 HDR 이미지는 RGB 색 공간에서 RGB 이미지(예를 들면, 도 1에 도시되어 있는 것과 같은 입력 HDR RGB(102))이다. 일 예에서, 입력 HDR 이미지에서의 각 화소는 색 공간에서 규정되는 모든 채널들(예를 들면, RGB 색 공간에서의 적색, 녹색 및 청색 색 채널들)에 대한 부동 소수점 화소 값들을 포함한다. 또 다른 예에서, 입력 HDR 이미지에서의 각 화소는 색 공간에서 규정되는 모든 채널들에 대한 고정점 화소 값들(예를 들면, RGB 색 공간에서의 적색, 녹색 및 청색 색 채널들에 대한 16 비트들 또는 더 많은/더 적은 수의 비트들의 고정점 화소 값들)을 포함한다. 각 화소는 선택적으로 및/또는 대안적으로 색 공간에서 하나 이상의 채널들에 대한 다운샘플링된 화소 값들을 포함할 수 있다.

일 예시적인 실시예에 있어서, HDR 이미지 인코더는 복수의 선-처리 단계들을 수행하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 선택적으로 및/또는 대안적으로, 선-처리 단계들은 입력 HDR 이미지 등에 대한 0번 이상의 건전성 검사들(sanity checks)을 포함하지만 이것으로 제한되지는 않는다. 예를 들면, 입력 HDR 이미지는 예를 들면, 업스트림 단계에 의해 또는 인코딩 또는 송신시 도입된 로컬 데이터 손상에 의해 도입된 음의 휘도 값들을 나타내는 화소 값들을 포함할 수 있거나 포함하지 않을 수 있다. 근본적인 휘도 값이 음이 됨으로써 후속하는 톤 매핑 동작들에서 문제들이 유발되는 것을 방지하기 위해서, 입력 HDR 이미지에서의 근본적인 휘도 값들에 대해 건전성 검사(음의 휘도 검사(104))가 행해진다. 화소의 근본 휘도 값이 양이 아니라면, 화소의 모든 색 채널들에 대한 화소 값들은 0으로 설정될 수 있다.

휘도 값이 색 공간에서 화소에 대해 직접 주어지지 않는 가능한 실시예들에 있어서, 화소에 대한 휘도 값은 색 공간에서 화소의 화소 값들로부터 (간접적으로) 유도될 수 있다. 일 예시적인 실시예에 있어서, 화소에 대한 RGB 색 공간에서 화소 값들인 R, G 및 B는 다음과 같이 화소에 대해 휘도 값(Y)을 계산하기 위해 이용될 수 있다:

식 (1)

선처리되거나 선처리되지 않을 수 있는 입력 HDR 이미지가 톤 매핑 연산자(TMO(106))에 제공되기 전에, 입력 HDR 이미지 데이터는 화이트 밸런스 오퍼레이터(105)를 통과한다. 다음에서 더 상세히 논의될 것과 같이, HDR 인코딩의 일부로서 뿐만 아니라, 톤 매핑 동작 전에 HDR 이미지들에서 화이트 밸런스를 정정 및/또는 조정하는 것이 바람직할 수 있다.

일 예시적인 실시예에 있어서, TMO(106)는, (선처리될 수 있는) 입력 HDR 이미지에 기초하여, 다양한 디스플레이 디바이스들 상에서 렌더링될 수 있는 톤 매핑된(TM) 이미지를 생성시키도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 본원에서 서술되는 기술들 하에서, TMO(106)는 HDR 이미지 인코더에서 블랙 박스로서 다루어진다. TMO(106) 또는 입력 HDR 이미지를 조작하기 위해 TMO(106)를 이용하는 이용자는 TMO(106)로부터 출력 TM 이미지의 일부 또는 모든 부분들에서 색조들 또는 채도 속성들에 영향을 미치는 하나 이상의 색 변화들을 자유롭게 도입할 수 있다. 본원에서 서술되는 기술들 하에서, TMO(106) 또는 이용자에 의해 자유롭게 이루어진 색 변화들을 갖는 TM 이미지는, HDR 이미지를 재생/렌더링하기 위해 이용될 수 있는 본원에서 서술되는 기술들 하에서 생성되는 HDR 재구성 데이터에 따라, 베이스 이미지로서 다운스트림 디바이스들에 제공될 수 있다. HDR 재구성 데이터는 TMO(106)에 의해 이루어진 색 변화들에서 자유로운 HDR 이미지를 재생하기 위해 충분한 정보를 수신측 다운스트림 디바이스에 제공한다.

선택적으로 및/또는 대안적으로, HDR 이미지 인코더는 TMO(106)의 출력인 TM 이미지(R'G'B'(108))에 대한 블랙 수정들을 수행하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들(블랙 수정(110))을 포함한다. HDR 이미지 인코더 또는 그 안에 있는 블랙 수정(110)은 0의 화소 값들을 TM 이미지(R'G'B'(108))에서 찾는다. 일 예에서, 색 채널에 대한 화소 값이 0이면, 화소 값은 1, 2, 10과 같은 작은 값 또는 또 다른 더 크거나 더 작은 값을 제공받는다. 또 다른 예에서, 화소에 대한 휘도 값이 0이면, 1개 이상의 색 채널들에 대한 화소 값들은 1, 2, 10과 같은 작은 값들 또는 다른 더 크거나 더 작은 값들을 제공받는다. 작은 화소 값(예를 들면, 10 미만)은 지각적으로 시각적 차이를 만들지 않을 수 있다.

TM 이미지(R'G'B'(108))는 8-비트 감마 정정된 이미지일 수 있거나 아닐 수 있다. 단지 예시의 목적상, TMO(106)에 의해 출력된 톤 매핑된 이미지(R'G'B'(108))는 TMO(106) 내에서 감마 정정된다. 선택적으로 및/또는 대안적으로, HDR 이미지 인코더는, TMO(106)의 출력 파라미터 또는 리턴 값이 감마 정정이 TMO(106) 내에서 수행되었다는 것을 나타낸다면, 톤 매핑된 이미지(R'G'B'(108))를선형 도메인에서 중간 톤-매핑된 이미지(RGB_t)로 변환하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들(역 감마(112))을 포함한다. 감마 정정 및/또는 감마 변환을 위해 이용된 감마 곡선은, 하나 이상의 출력 파라미터들 또는 리턴 값들을 이용하여 TMO(106)에 의해 표시될 수 있는, sRGB 또는 AdobeRGB와 같은 표준 색 공간과 관련될 수 있다. 일 예시적인 실시예에 있어서, RGB_t는 본원에서 서술되는 것과 같은 또 다른 휘도 비들 및 잔류 값들을 유도하기 위해 이용될 수 있다.

일 예시적인 실시예에 있어서, 입력 HDR 이미지(RGB_h)에서의 휘도 값들(Y_h) 및 RGB_t에서의 휘도 값들(Y_t)이 계산될 수 있다. 일부 가능한 실시예들에 있어서, Y_h, Y_t 및 Y_h와Y_t 간의 휘도 비들(r)은 다음과 같이 개별 화소 단위로 계산될 수 있다:

식 (2)

여기서, Y_h는 입력 HDR 이미지에서 상이한 화소에 각각 대응하는 복수의 휘도 값들을 포함하고, Y_t는 톤-매핑된 이미지에서 상이한 화소에 각각 대응하는 복수의 휘도 값들을 포함하고, r은 Y_h에서의 휘도 값과 Y_t에서의 대응하는 휘도 값 간의 비율로서 규정되는 복수의 휘도 비들 각각을 포함한다. 일부 가능한 실시예들에 있어서, Y_h, Y_t, 및 r은 동일한 차원수의 매트릭스들로 표현될 수 있다. 본원에서 기술되는 매트릭스에서의 위치는, 행 인덱스 및 열 인덱스로 나타내는 것과 같이, 이미지(입력 HDR 이미지, 톤 매핑된 이미지, 또는 r에 의해 형성된 휘도 비 이미지)에서의 화소를 나타낼 수 있다. Y_h 및 Y_t로부터의 휘도 값들 및 r로부터의 휘도 비들은, 그들의 위치들이 매트릭스들에서 동일한 행 인덱스 및 동일한 열 인덱스를 공유하는 경우에 서로 대응한다. 일 대안적인 실시예에 있어서, Y_h 및 Y_t에 기초하여 r을 계산하기 위한 도 1에 도시되어 있는 것과 같은 나눗셈 동작들(나눗셈(116))은 대수 도메인에서 감산들로서 수행된다.

*본원에서 서술되는 것과 같은 기술들 하에서, 휘도 비들(r)은 TMO(106) 또는 이용자에 의해 수행된 색 변화 동작들의 결과를 포함하는 톤 매핑된 이미지(RGB_t)를 이용하여 연산된다. 식 (2)에서 연산되는 휘도 비들은 톤 매핑된 이미지를 곱할 때, 휘도 값들이 입력 HDR 이미지의 휘도 값들과 일치하는 이미지를 생성한다.

색 밸런스가 TMO(106)에 의해 유지되고, 톤-매핑된 이미지에 대해 TMO(106) 또는 이용자에 의해 수행된 색 클리핑이 존재하지 않으면, 톤-매핑된 이미지와 휘도 비들(r)의 곱셈에 의해 생성된 결합 이미지는 입력 HDR 이미지와 색상별로 일치한다.

다른 한편으로, 예를 들면, 입력 HDR 이미지에서의 색 밸런스가 톤 매핑된 이미지에서 TMO(106)에 의해 변경될 때, 톤 매핑된 이미지가 색 변화들/왜곡들을 포함하거나, 화이트 밸런스(105) 또는 TMO(106)에서 색 클리핑이 발생하면, 톤-매핑된 이미지와 휘도 비들(r)의 곱셈에 의해 생성된 결합 이미지는 입력 HDR 이미지와 색상별로 일치하지 않는다. 본원에서 서술되는 기술들 하에서, HDR 재구성 데이터에 포함된 잔류 값들을 생성하기 위해 결합 이미지와 입력 HDR 이미지 간에 휘도 채널 이외의 색 채널들에서의 차이들이 연산된다. 본원에서 서술되는 기술들 하에서 생성되는 HDR 재구성 데이터는 화이트 밸런스(105) 또는 TMO(106)에서 또는 이용자에 의해 수행된 동작들에서 손실된 추가 색 정보를 제공한다. HDR 이미지 디코더 또는 HDR 렌더링 디바이스와 같은 다운스트림 디바이스가 색 변화들/왜곡들을 갖는 TM 이미지 및 HDR 재구성 데이터를 수신할 때, TM 이미지에서의 색 변화들/왜곡들은 HDR 재구성 데이터로 보상된다.

본원에서 이용되는 것과 같이, 클리핑은 색 채널들에서 경계 밖(out-of-bound) 화소 값들을 변경/수정하여 결과적인 화소 값들이 표현된 범위들 내에 있도록 하는 일종의 색 변화를 말한다. 임의의 색 채널들에 대해 클리핑이 발생할 수 있다(예를 들면, HDR 이미지의 특정 부분에서 RGB 색 공간에서의 R, G, 및 B 화소 값들은 TM 이미지에서 클리핑될 수 있다). 클리핑 양들은 색 채널들에 따라 변할 수 있거나 변하지 않을 수 있다(예를 들면, 녹색에 대해서는 더 많은 클리핑이 이루어지고 청색에 대해서는 적은 클리핑이 이루어지는 등).

휘도 비들(r)을 이용하면, 입력 HDR 이미지는 색 밸런스가 변경되지 않는 중간 재-매핑된 이미지(RGB_ht)를 생성하기 위해 재-매핑될 수 있다. RGB_ht는 다음과 같이 나눗셈 동작(나눗셈(118))에 의해 계산될 수 있다:

식 (3)

위에서 설명된 것과 같이, 색 밸런스가 TMO(106)에 의해 유지되었고 색 클리핑이 없다면, 재-매핑된 이미지(RGB_ht)는 톤 매핑된 이미지(RGB_t)와 동일할 것이다. 그렇지 않으면, 이들 두 이미지들에는 차이들이 있을 것이다. 두 이미지들 간의 차이들은 톤 매핑 이미지 공간(예를 들면, 모든 가능한 톤 매핑된 이미지들을 포함하는 공간)에서의 잔류 값들이다. 일 예시적인 실시예에 있어서, 잔류 값들(RGB_e)은 다음과 같이 선형 도메인에서 감산들(감산(132))에 의해 계산된다:

식 (4)

잔류 값들(RGB_e)은 (도 1에 도시되어 있는 CSC(134) 블록에 의해) YC_bC_r 색 공간으로 변환될 수 있다. 본원에서의 기술들 하에서, 톤 매핑된 이미지(RGB_t) 및 재-매핑된 이미지(RGB_ht)는 동일한 휘도 값들을 갖는다. 이들 두 이미지들 간의 휘도 잔류 값들은 모두 0이다. YC_bC_r 색 공간에서의 잔류 값들(RGB_e)은 절약되어야 하는 채도 정보(Diff C_bC_r(154))만을 포함한다. RGB_e로부터 Diff C_bC_r로의 변환은 다음과 같이 주어질 수 있다:

식 (5)

여기서, M_CSC 및 그 역 M_CSC ^-1은 다음과 같이 규정되는 3×3 매트릭스일 수 있다:

식 (6)

본원에서 서술되는 것과 같은 기술들 하에서, 입력 HDR 이미지 및 톤 매핑된 이미지에서 휘도 값들을 계산하기 위해 이용된 변환 계수들은 식 (5) 및 식 (6)의 M_CSC에서와 정확히 동일하다. 이들 기술들 하에서, RGB_e에서의 휘도 잔류 값들(Y_e)은 다음에 나타내는 것과 같이 모두 0이다:

식 (7)

선형 도메인에서의 휘도 비들(r)은 식 (2)에서 계산된 것과 같이, 넓은 범위를 갖는데, 이는 휘도 비들이 입력 이미지의 HDR 정보를 전달하기 때문이다. 일 예시적인 실시예에 있어서, 효과적인 양자화 목적들을 위해서, 다음 식 (8)에 도시되어 있는 것과 같이, 휘도 비들(r)이 (예를 들면, 도 1의 로그 블록(130)에 의해) 먼저 대수 도메인으로 변환된다. 대수 도메인에서의 최대 및 최소 휘도 비 값들은 각각 lr_max 및 lr_min의 상한 및 하한을 갖는 대수 범위를 (예를 들면, 도 1의 Min Max 블록에 의해) 결정하기 위해 이용될 수 있다. 대수 휘도 비들은 대수 범위에 기초하여 (예를 들면, 도 1의 Quant 8b(136) 블록에 의해) (예를 들면, 균일하게 또는 특정 곡선에 따라) 8-비트 값들(Log Y_t)(또는 식 (8)에서의 H)로 양자화될 수 있다. 일 예에서는, 대수 도메인에 대해 자연 대수가 이용된다. 다른 예들에 있어서, 자연 대수와는 다른 밑수들을 갖는 대수가 대수 도메인에서 이용된다.

식 (8)

예시적인 YC_bC_r 색 공간에서, Diff C_bC_r에서 (식 (9) 및 식 (10)에서 U 및 V로 표기되어 있는) C_b 및 C_r 잔류 값들은 다음과 같이 유사한 방식으로 각각 8-비트 값들(C_bC_r(158))로 양자화될 수 있다:

식 (9)

식 (10)

일 예시적인 실시예에 있어서, 양자화 후에, HDR 재구성 데이터는 2차원 데이터의 3개의 세트들(H, U 및 V)을 포함한다(도 1에서 Log Y_t 및 C_bC_r(158)). HDR 재구성 데이터에서의 데이터의 세트들은, (예를 들면, YUV) 이미지를 형성하는 것 처럼, (예시적인 YUV 색 공간의 휘도 채널에서의) 휘도 비 값들 및 (예시적인 YUV 색 공간의 채도 차이 채널들에서의) 잔류 값들을 포함하는 단일 YC_bC_r 컨테이너(144)(예를 들면, YUV 이미지)에 저장될 수 있다. 결국, 2개의 이미지들이 얻어질 수 있다. 하나는 RGB 색 공간에서의 톤 매핑된 이미지이고, 다른 하나는 YUV 색 공간에서의 HUV 이미지이다. 블랙 수정(블랙 수정(110)) 이후에 및/또는 선택적 포화도 저하(예를 들면, 150)에 의해, 톤 매핑된 이미지는 TMO(106)의 출력(R'G'B'(108))일 수 있다. 톤 매핑된 이미지 및 HUV 이미지 모두는 8-비트 데이터를 포함할 수 있고, 예를 들면, JPEG 표준 압축 방법을 이용하여 압축될 수 있다. HDR 재구성 데이터는 단일 이미지 파일에서 톤 매핑된 이미지와 함께 애플리케이션 세그먼트(APP SEG(146))에서 출력될 수 있다. 단일 이미지 파일은 표준-기반 또는 독점 이미지 파일 포맷(예를 들면, JPEG-HDR)일 수 있다. 애플리케이션 세그먼트는 (예를 들면, JPEG 표준에 의해 규정되는 것과 같이) 이미지 파일 포맷에서 마커 필드(예를 들면, APP11 마커)일 수 있다. 일 예에서, TM 이미지는 JPEG 압축 후에 베이스 이미지(RGB TM 베이스(148))를 형성하고, HUV 이미지는 출력 HDR(예를 들면, 156) 이미지 파일에서 APP11 마커와 같은 애플리케이션 세그먼트(APP SEG(146))에서의 TM 베이스 이미지에 첨부된다.

본원에서 서술되는 것과 같은 기술들은 부동 소수점 및 고정점 HDR 이미지들(예를 들면, 16-비트 선형 이미지, 14-비트 감마-정정된 이미지 등) 모두를 처리하기 위해 이용될 수 있다.

일 예시적인 실시예에 있어서, TM 베이스 이미지 및 HUV 이미지는 캘리포니아 샌프란시스코의 돌비 래버러토리즈로부터 상업적으로 이용가능한 JPEG-HDR 기술들 하에서의 표준 JPEG 포맷으로 저장된다. TM 베이스 이미지는 엔트로피 코딩된 데이터 세그먼트에 저장된다. 파라미터들 및 보조 데이터를 갖는 HUV 이미지는, 적절한 ID 스트링(예를 들면, "DD")으로, JPEG-HDR 하에서 APP11 애플리케이션 세그먼트와 같은 애플리케이션 세그먼트에 저장된다.

HUV에서의 양자화 값 범위들의 최소 및 최대 값들은 유형 I 세그먼트에 저장될 수 있다. 이들 최소 및 최대 값들은 대수 도메인에서의 최대 및 최소 휘도 비 값들, C_b 잔류 값들에 대한 최대 및 최소 값들, 및 C_r 잔류 값들에 대한 최대 및 최소 값들을 포함한다. 선택적으로 및/또는 대안적으로, 베이스 이미지 색 공간(예를 들면, sRGB, AdobeRGB) 및 잔류 모드(예를 들면, 휘도 비)를 명시하는 다른 정보가 유형 I 세그먼트에 포함된다. 잔류 모드가 단지 휘도 비이면, C_b 및 C_r 관련 파라미터들 및 데이터가 차후의 디코딩에서 무시될 수 있다.

일 예시적인 실시예에 있어서, HUV 이미지의 데이터 크기가 특정 크기, 예를 들면, 64k 바이트를 초과하면, HUV 이미지가 유형 Ⅱ 세그먼트에 저장되고, 세그먼트들의 헤더에 인덱스 정보를 갖는 다중 유형 Ⅱ 세그먼트들로 분할될 수 있다.

3. 화이트 밸런스 정정

보통, 이용자는 디지털 카메라로 이미지를 캡처하고, 캡처된 이미지로부터 유도되는 HDR 이미지를 렌더링하는 것이 요구된다. 이미지를 캡처하는 카메라의 카메라 RAW 포맷이 공지되어 있다면, 채도 충실도가 높은 HDR 이미지를 생성하는 것이 가능할 수 있다. 그러나, 이 다음에 화이트 밸런싱은 적어도 다음의 두 가지 이유들로 인해 표준 JPEG를 이용하여 정확히 수행되는 것이 어려울 수 있다: (1) 렌더링된 색 공간을 다시 센서 색들에 정확히 매핑하는 것이 공지되어 있지 않고, (2) 클램핑(clamping)이 상이한 색 채널들에 대해 불균일하게 적용된다. 원래의 센서 값들과 선형으로 관련되는 색 공간이 되도록 하는 방법 없이, 화이트 밸런스 정정은 잘 행해질 수 없다.

그러나, 카메라 RAW 포맷이 공지되어 있다면, 사후에(즉, 이미지들이 카메라들에 의해 캡처된 후에) 노출 및 화이트 밸런스를 조정하기 위해 카메라 RAW 포매팅(formatting)을 이용하는 것이 가능하다. 표준 JPEG 이미지들이 어느 정도로 증가된 밝기를 가질 수 있긴 하지만, 손실된 하이라이트들을 복원하는 것은 불가능하고, 화이트 밸런싱은 전체 이미지 밝기를 증가시키거나 아니면 하이라이트들이 어느 정도까지는 색을 띠도록 한다. 그러나, 본 시스템의 일 실시예는 JPEG-HDR 이미지들의 노출 및 화이트 밸런스를 조정하기 위한 능력을 제공하고, 표준 JPEG 및 (많은 경우들에 있어서는) 카메라 RAW 이미지 인코딩들에 대해 이점들을 가질 수 있다.

JPEG 또는 24-비트 TIFF와 같은 표준 이미지 인코딩은 실제로 "백색"에 대응하는 (255,255,255)의 각 채널에서 최대 표현가능한 값을 갖는다. 카메라의 노출 및 화이트 밸런스가 정확히 설정되기만 하면, 재생된 이미지는 통상적인 보기 및 인쇄 목적들에 대해 허용가능할 수 있을 것이다. 그러나, 이미지가 약간 과도하게 노출되거나, 화이트 밸런스가 이용자에 의해 또는 카메라의 펌웨어에 의해 부적절하게 설정되면, 후-처리 동안 이미지를 정정하는 것이 어려워질 것이다. 주요 값이 255로 클리핑되면, 원래의 색을 복원하기 위해 이용된 정보가 손실되는 경향이 있을 수 있다.

카메라 RAW에 대해 폭넓게 채택된 표준이 없긴 하지만, 대부분의 이러한 포맷들은 노출 및 화이트 밸런스에 대한 적당한 조정들을 행하기 위해 각 화소에서의 충분한 정보를 포함한다. 원래의 센서 A/D 출력 값들을 리코딩함으로써, 이미지가 얻어졌을 때 거의 카메라가 행한 것만큼 아는 것이 가능하다. 특히, 각 센서가 포화되었을 때를 알리는 것이 가능하며, 이것은 캡처된 범위 내에서 노출 및 화이트 밸런스를 조정하는 가능성을 허용한다.

실제로, 카메라 RAW 파일들이 이용가능하면, 다음 두 가지 이유들로 인해 그 상황이 촉진된다: (1) 카메라 RAW는 "백색" 이외의 각 채널에서 적은 여분의 헤드룸을 갖고, (2) 카메라 RAW는 각 채널이 클리핑할 때 정확히 알려주며, 따라서, 출력 매핑에서 이 최대치를 넘어서지 않는 것을 주의하는 것이 가능하다. 따라서, 일반적으로, 사후 화이트 점 정정은 카메라 RAW에서 작동하는데, 이는 (1) 선형 센서 색 공간 및 범위가 공지되어 있고, (2) 클램핑에 의해 정보가 손실되지 않기 때문이다. 캡처시 이용가능한 임의의 렌더링된 화이트 점은 카메라 RAW 데이터로부터 이용가능하다.

실제로, 화이트 밸런스가 카메라 RAW에서 수행되면, 결과적인 이미지는 펌웨어에서 카메라에 의해 행해진 단계들이 반복될 때의―그러나, 독립형 소프트웨어에서 수행되는 것이 가능할 때의―원래의 이미지이다. 그러나, 얼마나 많은 하이라이트 정보가 복원될 수 있는지에 대한 한계들이 있다. 예를 들면, 일부 경우들에 있어서, 채널들 중 하나가 이 패치에서 최대 값에 도달했다면, RAW 변환기는 중간 결과를 확인하기 위해 다른 2개를 클리핑할 수 있다.

선형 값들이 되도록 하는 방법을 모르더라도, 잘못된 화이트 점에 대한 원색들을 클램핑하는 것은 사후 정정에 문제를 일으키는데, 이는 센서 데이터의 전체 범위가 타협되기 때문이다. 이러한 사후 처리는 색의 포화도를 저하시키고 다른 곳에서의 디테일을 손실하는 방식으로 새로운 하이라이트들을 색을 바래게 하거나 이미지 밝기를 증가시키도록 할 수 있다.

이 상황은 도 5에 도시되어 있다. 도 5는 이미지 데이터를 블랙-화이트 변화도로 캡처링할 때 가설의 디지털 카메라의 성능의 그래프를 도시한다. 도 5의 그래프에 따르면, 녹색 채널에서 캡처된 디지털 이미지는 제 1 백색 휘도 값에서(디지털 값(4095)에서) 포화되고, 적색 채널은 더 높은 백색 휘도 값에서 포화된다. 그러나, 청색 채널은 포화시키기 위해서 훨씬 더 높은 백색 휘도 값을 취한다. 다양한 색 채널들이 포화되는 이들 점들을 알고 있지 않으면, 적절한 화이트 밸런스를 위한 정정은 특히 곤란하다.

JPEG-HDR의 확장

JPEG-HDR은 고 동적 범위 이미지들의 저장을 가능하게 하기 위해서 JPEG 표준의 확장으로서 생성되었다. JPEG-HDR에 대한 기존의 포맷에 의하면, JPEG-HDR은 화이트 밸런스 정정에 영향을 미치는 사실상 2개의 채널들을 가지며―즉, 교정된 선형 색 공간을 복원하기 위해 이용될 수 있는 잔류 층 및 베이스 층(톤-매핑된) JPEG 이미지―따라서, 카메라 RAW의 많은 이점들을 제공한다. 실제로 부가적인 동적 범위는 시스템으로 하여금 베이스 층에서 렌더링된 것 이외의 색 값들을 정정할 수 있도록 한다. 그러나, 심지어 HDR에 대해서도 빈번한, 캡처된 범위가 장면 값들의 전체 범위를 커버하지 않는 경우에 어떤 부가적인 정보를 부가하는 것이 바람직할 수 있다.

하나의 실시예에 있어서, 시스템은 캡처된 HDR에 대한 상위 센서 범위를 RGB 색 채널들 각각에 저장할 수 있다. 이것은 2개 또는 3개의 화이트 밸런스 스케일링 인자들 및 공칭(예를 들면, 0 내지 1) 범위에서 유효 선형 센서 값들을 생성하는 매트릭스(예를 들면, 3×3)의 형태를 취할 수 있다. "유효 선형 센서 값들"은 HDR 캡처시 다중 노출들로부터 병합될 수 있는 단일 노출에서 캡처링할 수 있는 가상 센서의 전체 범위가 되는 것으로 이해될 수 있다. 이들 유효 선형 센서 값들은 이러한 가상 센서의 센서 색 공간 값들을 생성하기 위해 이용될 수 있다. "화이트 밸런스 스케일링 인자들"(또는 "화이트 밸런스 멀티플라이어들")은 원래의 화이트 밸런스 설정이 변환 중에 무엇이었는지에 대해 시스템에 통지하기 위해 이용될 수 있다―즉, 현재 출력을 얻기 위해 이용된다.

또 다른 실시예에 있어서, 하나 이상의 유효 센서 값들이 그들의 상한에 도달한 경우에―복원된 HDR 이미지의 하이라이트들이 보통의 최대치를 넘어서 비-백색 값들로 확장될 수 있도록 하기 위해 JPEG-HDR에 대한 변경이 이루어질 수 있다. 이들 화소들은 톤-매핑된 베이스 층에서 백색으로 렌더링될 수 있기 때문에, 본원에서 더 서술되는 것과 같은 새로운 C_bC_r 색 잔류 채널들이 이용될 수 있다.

애플리케이션이 JPEG-HDR 파일로부터 재결합된 HDR 이미지를 요청할 때, 화이트 클램핑이 수행될 수 있다. 이것은 HDR 이미지를 다시 "유효 선형 센서 값들"로 변환하고 (정정된) 화이트 밸런스 멀티플라이어들을 적용함으로써 달성될 수 있다. 하나의 실시예에 있어서, 이들 멀티플라이어들은 3개의 채널 멀티플라이어들 중 가장 작은 것이 정확히 1이 되도록 정규화될 수 있다. 이것은 임의의 센서*멀티플라이어 값들>1이 1로 클리핑되는 경우에 클램핑 단계 다음에 올 수 있다. 마지막으로, 각 화소에서의 수정된 유효 센서 값들은, 제공된 센서 매트릭스의 역을 이용하여 타겟 색 공간으로 다시 변형될 수 있다.

또 다른 실시예에 있어서, 최적화는 HDR 화소 값들이 클램핑에 접근하기에 충분히 큰지를 보기 위해 검사할 수 있다. 화소가 캡처된 전체 경계 내에 있다면, 클램핑은 필요하지 않고 2개의 색 변환들 및 백색 조정은 하나의 변형으로 결합될 수 있다. 이것은 원래의 화이트 밸런스가 변경될 수 없는 경우들에 있어서 단위 매트릭스가 될 것이다. 대부분의 화소들은 캡처된 색영역(gamut) 내에 있을 수 있기 때문에, 이것은 이 방법에 대한 연산 요건들을 감소시킬 수 있다. 톤-매핑된 베이스 층의 재-렌더링이 바람직하다면, 그에 따라서 생성된 정정된 및 클램핑된 HDR이 톤-매핑된 이미지를 재연산하기 위한 소스로서 이용될 수 있다.

상기 논의 중 일부를 예시하기 위해서, 도 6a는 이 방식으로 카메라 센서 색 공간으로부터 모니터 색 공간으로의 매핑 동작들 중 한 가지 가능한 세트를 도시한다. 카메라 센서 색 공간(602)은 이미지 데이터를 색 채널 멀티플라이어들(604)에 전송한다. 백색 점을 보장하기 위해서, 이들 값들이 타겟 모니터 상에서의 렌더링을 위해 색 변형 매트릭스(608)에 입력되기 전에 최소값으로의 클램프(606)가 이용될 수 있다. 도 6b는 매핑들의 가능한 세트의 상이한 실시예를 나타낸다. 알 수 있는 것과 같이, 캡처된 이미지가 HDR 포맷이라면, 606에서의 클램핑은 건너뛸 수 있고(610), 값들은 색 변형 매트릭스(608)로 직접 공급될 수 있다. 도 6a 및/또는 도 6b의 실시예들 중 어느 하나에 의하면, 변형 매트릭스(608)의 출력은 HDR 경로를 따라 도 1에서의 화이트 밸런스 오퍼레이터(105)로부터 나눗셈(118) 및 Y_h 블록으로 출력될 수 있다.

하나의 실시예에 있어서, 카메라는 소위, 예를 들면, 텅스텐 화이트 밸런스 또는 일광 화이트 밸런스에 영향을 주기 위한 이미지가 캡처된 주변 조명 조건들에 대해 (가능하게는 이용자 입력에 의해 또는 이용자 입력 없이) 추측할 수 있을 것이다. 이것은 색 채널 멀티플라이어들의 적절한 설정들을 고려할 수 있다. 대안적으로, 카메라 설정들에 이러한 정보가 없다면, 이용자는 이 다음 기반으로 적절한 추측을 하거나 이미지의 중립(그레이 레퍼런스) 면을 선택하는 것으로 충분할 수 있다.

4. HDR 이미지 디코더

도 2는 본 발명의 일부 가능한 실시예들에 따른 예시적인 HDR 이미지 디코더를 도시한다. 일 예시적인 실시예에 있어서, HDR 이미지 디코더는 하나 이상의 컴퓨팅 디바이스들로 구현되고, 톤 매핑된 베이스 RGB 이미지 및 HDR 재구성 데이터를 포함하는 (도 2에서 HDR(202)로 표기된) HDR 이미지 데이터를 디코딩하기 위한 이미지 처리 기술들을 구현하는 소프트웨어 및/또는 하드웨어 구성요소들로 구성된다. 일 예시적인 실시예에 있어서, HDR 재구성 데이터는 휘도 비 값들, Cb 및 Cr 잔류 값들, 및 상기 데이터와 관련된 파라미터들과 보조 데이터를 말한다. 일 예시적인 실시예에 있어서, HDR 이미지 디코더에 의해 디코딩될 이미지 데이터는 이미지 포맷(예를 들면, JPEG-HDR)의 이미지 파일이다.

HDR 이미지 디코더는 HDR 이미지 데이터(202)(예를 들면, 휘도 비들 외에 Cb 및 Cr 잔류 값들을 저장하기 위한 강화된 포맷의 JPEG-HDR 이미지 파일)를 수신하고, HDR 이미지 데이터(202)를 (도 2에서 베이스 이미지(206)라고 표기된) 톤 매핑된 베이스 RGB 이미지 및 HDR 재구성 데이터를 저장하는 하나 이상의 애플리케이션 세그먼트들(APP SEG(208))로 파싱하도록 구성된 파서(예를 들면, 204)를 포함할 수 있다. 일 예시적인 실시예에 있어서, 파서(204)는 표준 JPEG 디코더이다.

일 예시적인 실시예에 있어서, HDR 이미지 디코더는 하나 이상의 애플리케이션 세그먼트들(APP SEG(208))을 휘도 비 이미지(비율 이미지(210)) 및 양자화된 Cb 및 Cr 잔류 값들(CbCr 잔류(212))로 파싱하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 휘도 비 이미지(비율 이미지(210))는 양자화된 대수 휘도 비들을 포함한다.

일 예시적인 실시예에 있어서, HDR 이미지 디코더는 양자화된 대수 휘도 비들을 대수 휘도 비들로 역양자화하도록 구성된 역양자화 처리 블록(역양자화(214))을 포함한다. HDR 이미지 디코더는 대수 휘도 비들을 비-대수 도메인의 휘도 비들로 변환하도록 구성된 역 대수 처리 블록(exp(216))을 포함한다.

일 예시적인 실시예에 있어서, HDR 이미지 디코더는 양자화된 Cb 및 Cr 잔류 값들을 Cb 및 Cr 잔류 값들로 역양자화하도록 구성된 역양자화 처리 블록(역양자화(218))을 포함한다. HDR 이미지 디코더는 Cb 및 Cr 잔류 값들을 선형 도메인의 RGB 잔류 값들로 변환하도록 구성된 색 공간 변환 처리 블록(CSC(220))을 포함한다.

일 예시적인 실시예에 있어서, HDR 이미지 디코더는, 톤 매핑된 베이스 이미지가 인코더에 의해 포화도 저하되면, 선택적으로 및/또는 부가적으로, 포화도 저하의 역 처리를 수행하도록 구성된 재-포화 블록(232)을 포함한다. 일 예시적인 실시예에 있어서, HDR 이미지 디코더는, 톤 매핑된 베이스 이미지(베이스 이미지(206))가 감마 인코딩되면, 선택적으로 및/또는 부가적으로, 톤 매핑된 베이스 RGB 이미지(베이스 이미지(206))에 대해 감마 디코딩을 수행하도록 구성된 감마 디코딩 처리 블록(감마 디코딩(224))을 포함한다. 예를 들면, 애플리케이션 세그먼트의 유형 I 세그먼트에서의 파라미터는 톤 매핑된 베이스 이미지가 감마 인코딩된 RGB 이미지(예를 들면, sRGB 이미지)인 것을 나타낼 수 있다.

감마 디코딩 처리 블록(감마 디코딩(224))의 출력은 Mul 처리 블록(226)에서 중간 HDR 이미지를 유도하기 위해 개별 화소 단위로 비율 이미지로부터의 휘도 비들과 곱해지는 반면, RGB 잔류 값들은 (226과 동일할 수 있는) Mul 처리 블록(222)에서 RGB 잔류 이미지를 유도하기 위해 개별 화소 단위로 비율 이미지로부터의 동일한 휘도 비들과 곱해진다. 도 1에서의 입력 HDR RGB 이미지의 복원된 버전일 수 있는 HDR RGB 이미지(RGB(230))를 유도하기 위해 합산 처리 블록(Add(228))에 의해 개별 화소 단위로 중간 HDR 이미지 및 RGB 잔류 이미지가 합산될 수 있다.

일 대안적인 실시예에 있어서, TM 베이스 이미지에서의 화소 값들 및 RGB 잔류 값들이 먼저 합산된다. 이어서, 합산들의 결과들이 HDR RGB 이미지를 유도하기 위해 휘도 비들과 곱해진다.

또 다른 실시예에 있어서, 사후 화이트 밸랜스 정정에 영향을 주기 위해 화이트 밸런스(232)가 수행될 수 있다. 도 7은 HDR 이미지 데이터의 처리 및 데이터의 적절한 화이트 밸런스로의 조정을 위한 한 가지 가능한 실시예를 도시한다. 702에서, 시스템은 임의의 이용가능한 센서 색 공간 데이터 및 화이트 밸런스 멀티플라이어들을 갖는 JPEG-HDR 이미지 데이터를 입력한다. 704에서, 시스템은 새로운 백색 점이 현재의 이미지에 대해 가정되는지의 여부를 (예를 들면, 이용자에게 또는 이미지 메타데이터에 삽입되었는지) 질의한다. 만일 그렇다면, 새로운 화이트 밸런스 멀티플라이어들이 연산된다. 그렇지 않으면, 이전 화이트 밸런스 멀티플라이어들이 이용되고, 이미지 데이터는 708에서 센서 색 공간으로 다시 변형된다. 각 색 채널에 대해서, 현재(이전의 또는 새로 계산된) 화이트 밸런스 멀티플라이어들이 이미지 데이터에 적용된다. 필요하다면, 이미지 값들은 712에서 채널 값들의 최대값 중에서 최소치(즉, minmax)로 클램핑된다. 714에서, 이미지 데이터는 모니터 색 공간으로 변형된다. 그 후에, 이미지 데이터는 복원된 HDR RGB 출력으로서 716에서 출력된다.

하나의 실시예에 있어서, 인코더에 있어서는 도 1 및 도 6a 및/또는 도 6b의 화이트 밸런스 동작 및 디코더에 있어서는 도 2 및 도 7의 화이트 밸런스 동작이 대응 동작들로서 구현될 수 있고, 여기서, 인코더의 화이트 밸런스 동작은 디코더의 적절한 화이트 밸런스 정정에 영향을 주도록 작동한다. 또한, 도 7의 처리는 본 섹션에서 서술된 특징들의 단지 일부를 통합하고 많은 다른 특징들 및/또는 개선들이 부가될 수 있다는 것이 인식되어야 한다.

5. 예시적인 처리 흐름

도 3a는 본 발명의 가능한 실시예에 따른 예시적인 처리 흐름을 도시한다. 일부 가능한 실시예들에 있어서, (예를 들면, 도 1에 도시되어 있는 것과 같이) HDR 이미지 인코더와 같은 하나 이상의 컴퓨팅 디바이스들 또는 구성요소들이 이 처리 흐름을 수행할 수 있다. HDR 이미지 인코더는 하나 이상의 새로운 처리 블록들을 JPEG 이미지 인코더와 같은 표준-기반 이미지 인코더에 부가하고/부가하거나 하나 이상의 기존 처리 블록들을 상기 표준-기반 이미지 인코더에서 수정함으로써 구현될 수 있다. 블록(302)에서, HDR 이미지 인코더는 고 동적 범위(HDR) 이미지를 수신한다. 일 예시적인 실시예에 있어서, HDR 이미지는 고정점 이미지 또는 부동 소수점 이미지 중 하나이다. 일 예시적인 실시예에 있어서, HDR 이미지는 JPEG, JPEG-2000, MPEG, AVI, TIFF, BMP, GIFF 또는 또 다른 이미지 포맷 중 하나로 인코딩된다.

블록(304)에서, HDR 이미지 인코더는 또한 HDR 이미지에 기초하여 생성된 톤-매핑된(TM) 이미지를 수신한다. TM 이미지는 휘도 비 이미지를 갖는 TM 이미지로부터 복원가능하지 않은 하나 이상의 색 변형들을 포함한다. 일 예시적인 실시예에 있어서, TM 이미지에서의 하나 이상의 색 변화들 중 적어도 하나는 (예를 들면, R, G 또는 B 화소 값들에서의) 클리핑들 또는 하나 이상의 화소들에서의 색조들의 변화들 중 하나에 의해 야기된다.

블록(306)에서, HDR 이미지 인코더는 개별 화소에 기초하여 TM 이미지의 휘도 값들을 갖는 HDR 이미지의 휘도 값들을 분할함으로써, 개별 화소 단위로, 휘도 비 값들을 연산한다.

블록(308)에서, HDR 이미지 인코더는 재-매핑된 이미지를 생성하기 위해 휘도 비 값들을 HDR 이미지에 적용한다.

일 예시적인 실시예에 있어서, HDR 이미지 인코더는 재-매핑된 이미지 및 TM 이미지 중 적어도 하나를 하나의 색 공간으로부터 상이한 색 공간으로 변환한다.

블록(310)에서, HDR 이미지 인코더는 재-매핑된 이미지 및 TM 이미지에 기초하여 색 공간의 색 채널들에서 잔류 값들을 결정한다. 원래의 색이 변경되면, 잔류 값들 중 적어도 하나는 비-제로이다. 일 예시적인 실시예에 있어서, 색 공간은 YCbCr 색 공간이고; 색 공간의 색 채널들은 Cb 색 채널 및 Cr 색 채널을 포함한다. 색 공간의 색 채널들에서의 잔류 값들은 색 채널들에서 재-매핑된 이미지로부터 유도된 제 1 화소 값들과 색 채널들에서 TM 이미지로부터 유도된 제 2 화소 값들 사이의 차이들로서 계산된다.

블록(312)에서, HDR 이미지 인코더는 HDR 재구성 데이터를 갖는 TM 이미지의 버전을 출력한다. HDR 재구성 데이터는 휘도 비 값들 및 색-채널 잔류 값들로부터 유도된다.

일 예시적인 실시예에 있어서, HDR 재구성 데이터는 휘도 비 값들로부터 유도된 양자화된 값들 및 색 공간의 색 채널들에서의 잔류 값들을 갖는 잔류 이미지를 포함한다. HDR 재구성 데이터는 또한 양자화된 값들의 범위들을 명시하는 파라미터들을 포함할 수 있다.

일 예시적인 실시예에 있어서, HDR 재구성 데이터는 이미지 파일에서 베이스 이미지로서 TM 이미지를 갖는 이미지 파일의 애플리케이션 세그먼트에 저장된다. 일 예시적인 실시예에 있어서, 이미지 파일은 JPEG-HDR 포맷이다.

일 예시적인 실시예에 있어서, HDR 이미지 인코더는 예를 들면, HDR 이미지가 톤 매핑 연산자(TMO) 또는 이용자에 의해 조작되기 전에, HDR 이미지에 대해 하나 이상의 건전성 검사들을 수행할 수 있다. 일 예시적인 실시예에 있어서, HDR 이미지 인코더는 TM 이미지에서의 0, 1 또는 그 이상의 색-채널 제로-값들을 임계값보다 작은 값들로 대체한다. 이 임계값은 다양한 가능한 실시예들에서 1, 2, 3, ..., 10, 11 등일 수 있다.

일 예시적인 실시예에 있어서, 임의의 TMO에 의한 임의의 톤 매핑 동작들 및/또는 TM 이미지에서 임의의 수의 화소들에 대한 임의의 색 변화들은 TM 이미지를 생성하는 처리에서 수행될 수 있다.

일 예시적인 실시예에 있어서, HDR 이미지 인코더는 HDR 이미지, TM 이미지 또는 재-매핑된 이미지 중 적어도 하나에 색 공간 변환을 적용한다.

일 예시적인 실시예에 있어서, TM 이미지와 재-매핑된 이미지 간의 휘도 잔류 값들은 모두 0이다. 예를 들면, 휘도 채널(예를 들면, Y) 및 2개의 색 채널들(예를 들면, Cb 및 Cr)을 갖는 색 공간(예를 들면, YUV)에서, (색 공간에서, 이미, 또는 대안적으로는 색 공간 변환 이후에) TM 이미지와 재-매핑된 이미지 간의 휘도 값들에서의 차이들은 모두 0일 수 있다.

도 3b는 본 발명의 가능한 실시예에 따른 일 예시적인 처리 흐름을 도시한다. 일부 가능한 실시예들에 있어서, (예를 들면, 도 2에 도시되어 있는 것과 같이) HDR 이미지 디코더와 같은 하나 이상의 컴퓨팅 디바이스들 또는 구성요소들이 이 처리 흐름을 수행할 수 있다. HDR 이미지 디코더는 JPEG 이미지 디코더와 같은 표준-기반 이미지 디코더에 하나 이상의 새로운 처리 블록들을 부가하고/부가하거나 상기 표준-기반 이미지 디코더에서 하나 이상의 기존 처리 블록들을 수정함으로써 구현될 수 있다. 블록(322)에서, HDR 이미지 디코더는 톤-매핑된(TM) 이미지 및 HDR 재구성 데이터를 포함하는 이미지 파일을 파싱한다. 일 예시적인 실시예에 있어서, TM 베이스 이미지는 임의의 톤 매핑 연산자에 의한 임의의 톤 매핑 동작들 및/또는 임의의 수의 화소들에 대한 임의의 색 변화들의 결과들을 포함한다. 일 예시적인 실시예에 있어서, HDR 재구성 데이터는 색 공간(YUV)의 색 채널들(예를 들면, Cb 및 Cr 채널들)에서의 양자화된 잔류 값들 및 양자화된 휘도 비 값들(예를 들면, Y 채널)을 포함한다. TM 베이스 이미지는 휘도 비 이미지를 갖는 TM 베이스 이미지로부터 복원가능하지 않은 하나 이상의 색 변화들을 포함한다. 일 예시적인 실시예에 있어서, 이미지 파일은 JPEG, JPEG-2000, MPEG, AVI, TIFF, BMP, GIFF 또는 또 다른 이미지 포맷 중 하나로 인코딩된다. 일 예시적인 실시예에 있어서, 이미지 파일은 표준 기반 이미지 디코더 예를 들면, JPEG 디코더에 의해 파싱된다.

블록(324)에서, HDR 이미지 디코더는 색 공간의 색 채널들에서의 양자화된 휘도 비 값들 및 양자화된 잔류 값들과 관련된 양자화 파라미터들을 추출한다.

블록(326)에서, HDR 이미지 디코더는, 양자화 파라미터들에 적어도 부분적으로 기초하여, 양자화된 휘도 비 값들 및 양자화된 잔류 값들을 색 공간의 색 채널들에서의 휘도 비 값들 및 잔류 값들로 변환한다. 일 예시적인 실시예에 있어서, 양자화된 휘도 비들 및 양자화된 잔류 값들은 잔류 이미지에 저장된다. 일 예시적인 실시예에 있어서, 잔류 이미지 및 TM 베이스 이미지는 공통 절차를 이용하여 역양자화 및 압축해제된다.

블록(328)에서, HDR 이미지 디코더는 TM 베이스 이미지 및 색 공간의 색 채널들에서의 휘도 비 값들과 잔류 값들을 이용하여 HDR 이미지를 재구성한다. HDR 이미지는 고정점 이미지 또는 부동 소수점 이미지 중 어느 하나일 수 있다.

일 예시적인 실시예에 있어서, HDR 이미지 디코더는, 예를 들면, TM 베이스 이미지, 잔류 이미지, HDR 이미지 또는 중간 이미지 중 적어도 하나에 대해, 색 공간 변환, 감마 인코딩, 감마 디코딩, 다운샘플링 또는 업생플링의 동작을 수행한다.

6. 구현 메커니즘들 - 하드웨어 개요

하나의 실시예에 따르면, 본원에서 서술되는 기술들은 하나 이상의 특수-목적 컴퓨팅 디바이스들에 의해 구현된다. 특수-목적 컴퓨팅 디바이스들은 기술들을 수행하기 위해 유선 연결될 수 있거나, 기술들을 수행하도록 영속적으로 프로그래밍되는 하나 이상의 주문형 반도체들(ASIC들) 또는 필드 프로그래밍가능한 게이트 어레이들(FPGA들)과 같은 디지털 전자 디바이스들을 포함할 수 있거나, 펌웨어, 메모리, 다른 저장장치 또는 조합에서의 프로그램 지시들에 따른 기술들을 수행하도록 프로그래밍된 하나 이상의 범용 하드웨어 처리기들을 포함할 수 있다. 이러한 특수-목적 컴퓨팅 디바이스들은 또한 주문형 유선-연결된 로직, ASIC들, 또는 FPGA들을 기술들을 달성하기 위한 주문형 프로그래밍과 조합할 수 있다. 특수-목적 컴퓨팅 디바이스들은 데스크탑 컴퓨터 시스템들, 휴대용 컴퓨터 시스템들, 핸드헬드 디바이스들, 네트워킹 디바이스들 또는 기술들을 구현하기 위해 유선-연결된 및/또는 프로그램 로직을 통합하는 임의의 다른 디바이스일 수 있다.

예를 들면, 도 4는 본 발명의 실시예가 구현될 수 있는 컴퓨터 시스템(400)을 도시하는 블록도이다. 컴퓨터 시스템(400)은 정보를 전달하기 위한 버스(402) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(402)와 결합된 하드웨어 처리기(404)를 포함한다. 하드웨어 처리기(404)는, 예를 들면, 범용 마이크로프로세서일 수 있다.

컴퓨터 시스템(400)은 또한 처리기(404)에 의해 실행될 정보 및 지시들을 저장하기 위해 버스(402)에 결합된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은 메인 메모리(406)를 포함한다. 메인 메모리(406)는 또한 처리기(404)에 의해 실행될 지시들의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하기 위해 이용될 수 있다. 이러한 지시들은, 처리기(404)에 액세스가능한 비-일시적 저장 매체에 저장될 때, 컴퓨터 시스템(400)이 지시들에서 명시된 동작들을 수행하도록 맞춤화되는 특수-목적 머신이 되도록 한다.

컴퓨터 시스템(400)은 또한 처리기(404)에 대한 정적 정보 및 지시들을 저장하기 위해 버스(402)에 결합된 판독 전용 메모리(ROM)(408) 또는 다른 정적 저장 디바이스를 포함한다. 자기 디스크 또는 광학 디스크와 같은 저장 디바이스(410)가 제공되고 정보 및 지시들을 저장하기 위해 버스(402)에 결합된다.

컴퓨터 시스템(400)은 컴퓨터 이용자에게 정보를 디스플레이하기 위해 액정 디스플레이와 같은, 디스플레이(412)에 버스(402)를 통해 결합될 수 있다. 문자 숫자 및 다른 키들을 포함하는 입력 디바이스(414)가 정보 및 지시 선택들을 처리기(404)에 전달하기 위해 버스(402)에 결합된다. 또 다른 유형의 이용자 입력 디바이스는 방향 정보 및 명령 선택들을 처리기(404)에 전달하고 디스플레이(412) 상에서의 커서 이동을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키들과 같은 커서 제어기(416)이다. 이 입력 디바이스는 일반적으로 디바이스가 평면에서의 위치들을 지정할 수 있도록 하는 2개의 축들, 즉, 제 1 축(예를 들면, x) 및 제 2 축(예를 들면, y)에서 2개의 자유도를 갖는다.

컴퓨터 시스템(400)은 컴퓨터 시스템과 조합하여 컴퓨터 시스템(400)으로 하여금 특수-목적 머신이 되도록 하거나 프로그래밍하는 맞춤화된 유선-연결된 로직, 하나 이상의 ASIC들이나 FPGA들, 펌웨어 및/또는 프로그램 로직을 이용하여 본원에서 서술된 기술들을 구현할 수 있다. 하나의 실시예에 따르면, 본원에서의 기술들은 메인 메모리(406)에 포함된 하나 이상의 지시들의 하나 이상의 시퀀스들을 실행하는 처리기(404)에 응답하여 컴퓨터 시스템(400)에 의해 수행된다. 이러한 지시들은 저장 디바이스(410)와 같은, 또 다른 저장 매체로부터 메인 메모리(406)로 판독될 수 있다. 메인 메모리(406)에 포함된 지시들의 시퀀스들의 실행은 처리기(404)로 하여금 본원에서 서술된 처리 단계들을 수행하도록 한다. 대안적인 실시예들에 있어서, 유선-연결된 회로는 소프트웨어 지시들 대신 또는 그와 함께 조합하여 이용될 수 있다.

본원에서 이용되는 것과 같은 용어 "저장 매체"는 머신으로 하여금 특정 방식으로 동작하도록 하는 데이터 및/또는 지시들을 저장하는 임의의 비-일시적 매체를 말한다. 이러한 저장 매체는 비-휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비-휘발성 매체는, 예를 들면, 저장 디바이스(410)와 같은, 광학 또는 자기 디스크들을 포함한다. 휘발성 매체는 메인 메모리(406)와 같은 동적 메모리를 포함한다. 공통적인 형태들의 저장 매체는 예를 들면, 플로피 디스크, 플렉시블 디스크, 하드디스크, 고체 상태 드라이브, 자기 테이프, 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광학 데이터 저장 매체, 홀들의 패턴들을 갖는 임의의 물리적 매체, RAM, PROM, 및 EPROM, 플래시-EPROM, NVRAM, 임의의 다른 메모리 칩 또는 카트리지를 포함한다.

저장 매체는 송신 매체와는 별개이지만 그와 함께 이용될 수 있다. 송신 매체는 저장 매체 간에 정보를 전달하는데 참여한다. 예를 들면, 송신 매체는 버스(402)를 포함한 배선들을 포함하는 동축 케이블들, 동선 및 광섬유를 포함한다. 송신 매체는 또한 전파 및 적외선 데이터 통신들 동안 생성되는 것과 같은, 음향 또는 광파들의 형태를 취할 수 있다.

실행을 위해 하나 이상의 지시들의 하나 이상의 시퀀스들을 처리기(404)에 전달하는데 다양한 형태들의 매체가 수반될 수 있다. 예를 들면, 지시들은 초기에 원격 컴퓨터의 자기 디스크 또는 고체 상태 드라이브 상으로 전달될 수 있다. 원격 컴퓨터는 지시들을 동적 메모리에 로드하고 지시들을 모뎀을 이용하여 전화선을 통해 전송할 수 있다. 컴퓨터 시스템(400)에 국부적인 모뎀은 전화선 상에서 데이터를 수신하고 데이터를 적외선 신호로 변환하기 위해 적외선 송신기를 이용할 수 있다. 적외선 검출기는 적외선 신호로 전달된 데이터를 수신할 수 있고 적절한 회로는 버스(402) 상에 데이터를 배치할 수 있다. 버스(402)는 데이터를 메인 메모리(406)에 전달하고, 처리기(404)는 그 메모리로부터 지시들을 검색 및 실행한다. 메인 메모리(406)에 의해 수신된 지시들은 선택적으로 처리기(404)에 의한 실행 이전 또는 이후에 저장 디바이스(410)에 저장될 수 있다.

컴퓨터 시스템(400)은 또한 버스(402)에 결합된 통신 인터페이스(418)를 포함한다. 통신 인터페이스(418)는 로컬 네트워크(422)에 접속되는 네트워크 링크(420)에 결합하는 양방향 데이터 통신을 제공한다. 예를 들면, 통신 인터페이스(418)는 종합 정보 통신망(ISDN) 카드, 케이블 모뎀, 위성 모뎀 또는 대응하는 유형의 전화선에 대한 데이터 통신 접속을 제공하기 위한 모뎀일 수 있다. 또 다른 예로서, 통신 인터페이스(418)는 호환가능한 LAN에 대한 데이터 통신 접속을 제공하기 위한 LAN일 수 있다. 또한, 무선 링크들이 구현될 수 있다. 임의의 이러한 구현에 있어서, 통신 인터페이스(418)는 다양한 유형들의 정보를 나타내는 디지털 데이터 스트림들을 전달하는 전기, 전자기 또는 광학 신호들을 전송 및 수신한다.

네트워크 링크(420)는 일반적으로 하나 이상의 네트워크들을 통해 다른 데이터 디바이스들에 데이터 통신을 제공한다. 예를 들면, 네트워크 링크(420)는 로컬 네트워크(422)를 통해 인터넷 서비스 제공자(ISP)(426)에 의해 조작된 데이터 장비에 또는 호스트 컴퓨터(424)에 접속을 제공할 수 있다. ISP(426)는 이제 공통적으로 "인터넷"(428)으로서 언급된 월드 와이드 패킷 데이터 통신 네트워크를 통해 차례로 데이터 통신 서비스들을 제공한다. 로컬 네트워크(422) 및 인터넷(428) 모두는 디지털 데이터 스트림들을 전달하는 전기, 전자기 또는 광학 신호들을 이용한다. 다양한 네트워크들을 통한 신호들 및 네트워크 링크(420) 상에서 및 통신 인터페이스(418)를 통해, 컴퓨터 시스템(400)으로 및 그로부터 디지털 데이터를 전달하는 신호들은 예시적인 형태들의 송신 매체이다.

컴퓨터 시스템(400)은 네트워크(들), 네트워크 링크(420) 및 통신 인터페이스(418)를 통해 메시지들을 전송하고 프로그램 코드를 포함하는 데이터를 수신할 수 있다. 인터넷 예에서, 서버(430)는 인터넷(428), ISP(426), 로컬 네트워크(422) 및 통신 인터페이스(418)를 통해 애플리케이션 프로그램에 대한 요청된 코드를 송신할 수 있다.

수신된 코드는 저장 디바이스(410), 또는 나중 실행을 위한 다른 비-휘발성 저장장치에 수신되고/수신되거나, 저장된 그대로 처리기(404)에 의해 실행될 수 있다.

7. 등가물들, 확장들, 대안들 및 기타

상기 명세에 있어서, 본 발명의 가능한 실시예들은 구현마다 변할 수 있는 많은 특정 세부사항들을 참조하여 서술되었다. 따라서, 무엇이 본 발명이고, 무엇이 출원인들에 의해 본 발명이 되도록 의도되는 것인지의 유일하고 독점적인 지표는 본원에서 제시되는 청구항들로서, 임의의 후속하는 정정을 포함하는 이러한 청구항들이 제시하는 특정 형태의 청구항들의 세트이다. 이러한 청구항들에 포함되는 용어들에 대한 본원에서 명확히 제시되는 임의의 규정들은 청구항들에서 이용되는 것과 같은 이러한 용어들의 의미를 좌우할 것이다. 따라서, 청구항에서 명확히 언급되지 않는 제한, 소자, 속성, 특징, 이점 및 특성은 어쨌든 이러한 청구항의 범위를 제한해서는 안 된다. 따라서, 명세서 및 도면들은 제한적이기보다는 예시적인 것으로 간주되어야 한다.

예시의 목적상, 일부 가능한 실시예들에 있어서, HDR 재구성 데이터가 양자화된 휘도 비들 및 양자화된 Cb 및 Cr 잔류 값들을 포함하는 것이 서술되었다. 일부 가능한 실시예들에 있어서, HDR 재구성 데이터는 예를 들면, 부동 소수점 또는 고정점 값들일 수 있는 비-양자화된 휘도 비들 및/또는 Cb 및 Cr 잔류 값들을 포함할 수 있다. 예를 들면, 이미지 파일에서의 하나 이상의 애플리케이션 세그먼트들은 이들 비-양자화된 값들을 저장할 수 있다. 본원에서의 기술들 하에서의 HDR 이미지 디코더는 이미지 파일을 파싱하고 비-양자화된 값들을 검색할 수 있다. 이들 비-양자화된 값들은 HDR 이미지를 재구성하기 위해 이미지 파일로부터 추출된 톤 매핑된 베이스 이미지와 조합하기 위해 이용될 수 있다.

예시의 목적상, 일부 가능한 실시예들에 있어서, 가능한 선처리는 다운샘플링을 포함할 수 있다는 것이 서술되었다. 일부 가능한 실시예들에 있어서, 본원에서의 선처리는 본원에서의 기술들에 의해 처리되는 HDR 이미지들의 이미지 디테일들 및/또는 색 정확도들을 유지하기 위한 목적을 위해 다운샘플링을 수행하지 않을 수 있다. 예를 들면, HUV 잔류 이미지의 이미지 코딩은 다운샘플링을 회피하는 모드를 갖는 JPEG 이미지 인코더에 의해 수행될 수 있다.

예시의 목적상, 일부 가능한 실시예들에 있어서, JPEG 이미지 파일 포맷 및/또는 JPEG 코덱은 HDR 이미지 인코더 및/또는 디코더에서 이용될 수 있다는 것이 기술되었다. 본 발명의 목적상, JPEG 코덱 이외의 이미지 코덱이 HDR 이미지 인코더 및/또는 디코더에 이용될 수 있다.

예시의 목적상, 일부 가능한 실시예들에 있어서, 입력 HDR 이미지 및 톤-매핑된 베이스 이미지는 RGB 이미지들이라는 것이 서술되었다. 본 발명의 목적상, 본원에서의 HDR 이미지 및 톤-매핑된 베이스 이미지를 저장하기 위해 다른 유형들의 이미지들이 이용될 수 있다. 예를 들면, YUV 색 공간에서의 입력 HDR 이미지가 RGB 색공간에서 대신 이용될 수 있다. HDR 이미지 인코딩 또는 디코딩 처리에서의 0, 1 또는 그 이상의 색 공간 변환들이 본원에서 서술된 것과 같은 기술들 하에서 구현될 수 있다.

예시의 목적상, 일부 가능한 실시예들에 있어서, YCbCr 색 공간에서의 HUV(또는 YUV) 파일이 휘도 비들 및 휘도 비들 이외의 잔류 값들을 저장하기 위해 이용될 수 있다는 것이 서술되었다. 본 발명의 목적상, 다른 유형들의 색 공간들 및 다른 유형들의 이미지 파일들이 휘도 비들 및 잔류 값들에 대한 동등한 정보를 저장하기 위해 이용될 수 있다. 예를 들면, 휘도 비들 및 잔류 값들은 YCbCr 색 공간 이외의 상이한 색 공간으로 변환될 수 있다. 유사하게, YUV 파일 이외의 이미지 파일이 휘도 비들 및 잔류 값들로부터 변환된 값들을 저장하기 위해 이용될 수 있다. 일부 가능한 실시예들에 있어서, 본원에서 서술되는 것과 같은 기술들 하에서 색 공간 변환 또는 화소 값 변환들을 수행하기 위해 역전가능한 변형들이 이용될 수 있다.

일부 가능한 실시예들에 있어서, 휘도 비 및 Cb 및 Cr 잔류 값들을 갖는 톤 매핑된 베이스 이미지를 포함하는 이미지 파일은 휘도 비는 갖고 있지만 Cb 및 Cr 잔류 값들은 갖고 있지 않은 톤 매핑된 베이스 이미지를 포함하는 또 다른 이미지 파일과 유사한 파일 크기를 갖는다. 특정 실시예에 있어서, Cb 및 Cr 잔류 값들을 갖는 이미지들은 Cb 및 Cr 잔류 값들을 갖고 있지 않은 대응 이미지들보다 평균하여 단지 10% 크다.

단지 예시들의 목적상, 톤 매핑된 이미지는 TMO에 의해 생성된다. 본 발명들의 목적상, 하나보다 많은 TMO들이 본원에서 서술되는 것과 같은 톤 매핑된 이미지를 생성하기 위해 함께 이용될 수 있다.

*첨부된 도면들과 함께 판독된 본 발명의 원리들을 예시하는, 본 발명의 하나 이상의 실시예들의 상세한 설명이 지금까지 제공되었다. 본 발명은 이러한 실시예들과 함께 서술되었지만, 본 발명은 임의의 실시예로 제한되지 않는다는 것이 인식되어야 한다. 본 발명의 범위는 청구항들에 의해서만 제한되고, 본 발명은 다수의 대안들, 수정들 및 등가물들을 포괄한다. 다수의 특정 세부사항들은 본 발명의 전반적인 이해를 제공하기 위해서 본 설명에서 제시되었다. 이들 세부사항들은 예시의 목적으로 제공되고, 본 발명은 이들 특정 세부사항들 중 일부 또는 모두와 상관없이 청구항들에 따라 실시될 수 있다. 명확성을 위해서, 본 발명과 관련된 기술 분야들에서 공지되어 있는 기술적 내용은 본 발명이 불필요하게 불명확해지지 않도록 하기 위해 상세히 기술되지는 않았다.

102: 입력 HDR RGB 104: 음의 휘도 검사
105: 화이트 밸런스 110: 블랙 수정
112: 역 감마 116, 118: 분할
132: 감산 144: YCbCr 비율+잔류
148: RGB TM 베이스 150: 선택적 포화도 저하

Claims

고 동적 범위 이미지를 디코더에 의해 디코딩될 압축된 포맷으로 표현하기 위한 이미지 구조가 저장된 비-일시적 프로세서 판독 가능 저장 매체로서, 상기 이미지 구조는:
압축된 톤-매핑된 기본 이미지;
상기 압축된 톤-매핑된 기본 이미지에 기초하여 고 동적 범위 이미지를 재구성하기 위한 고 동적 범위(high dynamic range; HDR) 재구성 데이터를 포함하는 하나 이상의 응용 세그먼트를 포함하고, 상기 HDR 재구성 데이터는:
양자화된 휘도 비의 픽셀 값들을 포함하는 루마(luma) 비율 이미지;
상기 양자화된 휘도 비의 픽셀 값들을 역양자화 하기 위한 루마 역양자화 파라미터들;
양자화된 잔류 색도 값들(residual chroma values)의 하나 이상의 세트; 및
상기 양자화된 잔류 색도 값들의 하나 이상의 세트를 역양자화 하기 위한 색도 역양자화 파라미터들을 포함하는, 비-일시적 프로세서 판독 가능 저장 매체.
제 1 항에 있어서,
상기 이미지 구조는 이미지 파일 구조를 포함하고 상기 압축된 톤-매핑된 기본 이미지는 하나 이상의 파일 애플리케이션 마커를 이용하여 상기 HDR 재구성 데이터로부터 분리되는, 비-일시적 프로세서 판독 가능 저장 매체.
제 1 항에 있어서,
상기 압축된 톤-맵핑된 기본 이미지는 JPEG 포맷에 따라 압축되는, 비-일시적 프로세서 판독 가능 저장 매체.
제 1 항에 있어서,
상기 휘도 비의 픽셀 값들은, 개별 픽셀마다, HDR 입력 이미지의 휘도 값들을 상기 압축된 톤-매핑된 기본 이미지의 비압축 버전의 휘도 값들로 나눈 것의 대수(logarithm)를 표현하는, 비-일시적 프로세서 판독 가능 저장 매체.
제 1 항에 있어서,
상기 루마 역양자화 파라미터들은 최소 로그 비 픽셀 값 및 최대 로그 비 픽셀 값을 포함하는, 비-일시적 프로세서 판독 가능 저장 매체.
제 1 항에 있어서,
상기 색도 역양자화 파라미터들은 최소 잔류 색도 픽셀 값(Cb_min) 및 최대 잔류 색도 픽셀 값(Cb_max)을 포함하는, 비-일시적 프로세서 판독 가능 저장 매체.
제 4 항에 있어서,
상기 압축된 톤-매핑된 기본 이미지는 상기 HDR 입력 이미지로부터 생성된 압축된 톤-매핑된 이미지를 포함하는, 비-일시적 프로세서 판독 가능 저장 매체.
고-동적 범위 이미지들을 디코딩하는 시스템에 있어서, 상기 시스템은:
제 1 항의 상기 이미지 구조에 따라 인코딩된 고-동적 범위(high-dynamic range; HDR) 이미지를 포함하는 코딩된 비트스트림을 수신하고;
압축된 톤-매핑된 기본 이미지 및 HDR 재구성 데이터를 추출하기 위해 상기 코딩된 비트스트림을 파싱하는, 파서(parser),
상기 압축된 톤-매핑된 기본 이미지에 기초하여 디코딩된 기본 이미지를 생성하는, 이미지 디코더, 및
HDR 이미지 디코더를 포함하고, 상기 HDR 이미지 디코더는:
상기 HDR 재구성 데이터로부터 루마 역양자화 파라미터들을 추출하고;
루마 비율 이미지를 추출하고;
상기 루마 비율 이미지 및 상기 루마 역양자화 파라미터들에 기초하여 역양자화된 루마 비율 이미지를 생성하고;
상기 색도 역양자화 파라미터들을 추출하고;
상기 양자화된 잔류 색도 값들의 하나 이상의 세트를 추출하고;
상기 색도 역양자화 파라미터들 및 상기 양자화된 잔류 색도 값들의 하나 이상의 세트에 기초하여 역양자화된 잔류 색도 값들의 하나 이상의 세트를 생성하고;
선형화된 루마 비율 이미지를 생성하기 위해 상기 역양자화된 루마 비율 이미지를 선형화하고;
상기 역양자화된 잔류 색도 값들의 하나 이상의 세트, 상기 선형화된 루마 비율 이미지, 및 상기 디코딩된 기본 이미지에 기초하여 출력 HDR 이미지를 생성하는, 시스템.
제 8 항에 있어서,
상기 출력 HDR 이미지를 생성하는 것은:
상기 디코딩된 기본 이미지에 상기 역양자화된 잔류 색도 값들의 하나 이상의 세트를 부가함에 의해 중간 이미지를 생성하고;
상기 중간 이미지를 상기 선형화된 루마 비율 이미지와 곱함에 의해 상기 출력 HDR 이미지를 생성하는 것을 더 포함하는, 시스템.
제 8 항에 있어서,
양자화된 로그 비 픽셀 값 H가 주어지면, 대응 비양자화된 로그 비 루마 값 lr은

으로 결정되고,
lr _min는 최소 로그 비 픽셀 값 루마 역양자화 파라미터를 나타내고 lr _max는 최대 로그 비 픽셀 값 루마 역양자화 파라미터를 나타내는, 시스템.
제 8 항에 있어서,
양자화된 잔류 색도 픽셀 값 U가 주어지면, 대응 중간 잔류 색도 픽셀 값 Cb는

으로 결정되고,
Cb _min는 최소 잔류 색도 픽셀 값 색도 역양자화 파라미터를 나타내고 Cb _max는 최대 잔류 색도 픽셀 값 색도 역양자화 파라미터를 나타내는, 시스템.
제 8 항에 있어서,
상기 역양자화된 루마 비율 이미지를 선형화하는 것은 역 대수 함수를 상기 역양자화된 루마 비율 이미지의 픽셀들에 적용하는 것을 포함하는, 시스템.
제 8 항에 있어서,
상기 시스템은 감마 디코더를 더 포함하고, 상기 감마 디코더는 상기 디코딩된 기본 이미지에 기초하여 감마-디코딩된 기본 이미지를 생성하고; 상기 HDR 이미지 디코더는 상기 역양자화된 잔류 색도 값들의 하나 이상의 세트, 상기 선형화된 루마 비율 이미지, 및 상기 감마-디코딩된 기본 이미지에 기초하여 상기 출력 HDR 이미지를 생성하는, 시스템.
제 13 항에 있어서,
상기 시스템은 색 변환기를 더 포함하고, 상기 색 변환기는 색 변환된 잔류 색도 값들을 생성하기 위하여 상기 역양자화된 잔류 색도 값들에 색 변환을 적용하고;
상기 HDR 이미지 디코더는 상기 색 변환된 잔류 색도 값들의 하나 이상의 세트, 상기 선형화된 루마 비율 이미지, 및 상기 감마-디코딩된 기본 이미지에 기초하여 상기 출력 HDR 이미지를 생성하는, 시스템.