KR101552479B1 - 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현 - Google Patents

고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현 Download PDF

Info

Publication number
KR101552479B1
KR101552479B1 KR1020147032975A KR20147032975A KR101552479B1 KR 101552479 B1 KR101552479 B1 KR 101552479B1 KR 1020147032975 A KR1020147032975 A KR 1020147032975A KR 20147032975 A KR20147032975 A KR 20147032975A KR 101552479 B1 KR101552479 B1 KR 101552479B1
Authority
KR
South Korea
Prior art keywords
image
hdr
luminance
values
mapped
Prior art date
Application number
KR1020147032975A
Other languages
English (en)
Other versions
KR20140140655A (ko
Inventor
웬후이 지아
아지트 니난
아르카디 텐
그레고리 존 워드
게이븐 왕
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20140140655A publication Critical patent/KR20140140655A/ko
Application granted granted Critical
Publication of KR101552479B1 publication Critical patent/KR101552479B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/417—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information using predictive or differential encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
    • H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Image Signal Generators (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

휘도 비들 및 색 잔류 값들의 형태의 HDR 재구성 데이터를 갖는 톤 매핑된(TM) 이미지를 포함하는 이미지 데이터를 인코딩 및 디코딩하기 위한 기술들이 제공된다. 일 예시적인 실시예에 있어서, 색 공간의 색 채널들에서의 휘도 비 값들 및 잔류 값들은 휘도 비 이미지를 갖는 TM 이미지로부터 복원가능하지 않을 수 있는 하나 이상의 색 변화들을 포함하는 고 동적 범위(HDR) 이미지 및 파생 톤-매핑된(TM) 이미지에 기초하여 개별 화소 단위로 생성된다. 휘도 비 값들 및 색-채널 잔류 값들로부터 유도된 HDR 재구성 데이터를 갖는 TM 이미지는 예를 들면, 디코딩, 렌더링 및/또는 저장을 위해 이미지 파일로 다운스트림 디바이스에 출력될 수 있다. 이미지 파일은 색 변화들에 자유로운 복원된 HDR 이미지를 생성하기 위해 디코딩될 수 있다.

Description

고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현{ENCODING, DECODING, AND REPRESENTING HIGH DYNAMIC RANGE IMAGES}
본원은 전체로서 본원에 참조로 통합되는, 2011년 4월 15일 출원된 미국 가출원 제 61/476,174 호 및 2011년 10월 28일 출원된 미국 가 출원 제 61/552,868 호에 대한 우선권을 주장한다.
본 발명은 일반적으로 이미지 처리에 관한 것으로, 특히, 고 동적 범위 이미지들의 인코딩, 디코딩 및 표현에 관한 것이다.
양수인 및 다른 사람들에 의해 개발되고 있는 디스플레이 기술들은 고 동적 범위(high dynamic range; HDR)를 갖는 이미지들을 재생할 수 있다. 이러한 디스플레이들은 종래의 디스플레이들보다 더 정확히 실세계 장면들을 표현하는 이미지들을 재생할 수 있다.
역 호환성(backwards compatibility) 뿐만 아니라, 새로운 HDR 디스플레이 기술들을 지원하기 위해서, HDR 이미지는 그레이스케일 휘도 비들을 포함하는 부가 메타데이터를 갖는 톤-매핑된 이미지에 의해 표현될 수 있다. 한편, 톤-매핑된 이미지는 (예를 들면, 레거시 디스플레이 상에서) 일반적인 동적 범위 이미지를 표현하기 위해 이용될 수 있다. 다른 한편으로, 부가 메타데이터는 (예를 들면, HDR 디스플레이에 의해) HDR 이미지를 생성, 복원 또는 표현하기 위해 톤-매핑된 이미지와 함께 이용될 수 있다.
그러나, 톤-매핑된 이미지는 이미지를 조작하는 이용자 또는 톤-매핑된 이미지를 생성하기 위해 이용된 특정 톤 매핑 연산자와 관련된 다양한 이유들로 인해 야기된 하나 이상의 색 변화들을 포함할 수 있다. 예를 들면, 이용자는 더 예술적으로 보이는 이미지를 생성하기 위해서 이미지의 화소들 중 일부 또는 모두와 관련된 색조 정보를 변경할 수 있다. 또한, 톤-매핑 연산자는 다양한 색 채널들에서 상이한 블랙 또는 화이트 클리핑들(black or white clippings)을 수행할 수 있고, 예를 들면, 이미지의 비교적 노출이 부족한 또는 과도하게 노출된 영역들에서 색 변화들을 도입할 수 있다. 기존의 기술들 하에서, 다운스트림 디코더가 톤-매핑된 이미지 및 수반되는 그레이스케일 휘도 비들로부터 HDR 이미지를 재구성하려고 할 때, 톤-매핑된 이미지에서의 이들 색 변화들은 제거하기에 어렵거나 불가능하다.
이 섹션에서 서술된 방식들은 추구될 수 있는 방식들이지만, 반드시 이전에 생각되었거나 추구되었던 방식들은 아니다. 따라서, 달리 나타내지 않는다면, 이 섹션에서 서술된 방식들 중 임의의 방식들은 단지 이 섹션에 포함되는 것으로 인해 종래 기술로서 간주하는 것으로 가정되어서는 안 된다. 마찬가지로, 하나 이상의 방식들과 관련하여 확인된 쟁점들은, 달리 나타내지 않는 한, 이 섹션에 기초하여 종래 기술에서 인식된 것으로 가정하지 않아야 한다.
본 발명의 목적은 휘도 비들 및 색 잔류 값들의 형태의 HDR 재구성 데이터를 갖는 톤 매핑된(TM) 이미지를 포함하는 이미지 데이터를 인코딩 및 디코딩하기 위한 기술들을 제공하는 것이다.
일 예시적인 실시예에 있어서, 색 공간의 색 채널들에서의 휘도 비 값들 및 잔류 값들은 휘도 비 이미지를 갖는 TM 이미지로부터 복원가능하지 않을 수 있는 하나 이상의 색 변화들을 포함하는 고 동적 범위(HDR) 이미지 및 파생 톤-매핑된(TM) 이미지에 기초하여 개별 화소 단위로 생성된다. 휘도 비 값들 및 색-채널 잔류 값들로부터 유도된 HDR 재구성 데이터를 갖는 TM 이미지는 예를 들면, 디코딩, 렌더링 및/또는 저장을 위해 이미지 파일로 다운스트림 디바이스에 출력될 수 있다. 이미지 파일은 색 변화들에 자유로운 복원된 HDR 이미지를 생성하기 위해 디코딩될 수 있다.
본 발명은 첨부 도면들에서 제한적이지 않고 예시적인 방식으로 설명되며, 도면들에서 동일한 참조 부호들은 유사한 소자들을 나타낸다.
도 1은 본 발명의 일부 가능한 일 실시예들에 따른 예시적인 HDR 이미지 인코더를 도시하는 도면.
도 2는 본 발명의 일부 가능한 일 실시예들에 따른 예시적인 HDR 이미지 디코더를 도시하는 도면.
도 3a 및 도 3b는 본 발명의 가능한 실시예에 따른 예시적인 처리 흐름들을 도시하는 도면들.
도 4는 본 발명의 가능한 실시예에 따른, 본원에서 기술되는 컴퓨터 또는 컴퓨팅 디바이스가 구현될 수 있는 예시적인 하드웨어 플랫폼을 도시하는 도면.
도 5는 블랙에서 화이트로의 변화도에 따른 일반적인 카메라에서의 상이한 색 센서들의 가변 포화도 특성들을 도시하는 도면.
도 6a 및 도 6b는 사후(post-hoc) 화이트 밸런스를 수행하는 색 공간을 모니터링하기 위해 카메라 센서 색 공간으로부터 이미지 데이터를 변형하는 본 시스템의 실시예들을 도시하는 도면들.
도 7은 화이트 밸런스 정정 기술의 하나의 실시예를 도시하는 도면.
이미지 처리 기술들과 관련된 예시적인 가능한 실시예들이 본원에서 기술된다. 다음 서술에서, 설명의 목적상, 본 발명의 철저한 이해를 제공하기 위해서 다수의 특정 세부사항들이 제시된다. 그러나, 본 발명은 이들 특정 세부사항들 없이 실시될 수 있다는 것이 명백할 것이다. 다른 예들에 있어서, 본 발명을 불필요하게 가리거나 불분명하게 하거나 불명확하게 하는 것을 피하기 위해서, 잘-공지되어 있는 구조들 및 디바이스들은 상세히 서술되지 않는다.
예시적인 실시예들은 본원에서 다음의 개요에 따라 서술된다.
1. 개관
2. HDR 이미지 인코더
3. 화이트 밸런스 정정
4. HDR 이미지 디코더
5. 예시적인 처리 흐름
6. 구현 메커니즘들-하드웨어 개관
7. 등가물들, 확장들, 대안들 및 기타
1. 개관
이 개관은 본 발명의 가능한 실시예의 일부 양태들의 기본적인 서술을 제시한다. 이 개관은 가능한 실시예의 양태들의 광범위한 또는 완전한 요약이 아니라는 점을 유념해야 한다. 또한, 이 개관은 가능한 실시예의 임의의 특히 중요한 양태들 또는 소자들을 식별하는 것으로서 이해되어서는 안 되고, 특히 가능한 실시예나 일반적으로는 발명의 임의의 범위를 기술하는 것으로서 이해되어서는 안 된다는 것을 유념해야 한다. 이 개관은 단지 요약되고 간소화된 포맷으로 예시적인 가능한 실시예와 관련되는 일부 개념들을 나타내고, 다음에 이어지는 예시적인 가능한 실시예들의 더욱 상세한 설명에 대한 단지 개념적인 서두로서 이해되어야 한다.
다양한 이미지 렌더링 디바이스들 상에 이미지들을 디스플레이하기 위해서, 톤 매핑 연산자들(TMO들)은 입력 HDR 이미지들을 톤 매핑된(TM) 기본 이미지들로 처리한다. TM 기본 이미지들은 입력 이미지와 관련된 색 변화들(예를 들면, 색조 변경들, 색 클리핑들, 예술적 보기들 등)을 포함할 수 있다. 일부 기술들 하에서, 입력 HDR 이미지들과 동등한 HDR 이미지들을 재구성하기 위해 휘도 비들에 따라 다운스트림 이미지 디코더들에 TM 베이스 이미지들이 제공된다. 그러나, 다운스트림 이미지 디코더는, TM 베이스 이미지 및 그레이스케일 휘도 비들에 의존하여, 재구성된 HDR 이미지에서 색 변화들을 제거할 수 없을 수 있다. 결과적으로, 색 변화들은 재구성된 HDR 이미지에 주목할 만한 정도로 남아 있을 수 있다.
그에 반해서, 본원에서 서술되는 기술들 하에서의 HDR 이미지 인코더는 입력 HDR 이미지 및 TM 베이스 이미지에 기초하여 휘도 비들 뿐만 아니라 색 잔류 값들을 생성한다. 휘도 비들 및 색 잔류 값들은 총괄하여 HDR 재구성 데이터로 표기될 수 있다. 선택적으로 및/또는 부가적으로, 휘도 비들은 비교적 넓은 범위의 휘도 값들을 지원하기 위해 대수 도메인으로 변형된다. 선택적으로 및/또는 부가적으로, 결과적인 대수 휘도 비들 및 색 잔류 값들이 양자화된다. 선택적으로 및/또는 부가적으로, 양자화된 대수비들 및 색 잔류 값들은 잔류 이미지에 저장된다. 일부 실시예들에서의 양자화된 대수비들 및 색 잔류 값들, 또는 잔류 이미지에는 다운스트림 이미지 디코더에 대한 TM 베이스 이미지가 제공된다. 선택적으로 및/또는 부가적으로, 양자화된 대수비들 및 색 잔류 값들과 관련된 파라미터들(예를 들면, 범위 한계들 등)에는 또한 TM 베이스 이미지가 제공된다.
본원에서의 TMO는 저(블랙) 또는 고(화이트) 휘도 레벨들을 갖는 개별 화소들에 대한 색 채널들에서 색 클리핑들을 자유롭게 수행할 수 있다. 또한, 본원에서 서술되는 것과 같은 TM0는 각 화소에서 색조를 유지할 필요가 없다. 본원에서 서술되는 기술들 하에서, 이용자는 이미지 콘텐트(예를 들면, 사람 형상들, 실내 이미지, 실외 장면, 야경, 일몰 등) 또는 (예를 들면, 영화, 포스터, 결혼 사진, 잡지 등에서 이용되는) 애플리케이션들에 기초하여 TM0를 선택하는데 있어서 자유롭다. 색 클리핑들 또는 수정들은 이미지들의 예술적인 보기들을 생성하기 위해 의도적으로 및 자유롭게 이용될 수 있다. 본원에서의 HDR 이미지 인코더들 및 디코더들은 광범위한 가능한 색 변화들을 도입할 수 있는 상이한 유형들의 편집 소프트웨어 및 카메라 제조자들에 의해 구현되는 TMO들을 지원한다. 본원에서 서술되는 기술들 하에서, HDR 인코더들은 색 잔류 값들을 HDR 디코더들에 제공한다. HDR 디코더들은 재구성된 HDR 이미지들에 색 변화들이 존재하는 것을 방지하기 위해(또는 최소화하기 위해) 색 잔류 값들을 차례로 이용한다.
본원에서 서술되는 기술들 하에서, 비트 스트림들 및/또는 이미지 파일들은 디코딩 및/또는 렌더링을 위해 TM 베이스 이미지들 및 그들 각각의 HDR 재구성 데이터를 다운스트림 이미지 뷰어들 또는 디코더들에 저장 및 제공하기 위해 이용될 수 있다. 본원에서 서술되는 기술들 하에서의 이미지 포맷은 상이한 유형들의 편집 소프트웨어 및 카메라 제조자들에 의해 구현되는 TMO들을 지원한다. 본원에서 서술되는 이미지 포맷들의 예들은 (예를 들면, JPEG-HDR을 포함하는) 표준 JPEG 이미지 포맷들 등을 포함할 수 있지만 그것으로 제한되지는 않는다. 일 예시적인 실시예에 있어서, JPEG-HDR 이미지 포맷은 휘도 비들 및 색 잔류 값들을 갖는 TM 베이스 이미지의 저장을 지원하기 위해 이용된다. 부가적으로 및/또는 선택적으로, 이미지 파일에 저장된 TM 베이스 이미지 및 잔류 이미지 중 하나 또는 모두는 압축된다. 본원에서 서술되는 것과 같은 압축은 JPEG 표준 또는 상이한 방법을 이용하여 수행될 수 있다.
본원에서 서술되는 기술들 하에서 HDR 이미지 처리를 지원하지 않는 이미지 디코더 또는 뷰어는 단순히 이미지 파일에서 TM 베이스 이미지를 연다. 다른 한편으로, 본원에서 서술되는 기술들 하에서의 HDR 이미지 디코더들은 이미지 파일을 TM 베이스 이미지 및 그의 대응하는 휘도 비들과 색 잔류 값들로 판독/파싱하고 HDR 이미지를 복원/재구성하도록 구성된다. 본원에서 서술되는 재구성된 HDR 이미지는 원래의 입력 HDR 이미지에는 없지만 TMO에 의해 TM 베이스 이미지에 도입되는 색 변화들에 대해서 자유롭다.
일부 가능한 실시예들에 있어서, 본원에서 서술되는 것과 같은 메커니즘들은 휴대형 디바이스, 게임기, 극장 시스템, 가정용 오락 시스템, 텔레비전, 랩탑 컴퓨터, 노트북 컴퓨터, 셀룰러 무선 전화, 전자 서적 리더, 포스 단말(point of sale terminal), 데스크톱 컴퓨터, 컴퓨터 워크스테이션, 컴퓨터 키오스크, 및 다양한 다른 유형들의 단말들 및 처리 유닛들을 포함하지만 이들로 제한되지는 않는 이미지 인코더의 일부를 형성한다.
본원에서 서술되는 바람직한 실시예들 및 일반 원리들 및 특징들에 대한 다양한 수정들이 당업자들에게는 손쉽게 명백할 것이다. 따라서, 본 개시는 제시된 실시예들로 제한되도록 의도되지 않지만, 본원에서 서술되는 원리들 및 특징들에 맞는 넓은 범위에 부합되어야 한다.
2. HDR 이미지 인코더
도 1은 본 발명의 일부 가능한 실시예들에 따른 예시적인 HDR 이미지 인코더를 도시한다. 일부 가능한 실시예들에 있어서, HDR 이미지 인코더는 하나 이상의 컴퓨팅 디바이스들에 의해 구현되고, 입력 HDR 이미지를 표준-기반 또는 독점 이미지 포맷의 HDR 재구성 데이터를 갖는 TM 이미지로 인코딩하기 위한 이미지 처리 기술들을 구현하는 소프트웨어 및/또는 하드웨어 구성요소들로 구성된다.
HDR 이미지 인코더는 입력 HDR 이미지를 수신하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 본원에서 이용되는 것과 같이, "입력 HDR 이미지"는 부동 소수점 또는 고정점 고 동적 범위 이미지 데이터를 포함할 수 있는 임의의 HDR 이미지를 나타낸다. 입력 HDR 이미지는 고 동적 범위 색역을 지원하는 임의의 색 공간에 있을 수 있다. 일 예시적인 실시예에 있어서, 입력 HDR 이미지는 RGB 색 공간에서 RGB 이미지(예를 들면, 도 1에 도시되어 있는 것과 같은 입력 HDR RGB(102))이다. 일 예에서, 입력 HDR 이미지에서의 각 화소는 색 공간에서 규정되는 모든 채널들(예를 들면, RGB 색 공간에서의 적색, 녹색 및 청색 색 채널들)에 대한 부동 소수점 화소 값들을 포함한다. 또 다른 예에서, 입력 HDR 이미지에서의 각 화소는 색 공간에서 규정되는 모든 채널들에 대한 고정점 화소 값들(예를 들면, RGB 색 공간에서의 적색, 녹색 및 청색 색 채널들에 대한 16 비트들 또는 더 많은/더 적은 수의 비트들의 고정점 화소 값들)을 포함한다. 각 화소는 선택적으로 및/또는 대안적으로 색 공간에서 하나 이상의 채널들에 대한 다운샘플링된 화소 값들을 포함할 수 있다.
일 예시적인 실시예에 있어서, HDR 이미지 인코더는 복수의 선-처리 단계들을 수행하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 선택적으로 및/또는 대안적으로, 선-처리 단계들은 입력 HDR 이미지 등에 대한 0번 이상의 건전성 검사들(sanity checks)을 포함하지만 이것으로 제한되지는 않는다. 예를 들면, 입력 HDR 이미지는 예를 들면, 업스트림 단계에 의해 또는 인코딩 또는 송신시 도입된 로컬 데이터 손상에 의해 도입된 음의 휘도 값들을 나타내는 화소 값들을 포함할 수 있거나 포함하지 않을 수 있다. 근본적인 휘도 값이 음이 됨으로써 후속하는 톤 매핑 동작들에서 문제들이 유발되는 것을 방지하기 위해서, 입력 HDR 이미지에서의 근본적인 휘도 값들에 대해 건전성 검사(음의 휘도 검사(104))가 행해진다. 화소의 근본 휘도 값이 양이 아니라면, 화소의 모든 색 채널들에 대한 화소 값들은 0으로 설정될 수 있다.
휘도 값이 색 공간에서 화소에 대해 직접 주어지지 않는 가능한 실시예들에 있어서, 화소에 대한 휘도 값은 색 공간에서 화소의 화소 값들로부터 (간접적으로) 유도될 수 있다. 일 예시적인 실시예에 있어서, 화소에 대한 RGB 색 공간에서 화소 값들인 R, G 및 B는 다음과 같이 화소에 대해 휘도 값(Y)을 계산하기 위해 이용될 수 있다:
Figure 112014113459079-pat00001
식 (1)
선처리되거나 선처리되지 않을 수 있는 입력 HDR 이미지가 톤 매핑 연산자(TMO(106))에 제공되기 전에, 입력 HDR 이미지 데이터는 화이트 밸런스 오퍼레이터(105)를 통과한다. 다음에서 더 상세히 논의될 것과 같이, HDR 인코딩의 일부로서 뿐만 아니라, 톤 매핑 동작 전에 HDR 이미지들에서 화이트 밸런스를 정정 및/또는 조정하는 것이 바람직할 수 있다.
일 예시적인 실시예에 있어서, TMO(106)는, (선처리될 수 있는) 입력 HDR 이미지에 기초하여, 다양한 디스플레이 디바이스들 상에서 렌더링될 수 있는 톤 매핑된(TM) 이미지를 생성시키도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 본원에서 서술되는 기술들 하에서, TMO(106)는 HDR 이미지 인코더에서 블랙 박스로서 다루어진다. TMO(106) 또는 입력 HDR 이미지를 조작하기 위해 TMO(106)를 이용하는 이용자는 TMO(106)로부터 출력 TM 이미지의 일부 또는 모든 부분들에서 색조들 또는 채도 속성들에 영향을 미치는 하나 이상의 색 변화들을 자유롭게 도입할 수 있다. 본원에서 서술되는 기술들 하에서, TMO(106) 또는 이용자에 의해 자유롭게 이루어진 색 변화들을 갖는 TM 이미지는, HDR 이미지를 재생/렌더링하기 위해 이용될 수 있는 본원에서 서술되는 기술들 하에서 생성되는 HDR 재구성 데이터에 따라, 베이스 이미지로서 다운스트림 디바이스들에 제공될 수 있다. HDR 재구성 데이터는 TMO(106)에 의해 이루어진 색 변화들에서 자유로운 HDR 이미지를 재생하기 위해 충분한 정보를 수신측 다운스트림 디바이스에 제공한다.
선택적으로 및/또는 대안적으로, HDR 이미지 인코더는 TMO(106)의 출력인 TM 이미지(R'G'B'(108))에 대한 블랙 수정들을 수행하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들(블랙 수정(110))을 포함한다. HDR 이미지 인코더 또는 그 안에 있는 블랙 수정(110)은 0의 화소 값들을 TM 이미지(R'G'B'(108))에서 찾는다. 일 예에서, 색 채널에 대한 화소 값이 0이면, 화소 값은 1, 2, 10과 같은 작은 값 또는 또 다른 더 크거나 더 작은 값을 제공받는다. 또 다른 예에서, 화소에 대한 휘도 값이 0이면, 1개 이상의 색 채널들에 대한 화소 값들은 1, 2, 10과 같은 작은 값들 또는 다른 더 크거나 더 작은 값들을 제공받는다. 작은 화소 값(예를 들면, 10 미만)은 지각적으로 시각적 차이를 만들지 않을 수 있다.
TM 이미지(R'G'B'(108))는 8-비트 감마 정정된 이미지일 수 있거나 아닐 수 있다. 단지 예시의 목적상, TMO(106)에 의해 출력된 톤 매핑된 이미지(R'G'B'(108))는 TMO(106) 내에서 감마 정정된다. 선택적으로 및/또는 대안적으로, HDR 이미지 인코더는, TMO(106)의 출력 파라미터 또는 리턴 값이 감마 정정이 TMO(106) 내에서 수행되었다는 것을 나타낸다면, 톤 매핑된 이미지(R'G'B'(108))를선형 도메인에서 중간 톤-매핑된 이미지(RGBt)로 변환하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들(역 감마(112))을 포함한다. 감마 정정 및/또는 감마 변환을 위해 이용된 감마 곡선은, 하나 이상의 출력 파라미터들 또는 리턴 값들을 이용하여 TMO(106)에 의해 표시될 수 있는, sRGB 또는 AdobeRGB와 같은 표준 색 공간과 관련될 수 있다. 일 예시적인 실시예에 있어서, RGBt는 본원에서 서술되는 것과 같은 또 다른 휘도 비들 및 잔류 값들을 유도하기 위해 이용될 수 있다.
일 예시적인 실시예에 있어서, 입력 HDR 이미지(RGBh)에서의 휘도 값들(Yh) 및 RGBt에서의 휘도 값들(Yt)이 계산될 수 있다. 일부 가능한 실시예들에 있어서, Yh, Yt 및 Yh와Yt 간의 휘도 비들(r)은 다음과 같이 개별 화소 단위로 계산될 수 있다:
Figure 112014113459079-pat00002
식 (2)
여기서, Yh는 입력 HDR 이미지에서 상이한 화소에 각각 대응하는 복수의 휘도 값들을 포함하고, Yt는 톤-매핑된 이미지에서 상이한 화소에 각각 대응하는 복수의 휘도 값들을 포함하고, r은 Yh에서의 휘도 값과 Yt에서의 대응하는 휘도 값 간의 비율로서 규정되는 복수의 휘도 비들 각각을 포함한다. 일부 가능한 실시예들에 있어서, Yh, Yt, 및 r은 동일한 차원수의 매트릭스들로 표현될 수 있다. 본원에서 기술되는 매트릭스에서의 위치는, 행 인덱스 및 열 인덱스로 나타내는 것과 같이, 이미지(입력 HDR 이미지, 톤 매핑된 이미지, 또는 r에 의해 형성된 휘도 비 이미지)에서의 화소를 나타낼 수 있다. Yh 및 Yt로부터의 휘도 값들 및 r로부터의 휘도 비들은, 그들의 위치들이 매트릭스들에서 동일한 행 인덱스 및 동일한 열 인덱스를 공유하는 경우에 서로 대응한다. 일 대안적인 실시예에 있어서, Yh 및 Yt에 기초하여 r을 계산하기 위한 도 1에 도시되어 있는 것과 같은 나눗셈 동작들(나눗셈(116))은 대수 도메인에서 감산들로서 수행된다.
본원에서 서술되는 것과 같은 기술들 하에서, 휘도 비들(r)은 TMO(106) 또는 이용자에 의해 수행된 색 변화 동작들의 결과를 포함하는 톤 매핑된 이미지(RGBt)를 이용하여 연산된다. 식 (2)에서 연산되는 휘도 비들은 톤 매핑된 이미지를 곱할 때, 휘도 값들이 입력 HDR 이미지의 휘도 값들과 일치하는 이미지를 생성한다.
색 밸런스가 TMO(106)에 의해 유지되고, 톤-매핑된 이미지에 대해 TMO(106) 또는 이용자에 의해 수행된 색 클리핑이 존재하지 않으면, 톤-매핑된 이미지와 휘도 비들(r)의 곱셈에 의해 생성된 결합 이미지는 입력 HDR 이미지와 색상별로 일치한다.
다른 한편으로, 예를 들면, 입력 HDR 이미지에서의 색 밸런스가 톤 매핑된 이미지에서 TMO(106)에 의해 변경될 때, 톤 매핑된 이미지가 색 변화들/왜곡들을 포함하거나, 화이트 밸런스(105) 또는 TMO(106)에서 색 클리핑이 발생하면, 톤-매핑된 이미지와 휘도 비들(r)의 곱셈에 의해 생성된 결합 이미지는 입력 HDR 이미지와 색상별로 일치하지 않는다. 본원에서 서술되는 기술들 하에서, HDR 재구성 데이터에 포함된 잔류 값들을 생성하기 위해 결합 이미지와 입력 HDR 이미지 간에 휘도 채널 이외의 색 채널들에서의 차이들이 연산된다. 본원에서 서술되는 기술들 하에서 생성되는 HDR 재구성 데이터는 화이트 밸런스(105) 또는 TMO(106)에서 또는 이용자에 의해 수행된 동작들에서 손실된 추가 색 정보를 제공한다. HDR 이미지 디코더 또는 HDR 렌더링 디바이스와 같은 다운스트림 디바이스가 색 변화들/왜곡들을 갖는 TM 이미지 및 HDR 재구성 데이터를 수신할 때, TM 이미지에서의 색 변화들/왜곡들은 HDR 재구성 데이터로 보상된다.
본원에서 이용되는 것과 같이, 클리핑은 색 채널들에서 경계 밖(out-of-bound) 화소 값들을 변경/수정하여 결과적인 화소 값들이 표현된 범위들 내에 있도록 하는 일종의 색 변화를 말한다. 임의의 색 채널들에 대해 클리핑이 발생할 수 있다(예를 들면, HDR 이미지의 특정 부분에서 RGB 색 공간에서의 R, G, 및 B 화소 값들은 TM 이미지에서 클리핑될 수 있다). 클리핑 양들은 색 채널들에 따라 변할 수 있거나 변하지 않을 수 있다(예를 들면, 녹색에 대해서는 더 많은 클리핑이 이루어지고 청색에 대해서는 적은 클리핑이 이루어지는 등).
휘도 비들(r)을 이용하면, 입력 HDR 이미지는 색 밸런스가 변경되지 않는 중간 재-매핑된 이미지(RGBht)를 생성하기 위해 재-매핑될 수 있다. RGBht는 다음과 같이 나눗셈 동작(나눗셈(118))에 의해 계산될 수 있다:
Figure 112014113459079-pat00003
식 (3)
위에서 설명된 것과 같이, 색 밸런스가 TMO(106)에 의해 유지되었고 색 클리핑이 없다면, 재-매핑된 이미지(RGBht)는 톤 매핑된 이미지(RGBt)와 동일할 것이다. 그렇지 않으면, 이들 두 이미지들에는 차이들이 있을 것이다. 두 이미지들 간의 차이들은 톤 매핑 이미지 공간(예를 들면, 모든 가능한 톤 매핑된 이미지들을 포함하는 공간)에서의 잔류 값들이다. 일 예시적인 실시예에 있어서, 잔류 값들(RGBe)은 다음과 같이 선형 도메인에서 감산들(감산(132))에 의해 계산된다:
Figure 112014113459079-pat00004
식 (4)
잔류 값들(RGBe)은 (도 1에 도시되어 있는 CSC(134) 블록에 의해) YCbCr 색 공간으로 변환될 수 있다. 본원에서의 기술들 하에서, 톤 매핑된 이미지(RGBt) 및 재-매핑된 이미지(RGBht)는 동일한 휘도 값들을 갖는다. 이들 두 이미지들 간의 휘도 잔류 값들은 모두 0이다. YCbCr 색 공간에서의 잔류 값들(RGBe)은 절약되어야 하는 채도 정보(Diff CbCr(154))만을 포함한다. RGBe로부터 Diff CbCr로의 변환은 다음과 같이 주어질 수 있다:
Figure 112014113459079-pat00005
식 (5)
여기서, MCSC 및 그 역 MCSC -1은 다음과 같이 규정되는 3×3 매트릭스일 수 있다:
Figure 112014113459079-pat00006
식 (6)
본원에서 서술되는 것과 같은 기술들 하에서, 입력 HDR 이미지 및 톤 매핑된 이미지에서 휘도 값들을 계산하기 위해 이용된 변환 계수들은 식 (5) 및 식 (6)의 MCSC에서와 정확히 동일하다. 이들 기술들 하에서, RGBe에서의 휘도 잔류 값들(Ye)은 다음에 나타내는 것과 같이 모두 0이다:
Figure 112014113459079-pat00007
식 (7)
선형 도메인에서의 휘도 비들(r)은 식 (2)에서 계산된 것과 같이, 넓은 범위를 갖는데, 이는 휘도 비들이 입력 이미지의 HDR 정보를 전달하기 때문이다. 일 예시적인 실시예에 있어서, 효과적인 양자화 목적들을 위해서, 다음 식 (8)에 도시되어 있는 것과 같이, 휘도 비들(r)이 (예를 들면, 도 1의 로그 블록(130)에 의해) 먼저 대수 도메인으로 변환된다. 대수 도메인에서의 최대 및 최소 휘도 비 값들은 각각 lrmax 및 lrmin의 상한 및 하한을 갖는 대수 범위를 (예를 들면, 도 1의 Min Max 블록에 의해) 결정하기 위해 이용될 수 있다. 대수 휘도 비들은 대수 범위에 기초하여 (예를 들면, 도 1의 Quant 8b(136) 블록에 의해) (예를 들면, 균일하게 또는 특정 곡선에 따라) 8-비트 값들(Log Yt)(또는 식 (8)에서의 H)로 양자화될 수 있다. 일 예에서는, 대수 도메인에 대해 자연 대수가 이용된다. 다른 예들에 있어서, 자연 대수와는 다른 밑수들을 갖는 대수가 대수 도메인에서 이용된다.
Figure 112014113459079-pat00008
식 (8)
예시적인 YCbCr 색 공간에서, Diff CbCr에서 (식 (9) 및 식 (10)에서 U 및 V로 표기되어 있는) Cb 및 Cr 잔류 값들은 다음과 같이 유사한 방식으로 각각 8-비트 값들(CbCr(158))로 양자화될 수 있다:
Figure 112014113459079-pat00009
식 (9)
Figure 112014113459079-pat00010
식 (10)
일 예시적인 실시예에 있어서, 양자화 후에, HDR 재구성 데이터는 2차원 데이터의 3개의 세트들(H, U 및 V)을 포함한다(도 1에서 Log Yt 및 CbCr(158)). HDR 재구성 데이터에서의 데이터의 세트들은, (예를 들면, YUV) 이미지를 형성하는 것 처럼, (예시적인 YUV 색 공간의 휘도 채널에서의) 휘도 비 값들 및 (예시적인 YUV 색 공간의 채도 차이 채널들에서의) 잔류 값들을 포함하는 단일 YCbCr 컨테이너(144)(예를 들면, YUV 이미지)에 저장될 수 있다. 결국, 2개의 이미지들이 얻어질 수 있다. 하나는 RGB 색 공간에서의 톤 매핑된 이미지이고, 다른 하나는 YUV 색 공간에서의 HUV 이미지이다. 블랙 수정(블랙 수정(110)) 이후에 및/또는 선택적 포화도 저하(예를 들면, 150)에 의해, 톤 매핑된 이미지는 TMO(106)의 출력(R'G'B'(108))일 수 있다. 톤 매핑된 이미지 및 HUV 이미지 모두는 8-비트 데이터를 포함할 수 있고, 예를 들면, JPEG 표준 압축 방법을 이용하여 압축될 수 있다. HDR 재구성 데이터는 단일 이미지 파일에서 톤 매핑된 이미지와 함께 애플리케이션 세그먼트(APP SEG(146))에서 출력될 수 있다. 단일 이미지 파일은 표준-기반 또는 독점 이미지 파일 포맷(예를 들면, JPEG-HDR)일 수 있다. 애플리케이션 세그먼트는 (예를 들면, JPEG 표준에 의해 규정되는 것과 같이) 이미지 파일 포맷에서 마커 필드(예를 들면, APP11 마커)일 수 있다. 일 예에서, TM 이미지는 JPEG 압축 후에 베이스 이미지(RGB TM 베이스(148))를 형성하고, HUV 이미지는 출력 HDR(예를 들면, 156) 이미지 파일에서 APP11 마커와 같은 애플리케이션 세그먼트(APP SEG(146))에서의 TM 베이스 이미지에 첨부된다.
본원에서 서술되는 것과 같은 기술들은 부동 소수점 및 고정점 HDR 이미지들(예를 들면, 16-비트 선형 이미지, 14-비트 감마-정정된 이미지 등) 모두를 처리하기 위해 이용될 수 있다.
일 예시적인 실시예에 있어서, TM 베이스 이미지 및 HUV 이미지는 캘리포니아 샌프란시스코의 돌비 래버러토리즈로부터 상업적으로 이용가능한 JPEG-HDR 기술들 하에서의 표준 JPEG 포맷으로 저장된다. TM 베이스 이미지는 엔트로피 코딩된 데이터 세그먼트에 저장된다. 파라미터들 및 보조 데이터를 갖는 HUV 이미지는, 적절한 ID 스트링(예를 들면, "DD")으로, JPEG-HDR 하에서 APP11 애플리케이션 세그먼트와 같은 애플리케이션 세그먼트에 저장된다.
HUV에서의 양자화 값 범위들의 최소 및 최대 값들은 유형 I 세그먼트에 저장될 수 있다. 이들 최소 및 최대 값들은 대수 도메인에서의 최대 및 최소 휘도 비 값들, Cb 잔류 값들에 대한 최대 및 최소 값들, 및 Cr 잔류 값들에 대한 최대 및 최소 값들을 포함한다. 선택적으로 및/또는 대안적으로, 베이스 이미지 색 공간(예를 들면, sRGB, AdobeRGB) 및 잔류 모드(예를 들면, 휘도 비)를 명시하는 다른 정보가 유형 I 세그먼트에 포함된다. 잔류 모드가 단지 휘도 비이면, Cb 및 Cr 관련 파라미터들 및 데이터가 차후의 디코딩에서 무시될 수 있다.
일 예시적인 실시예에 있어서, HUV 이미지의 데이터 크기가 특정 크기, 예를 들면, 64k 바이트를 초과하면, HUV 이미지가 유형 Ⅱ 세그먼트에 저장되고, 세그먼트들의 헤더에 인덱스 정보를 갖는 다중 유형 Ⅱ 세그먼트들로 분할될 수 있다.
3. 화이트 밸런스 정정
보통, 이용자는 디지털 카메라로 이미지를 캡처하고, 캡처된 이미지로부터 유도되는 HDR 이미지를 렌더링하는 것이 요구된다. 이미지를 캡처하는 카메라의 카메라 RAW 포맷이 공지되어 있다면, 채도 충실도가 높은 HDR 이미지를 생성하는 것이 가능할 수 있다. 그러나, 이 다음에 화이트 밸런싱은 적어도 다음의 두 가지 이유들로 인해 표준 JPEG를 이용하여 정확히 수행되는 것이 어려울 수 있다: (1) 렌더링된 색 공간을 다시 센서 색들에 정확히 매핑하는 것이 공지되어 있지 않고, (2) 클램핑(clamping)이 상이한 색 채널들에 대해 불균일하게 적용된다. 원래의 센서 값들과 선형으로 관련되는 색 공간이 되도록 하는 방법 없이, 화이트 밸런스 정정은 잘 행해질 수 없다.
그러나, 카메라 RAW 포맷이 공지되어 있다면, 사후에(즉, 이미지들이 카메라들에 의해 캡처된 후에) 노출 및 화이트 밸런스를 조정하기 위해 카메라 RAW 포매팅(formatting)을 이용하는 것이 가능하다. 표준 JPEG 이미지들이 어느 정도로 증가된 밝기를 가질 수 있긴 하지만, 손실된 하이라이트들을 복원하는 것은 불가능하고, 화이트 밸런싱은 전체 이미지 밝기를 증가시키거나 아니면 하이라이트들이 어느 정도까지는 색을 띠도록 한다. 그러나, 본 시스템의 일 실시예는 JPEG-HDR 이미지들의 노출 및 화이트 밸런스를 조정하기 위한 능력을 제공하고, 표준 JPEG 및 (많은 경우들에 있어서는) 카메라 RAW 이미지 인코딩들에 대해 이점들을 가질 수 있다.
JPEG 또는 24-비트 TIFF와 같은 표준 이미지 인코딩은 실제로 "백색"에 대응하는 (255,255,255)의 각 채널에서 최대 표현가능한 값을 갖는다. 카메라의 노출 및 화이트 밸런스가 정확히 설정되기만 하면, 재생된 이미지는 통상적인 보기 및 인쇄 목적들에 대해 허용가능할 수 있을 것이다. 그러나, 이미지가 약간 과도하게 노출되거나, 화이트 밸런스가 이용자에 의해 또는 카메라의 펌웨어에 의해 부적절하게 설정되면, 후-처리 동안 이미지를 정정하는 것이 어려워질 것이다. 주요 값이 255로 클리핑되면, 원래의 색을 복원하기 위해 이용된 정보가 손실되는 경향이 있을 수 있다.
카메라 RAW에 대해 폭넓게 채택된 표준이 없긴 하지만, 대부분의 이러한 포맷들은 노출 및 화이트 밸런스에 대한 적당한 조정들을 행하기 위해 각 화소에서의 충분한 정보를 포함한다. 원래의 센서 A/D 출력 값들을 리코딩함으로써, 이미지가 얻어졌을 때 거의 카메라가 행한 것만큼 아는 것이 가능하다. 특히, 각 센서가 포화되었을 때를 알리는 것이 가능하며, 이것은 캡처된 범위 내에서 노출 및 화이트 밸런스를 조정하는 가능성을 허용한다.
실제로, 카메라 RAW 파일들이 이용가능하면, 다음 두 가지 이유들로 인해 그 상황이 촉진된다: (1) 카메라 RAW는 "백색" 이외의 각 채널에서 적은 여분의 헤드룸을 갖고, (2) 카메라 RAW는 각 채널이 클리핑할 때 정확히 알려주며, 따라서, 출력 매핑에서 이 최대치를 넘어서지 않는 것을 주의하는 것이 가능하다. 따라서, 일반적으로, 사후 화이트 점 정정은 카메라 RAW에서 작동하는데, 이는 (1) 선형 센서 색 공간 및 범위가 공지되어 있고, (2) 클램핑에 의해 정보가 손실되지 않기 때문이다. 캡처시 이용가능한 임의의 렌더링된 화이트 점은 카메라 RAW 데이터로부터 이용가능하다.
실제로, 화이트 밸런스가 카메라 RAW에서 수행되면, 결과적인 이미지는 펌웨어에서 카메라에 의해 행해진 단계들이 반복될 때의―그러나, 독립형 소프트웨어에서 수행되는 것이 가능할 때의―원래의 이미지이다. 그러나, 얼마나 많은 하이라이트 정보가 복원될 수 있는지에 대한 한계들이 있다. 예를 들면, 일부 경우들에 있어서, 채널들 중 하나가 이 패치에서 최대 값에 도달했다면, RAW 변환기는 중간 결과를 확인하기 위해 다른 2개를 클리핑할 수 있다.
선형 값들이 되도록 하는 방법을 모르더라도, 잘못된 화이트 점에 대한 원색들을 클램핑하는 것은 사후 정정에 문제를 일으키는데, 이는 센서 데이터의 전체 범위가 타협되기 때문이다. 이러한 사후 처리는 색의 포화도를 저하시키고 다른 곳에서의 디테일을 손실하는 방식으로 새로운 하이라이트들을 색을 바래게 하거나 이미지 밝기를 증가시키도록 할 수 있다.
이 상황은 도 5에 도시되어 있다. 도 5는 이미지 데이터를 블랙-화이트 변화도로 캡처링할 때 가설의 디지털 카메라의 성능의 그래프를 도시한다. 도 5의 그래프에 따르면, 녹색 채널에서 캡처된 디지털 이미지는 제 1 백색 휘도 값에서(디지털 값(4095)에서) 포화되고, 적색 채널은 더 높은 백색 휘도 값에서 포화된다. 그러나, 청색 채널은 포화시키기 위해서 훨씬 더 높은 백색 휘도 값을 취한다. 다양한 색 채널들이 포화되는 이들 점들을 알고 있지 않으면, 적절한 화이트 밸런스를 위한 정정은 특히 곤란하다.
JPEG-HDR의 확장
JPEG-HDR은 고 동적 범위 이미지들의 저장을 가능하게 하기 위해서 JPEG 표준의 확장으로서 생성되었다. JPEG-HDR에 대한 기존의 포맷에 의하면, JPEG-HDR은 화이트 밸런스 정정에 영향을 미치는 사실상 2개의 채널들을 가지며―즉, 교정된 선형 색 공간을 복원하기 위해 이용될 수 있는 잔류 층 및 베이스 층(톤-매핑된) JPEG 이미지―따라서, 카메라 RAW의 많은 이점들을 제공한다. 실제로 부가적인 동적 범위는 시스템으로 하여금 베이스 층에서 렌더링된 것 이외의 색 값들을 정정할 수 있도록 한다. 그러나, 심지어 HDR에 대해서도 빈번한, 캡처된 범위가 장면 값들의 전체 범위를 커버하지 않는 경우에 어떤 부가적인 정보를 부가하는 것이 바람직할 수 있다.
하나의 실시예에 있어서, 시스템은 캡처된 HDR에 대한 상위 센서 범위를 RGB 색 채널들 각각에 저장할 수 있다. 이것은 2개 또는 3개의 화이트 밸런스 스케일링 인자들 및 공칭(예를 들면, 0 내지 1) 범위에서 유효 선형 센서 값들을 생성하는 매트릭스(예를 들면, 3×3)의 형태를 취할 수 있다. "유효 선형 센서 값들"은 HDR 캡처시 다중 노출들로부터 병합될 수 있는 단일 노출에서 캡처링할 수 있는 가상 센서의 전체 범위가 되는 것으로 이해될 수 있다. 이들 유효 선형 센서 값들은 이러한 가상 센서의 센서 색 공간 값들을 생성하기 위해 이용될 수 있다. "화이트 밸런스 스케일링 인자들"(또는 "화이트 밸런스 멀티플라이어들")은 원래의 화이트 밸런스 설정이 변환 중에 무엇이었는지에 대해 시스템에 통지하기 위해 이용될 수 있다―즉, 현재 출력을 얻기 위해 이용된다.
또 다른 실시예에 있어서, 하나 이상의 유효 센서 값들이 그들의 상한에 도달한 경우에―복원된 HDR 이미지의 하이라이트들이 보통의 최대치를 넘어서 비-백색 값들로 확장될 수 있도록 하기 위해 JPEG-HDR에 대한 변경이 이루어질 수 있다. 이들 화소들은 톤-매핑된 베이스 층에서 백색으로 렌더링될 수 있기 때문에, 본원에서 더 서술되는 것과 같은 새로운 CbCr 색 잔류 채널들이 이용될 수 있다.
애플리케이션이 JPEG-HDR 파일로부터 재결합된 HDR 이미지를 요청할 때, 화이트 클램핑이 수행될 수 있다. 이것은 HDR 이미지를 다시 "유효 선형 센서 값들"로 변환하고 (정정된) 화이트 밸런스 멀티플라이어들을 적용함으로써 달성될 수 있다. 하나의 실시예에 있어서, 이들 멀티플라이어들은 3개의 채널 멀티플라이어들 중 가장 작은 것이 정확히 1이 되도록 정규화될 수 있다. 이것은 임의의 센서*멀티플라이어 값들>1이 1로 클리핑되는 경우에 클램핑 단계 다음에 올 수 있다. 마지막으로, 각 화소에서의 수정된 유효 센서 값들은, 제공된 센서 매트릭스의 역을 이용하여 타겟 색 공간으로 다시 변형될 수 있다.
또 다른 실시예에 있어서, 최적화는 HDR 화소 값들이 클램핑에 접근하기에 충분히 큰지를 보기 위해 검사할 수 있다. 화소가 캡처된 전체 경계 내에 있다면, 클램핑은 필요하지 않고 2개의 색 변환들 및 백색 조정은 하나의 변형으로 결합될 수 있다. 이것은 원래의 화이트 밸런스가 변경될 수 없는 경우들에 있어서 단위 매트릭스가 될 것이다. 대부분의 화소들은 캡처된 색영역(gamut) 내에 있을 수 있기 때문에, 이것은 이 방법에 대한 연산 요건들을 감소시킬 수 있다. 톤-매핑된 베이스 층의 재-렌더링이 바람직하다면, 그에 따라서 생성된 정정된 및 클램핑된 HDR이 톤-매핑된 이미지를 재연산하기 위한 소스로서 이용될 수 있다.
상기 논의 중 일부를 예시하기 위해서, 도 6a는 이 방식으로 카메라 센서 색 공간으로부터 모니터 색 공간으로의 매핑 동작들 중 한 가지 가능한 세트를 도시한다. 카메라 센서 색 공간(602)은 이미지 데이터를 색 채널 멀티플라이어들(604)에 전송한다. 백색 점을 보장하기 위해서, 이들 값들이 타겟 모니터 상에서의 렌더링을 위해 색 변형 매트릭스(608)에 입력되기 전에 최소값으로의 클램프(606)가 이용될 수 있다. 도 6b는 매핑들의 가능한 세트의 상이한 실시예를 나타낸다. 알 수 있는 것과 같이, 캡처된 이미지가 HDR 포맷이라면, 606에서의 클램핑은 건너뛸 수 있고(610), 값들은 색 변형 매트릭스(608)로 직접 공급될 수 있다. 도 6a 및/또는 도 6b의 실시예들 중 어느 하나에 의하면, 변형 매트릭스(608)의 출력은 HDR 경로를 따라 도 1에서의 화이트 밸런스 오퍼레이터(105)로부터 나눗셈(118) 및 Yh 블록으로 출력될 수 있다.
하나의 실시예에 있어서, 카메라는 소위, 예를 들면, 텅스텐 화이트 밸런스 또는 일광 화이트 밸런스에 영향을 주기 위한 이미지가 캡처된 주변 조명 조건들에 대해 (가능하게는 이용자 입력에 의해 또는 이용자 입력 없이) 추측할 수 있을 것이다. 이것은 색 채널 멀티플라이어들의 적절한 설정들을 고려할 수 있다. 대안적으로, 카메라 설정들에 이러한 정보가 없다면, 이용자는 이 다음 기반으로 적절한 추측을 하거나 이미지의 중립(그레이 레퍼런스) 면을 선택하는 것으로 충분할 수 있다.
4. HDR 이미지 디코더
도 2는 본 발명의 일부 가능한 실시예들에 따른 예시적인 HDR 이미지 디코더를 도시한다. 일 예시적인 실시예에 있어서, HDR 이미지 디코더는 하나 이상의 컴퓨팅 디바이스들로 구현되고, 톤 매핑된 베이스 RGB 이미지 및 HDR 재구성 데이터를 포함하는 (도 2에서 HDR(202)로 표기된) HDR 이미지 데이터를 디코딩하기 위한 이미지 처리 기술들을 구현하는 소프트웨어 및/또는 하드웨어 구성요소들로 구성된다. 일 예시적인 실시예에 있어서, HDR 재구성 데이터는 휘도 비 값들, Cb 및 Cr 잔류 값들, 및 상기 데이터와 관련된 파라미터들과 보조 데이터를 말한다. 일 예시적인 실시예에 있어서, HDR 이미지 디코더에 의해 디코딩될 이미지 데이터는 이미지 포맷(예를 들면, JPEG-HDR)의 이미지 파일이다.
HDR 이미지 디코더는 HDR 이미지 데이터(202)(예를 들면, 휘도 비들 외에 Cb 및 Cr 잔류 값들을 저장하기 위한 강화된 포맷의 JPEG-HDR 이미지 파일)를 수신하고, HDR 이미지 데이터(202)를 (도 2에서 베이스 이미지(206)라고 표기된) 톤 매핑된 베이스 RGB 이미지 및 HDR 재구성 데이터를 저장하는 하나 이상의 애플리케이션 세그먼트들(APP SEG(208))로 파싱하도록 구성된 파서(예를 들면, 204)를 포함할 수 있다. 일 예시적인 실시예에 있어서, 파서(204)는 표준 JPEG 디코더이다.
일 예시적인 실시예에 있어서, HDR 이미지 디코더는 하나 이상의 애플리케이션 세그먼트들(APP SEG(208))을 휘도 비 이미지(비율 이미지(210)) 및 양자화된 Cb 및 Cr 잔류 값들(CbCr 잔류(212))로 파싱하도록 구성된 소프트웨어 및/또는 하드웨어 구성요소들을 포함한다. 휘도 비 이미지(비율 이미지(210))는 양자화된 대수 휘도 비들을 포함한다.
일 예시적인 실시예에 있어서, HDR 이미지 디코더는 양자화된 대수 휘도 비들을 대수 휘도 비들로 역양자화하도록 구성된 역양자화 처리 블록(역양자화(214))을 포함한다. HDR 이미지 디코더는 대수 휘도 비들을 비-대수 도메인의 휘도 비들로 변환하도록 구성된 역 대수 처리 블록(exp(216))을 포함한다.
일 예시적인 실시예에 있어서, HDR 이미지 디코더는 양자화된 Cb 및 Cr 잔류 값들을 Cb 및 Cr 잔류 값들로 역양자화하도록 구성된 역양자화 처리 블록(역양자화(218))을 포함한다. HDR 이미지 디코더는 Cb 및 Cr 잔류 값들을 선형 도메인의 RGB 잔류 값들로 변환하도록 구성된 색 공간 변환 처리 블록(CSC(220))을 포함한다.
일 예시적인 실시예에 있어서, HDR 이미지 디코더는, 톤 매핑된 베이스 이미지가 인코더에 의해 포화도 저하되면, 선택적으로 및/또는 부가적으로, 포화도 저하의 역 처리를 수행하도록 구성된 재-포화 블록(232)을 포함한다. 일 예시적인 실시예에 있어서, HDR 이미지 디코더는, 톤 매핑된 베이스 이미지(베이스 이미지(206))가 감마 인코딩되면, 선택적으로 및/또는 부가적으로, 톤 매핑된 베이스 RGB 이미지(베이스 이미지(206))에 대해 감마 디코딩을 수행하도록 구성된 감마 디코딩 처리 블록(감마 디코딩(224))을 포함한다. 예를 들면, 애플리케이션 세그먼트의 유형 I 세그먼트에서의 파라미터는 톤 매핑된 베이스 이미지가 감마 인코딩된 RGB 이미지(예를 들면, sRGB 이미지)인 것을 나타낼 수 있다.
감마 디코딩 처리 블록(감마 디코딩(224))의 출력은 Mul 처리 블록(226)에서 중간 HDR 이미지를 유도하기 위해 개별 화소 단위로 비율 이미지로부터의 휘도 비들과 곱해지는 반면, RGB 잔류 값들은 (226과 동일할 수 있는) Mul 처리 블록(222)에서 RGB 잔류 이미지를 유도하기 위해 개별 화소 단위로 비율 이미지로부터의 동일한 휘도 비들과 곱해진다. 도 1에서의 입력 HDR RGB 이미지의 복원된 버전일 수 있는 HDR RGB 이미지(RGB(230))를 유도하기 위해 합산 처리 블록(Add(228))에 의해 개별 화소 단위로 중간 HDR 이미지 및 RGB 잔류 이미지가 합산될 수 있다.
일 대안적인 실시예에 있어서, TM 베이스 이미지에서의 화소 값들 및 RGB 잔류 값들이 먼저 합산된다. 이어서, 합산들의 결과들이 HDR RGB 이미지를 유도하기 위해 휘도 비들과 곱해진다.
또 다른 실시예에 있어서, 사후 화이트 밸랜스 정정에 영향을 주기 위해 화이트 밸런스(232)가 수행될 수 있다. 도 7은 HDR 이미지 데이터의 처리 및 데이터의 적절한 화이트 밸런스로의 조정을 위한 한 가지 가능한 실시예를 도시한다. 702에서, 시스템은 임의의 이용가능한 센서 색 공간 데이터 및 화이트 밸런스 멀티플라이어들을 갖는 JPEG-HDR 이미지 데이터를 입력한다. 704에서, 시스템은 새로운 백색 점이 현재의 이미지에 대해 가정되는지의 여부를 (예를 들면, 이용자에게 또는 이미지 메타데이터에 삽입되었는지) 질의한다. 만일 그렇다면, 새로운 화이트 밸런스 멀티플라이어들이 연산된다. 그렇지 않으면, 이전 화이트 밸런스 멀티플라이어들이 이용되고, 이미지 데이터는 708에서 센서 색 공간으로 다시 변형된다. 각 색 채널에 대해서, 현재(이전의 또는 새로 계산된) 화이트 밸런스 멀티플라이어들이 이미지 데이터에 적용된다. 필요하다면, 이미지 값들은 712에서 채널 값들의 최대값 중에서 최소치(즉, minmax)로 클램핑된다. 714에서, 이미지 데이터는 모니터 색 공간으로 변형된다. 그 후에, 이미지 데이터는 복원된 HDR RGB 출력으로서 716에서 출력된다.
하나의 실시예에 있어서, 인코더에 있어서는 도 1 및 도 6a 및/또는 도 6b의 화이트 밸런스 동작 및 디코더에 있어서는 도 2 및 도 7의 화이트 밸런스 동작이 대응 동작들로서 구현될 수 있고, 여기서, 인코더의 화이트 밸런스 동작은 디코더의 적절한 화이트 밸런스 정정에 영향을 주도록 작동한다. 또한, 도 7의 처리는 본 섹션에서 서술된 특징들의 단지 일부를 통합하고 많은 다른 특징들 및/또는 개선들이 부가될 수 있다는 것이 인식되어야 한다.
5. 예시적인 처리 흐름
도 3a는 본 발명의 가능한 실시예에 따른 예시적인 처리 흐름을 도시한다. 일부 가능한 실시예들에 있어서, (예를 들면, 도 1에 도시되어 있는 것과 같이) HDR 이미지 인코더와 같은 하나 이상의 컴퓨팅 디바이스들 또는 구성요소들이 이 처리 흐름을 수행할 수 있다. HDR 이미지 인코더는 하나 이상의 새로운 처리 블록들을 JPEG 이미지 인코더와 같은 표준-기반 이미지 인코더에 부가하고/부가하거나 하나 이상의 기존 처리 블록들을 상기 표준-기반 이미지 인코더에서 수정함으로써 구현될 수 있다. 블록(302)에서, HDR 이미지 인코더는 고 동적 범위(HDR) 이미지를 수신한다. 일 예시적인 실시예에 있어서, HDR 이미지는 고정점 이미지 또는 부동 소수점 이미지 중 하나이다. 일 예시적인 실시예에 있어서, HDR 이미지는 JPEG, JPEG-2000, MPEG, AVI, TIFF, BMP, GIFF 또는 또 다른 이미지 포맷 중 하나로 인코딩된다.
블록(304)에서, HDR 이미지 인코더는 또한 HDR 이미지에 기초하여 생성된 톤-매핑된(TM) 이미지를 수신한다. TM 이미지는 휘도 비 이미지를 갖는 TM 이미지로부터 복원가능하지 않은 하나 이상의 색 변형들을 포함한다. 일 예시적인 실시예에 있어서, TM 이미지에서의 하나 이상의 색 변화들 중 적어도 하나는 (예를 들면, R, G 또는 B 화소 값들에서의) 클리핑들 또는 하나 이상의 화소들에서의 색조들의 변화들 중 하나에 의해 야기된다.
블록(306)에서, HDR 이미지 인코더는 개별 화소에 기초하여 TM 이미지의 휘도 값들을 갖는 HDR 이미지의 휘도 값들을 분할함으로써, 개별 화소 단위로, 휘도 비 값들을 연산한다.
블록(308)에서, HDR 이미지 인코더는 재-매핑된 이미지를 생성하기 위해 휘도 비 값들을 HDR 이미지에 적용한다.
일 예시적인 실시예에 있어서, HDR 이미지 인코더는 재-매핑된 이미지 및 TM 이미지 중 적어도 하나를 하나의 색 공간으로부터 상이한 색 공간으로 변환한다.
블록(310)에서, HDR 이미지 인코더는 재-매핑된 이미지 및 TM 이미지에 기초하여 색 공간의 색 채널들에서 잔류 값들을 결정한다. 원래의 색이 변경되면, 잔류 값들 중 적어도 하나는 비-제로이다. 일 예시적인 실시예에 있어서, 색 공간은 YCbCr 색 공간이고; 색 공간의 색 채널들은 Cb 색 채널 및 Cr 색 채널을 포함한다. 색 공간의 색 채널들에서의 잔류 값들은 색 채널들에서 재-매핑된 이미지로부터 유도된 제 1 화소 값들과 색 채널들에서 TM 이미지로부터 유도된 제 2 화소 값들 사이의 차이들로서 계산된다.
블록(312)에서, HDR 이미지 인코더는 HDR 재구성 데이터를 갖는 TM 이미지의 버전을 출력한다. HDR 재구성 데이터는 휘도 비 값들 및 색-채널 잔류 값들로부터 유도된다.
일 예시적인 실시예에 있어서, HDR 재구성 데이터는 휘도 비 값들로부터 유도된 양자화된 값들 및 색 공간의 색 채널들에서의 잔류 값들을 갖는 잔류 이미지를 포함한다. HDR 재구성 데이터는 또한 양자화된 값들의 범위들을 명시하는 파라미터들을 포함할 수 있다.
일 예시적인 실시예에 있어서, HDR 재구성 데이터는 이미지 파일에서 베이스 이미지로서 TM 이미지를 갖는 이미지 파일의 애플리케이션 세그먼트에 저장된다. 일 예시적인 실시예에 있어서, 이미지 파일은 JPEG-HDR 포맷이다.
일 예시적인 실시예에 있어서, HDR 이미지 인코더는 예를 들면, HDR 이미지가 톤 매핑 연산자(TMO) 또는 이용자에 의해 조작되기 전에, HDR 이미지에 대해 하나 이상의 건전성 검사들을 수행할 수 있다. 일 예시적인 실시예에 있어서, HDR 이미지 인코더는 TM 이미지에서의 0, 1 또는 그 이상의 색-채널 제로-값들을 임계값보다 작은 값들로 대체한다. 이 임계값은 다양한 가능한 실시예들에서 1, 2, 3, ..., 10, 11 등일 수 있다.
일 예시적인 실시예에 있어서, 임의의 TMO에 의한 임의의 톤 매핑 동작들 및/또는 TM 이미지에서 임의의 수의 화소들에 대한 임의의 색 변화들은 TM 이미지를 생성하는 처리에서 수행될 수 있다.
일 예시적인 실시예에 있어서, HDR 이미지 인코더는 HDR 이미지, TM 이미지 또는 재-매핑된 이미지 중 적어도 하나에 색 공간 변환을 적용한다.
일 예시적인 실시예에 있어서, TM 이미지와 재-매핑된 이미지 간의 휘도 잔류 값들은 모두 0이다. 예를 들면, 휘도 채널(예를 들면, Y) 및 2개의 색 채널들(예를 들면, Cb 및 Cr)을 갖는 색 공간(예를 들면, YUV)에서, (색 공간에서, 이미, 또는 대안적으로는 색 공간 변환 이후에) TM 이미지와 재-매핑된 이미지 간의 휘도 값들에서의 차이들은 모두 0일 수 있다.
도 3b는 본 발명의 가능한 실시예에 따른 일 예시적인 처리 흐름을 도시한다. 일부 가능한 실시예들에 있어서, (예를 들면, 도 2에 도시되어 있는 것과 같이) HDR 이미지 디코더와 같은 하나 이상의 컴퓨팅 디바이스들 또는 구성요소들이 이 처리 흐름을 수행할 수 있다. HDR 이미지 디코더는 JPEG 이미지 디코더와 같은 표준-기반 이미지 디코더에 하나 이상의 새로운 처리 블록들을 부가하고/부가하거나 상기 표준-기반 이미지 디코더에서 하나 이상의 기존 처리 블록들을 수정함으로써 구현될 수 있다. 블록(322)에서, HDR 이미지 디코더는 톤-매핑된(TM) 이미지 및 HDR 재구성 데이터를 포함하는 이미지 파일을 파싱한다. 일 예시적인 실시예에 있어서, TM 베이스 이미지는 임의의 톤 매핑 연산자에 의한 임의의 톤 매핑 동작들 및/또는 임의의 수의 화소들에 대한 임의의 색 변화들의 결과들을 포함한다. 일 예시적인 실시예에 있어서, HDR 재구성 데이터는 색 공간(YUV)의 색 채널들(예를 들면, Cb 및 Cr 채널들)에서의 양자화된 잔류 값들 및 양자화된 휘도 비 값들(예를 들면, Y 채널)을 포함한다. TM 베이스 이미지는 휘도 비 이미지를 갖는 TM 베이스 이미지로부터 복원가능하지 않은 하나 이상의 색 변화들을 포함한다. 일 예시적인 실시예에 있어서, 이미지 파일은 JPEG, JPEG-2000, MPEG, AVI, TIFF, BMP, GIFF 또는 또 다른 이미지 포맷 중 하나로 인코딩된다. 일 예시적인 실시예에 있어서, 이미지 파일은 표준 기반 이미지 디코더 예를 들면, JPEG 디코더에 의해 파싱된다.
블록(324)에서, HDR 이미지 디코더는 색 공간의 색 채널들에서의 양자화된 휘도 비 값들 및 양자화된 잔류 값들과 관련된 양자화 파라미터들을 추출한다.
블록(326)에서, HDR 이미지 디코더는, 양자화 파라미터들에 적어도 부분적으로 기초하여, 양자화된 휘도 비 값들 및 양자화된 잔류 값들을 색 공간의 색 채널들에서의 휘도 비 값들 및 잔류 값들로 변환한다. 일 예시적인 실시예에 있어서, 양자화된 휘도 비들 및 양자화된 잔류 값들은 잔류 이미지에 저장된다. 일 예시적인 실시예에 있어서, 잔류 이미지 및 TM 베이스 이미지는 공통 절차를 이용하여 역양자화 및 압축해제된다.
블록(328)에서, HDR 이미지 디코더는 TM 베이스 이미지 및 색 공간의 색 채널들에서의 휘도 비 값들과 잔류 값들을 이용하여 HDR 이미지를 재구성한다. HDR 이미지는 고정점 이미지 또는 부동 소수점 이미지 중 어느 하나일 수 있다.
일 예시적인 실시예에 있어서, HDR 이미지 디코더는, 예를 들면, TM 베이스 이미지, 잔류 이미지, HDR 이미지 또는 중간 이미지 중 적어도 하나에 대해, 색 공간 변환, 감마 인코딩, 감마 디코딩, 다운샘플링 또는 업생플링의 동작을 수행한다.
6. 구현 메커니즘들 - 하드웨어 개요
하나의 실시예에 따르면, 본원에서 서술되는 기술들은 하나 이상의 특수-목적 컴퓨팅 디바이스들에 의해 구현된다. 특수-목적 컴퓨팅 디바이스들은 기술들을 수행하기 위해 유선 연결될 수 있거나, 기술들을 수행하도록 영속적으로 프로그래밍되는 하나 이상의 주문형 반도체들(ASIC들) 또는 필드 프로그래밍가능한 게이트 어레이들(FPGA들)과 같은 디지털 전자 디바이스들을 포함할 수 있거나, 펌웨어, 메모리, 다른 저장장치 또는 조합에서의 프로그램 지시들에 따른 기술들을 수행하도록 프로그래밍된 하나 이상의 범용 하드웨어 처리기들을 포함할 수 있다. 이러한 특수-목적 컴퓨팅 디바이스들은 또한 주문형 유선-연결된 로직, ASIC들, 또는 FPGA들을 기술들을 달성하기 위한 주문형 프로그래밍과 조합할 수 있다. 특수-목적 컴퓨팅 디바이스들은 데스크탑 컴퓨터 시스템들, 휴대용 컴퓨터 시스템들, 핸드헬드 디바이스들, 네트워킹 디바이스들 또는 기술들을 구현하기 위해 유선-연결된 및/또는 프로그램 로직을 통합하는 임의의 다른 디바이스일 수 있다.
예를 들면, 도 4는 본 발명의 실시예가 구현될 수 있는 컴퓨터 시스템(400)을 도시하는 블록도이다. 컴퓨터 시스템(400)은 정보를 전달하기 위한 버스(402) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(402)와 결합된 하드웨어 처리기(404)를 포함한다. 하드웨어 처리기(404)는, 예를 들면, 범용 마이크로프로세서일 수 있다.
컴퓨터 시스템(400)은 또한 처리기(404)에 의해 실행될 정보 및 지시들을 저장하기 위해 버스(402)에 결합된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은 메인 메모리(406)를 포함한다. 메인 메모리(406)는 또한 처리기(404)에 의해 실행될 지시들의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하기 위해 이용될 수 있다. 이러한 지시들은, 처리기(404)에 액세스가능한 비-일시적 저장 매체에 저장될 때, 컴퓨터 시스템(400)이 지시들에서 명시된 동작들을 수행하도록 맞춤화되는 특수-목적 머신이 되도록 한다.
컴퓨터 시스템(400)은 또한 처리기(404)에 대한 정적 정보 및 지시들을 저장하기 위해 버스(402)에 결합된 판독 전용 메모리(ROM)(408) 또는 다른 정적 저장 디바이스를 포함한다. 자기 디스크 또는 광학 디스크와 같은 저장 디바이스(410)가 제공되고 정보 및 지시들을 저장하기 위해 버스(402)에 결합된다.
컴퓨터 시스템(400)은 컴퓨터 이용자에게 정보를 디스플레이하기 위해 액정 디스플레이와 같은, 디스플레이(412)에 버스(402)를 통해 결합될 수 있다. 문자 숫자 및 다른 키들을 포함하는 입력 디바이스(414)가 정보 및 지시 선택들을 처리기(404)에 전달하기 위해 버스(402)에 결합된다. 또 다른 유형의 이용자 입력 디바이스는 방향 정보 및 명령 선택들을 처리기(404)에 전달하고 디스플레이(412) 상에서의 커서 이동을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키들과 같은 커서 제어기(416)이다. 이 입력 디바이스는 일반적으로 디바이스가 평면에서의 위치들을 지정할 수 있도록 하는 2개의 축들, 즉, 제 1 축(예를 들면, x) 및 제 2 축(예를 들면, y)에서 2개의 자유도를 갖는다.
컴퓨터 시스템(400)은 컴퓨터 시스템과 조합하여 컴퓨터 시스템(400)으로 하여금 특수-목적 머신이 되도록 하거나 프로그래밍하는 맞춤화된 유선-연결된 로직, 하나 이상의 ASIC들이나 FPGA들, 펌웨어 및/또는 프로그램 로직을 이용하여 본원에서 서술된 기술들을 구현할 수 있다. 하나의 실시예에 따르면, 본원에서의 기술들은 메인 메모리(406)에 포함된 하나 이상의 지시들의 하나 이상의 시퀀스들을 실행하는 처리기(404)에 응답하여 컴퓨터 시스템(400)에 의해 수행된다. 이러한 지시들은 저장 디바이스(410)와 같은, 또 다른 저장 매체로부터 메인 메모리(406)로 판독될 수 있다. 메인 메모리(406)에 포함된 지시들의 시퀀스들의 실행은 처리기(404)로 하여금 본원에서 서술된 처리 단계들을 수행하도록 한다. 대안적인 실시예들에 있어서, 유선-연결된 회로는 소프트웨어 지시들 대신 또는 그와 함께 조합하여 이용될 수 있다.
본원에서 이용되는 것과 같은 용어 "저장 매체"는 머신으로 하여금 특정 방식으로 동작하도록 하는 데이터 및/또는 지시들을 저장하는 임의의 비-일시적 매체를 말한다. 이러한 저장 매체는 비-휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비-휘발성 매체는, 예를 들면, 저장 디바이스(410)와 같은, 광학 또는 자기 디스크들을 포함한다. 휘발성 매체는 메인 메모리(406)와 같은 동적 메모리를 포함한다. 공통적인 형태들의 저장 매체는 예를 들면, 플로피 디스크, 플렉시블 디스크, 하드디스크, 고체 상태 드라이브, 자기 테이프, 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광학 데이터 저장 매체, 홀들의 패턴들을 갖는 임의의 물리적 매체, RAM, PROM, 및 EPROM, 플래시-EPROM, NVRAM, 임의의 다른 메모리 칩 또는 카트리지를 포함한다.
저장 매체는 송신 매체와는 별개이지만 그와 함께 이용될 수 있다. 송신 매체는 저장 매체 간에 정보를 전달하는데 참여한다. 예를 들면, 송신 매체는 버스(402)를 포함한 배선들을 포함하는 동축 케이블들, 동선 및 광섬유를 포함한다. 송신 매체는 또한 전파 및 적외선 데이터 통신들 동안 생성되는 것과 같은, 음향 또는 광파들의 형태를 취할 수 있다.
실행을 위해 하나 이상의 지시들의 하나 이상의 시퀀스들을 처리기(404)에 전달하는데 다양한 형태들의 매체가 수반될 수 있다. 예를 들면, 지시들은 초기에 원격 컴퓨터의 자기 디스크 또는 고체 상태 드라이브 상으로 전달될 수 있다. 원격 컴퓨터는 지시들을 동적 메모리에 로드하고 지시들을 모뎀을 이용하여 전화선을 통해 전송할 수 있다. 컴퓨터 시스템(400)에 국부적인 모뎀은 전화선 상에서 데이터를 수신하고 데이터를 적외선 신호로 변환하기 위해 적외선 송신기를 이용할 수 있다. 적외선 검출기는 적외선 신호로 전달된 데이터를 수신할 수 있고 적절한 회로는 버스(402) 상에 데이터를 배치할 수 있다. 버스(402)는 데이터를 메인 메모리(406)에 전달하고, 처리기(404)는 그 메모리로부터 지시들을 검색 및 실행한다. 메인 메모리(406)에 의해 수신된 지시들은 선택적으로 처리기(404)에 의한 실행 이전 또는 이후에 저장 디바이스(410)에 저장될 수 있다.
컴퓨터 시스템(400)은 또한 버스(402)에 결합된 통신 인터페이스(418)를 포함한다. 통신 인터페이스(418)는 로컬 네트워크(422)에 접속되는 네트워크 링크(420)에 결합하는 양방향 데이터 통신을 제공한다. 예를 들면, 통신 인터페이스(418)는 종합 정보 통신망(ISDN) 카드, 케이블 모뎀, 위성 모뎀 또는 대응하는 유형의 전화선에 대한 데이터 통신 접속을 제공하기 위한 모뎀일 수 있다. 또 다른 예로서, 통신 인터페이스(418)는 호환가능한 LAN에 대한 데이터 통신 접속을 제공하기 위한 LAN일 수 있다. 또한, 무선 링크들이 구현될 수 있다. 임의의 이러한 구현에 있어서, 통신 인터페이스(418)는 다양한 유형들의 정보를 나타내는 디지털 데이터 스트림들을 전달하는 전기, 전자기 또는 광학 신호들을 전송 및 수신한다.
네트워크 링크(420)는 일반적으로 하나 이상의 네트워크들을 통해 다른 데이터 디바이스들에 데이터 통신을 제공한다. 예를 들면, 네트워크 링크(420)는 로컬 네트워크(422)를 통해 인터넷 서비스 제공자(ISP)(426)에 의해 조작된 데이터 장비에 또는 호스트 컴퓨터(424)에 접속을 제공할 수 있다. ISP(426)는 이제 공통적으로 "인터넷"(428)으로서 언급된 월드 와이드 패킷 데이터 통신 네트워크를 통해 차례로 데이터 통신 서비스들을 제공한다. 로컬 네트워크(422) 및 인터넷(428) 모두는 디지털 데이터 스트림들을 전달하는 전기, 전자기 또는 광학 신호들을 이용한다. 다양한 네트워크들을 통한 신호들 및 네트워크 링크(420) 상에서 및 통신 인터페이스(418)를 통해, 컴퓨터 시스템(400)으로 및 그로부터 디지털 데이터를 전달하는 신호들은 예시적인 형태들의 송신 매체이다.
컴퓨터 시스템(400)은 네트워크(들), 네트워크 링크(420) 및 통신 인터페이스(418)를 통해 메시지들을 전송하고 프로그램 코드를 포함하는 데이터를 수신할 수 있다. 인터넷 예에서, 서버(430)는 인터넷(428), ISP(426), 로컬 네트워크(422) 및 통신 인터페이스(418)를 통해 애플리케이션 프로그램에 대한 요청된 코드를 송신할 수 있다.
수신된 코드는 저장 디바이스(410), 또는 나중 실행을 위한 다른 비-휘발성 저장장치에 수신되고/수신되거나, 저장된 그대로 처리기(404)에 의해 실행될 수 있다.
7. 등가물들, 확장들, 대안들 및 기타
상기 명세에 있어서, 본 발명의 가능한 실시예들은 구현마다 변할 수 있는 많은 특정 세부사항들을 참조하여 서술되었다. 따라서, 무엇이 본 발명이고, 무엇이 출원인들에 의해 본 발명이 되도록 의도되는 것인지의 유일하고 독점적인 지표는 본원에서 제시되는 청구항들로서, 임의의 후속하는 정정을 포함하는 이러한 청구항들이 제시하는 특정 형태의 청구항들의 세트이다. 이러한 청구항들에 포함되는 용어들에 대한 본원에서 명확히 제시되는 임의의 규정들은 청구항들에서 이용되는 것과 같은 이러한 용어들의 의미를 좌우할 것이다. 따라서, 청구항에서 명확히 언급되지 않는 제한, 소자, 속성, 특징, 이점 및 특성은 어쨌든 이러한 청구항의 범위를 제한해서는 안 된다. 따라서, 명세서 및 도면들은 제한적이기보다는 예시적인 것으로 간주되어야 한다.
예시의 목적상, 일부 가능한 실시예들에 있어서, HDR 재구성 데이터가 양자화된 휘도 비들 및 양자화된 Cb 및 Cr 잔류 값들을 포함하는 것이 서술되었다. 일부 가능한 실시예들에 있어서, HDR 재구성 데이터는 예를 들면, 부동 소수점 또는 고정점 값들일 수 있는 비-양자화된 휘도 비들 및/또는 Cb 및 Cr 잔류 값들을 포함할 수 있다. 예를 들면, 이미지 파일에서의 하나 이상의 애플리케이션 세그먼트들은 이들 비-양자화된 값들을 저장할 수 있다. 본원에서의 기술들 하에서의 HDR 이미지 디코더는 이미지 파일을 파싱하고 비-양자화된 값들을 검색할 수 있다. 이들 비-양자화된 값들은 HDR 이미지를 재구성하기 위해 이미지 파일로부터 추출된 톤 매핑된 베이스 이미지와 조합하기 위해 이용될 수 있다.
예시의 목적상, 일부 가능한 실시예들에 있어서, 가능한 선처리는 다운샘플링을 포함할 수 있다는 것이 서술되었다. 일부 가능한 실시예들에 있어서, 본원에서의 선처리는 본원에서의 기술들에 의해 처리되는 HDR 이미지들의 이미지 디테일들 및/또는 색 정확도들을 유지하기 위한 목적을 위해 다운샘플링을 수행하지 않을 수 있다. 예를 들면, HUV 잔류 이미지의 이미지 코딩은 다운샘플링을 회피하는 모드를 갖는 JPEG 이미지 인코더에 의해 수행될 수 있다.
예시의 목적상, 일부 가능한 실시예들에 있어서, JPEG 이미지 파일 포맷 및/또는 JPEG 코덱은 HDR 이미지 인코더 및/또는 디코더에서 이용될 수 있다는 것이 기술되었다. 본 발명의 목적상, JPEG 코덱 이외의 이미지 코덱이 HDR 이미지 인코더 및/또는 디코더에 이용될 수 있다.
예시의 목적상, 일부 가능한 실시예들에 있어서, 입력 HDR 이미지 및 톤-매핑된 베이스 이미지는 RGB 이미지들이라는 것이 서술되었다. 본 발명의 목적상, 본원에서의 HDR 이미지 및 톤-매핑된 베이스 이미지를 저장하기 위해 다른 유형들의 이미지들이 이용될 수 있다. 예를 들면, YUV 색 공간에서의 입력 HDR 이미지가 RGB 색공간에서 대신 이용될 수 있다. HDR 이미지 인코딩 또는 디코딩 처리에서의 0, 1 또는 그 이상의 색 공간 변환들이 본원에서 서술된 것과 같은 기술들 하에서 구현될 수 있다.
예시의 목적상, 일부 가능한 실시예들에 있어서, YCbCr 색 공간에서의 HUV(또는 YUV) 파일이 휘도 비들 및 휘도 비들 이외의 잔류 값들을 저장하기 위해 이용될 수 있다는 것이 서술되었다. 본 발명의 목적상, 다른 유형들의 색 공간들 및 다른 유형들의 이미지 파일들이 휘도 비들 및 잔류 값들에 대한 동등한 정보를 저장하기 위해 이용될 수 있다. 예를 들면, 휘도 비들 및 잔류 값들은 YCbCr 색 공간 이외의 상이한 색 공간으로 변환될 수 있다. 유사하게, YUV 파일 이외의 이미지 파일이 휘도 비들 및 잔류 값들로부터 변환된 값들을 저장하기 위해 이용될 수 있다. 일부 가능한 실시예들에 있어서, 본원에서 서술되는 것과 같은 기술들 하에서 색 공간 변환 또는 화소 값 변환들을 수행하기 위해 역전가능한 변형들이 이용될 수 있다.
일부 가능한 실시예들에 있어서, 휘도 비 및 Cb 및 Cr 잔류 값들을 갖는 톤 매핑된 베이스 이미지를 포함하는 이미지 파일은 휘도 비는 갖고 있지만 Cb 및 Cr 잔류 값들은 갖고 있지 않은 톤 매핑된 베이스 이미지를 포함하는 또 다른 이미지 파일과 유사한 파일 크기를 갖는다. 특정 실시예에 있어서, Cb 및 Cr 잔류 값들을 갖는 이미지들은 Cb 및 Cr 잔류 값들을 갖고 있지 않은 대응 이미지들보다 평균하여 단지 10% 크다.
단지 예시들의 목적상, 톤 매핑된 이미지는 TMO에 의해 생성된다. 본 발명들의 목적상, 하나보다 많은 TMO들이 본원에서 서술되는 것과 같은 톤 매핑된 이미지를 생성하기 위해 함께 이용될 수 있다.
첨부된 도면들과 함께 판독된 본 발명의 원리들을 예시하는, 본 발명의 하나 이상의 실시예들의 상세한 설명이 지금까지 제공되었다. 본 발명은 이러한 실시예들과 함께 서술되었지만, 본 발명은 임의의 실시예로 제한되지 않는다는 것이 인식되어야 한다. 본 발명의 범위는 청구항들에 의해서만 제한되고, 본 발명은 다수의 대안들, 수정들 및 등가물들을 포괄한다. 다수의 특정 세부사항들은 본 발명의 전반적인 이해를 제공하기 위해서 본 설명에서 제시되었다. 이들 세부사항들은 예시의 목적으로 제공되고, 본 발명은 이들 특정 세부사항들 중 일부 또는 모두와 상관없이 청구항들에 따라 실시될 수 있다. 명확성을 위해서, 본 발명과 관련된 기술 분야들에서 공지되어 있는 기술적 내용은 본 발명이 불필요하게 불명확해지지 않도록 하기 위해 상세히 기술되지는 않았다.
102: 입력 HDR RGB 104: 음의 휘도 검사
105: 화이트 밸런스 110: 블랙 수정
112: 역 감마 116, 118: 분할
132: 감산 144: YCbCr 비율+잔류
148: RGB TM 베이스 150: 선택적 포화도 저하

Claims (15)

  1. 삭제
  2. 고 동적 범위(high dynamic range; HDR) 이미지에 액세스하도록 구성된 입력 인터페이스;
    프로세서로서:
    상기 HDR 이미지와 상기 HDR 이미지에 기초하여 생성된 생성된 톤-매핑된(TM) 이미지의 휘도 픽셀 값들에 기초하여 휘도 비 이미지(luminance ratio image)를 생성하고;
    상기 휘도 비 이미지와 상기 HDR 이미지에 기초하여 재-매핑된 HDR 이미지를 생성하고;
    상기 재-매핑된 이미지와 상기 TM 이미지에 기초하여 컬러 공간의 컬러 채널들 내 잔류 값(residual values)들을 생성하기 위한; 명령들(instructions)을 실행하도록 구성된, 상기 프로세서; 및
    HDR 재구성 데이터를 갖는 상기 TM 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 HDR 재구성 데이터는 상기 휘도 비 이미지 및 상기 잔류 값들로부터 유도되고;
    상기 프로세서는 상기 잔류 값들을 양자화하여 양자화된 잔류 값들을 생성하도록 더 구성된, 디바이스.
  3. 제 2 항에 있어서,
    상기 프로세서는:
    로그 비 이미지(log ratio image)를 생성하기 위해 상기 휘도 비 이미지의 하나 이상의 픽셀들의 로그들(logarithms)을 결정하고;
    양자화된 비 이미지를 생성하기 위해 상기 로그 비 이미지의 하나 이상의 픽셀 값들을 양자화하도록 더 구성된, 디바이스.
  4. 제 3 항에 있어서,
    상기 프로세서는:
    상기 양자화된 비 이미지와 상기 양자화된 잔류 값들을 단일 화상 컨테이너(single picture container)에 저장하도록 더 구성되고, 상기 양자화된 비 이미지는 상기 단일 화상 컨테이너의 휘도 값들을 포함하고, 상기 양자화된 잔류 값들은 상기 단일 화상 컨테이너의 색도 값들(chroma values)을 포함하는, 디바이스.
  5. 고 동적 범위(high dynamic range; HDR) 이미지에 액세스하도록 구성된 입력 인터페이스;
    프로세서로서:
    상기 HDR 이미지와 상기 HDR 이미지에 기초하여 생성된 생성된 톤-매핑된(TM) 이미지의 휘도 픽셀 값들에 기초하여 휘도 비 이미지(luminance ratio image)를 생성하고;
    상기 휘도 비 이미지와 상기 HDR 이미지에 기초하여 재-매핑된 HDR 이미지를 생성하고;
    상기 재-매핑된 이미지와 상기 TM 이미지에 기초하여 컬러 공간의 컬러 채널들 내 잔류 값(residual values)들을 생성하기 위한; 명령들(instructions)을 실행하도록 구성된, 상기 프로세서; 및
    HDR 재구성 데이터를 갖는 상기 TM 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 HDR 재구성 데이터는 상기 휘도 비 이미지 및 상기 잔류 값들로부터 유도되고;
    상기 프로세서는, 상기 HDR 이미지 내 대응하는 픽셀의 휘도 값을 상기 TM 이미지 내 대응하는 픽셀의 휘도 값으로 나눔으로써 상기 휘도 비 이미지의 픽셀을 생성하는, 디바이스.
  6. 고 동적 범위(high dynamic range; HDR) 이미지에 액세스하도록 구성된 입력 인터페이스;
    프로세서로서:
    상기 HDR 이미지와 상기 HDR 이미지에 기초하여 생성된 생성된 톤-매핑된(TM) 이미지의 휘도 픽셀 값들에 기초하여 휘도 비 이미지(luminance ratio image)를 생성하고;
    상기 휘도 비 이미지와 상기 HDR 이미지에 기초하여 재-매핑된 HDR 이미지를 생성하고;
    상기 재-매핑된 이미지와 상기 TM 이미지에 기초하여 컬러 공간의 컬러 채널들 내 잔류 값(residual values)들을 생성하기 위한; 명령들(instructions)을 실행하도록 구성된, 상기 프로세서; 및
    HDR 재구성 데이터를 갖는 상기 TM 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 HDR 재구성 데이터는 상기 휘도 비 이미지 및 상기 잔류 값들로부터 유도되고;
    상기 프로세서는 상기 TM 이미지를 압축하여 압축된 TM 이미지를 생성하도록 더 구성된, 디바이스.
  7. 제 6 항에 있어서,
    상기 TM 이미지는 JPEG 압축 알고리즘을 이용하여 압축되는, 디바이스.
  8. 고 동적 범위(high dynamic range; HDR) 이미지에 액세스하도록 구성된 입력 인터페이스;
    프로세서로서:
    상기 HDR 이미지와 상기 HDR 이미지에 기초하여 생성된 생성된 톤-매핑된(TM) 이미지의 휘도 픽셀 값들에 기초하여 휘도 비 이미지(luminance ratio image)를 생성하고;
    상기 휘도 비 이미지와 상기 HDR 이미지에 기초하여 재-매핑된 HDR 이미지를 생성하고;
    상기 재-매핑된 이미지와 상기 TM 이미지에 기초하여 컬러 공간의 컬러 채널들 내 잔류 값(residual values)들을 생성하기 위한; 명령들(instructions)을 실행하도록 구성된, 상기 프로세서;
    HDR 재구성 데이터를 갖는 상기 TM 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 HDR 재구성 데이터는 상기 휘도 비 이미지 및 상기 잔류 값들로부터 유도되고;
    상기 TM 이미지와 상기 HDR 재구성 데이터는 이미지 파일 내에 함께 저장되는, 디바이스.
  9. 제 8 항에 있어서,
    상기 이미지 파일은 JPEG 이미지 파일이고, 상기 JPEG 이미지 파일은 상기 TM 이미지에 기초한 JPEG 이미지와 상기 HDR 재구성 데이터에 기초한 애플리케이션 데이터(application data)를 포함하며, 상기 애플리케이션 데이터는 JPEG 애플리케이션 마커(JPEG application marker)에 의해 상기 JPEG 이미지와 분리되는, 디바이스.
  10. 고 동적 범위(high dynamic range; HDR) 이미지에 액세스하도록 구성된 입력 인터페이스;
    프로세서로서:
    상기 HDR 이미지와 상기 HDR 이미지에 기초하여 생성된 생성된 톤-매핑된(TM) 이미지의 휘도 픽셀 값들에 기초하여 휘도 비 이미지(luminance ratio image)를 생성하고;
    상기 휘도 비 이미지와 상기 HDR 이미지에 기초하여 재-매핑된 HDR 이미지를 생성하고;
    상기 재-매핑된 이미지와 상기 TM 이미지에 기초하여 컬러 공간의 컬러 채널들 내 잔류 값(residual values)들을 생성하기 위한; 명령들(instructions)을 실행하도록 구성된, 상기 프로세서; 및
    HDR 재구성 데이터를 갖는 상기 TM 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 HDR 재구성 데이터는 상기 휘도 비 이미지 및 상기 잔류 값들로부터 유도되고;
    상기 입력 인터페이스는 상기 톤-매핑된 이미지에 액세스하도록 더 구성된, 디바이스.
  11. 삭제
  12. 톤-매핑된(TM) 베이스 이미지와 고 동적 범위(HDR) 재구성 데이터를 포함하는 이미지 파일에 액세스하도록 구성된 입력 인터페이스로서, 상기 HDR 재구성 데이터는 컬러 공간의 컬러 채널들 내 잔류 값들과 휘도 비 이미지를 포함하는, 상기 입력 인터페이스;
    상기 톤-매핑된 베이스 이미지와 상기 휘도 비 이미지에 기초하여 제 1 HDR 이미지를 생성하도록 구성된 프로세서; 및
    출력 HDR 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 출력 HDR 이미지는 상기 프로세서에 의해 상기 제 1 HDR 이미지 및 상기 컬러 공간의 컬러 채널들 내 잔류 값들을 이용하여 재구성되고;
    상기 출력 HDR 이미지의 재구성은, 상기 컬러 채널들 내 상기 잔류 값들에 기초한 색도 픽셀 데이터를 상기 제 1 HDR 이미지에 기초한 색도 픽셀 값들에 더하는 것을 포함하는, 디코더.
  13. 톤-매핑된(TM) 베이스 이미지와 고 동적 범위(HDR) 재구성 데이터를 포함하는 이미지 파일에 액세스하도록 구성된 입력 인터페이스로서, 상기 HDR 재구성 데이터는 컬러 공간의 컬러 채널들 내 잔류 값들과 휘도 비 이미지를 포함하는, 상기 입력 인터페이스;
    상기 톤-매핑된 베이스 이미지와 상기 휘도 비 이미지에 기초하여 제 1 HDR 이미지를 생성하도록 구성된 프로세서; 및
    출력 HDR 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 출력 HDR 이미지는 상기 프로세서에 의해 상기 제 1 HDR 이미지 및 상기 컬러 공간의 컬러 채널들 내 잔류 값들을 이용하여 재구성되고;
    상기 프로세서는, JPEG 디코딩을 이용하여 상기 TM 베이스 이미지를 디코딩하는 것에 의해 디코딩된 TM 베이스라인 이미지를 생성하도록 더 구성된, 디코더.
  14. 톤-매핑된(TM) 베이스 이미지와 고 동적 범위(HDR) 재구성 데이터를 포함하는 이미지 파일에 액세스하도록 구성된 입력 인터페이스로서, 상기 HDR 재구성 데이터는 컬러 공간의 컬러 채널들 내 잔류 값들과 휘도 비 이미지를 포함하는, 상기 입력 인터페이스;
    상기 톤-매핑된 베이스 이미지와 상기 휘도 비 이미지에 기초하여 제 1 HDR 이미지를 생성하도록 구성된 프로세서; 및
    출력 HDR 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 출력 HDR 이미지는 상기 프로세서에 의해 상기 제 1 HDR 이미지 및 상기 컬러 공간의 컬러 채널들 내 잔류 값들을 이용하여 재구성되고;
    상기 프로세서는:
    역양자화된 비 이미지 및 역양자화된 잔류 값들을 생성하기 위해, 상기 비 이미지와 상기 잔류 값들을 역양자화(dequantize)하고;
    상기 역양자화된 비 이미지 내 픽셀 값들의 역 로그들(inverse logarithms)을 결정하도록; 더 구성된, 디코더.
  15. 톤-매핑된(TM) 베이스 이미지와 고 동적 범위(HDR) 재구성 데이터를 포함하는 이미지 파일에 액세스하도록 구성된 입력 인터페이스로서, 상기 HDR 재구성 데이터는 컬러 공간의 컬러 채널들 내 잔류 값들과 휘도 비 이미지를 포함하는, 상기 입력 인터페이스;
    상기 톤-매핑된 베이스 이미지와 상기 휘도 비 이미지에 기초하여 제 1 HDR 이미지를 생성하도록 구성된 프로세서; 및
    출력 HDR 이미지를 출력하도록 구성된 출력 인터페이스를 포함하며, 상기 출력 HDR 이미지는 상기 프로세서에 의해 상기 제 1 HDR 이미지 및 상기 컬러 공간의 컬러 채널들 내 잔류 값들을 이용하여 재구성되고;
    상기 프로세서로 상기 제 1 HDR 이미지를 생성하는 것은, 개별 픽셀 기초로, 상기 TM 이미지에 기초한 픽셀 값들을 상기 휘도 비 이미지 내 대응하는 픽셀 값들로 승산하는 것을 더 포함하는, 디코더.
KR1020147032975A 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현 KR101552479B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161476174P 2011-04-15 2011-04-15
US61/476,174 2011-04-15
US201161552868P 2011-10-28 2011-10-28
US61/552,868 2011-10-28
PCT/US2012/033795 WO2012142589A2 (en) 2011-04-15 2012-04-16 Encoding, decoding, and representing high dynamic range images

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137026854A Division KR101632596B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020157021358A Division KR101684334B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020157011738A Division KR101825347B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현

Publications (2)

Publication Number Publication Date
KR20140140655A KR20140140655A (ko) 2014-12-09
KR101552479B1 true KR101552479B1 (ko) 2015-09-11

Family

ID=47010032

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020187002766A KR101939135B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020137026854A KR101632596B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현
KR1020197000873A KR102029670B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020157011738A KR101825347B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020167015590A KR101695633B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현
KR1020157021358A KR101684334B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020157017409A KR101751226B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현
KR1020197028647A KR102128233B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020147032975A KR101552479B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현

Family Applications Before (8)

Application Number Title Priority Date Filing Date
KR1020187002766A KR101939135B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020137026854A KR101632596B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현
KR1020197000873A KR102029670B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020157011738A KR101825347B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020167015590A KR101695633B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현
KR1020157021358A KR101684334B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현
KR1020157017409A KR101751226B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현
KR1020197028647A KR102128233B1 (ko) 2011-04-15 2012-04-16 고 동적 범위 이미지들의 인코딩，디코딩，및 표현

Country Status (13)

Country Link
US (1) US8248486B1 (ko)
EP (3) EP3166298B1 (ko)
JP (5) JP5661218B2 (ko)
KR (9) KR101939135B1 (ko)
CN (2) CN103888743B (ko)
BR (1) BR112013026191B1 (ko)
CA (2) CA3000434C (ko)
ES (1) ES2686980T3 (ko)
HK (1) HK1188354A1 (ko)
IL (3) IL228761A (ko)
RU (2) RU2589857C2 (ko)
TW (5) TWI521973B (ko)
WO (1) WO2012142589A2 (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5383360B2 (ja) * 2009-07-15 2014-01-08 キヤノン株式会社 画像処理装置およびその制御方法
TWI521973B (zh) 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
KR101845231B1 (ko) * 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
TWI523500B (zh) * 2012-06-29 2016-02-21 私立淡江大學 影像的動態範圍壓縮方法與影像處理裝置
US9489706B2 (en) * 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
CN105787909B (zh) 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
US9699482B2 (en) 2013-02-21 2017-07-04 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
TWI711310B (zh) 2013-06-21 2020-11-21 日商新力股份有限公司 送訊裝置、高動態範圍影像資料送訊方法、收訊裝置、高動態範圍影像資料收訊方法及程式
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
JP6563915B2 (ja) 2013-07-16 2019-08-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒ画像のための汎用コードマッピングのためのｅｏｔｆ関数を生成するための方法及び装置、並びにこれらの画像を用いる方法及び処理
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
TWI646828B (zh) * 2013-09-03 2019-01-01 日商新力股份有限公司 解碼裝置及解碼方法、以及編碼裝置及編碼方法
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
US10440379B2 (en) * 2014-01-07 2019-10-08 Dolby Laboratories Licensing Corporation Techniques for encoding, decoding and representing high dynamic range images
CN103747225B (zh) * 2014-01-23 2015-11-18 福州大学 基于颜色空间转换的高动态范围图像双屏显示方法
US10271054B2 (en) 2014-02-25 2019-04-23 Apple, Inc. Display-side adaptive video processing
PT3324629T (pt) 2014-05-28 2019-10-08 Koninklijke Philips Nv Métodos e aparelhos para codificação de imagens hdr e métodos e aparelhos para utilização de tais imagens codificadas
US20150350641A1 (en) * 2014-05-29 2015-12-03 Apple Inc. Dynamic range adaptive video coding system
MX357792B (es) * 2014-06-10 2018-07-25 Panasonic Ip Man Co Ltd Sistema de visualizacion, metodo de visualizacion y aparato de visualizacion.
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
WO2015193117A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for decoding a hdr picture from a bitstream representing a ldr picture and an illumination picture
EP2958330A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for decoding a HDR picture from a bitstream representing a LDR picture and an illumination picture
WO2015193116A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for decoding a hdr picture from a bitstream representing a ldr picture and an illumination picture
CN105493490B (zh) * 2014-06-23 2019-11-29 松下知识产权经营株式会社 变换方法和变换装置
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
WO2016020189A1 (en) 2014-08-08 2016-02-11 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
JP6331882B2 (ja) * 2014-08-28 2018-05-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6194427B2 (ja) 2014-10-06 2017-09-06 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 量子化パラメータのコーディング及び導出
JP6617142B2 (ja) * 2014-10-07 2019-12-11 トレリス・ユーロプ・ソチエタ・ア・レスポンサビリタ・リミタータＴＲＥＬＬＩＳ ＥＵＲＯＰＥ ＳｒＬ 改善されたビデオおよび画像符号化プロセス
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
MX2017005983A (es) * 2014-11-10 2017-06-29 Koninklijke Philips Nv Metodo de codificacion, procesador de video, metodo de decodificacion, decodificador de video.
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9654755B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Dynamic range converter with logarithmic conversion and methods for use therewith
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
AU2016212243B2 (en) 2015-01-30 2020-11-26 Interdigital Vc Holdings, Inc. A method and apparatus of encoding and decoding a color picture
US10419762B2 (en) * 2015-03-02 2019-09-17 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
CN104835131B (zh) * 2015-04-20 2018-05-15 中国科学技术大学先进技术研究院 一种基于ic实现hdr图像生成及色调映射的方法和系统
WO2016189774A1 (ja) * 2015-05-26 2016-12-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法および表示装置
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
CN107925778B (zh) * 2015-06-05 2021-01-26 瑞典爱立信有限公司 像素预处理和编码
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
EP3119088A1 (en) * 2015-07-16 2017-01-18 Thomson Licensing Method and device for encoding an image, method and device for decoding an image
CN108027978B (zh) * 2015-09-18 2023-09-22 交互数字Vc控股公司 用于hdr编码/解码的颜色分量采样的同位置亮度采样的确定
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
US10080005B2 (en) * 2015-11-09 2018-09-18 Netflix, Inc. High dynamic range color conversion correction
EP3182691B1 (en) * 2015-12-17 2018-10-31 Thomson Licensing Method of encoding raw color coordinates provided by a camera representing colors of a scene having two different illuminations
US10148972B2 (en) * 2016-01-08 2018-12-04 Futurewei Technologies, Inc. JPEG image to compressed GPU texture transcoder
EP3427478B1 (en) * 2016-03-07 2023-08-23 Koninklijke Philips N.V. Encoding and decoding hdr videos
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
EP3453175B1 (en) * 2016-05-04 2022-03-02 InterDigital VC Holdings, Inc. Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
ITUA20163652A1 (it) * 2016-05-20 2017-11-20 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
CN107767838B (zh) 2016-08-16 2020-06-02 北京小米移动软件有限公司 色域映射方法及装置
GB2554669B (en) * 2016-09-30 2022-04-06 Apical Ltd Image processing
US10244244B2 (en) * 2016-10-26 2019-03-26 Dolby Laboratories Licensing Corporation Screen-adaptive decoding of high dynamic range video
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
GB2557997B (en) * 2016-12-21 2019-05-01 Apical Ltd Encoding and Decoding of image data
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
DK3559901T3 (da) * 2017-02-15 2020-08-31 Dolby Laboratories Licensing Corp Tonekurveafbildning for billeder med højt dynamikområde
EP3367658A1 (en) * 2017-02-24 2018-08-29 Thomson Licensing Method and device for reconstructing an hdr image
EP3373585A1 (en) 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
JP6866224B2 (ja) * 2017-05-09 2021-04-28 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法及びプログラム
KR102344334B1 (ko) 2017-06-27 2021-12-29 삼성전자주식회사 영상을 처리하기 위한 방법 및 디스플레이 장치
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
CN111386704B (zh) * 2017-11-24 2022-07-12 交互数字Vc控股公司 用于在hdr到sdr转换期间的颜色校正的方法和装置
MX2020006142A (es) * 2017-12-12 2020-08-13 Interdigital Vc Holdings Inc Procesamiento de una imagen.
TWI644264B (zh) * 2017-12-22 2018-12-11 晶睿通訊股份有限公司 影像辨識方法及其影像辨識裝置
CN110674622B (zh) * 2018-07-03 2022-12-20 百度在线网络技术（北京）有限公司 可视化图表生成方法、系统、存储介质及电子设备
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN109919841B (zh) * 2019-01-24 2022-12-27 重庆邮电大学 一种用于高动态范围图像联合上采样的导向图的合成方法
US11418811B2 (en) 2019-03-12 2022-08-16 Apple Inc. Method for encoding/decoding image signal, and device therefor
CN110232669A (zh) * 2019-06-19 2019-09-13 湖北工业大学 一种高动态范围图像的色调映射方法及系统
KR20210009255A (ko) 2019-07-16 2021-01-26 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
WO2021091820A1 (en) * 2019-11-05 2021-05-14 Google Llc Highlight recovery for image processing pipeline
CN114640834B (zh) * 2020-12-15 2024-03-19 华为技术有限公司 一种图像处理的方法以及相关装置
CN113271449B (zh) * 2021-07-21 2021-09-28 北京小鸟科技股份有限公司 多种hdr视频的转换系统、方法、设备
US20230169689A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated Suppression of clipping artifacts from color conversion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104035A1 (en) * 2004-04-23 2005-11-03 Brightside Technologies Inc. Encoding, decoding and representing high dynamic range images
US20100226547A1 (en) 2009-03-03 2010-09-09 Microsoft Corporation Multi-Modal Tone-Mapping of Images
JP2010213360A (ja) 2006-02-24 2010-09-24 Sharp Corp 画像データの符号化方法
KR101007101B1 (ko) 2009-01-07 2011-01-10 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4649568A (en) 1984-10-22 1987-03-10 Polaroid Corporation Reconstitution of images
JP2663189B2 (ja) 1990-01-29 1997-10-15 富士写真フイルム株式会社 画像のダイナミックレンジ圧縮処理方法
US5414527A (en) 1991-08-14 1995-05-09 Fuji Xerox Co., Ltd. Image encoding apparatus sensitive to tone variations
JP3222577B2 (ja) 1992-09-16 2001-10-29 古河電気工業株式会社 熱交換器用アルミニウム合金フィン材
US5742892A (en) 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US5621660A (en) 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US6285784B1 (en) 1998-09-28 2001-09-04 Eastman Kodak Company Method of applying manipulations to an extended color gamut digital image
US6282311B1 (en) 1998-09-28 2001-08-28 Eastman Kodak Company Using a residual image to represent an extended color gamut digital image
US6335983B1 (en) 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
US6282312B1 (en) 1998-09-28 2001-08-28 Eastman Kodak Company System using one or more residual image(s) to represent an extended color gamut digital image
US6282313B1 (en) 1998-09-28 2001-08-28 Eastman Kodak Company Using a set of residual images to represent an extended color gamut digital image
US6301393B1 (en) * 2000-01-21 2001-10-09 Eastman Kodak Company Using a residual image formed from a clipped limited color gamut digital image to represent an extended color gamut digital image
US6748106B1 (en) 2000-03-28 2004-06-08 Eastman Kodak Company Method for representing an extended color gamut digital image on a hard-copy output medium
US6738427B2 (en) 2000-09-15 2004-05-18 International Business Machines Corporation System and method of processing MPEG streams for timecode packet insertion
CA2427462C (en) 2000-11-30 2011-03-08 Canon Kabushiki Kaisha Image processing device, image processing method, storage medium, and program
US6606418B2 (en) 2001-01-16 2003-08-12 International Business Machines Corporation Enhanced compression of documents
JP3966117B2 (ja) 2001-09-06 2007-08-29 富士ゼロックス株式会社 画像処理装置、画像符号化装置および画像印刷装置ならびにそれらの方法
JP2004029639A (ja) 2002-06-28 2004-01-29 Canon Inc ビット数削減方法
US7260265B2 (en) * 2002-10-04 2007-08-21 International Business Machines Corporation Enhancing compression while transcoding JPEG images
RU2341906C2 (ru) * 2003-11-12 2008-12-20 Квэлкомм Инкорпорейтед Интерфейс высокоскоростной передачи данных с улучшенным управлением соединением
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
JP2006019847A (ja) * 2004-06-30 2006-01-19 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP2006157453A (ja) * 2004-11-29 2006-06-15 Sony Corp 画像処理装置、画像処理方法及び撮像装置
JP5249784B2 (ja) 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
EP1871113A1 (en) 2006-06-20 2007-12-26 THOMSON Licensing Method and apparatus for encoding video enhancement layer with multiresolution color scalability
US8761249B2 (en) 2006-07-17 2014-06-24 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
CN101513069B (zh) 2006-09-30 2011-04-13 汤姆逊许可公司 用于对视频色彩增强层编码和解码的方法和设备
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8237865B2 (en) 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
JP4544308B2 (ja) * 2008-01-11 2010-09-15 ソニー株式会社 画像処理装置、撮像装置、方法およびプログラム
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
JP2009224971A (ja) * 2008-03-14 2009-10-01 Omron Corp 画像処理装置
JP5395500B2 (ja) * 2008-07-22 2014-01-22 キヤノン株式会社 測定装置および画像形成装置
US8373718B2 (en) * 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
CN101626454B (zh) * 2009-04-10 2011-01-05 黄宝华 一种增强视频可视性的方法
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8766999B2 (en) * 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
CN102986214A (zh) 2010-07-06 2013-03-20 皇家飞利浦电子股份有限公司 从低动态范围图像生成高动态范围图像
TWI521973B (zh) 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104035A1 (en) * 2004-04-23 2005-11-03 Brightside Technologies Inc. Encoding, decoding and representing high dynamic range images
JP2010213360A (ja) 2006-02-24 2010-09-24 Sharp Corp 画像データの符号化方法
KR101007101B1 (ko) 2009-01-07 2011-01-10 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템
US20100226547A1 (en) 2009-03-03 2010-09-09 Microsoft Corporation Multi-Modal Tone-Mapping of Images

Also Published As

Publication number Publication date
JP2015084546A (ja) 2015-04-30
KR101632596B1 (ko) 2016-06-22
KR101751226B1 (ko) 2017-06-27
CA3000434C (en) 2020-12-15
JP6469631B2 (ja) 2019-02-13
KR102128233B1 (ko) 2020-06-30
US8248486B1 (en) 2012-08-21
EP3376749A1 (en) 2018-09-19
TW201720143A (zh) 2017-06-01
KR101825347B1 (ko) 2018-02-05
RU2589857C2 (ru) 2016-07-10
WO2012142589A3 (en) 2013-01-10
CN103888743B (zh) 2016-05-25
KR20160072274A (ko) 2016-06-22
IL228761A0 (en) 2013-12-31
JP5661218B2 (ja) 2015-01-28
BR112013026191A2 (pt) 2020-11-03
TWI690211B (zh) 2020-04-01
TWI580275B (zh) 2017-04-21
IL238138B (en) 2018-05-31
EP3166298A1 (en) 2017-05-10
KR20150098245A (ko) 2015-08-27
KR20150085100A (ko) 2015-07-22
BR112013026191B1 (pt) 2022-07-12
EP2697962A2 (en) 2014-02-19
TWI624182B (zh) 2018-05-11
IL228761A (en) 2016-08-31
KR101695633B1 (ko) 2017-01-13
KR20180014233A (ko) 2018-02-07
EP2697962A4 (en) 2014-11-19
EP3166298B1 (en) 2018-07-18
WO2012142589A2 (en) 2012-10-18
KR20140140655A (ko) 2014-12-09
KR101684334B1 (ko) 2016-12-08
TW201526658A (zh) 2015-07-01
KR101939135B1 (ko) 2019-01-17
JP2016129396A (ja) 2016-07-14
CA2830678C (en) 2018-05-22
TWI513327B (zh) 2015-12-11
KR20130141676A (ko) 2013-12-26
TWI521973B (zh) 2016-02-11
RU2640717C1 (ru) 2018-01-11
JP2014510988A (ja) 2014-05-01
CN103503429B (zh) 2014-11-19
JP5893708B2 (ja) 2016-03-23
KR20190009412A (ko) 2019-01-28
JP2017050028A (ja) 2017-03-09
IL259069B (en) 2019-03-31
KR20190114026A (ko) 2019-10-08
JP6058183B2 (ja) 2017-01-11
KR20150056874A (ko) 2015-05-27
RU2013150934A (ru) 2015-05-20
HK1188354A1 (en) 2014-04-25
CA3000434A1 (en) 2012-10-18
JP2015062291A (ja) 2015-04-02
CN103503429A (zh) 2014-01-08
CN103888743A (zh) 2014-06-25
JP5762615B2 (ja) 2015-08-12
EP3376749B1 (en) 2021-09-15
TW201304558A (zh) 2013-01-16
TW201624999A (zh) 2016-07-01
KR102029670B1 (ko) 2019-10-08
CA2830678A1 (en) 2012-10-18
TW201820861A (zh) 2018-06-01
EP2697962B1 (en) 2016-12-21
ES2686980T3 (es) 2018-10-23

Similar Documents

Publication Publication Date Title
KR101552479B1 (ko) 고 동적 범위 이미지들의 인코딩， 디코딩， 및 표현
US10992936B2 (en) Encoding, decoding, and representing high dynamic range images
US10264259B2 (en) Encoding, decoding, and representing high dynamic range images

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
A107 Divisional application of patent
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180824

Year of fee payment: 4