KR20170020288A - Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들 - Google Patents

Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들 Download PDF

Info

Publication number
KR20170020288A
KR20170020288A KR1020160103254A KR20160103254A KR20170020288A KR 20170020288 A KR20170020288 A KR 20170020288A KR 1020160103254 A KR1020160103254 A KR 1020160103254A KR 20160103254 A KR20160103254 A KR 20160103254A KR 20170020288 A KR20170020288 A KR 20170020288A
Authority
KR
South Korea
Prior art keywords
hdr
inverse tone
image
dynamic range
luminance
Prior art date
Application number
KR1020160103254A
Other languages
English (en)
Inventor
모즈데 세이피
에릭 라인하르트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170020288A publication Critical patent/KR20170020288A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N5/2355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법드, 장치들 및 시스템들을 제공하는 것을 제안한다. 그 방법은 높은 동적 범위 이미지의 휘도 성분을 획득하는 동작들을 포함할 수도 있다. 방법은 HDR 대 HDR 인버스 톤 맵퍼 연산자를 결정하는 것을 더 포함할 수도 있다. 방법은 높은 동적 범위 이미지의 휘도 성분에 HDR 대 HDR 인버스 톤 맵퍼를 적용함으로써 톤 확장된 이미지를 결정하는 것을 더 포함할 수도 있다. 방법은 HDR 대 HDR 인버스 톤 맵퍼 곡선이 어두운 및 중간 톤 레벨들에 대한 선형 부분, 및 하이라이트들에 대한 확장하는 비선형 부분을 포함하는 것을 더 포함할 수도 있다. 시스템 또는 장치는 그 방법의 동작들을 수행하도록 구성될 수도 있다.

Description

HDR 대 HDR 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들{METHODS, SYSTEMS AND APARATUS FOR HDR TO HDR INVERSE TONE MAPPING}
본 개시는 이미지 및 비디오 프로세싱에 관한 것이다. 특히, 본 개시는 높은 동적 범위 (High Dynamic Range: "HDR") 인버스 톤 맵핑 연산자를 이용하는 이미지 또는 비디오 데이터의 변환에 관한 것이다.
자연에서의 광은 별빛으로부터 밝은 태양광까지 거대한 범위의 휘도 레벨들을 커버한다. 그러나, 전통적인 촬상 기술들은, 디지털 및 아날로그 양자 모두, 그들이 인간의 눈에 가시적인 넓은 범위의 휘도 및 콘트라스트를 병렬처리할 수 없기 때문에 감소된 경험을 제공한다. 응답으로, HDR 기술들이 칼라, 휘도 및 콘트라스트의 확장된 범위의 디스플레이를 허용하기 위해 개발되고 있다. HDR 기술들은 더 넓은 동적 범위의 컨텐츠를 캡쳐, 프로세싱 및 디스플레이하는 것에 초점을 맞춘다. HDR 디스플레이들이 존재하더라도, 그리고 증가된 동적 범위를 캡쳐할 수 있는 카메라들이 개발되고 있더라도, 여전히 이용가능한 매우 제한된 HDR 컨텐츠가 존재한다.
HDR 디스플레이들에 대한 종래의 컨텐츠를 준비하기 위해, 리버스 또는 인버스 톤 맵핑 연산자들 (ITMO) 이 이미지의 원래의 장면의 모습을 복원하거나 재생성할 목적으로 이미지 내의 휘도 정보를 프로세싱하는 알고리즘들과 관련하여 채용될 수 있다. 통상적으로, ITMO 들은 입력으로서 종래의 이미지 (예를 들어, 표준 동적 범위 ("SDR") 이미지) 를 취하고, 비선형 방식으로 이미지의 휘도 범위를 확장하며, 하이라이트들 또는 밝은 영역들을 국부적으로 프로세싱하여 결과의 이미지의 HDR 모습을 향상시킨다.
기존의 ITMO 솔루션들은 원래의 장면의 모습을 개념적으로 재생하는 것에 초점을 맞추고 이미지의 컨텐츠에 대한 엄격한 가정들에 의존한다. 기존의 ITMO 솔루션들은 거의 비디오를 마음에 두고 생성되지 않고, 그들은 칼라 그레이딩 (grading) 콘텍스트 내에서 사용되기에 충분한 제어들을 제공하지 않는다.
기존의 IMTO 솔루션들은 그들이 매우 큰 양에 의해 휘도 값들의 범위를 증가시키기 때문에 문제가 있다. 실세계 및 입력 (보통 대략 100 니트) 에서 관찰되는 광 레벨들 사이의 차이는 매우 커서, 적절한 IMTO 들의 설계가 가시적 품질과 계산상의 복잡성 사이의 트레이드-오프들을 행하게 한다. 예를 들어, 기존의 IMTO 들은 매우 낮은 범위의 레거시 넌(non)-HDR 컨텐츠 (예를 들어, 100 니트 컨텐츠) 를 풀 (full) 휘도 채널 정보 (예를 들어, 최대 4000 니트 컨텐츠) 로 확대한다.
일부 경우들에서, 그러나, IMTO 는 (예를 들어, 상이한 HDR 디스플레이들 사이의 범위 확장에 대해) 그 범위를 상당히 더 작은 팩터에 의해, 예를 들어 최대 1500 니트로부터 4000 니트까지 확대하도록 요구된다. 이것은 디스플레이 디바이스들이 점점더 덜 균일한 동적 범위를 갖는 현재 관찰된 트렌드와 어울린다. 상이한 능력들을 갖는 매우 다양한 디스플레이들이 전개됨에 따라, 컨텐츠 제공자들은 각각의 상이한 디스플레이에 대해 별개의 그레이드들을 제공할 수 없을 것이다.
본 원리들의 양태는 예를 들어 칼라 그레이딩 워크플로우 (workflow) 의 콘텍스트에서 SDR (standard dynamic range) 비디오 컨텐츠를 HDR 컨텐트로 리마스터링 (re-mastering) 하는 것에 지향된다. 부드러운 동적 범위 확장을 달성하기 위해, 피크 (peak) 휘도가 수신된 컨텐츠의 피크 휘도보다 높더라도 높은 피크 휘도를 유지하는 것을 포함하는, 제공자의 의도를 정확하게 재생하는 솔루션에 대한 필요가 존재한다.
본 발명은 HDR 이미지의 인버스 톤 맵핑을 위한 방법들, 장치들 및 시스템들을 제공하는 것을 제안한다. 방법은 HDR 이미지의 휘도 컴포넌트를 획득하는 동작들을 포함할 수도 있다. 방법은 인버스 톤 맵퍼 곡선을 결정하는 것을 더 포함할 수도 있다. 방법은 HDR 이미지의 휘도 컴포넌트에 HDR 대 HDR 인버스 톤 맵퍼 곡선을 적용함으로써 톤 확장된 이미지를 결정하는 것을 더 포함할 수도 있다. 방법은 HDR 대 HDR 인버스 톤 맵퍼 곡선이 어두운 및 중간-톤 레벨들에 대한 선형 부분, 및 하이라이트들에 대한 확장하는 비선형 부분을 포함하는 것을 더 포함할 수도 있다. 시스템들 또는 장치들은 방법의 동작들을 수행하도록 구성될 수도 있다.
방법, 장치, 또는 시스템은 HDR 대 HDR 인버스 톤 맵퍼가 휘도가 선형으로 변경되는 때 및 휘도가 비선형으로 압축해제되는 때를 결정하기 위한 임계값을 포함하는 것을 포함할 수도 있다.
방법, 장치 또는 시스템은 컨텐츠에 기초하여 그 임계값을 결정하기 위한 동작들을 포함할 수도 있다.
방법, 장치 또는 시스템은 최종 임계값 τf 가 다음에 기초하여 결정되는 것을 포함할 수도 있다:
Figure pat00001
방법, 장치 또는 시스템은 HDR 대 HDR 인버스 톤 맵퍼 곡선의 연속성 및 평활도를 강화하기 위한 기준들을 포함할 수도 있다.
방법, 장치 또는 시스템은 HDR 이미지가 HDR 비디오의 부분인 것, 그리고, HDR 대 HDR 인버스 톤 맵퍼 곡선의 적용이 시간적 안정성을 달성하기 위해 이전의 비디오 프레임들로부터의 정보를 적용하는 것을 포함하는 것을 포함할 수도 있다.
방법, 장치 또는 시스템은 이전의 비디오 프레임들로부터의 정보가 임계값에 기초한 리키 인티그레이션 (leaky integration) 을 사용하여 적용되는 것을 포함할 수도 있다.
방법, 장치 또는 시스템은 HDR 대 HDR 인버스 톤 맵퍼 곡선을 나타내는 정보를 시그널링하는 것을 포함할 수도 있다. 그 시그널링은 화상 파라미터 세트 (PPS), 시퀀스 파라미터 세트 (SPS), 보충 강화 정보 (SEI) 메시지, 비디오 사용가능성 정보 (VUI), 가전 협회 (CEA) 메시지, 및 헤더 중 적어도 하나에 포함된 적어도 하나의 신택스 엘리먼트를 사용하여 수행될 수도 있다.
다른 예에서, 본 원리들은 HDR 이미지를 톤 맵핑하기 위한 방법들, 장치들 또는 시스템을 더 제공한다. 방법은 HDR 이미지의 휘도 컴포넌트를 획득하는 것; HDR 대 HDR 인버스 톤 맵퍼 곡선을 결정하는 것; HDR 대 HDR 인버스 톤 맵퍼 곡선을 높은 동적 범위 이미지의 휘도 컴포넌트에 적용함으로써 톤 압축해제된 이미지를 결정하는 것을 포함하며; 여기서 HDR 대 HDR 인버스 톤 맵퍼 곡선은 멀티-세그멘팅되고, 멀티-세그멘팅된 곡선은 적어도 선형이 아닌 세그먼트 및 적어도 선형인 세그먼트를 포함한다. 시스템 또는 장치는 방법의 동작들을 수행하도록 구성될 수도 있다.
방법, 장치 또는 시스템은 선형 세그먼트가 어두운, 중간-톤들, 및 하이라이트들의 그룹으로부터 선택된 적어도 하나로 지향되는 것, 그리고 비선형 세그먼트가 어두운, 중간-톤들, 및 하이라이트들의 그룹으로부터 선택된 적어도 하나로 지향되는 것을 포함할 수도 있다.
다른 예에서, 본 원리들은 톤 맵핑을 위한 방법, 장치 또는 시스템을 더 제공한다. 방법은 HDR 이미지의 휘도 컴포넌트를 획득하는 것; HDR 대 HDR 인버스 톤 맵퍼 곡선을 결정하는 것; HDR 대 HDR 인버스 톤 맵퍼 곡선을 HDR 이미지의 휘도 컴포넌트에 적용함으로써 톤 압축해제된 이미지를 결정하는 것을 포함하며; 여기서 HDR 대 HDR 인버스 톤 맵퍼 곡선의 파라미터들은 미리 정의된 조건들을 만족시키기 위해 임계값의 함수로서 선형으로 또는 비선형으로 변조된다.
본 발명의 특징들 및 이점들은 이하에 설명된 도면들과 함께 취해질 때 이하의 상세한 설명으로부터 명백할 수도 있다.
도 1 은 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용하는 예시적인 방법을 도시하는 다이어그램이다.
도 2 는 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용하는 예시적인 방법을 도시하는 다이어그램이다.
도 3 은 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼에 대한 파라미터들을 결정하기 위한 예시적인 방법을 도시하는 다이어그램이다.
도 4 는 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용하고 컨텐츠를 디코딩하기 위한 예시적인 방법을 도시하는 다이어그램이다.
도 5 는 본 원리들에 따른 예시적인 장치를 도시하는 다이어그램이다.
도 6 은 본 원리들에 따른 예시적인 플롯을 도시하는 다이어그램이다.
도 7 은 본 원리들에 따른 예시적인 플롯을 도시하는 다이어그램이다.
도 8 은 본 원리들에 따른 예시적인 플롯을 도시하는 다이어그램이다.
본 원리들은 HDR 대 HDR 인버스 톤 맵핑 및/또는 HDR 대 HDR 인버스 톤 맵퍼를 위한 방법들, 장치들 및 시스템들로 지향된다.
본 원리들의 양태는 필드 프로그래머블 게이트 어레이들 (FPGAs) 및 시스템 온 칩 (SoCs) 과 같은 하드웨어로 구현될 수도 있지만, 그것은 제한 없이 범용 프로세싱 유닛들 및 그래픽 프로세싱 유닛들과 같은 다른 타입들의 하드웨어로 구현될 수 있을 것이다. 더 높은 프레임 레이트들 뿐아니라 (UHD 또는 4K 컨텐츠와 같은) 더 높은 프레임 해상도들에 기인한 프로세싱에 대한 증가한 필요와 결합된 FPGAs 및 SoCs 의 최소 프로세싱 능력들은 그러한 디바이스들상에서 구현될 수 있는 프로세싱을 제한할 수도 있다. 본 원리들은 그러한 잠재적인 디바이스 제한들과 일관된 방식으로 인버스 톤 재생의 문제를 다룬다.
본 원리들의 양태는 인코딩/디코딩 스킴의 부분으로서 사용될 수도 있는 톤 재생 및 인버스 톤 재생에 지향된다. 예를 들어, HDR 비디오는 광전 전달 함수 (opto-electrical transfer function: OETF) 의 역할을 하는 톤 재생 연산자에 의해 프로세싱될 수도 있다. 결과의 비디오는 그 후 AVC 또는 HEVC 를 포함하지만 이들에 제한되지 않는 인코더로 전달될 수 있다. 인코딩된 비트스트림은 그 후 수신자로 송신될 수도 있고, 여기서 대응하는 디코더가 적용된다. 인버스 OETF (종종 전기광학 전달 함수 (EOTF) 로서 지칭됨) 가 그 후 디코딩된 컨텐츠에 적용되어, HDR 비디오의 재구성 (reconstruction) 을 야기할 수도 있다.
본 원리들의 양태는 컨텐츠가 목표 디스플레이로 변환되는 경우 HDR 컨텐츠의 동적 범위의 품질을 감소시키는 문제를 다룬다. 본 원리들의 양태는 컨텐츠를 목표 디스플레이 범위로 피팅하도록 요구된 확장에도 불구하고 HDR 느낌 (sensation) 을 재생하는 것에 관련된다.
본 원리들의 양태는 매우 높은 범위들의 정보에 대해서만 HDR 컨텐츠를 확장하면서 소스에서의 품질과 유사한 디스플레이된 HDR 컨텐츠의 품질을 유지하기 위한 방법들, 장치들 및 시스템들에 관련된다. 입력 컨텐츠가 출력 디스플레이들의 범위보다 더 낮은 동적 범위를 가질 수도 있더라도, HDR 컨텐츠를 보는 느낌이 여전히 존재할 수도 있다. 이것은 또한 연출자의 의도를 유지하는 것을 가능하게 할 수도 있다. 예를 들어, 4000 니트 참조 디스플레이상에서 그레이딩되고 1000 니트의 범위로 압축된 컨텐츠는 4000 또는 1500 니트 소비자 디스플레이들상의 디스플레이를 위해 고품질 재생을 가질 것이다.
본 원리들의 양태는 여러 애플리케이션들에서 이용될 수도 있는 HDR 대 HDR 인버스 톤 맵핑 연산자로 지향된다. 예를 들어, HDR 대 HDR 인버스 톤 맵핑 연산자는 리그레이딩 (re-grading) 프로세스를 돕기 위해 또는 더 높은 피크 휘도를 갖는 세컨더리 그레이드를 생성하기 위해, 포스트-프러덕션 (post-production) 스튜디오에서 이용될 수도 있다. 대안적으로, 소비자측에서, HDR 대 HDR 인버스 톤 맵핑 연산자는 HDR 소비자 디스플레이로 병합될 수 있거나 셋-톱 박스로 통합될 수 있을 것이다.
본 원리들의 양태는 어두운 및 중간-톤 레벨들을 선형으로 변경하거나 중간-톤 레벨들을 변경하지 않는 HDR 대 HDR 인버스 톤 맵퍼의 결정에 관련된다. 이것은 사진작가, 아티스트 또는 프로듀서의 의도를 보존할 수도 있다. HDR 대 HDR 인버스 톤 맵퍼는 휘도 채널에 적용될 수도 있고, 이차적으로 색채 정보를 정정할 수도 있다.
본 원리들의 양태는 휘도 채널에 대한 임계값 τ 을 결정하는 것에 관련된다. 임계값 τ 을 결정한 후, 휘도 채널에 대한 입력 값들은 그 입력 값들이 임계값 τ 보다 낮은 (또는 그것 이하인) 경우 선형으로 변경된다. 임계값보다 낮은 입력 값들은 스케일링 팩터 s 에 기초하여 선형으로 변경될 수도 있다. 스케일링 팩터 s 는 또한 s = 1 로 설정될 수도 있고, 이것에 의해 입력값들을 대응하는 휘도값 범위에 대해 변경되지 않게 유지한다. 본 원리들의 양태는 인버스 톤 맵퍼의 변동을 사용하여 매우 높은 휘도값들 (예를 들어, 임계값 τ 보다 크거나 임계값 τ 이상인 휘도값들) 을 확장하는 것에 관련된다. 본 원리들의 양태는 임계값 τ 주위에서 평활한 프로파일 천이를 갖는 연속적인 곡선에 의해 표현될 수 있는 HDR 대 HDR 인버스 톤 맵퍼로 지향된다.
본 원리들의 양태는 RBG 값들에 기초하여 휘도 채널 정보를 결정하는 예비적 칼라 변환에 관련된다. 본 원리들의 양태는 또한 인버스 톤 맵핑 곡선상에 조건들을 도입함으로써 인버스 톤 맵퍼에 대한 설계를 결정하는 것에 관련된다. 본 원리들의 양태는 컨텐츠 자체로부터 임계값 τ 을 결정하는 것에 관련된다.
예비적 칼라 변환
본 원리들의 양태는 컨텐츠 (예를 들어, 디코딩된 컨텐츠) 의 변환에 기초하여 각 화소에 대한 휘도 정보를 결정하는 것에 관련된다. 하나의 예에서, 컨텐츠는 표준 RGB 칼라 공간에 대해 포맷될 수도 있다. 하나의 예에서, 컨텐츠가 sRGB 칼라 공간에서 주어지는 경우, 화소 I 에 대한 휘도값의 계산은:
식 1:
Figure pat00002
에 의해 주어진다.
휘도값들은 다른 RGB 칼라 공간들로부터 유사한 방식으로 도출될 수 있지만, 식 1 에서의 상수들이 상이할 것이다. 식 1 의 상수들은 RGB 칼라 공간의 정의에 의존할 수도 있다. RGB 칼라 공간들의 예들은 ISO RGB, 확장된 ISO RGB, scRGB, Adobe RGB 98, Adobe Wide Gamut RGB, Apple RGB, ROMM RGB, ProPhoto RGB, CIE (1931) RGB 뿐아니라 표준들 ITU-R Rec. BT 709, ITU-R Rec. BT 2020, ITU-R Rec. BT 470, SMPTE RP 145, 및 SMPTE 170M 에서 정의된 RGB 공간들을 포함한다.
대안적으로, Yuv, Yu'v', YCbCr, YPbPr, Y'DbDr, Y'CC, CIE Yxy, CIE Lab, CIE Luv, CIE LCh, IPT, Y'I'Q', EBU Y'U'V' 와 같은 임의의 적절한 칼라 공간의 휘도 채널이 이용될 수도 있다. 이미지는 그러한 칼라 공간으로 변환될 수도 있다. 추가의 프로세싱이 그 후 변환된 이미지의 휘도 채널에 적용될 수도 있다. 추가의 칼라 공간 변환은 그 후 이미지를 (RGB 칼라 공간일 수도 있는) 목적지 칼라 공간으로 변환할 수도 있다.
인버스 톤 맵퍼 변동
본 원리들의 양태는 휘도값들이 고정된 임계값보다 크다는 (또는 그 임계값 이상이라는) 결정에 기초하여 휘도값들을 확장하는 HDR 대 HDR 인버스 톤 맵핑 알고리즘에 지향된다. 하나의 예에서, 그 임계값은 GUI 에서 슬라이더를 사용하여 결정될 수도 있다. 다른 예에서, 그 임계값은 메타데이터로서 (입력 컨텐츠와 함께) 제공될 수도 있다. 다른 예에서, 임계값은 자동적으로 추정될 수 있다.
하나의 예에서, C1 인버스 톤 맵핑 함수는 입력 휘도의 전체 범위에 대해 설계된다. 여기에서 사용되는 바와 같이, "C1" 함수는 도함수 도메인의 입력의 개방 구간의 어디에서나 정의되고 연속적인 그의 제 1 도함수를 갖는 함수로서 정의된다. 즉, 평활도 기준은 I = 0 및 I = Imax 에서 정의되지 않는다.
하나의 예에서, Imax 는 입력 컨텐츠의 최대 휘도값일 수도 있고,
Figure pat00003
는 출력 디스플레이에 의한 최대 생성가능한 휘도값일 수도 있다. 하나의 예에서, 이들 변수들에 대한 값들은 Imax = 1500 니트 및
Figure pat00004
= 4000 니트이다.
하나의 예에서, 인버스 톤 맵퍼 함수는
Figure pat00005
로서 표현될 수도 있다. 하나의 예에서, 인버스 톤 맵퍼 함수는 사진 (photographic) 연산자의 인버스 (inverse) 에 기초하여 결정된다
Figure pat00006
.
본 원리들의 양태는 팩터 s (자주 s=1) 만큼 임계값 τ 보다 낮게 (또는 이하로) 입력 값들을 선형으로 스케일링하는 HDR 대 HDR 인버스 톤 맵퍼
Figure pat00007
로 지향된다. HDR 대 HDR 인버스 톤 맵퍼는 또한 함수
Figure pat00008
의 변동에 따라 임계값 τ 보다 큰 (또는 이상인) 입력값들을 비선형으로 확장한다. 하나의 예에서, HDR 대 HDR 인버스 톤 맵퍼는:
식 2:
Figure pat00009
로서 정의될 수도 있다.
식 2 에서, b 의 값은 1 로 미리 설정될 수도 있다. 3 개의 파라미터들 a, c, d 는 C1 인버스 톤 맵퍼
Figure pat00010
를 획득하기 위해 다음의 3 개의 조건들을 만족시키도록 설정될 필요가 있다:
i. 최대 입력 Imax 는 최대 출력
Figure pat00011
에 맵핑해야하며, 따라서
식 3:
Figure pat00012
ii. I = τ 에서, 인버스 톤 맵퍼는 연속일 필요가 있으며, 따라서
식 4:
Figure pat00013
iii. 또한, I = τ 에서, 인버스 톤 맵퍼의 기울기는 연속일 필요가 있으며, 따라서,
식 5:
Figure pat00014
3 개의 미지수들 a, c, d 에 대해 식들 3-5 의 시스템을 푸는 것은 다음을 야기한다:
식 6:
Figure pat00015
식 7:
Figure pat00016
식 8:
Figure pat00017
하나의 예에서, 식 2 와 관련하여 상술된 방법론은 실시간 인버스 톤 맵핑에 대한 샘플링된 입력값들 및 출력값들을 갖는 룩업 테이블을 통해 구현될 수도 있다.
도 6 은 I 대
Figure pat00018
의 플롯을 도시한다. 도 6 의 플롯 곡선은 τ = 1200, s = 1, Imax = 1500,
Figure pat00019
= 4000 에 대해 결정된다. 임계값 τ 은 도 6 에서 라인 (601) 에 의해 마크된다. 플롯은 그 거동이 어두운 및 중간-톤 레벨들에서는 선형이고 하이라이트들에서는 비선형인 것을 도시하는 인버스 톤 맵퍼 함수
Figure pat00020
의 전체 거동을 도시한다. 그 곡선이 실제로 C1 함수라는 것이 쉽게 확인될 수 있다. 비선형 부분에서 확장하는 인버스 톤 맵퍼에 대해, 그 곡선의 제 1 및 제 2 도함수들은 항상 포지티브이어야 하며, 이는 파라미터들이 항상 다음의 조건들을 만족하는 것을 의미한다: ad-c > 0 및 (1-τ) + d < 0.
도 7 은 log(I) 대
Figure pat00021
에 대한 플롯을 도시한다. 임계값 τ 은 도 7 에서 라인 (701) 에 의해 마크된다. 이러한 곡선은 대수 공간에서 인버스 톤 맵퍼를 도시한다.
도 6 및 도 7 에 도시된 플롯들은 인버스 톤 맵퍼의 거동, 즉 어두운 및 중간-톤 레벨들에서 선형, 및 하이라이트들에서 확장하는 비선형을 도시한다.
낮은 휘도값들의 처리
식들 2 내지 8 의 방법은 이미지의 어두운 부분들 및 중간-톤들에 대한 선형 세그먼트를 갖는 인버스 톤 맵핑 접근법을 기술한다. 이미지의 가장 밝은 부분들 (예를 들어 하이라이트들) 은 비선형 함수로 확장된다. 크로스오버 포인트는 그 함수의 선형 부분을 통해 통과되는 입력에서의 최대값, 및 그 함수의 비선형 부분을 통해 통과되는 입력의 최소값을 결정한다.
본 원리들의 양태는 이미지의 나머지로부터 이미지의 가장 어두운 부분 (블랙들) 분리하는 제 2 크로스오버 포인트 (또는 임계값) 로 지향된다. 블랙들은 예를 들어 목표 디스플레이 디바이스의 블랙 레벨이 컨텐츠의 블랙 레벨 또는 컨텐츠를 생성하기 위해 사용되었던 그레이딩 모니터의 블랙 레벨보다 높거나 낮은 경우 비선형 방식으로 프로세싱될 수 있다.
인버스 톤 맵핑 곡선 파라미터들의 처리
본 원리들의 양태는 크로스오버 포인트 또는 임계값에 기초하여 HDR 대 HDR 인버스 톤 맵퍼를 나타내는 곡선의 프로세싱에 지향된다. 하나의 예에서, 그 곡선은 크로스오버 포인트에 기초하여 변조될 수도 있다. 그 변조는 선형이거나 비선형일 수 있다. 하나의 예에서, 변조는 정의된 값들로의 식 2 의 파라미터들의 수렴을 야기할 수도 있다. 하나의 예에서, 크로스오버 포인트가 0 으로 수렴할 때, 파라미터들 a 및 d 의 값들은 -1 로 수렴할 수도 있고, 파라미터 c 의 값은 0 으로 수렴할 수도 있다. 크로스오버 포인트가 0 으로 수렴할 때,
Figure pat00022
는
Figure pat00023
으로 수렴한다.
임계값 τ 을 설정하기
이미지 컨텐츠
본 원리들의 양태는 입력 HDR 컨텐츠가 프로세싱되어 출력
Figure pat00024
을 야기하는 입력 Ii 에 대한 최대값을, 임계값 τ 에 기초하여 결정하는 것에 지향된다. 하나의 예에서, 임계값 τ 의 값은 매우 높은 입력 휘도 값들을 과도-확장하는 것 (over-expanding) 을 방지하기 위해, 컨텐츠의 화소들의 (100 - n)% 보다 더 많이 커버하기에 충분히 크고 (하나의 예에서 n = 2), Imax 의 100η% 보다 작다 (하나의 예에서 피크 입력 휘도의 η = 0.8). 하나의 예에서, 대부분의 자연 장면들에 대해, 매우 높은 휘도 값들은 화소들의 성긴 (sparse) 세트에 기여한다 (HDR 장면 히스토그램들은 높게 나타나는 분포를 보여주는 경향이 있다). 그러한 컨텐츠에 대해, 화소들의 n% 미만 (하나의 예에서 n = 2) 이 다음의 임계값 결정에 기초하여 Imax 의 범위로부터 확장된다:
식 9:
Figure pat00025
예로써 η = 0.8.
예를 들어, Imax = 1500 니트인 경우, 임계값 τ 은 1200 으로 초기화될 수 있다. η 및 n 의 이러한 선택은 주관적으로 유쾌한 출력 이미지들을 야기하는 것으로 실험적으로 나타났다.
하나의 예에서, 컨텐츠-의존성 임계값 τ 은 최소 휘도값에 기초하여 결정된다. 최소 휘도값은 화소들의 n% 미만이 더 높은 휘도값들을 갖는다는 결정에 기초한다. 즉, 목표는 총 화소 개수들의 n% 미만을 히스토그램상의 그의 우측상에 놓이게 하는 최소 휘도값을 발견하는 것이다.
하나의 예에서, (확장될 예정인 화소들의 퍼센티지에 대응하는) 임계값 n 은 2% 로 설정된다. 임계값 n 은 변경되고 있는 화소들의 수를 결정한다. 그러나, 다른 예들에서, 임계값 n 에 대한 값은 임의의 다른 값으로 설정될 수도 있다. 하나의 예에서, 임계값 n 에 대한 값은 컨텐츠 또는 애플리케이션 (예를 들어, 디스플레이 디바이스 또는 컨텐츠 캡쳐링 디바이스) 의 타입에 의존할 수도 있다.
하나의 예에서, 컨텐츠 의존성 임계값 τ (즉, 인버스 톤 맵핑 곡선에서의 니포인트 (knee point)) 은 컨텐츠의 누적 히스토그램에 기초하여 결정될 수도 있다. 입력 휘도 I 의 주파수는 hI 로 표시될 수도 있다. hI 의 값은 임의의 수의 빈들을 갖는 입력 휘도 이미지의 히스토그램을 계산함으로써 결정될 수 있다. 값 I 에 대한 누적 히스토그램은 cI 로 표시되고 다음을 통해 발견될 수 있다:
식 10:
Figure pat00026
하나의 예에서, 최종 임계값은 만일:
식 11:
Figure pat00027
인 경우, 초기값 τf = τ 와 동일하게 설정될 수도 있다.
식 11 에서의 조건은 τ 와 Imax 사이에 있는 화소들의 n% 미만이 존재하는 경우 만족된다. 이것은 단지 화소들의 (100 - n)% 보다 더 많은 것을 선형으로 변경하는 것을 허용한다. 식 11 에서의 조건이 만족되지 않는 경우, 브레이킹 포인트 (즉, 톤 맵핑 곡선에서의 니포인트) 는 입력이 확장되는 범위를 증가시키 위해 푸시 백 (push back) 된다.
하나의 예에서, ρ의 값은 다음과 같이 표시된다:
식 12:
Figure pat00028
식 12 에 기초하여, 임계값 τ 의 값은 (선형으로 감소하는 τf 로 이루어지는) 다음과 같이 결정될 수도 있다:
식 13:
Figure pat00029
식 13 에서, 파라미터 α 는 아티팩트들을 도입하지 않고 인버스 톤 맵퍼
Figure pat00030
에 의해 동적 범위의 작은 부분만으로 확장될 수 있는 화소들의 최대 퍼센티지를 나타낸다. 그러한 곡선의 하나의 예가 도 8 에 도시되며, 이 경우 α = 12.5 이다.
결과적으로, α 의 임의의 선택에 대해, ρ > α 에 대한 최종 임계값 τf 에 대한 값은 0 으로 설정된다 (이러한 결정은 이미지 레벨, 블록 레벨 등에서 수행될 수도 있다). 최종 임계값 τf 에 대한 값은 0 보다 큰 임의의 임계값이 선택되는 경우 화소들의 α% 보다 더 많은 것이 터치되기 때문에 이익이된다. 다른 예에서, 임계값 τ 은
Figure pat00031
및
Figure pat00032
에 대한 값들의 결정에 기초하여 결정될 수도 있다. 하나의 예에서,
Figure pat00033
는 이미지에서의 화소들의 수로 설정된다. 하나의 예에서,
Figure pat00034
는 임계값 τ 보다 더 높은 세기들을 갖는 화소들의 수를 나타낸다.
Figure pat00035
(및 결과적으로 ρ) 의 고속 추정은 임계값 τ 보다 더 높은 화소 세기들을 수를 카운트함으로써 획득된다. 최종 임계값 τf 는 그 후 식 13 에 기초하여 결정될 수도 있다.
상기의 예들에서, 최종 임계값 τf 는 이미지 컨텐츠에 의존하고 초기 임계값 τ 보다 작다. 하나의 예에서, 디코더에서 이용될 때, 최종 임계값 τf 은
Figure pat00036
의 범위로의 너무 많은 화소들의 확장을 방지하고 (그 범위는 컨텐츠 제공자 의도보다 더 높다), 향상된 시각적 경험을 (특히 원래의 데이터와 비교할 때) 야기한다.
비디오 컨텐츠에 대한 임계값 τ 의 리키 인티그레이션
비디오 컨텐츠의 경우, 연속적인 비디오 프레임들에 대한 임계값들은 상이한 값들을 가질 수 있다. 이것은 연속적인 비디오 프레임들의 세기에서의 바람직하지 않은 현저한 변동들 ("플리커 (flicker)") 을 야기할 수도 있다.
본 원리들의 양태는 여러 비디오 프레임들에 대한 최종 임계값 τf 값들의 정정에 의해 플리커의 문제를 다룬다.
하나의 예에서, 비디오 프레임 t 에 대한 파라미터
Figure pat00037
를 획득하기 위해 리키 인티그레이션이 적용될 수 있다. 파라미터
Figure pat00038
는 (예를 들어, 식 13 에 기초하여 결정된) 임계값
Figure pat00039
, 및 이전의 비디오 프레임에 대한 추정된 리키 파라미터, 즉
Figure pat00040
에 기초하여 결정될 수도 있다. 그러한 결정의 하나의 예는 다음과 같다:
식 14:
Figure pat00041
식 14 의 반복적 특성은 모든 비디오 프레임에 대해 이전의 결정들이 고려된다는 것을 암시한다. 사용자 파라미터 β ∈ [0 1] 은 비디오 프레임들 사이에서
Figure pat00042
의 평활도를 제어한다. 하나의 예에서, 이러한 임계값은 디코더에 의해 인코딩된 컨텐츠와 함께 수신된다.
선형 스케일링 팩터 s 의 설정
본 원리들의 양태는 이미지의 어두운 및 중간 톤들에서의 톤 맵 휘도 값들을 인버스 (inverse) 하기 위해, 즉 위에서 정의된 바와 같은 임계값보다 열등한 톤 맵 휘도 값들을 인버스하기 위해 사용되는 스케일링 팩터 s 를 컨텐츠에 따라 결정하는 것에 지향된다.
바람직하게는, 이러한 선형 스케일링 팩터 s 는 중간 톤들에 대응하는 히스토그램의 중간 섹션의 균일성을 측정하는 히스토그램 파라미터 σ 및/또는 동적 범위 확장 비
Figure pat00043
에 기초한다.
사실상, 인버스 톤 맵핑 연산자에 의해 획득된 결과들의 시각적 품질, σ에 의해 파라미터화된 입력 이미지들의 히스토그램의 형상, 및 동적 범위 감소 비
Figure pat00044
사이에 상관이 존재한다는 것이 발견되었다.
하나의 실시형태에서, 우리는:
Figure pat00045
을 가지며, 여기서
Figure pat00046
= 0.5,
Figure pat00047
= 0.85 이며, σ 는 중간 톤들에 대응하는 히스토그램의 중간 섹션의 균일성을 측정한다. σ 는 바람직하게는
Figure pat00048
로서 정의되며, 여기서 μ 는 중간 톤들에 대한 히스토그램 값들을 변경되지 않은 채로 두고 어두운 톤들 및 하이라이트들에 대한 히스토그램 값들을 동적으로 감소시키는 가중 함수에 의해 가중된 히스토그램의 평균이다.
다른 실시형태에서, 우리는:
Figure pat00049
을 가지며, 여기서
Figure pat00050
이고,
Figure pat00051
이다.
위의 식들에서 나타난 상수들의 값들은 예시의 목적을 위한 것이고, 컨텐츠의 타입에 의존하여 결정될 수도 있다.
칼라 재구성
본 원리들의 양태는 식 1 에 따라 RGB 화소 값들로부터 휘도 값들을 도출하는 것에 지향된다. 인버스 톤 맵핑된 칼라 이미지를 재구성하기 위해, 단순한 화소 기반 (pixel-wise) 접근법이 이용될 수도 있다. 화소 기반 접근법은 다음과 같이 휘도 채널에서의 스케일 변경에 따라 RGB 값들을 스케일링한다:
식 15a:
Figure pat00052
식 15b:
Figure pat00053
식 15c:
Figure pat00054
칼라 이미지의 재구성은 또한 다음과 같이 포화의 양을 제어하는 파라미터 se 에 의해 파라미터화될 수도 있다:
식 16a:
Figure pat00055
식 16b:
Figure pat00056
식 16c:
Figure pat00057
메타 -데이터
본 원리들의 양태는 셋-톱 박스, 텔레비젼, 모니터, 랩톱, 전화, 태블릿, 스마트폰 디스플레이 등과 같은 가전 디바이스에 통합되는 HDR 대 HDR 인버스 톤 맵퍼 또는 맵핑 연산자로 지향된다. HDR 대 HDR 인버스 톤 맵핑 프로세스 또는 정보는 디바이스의 출력의 시각적 모습을 결정하기 위해 디바이스로 메타-데이터로서 공급될 수도 있다. HDR 대 HDR 인버스 톤 맵핑 정보는 다음과 같이 제공될 수도 있다:
Figure pat00058
타겟 디스플레이의 피크 휘도
Figure pat00059
는 소비자 디바이스 (예를 들어, 텔레비젼/모니터) 로 제공될 수도 있다. 디바이스가 셋-톱 박스인 경우, 피크 휘도 값은 예를 들어 HDMI 메시지를 통해 연결된 디스플레이 디바이스에 의해 시그널링될 수도 있다 (식 3, 6, 7, 8, 13 참조).
Figure pat00060
컨텐츠의 피크 휘도 Imax 는 메타-데이터로서 제공될 수도 있다. 피크 휘도 값은 비디오 프레임 마다, 쇼트 마다, 또는 프로그램 마다 (예를 들어, 텔레비젼 에피소드, 영화, 광고) 단일의 값으로서 제공될 수도 있다. 다른 예에서, Imax 의 값은 (예를 들어, 포스트-프러덕션 하우스에서) 이용된 디스플레이 디바이스의 피크 휘도, 또는 브로드캐스트 시나리오에서 사용된 라이브 (live) 카메라의 피크 휘도로서 해석될 수도 있다 (식 3, 6, 7, 8, 13 참조). 다른 예에서, Imax 는 엔드 유저에게 브로드캐스트되는 압축된 HDR 컨텐츠의 피크 휘도이다.
Figure pat00061
임계값 τ 을 계산하기 위해 사용되는 파라미터 η 는 또한 메타-데이터로서 제공될 수도 있다. 하나의 예에서, 인버스 톤 맵핑 곡선의 선형 및 비선형 부분들 사이의 크로스오버를 결정하는 임계값 τ 가 대신 전송될 수도 있다 (식 9 참조). 크로스오버 포인트는 또한 임계값으로서 알려질 수도 있다. 파라미터 n 은 비선형 확장의 대상이 되는 화소들의 퍼센티지를 결정한다 (식 10, 13 참조).
Figure pat00062
파라미터 α 는 또한 메타-데이터로서 제공될 수도 있다 (식 13 참조).
Figure pat00063
비디오 컨텐츠에 대한 임계값의 리키 인티그레이션에서 사용되는 파라미터 β 는 또한 메타-데이터에 포함될 수도 있다 (식 14 참조).
컨텐츠의 프로듀서 (예를 들어, 사진 감독, 칼라리스트, 스튜디오 등) 에게 파라미터들 η (또는 τ), n, α 및 β 의 각각에 대한 제어를 제공함으로써, 프로듀서의 의도는 이롭게는 매우 다양한 디스플레이들상에서 더 양호하게 재생될 수 있다.
실험적 결과들
본 원리들에 따른 알고리즘 (예를 들어, 식 1 내지 16) 은 HDR 이미지들에 대해 테스트되었다. 실험 결과들은 인버스 톤 맵퍼
Figure pat00064
가 전체 범위를 더 높은 동적 범위로 확장하고, 따라서 낮은 및 높은 위도 영역들 양자 모두에서 과도 확장하는 반면, 본 원리들의 HDR 대 HDR 인버스 톤 맵퍼
Figure pat00065
는 화소들의 대부분을 변경되지 않은 채로 유지하고 단지 매우 높은 세기들을 더 낮은 범위로 확장한다.
HDR 비디오 프레임이 본 원리들에 따라 프로세싱되는 경우, 모든 화소들 (통상적으로 모든 블랙 및 중간 톤들) 의 상당한 부분은 변경되지 않는 채로 남았고, 가장 높은 화소 값들만이 확장했다. 대조적으로, 선형 스케일링은 모든 다른 기지의 인버스 톤 맵핑 연산자들이 수행하는 동일한 양만큼 모든 화소 값들을 변경했을 것이다.
본 원리들의 이점은 범위 확장의 양이 엄격하게 제한된다는 점이다. 의도된 출력 디바이스는 수신된 컨텐츠보다 더 높은 높은 피크 휘도를 소유할 것이다. 이것은 휘도 범위에 있어서의 비교적 부드러운 확장이 충분할 것이라는 것을 의미한다. 이와 같이, 사실상 글로벌이고, 사실상 많은 화소 값들을 변경되지 않은 채로 두는 인버스 톤 맵핑 연산자를 설계하는 것이 가능하다. 작은 양의 확장이 가장 밝은 화소들에만 적용된다. 이러한 접근법의 이점은 다음과 같다:
Figure pat00066
매우 낮은 계산상의 복잡성
Figure pat00067
대부분의 화소들이 의도된 대로 재생된다
Figure pat00068
훨씬 더 작은 수의 화소들이 콘트라스트 증가 (및 이것에 의해 의도된 콘트라스트의 손실) 가 최소화되도록 값에 있어서 일부 확장을 수용한다.
상술된 예들은 이하에 설명된 도면들 내에서 구현될 수도 있다. 도 1 은 본 원리들에 따라 이미지 또는 비디오 컨텐츠에 HDR 대 HDR 인버스 톤 맵퍼를 적용하는 예시적인 방법 (100) 을 도시하는 다이어그램이다.
방법 (100) 은 임의의 워크 플로우에서 수행될 수도 있다. 예를 들어, 방법 (100) 은 리그레이딩 프로세스를 돕거나 더 높은 피크 휘도를 갖는 세컨더리 그레이드를 생성하기 위해 포스트-프러덕션 스튜디오에서 수행될 수도 있다. 대안적으로, 방법 (100) 은 HDR 소비자 디스플레이와 관련하여 이용될 수도 있거나 셋-톱 박스로 통합될 수도 있다.
하나의 예에서, 방법 (100) 은 이미지 또는 비디오 컨텐츠를 수신하는 블록 (101) 을 포함한다. 컨텐츠는 디코딩된 이미지 또는 비디오 컨텐츠일 수도 있다. 대안적으로, 컨텐츠는 미가공 (raw) 이미지 또는 비디오 데이터 컨텐츠일 수도 있다. 컨텐츠는 예를 들어 HDR 비디오에 대한 비디오 이미지들 또는 화상들일 수도 있는 화상을 포함할 수도 있다. 블록 (101) 은 선형 광 RGB 정보를 포함하는, 화상의 특성들에 관한 정보를 수신할 수도 있다. 컨텐츠는 3 개의 컴포넌트들 (적색, 녹색 및 청색) 로 구성된 RGB 칼라 값들로 3색 카메라들을 사용하여 캡쳐될 수도 있다. RGB 칼라 값들은 센서의 3색 특징들 (색역) 에 의존한다. 컨텐츠는 센서의 색역, 캡쳐된 장면의 최대 및 최소 휘도 피크와 같은 이미지 사이드 정보를 포함할 수도 있다. 컨텐츠는 국제 전기통신 (ITU) 및 동화상 전문가 그룹 (MPEG) 조직에 의해 조직된 고효율 비디오 코딩 (HEVC) 과 같은 임의의 기지의 표준에 따라, 또는 표준화를 위한 국제 조직/국제 전기기술 위원회 (ISO/IEC) 동화상 전문가 그룹-4 (MPEG-4) 에 의해 조직된 H.264 또는 MPEG-4 Part 10, 진보된 비디오 코딩 (MPEG-4 AVC) 에 따라 이전에 디코딩되었을 수도 있다. 블록 (101) 은 그 후 수신된 컨텐츠에 관한 임의의 정보를 제공하는 것을 포함하는, 블록 (102) 로 제어를 전달할 수도 있다.
블록 (102) 은 블록 (101) 로부터 수신된 컨텐츠에 HDR 대 HDR 인버스 톤 맵퍼를 적용할 수도 있다. HDR 대 HDR 인버스 톤 맵퍼는 본 원리들에 따라 결정될 수도 있다. HDR 대 HDR 인버스 톤 맵퍼는 확장할 컨텐츠의 동적 범위를 디스플레이의 동적 범위로 변환한다.
본 원리들의 양태는 HDR 대 HDR 인버스 톤 맵퍼의 적용으로 지향된다. HDR 대 HDR 인버스 톤 맵퍼는 휘도 값들의 범위를 매우 많은 양만큼 확장할 능력을 제공한다. HDR 대 HDR 인버스 톤 맵퍼의 적용은 제한된 양의 범위 확장을 야기한다. 의도된 출력 디바이스는 바람직하게는 수신된 컨텐츠보다 더 높은 높은 피크 휘도를 소유할 것이다. 이것은 휘도 범위에서의 비교적 부드러운 확장이 충분할 것이라는 것을 의미한다. HDR 대 HDR 인버스 톤 맵핑 연산자는 사실상 글로벌일 수도 있어, 많은 화소 값들을 변경되지 않은 채로 둔다. HDR 대 HDR 인버스 톤 맵핑 연산자는 가장 밝은 화소들에만 작은 양의 확장을 적용할 수도 있다. 이러한 프로세스에 기초하여 다음의 이점들이 존재할 수도 있다:
Figure pat00069
매우 낮은 계산상의 복잡성;
Figure pat00070
대부분의 화소들이 의도된 대로 재생된다;
Figure pat00071
훨씬 더 작은 수의 화소들이 콘트라스트 증가 (및 이것에 의해 컨텐츠의 의도된 콘트라스트) 가 최소화되도록 값에 있어서 일부 확장을 수용한다.
본 원리들의 양태는 다음 중 하나 이상을 포함하는 HDR 대 HDR 인버스 톤 맵퍼로 지향된다:
Figure pat00072
어두운 및 중간 톤 레벨들에 대한 선형 부분 및 하이라이트들에 대한 비선형 확장 부분 (예를 들어, 식 2 를 참조);
Figure pat00073
C1 함수를 야기하는 HDR 대 HDR 인버스 톤 맵핑 곡선의 표현의 곡선 설계 (예를 들어, 식 3 내지 8 참조);
Figure pat00074
컨텐츠 기반 니포인트/임계값 결정 (예를 들어, 식 10 내지 14 참조) 하나의 예에서, HDR 대 HDR 인버스 톤 맵퍼는 작은 확장 범위를 갖는 선형 곡선에 의해 표현될 수도 있으며, 여기서 곡선의 설계는 평활도 기준들과 매치하며, 곡선 임계값은 컨텐츠에 기초하여 결정된다.
블록 (103) 은 결과의 컨텐츠를 출력할 수도 있다.
도 2 는 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용하는 예시적인 방법 (200) 을 도시하는 다이어그램이다.
방법 (200) 은 HDR 대 HDR 인버스 톤 맵퍼와 관련된 메타데이터를 포함하는 메타데이터를 수신하는 블록 (201) 을 포함한다. 그 메타데이터는 인버스 톤 맵핑 곡선 파라미터들을 포함할 수도 있다. 블록 (201) 은 그 후 블록 (202) 으로 제어를 전달할 수도 있다.
블록 (202) 은 HDR 대 HDR 인버스 톤 맵핑 곡선 파라미터들을 결정할 수도 있다. 파라미터들은 목표 디스플레이의 피크 휘도
Figure pat00075
(예를 들어, 식 3, 6, 7, 8, 13 참조), 컨텐츠의 피크 휘도 Imax (예를 들어, 식 3, 6, 7, 8, 13 참조), 임계값 τ 을 계산하기 위해 사용되는 파라미터 η (예를 들어, 식 9 참조), 비선형 압축의 대상이 되는 화소들의 퍼센티지를 결정하는 파라미터 n (예를 들어, 식 11, 13 참조), 인버스 톤 맵퍼에 의해 동적 범위의 부분으로 확장될 수 있는 화소들의 최대 퍼센티지를 결정하는 파라미터 α (예를 들어, 식 13 참조) 및 비디오 컨텐츠에 대한 임계값의 리키 인티그레이션에서 사용되는 파라미터 β (예를 들어, 식 14 참조) 를 포함할 수도 있다. 파라미터들은 식 9 및 식 10 내지 14 와 관련하여 기술된 원리들에 따라 컨텐츠 의존성 임계값을 결정하기 위해 이용될 수도 있다. 블록 (202) 은 또한 파라미터들 a, c, d 를 결정할 수도 있다. 그 파라미터들은 식 3 내지 8 에 따라 인버스 톤 맵핑 곡선이 C1 함수이도록 강요하는 기준들에 기초하여 결정될 수도 있다.
블록 (203) 은 컨텐츠를 수신할 수도 있다. 하나의 예에서, 그 컨텐츠는 미가공 이미지 또는 비디오 컨텐츠일 수도 있다. 다른 예에서, 컨텐츠는 인코딩된 비트스트림을 통해 수신될 수도 있고 블록 (203) 은 그 비트스트림을 디코딩할 수도 있다. 다른 예에서, 컨텐츠는 이전에 디코딩되었을 수도 있다. 하나의 예에서, 블록 (203) 은 도 1 의 블록 (101) 과 관련하여 아웃라인된 원리들에 따라 컨텐츠를 수신할 수도 있다. 블록 (203) 은 블록 (204) 으로 제어를 전달할 수도 있다.
블록 (204) 은 블록 (203) 으로부터 컨텐츠의 휘도 채널 정보를 획득할 수도 있다. 하나의 예에서, 블록 (204) 은 휘도 채널 정보를 획득하기 위해 예비적 칼라 변환을 적용할 수도 있다. 하나의 예에서, 블록 (204) 은 식 1 과 관련하여 기술된 원리들에 따라 휘도 채널 정보를 결정할 수도 있다. 다른 예에서, 블록 (204) 은 선택적이고, 휘도 정보는 블록 (203) 으로부터 직접 수신될 수도 있다.
블록 (205) 은 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼 또는 HDR 대 HDR 인버스 톤 맵핑 연산자를 블록 (204) (또는 블록 (203)) 으로부터의 컨텐츠에 적용할 수도 있다. 하나의 예에서, 블록 (205) 은 블록 (202) 로부터 수신된 파라미터들에 기초하여 인버스 톤 맵퍼 곡선을 결정할 수도 있다. 다른 예에서, 블록 (205) 은 블록 (202) 으로부터 수신된 파라미터들에 기초하여 미리 결정되거나 저장된 인버스 톤 맵퍼를 선택할 수도 있다.
하나의 예에서, 블록 (205) 은 도 1 의 블록 (102) 와 관련하여 기술된 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용 및/또는 결정할 수도 있다. 하나의 예에서, 블록 (205) 은 출력 Io 을 결정하기 위해 HDR 대 HDR 인버스 톤 맵퍼를 적용할 수도 있다. 블록 (205) 은 블록 (206) 으로 제어를 전달할 수도 있다.
블록 (206) 은 블록 (205) 의 출력에 대해 칼라 정정을 수행할 수도 있다. 예를 들어, 블록 (206) 은 식 15a 내지 16c 에 따라 휘도 채널에서의 스케일 변경에 기초하여 RGB 값들을 스케일링함으로써 칼라 정정을 수행할 수도 있다. 하나의 예에서, 블록 (206) 은 선택적일 수도 있고, 제어가 블록 (205) 으로부터 블록 (207) 으로 직접 전달될 수도 있다. 블록 (206) 은 블록 (207) 으로 칼라 정정된 컨텐츠를 출력할 수도 있다.
블록 (207) 은 블록 (205) 의 HDR 대 HDR 인버스 톤 맵퍼에 의해 프로세싱된 컨텐츠를 출력할 수도 있다.
도 3 은 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼에 대한 파라미터들을 결정하기 위한 예시적인 방법 (300) 을 도시하는 다이어그램이다. 파라미터들은 (식 13 과 관련하여 기술된 원리들에 따라 결정될 수도 있는) 니포인트 τf 에 대한 파라미터들, 및 (식 6 내지 8 과 관련하여 기술된 원리들에 따라 결정될 수도 있는) 곡선 파라미터들 a, c, d 을 포함할 수도 있다.
블록 (301) 은 비디오의 이미지 또는 프레임을 전체적으로 또는 부분적으로 포함할 수도 있는 컨텐츠를 수신할 수도 있다. 블록 (301) 은 도 1 의 블록 (101) 또는 도 2 의 블록 (201) 과 관련하여 아웃라인된 원리들에 따라 컨텐츠를 수신할 수도 있다.
블록 (302) 은 (예를 들어, 예비적 칼라 변환을 통해) 휘도 채널 정보를 결정할 수도 있다. 하나의 예에서, 블록 (302) 은 식 1 과 관련하여 기술된 원리들에 따라 휘도 채널 정보를 결정할 수도 있다. 대안적으로, 블록 (302) 은 선택적일 수도 있고 휘도 채널 정보는 블록 (301) 으로부터 직접 수신될 수도 있다.
블록 (303) 은 HDR 대 HDR 인버스 톤 맵퍼의 임계값을 결정할 수도 있다. 하나의 예에서, 블록 (303) 은 (식 2 내지 8 과 관련하여 기술된 원리들에 따라 결정될 수도 있는) 인버스 톤 맵핑 곡선에서 니포인트를 결정하는 임계값을 결정할 수도 있다. 블록 (303) 은 입력 HDR 컨텐츠가 출력에서 선형으로만 변경되는 입력 휘도에 대한 최대값을 결정할 수도 있다. 컨텐츠 의존성 임계값은 최소 휘도 값에 기초하여 결정될 수도 있으며, 그 최소 휘도 값에 비교할 때 화소들의 선험적인 고정된 퍼센티지 미만이 더 높은 휘도 값들을 갖는다. 컨텐츠 의존성 임계값은 임계값 τ 을 설정하는 것과 관련하여 이전에 기술된 예들에 따라 결정될 수도 있다.
하나의 예에서, 블록 (303) 은 컨텐츠의 누적 히스토그램에 기초하여 임계값을 결정할 수도 있다. 값 I 에 대한 누적 히스토그램을 cI 로 표시하면, 다음의 조건이 확인될 수도 있다:
식 17:
Figure pat00076
여기서, n 은 인버스 톤 맵핑 곡선의 비선형 부분에 의해 확장되는 것이 허용되는 화소들의 퍼센티지를 나타낸다. 식 17 의 조건이 만족되면, 입력 컨텐츠의 최대 휘도의 80% 의 초기값은 니포인트로서 고려될 수도 있다. 그렇지 않으면, 임계값은 식 13 을 사용하여 획득될 수도 있다. 이러한 예는 식 10 내지 13 을 통해 공식화될 수도 있다. 다른 예에서, 입력 휘도 이미지는 입력의 최대 휘도의 80% 의 초기값에 기초하여 임계값이 제공될 수도 있고, 화소들의 총 수 뿐아니라 임계값보다 큰 값들을 갖는 화소들의 수가 카운트된다. 식 12 및 13 은 그 후 인버스 톤 맵핑 곡선의 최종 니포인트를 결정하기 위해 사용된다.
블록 (304) 은 C1 인버스 톤 맵핑 연산자 함수에 대한 파라미터들을 결정할 수도 있다. C1 함수는 도함수 도메인의 입력의 개방 구간의 어디에서나 정의되고 연속적인 그의 제 1 도함수를 갖는다. 특히, 인버스 톤 맵퍼 함수는 연속적이고, 그것의 도함수는 연속이며, 최대 입력은 출력 디스플레이의 최대 휘도로 맵핑된다. 이들 기준들은 식 3 내지 5 에서 공식화되고, 그 곡선의 결과적으로 결정된 파라미터들은 식 6 내지 8 에서 획득된다. 블록 (304) 은 임계값 τf 에 대한 파라미터, 및 곡선 파라미터들 a, b, c 을 출력할 수도 있다.
도 4 는 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용하고 컨텐츠를 디코딩하기 위한 예시적인 방법 (400) 을 도시하는 다이어그램이다. 방법 (400) 은 블록 (401) 을 포함할 수도 있다.
블록 (401) 은 비디오 또는 이미지 시퀀스와 같은 이미지 컨텐츠에 대응하는 비트스트림을 수신할 수도 있다. 수신된 비트스트림은 인코딩될 수도 있다. 블록 (401) 은 블록 (402) 으로 제어를 전달할 수도 있다.
블록 (402) 은 블록 (401) 으로부터 수신된 비트스트림을 파싱 및 디코딩할 수도 있다. 하나의 예에서, 블록 (402) 은 HEVC 기반 디코딩을 사용하여 비트스트림을 파싱 및 디코딩할 수도 있다. 블록 (402) 은 그 후 블록 (403) 으로 제어를 전달할 수도 있다.
블록 (403) 은 휘도 채널 정보를 획득할 수도 있다. 하나의 예에서, 블록 (403) 은 식 1 과 관련하여 기술된 원리들에 따라 휘도 채널 정보를 획득할 수도 있다. 대안적으로 블록 (403) 은 선택적일 수도 있고 휘도 채널 정보는 블록 (402) 로부터 직접 수신될 수도 있다. 블록 (403) 은 그 후 블록들 (404 및 405) 로 제어를 전달할 수도 있다.
블록 (404) 은 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼에 대한 파라미터들을 결정할 수도 있다. 파라미터들은 본 원리들에 따라 여기에 논의된 임의의 파라미터들일 수도 있다. 파라미터들은 비트스트림으로부터 파싱 및 디코딩될 수도 있다. 하나의 예에서, 파라미터들은 비트스트림 내에 포함된 신택스에 기초하여 결정된다 (예를 들어, SEI 메시지). 파라미터들은 임계값 τf 에 대한 파라미터, 및 곡선 파라미터들 a, b, c 일 수도 있다. 이들 파라미터들은 비트스트림을 통해 송신될 수 있거나 디코더에서 결정될 수 있다. 예를 들어, 파라미터들은 휘도 정보의 히스토그램에 기초하여 디코더에서 결정될 수 있다. 하나의 예에서, 블록 (404) 은 도 3 의 방법 (300) 에 따라 파라미터들을 결정할 수도 있다.
블록 (405) 은 비트스트림으로부터 파싱 및 디코딩되었던 컨텐츠를 프로세싱할 수도 있다. 예를 들어, 블록 (405) 은 비트스트림으로부터 디코딩된 비디오 또는 이미지 시퀀스를 프로세싱할 수도 있다. 하나의 예에서, 블록 (504) 은 디코딩된 Y'CbCr 비디오 신호를 프로세싱할 수도 있다. 하나의 예에서, 블록 (504) 은 Y'CbCr 비디오 신호를 R'G'B' 비디오 신호로 변환할 수도 있다. 다른 예에서, 블록 (504) 은 R'G'B' 비디오 신호를 프로세싱할 수도 있다.
블록 (406) 은 인버스 톤 맵퍼 곡선의 선택적 시간적 필터링을 수행할 수도 있다. 블록 (406) 은 잠재적인 플리커 문제들을 다루기 위해 리키 인티그레이션을 수행할 수도 있다. 비디오 컨텐츠의 경우, 연속적인 프레임들에 대한 추정된 임계값들은 상이할 수 있다. 비디오 컨텐츠의 플리커 (즉, 연속적인 프레임들의 세기에서의 현저한 변동들) 를 방지하기 위해, 비디오의 모든 새로운 프레임에 대한 추정된 τf 값들의 정정이 결정될 수도 있다. 리키 인티그레이션은 이전의 섹션에서 보여준 바와 같이 계산된
Figure pat00077
를 사용하여 추정되는, 프레임 t 에 대한 파라미터
Figure pat00078
, 및 이전의 프레임에 대한 추정된 리키 파라미터, 즉
Figure pat00079
에 적용될 수 있다. 하나의 예에서, 이것은 식 14 와 관련하여 기술된 원리들에 따라 수행될 수도 있다. 블록 (406) 의 입력은 휘도 채널 정보 및 이전의 프레임의 최종 임계값이다. 블록 (406) 에서의 곡선은 인버스 톤 맵핑 곡선에 대응한다. 블록 (406) 은 선택적이지만, 출력 비디오에서 플리커의 가능한 소스를 제거하기 위해 강력하게 추천된다. 블록 (406) 의 출력은 식 6 내지 8 및 14 와 관련하여 기술된 원리들을 사용하여 인버스 톤 맵핑 곡선의 업데이트된 파라미터들 및 임계값의 리키 결정이다.
블록 (407) 은 블록 (405) 으로부터, 또는 시간적 필터링이 적용되는 경우, 블록 (406) 으로부터의 컨텐츠에 HDR 대 HDR 인버스 톤 맵퍼를 적용할 수도 있다. 블록 (407) 은 본 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용한다. 비디오 신호의 경우, HDR 대 HDR 인버스 톤 맵퍼는 블록 (404) 에 의해 결정된 파라미터들을 사용하여 프레임마다 수행될 수도 있다. 하나의 예에서, 블록 (407) 은 도 1 의 블록 (102) 및 도 2 의 블록 (205) 와 관련하여 기술된 원리들에 따라 HDR 대 HDR 인버스 톤 맵퍼를 적용할 수도 있다. 하나의 예에서, 블록 (407) 은 (예를 들어, 식 13 및 14 에 기초하여) 테이블화된 값들을 갖는 룩업 테이블 (LUT) 을 생성할 수도 있거나 수신할 수도 있고, 그 후 컨텐츠에 LUT 를 적용할 수도 있다.
도 5 는 도 1 내지 도 4 및 식 1 내지 17 과 관련하여 기술된 방법들을 구현하도록 구성될 수도 있는 장치 (500) 의 예시적인 아키텍쳐를 나타낸다. 하나의 예에서, 도 5 는 도 1 내지 도 4 와 관련하여 기술된 원리들을 포함하는 본 원리들에 따른 방법들을 구현하도록 구성될 수도 있는 장치를 나타낸다. 하나의 예에서, 도 5 는 도 4 와 관련하여 기술된 원리들을 포함하는 본 원리들에 따른 디코딩 방법을 구현하도록 구성될 수도 있는 장치를 나타낸다.
장치 (500) 는 데이터 및 어드레스 버스 (501) 에 의해 함께 링크되는 다음의 엘리먼트들을 포함한다:
- 예를 들어, DSP (또는 디지털 신호 처리기) 인 마이크로프로세서 (502) (또는 CPU);
- ROM (또는 리드 온리 메모리) (503);
- RAM (또는 랜덤 액세스 메모리) (504);
- 애플리케이션으로부터 송신할 데이터의 수신을 위한 I/O 인터페이스 (505); 및
- 배터리 (506) (또는 다른 적합한 전원).
변형에 따르면, 배터리 (506) 는 장치의 외부에 있다. 언급된 메모리 각각에서, 명세서에서 사용된 단어 << 레지스터 >> 는 소용량 (일부 비트들) 의 영역에 또는 매우 큰 영역 (예를 들어, 전체 프로그램 또는 대량의 수신되거나 디코딩된 데이터) 에 대응할 수 있다. ROM (503) 은 적어도 프로그램 및 파라미터들을 포함한다. 본 발명에 따른 방법들의 알고리즘은 ROM (503) 에 저장된다. 스위치 온되는 경우, CPU (502) 는 RAM 에 프로그램을 업로드하고 대응하는 명령들을 실행한다.
RAM (504) 은 레지스터에 장치 (500) 의 스위치 온 후 업로드되고 CPU (502) 에 의해 실행되는 프로그램을, 레지스터에 입력 데이터를, 레지스터에 방법의 상이한 상태들에서의 중간 데이터를, 및 레지스터에 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.
여기에 기술된 구현들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수도 있다. (예를 들어, 방법 또는 장치로서만 논의되는) 구현의 단일의 형태의 콘텍스트에서만 논의되지만, 논의된 특징들의 구현은 또한 다른 형태들 (예를 들어 프로그램) 로 구현될 수도 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은 예를 들어 컴퓨터, 마이크로프로세서, 집적회로, 또는 프로그램가능한 로직 디바이스를 포함하는, 일반적으로 프로세싱 디바이스들을 지칭하는 예를 들어 프로세서와 같은 예를 들어 장치에서 구현될 수도 있다. 프로세서들은 또한 예를 들어 컴퓨터들, 셀 폰들, 휴대용/개인용 디지털 보조기들 ("PDAs") 과 같은 통신 디바이스들, 및 엔드 유저들 간의 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.
인코딩 또는 인코더의 특정의 예에 따르면, 이미지 또는 화상 I 은 소스로부터 획득된다. 예를 들어, 그 소스는:
- 로컬 메모리 (503 또는 504), 예를 들어 비디오 메모리 또는 RAM (또는 랜덤 액세스 메모리), 플래시 메모리, ROM (또는 리드 온리 메모리), 하드 디스크;
- 저장 인터페이스 (505), 예를 들어 대량 기억장치, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 서포트와의 인터페이스;
- 통신 인터페이스 (505), 예를 들어 유선 인터페이스 (예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스 (예를 들어, IEEE 802.11 인터페이스 또는 블루투스® 인터페이스); 및
- 이미지 캡쳐링 회로 (예를 들어, 예를 들어 CCD (또는 전하 커플링 디바이스) 또는 CMOS (또는 상보형 금속 산화물 반도체) 와 같은 센서)
를 포함하는 세트에 속한다.
디코딩 또는 디코더의 상이한 실시형태들에 따르면, 디코딩된 이미지
Figure pat00080
는 목적지로 전송되며; 구체적으로, 그 목적지는:
- 로컬 메모리 (503 또는 504), 예를 들어 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스 (505), 예를 들어 대량 기억장치, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 서포트와의 인터페이스;
- 통신 인터페이스 (505), 예를 들어 유선 인터페이스 (예를 들어 버스 인터페이스 (예를 들어, USB (또는 유너버셜 시리얼 버스)), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI (고선명 멀티미디어 인터페이스) 인터페이스) 또는 무선 인터페이스 (예를 들어, IEEE 802.11 인터페이스, Wi-Fi® 또는 블루투스® 인터페이스); 및
- 디스플레이
를 포함하는 세트에 속한다.
인코딩 또는 인코더의 상이한 예들에 따르면, 비트스트림 BF 및/또는 F 는 목적지로 전송된다. 예로서, 비트스트림 F 및 BF 중 하나 또는 비트스트림 F 및 BF 양자 모두는 로컬 또는 원격 메모리, 예를 들어, 비디오 메모리 (504) 또는 RAM (504), 하드 디스크 (503) 에 저장된다. 변형에서, 하나 또는 양자의 비트스트림들은 저장 인터페이스 (505), 예를 들어 대량 기억장치, 플래시 메모리, ROM, 광학 디스크 또는 자기 서포트와의 인터페이스로 전송되고 및/또는 통신 인터페이스 (505), 예를 들어 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통해 송신된다.
디코딩 또는 디코더의 상이한 예들에 따르면, 비트스트림 BF 및/또는 F 는 소스로부터 획득된다. 예로서, 비트스트림은 로컬 메모리, 예를 들어, 비디오 메모리 (504), RAM (504), ROM (503), 플래시 메모리 (503), 또는 하드 디스크 (503) 로부터 판독된다. 변형에서, 비트스트림은 저장 인터페이스 (505), 예를 들어 대량 기억장치, RAM, ROM, 플래시 메모리, 광학 디스크 또는 자기 서포트와의 인터페이스로부터 수신되고 및/또는 통신 인터페이스 (505), 예를 들어 포인트 투 포인트 링크, 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스로부터 수신된다.
상이한 예들에 따르면, 본 원리들에 따른 인코딩 방법을 구현하도록 구성되는 장치 (500) 는:
- 이동 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 태블릿 (또는 태블릿 컴퓨터);
- 랩톱;
- 스틸 이미지 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 스틸 이미지 서버; 및
- 비디오 서버 (예를 들어, 브로드캐스트 서버, 비디오-온-디맨드 서버 또는 웹 서버)
를 포함하는 세트에 속한다.
상이한 예들에 따르면, 본 원리들에 따른 디코딩 방법을 구현하도록 구성되는 장치 (500) 는:
- 이동 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 셋 톱 박스;
- TV 세트;
- 태블릿 (또는 태블릿 컴퓨터);
- 랩톱;
- 디스플레이; 및
- 디코딩 칩;
을 포함하는 세트에 속한다.
여기에 기술된 여러 프로세스들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들에서 구현될 수도 있다. 그러한 장치의 예들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더로 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확해야 하는 바와 같이, 장비는 이동가능하거나 이동 수단에 설치될 수도 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있고, 그러한 명령들 (및/또는 구현에 의해 생성되는 데이터 값들) 은 예를 들어 집적 회로, 소프트웨어 캐리어 또는 예를 들어 하드 디스크, 컴팩트 디스켓 ("CD"), 광디스크 (예를 들어, 디지털 다용도 디스크 또는 디지털 비디오 디스크로서도 종종 지칭되는 DVD), 랜덤 액세스 메모리 ("RAM"), 또는 리드 온리 메모리 ("ROM") 와 같은 다른 저장 디바이스와 같은 프로세서 판독가능 매체에 저장될 수도 있다. 명령들은 프로세서 판독가능 매체에 유형으로 구현된 애플리케이션 프로그램을 형성할 수도 있다. 명령들은 예를 들어 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로 일 수도 있다. 명령들은 예를 들어 운영 시스템, 별도의 애플리케이션, 또는 이 둘의 조합에서 발견될 수도 있다. 따라서, 프로세서는 예를 들어 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령들을 갖는 (저장 디바이스와 같은) 프로세서 판독가능 매체를 포함하는 디바이스로서 특징지워질 수도 있다. 또, 프로세서 판독가능 매체는 명령들에 더하여 또는 명령들 대신에 구현에 의해 생성되는 데이터 값들을 저장할 수도 있다.
본 기술분야에서 통상의 기술자에게 분명할 바와 같이, 구현들은 예를 들어 저장되거나 송신될 수도 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어 방법을 수행하기 위한 명령들, 또는 기술된 구현들 중 하나에 의해 생성된 데이터를 포함할 수도 있다. 예를 들어, 신호는 기술된 예의 신택스를 기입하거나 판독하는 규칙들을 데이터로서 반송하거나, 기술된 예에 의해 기입된 실제의 신택스-값들을 데이터로서 반송하도록 포맷팅될 수도 있다. 그러한 신호는 예를 들어 (예를 들어 스펙트럼의 무선 주파수 부분을 사용하는) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수도 있다. 그 포맷팅은 예를 들어 데이터 스트림을 인코딩하는 것 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는 예를 들어 아날로그 또는 디지털 정보일 수도 있다. 신호는 알려져 있는 바와 같은, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수도 있다. 신호는 프로세서 판독가능 매체에 저장될 수도 있다.
다수의 구현들이 기술되었다. 그럼에도 불구하고, 여러 변경들이 행해질 수도 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 다른 구현들을 생성하기 위해 결합, 보충, 변경 또는 제거될 수도 있다. 또한, 통상의 기술자는 다른 구조들 및 프로세스들은 개시된 것들에 대해 대체될 수도 있고, 결과의 구현들은 개시된 구현들과 적어도 실질적으로 동일한 결과(들)을 달성하기 위해 적어도 실질적으로 동일한 방법(들)로 적어도 실질적으로 동일한 기능(들)을 수행할 것이다. 이에 따라, 이들 및 다른 구현들은 이러한 애플리케이션에 의해 고려된다.
다수의 특정의 상세들이 본 발명의 철저한 이해를 제공하기 위해 여기서 진술되었다. 그러나, 본 기술분야에서 통상의 기술자들에 의해, 상기의 예들은 이들 특정의 상세들 없이 실시될 수도 있다는 것이 이해될 것이다. 다른 예들에서, 잘 알려진 동작들, 컴포넌트들 및 회로들은 본 발명을 모호하게 하지 않도록 상세하게 기술되지 않았다. 여기에 개시된 특정의 구조적 및 기능적 상세들은 대표적인 것일 수도 있고, 본 발명의 범위를 반드시 제한하지는 않는다는 것이 인정될 수 있다.
본 발명의 여러 예들은 하드웨어 엘리먼트들, 소프트웨어 엘리먼트들, 또는 양자의 조합을 사용하여 구현될 수도 있다. 일부 예들은 머신에 의해 실행되는 경우 그 머신으로 하여금 예드에 따른 방법 및/또는 동작들을 수행하게 할 수도 있는 명령 또는 명령들의 세트를 저장할 수도 있는 컴퓨터 판독가능 매체 또는 물품을 사용하여 구현될 수도 있다. 그러한 머신은 예를 들어 임의의 적합한 프로세싱 플랫폼, 컴퓨팅 플랫폼, 컴퓨팅 디바이스, 프로세싱 디바이스, 컴퓨팅 시스템, 프로세싱 시스템, 컴퓨터, 프로세서 등을 포함할 수도 있고 하드웨어 및/또는 소프트웨어의 임의의 적합한 조합을 사용하여 구현될 수도 있다. 컴퓨터 판독가능 매체 또는 물품은 예를 들어 임의의 적합한 타입의 메모리 유닛, 메모리 디바이스, 메모리 물품, 메모리 매체, 저장 디바이스, 저장 물품, 저장 매체 및/또는 저장 유닛을 포함할 수도 있다. 그 명령들은 임의의 적합한 고레벨, 저레벨, 객체 지향, 비쥬얼, 컴파일된 및/또는 인터프릿된 프로그래밍 언어를 사용하여 구현되는 소스 코드, 컴파일된 코드, 인터프릿된 코드, 실행가능한 코드, 정적 코드, 동적 코드, 암호화된 코드 등과 같은 임의의 적합한 타입의 코드를 포함할 수도 있다.
여기에 기술된 구현들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수도 있다. (예를 들어, 방법으로서만 논의되는) 구현의 단일의 형태의 콘텍스트에서만 논의되지만, 논의된 특징들의 구현은 또한 다른 형태들 (예를 들어, 장치 또는 프로그램) 로 구현될 수도 있다. 장치 및 그 안에 포함된 구성요소들, 예를 들어 프로세서, 인코더 및 디코더는 예를 들어 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수도 있다. 방법들은 예를 들어 컴퓨터, 마이크로프로세서, 집적회로, 또는 프로그램가능한 로직 디바이스를 포함하는, 일반적으로 프로세싱 디바이스들을 지칭하는 예를 들어 프로세서와 같은 예를 들어 장치에서 구현될 수도 있다. 프로세서들은 또한 예를 들어 컴퓨터들, 셀 폰들, 휴대용/개인용 디지털 보조기들 ("PDAs") 과 같은 통신 디바이스들, 및 엔드 유저들 간의 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.
또, 본 출원 또는 그의 청구범위는 여러 점의 정보를 "결정하는 것" 을 언급할 수도 있다. 정보를 결정하는 것은 예를 들어 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 취출하는 것 중 하나 이상을 포함할 수도 있다.
또, 본 출원 또는 그의 청구범위는 여러 점의 정보를 "액세스하는 것" 을 언급할 수도 있다. 정보를 액세스하는 것은 예를 들어 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 취출하는 것, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 삭제하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수도 있다.
또한, 본 출원 또는 그의 청구범위는 여러 점의 정보를 "수신하는 것" 을 언급할 수도 있다. 수신하는 것은 "액세스하는 것" 과 같이 넓은 용어인 것으로 의도된다. 정보를 수신하는 것은 예를 들어 정보를 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 취출하는 것 중 하나 이상을 포함할 수도 있다. 또한 "수신하는 것" 은 통상적으로 예를 들어 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 삭제하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.
상이한 실시형태들에 따르면, 파라미터화된 전달 함수가 본 발명에 따라 인코딩되거나 디코딩된 화상에서, 또는 화상을 포함하는 스트림에서 시그널링된다. 일부 실시형태들에서, 파라미터화된 전달 함수를 나타내는 정보는 화상에서 또는 화상을 포함하는 스트림에서 시그널링된다. 이러한 정보는 본 발명에 따라 적용되는 파라미터화된 전달 함수를 식별하기 위해 디코딩 방법 또는 디코더에 의해 사용된다. 하나의 실시형태에서, 이러한 정보는 인코딩 및 디코딩 측상에 알려져 있는 식별자를 포함한다. 다른 실시형태들에 따르면, 이러한 정보는 파라미터화된 전달 함수들에 대한 기초로서 사용되는 파라미터들을 포함한다. 본 발명의 변형에 따르면, 이러한 정보는 정의된 값들의 세트에 기초하여, 화상에서 또는 화상을 포함하는 비트스트림에서의 파라미터들의 표시자를 포함한다. 본 발명의 변형에 따르면, 이러한 정보는 정의된 값들의 세트에 기초하여 파라미터들이 명시적으로 시그널링되는지 여부 또는 파라미터들이 암시적으로 시그널링되는지 여부에 기초한 표시를 포함한다. 본 발명의 상이한 변형들에 따르면, 이러한 정보는 화상 파라미터 세트 (PPS), 시퀀스 파라미터 세트 (SPS), 보충 강화 정보 (SEI) 메시지, 비디오 사용가능성 정보 (VUI), 가전 협회 (CEA) 메시지, 및 헤더 중 적어도 하나에 포함된 적어도 하나의 신택스 엘리먼트에 포함된다.

Claims (16)

  1. 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법으로서,
    상기 높은 동적 범위 이미지의 휘도 컴포넌트를 획득하는 단계;
    HDR 대 HDR 인버스 톤 맵퍼 곡선을 결정하는 단계;
    상기 높은 동적 범위 이미지의 휘도 컴포넌트에 상기 HDR 대 HDR 인버스 톤 맵퍼 곡선을 적용함으로써 톤 확장된 이미지를 결정하는 단계를 포함하고,
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선은 어두운 및 중간-톤 레벨들에 대한 선형 부분, 및 하이라이트들에 대한 확장하는 비선형 부분을 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법.
  2. 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 장치로서,
    상기 높은 동적 범위 이미지의 휘도 컴포넌트를 획득하는 것, HDR 대 HDR 인버스 톤 맵퍼 곡선을 결정하는 것, 및 상기 높은 동적 범위 이미지의 휘도 컴포넌트에 상기 HDR 대 HDR 인버스 톤 맵퍼 곡선을 적용함으로써 톤 압축해제된 이미지를 결정하는 것을 위한 프로세서를 포함하고,
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선은 어두운 및 중간-톤 레벨들에 대한 선형 부분, 및 하이라이트들에 대한 확장하는 비선형 부분을 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 HDR 대 HDR 인버스 톤 맵퍼는 휘도가 선형으로 변경되는 때 및 휘도가 비선형으로 확장되는 때를 결정하기 위한 임계값을 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  4. 제 3 항에 있어서,
    컨텐츠에 기초하여 상기 임계값을 결정하는 것을 더 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  5. 제 4 항에 있어서,
    상기 임계값 τf 가 다음에 기초하여 결정되는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치:
    Figure pat00081

    여기서,
    Figure pat00082
    는 톤 확장된 이미지에 대한 최대 휘도 값이고, n 은 하이라이트들에 대응하는 이미지에서의 화소들의 퍼센티지이며, α 는 상기 톤 확장된 이미지에 아티팩트들을 도입하지 않고 인버스 톤 맵퍼에 의해 동적 범위의 작은 부분만으로 비선형으로 확장될 수 있는 화소들의 최대 퍼센티지를 나타내고, 여기서
    Figure pat00083
    여기서
    Figure pat00084
    및
    Figure pat00085
    는 각각 임계값 τ 에 대응하는 휘도값 및 컨텐츠의 피크 휘도 Imax 에 대한 휘도 값들의 누적 히스토그램들을 나타낸다.
  6. 제 3 항에 있어서,
    컨텐츠에 기초하여 어두운 및 중간 톤 레벨들에 대한 입력 값들을 선형으로 스케일링하는 스케일링 팩터를 결정하는 것을 더 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  7. 제 6 항에 있어서,
    상기 스케일링 팩터를 결정하는 것은 중간 톤들에 대응하는 상기 이미지의 휘도 히스토그램의 균일성을 측정하는 히스토그램 파라미터에 기초하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 스케일링 팩터를 결정하는 것은 상기 컨텐츠의 피크 휘도에 의해 톤 확장된 이미지에 대한 최대 휘도 값을 나누는 동적 범위 확장 비에 기초하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선의 연속성 및 평활도를 강화하기 위한 기준들을 더 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 높은 동적 범위 이미지는 높은 동적 범위 비디오의 부분이고,
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선의 적용은 시간적 안정성을 달성하기 위해 이전의 비디오 프레임들로부터의 정보를 적용하는 것을 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  11. 제 10 항에 있어서,
    이전의 비디오 프레임들로부터의 상기 정보는 임계값에 기초한 리키 인티그레이션 (leaky integration) 을 사용하여 적용되는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  12. 제 1 항 또는 제 2 항에 있어서,
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선을 나타내는 정보를 시그널링하는 것을 더 포함하는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  13. 제 12 항에 있어서,
    상기 시그널링은 화상 파라미터 세트 (PPS), 시퀀스 파라미터 세트 (SPS), 보충 강화 정보 (SEI) 메시지, 비디오 사용가능성 정보 (VUI), 가전 협회 (CEA) 메시지, 및 헤더 중 적어도 하나에 포함된 적어도 하나의 신택스 엘리먼트를 사용하여 수행되는, 높은 동적 범위 이미지의 인버스 톤 맵핑을 위한 방법 또는 장치.
  14. 높은 동적 범위 이미지를 톤 맵핑하기 위한 방법으로서,
    상기 높은 동적 범위 이미지의 휘도 컴포넌트를 획득하는 단계;
    HDR 대 HDR 인버스 톤 맵퍼 곡선을 결정하는 단계;
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선을 상기 높은 동적 범위 이미지의 휘도 컴포넌트에 적용함으로써 톤 압축해제된 이미지를 결정하는 단계를 포함하며;
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선은 멀티-세그멘팅되고,
    상기 멀티-세그멘팅된 곡선은 적어도 선형이 아닌 세그먼트 및 적어도 선형인 세그먼트를 포함하는, 높은 동적 범위 이미지를 톤 맵핑하기 위한 방법.
  15. 제 14 항에 있어서,
    상기 선형인 세그먼트는 어두운, 중간-톤들, 및 하이라이트들의 그룹으로부터 선택된 적어도 하나로 지향되고,
    상기 선형이 아닌 세그먼트는 어두운, 중간-톤들, 및 하이라이트들의 그룹으로부터 선택된 적어도 하나로 지향되는, 높은 동적 범위 이미지를 톤 맵핑하기 위한 방법.
  16. 높은 동적 범위 이미지를 인버스 톤 맵핑하기 위한 방법으로서,
    상기 높은 동적 범위 이미지의 휘도 컴포넌트를 획득하는 단계;
    HDR 대 HDR 인버스 톤 맵퍼 곡선을 결정하는 단계;
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선을 상기 높은 동적 범위 이미지의 휘도 컴포넌트에 적용함으로써 톤 압축해제된 이미지를 결정하는 단계를 포함하며;
    상기 HDR 대 HDR 인버스 톤 맵퍼 곡선의 파라미터들은 미리 정의된 조건들을 만족시키기 위해 임계값의 함수로서 선형으로 또는 비선형으로 변조되는, 높은 동적 범위 이미지를 인버스 톤 맵핑하기 위한 방법.
KR1020160103254A 2015-08-13 2016-08-12 Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들 KR20170020288A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306293.0 2015-08-13
EP15306293.0A EP3131284A1 (en) 2015-08-13 2015-08-13 Methods, systems and aparatus for hdr to hdr inverse tone mapping

Publications (1)

Publication Number Publication Date
KR20170020288A true KR20170020288A (ko) 2017-02-22

Family

ID=54014751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160103254A KR20170020288A (ko) 2015-08-13 2016-08-12 Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들

Country Status (6)

Country Link
US (1) US10009613B2 (ko)
EP (2) EP3131284A1 (ko)
JP (1) JP2017037652A (ko)
KR (1) KR20170020288A (ko)
CN (1) CN106488141A (ko)
TW (1) TW201724855A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100416A (ko) * 2017-02-15 2019-08-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056787A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method of controlling the same
US9875694B2 (en) * 2015-09-16 2018-01-23 Sony Corporation Smoothing brightness transition during channel change
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
JP6814474B2 (ja) 2017-02-28 2021-01-20 国立大学法人 東京大学 電気泳動分析チップおよび電気泳動分析装置
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
US10402952B2 (en) 2017-06-02 2019-09-03 Apple Inc. Perceptual tone mapping of SDR images for an HDR display
WO2018231968A1 (en) * 2017-06-16 2018-12-20 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
US11288781B2 (en) 2017-06-16 2022-03-29 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
US11039045B2 (en) * 2017-07-14 2021-06-15 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method
CN107454340B (zh) * 2017-07-28 2019-12-27 广州翼拍联盟网络技术有限公司 基于高动态范围原理的图像合成方法、装置及移动终端
US10187622B1 (en) * 2017-09-08 2019-01-22 Apple Inc. Image data format conversion systems and methods
EP3503019A1 (en) * 2017-12-21 2019-06-26 Thomson Licensing Improved inverse tone mapping method and corresponding device
EP3503017A1 (en) * 2017-12-22 2019-06-26 Vestel Elektronik Sanayi ve Ticaret A.S. Method and display device
TWI680675B (zh) * 2017-12-29 2019-12-21 聯發科技股份有限公司 影像處理裝置與相關的影像處理方法
KR102460390B1 (ko) * 2018-01-24 2022-10-28 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
EP3522107A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings Method and apparatus for generating hdr images with reduced clipped areas
CN112204617B (zh) 2018-04-09 2023-09-05 杜比实验室特许公司 使用神经网络映射的hdr图像表示
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
CN109672829B (zh) * 2019-01-04 2021-02-02 Oppo广东移动通信有限公司 图像亮度的调整方法、装置、存储介质及终端
WO2021030375A1 (en) * 2019-08-12 2021-02-18 Dolby Laboratories Licensing Corporation Adaptive image data linearization for hdr image sensors
CN112686809A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 处理高动态范围图像的方法和装置
EP4058976A1 (en) * 2019-11-15 2022-09-21 Huawei Technologies Co., Ltd. Device and method for pre-processing image data for a computer vision application
CN114556954B (zh) * 2019-12-04 2024-06-04 谷歌有限责任公司 混合动态范围内容的重映射
US11301973B2 (en) * 2020-03-30 2022-04-12 Arm Limited Tone mapping method
US11475549B1 (en) * 2021-06-04 2022-10-18 Nvidia Corporation High dynamic range image generation from tone mapped standard dynamic range images
KR20230035827A (ko) 2021-09-06 2023-03-14 삼성전자주식회사 시스템 온 칩 및 이를 포함하는 모바일 장치
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN113822826B (zh) * 2021-11-25 2022-02-11 江苏游隼微电子有限公司 一种低照度图像亮度增强方法
CN114827484B (zh) * 2022-04-22 2023-10-20 咪咕视讯科技有限公司 视频画质增强方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050511B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
WO2011042229A1 (en) * 2009-10-08 2011-04-14 International Business Machines Corporation Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image
CN102348048A (zh) * 2011-09-16 2012-02-08 中山大学 一种自适应时空域累积滤波和色调映射的视频增强方法
WO2013046096A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
TR201911093T4 (tr) * 2012-03-26 2019-08-21 Koninklijke Philips Nv Hdr görüntü kodlamaya ve kod çözmeye yönelik parlak bölge tabanlı aparatlar ve yöntemler.
CN102722868B (zh) * 2012-05-23 2014-08-20 西安理工大学 一种高动态范围图像色调映射方法
JP6368365B2 (ja) * 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
WO2015077329A1 (en) 2013-11-22 2015-05-28 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100416A (ko) * 2017-02-15 2019-08-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들에 대한 톤 곡선 매핑

Also Published As

Publication number Publication date
US10009613B2 (en) 2018-06-26
EP3131284A1 (en) 2017-02-15
JP2017037652A (ja) 2017-02-16
US20170048520A1 (en) 2017-02-16
TW201724855A (zh) 2017-07-01
CN106488141A (zh) 2017-03-08
EP3131285A1 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
US10009613B2 (en) Method, systems and apparatus for HDR to HDR inverse tone mapping
EP3220350B1 (en) Methods, apparatus, and systems for extended high dynamic range hdr to hdr tone mapping
US20180167597A1 (en) Methods, apparatus, and systems for hdr tone mapping operator
KR102631484B1 (ko) 이미지들 및 비디오의 전기-광학 및 광-전기 변환을 위한 방법들, 시스템들 및 장치
CN112106357B (zh) 用于对图像数据进行编码和解码的方法及装置
US10902601B2 (en) Segment-based reshaping for coding high dynamic range video
EP3479343A1 (en) Efficient histogram-based luma look matching
RU2758035C2 (ru) Способ и устройство для реконструкции данных изображений по декодированным данным изображений
WO2018231968A1 (en) Efficient end-to-end single layer inverse display management coding
JP2018530942A (ja) コード化および復号方法ならびに対応するデバイス
US11288781B2 (en) Efficient end-to-end single layer inverse display management coding
KR102496345B1 (ko) Hdr 대 sdr 변환 동안의 컬러 보정을 위한 방법 및 장치
TWI740830B (zh) 圖框之編碼方法和裝置及其解碼方法和裝置，電腦程式製品和處理器可讀式媒體，以及非暫態儲存媒體
EP3051823A1 (en) Methods, systems and aparatus for electro-optical and opto-electrical conversion of images and video
KR102369771B1 (ko) 디스플레이 적응형 ｈｄｒ 이미지를 재구성하기 위한 방법 및 디바이스
RU2776101C1 (ru) Способ и устройство для восстановления адаптированного к дисплею изображения hdr
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
BR102017025044A2 (pt) Método e dispositivo para reconstruir uma imagem em hdr adaptada para exibição