KR20220038189A - 소스 색 볼륨 정보 메시징 - Google Patents

소스 색 볼륨 정보 메시징 Download PDF

Info

Publication number
KR20220038189A
KR20220038189A KR1020227008975A KR20227008975A KR20220038189A KR 20220038189 A KR20220038189 A KR 20220038189A KR 1020227008975 A KR1020227008975 A KR 1020227008975A KR 20227008975 A KR20227008975 A KR 20227008975A KR 20220038189 A KR20220038189 A KR 20220038189A
Authority
KR
South Korea
Prior art keywords
source
video
color
bitstream
color volume
Prior art date
Application number
KR1020227008975A
Other languages
English (en)
Other versions
KR102433239B1 (ko
Inventor
타오 첸
펭 인
타오란 루
월터 제이. 후삭
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority to KR1020227027860A priority Critical patent/KR102526108B1/ko
Publication of KR20220038189A publication Critical patent/KR20220038189A/ko
Application granted granted Critical
Publication of KR102433239B1 publication Critical patent/KR102433239B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Diaphragms For Electromechanical Transducers (AREA)
  • Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Digital Computer Display Output (AREA)

Abstract

SEI 메시징을 사용하여 코딩된 비트스트림에 소스 색 볼륨 정보를 전달하는 방법이 기술된다. 이러한 데이터는 소스 데이터의 입력 색 프라이머리(예를 들어, 적색, 녹색 및 청색)에 대한 색 볼륨 x 및 y 색도 좌표를 포함할 수 있는 선택적인 데이터를 더한 소스 데이터에서의 적어도 최소, 최대 및 평균 휘도 값 및 소스 데이터에서 최소, 평균 및 최대 휘도 값에 대응하는 색 프라이머리에 대한 색 x 및 y 색도 좌표를 포함한다. 각 픽처에서 활성 영역을 시그널링하는 데이터의 메시징도 포함될 수 있다.

Description

소스 색 볼륨 정보 메시징{SOURCE COLOR VOLUME INFORMATION MESSAGING}
연관된 출원에 대한 상호 참조
본 출원은 2016년 11월 29일에 출원된 미국 가특허출원 제62/427,677호 및 2016년 10월 5일에 출원된 미국 가특허출원 제62/404,302호에 대한 우선권의 이익을 주장하며, 이들 양자는 그 전체 내용이 본원에 참조로 포함된다.
기술분야
본 발명은 일반적으로 이미지에 관한 것이다. 더 구체적으로, 본 발명의 일 실시예는 소스 색 볼륨 정보(source color volume information)를 전달하고(communicating) 처리하는 것에 관한 것이다.
"coding of moving video"에 대한 권고(Recommendation) ITU-T H.265 [1](또한, HEVC로 알려짐)의 부록 D(Annex D) "Supplemental enhancement information(SEI)", 및 부록 E "Video usability information(VUI)"는 디코더(decoder)가 디코딩(decoding)된 샘플을 디스플레이로 더 좋게 매핑할 수 있도록, 코딩된 비트스트림(bitstream)에 보충적(supplemental) SEI 및 VUI 정보를 제공하는 신택스(syntax)를 기술한다.
MPEG/ITU 표준화 처리와 병행하여, 동영상 및 텔레비전 기술자 협회(society of motion picture and television engineers, SMPTE)는 또한, 소스 비디오 및 대상 디스플레이 양자에 대한 색 볼륨 정보에 관련된 메타데이터를 전달하는 것에 관련된 다수의 권고를 정의하고 있다. 예를 들어, SMPTE ST 2094 문서 모음(예를 들어, [5] 및 [6])은 비디오 콘텐츠의 색 볼륨 변환에 사용할 메타데이터를 정의한다. 이들 메타데이터는 장면 단위(scene-by-scene)로 또는 프레임 단위(frame-by-frame)로 변할 수 있다. 예를 들어, 이러한 메타데이터는 소스 이미지의 마스터링(mastering)에 사용되는 마스터링 디스플레이(mastering display)의 것보다 더욱 작은 색 볼륨을 갖는 디스플레이상에 높은 동적 범위(high-dynamic range, HDR) 및 넓은 색영역(wide color gamut, WCG) 데이터를 나타내기 위해 디코더를 보조할 수 있다.
본원에서 사용된 "메타데이터"란 용어는 코딩된 비트스트림의 부분으로 송신되는 어느 보조 정보에 관련되고 디코딩된 이미지를 렌더링하기 위해 디코더를 보조한다. 이러한 메타데이터는 본원에서 서술되는 색 공간 또는 색영역 정보, 예측 파라미터, 기준 디스플레이 파라미터 및 보조 신호 파라미터를 포함할 수 있지만, 이에 제한되지 않는다.
H.265의 부록 D 및 E가 메타데이터와 관련된 다수의 색 볼륨을 지원하지만, 이는 HDR 콘텐츠의 가장 효율적인 디스플레이 관리를 위해 요구되는 모든 메타데이터를 포함하지는 않는다. 2016년 7월, 제네바에서의 비디오 코딩 연합팀(joint collaborative team on video coding, JCT-VC) 미팅에서, SEI 또는 VUI 메시징을 이용하여 콘텐츠 색 볼륨 정보를 어떻게 기술할지에 대한 3개의 제안 [2-4]이 제출되었다. 이들 제안 중 일부는 SMPTE ST. 2094 [5]에 의해 영향을 받았지만, 이들은 범위가 상당히 달랐다.
[2]에서, 비디오 콘텐츠의 실제 색 분포를 기술하는, 2D에서의 콘텐츠 색영역을 시그널링(signals)하기 위해 콘텐츠-SEI 메시지가 제안되었다. VUI에서, 변수 colour_primaries는 트루 소스(true source) 색영역 대신에 컨테이너(container) 색영역을 나타내기 위해 사용된다 [1]. [3]에서, 다수의 프라이머리 표현(primary expressions) 및 공간적 영역이 식별된 소스 특성과 연관되도록 제안된다. [4]에서, 콘텐츠 색 볼륨 SEI 메시지는 콘텐츠에 의해 점유된 색 볼륨을 나타내도록 제안된다. 이는 색 좌표의 (x, y, Y) 기술(description)을 이용하고, 각 슬라이스에 대해 연관된 다각형(polygons)을 갖는 휘도 Y의 슬라이스를 갖는다. 이들 제안은 대부분의 디스플레이 제조업자에 대해 거의 사용되지 않는 정보를 제공하고, 상당한 오버헤드를 추가할 수 있으며, 너무 많은 계산적 오버헤드의 발생을 필요로 할 수 있는 것과 같은 다수의 결점을 갖는다. 여기서 본 발명자에 의해 인식된 기존의 코딩 및 디코딩 방식을 개선하기 위해, 소스 색 볼륨 정보를 생성하고 전달하기 위한 개선된 기술이 요구된다.
이 섹션에서 기술되는 접근법은 추구될 수 있었던 접근법이지만, 이전에 생각되었거나 추구되었던 필요적 접근법은 아니다. 그러므로, 달리 지시되지 않는 한, 이 섹션에서 기술되는 접근법 중 어느 것이 단지 이 섹션에 포함된 것만으로 종래기술로서 자격이 있는 것으로 가정되지 않아야 한다. 유사하게, 달리 지시되지 않는 한, 하나 이상의 접근법에 대해 확인된 문제점이 이 섹션을 기초로 어느 종래 기술에서 인식된 것으로 가정되지 않아야 한다.
본 발명의 일 실시예는 참조 번호와 같은 것이 유사한 요소를 나타내는 첨부도면의 도면에서 예시적으로 도시되며, 이에 제한되지 않는다.
도 1은 본 발명의 일 실시예에 따른 비디오 전달 파이프라인(video delivery pipeline)에 대한 예시적인 처리를 도시한다.
도 2는 비디오 컨테이너 포맷(video container format)에 대해 가능한 "가장 큰" 색 볼륨 플롯(plot)의 일 예시를 도시한다.
도 3a는 컨테이너 색 볼륨 내의 소스 콘텐츠 영역의 일 예시를 도시한다.
도 3b 및 도 3c는 특정 휘도(Y) 값에서의 컨테이너 및 소스 색 볼륨의 2D 슬라이스의 예시를 도시한다.
도 4는 본 발명의 일 실시예에 따라 SEI 메시징으로부터 소스 색 볼륨 정보를 추출하는 예시적인 처리를 도시한다.
SEI 메시징을 사용하여 소스 색 볼륨 정보를 전달하는 기법이 본원에 기술된다. 다음의 설명에서, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정한 세부사항이 제시된다. 하지만, 본 발명은 이들 특정한 세부사항 없이 실시될 수 있음이 명백할 것이다. 다른 예들에서, 잘 알려진 구조 및 디바이스는 본 발명을 불필요하게 한정하거나, 모호하게 하거나 또는 애매하게 하는 것을 피하기 위해 철저히 상세하게 기술되지는 않는다.
개요
본원에 서술된 예시적인 실시예는 SEI 메시징을 사용하여 소스 색 볼륨 정보를 전달하는 기법에 관한 것이다. 디코더에서, SEI 메시징을 추출하는 프로세서는 입력 비트스트림 내의 소스 색 볼륨 정보의 존재를 식별하는 소스 색 볼륨 식별 메시징 변수(source color volume identification messaging variable)를 수신한다. 프로세서는 소스 색 볼륨 정보의 부분으로서 제1 메시징 변수를 수신한다. 제1 메시징 변수가 미리 결정된 제1 값에 매칭하는 경우, 하나 이상의 색 프라이머리(color primaries)에 대해, 이는 입력 비트스트림 내의 소스 색 볼륨 정보를 기초로 하나 이상의 색 프라이머리에 대해 x 및 y 색도 좌표(chromaticity coordinates)를 생성한다. 이는 입력 비트스트림 내의 소스 색 볼륨 정보를 기초로 최소, 최대 및 평균 휘도 값을 생성한다. 프로세서는 소스 색 볼륨 정보의 부분으로서 제2 메시징 변수를 수신하고, 제2 메시징 변수가 미리 결정된 제2 값에 매칭하는 경우, 하나 이상의 색 프라이머리에 대해, 이는 소스 색 볼륨 정보를 기초로 최소, 최대 및 평균 휘도 값에 대응하는 하나 이상의 색 프라이머리에 대해 x 및 y 색도 좌표를 생성한다.
소스 색 볼륨 메시징의 예시
도 1은 비디오 촬영으로부터 비디오 콘텐츠 디스플레이로의 다양한 단계를 도시하는 비디오 전달 파이프라인(100)의 예시적인 처리를 도시한다. 비디오 프레임(102)의 시퀀스는 이미지 생성 블록(105)을 사용하여 촬영 또는 생성된다. 비디오 프레임(102)은 비디오 데이터(107)를 제공하기 위해, (예를 들어, 디지털 카메라에 의해) 디지털로 촬영되거나 또는 컴퓨터에 의해 (예를 들어, 컴퓨터 애니메이션을 사용하여) 생성될 수 있다. 대안적으로, 비디오 프레임(102)은 필름 카메라에 의해 필름 상에 촬영될 수 있다. 적절한 편집(미도시) 이후에, 필름은 비디오 데이터(107)를 제공하기 위해 디지털 포맷으로 변환된다.
그 후, 후-제작(post-production) 편집을 위한 블록(110)에서 비디오 데이터(107)는 프로세서에 제공된다. 후-제작 편집(110)은 비디오 제작자의 창의적인 의도에 따라 이미지 품질을 개선하거나 또는 이미지에 대한 특정 외관을 달성하기 위해, 이미지의 특정 구역에서 색 또는 밝기를 조절(adjusting)하거나 수정(modifying)하는 것을 포함할 수 있다. 이는 때때로, "색 조정(color timing)" 또는 "색 보정(color grading)"으로 불린다. 배포용 제작물의 최종 버전(112)을 만들기 위해, 다른 편집(예를 들어, 장면 선택 및 순서화(sequencing), 이미지 크로핑(image cropping), 컴퓨터-생성된 시각적인 특수 효과의 추가 등)이 블록(110)에서 수행될 수 있다. 후-제작 편집(110) 동안, 비디오 이미지는 기준 디스플레이(125)(또한, 스튜디오가 비디오를 최적화하기 때문에, "대상 디스플레이"로 지칭됨) 상에서 관찰된다.
일부 실시예에서, 비디오 코딩(120) 이전에, 비디오 콘텐츠는 예를 들어, SMPTE ST 2094-1 [5]에서 정의된, 또는 본 발명 이후에 정의될 소스 색 볼륨 메타데이터(119)를 추출하기 위해 분석될 수 있다. 이러한 메타데이터는 또한, 다운스트림(downstream) 수신기가 가능한 최선의 방식으로 디코딩된 데이터를 렌더링(render)할 수 있도록, 대상 디스플레이(예를 들어, 기준 디스플레이(125))의 특성 및 색 재매핑 정보(color remapping information)를 정의할 수 있다.
후-제작(110) 및 소스 색 볼륨 분석(115) 이후에, 최종 제작물의 비디오 데이터(117) 및 연관된 메타데이터(119)는 텔레비전 세트, 셋톱박스, 영화관 등과 같은 디코딩 및 재생 디바이스로 다운스트림 방향으로 전달하는 인코딩(encoding) 블록(120)에 적절한 색 포맷(예를 들어, 10 비트의 YCbCr 4:2:0, ICtCp 등)으로 전달될 수 있다. 일부 실시예에서, 코딩 블록(120)은 코딩된 비트스트림(122)을 생성하기 위해, ATSC, DVB, DVD, 블루레이 및 다른 전달 포맷에 의해 정의된 것과 같은 오디오 및 비디오 인코더를 포함할 수 있다. 코딩된 비트스트림(122)은 단일 계층의 비디오 코딩된 비트스트림으로 또는 다중 계층의 비트스트림으로 나타낼 수 있다. 예를 들어, 다중 계층 비트스트림에서, 신호(122)는 기본 계층(즉, SDR 계층 또는 10 비트의 HDR(HDR10) 계층) 및, 기본 계층과 결합될 때 기본 계층 단독에 비해 더욱 높은 동적 범위를 갖는 HDR 비트스트림(예를 들어, 12 비트의 HDR 신호)을 만드는 향상(enhancement) 계층을 포함할 수 있다. 인코더(120)로부터의 출력 비트스트림인 신호(122)는 또한, 메타데이터(119)와, HDR 신호를 더욱 좋게 재구성하기 위해 디코더를 보조하기 위한 예측 파라미터 및 다른 데이터와 같은 추가적인 코딩 관련(coding-related) 메타데이터를 포함할 수 있다.
수신기에서, 코딩된 비트스트림(122)은 디코딩된 신호(132) 및 연관된 메타데이터(119)를 생성하기 위해, 디코딩 유닛(130)에 의해 디코딩된다. 수신기(또는 대상) 디스플레이(150)는 기준(또는 대상) 디스플레이(125)와 완전히 상이한 특성을 가질 수 있다. 예를 들어, 제한 없이, 기준 디스플레이(125)는 1,000 니트(nits)의 디스플레이일 수 있는 한편, 수신기 디스플레이는 500 니트의 디스플레이일 수 있다. 이 경우, 디스플레이 관리 모듈(140)은 디스플레이 매핑된 신호(142)를 생성함으로써 수신기 디스플레이(150)의 특성에, 디코딩된 신호(132)의 동적 범위를 매핑하도록 사용될 수 있다. 본원에서 사용된 "디스플레이 관리"란 용어는 제1 동적 범위(예를 들어, 1000 니트)의 입력 비디오 신호를 제2 동적 범위(예를 들어, 500 니트)의 디스플레이에 매핑하도록 요구되는 처리(예를 들어, 톤 및 영역 매핑(tone and gamut mapping))를 나타낸다. 디스플레이 관리 유닛(140)은 디스플레이(150) 상에서 출력 비디오의 품질을 개선하기 위해 메타데이터(119)를 고려할 수 있다. 예를 들어, [7]에 도시된 바와 같이, 대상(또는 기준) 디스플레이(예를 들어, 125)의 휘도 범위에 대한 정보 및 소스 데이터는 비디오 콘텐츠의 동적 범위를 수신기 디스플레이(예를 들어, 150)로 더욱 좋게 매핑하기 위해 수신기 상에서 사용될 수 있다.
색 볼륨 정보
도 2는 미리 정의된 컨테이너 포맷(예를 들어, BT. 2020)의 가능한 "가장 큰" 색 볼륨(또한, "컨테이너 색 볼륨"으로 지칭됨)의 예시를 도시한다. 이러한 볼륨은 2차원(2D) 색영역 프라이머리, 백색점 색도(예를 들어, D65), 최대 휘도 값(예를 들어, Lmax = 4,000 니트) 및 최소 휘도 값(예를 들어, 0.005 니트)에 의해 구성될 수 있다. 이러한 플롯은 소스 비디오 콘텐츠 내에서 전체 색에 대해 가능한 가장 큰 색 볼륨 경계를 나타낸다.
실제로, 도 3a에서 더욱 어두운 "클라우드(cloud, 305)" 또는 도 3b 및 도 3c에서 더욱 어두운 영역(305)으로 도시된 바와 같이, 특정한 프레임에 대한 또는 심지어 전체 장면 내의 소스 콘텐츠(예를 들어, 112)의 소스 색 볼륨은 가능한 가장 큰 색 볼륨(310)보다 상당히 작을 수 있다. 실제 색 볼륨(305)이 매우 불규칙한 형태를 갖기 때문에, 각 프레임 또는 전체 장면에 대해 이러한 소스 색 볼륨 정보를 송신하는 것은 수많은 정보를 요구한다. 예를 들어, 일 실시예에서 다수의 휘도 값(즉, 0.1, 1, 10 등)에 대한 색영역 정보가 시그널링될 수 있다. 그러면 논점은: 가장 중요한 휘도 값이 몇 개이고 어느 것인가? 가 된다. 또한, 코딩된 비트스트림 상에서 이러한 정보의 요구되는 오버헤드뿐만 아니라, 인코더 상에서 이러한 콘텐츠를 생성하는 것 및/또는 디코더 상에서 색 볼륨 정보를 재구성하는 것의 복잡도가 고려되어야 한다.
본 발명자에 의해 인식된 바와 같이, 소스 콘텐츠 내의 최소 및 최대 휘도 값을 전달하는 것이 중요하지만, 평균 휘도(또는 중간 점 휘도)를 전달하는 것도 수신기에 유용하다. 이들 세 개의 값은 함께 디스플레이 매핑에 대해 알맞은(reasonable) 톤 굴곡(tone curve)을 생성하는데 도움을 줄 수 있다. 본 개시에서, 소스 색 볼륨을 기술하기 위해 다음의 메타데이터: a) 소스가 점유한 가장 큰 2D 색영역(예를 들어, 소스 색 볼륨); b) 소스의 최대, 최소 및 평균 휘도; 및 c) 선택적으로, 이들 세 개의 휘도 값에 대해 슬라이스된 (2D) 색영역(예를 들어, 도 3b 및 도 3c 참조)을 시그널링하는 것이 제안된다. 컨테이너 프라이머리 및 소스 콘텐츠 프라이머리의 백색점이 동일해야 하는 것으로 가정되며, 따라서 이러한 정보를 재송신할 이유가 없다. 이 정보는 예를 들어, 프레임 단위 또는 장면 단위를 기초로 필요할 때 갱신될 수 있다. 도 3b 및 도 3c는 특정 휘도(Y) 값에서 소스 색 볼륨(305) 및 콘테이너 색 볼륨(310)의 2D 슬라이스의 예시를 도시한다. 도 3b에서, 2D 슬라이스는 Y = 84 니트이고, 도 3c에서 2D 슬라이스는 Y = 246 니트이다. 소스 색 볼륨(305)을 둘러싸고 컨테이너 RGB 공간 내의 색도(rgb) 삼각형(chromaticity (rgb) triangles)은 예시의 목적으로만 제공된다. 인코더는 수신기에 대해 정의하고 전달하도록 더욱 작거나 큰 이러한 구역을 선택할 수 있다.
표 1은 H.265 규격의 명명(nomenclature) 및 신택스에 따르는 실시예에 따른 소스 색 볼륨 SEI 메시징의 예시를 도시한다. 색 프라이머리의 기술은 ISO 11664-1(또한 ISO 11664-3 및 CIE 15 참조)에 정의된 색 프라이머리에 대한 CIE 1931 (x,y) 색상 색도 좌표의 정의에 따르며, 적색, 녹색 및 청색 프라이머리를 사용한다. 사각형, 오각형 또는 육각형 또는 다른 다각형 기반의 색 프라이머리 표현과 같은 다른 타입의 색 프라이머리가 또한 사용될 수 있다. 일 실시예에서 소스 콘텐츠 내의 가장 큰 실제 색영역에 대해, 제한 없이, 신택스는 H.265 규격의 섹션 E.3.1의 표 E.3에 정의된 colour_primaries 파라미터(또는 변수)의 정의와 유사하다. 현재 소스 콘텐츠가 P3 색 공간에 도달할 수 있음이 믿어지지만, BT. 2020/2010 색에 도달하기 위해서는 일부 시간이 걸릴 것이다("DCI-P3"는 SMPTE EG 432-1 및 SMPTE RP 431-2에 정의된다). 그러므로, 소스 색영역이 P3 이하이거나, 또는 BT. 2020/2010 색 프라이머리와 동일한 경우, 표 E.3이 사용될 수 있다; 하지만, 색영역이 P3보단 크지만, BT. 2020/2010보다는 작은 소스에 대해, 색영역의 명백한 시그널링이 요구될 수 있다. 휘도 값은 그의 절대값을 사용하여 니트 (cd/m 2)로 지정된다. 대안적으로, 비트를 절약하기 위해, 휘도 값은 또한, 비선형 표현을 사용하여 예를 들어, SMPTE ST 2084의 반전 EOTF에 따라 인코딩된 값으로 인코딩될 수 있다. 최대, 최소 및 평균(중간) 휘도 값에 대응하는 색영역 정보는 선택적으로 만들어질 수 있고, 이는 응용이 바람직할 때 메타데이터 오버헤드를 줄이는 응용을 허용한다.
주의: 바람직한 실시예에서, 1) 소스 색 볼륨 메타데이터는 어느 루마(luma) 또는 크로마(chroma) 전처리 이전에, 소스의 색 볼륨을 그의 원래의 형태로 기술해야 한다. 예를 들어, 이는 크로마 서브샘플링(chroma subsampling) 또는 비트 뎁스(depth) 변환이 색 볼륨 정보를 수정할 것이기 때문에, (예를 들어, 4:4:4로부터 4:2:0으로의) 어느 크로마 서브샘플링 처리 또는 (예를 들어, 12 b로부터 10 b로의) 비트 뎁스(depth) 변환 처리 이전에, 소스 색 볼륨을 기술해야 한다. 2) 소스 색영역은 H.265의 부록 E(예를 들어, 표 E.3)에 나타난 컨테이너 색 프라이머리와 통상적으로 상이하다. 3) 소스 색 볼륨은 마스터링 디스플레이 색 볼륨 SEI 메시지에 의해 나타날 수 있는 마스터링 디스플레이 색 볼륨과 통상적으로 상이하다.
예시적인 실시예에서, 표 1 내의 파라미터(또는 변수) 및 코딩 시멘틱스(coding semantics)는 다음과 같이 기술될 수 있다.
source_colour_volume_id는 소스 색 볼륨의 목적을 식별하기 위해 사용될 수 있는 식별 번호이다. source_colour_volume_id의 값은 232 - 2까지의 범위 내에 있어야 한다. 0으로부터 255까지의 및 512로부터 231 - 1까지의 source_colour_volume_id의 값은 응용(application)에 의해 결정된 것으로서 사용될 수 있다. 256으로부터 511까지, 그리고 231로부터 232　-　2까지의 source_colour_volume_id의 값은 ITU-T | ISO/IEC에 의해 훗날 사용을 위해 예약된다. 디코더는 256로부터 511까지의 범위 내에 있거나 또는 231로부터 232　-　2까지의 범위 내에 있는 source_colour_volume_id의 값을 포함하는 모든 색 재매핑 정보 SEI 메시지를 무시해야 하고, 비트스트림은 이러한 값을 포함하지 않아야 한다.
source_colour_volume_cancel_flag가 1인 것은 소스 색 볼륨 SEI 메시지가 현재 계층에 적용되는 출력 순서로 어느 이전의 소스 색 볼륨 SEI 메시지의 지속성(persistence)을 취소시키는(cancels) 것을 나타낸다. source_colour_volume_cancel_flag가 0인 것은 소스 색 볼륨이 따른다는 것을 나타낸다.
source_colour_volume_persistence_flag는 현재 계층에 대한 소스 색 볼륨 SEI 메시지의 지속성을 지정한다. source_colour_volume_persistence_flag가 0인 것은 소스 색 볼륨 정보가 현재 픽처에만 적용된다는 것을 지정한다.
picA이 현재 픽처라고 하자. source_colour_volume_persistence_flag가 1인 것은 다음의 조건:
- 현재 계층의 새로운 코딩 계층 비디오 시퀀스(coded-layer video sequence, CLVS)가 개시됨
- 비트스트림이 종료됨
- source_colour_volume_id의 동일한 값을 갖는 소스 색 볼륨 SEI 메시지를 포함하고 현재 계층에 적용 가능한(applicable) 액세스 유닛(access unit)에서의 현재 계층에서의 픽처 picB가 PicOrderCnt(　picB　)가 PicOrderCnt(　picA　)보다 크도록 출력됨 - PicOrderCnt(　picB　) 및 PicOrderCnt(　picA　)는 각각 picB에 대한 픽처 순서 계수(picture order count)에 대한 디코딩 처리의 발동(invocation) 직후에 picB 및 picA의 PicOrderCntVal 값임 -
중 어느 것이 참일 때까지 소스 색 볼륨이 출력 순서로 현재 계층에 대해 지속되는 것을 지정한다.
source_colour_primaries는 E.3.1 절에서 colour_primaries가 컨테이너 소스 색 프라이머리를 시그널링하고, source_colour_primaries가 소스 콘텐츠가 실제로 점유하는 컬러 프라이머리를 시그널링한다는 점을 제외하고, colour_primaries 신택스 요소에 대해 E.3.1 절에서 지정된 것과 동일한 시멘틱스를 갖는다.
source_colour_primaries의 값이 2일 때, source_colour_primaries는 신택스 source_primaries_x[c] 및 source_primaries_y[c]에 의해 명시적으로 지정된다.
source_primaries_x[　c　] 및 source_primaries_y[　c　]는 ISO 11664-1(또한, ISO 11664-3 및 CIE 15 참조)에 지정된 x 및 y의 CIE 1931 정의에 따라, 0.00002의 증분으로 각각 소스 콘텐츠의 색 프라이머리 성분(c)의 정규화된 x 및 y 색도 좌표를 지정한다. 적색, 녹색 및 청색 프라이머리를 사용하는 소스 콘텐츠를 기술하기 위해, 0인 색인 값(c)이 녹색 프라이머리에 대응하고, 1인 c가 청색 프라이머리에 대응하며, 2인 c가 적색 프라이머리에 대응해야 하는 것이 제안된다(또한, 부록 E 및 표 E.3 참조). source_primaries_x[　c　] 및 source_primaries_y[　c　]의 값은 0 내지 50,000까지의 범위 내에 있어야 한다.
max_source_luminance, min_source_luminance 및 avg_source_luminance는 각각 소스의 공칭(nominal) 최대, 최소 및 평균 휘도를 0.0001 cd/m2(니트)의 단위로 지정한다. min_source_luminance는 avg_source_luminance 미만이어야 하고, avg_source_luminance는 max_source_luminance 미만이어야 한다.
luminance_colour_primaries_info_present_flag가 1인 것은 신택스 요소 luminance_primaries_x 및 luminance_primaries_y가 존재하는 것을 지정하고, luminance_colour_primaries_info_present_flag가 0인 것은 신택스 요소 luminance_primaries_x 및 luminance_primaries_y가 존재하지 않는 것을 지정한다.
luminance_primaries_x[　i　][　c　] 및 luminance_primaries_y[　i　][　c　]는 ISO 11664-1(또한, ISO 11664-3 및 CIE 15 참조)에 지정된 x 및 y의 CIE 1931 정의에 따라, 0.00002의 증분으로 하나의 공칭 휘도에서 각각 소스 콘텐츠의 색 프라이머리 성분(c)의 정규화된 x 및 y 색도 좌표를 지정한다. 소스 콘텐츠 휘도를 기술하기 위해, 색인(index) 값(0, 1 및 2)은 각각 max_source_luminance, min_source_luminance 및 avg_source_luminance에 대응해야 한다. 적색, 녹색 및 청색 프라이머리를 사용하는 소스 콘텐츠를 기술하기 위해, 0인 색인 값(c)이 녹색 프라이머리에 대응하고, 1인 c가 청색 프라이머리에 대응하며, 2인 c가 적색 프라이머리에 대응해야 하는 것이 제안된다(또한, 부록 E 및 표 E.3 참조). source_primaries_x[　c　] 및 source_primaries_y[　c　]의 값은 0 내지 50,000까지의 범위 내에 있어야 한다.
표 1은 소스 색 볼륨의 유용한 표현을 위한 최소 정보로 믿어지는 것을 제공한다. 다른 실시예에서, 각 슬라이스에 대해 연관된 다각형을 통해, 휘도(Y)의 세 개를 초과하는 슬라이스의 색 플라이머리의 기술(description) 또는 다수의 프라이머리 표현 [3]과 유사한 추가적인 세부사항을 정의하는 것이 결정될 수 있다.
Figure pat00001
도 4는 일 실시예에 따라 SEI 메시징을 사용하여 비디오 소스에 대한 색 볼륨 정보를 추출하는 예시적인 처리를 도시한다. 먼저, (405)에서, 디코더는 소스 색 볼륨 정보(예를 들어, source_colour_volume_id)의 식별 번호(ID)를 나타내는 제1 SEI 메시징 변수가 존재하는지를 검출할 수 있다. 그 후, 이러한 변수가 존재하는 것으로 주어지면, 디코더는 그 값이 허용되는 범위 내에 있는지 검사할 수 있다(단계 407). 부적법한 값(illegal value)인 경우, 처리가 종료된다(단계 409). 적법한 값(legal value)인 경우, 단계(410)에서 또한 표 1에 도시된 바와 같이, 디코더는 제1 변수의 지속성에 관련된 추가적인 플래그(예를 들어, source_colour_volume_cancel_flag 및 source_colour_volume_persistence_flag에 대한 신택스 요소 참조)를 비트스트림을 통해 읽을 수 있다. 단계(412)에서, 제2 SEI 메시징 파라미터(예를 들어, source_colour_primaries)를 통해, 디코더는 메타데이터가 소스 데이터 콘텐츠가 실제로 점유하는 색 볼륨을 명시적으로 정의하는지를 검사할 수 있다. 참인 경우(예를 들어, source_colour_primaries = 2), 단계(420)에서, 각각의 색 프라이머리(예를 들어, 적색, 녹색 및 청색)에 대한 (x, y) 색상 색도 좌표가 읽혀지고, 그렇지 않은 경우, 단계(425)에서, 디코더는 최소, 최대 및 평균 휘도 값을 추출한다. 선택적으로, SEI 메시징은 또한, 이전에 정의된 최소, 중간 및 최대 휘도 값의 색 프라이머리에 대응하는 (x, y) 색상 색도 좌표를 정의할 수 있다. 일 실시예에서, 이는 제3 파라미터에 의해 나타날 수 있다(예를 들어, luminance_colour_primaries_info_present_flag = 1). 이러한 정보가 존재하지 않는 경우(단계 430) 처리가 종료되고(409), 그렇지 않은 경우 (단계 435에서) 디코더는 최소, 중간 및 최대 휘도 값의 각각에 대한 색 프라이머리에 대한 (x, y) 색상 색도 좌표를 추출한다.
소스 색 볼륨 정보를 추출한 후에, 디코더는 그의 디스플레이 관리 처리(예를 들어, 140) 동안 소스 색 볼륨 데이터를 사용할 수 있다. 일 예시에서, 디스플레이 관리는 두 개의 단계: 톤 매핑 및 영역 매핑을 포함할 수 있다. 최소, 중간 및 최대 휘도 값은 [6-7]에 서술된 바와 같이 톤 매핑 굴곡을 생성하도록 사용될 수 있다. 최대 RGB 색영역 및 슬라이스된 RGB 영역은 영역 매핑을 수행하기 위해 사용될 수 있다.
활성 영역 고려(Active Region Considerations)
일부 실시예에서, 소스 색 볼륨에 관련된 메타데이터의 부분으로 활성 영역을 정의하는 것이 이로울 수 있다. 예를 들어, 비디오가 레터박스 포맷(letterbox format)으로 인코딩될 때, 인코더 및 디코더는 각 비디오 프레임의 루마 및 크로마 특성(예를 들어, 최소, 최대 및 평균 휘도)을 계산할 때 검은색 레터박스 구역을 포함하지 않아야 한다. 실험 결과는 비디오 시퀀스에서 프레임의 "프레이밍(framing)" 또는 "매팅(matting)"(예를 들어, 필러박싱(pillarboxing), 윈도우박싱(windowboxing)및 레터박싱(letterboxing))을 고려하는 것이 전체 출력 픽처 품질을 상당히 개선시킬 수 있다는 것을 보여준다. 레터 박스 검출이 디코더에 의해 구현될 수 있으므로 활동 픽처 영역을 정의하기 위해 시그널링 오버헤드(signaling overhead)를 감소시키지만, 일 실시예에서 이러한 시그널링은 낮은 계산 복잡도를 갖는 디코더를 지원하기 위해 명백히 시그널링될 수 있다. 표 2는 일 실시예에 따라 활성 영역 시그널링을 통한 소스 색 볼륨 SEI 메시징의 일 예시를 도시한다.
Figure pat00002
표 2는 표 1의 수퍼세트(superset)이고, 활성 영역을 정의하는 두 개의 상이한 의미(semantics)를 고려한다.
시멘틱(Semantic) 1. 일 실시예에서, 활성 영역은 적합성(conformance) 윈도우의 크로핑(cropping) 및 출력 이전에, 디코딩된 픽처에 관련되어 지정된다. 그러면, 활성 영역 파라미터는 다음과 같이 해석될 수 있다.
active_region_flag가 1인 것은 활성 영역 오프셋 파라미터가 소스 색 볼륨 정보 SEI 메시지 다음에 따른다는 것을 나타낸다. active_region_flag가 0인 것은 활성 영역 오프셋 파라미터가 존재하지 않음을 나타낸다.
active_region_left_offset, active_region_right_offset, active_region_top_offset 및 active_region_bottom_offset은 활동 직사각형 영역을 지정한다. active_region_flag가 0일 때, active_region_left_offset, active_region_right_offset, active_region_top_offset 및 active_region_bottom_offset의 값은 0과 같은 것으로 추정된다.
활성 영역은 SubWidthC　*　active_region_left_offset으로부터 pic_width_in_luma_samples - (　SubWidthC　*　active_region_right_offset　+　1　)까지의 수평 픽처 좌표 및 SubHeightC　*　active_region_top_offset으로부터 pic_height_in_luma_samples - (　SubHeightC　*　active_region_bottom_offset　+　1　)까지의 수직 픽처 좌표로 정의된다. SubWidthC　*　(　active_region_left_offset　+　active_region_right_offset　)의 값은 pic_width_in_luma_samples 미만이어야 하고, SubHeightC　*　(　active_region_top_offset　+　active_region_bottom_offset　)의 값은 pic_height_in_luma_samples 미만이어야 한다.
시멘틱 2. 일 실시예에서, 활성 영역 오프셋 값은 디스플레이될 최종 출력 픽처에 관련되어 정의되므로, 적합성 윈도우 파라미터가 고려되어야 한다. 그러면, 활성 영역 파라미터는 다음과 같이 해석될 수 있다:
active_region_flag가 1인 것은 활성 영역 오프셋 파라미터가 소스 색 볼륨 정보 SEI 메시지 다음에 따른다는 것을 나타낸다. active_region_flag가 0인 것은 활성 영역 오프셋 파라미터가 존재하지 않음을 나타낸다.
active_region_left_offset, active_region_right_offset, active_region_top_offset 및 active_region_bottom_offset은 활동 직사각형 영역을 지정한다. active_region_flag가 0일 때 active_region_left_offset, active_region_right_offset, active_region_top_offset 및 active_region_bottom_offset의 값은 0과 같은 것으로 추정된다.
활성 영역은 active_region_left_offset + SubWidthC　*　conf_win_left_offset으로부터 CtbSizeY * PicWidthInCtbsY - SubWidthC　*　conf_win_right_offset - active_region_right_offset -　1까지의 수평 픽처 좌표, 및 active_region_top_offset + SubHeightC　*　conf_win_top_offset으로부터 CtbSizeY　*　PicHeightInCtbsY　-　SubHeightC　*　conf_win_bottom_offset - active_region_bottom_offset - 1까지의 수직 픽처 좌표로 정의된다.
( active_region_left_offset + active_region_right_offset )의 값은 CtbSizeY　*　PicWidthInCtbsY - SubWidthC　*　(conf_win_right_offset + conf_win_left_offset) 미만이어야 하고, ( active_region_top_offset + active_region_bottom_offset )의 값은 CtbSizeY　*　PicHeightInCtbsY　-　SubHeightC　*　(conf_win_bottom_offset + conf_win_top_offset ) 미만이어야 한다.
아래에 열거된 각 참조문헌은 그 전체가 본원에 참조로 포함된다.
참조문헌
[1] Rec. ITU-T H.265, "Series H: Audiovisual and Multimedia systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding", ITU, 2014년 10월.
[2] H.M. Oh 등, "Content colour gamut SEI message", JCTVC-X0040, 2016년 5월, 스위스, 제네바.
[3] A.M. Tourapis, "Improvements to the Effective Colour Volume SEI", JCTVC-X0052, 2016년 5월, 스위스, 제네바.
[4] A.K. Ramasubramonian, "Content colour volume SEI message ", JCTVC-X0069, 2016년 5월, 스위스, 제네바.
[5] SMPTE ST 2094-1:2016: "Dynamic Metadata for Color Volume Transform - Core Components," SMPTE, 2016년 5월 18일.
[6] SMPTE ST 2094-10:2016: "Dynamic Metadata for Color Volume Transform - Application #1," SMPTE, 2016년 5월 18일.
[7] R. Atkins 등, 미국특허공개 제US2016/0005349호, "Display management for high dynamic range video".
예시적인 컴퓨터 시스템 구현
본 발명의 실시예는 컴퓨터 시스템, 전자 회로 및 구성요소로 구성된 시스템, 마이크로컨트롤러와 같은 집적 회로(integrated circuit)(IC) 디바이스, 필드 프로그래머블 게이트 어레이(field programmable gate array)(FPGA), 또는 다른 구성 가능하거나 프로그램 가능한 논리 디바이스(programmable logic device)(PLD), 이산 시간 또는 디지털 신호 프로세서(digital signal processor)(DSP), 응용 주문형 IC(application specific IC)(ASIC) 및/또는 이러한 시스템, 디바이스, 또는 구성요소 중 하나 이상을 포함하는 장치로 구현될 수 있다. 컴퓨터 및/또는 IC는 본원에서 기술된 것과 같이, SEI 메시징을 사용하여 소스 색 볼륨 정보를 전달하는 것에 관련된 명령어를 수행하거나, 제어하거나 또는 실행할 수 있다. 컴퓨터 및/또는 IC는 본원에 기술된 처리에 관련된 다양한 파라미터 또는 값 중 어느 것을 계산할 수 있다. 이미지 및 비디오 실시예는 하드웨어, 소프트웨어, 펌웨어 및 이들의 다양한 조합으로 구현될 수 있다.
본 발명의 특정 구현은 프로세서가 본 발명의 방법을 수행하게 하는 소프트웨어 명령어를 실행하는 컴퓨터 프로세서들을 포함한다. 예를 들어, 디스플레이, 인코더, 셋톱 박스, 트랜스코더 등에서 하나 이상의 프로세서는 프로세서가 액세스할 수 있는 프로그램 메모리 내의 소프트웨어 명령어를 실행함으로써, 상술한 SEI 메시징을 사용하여 소스 색 볼륨 정보를 전달하는 것에 관련된 방법을 구현할 수 있다. 본 발명은 또한 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은 데이터 프로세서에 의해 실행될 때 데이터 프로세서가 본 발명의 방법을 실행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 신호의 세트를 운반하는 어느 비일시적 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품은 매우 다양한 형태 중 어느 것일 수 있다. 프로그램 제품은 예를 들어 플로피 디스켓, 하드 디스크 드라이브를 포함하는 자기 데이터 저장 매체, CD ROM, DVD를 포함하는 광학 데이터 저장 매체, ROM, 플래시 RAM을 포함하는 전자 데이터 저장 매체 등과 같은 물리적 매체를 포함할 수 있다. 프로그램 제품 상의 컴퓨터 판독가능 신호는 선택적으로 압축되거나 암호화될 수 있다.
구성요소(예를 들어, 소프트웨어 모듈, 프로세서, 어셈블리, 디바이스, 회로 등)가 위에서 언급된 경우, 달리 지시되지 않는 한, 그 구성요소에 대한 언급("수단"에 대한 언급을 포함함)은 본 발명의 도시된 예시적인 실시예에서 기능을 수행하는 개시된 구조와 구조적으로 동등하지 않은 구성요소를 포함하는, 기술된 구성요소의 기능을 수행하는(예를 들어, 기능적으로 동등한) 어느 구성요소를 그 구성요소의 등가물로 포함하는 것으로 해석되어야 한다.
등가물, 확장, 대안 및 기타
따라서 SEI 메시징을 사용하여 소스 색 볼륨 정보를 전달하는 것에 관련된 예시적인 실시예가 서술된다. 전술한 명세서에서, 본 발명의 실시예는 구현마다 다를 수 있는 다수의 특정 세부사항을 참조로 설명되었다. 따라서, 본 발명이 무엇인지, 및 출원인에 의해 본 발명으로 의도된 것에 대한 유일하고 배타적인 지시자(indicator)는 청구항이 유래하는 특정 형태의 본 출원으로부터 유래한 청구항의 세트이며 이후의 어느 후속 정정을 포함한다. 이러한 청구항에 포함된 용어에 대해 본원에 명시적으로 제시된 어느 정의는 청구항에 사용된 이러한 용어의 의미에 적용되어야 한다. 그러므로, 청구항에 명시적으로 언급되지 않은 제한, 요소, 특성, 피처, 장점 또는 속성은 어느 방식으로 이러한 청구항의 범위를 제한하지 않아야 한다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주될 것이다.

Claims (5)

  1. 인코딩된 비트스트림을 생성하는 방법으로서, 상기 방법은:
    비디오 픽처의 시퀀스를 수신하는 단계;
    압축된 비디오 픽처를 생성하기 위해 상기 비디오 픽처 중 하나 이상을 인코딩하는 단계;
    상기 압축된 비디오 픽처에 대해 소스 색 볼륨 정보(source color volume information)를 나타내는 메타데이터 메시지를 생성하는 단계; 및
    상기 압축된 비디오 픽처 및 상기 메타데이터 메시지를 포함하는 출력 비디오 비트스트림을 생성하는 단계 - 상기 메타데이터 메시지는:
    상기 인코딩된 비트스트림 내의 하나 이상의 색 프라이머리 성분의 정규화된 x 및 y 색도 좌표(chromaticity coordinates); 및
    최소, 최대 및 평균 휘도(luminance) 값을 포함하는 휘도 값 파라미터 - 상기 최소, 상기 최대 및 상기 평균 휘도 값은 상기 인코딩된 비트스트림 내의 하나 이상의 코딩된 픽처의 활성 영역 또는 픽처에 대한 것임 - 를 포함함 -
    를 포함하는, 인코딩된 비트스트림을 생성하는 방법.
  2. 제1항에 있어서,
    상기 정규화된 x 및 y 색도 좌표는 ISO 11664-1에서 지정된 x 및 y 의 CIE 1931 정의에 따라, 0.00002의 증분으로 지정되는, 인코딩된 비트스트림을 생성하는 방법.
  3. 제1항에 있어서,
    상기 메타데이터 메시지는 SEI(supplemental enhancement information) 메시지를 포함하는, 인코딩된 비트스트림을 생성하는 방법.
  4. 하나 이상의 비일시적 기계 판독 가능한 매체에 저장된 비디오 비트스트림을 포함하는 장치로서, 상기 비디오 비트스트림은:
    압축된 포맷으로 하나 이상의 비디오 픽처를 표현하는 데이터 - 상기 압축된 포맷으로 상기 하나 이상의 비디오 픽처를 표현하는 상기 데이터의 일부는,
    상기 비디오 비트스트림 내의 상기 데이터의 소스 색 볼륨 정보의 2D 색 영역(color gamut)을 식별하기 위해 하나 이상의 색 프라이머리에 대해 x 및 y 색도 좌표의 세트의 존재를 나타내는 메시징 변수; 및
    상기 비디오 비트스트림 내의 상기 데이터에 대한 최소, 최대 및 평균 휘도 변수 - 상기 최소, 상기 최대 및 상기 평균 휘도 변수는 상기 비디오 비트스트림 내의 하나 이상의 비디오 픽처 또는 하나 이상의 비디오 픽처의 활성 영역에 대한 것임 - 를 포함하는 메타데이터 메시지를 포함함 -
    를 특징으로 하는, 장치.
  5. 제4항에 있어서,
    상기 메타데이터 메시지는 SEI(supplemental enhancement information) 메시지를 포함하는, 장치.
KR1020227008975A 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징 KR102433239B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227027860A KR102526108B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662404302P 2016-10-05 2016-10-05
US62/404,302 2016-10-05
US201662427677P 2016-11-29 2016-11-29
US62/427,677 2016-11-29
PCT/US2017/054920 WO2018067552A1 (en) 2016-10-05 2017-10-03 Source color volume information messaging
KR1020217029686A KR102377426B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217029686A Division KR102377426B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227027860A Division KR102526108B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징

Publications (2)

Publication Number Publication Date
KR20220038189A true KR20220038189A (ko) 2022-03-25
KR102433239B1 KR102433239B1 (ko) 2022-08-18

Family

ID=60138941

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020217004950A KR102304448B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020217029685A KR102380163B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020227008975A KR102433239B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020227027860A KR102526108B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020237042942A KR20230173225A (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020217029686A KR102377426B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020197012289A KR102222476B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020217004950A KR102304448B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020217029685A KR102380163B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020227027860A KR102526108B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020237042942A KR20230173225A (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020217029686A KR102377426B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징
KR1020197012289A KR102222476B1 (ko) 2016-10-05 2017-10-03 소스 색 볼륨 정보 메시징

Country Status (22)

Country Link
US (4) US10779008B2 (ko)
EP (2) EP4072137A1 (ko)
JP (4) JP6871366B2 (ko)
KR (7) KR102304448B1 (ko)
CN (10) CN116582673A (ko)
AU (6) AU2017339463B2 (ko)
BR (1) BR112019006921A2 (ko)
CA (4) CA3205776A1 (ko)
CL (1) CL2019000901A1 (ko)
CO (1) CO2019004533A2 (ko)
DK (1) DK3523970T3 (ko)
ES (1) ES2929035T3 (ko)
HR (1) HRP20221276T1 (ko)
HU (1) HUE060276T2 (ko)
IL (6) IL287875B2 (ko)
MX (2) MX2019003940A (ko)
MY (1) MY201472A (ko)
PH (1) PH12019500718A1 (ko)
PL (1) PL3523970T3 (ko)
PT (1) PT3523970T (ko)
UA (1) UA124806C2 (ko)
WO (1) WO2018067552A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017339463B2 (en) * 2016-10-05 2020-09-03 Dolby Laboratories Licensing Corporation Source color volume information messaging
US10812820B2 (en) * 2016-11-30 2020-10-20 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
JP6978634B1 (ja) * 2018-09-17 2021-12-08 ドルビー ラボラトリーズ ライセンシング コーポレイション パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング
US11410593B2 (en) 2018-10-25 2022-08-09 Baylor University System and method for a multi-primary wide gamut color system
US11069279B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US10997896B2 (en) 2018-10-25 2021-05-04 Baylor University System and method for a six-primary wide gamut color system
US11475819B2 (en) 2018-10-25 2022-10-18 Baylor University System and method for a multi-primary wide gamut color system
US11043157B2 (en) 2018-10-25 2021-06-22 Baylor University System and method for a six-primary wide gamut color system
US11341890B2 (en) 2018-10-25 2022-05-24 Baylor University System and method for a multi-primary wide gamut color system
US11062638B2 (en) 2018-10-25 2021-07-13 Baylor University System and method for a multi-primary wide gamut color system
US11373575B2 (en) 2018-10-25 2022-06-28 Baylor University System and method for a multi-primary wide gamut color system
US11289003B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11532261B1 (en) 2018-10-25 2022-12-20 Baylor University System and method for a multi-primary wide gamut color system
US10607527B1 (en) 2018-10-25 2020-03-31 Baylor University System and method for a six-primary wide gamut color system
US11289000B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11037481B1 (en) 2018-10-25 2021-06-15 Baylor University System and method for a multi-primary wide gamut color system
US10950162B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US11189210B2 (en) 2018-10-25 2021-11-30 Baylor University System and method for a multi-primary wide gamut color system
US11069280B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11403987B2 (en) 2018-10-25 2022-08-02 Baylor University System and method for a multi-primary wide gamut color system
US11488510B2 (en) 2018-10-25 2022-11-01 Baylor University System and method for a multi-primary wide gamut color system
US11587491B1 (en) 2018-10-25 2023-02-21 Baylor University System and method for a multi-primary wide gamut color system
US10950161B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US11315467B1 (en) 2018-10-25 2022-04-26 Baylor University System and method for a multi-primary wide gamut color system
US11030934B2 (en) 2018-10-25 2021-06-08 Baylor University System and method for a multi-primary wide gamut color system
JP2023537202A (ja) * 2020-07-01 2023-08-31 ドルビー ラボラトリーズ ライセンシング コーポレイション 様々な性能の再生システムにおける高ダイナミック・レンジ画像の配信

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3010231A1 (en) * 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
WO2016118395A1 (en) * 2015-01-19 2016-07-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3681835B2 (ja) * 1995-12-27 2005-08-10 三菱電機株式会社 画像符号化装置及び画像復号化装置及び符号化・復号化システム
CN100484252C (zh) * 2001-12-29 2009-04-29 三星电子株式会社 控制图像亮度的装置和方法
US7230594B2 (en) * 2002-12-16 2007-06-12 Eastman Kodak Company Color OLED display with improved power efficiency
KR100943273B1 (ko) 2003-05-07 2010-02-23 삼성전자주식회사 4-컬러 변환 방법 및 그 장치와 이를 이용한 유기전계발광표시장치
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
JP5157140B2 (ja) 2006-11-29 2013-03-06 ソニー株式会社 記録装置、記録方法、情報処理装置、情報処理方法、撮像装置およびビデオシステム
US8441498B2 (en) * 2006-11-30 2013-05-14 Entropic Communications, Inc. Device and method for processing color image data
JP4279318B2 (ja) 2007-02-02 2009-06-17 三菱電機株式会社 映像表示装置
JP4996338B2 (ja) * 2007-05-21 2012-08-08 キヤノン株式会社 色処理方法および色処理装置
EP2023600A1 (en) * 2007-07-27 2009-02-11 Thomson Licensing Method of color mapping from non-convex source gamut into non-convex target gamut
US8184112B2 (en) * 2008-09-24 2012-05-22 Global Oled Technology Llc Increasing dynamic range of display output
WO2011156074A2 (en) * 2010-06-08 2011-12-15 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
CN103180891B (zh) * 2010-07-22 2015-09-02 杜比实验室特许公司 显示器管理服务器
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR20140110071A (ko) * 2011-05-27 2014-09-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
US9024961B2 (en) * 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
CN104471939B (zh) * 2012-07-13 2018-04-24 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
US9521393B2 (en) 2013-01-07 2016-12-13 Qualcomm Incorporated Non-nested SEI messages in video coding
BR112015020009B1 (pt) 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica
EP2936814B1 (en) * 2013-03-26 2018-03-14 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
WO2014193531A1 (en) * 2013-05-31 2014-12-04 Intel Corporation Semi-fixed-hue gamut compression
US20160227227A1 (en) * 2013-10-11 2016-08-04 Sharp Kabushiki Kaisha Color information and chromaticity signaling
US9584786B2 (en) * 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US10595095B2 (en) * 2014-11-19 2020-03-17 Lg Electronics Inc. Method and apparatus for transceiving broadcast signal for viewing environment adjustment
WO2016089093A1 (ko) * 2014-12-04 2016-06-09 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
EP3059937A1 (en) 2015-02-20 2016-08-24 Thomson Licensing Method and apparatus for encoding color mapping information and processing pictures based on color mapping information
JP6374614B2 (ja) * 2015-03-20 2018-08-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 信号再整形近似
US20160286226A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20160286241A1 (en) 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10349095B2 (en) * 2015-05-07 2019-07-09 Lg Electronics Inc. Transmission device for processing video data related to HDR/SDR and method for controlling the same
WO2016182371A1 (ko) * 2015-05-12 2016-11-17 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
KR102059256B1 (ko) * 2015-06-05 2019-12-24 애플 인크. Hdr 콘텐츠의 렌더링 및 디스플레이
KR102014800B1 (ko) * 2015-07-06 2019-08-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10666549B2 (en) * 2015-07-28 2020-05-26 Lg Electronics Inc. Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method and broadcast signal reception method
CN107925780B (zh) * 2015-08-20 2021-03-19 Lg 电子株式会社 广播信号发送方法及广播信号接收方法
AU2015227469A1 (en) * 2015-09-17 2017-04-06 Canon Kabushiki Kaisha Method, apparatus and system for displaying video data
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
CN108028958B (zh) * 2015-09-25 2021-09-03 麦克赛尔株式会社 广播接收装置
US10587852B2 (en) * 2015-10-06 2020-03-10 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US10554981B2 (en) * 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
US11102495B2 (en) * 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
CN109691122B (zh) * 2016-09-12 2022-08-09 麦克赛尔株式会社 广播接收装置
AU2017339463B2 (en) * 2016-10-05 2020-09-03 Dolby Laboratories Licensing Corporation Source color volume information messaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3010231A1 (en) * 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
WO2016118395A1 (en) * 2015-01-19 2016-07-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. K. Ramasubramonian, et al., ‘Content colour volume SEI message’, (JCTVC-X0069), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 24th Meeting: Geneva, CH, (2016.05.19.)* *
Alexis Michael Tourapis, et al., ‘Improvements to the Effective Colour Volume SEI’, (JCTVC-X0052), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 24th Meeting: Geneva, CH, (2016.05.29.) *
H. M. Oh, et al., ‘Content colour gamut SEI message’, (JCTVC-X0040), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 24th Meeting: Geneva, CH, (2016.05.16.)* *
Tao Chen. ET AL, "AHG 7: On Content Colour Volume SEI message", (JCTVC-Y0032), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 25th Meeting: Chengdu, CN, (2016.10.05.) *
Tao Chen. ET AL, "Dynamic Metadata for Color Volume Transform", SMPTE Standard, (2016.05.18.) *

Also Published As

Publication number Publication date
HUE060276T2 (hu) 2023-02-28
US20200404336A1 (en) 2020-12-24
PT3523970T (pt) 2022-10-07
IL265771A (en) 2019-06-30
CN116744010A (zh) 2023-09-12
KR20190052146A (ko) 2019-05-15
CN116744011A (zh) 2023-09-12
CA3112712C (en) 2023-09-12
KR102526108B1 (ko) 2023-04-27
CN116614634A (zh) 2023-08-18
IL265771B (en) 2021-03-25
CA3206194A1 (en) 2018-04-12
MX2019003940A (es) 2019-08-01
KR20210021611A (ko) 2021-02-26
CN116582676A (zh) 2023-08-11
AU2020230291B2 (en) 2022-09-01
IL296162A (en) 2022-11-01
MX2021015315A (es) 2022-01-18
AU2020230291A1 (en) 2020-10-01
IL287875B2 (en) 2023-04-01
UA124806C2 (uk) 2021-11-24
CA3039361A1 (en) 2018-04-12
AU2024201690A1 (en) 2024-04-04
US20200045340A1 (en) 2020-02-06
IL280688B (en) 2022-01-01
ES2929035T3 (es) 2022-11-24
KR20230061562A (ko) 2023-05-08
CN109937572A (zh) 2019-06-25
AU2022235573A1 (en) 2022-10-13
KR102433239B1 (ko) 2022-08-18
CN116582673A (zh) 2023-08-11
MY201472A (en) 2024-02-26
EP3523970B1 (en) 2022-08-03
AU2023210569A1 (en) 2023-08-24
BR112019006921A2 (pt) 2019-07-02
AU2017339463A1 (en) 2019-05-02
CA3112712A1 (en) 2018-04-12
US10779008B2 (en) 2020-09-15
KR20220119747A (ko) 2022-08-30
KR102222476B1 (ko) 2021-03-04
AU2023285711A1 (en) 2024-01-18
PL3523970T3 (pl) 2022-11-21
DK3523970T3 (da) 2022-10-17
US20240056610A1 (en) 2024-02-15
US20230171434A1 (en) 2023-06-01
KR102304448B1 (ko) 2021-09-24
JP6871366B2 (ja) 2021-05-12
JP7049419B2 (ja) 2022-04-06
JP2023099170A (ja) 2023-07-11
CO2019004533A2 (es) 2019-05-21
JP2022095734A (ja) 2022-06-28
AU2023210569B2 (en) 2023-10-05
AU2022235573B2 (en) 2023-05-11
US11595693B2 (en) 2023-02-28
CA3039361C (en) 2021-05-18
KR20210118230A (ko) 2021-09-29
HRP20221276T1 (hr) 2023-01-06
AU2017339463B2 (en) 2020-09-03
JP7275345B2 (ja) 2023-05-17
IL310366A (en) 2024-03-01
EP4072137A1 (en) 2022-10-12
CN116582675A (zh) 2023-08-11
IL280688A (en) 2021-03-25
KR102380163B1 (ko) 2022-03-29
CN116582674A (zh) 2023-08-11
IL287875B (en) 2022-12-01
CN116582677A (zh) 2023-08-11
AU2023285711B2 (en) 2024-02-29
KR20210118231A (ko) 2021-09-29
CL2019000901A1 (es) 2019-07-05
WO2018067552A1 (en) 2018-04-12
JP2019537320A (ja) 2019-12-19
IL287875A (en) 2022-01-01
CA3205776A1 (en) 2018-04-12
IL296162B1 (en) 2023-12-01
JP2021036666A (ja) 2021-03-04
CN109937572B (zh) 2023-07-14
IL305702B1 (en) 2024-03-01
EP3523970A1 (en) 2019-08-14
IL296162B2 (en) 2024-04-01
KR20230173225A (ko) 2023-12-26
CN116744012A (zh) 2023-09-12
KR102377426B1 (ko) 2022-03-22
PH12019500718A1 (en) 2019-11-11
IL305702A (en) 2023-11-01

Similar Documents

Publication Publication Date Title
KR102380163B1 (ko) 소스 색 볼륨 정보 메시징
KR102672149B1 (ko) 소스 색 볼륨 정보 메시징
OA19660A (en) Source color volume information messaging.

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right