KR20220029688A - 하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터 - Google Patents

하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터 Download PDF

Info

Publication number
KR20220029688A
KR20220029688A KR1020227002665A KR20227002665A KR20220029688A KR 20220029688 A KR20220029688 A KR 20220029688A KR 1020227002665 A KR1020227002665 A KR 1020227002665A KR 20227002665 A KR20227002665 A KR 20227002665A KR 20220029688 A KR20220029688 A KR 20220029688A
Authority
KR
South Korea
Prior art keywords
video content
content
metadata
display
intended
Prior art date
Application number
KR1020227002665A
Other languages
English (en)
Other versions
KR102653767B1 (ko
Inventor
로빈 애트킨스
페어 요나스 에이. 크리트마크
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20220029688A publication Critical patent/KR20220029688A/ko
Application granted granted Critical
Publication of KR102653767B1 publication Critical patent/KR102653767B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

타겟 디스플레이 상의 비디오 재생을 위해 원래의 생성 의도를 보존하는 문제에 대한 솔루션들을 제공하기 위한 장치들 및 방법들이 본원에서 제시된다. 일 양태에 따르면, 비디오 비트스트림은 타겟 디스플레이에 대한 생성 의도를 표시하는 플래그를 갖는 메타데이터를 포함한다. 이 메타데이터는 콘텐츠 타입, 콘텐츠 서브-타입, 의도된 백색점, 참조 모드에서 비디오를 사용할지 여부, 의도된 선명도, 의도된 잡음 감소, 의도된 MPEG 잡음 감소, 의도된 프레임 레이트 변환, 의도된 평균 픽처 레벨, 및 의도된 색과 같은 특성들을 표시하는 다수의 필드를 포함할 수 있다. 이 메타데이터는 콘텐츠 생성자들이 그들의 콘텐츠를 태깅하는 것을 수월하게 만들도록 설계된다. 메타데이터는 다수의 포인트에서 비디오 콘텐츠에 추가될 수 있고, 플래그의 상태는 메타데이터가 콘텐츠 생성자 또는 제3자에 의해 추가되었는지를 표시하기 위해 참 또는 거짓으로 설정된다.

Description

하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터
관련 출원들에 대한 상호 참조
본 출원은 2019년 6월 28일자로 출원된 미국 가특허 출원 제62/868,070호 및 2019년 6월 28일자로 출원된 유럽 특허 출원 제19183269.0호에 대해 우선권을 주장하고, 이로써, 이들 각각은 그 전체가 참조로 포함된다.
기술분야
본 개시내용은 일반적으로 이미지들에 관한 것이다. 더 구체적으로, 본 개시내용의 실시예는 비디오 콘텐츠 타입 메타데이터에 관한 것이다.
본원에서 사용되는 바와 같이, 다이내믹 레인지라는 용어는 이미지 내의, 예컨대, 가장 어두운 흑색들(암부들)로부터 가장 밝은 백색들(하이라이트들)까지의 강도(예컨대, 휘도, 루마)의 범위를 인지하는 인간 시각 시스템의 능력과 관련될 수 있다. 이러한 의미에서, 다이내믹 레인지는 '장면 참조' 강도와 관련될 수 있다. 다이내믹 레인지는 또한, 특정 폭의 강도 범위를 적절히 또는 근사적으로 렌더링하는 디스플레이 디바이스의 능력과 관련될 수 있다. 이러한 의미에서, 다이내믹 레인지는 '디스플레이 참조' 강도와 관련된다. 특정 의미가 본원의 설명의 임의의 포인트에서 특정 의의를 갖는 것으로 명시적으로 지정되지 않는 한, 용어는 어느 의미로든, 예컨대 상호교환가능하게 사용될 수 있는 것으로 추론되어야 한다.
본원에서 사용되는 바와 같이, 하이 다이내믹 레인지(HDR)라는 용어는 인간 시각 시스템의 약 14 내지 15 자릿수에 걸쳐 있는 다이내믹 레인지 폭과 관련된다. 실제로, 인간이 강도 범위에서 넓은 폭을 동시에 인지할 수 있는 다이내믹 레인지는 HDR과 관련하여 다소 절단될 수 있다. 본원에서 사용되는 바와 같이, 인핸스드 다이내믹 레인지(EDR) 또는 비주얼 다이내믹 레인지(VDR)라는 용어들은 인간 시각 시스템에 의해 동시에 인지가능한 다이내믹 레인지와 개별적으로 또는 상호교환가능하게 관련될 수 있다. 본원에서 사용되는 바와 같이, EDR은 5 내지 6 자릿수에 걸쳐 있는 다이내믹 레인지와 관련될 수 있다. 따라서, 아마도 HDR로 지칭되는 실제 장면과 관련하여 다소 더 좁지만, EDR은 그럼에도 불구하고 넓은 다이내믹 레인지 폭을 나타내고, 또한 HDR로 지칭될 수 있다.
실제로, 이미지들은 하나 이상의 색 성분(예컨대, 루마 Y 및 크로마 Cb 및 Cr)을 포함하고, 여기서, 각각의 색 성분은 픽셀당 n비트(예컨대, n = 8)의 정밀도에 의해 표현된다. 선형 휘도 코딩을 사용하면, n < 8인 이미지들(예컨대, 컬러 24비트 JPEG 이미지들)은 표준 다이내믹 레인지의 이미지들로 고려되는 한편, n > 8인 이미지들은 향상된 다이내믹 레인지의 이미지들로 고려될 수 있다. EDR 및 HDR 이미지들은 또한, Industrial Light and Magic에 의해 개발된 OpenEXR 파일 포맷과 같은 고정밀(예컨대, 16비트) 부동 소수점 포맷들을 사용하여 저장 및 배포될 수 있다.
대부분의 소비자 데스크톱 디스플레이들은 200 내지 300 cd/m2 또는 니트의 휘도를 지원한다. 대부분의 소비자 HDTV들은 300 내지 1000 cd/m2의 범위에 있다. 따라서, 이러한 종래의 디스플레이들은, HDR 또는 EDR과 관련하여, 표준 다이내믹 레인지(SDR)로 또한 지칭되는 로우 다이내믹 레인지(LDR)를 대표한다. 캡처 장비(예컨대, 카메라들)와 EDR 디스플레이들(예컨대, Dolby Laboratories로부터의 PRM-4200 전문 참조 모니터) 둘 모두에서의 진보들로 인해 EDR 콘텐츠의 이용가능성이 증가됨에 따라, EDR 콘텐츠는 더 높은 다이내믹 레인지들(예컨대, 1,000 니트 내지 5,000 니트 이상)을 지원하는 EDR 디스플레이들 상에서 색 그레이딩되고 디스플레이될 수 있다.
본원에서 사용되는 바와 같이, "메타데이터"라는 용어는 코딩된 비트스트림의 일부로서 송신되고 디코더가 디코딩된 이미지를 렌더링하는 것을 돕는 임의의 보조 정보와 관련된다. 이러한 메타데이터는, 본원에서 설명되는 것들과 같은, 색 공간(color space) 또는 색 영역(color gamut) 정보, 참조 디스플레이 파라미터들, 및 보조 신호 파라미터들을 포함할 수 있지만 이에 제한되지는 않는다.
본원에서 사용되는 바와 같이, "디스플레이 관리"라는 용어는 제1 다이내믹 레인지(예컨대, 1000 니트)의 입력 비디오 신호를 제2 다이내믹 레인지(예컨대, 500 니트)의 디스플레이로 맵핑하기 위해 수반되는 프로세싱(예컨대, 톤 및 색 영역 맵핑)을 포함하지만 이에 제한되지는 않는다.
이 섹션에서 설명되는 접근법들은 추구되었을 수 있는 접근법들이지만, 반드시, 이전에 구상 또는 추구되었던 접근법들인 것은 아니다. 따라서, 달리 나타내지 않는 한, 이 섹션에서 설명되는 접근법들 중 어떠한 것도 단지 이들이 이 섹션에 포함된 이유로 종래 기술의 자격을 갖는 것으로 간주되지 않아야 한다. 유사하게, 하나 이상의 접근법과 관련하여 식별되는 문제들은, 달리 표시되지 않는 한, 본 섹션에 기초하여 임의의 종래 기술에서 인식된 것으로 간주되지 않아야 한다.
본 개시내용에 따른 장치 및 방법들은 디코더 또는 타겟 디스플레이에서 비디오의 생성 의도를 보존하는 문제에 대한 솔루션들을 제공한다. 본 개시내용의 실시예에 따르면, 비디오 비트스트림은 비트스트림 내의 비디오 콘텐츠의 타입을 디코더 또는 타겟 디스플레이로 통신하는 메타데이터를 포함한다. 이 메타데이터는 타겟 디스플레이로 하여금 연관된 디스플레이 설정들을 갖는 대응하는 디스플레이 모드를 적용하게 하는 콘텐츠 타입 및 콘텐츠 서브-타입과 같은 비디오 콘텐츠의 특성들을 표시하는 다수의 필드를 포함할 수 있다. 타겟 디스플레이는, 예컨대, 의도된 백색점, 참조 모드에서 비디오를 사용할지 여부, 의도된 선명도, 의도된 잡음 감소, 의도된 MPEG 잡음 감소, 의도된 프레임 레이트 변환, 의도된 평균 픽처 밝기 레벨, 및 의도된 색을 정의하는 메타데이터 내의 필드들에 기초하여 개별 디스플레이 설정들에 추가 조정들을 적용할 수 있다. 특정 계층구조를 갖는 다수의 필드가 메타데이터 내에 추가된다. 필드들의 계층구조는 계층구조 내의 상위 레벨에 배정된 필드에 의해 이미 조정된 디스플레이 설정들의 추가 리파인먼트를 발생시킨다. 예컨대, 콘텐츠 타입은 제1 계층 레벨 상의 특정 디스플레이 설정들의 기본 조정을 발생시킬 수 있다. 제2 계층 레벨 상의 더 구체적인 콘텐츠 서브-타입을 선택할 시에, 디스플레이 설정들의 일부는 선택된 콘텐츠 서브-타입의 특수성들에 따라 추가로 조정된다. 제3 계층적 계층 상에서, 필드들은 특정 디스플레이 설정들의 개별 조정들을 발생시킨다. 이 메타데이터는 콘텐츠 생성자들이 그들의 콘텐츠를 태깅하는 것을 수월하게 만들도록 설계된다. 소비된 노력에 따라, 콘텐츠 생성자들은 단순히 적절한 콘텐츠 타입 및 임의로 콘텐츠 서브-타입을 선택함으로써 기본 조정들을 적용할 수 있다. 그러나, 이들은 또한, 타겟 디스플레이 상의 특정 디스플레이 설정들에 직접적으로 영향을 미치는 개별 레벨 상에서 추가 조정들을 적용할 수 있다.
메타데이터는 메타데이터가 비디오 콘텐츠에 추가될 수 있는 다수의 포인트를 가능하게 한다. 원래의 콘텐츠 생성자가 메타데이터를 정의하였는지 여부를 식별하기 위해, 메타데이터는 참 또는 거짓으로 설정될 수 있는 참조 모드 플래그를 포함한다. 참조 모드 플래그는 원래의 콘텐츠 생성자가 메타데이터를 추가한 경우 참으로 설정되고, 이에 의해, 타겟 디스플레이에서 메타데이터를 적용하는 것이 생성 의도를 보존한다는 것을 표시한다. 플래그는 원래의 콘텐츠 생성자 이외의 다른 누군가가 메타데이터를 추가한 경우 거짓으로 설정된다.
본 개시내용의 제1 양태에 따르면, 메타데이터를 갖는 디지털 비디오 비트스트림을 생성하는 방법이 제시되고, 메타데이터는 메타데이터 내의 하나 이상의 카테고리 필드가 타겟 디스플레이로 하여금 참조 모드에서 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 하는지 여부를 표시하는 참조 모드 플래그를 포함하고, 참조 모드는 비디오 콘텐츠의 생성자의 생성 의도를 보존하는 디스플레이 설정들을 갖는 디스플레이 모드를 나타내고, 방법은, 디지털 비디오 비트스트림의 비디오 콘텐츠의 카테고리를 표시하는 메타데이터 내의 하나 이상의 카테고리 필드를 설정하는 단계 ― 하나 이상의 카테고리 필드는 타겟 디스플레이로 하여금 비디오 콘텐츠의 카테고리에 대응하는 디스플레이 모드에서 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 함 ―, 및 하나 이상의 카테고리 필드가 참조 모드를 표시하는지 여부를 표시하기 위해 메타데이터 내의 참조 모드 플래그를 설정하는 단계를 포함한다.
본 개시내용의 제2 양태에 따르면, 비디오 콘텐츠 및 메타데이터를 포함하는 디지털 비디오 비트스트림이 제시된다. 메타데이터는 디지털 비디오 비트스트림의 비디오 콘텐츠의 카테고리를 표시하는 하나 이상의 카테고리 필드 ― 하나 이상의 카테고리 필드는 타겟 디스플레이로 하여금 비디오 콘텐츠의 카테고리에 대응하는 디스플레이 모드에서 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 함 ―, 및 하나 이상의 카테고리 필드가 타겟 디스플레이로 하여금 참조 모드에서 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 하는지 여부를 표시하는 참조 모드 플래그를 포함하고, 참조 모드는 생성 의도를 보존하는 디스플레이 설정들을 갖는 디스플레이 모드를 나타낸다.
도 1은 비디오 캡처로부터 비디오 콘텐츠 디스플레이까지의 다양한 스테이지들을 도시하는 비디오 전달 파이프라인의 예시적인 프로세스를 도시한다.
도 2는 개시되는 메타데이터 플래그의 예시적인 사용을 표 형태로 예시한다.
도 3은 L11 참조 모드(RM) 플래그의 예시적인 사용을 흐름도로 예시한다.
도 4a 내지 도 4d는 개시되는 메타데이터 세부사항들의 예를 표 형태로 예시한다.
도 5는 개시되는 메타데이터 콘텐츠 타입의 세부사항들의 예를 표 형태로 예시한다.
도 6은 개시되는 메타데이터 전형적인 픽처 모드 설정들의 예를 표 형태로 예시한다.
도 7은 개시되는 메타데이터 콘텐츠 서브-타입의 세부사항들의 예를 표 형태로 예시한다.
도 8은 개시되는 메타데이터 의도된 백색점의 세부사항들의 예를 표 형태로 예시한다.
도 9는 개시되는 메타데이터 의도된 선명도의 세부사항들의 예를 표 형태로 예시한다.
도 10은 개시되는 메타데이터 의도된 잡음 감소의 세부사항들의 예를 표 형태로 예시한다.
도 11은 개시되는 메타데이터 의도된 MPEG 잡음 감소의 세부사항들의 예를 표 형태로 예시한다.
도 12는 개시되는 메타데이터 프레임 레이트 변환의 세부사항들의 예를 표 형태로 예시한다.
도 13은 개시되는 메타데이터 평균 픽처 레벨의 세부사항들의 예를 표 형태로 예시한다.
도 14는 개시되는 메타데이터 의도된 색의 세부사항들의 예를 표 형태로 예시한다.
도 15는 방송 플레이아웃 서버 맵핑의 예를 표 형태로 예시한다.
정의들
본 개시내용 전체에 걸쳐, 참조 모드(RM)는 타겟 디스플레이가 원래의 생성 의도에 완전히 충실하게 비디오 콘텐츠를 제시하는 타겟 디스플레이의 재생 상태로서 정의된다. 이 재생 상태는 타겟 디스플레이를 연관된 디스플레이 설정들을 갖는 특정 디스플레이 모드로 설정함으로써 달성될 수 있다. 특정 디스플레이 모드의 디스플레이 설정들은 원래의 생성 의도를 보존하도록 추가로 조정될 수 있다.
프레임 레이트 변환은 상이한 비디오 프레임 레이트들 사이의 변환(예컨대, 초당 60 프레임으로부터 초당 120 프레임으로 등)을 지칭한다. 프레임 레이트 변환은 상이한 프레임 레이트로 비디오 디바이스 상에 콘텐츠를 디스플레이하기 위한 프레임들의 감소 또는 중복(잠재적으로 모션 추정 및 모션 보상을 수반함)이다.
지각 양자화(PQ)는 하이 다이내믹 레인지(HDR) 이미지들을 인코딩하기 위한 효율적인 방법이다. 각각의 연속적인 코드 값 쌍은 전체 다이내믹 레인지에 걸쳐 단지 인지가능한 단계 미만만큼 상이하고, 이는 코드 값들의 매우 효율적인 사용을 제공한다. PQ 코딩 및 디코딩을 사용하는 예들은 보고서 ITU-R BT. 2390, "High dynamic range television for production and international programme exchange" ITU, 2016에서 발견될 수 있다. PQ를 사용하는 것에 대한 대안들은 전통적인 "감마" 및 하이브리드 로그-감마(HLG) 신호 파라미터들을 사용하는 것을 포함한다.
상세한 설명
하이 다이내믹 레인지(HDR)에 대한 비디오 콘텐츠 타입 메타데이터가 본원에서 설명된다. 이하의 설명에서, 설명의 목적들을 위해, 본 개시내용의 철저한 이해를 제공하도록, 다수의 특정 세부사항이 제시된다. 그러나, 현재 청구되는 발명 대상은 이러한 특정 세부사항들 없이 실시될 수 있다는 것이 명백할 것이다. 다른 경우들에서, 널리 공지된 구조들 및 디바이스들은 본 개시내용을 불필요하게 차단하고, 불분명하게 하고, 모호하게 하는 것을 피하기 위해, 완전히 상세하게 설명되지 않는다.
도 1은 비디오 캡처로부터 비디오 콘텐츠 디스플레이까지의 다양한 스테이지들을 도시하는 비디오 전달 파이프라인(100)의 예시적인 프로세스를 도시한다. 이미지 생성 블록(105)을 사용하여 비디오 프레임들(102)의 시퀀스가 캡처 또는 생성된다. 비디오 프레임들(102)은 비디오 데이터(107)를 제공하기 위해, (예컨대, 디지털 카메라에 의해) 디지털적으로 캡처될 수 있거나, 또는 (예컨대, 컴퓨터 애니메이션을 사용하여) 컴퓨터에 의해 생성될 수 있다. 대안적으로, 비디오 프레임들(102)은 필름 카메라에 의해 필름 상에 캡처될 수 있고, 이 경우, 필름은 비디오 데이터(107)를 제공하기 위해 디지털 포맷으로 변환된다. 제작 페이즈(110)에서, 비디오 데이터(107)는 비디오 제작 스트림(112)을 제공하기 위해 편집된다.
이어서, 비디오 제작 스트림(112)의 비디오 데이터는 후반 제작 편집을 위해 후반 제작 블록(115)에서 프로세서에 제공된다. 후반 제작 블록(115)에서의 편집은 비디오 생성자의 생성 의도에 따라 이미지에 대한 특정 외관을 달성하거나 또는 이미지 품질을 향상시키기 위해, 이미지의 특정 영역들 내의 색들 또는 밝기를 조정 또는 수정하는 것을 포함할 수 있다. 이는 때때로 "색 타이밍(color timing)" 또는 "색 그레이딩(color grading)"으로 지칭된다. 배포를 위한 제작물의 최종 버전(117)을 산출하기 위해, 다른 편집(예컨대, 장면 선택 및 시퀀싱, 이미지 크롭핑, 컴퓨터 생성 시각적 특수 효과들의 추가 등)이 후반 제작 블록(115)에서 수행될 수 있다. 후반 제작 블록(115)의 후반 제작 편집 동안, 비디오 이미지들은 참조 디스플레이(125) 상에서 보여진다.
후반 제작 블록(115)에서의 후반 제작 후에, 최종 버전(117)의 비디오 데이터는 텔레비전 세트들, 셋톱 박스들, 영화관들 등과 같은 디코딩 및 재생 디바이스들로 다운스트림으로 전달하기 위해 인코더(120)로 전달될 수 있다. 일부 실시예들에서, 인코더(120)는 코딩된 비트스트림(122)을 생성하기 위해, ATSC, DVB, DVD, 블루레이, 및 다른 전달 포맷들에 의해 정의된 것들과 같은 오디오 및 비디오 인코더들을 포함할 수 있다. 수신기에서, 코딩된 비트스트림(122)은 최종 버전(117)에 대응하는 비디오 데이터의 동일하거나 또는 근접한 근사치를 나타내는 디코딩된 신호(132)를 생성하기 위해 디코더(130)에 의해 디코딩된다. 수신기는 참조 디스플레이(125)와 완전히 상이한 특성들을 가질 수 있는 타겟 디스플레이(151)에 부착될 수 있다. 그 경우, 디스플레이 관리 유닛(135)은 디스플레이 맵핑 신호(137)를 생성함으로써, 디코딩된 신호(132)의 다이내믹 레인지를 타겟 디스플레이(151)의 특성들로 맵핑하기 위해 사용될 수 있다. 타겟 디스플레이(151)는 참조 모니터, 컴퓨터 모니터 또는 디스플레이, 텔레비전(TV) 세트, 헤드 마운트 디스플레이, 가상 망막 디스플레이 등일 수 있다.
돌비 비전(Dolby Vision)TM은 하이 다이내믹 레인지 및 넓은 색 영역으로 마스터링된 콘텐츠의 생성 및 배포를 가능하게 하는 엔드-투-엔드 스위트(end-to-end suite)이다. 돌비 비전 디스플레이 관리는 신호를 임의의 돌비 비전 소비자 텔레비전으로 맵핑하기 위한 일련의 알고리즘들을 사용함으로써 주어진 텔레비전의 능력을 매칭한다. 이는 시청자를 위한 최적의 매끄러운 비디오 경험을 생성한다.
하이 다이내믹 레인지 및 넓은 색 영역을 갖는 콘텐츠의 생성 및 배포를 가능하게 하는 엔드-투-엔드 스위트, 이를테면 돌비 비전은 비디오 데이터뿐만 아니라 메타데이터를 포함한다. 예컨대, 레벨 1(L1) 내지 레벨 10(L10)으로 지칭되는 상이한 레벨들의 메타데이터가 돌비 비전 내에 있다. 이러한 메타데이터의 설명의 예들은 R. Atkins 등에 의한 WIPO 공보 WO2019/050972 "Tone-curve optimization method and associated video"에서 설명되고, 이는 그 전체가 참조로 본원에 포함된다. 본 개시내용에 따른 디지털 비디오 비트스트림 및 디지털 비디오 비트스트림을 생성하고 비디오 콘텐츠를 재생하는 방법들은 디코더 또는 타겟 디스플레이에서 생성 의도를 보존하는 문제에 대한 솔루션들을 제공할 뿐만 아니라, 디코더 또는 타겟 디스플레이에서 비디오 콘텐츠의 카테고리를 식별하여 비디오 콘텐츠의 식별된 카테고리에 따라 디스플레이 설정들을 조정하기 위한 솔루션을 제공한다.
돌비 비전과 같은 하이 다이내믹 레인지 및 넓은 색 영역 비디오 생성 및 배포 스위트 내에 본원에서는 비제한적으로 레벨 11(L11)로 지칭되는 메타데이터의 새로운 세트가 도입되고, 이에 의해, 디코더 또는 타겟 디스플레이에서의 비디오 콘텐츠의 재생의 특성들과 관련된 콘텐츠 생성자들의 의도가 지정된다. L11 메타데이터는 콘텐츠 생성자의 생성 의도가 디코더 또는 타겟 디스플레이로 통신될 수 있게 한다. 이러한 콘텐츠 인식 메타데이터는 타겟 디스플레이가 콘텐츠를 제시하기 위한 최상의 방식을 알고 있다. L11 메타데이터는 콘텐츠 생성자가 그들의 콘텐츠를 태깅하는 것을 수월하게 만들기 위해 다수의 필드를 포함한다.
본 개시내용에 따른 디지털 비디오 비트스트림 및 디지털 비디오 비트스트림을 생성하고 비디오 콘텐츠를 재생하는 방법들은 일반적으로 하이 다이내믹 레인지 및 넓은 색 영역 비디오 생성 및 배포 스위트들에 적용가능하고, L11이라는 용어는 단지 예시 목적들만을 위해 본원에서 사용되고, 현재 개시되는 디지털 비디오 비트스트림 및 디지털 비디오 비트스트림을 생성하고 비디오 콘텐츠를 재생하는 방법들에 대해 제한을 부과하는 것으로 의도되지 않는다는 것을 이해해야 한다.
TV들과 같은 타겟 디스플레이들에는 상이한 디스플레이 모드들이 있지만, 어느 디스플레이 모드를 선택할지 결정하는 것은 사용자에게 달려 있다. 예컨대, 사용자가 영화를 관람하고 있을 때, 그/그녀는 TV 상의 디스플레이 모드를 변경하도록 선택할 수 있다. 그러나, 대부분의 사용자들은 충분히 세련되지도 않고, 그들이 상이한 타입들의 콘텐츠를 관람할 때마다 시간을 내서 디스플레이 모드를 변경할 가치가 있다고 느끼지도 않는다. 특정 디스플레이 모드를 선택하는 것은 타겟 디스플레이가 선택된 디스플레이 모드와 연관된 디스플레이 설정들을 적용하게 한다.
본 개시내용은 타겟 디스플레이가 그것이 놓일 디스플레이 모드에 관한 스마트한 결정을 할 수 있도록 비디오 콘텐츠의 카테고리를 자동으로 식별하기 위한 장치 및 방법을 제공한다. 본 개시내용은 L11 메타데이터의 도입에 의해 비디오 콘텐츠에 대한 인식을 추가하기 위한 장치 및 방법을 제공한다. 추가로, 본 개시내용은 타겟 디스플레이가 비디오 콘텐츠의 카테고리를 추측할 필요도 없고 사용자가 비디오 콘텐츠의 카테고리를 추측할 필요도 없도록, 타겟 디스플레이에서 비디오 콘텐츠를 제시하기 위한 최상의 방식의 결정을 가능하게 한다. 더욱이, 현재 청구되는 발명 대상은 사용자 및 타겟 디스플레이가 비디오 콘텐츠의 재생 동안 아무 것도 수행할 필요가 없게 한다. 타겟 디스플레이는 단순히 L11 메타데이터가 타겟 디스플레이에게 명령하는 것을 수행한다.
오늘날, 타겟 디스플레이들은 추측에 기초하여 비디오 콘텐츠 프로세싱을 수행하지만, 이는 매우 정확한 프로세스인 것은 아니다. 콘텐츠 인식 메타데이터를 가짐으로써, 타겟 디스플레이는 비디오 콘텐츠에 대한 정확한 프로세싱을 통지받는다. 이는 타겟 디스플레이에서의 의사 결정 프로세스가 통보되고 매번 정확한 결과가 도달되는 것을 보장한다. 예컨대, 타겟 디스플레이는 L11 메타데이터에 의해 콘텐츠가 스포츠인 것을 통보받고, 그에 따라, 타겟 디스플레이는 재생 동안 스포츠 콘텐츠에 대응하는 디스플레이 모드로 스위칭하고, 그에 따라, 디스플레이 모드의 연관된 디스플레이 설정들이 그에 따라 설정된다.
본 개시내용의 실시예에 따르면, 비디오 비트스트림은 비트스트림 내의 비디오 콘텐츠의 카테고리를 타겟 디스플레이로 통신하는 메타데이터를 포함한다. 이 메타데이터는 콘텐츠 타입 및 콘텐츠 서브-타입과 같은 비디오 콘텐츠의 특성들을 표시하는 다수의 필드를 포함할 수 있다. 게다가, 비디오 콘텐츠의 선택된 카테고리는 의도된 백색점, 참조 모드에서 비디오를 사용할지 여부, 의도된 선명도, 의도된 잡음 감소, 의도된 MPEG 잡음 감소, 의도된 프레임 레이트 변환(FRC), 의도된 평균 픽처 레벨(APL), 및 의도된 색과 같은 특정 디스플레이 설정들의 조정들을 명시적으로 지정함으로써 리파이닝될 수 있다. 특정 계층구조를 갖는 다수의 필드가 L11 메타데이터 내에 추가된다.
L11 메타데이터는 콘텐츠 생성자들이 그들의 콘텐츠를 태깅하는 것을 수월하게 만들도록 설계되는데: 1) 콘텐츠 생성자를 위한 가장 간단한 방법은 아무 것도 하지 않는 것이고, 이는 디폴트 거동을 발생시킨다; 2) 콘텐츠 생성자를 위한 두 번째로 가장 간단한 방법은 비디오 콘텐츠의 카테고리, 예컨대, 영화, 게임, 또는 스포츠를 타겟 디코더 또는 타겟 디스플레이로 통신하는 것이다. 이 메타데이터 정보에 따라, TV와 같은 타겟 디스플레이는 디스플레이 모드에 대해 높은 레벨의 결정을 하는데, 예컨대, TV는 영화, 게임, 또는 스포츠 모드로 스위칭한다. TV는 그러한 카테고리들에 각각 대응하는 디스플레이 모드의 적절한 세부 디스플레이 설정들을 검색할 것이다; 3) 마지막으로, L11 메타데이터는 콘텐츠 생성자가 선택된 디스플레이 모드의 리파인먼트로 이어지는 타겟 디스플레이에서의 디스플레이 설정들의 세부사항들을 추가로 지정하는 것을 가능하게 한다. 예컨대, 콘텐츠 생성자는 콘텐츠 서브-타입을 지정할 수 있는데, 예컨대, 스포츠 콘텐츠의 경우, 스포츠가 겨울 스포츠인지 또는 수상 스포츠인지를 표시할 수 있다. 더욱이, 콘텐츠 생성자는, 예컨대, 프레임 레이트 변환이 하이로 설정된 타겟 디스플레이 상에서 비디오 콘텐츠가 가장 잘 보이도록 지정할 수 있다. L11 메타데이터는 계층적이고, 이는 정보가 없는 경우 콘텐츠 타입 또는 콘텐츠 서브-타입이 디폴트로 설정될 수 있게 한다. 추가로, L11 메타데이터는 사례별로 메타데이터에 의한 그러한 디폴트들의 오버라이드(override)를 가능하게 한다.
L11 메타데이터는 콘텐츠 생성자들에 의해 지정될 수 있을 뿐만 아니라 애플리케이션 레벨에서 또한 지정될 수 있다. 예컨대, 스마트 블루레이 플레이어가 Netflix®(Netflix®는 Netflix Inc.의 등록 상표임)와 같은 영화 스트리밍 서비스로부터 플레이되고 있는 경우, 스마트 블루레이 플레이어는 메타데이터를 영화 또는 드라마 설정으로 설정할 수 있고; 스마트 블루레이가 게임으로부터 플레이되고 있는 경우, 이는 콘텐츠를 게임으로서 태깅할 수 있고; 스마트 블루레이 플레이어가 방송 셋톱 박스로부터 플레이되고 있는 경우, 이는 콘텐츠를 스포츠로 설정할 수 있거나 또는 콘텐츠가 속할 수 있는 카테고리로 설정할 수 있다. 따라서, L11 메타데이터는 원래의 콘텐츠 생성자 이외의 다른 당사자들이 비디오 콘텐츠의 타입을 지정할 수 있게 한다. 그러한 의미에서, 생성 의도를 보존하기 위해, 콘텐츠 인식 메타데이터를 제공하는 것뿐만 아니라, 이러한 메타데이터가 어떻게(예컨대, 콘텐츠 생성자에 의해 또는 중개자에 의해) 생성되었는지의 표시를 제공하는 것이 중요하다.
L11 메타데이터는 L11 메타데이터가 비디오 콘텐츠에 추가될 수 있는 다수의 포인트를 가능하게 한다. 실시예에서, L11 메타데이터의 소스를 표시하기 위해, L11 메타데이터는 참 또는 거짓으로 설정될 수 있는 참조 모드 플래그(L11 참조 모드 플래그 또는 줄여서 L11 RM 플래그로 또한 지칭됨)를 포함한다. 원래의 콘텐츠 생성자는 특정 이유로 L11 메타데이터를 추가할 수 있는데, 예컨대, 콘텐츠 생성자는 게임을 생성하였고, 게임이 타겟 디스플레이 상에서 더 청색으로 보이고 매우 선명하게 보이도록 게임이 재생되기를 원했을 수 있다. 이어서, 콘텐츠 생성자는 L11 RM 플래그를 참으로 설정할 수 있는데, 즉, 이는 타겟 디스플레이가 최고 품질 모드에 있는 경우에도, 생성 의도를 보존하기 위해 콘텐츠 인식 메타데이터를 적용해야 한다는 것을 의미한다.
다른 한편으로, 예컨대, 콘텐츠가 게임이고, L11 메타데이터가 자동 이미지 프로세싱과 같은 제3자에 의해 더 다운스트림에서 추가된 경우, L11 RM 플래그는 거짓으로 설정될 것이고, 이는 타겟 디스플레이가 최고 품질 모드에 있는 경우, L11 메타데이터가 콘텐츠 생성자 이외의 다른 누군가에 의해 추가되었기 때문에 L11 메타데이터를 적용하지 않아야 한다는 것을 의미하고, 그에 따라, 타겟 디스플레이는 원래의 콘텐츠 생성자의 의도를 보존하지 않을 것이다. L11 RM 플래그를 거짓으로 설정하는 것은 콘텐츠 생성자의 의도가 변경된 것을 표시한다. 이러한 방식으로 L11 RM 플래그를 활용하는 것은 메타데이터가 동일하게 유지될 수 있게 하면서 그의 사용은 플래그의 상태에 따라 수정될 수 있게 한다. 예컨대, 비디오 콘텐츠가 참조 모드에서 재생되는 경우에, 생성자의 원래의 의도를 보존하기 위해 많은 프로세싱이 수행되고 최고 품질이 중요한 경우, 재생 동안, L11 RM 플래그는 콘텐츠 인식 메타데이터가 참조 모드에서 사용되어야 하는지 여부를 타겟 디스플레이로 통신하는 데 사용되는데: i) 메타데이터가 원래의 콘텐츠 생성자에 의해 생성된 경우(플래그 상태가 참으로 설정된 경우), 콘텐츠 인식 메타데이터가 참조 모드에서 사용되어야 하고; ii) 메타데이터가 원래의 콘텐츠 생성자 이외의 다른 누군가에 의해 다운스트림에서 생성된 경우(플래그 상태가 거짓으로 설정된 경우), 콘텐츠 인식 메타데이터는 참조 모드에서 사용되지 않아야 한다. 이는 본 개시내용의 핵심 양태들 중 하나이다. 이는, 시청자의 의도가 참조 모드에서 비디오 콘텐츠를 시청하는 것인 경우, 타겟 디스플레이가 콘텐츠 인식 메타데이터를 청취해야 하는지 여부에 중요성을 부여한다.
L11 RM 플래그의 사용은 도 2의 표(200)에서 표 형태로 추가로 도시된다. 이 예시적인 표에서, "메타데이터 참조 모드 사용"(210)은 재생 동안의 타겟 디스플레이의 상태를 나타낸다. 이 표는 이전의 문단에서 설명된 시나리오들을 추가로 예시하는데: 1) 표의 제1 행(220)에서, 메타데이터가 없고, 그에 따라, 메타데이터는 참조 모드 또는 비참조 모드(230)에서 사용될 수 없다; 2) 제2 행(240)에서, L11 메타데이터가 존재하지만, L11 RM 플래그는 거짓이고, 그에 따라, 생성 의도를 보존하기 위해, 타겟 디스플레이는 참조 모드에서 L11 메타데이터를 사용하지 않도록 명령받는다. 타겟 디스플레이는 비참조 모드에 있을 때 프로세싱 동안 여전히 L11 메타데이터를 사용하는 것이 허용된다; 3) 제3 행(260)에서, L11 메타데이터가 존재하고, L11 RM 플래그는 참이고, 그에 따라, 타겟 디스플레이는 참조 모드 및 모든 다른 비참조 모드들에서 L11 메타데이터를 사용할 수 있도록 명령받는다.
도 3은 흐름도(300)에서 L11 RM 플래그의 예시적인 사용을 예시한다. 먼저, 디코더 또는 타겟 디스플레이는 비디오 콘텐츠 내에 L11 메타데이터가 존재하는지 알아본다(310). 응답이 아니오인 경우, 디코더 또는 타겟 디스플레이는 달리 할 것이 없다(320). 응답이 예인 경우, 디코더 또는 타겟 디스플레이는 L11 RM 플래그가 참인지 또는 거짓인지 알아본다(330). 플래그가 거짓이고, 사용자가 생성 의도를 보존하는 데 관심을 갖는 경우, L11 메타데이터는 참조 모드에서 사용되지 않아야 한다(340). 플래그가 거짓이고, 사용자가 생성 의도를 보존하는 데 관심을 갖지 않는 경우, L11 메타데이터는 타겟 디스플레이의 비참조 모드에서 사용될 수 있다(360). L11 RM 플래그가 참인 경우, 디코더 또는 타겟 디스플레이는 참조 모드와 비참조 모드 둘 모두에서 메타데이터를 사용할 수 있다(350).
각각의 표들을 갖는 이하의 도면들은 L11 메타데이터 필드들 및 이러한 필드들을 채우는 데 사용되는 예시적인 값들의 예시적인 실시예들을 예시한다.
도 4a 내지 도 4d는 예시적인 L11 메타데이터 세부사항들을 표 형태로 예시한다. 도 4a의 표(400A)에서, L11 메타데이터는 콘텐츠 타입(410) 및 콘텐츠 서브-타입(412)을 갖는 것으로 도시된다. 도 4b의 표(400B)는 백색점(420), RM 플래그(422), 및 향후 사용(424)에 대한 비트들을 도시한다. 도 4c의 표(400C)는 선명도(430), 잡음 감소(432), MPEG 잡음 감소(434), 및 프레임 레이트 변환(436)에 대한 비트들을 도시한다. 도 4d의 표(400D)는 밝기(440), 색(442), 및 향후 사용(444)에 대한 비트들을 도시한다.
도 5는 콘텐츠 타입의 추가 예시적인 세부사항들을 표 형태로 예시한다. 표(500)는 L11 메타데이터 내의 상이한 타입들의 콘텐츠 타입(510)을 설명한다. L11 메타데이터는 장면별로 업데이트되는 예컨대 4 비트의 작은 페이로드를 사용한다. 예비된 값들(550)은 향후의 콘텐츠 타입들을 위한 것이고, 현재의 즉시 사용가능한(out of the box) 사용자 경험과의 일관성을 유지하기 위해, 메타데이터 필드의 정의를 갖지 않는 재생 디바이스들의 경우 "0"으로 디폴트될 것이다.
도 6은 다수의 디스플레이 설정을 포함하는 특정 디스플레이 모드에 각각 대응하는 L11 전형적인 카테고리들의 예를 표 형태로 예시한다. 표(600)는 돌비와 같은 콘텐츠 생성 및 배포 스위트 소유자와 디스플레이 타겟 OEM(original equipment manufacturer)과 임의로 또한 콘텐츠 생성자 사이의 협력으로 지각 양자화기(PQ) 튜닝 스테이지 동안 채워진다.
도 7은 L11 콘텐츠 서브-타입의 예시적인 세부사항들을 표 형태로 예시한다. L11 메타데이터는 장면별로 업데이트되는 추가적인 4 비트를 사용한다. 콘텐츠 서브-타입(720)은 콘텐츠 타입을 추가로 리파이닝함으로써 콘텐츠 타입(510)으로부터의 디폴트 거동을 수정하고, 이는 타겟 디스플레이로 하여금 선택된 콘텐츠 서브-타입과 연관된 특정 디스플레이 설정들을 조정하게 한다. 이는 OEM이 차별화를 가능하게 하기 위해 사후 프로세싱 알고리즘들을 추가로 미세 튜닝할 수 있게 한다. 콘텐츠 생성자는, 이들이 선호하는 경우, 단순히 표를 "0"으로 채울 수 있다.
도 8은 L11 메타데이터 의도된 백색점의 예시적인 세부사항들을 표 형태로 예시한다. 표(800)는 픽처의 렌더링된 백색점를 안내한다. 백색점은 API(Audio Plug-in) 시스템 레벨을 통해 바이패스될 수 있거나, 또는 돌비 디스플레이 관리(DM) 내에서 적용될 수 있고, 이 경우, 타겟 디스플레이는 네이티브 온도(native temperature)로 교정될 것이다. 디폴트에 대한 설정 "0"은 콘텐츠 타입에 대한 디폴트 백색점을 사용할 것이다. 의도된 백색점(810)은 갑작스러운 변화들을 방지하기 위해 재생 동안 타겟 디스플레이에서 필터링된다.
도 9는 L11 메타데이터 의도된 선명도의 예시적인 세부사항들을 표 형태로 예시한다. 표(900)는 타겟 디스플레이에서의 디테일 향상/선명화 알고리즘을 안내한다. 디폴트에 대한 설정 "0"은 콘텐츠 타입에 대한 디폴트 설정을 사용할 것이다. OFF는 추가되는 선명도가 없는 것에 대응한다. 이미지들은, 필요한 경우, 이중선형 보간을 사용하여 리사이징된다. HIGH는 최대 선명도 향상에 대응한다. OFF와 HIGH 사이의 설정은 선명도의 강도를 제어한다. 이 표를 활용하면, 선명도 설정들 사이의 전환이 매끄러워야 한다. 의도된 선명도(910)는 갑작스러운 변화들을 방지하기 위해 재생 동안 타겟 디스플레이에서 필터링된다.
도 10은 L11 메타데이터 의도된 잡음 감소의 예시적인 세부사항들을 표 형태로 예시한다. 표(1000)는 랜덤 잡음에 대한 잡음 감소 알고리즘을 안내한다. 디폴트에 대한 설정 "0"은 콘텐츠 타입에 대한 디폴트 설정을 사용할 것이다. OFF는 잡음 감소가 없는 것에 대응한다. HIGH는 최대 잡음 감소에 대응한다. OFF와 HIGH 사이의 설정은 잡음 감소의 강도를 제어한다. 이 표를 활용하면, 상이한 설정들 사이의 전환이 매끄러워야 한다. 의도된 잡음 감소(1010)는 갑작스러운 변화들을 방지하기 위해 재생 동안 타겟 디스플레이에서 필터링된다.
도 11은 L11 메타데이터 의도된 MPEG 잡음 감소의 예시적인 세부사항들을 표 형태로 예시한다. 표(1100)는 압축 잡음에 대한 잡음 감소 알고리즘을 안내한다. 디폴트에 대한 설정 "0"은 콘텐츠 타입에 대한 디폴트 설정을 사용할 것이다. OFF는 잡음 감소가 없는 것에 대응한다. HIGH는 최대 잡음 감소에 대응한다. OFF와 HIGH 사이의 설정은 잡음 감소의 강도를 제어한다. 이 표를 활용하면, 상이한 설정들 사이의 전환이 매끄러워야 한다. 의도된 MPEG 잡음 감소(1110)는 갑작스러운 변화들을 방지하기 위해 재생 동안 타겟 디스플레이에서 필터링된다.
도 12는 L11 메타데이터 프레임 레이트 변환(FRC)의 예시적인 세부사항들을 표 형태로 예시한다. 표(1200)는 프레임 레이트 변환 알고리즘을 안내한다. 디폴트에 대한 설정 "0"은 콘텐츠 타입에 대한 디폴트 FRC 설정을 사용할 것이다. OFF는 프레임 레이트 변환이 없는 것에 대응한다. 프레임들은 필요한 경우에만 복제될 것이다. HIGH는 최대 프레임 레이트 변환에 대응한다. 프레임들은 타겟 디스플레이의 최대 리프레시 레이트까지 원활하게 보간될 것이다. OFF와 HIGH 사이의 설정은 FRC의 강도를 제어한다. 프레임들은 원래의 포인트와 중간 포인트 사이의 프랙션 양(fractional amount)으로 보간될 것이다. 이 표를 활용하면, 상이한 FRC 설정들 사이의 전환이 매끄러워야 한다(즉, 흑색 프레임들이 없음). 결과로서, FRC를 완전히 바이패스하는 것은 L11에 의해 트리거될 수 없는데, 그 이유는 이것이 전형적으로 흑색 프레임을 야기하기 때문이다. HDMI 2.1에서 ALLM(Auto Low Latency Mode)과 같은 FRC를 요청하기 위한 메커니즘들이 존재한다. 의도된 프레임 레이트 변환(1210)은 갑작스러운 변화들을 방지하기 위해 재생 동안 타겟 디스플레이에서 필터링된다.
도 13은 L11 메타데이터 평균 픽처 레벨(APL)의 예시적인 세부사항들을 표 형태로 예시한다. 표(1300)는 평균 픽처 레벨을 안내한다. 디폴트에 대한 설정 "0"은 콘텐츠 타입에 대한 디폴트 설정을 사용할 것이다. LOW는 약간 더 어두운 밝기에 대응한다. MEDIUM은 평균 밝기에 대응한다. HIGH는 최대 밝기에 대응한다. 이 표를 활용하면, 상이한 설정들 사이의 전환이 매끄러워야 한다. 의도된 평균 픽처 레벨(1310)은 갑작스러운 변화들을 방지하기 위해 재생 동안 타겟 디스플레이에서 필터링된다.
도 14는 L11 메타데이터 의도된 색의 예시적인 세부사항들을 표 형태로 예시한다. 표(1400)는 색 포화도를 안내한다. 디폴트에 대한 설정 "0"은 콘텐츠 타입에 대한 디폴트 설정을 사용할 것이다. LOW는 약간 더 낮은 포화도에 대응한다. MEDIUM은 평균 포화도에 대응한다. HIGH는 최대 포화도에 대응한다. 이 표를 활용하면, 상이한 설정들 사이의 전환이 매끄러워야 한다. 의도된 색 포화도(1410)는 갑작스러운 변화들을 방지하기 위해 재생 동안 타겟 디스플레이에서 필터링된다.
L11 메타데이터 내의 디폴트 설정들이 이제 더 설명된다. 예로서, 타겟 디스플레이가 돌비 스마트 모드(Dolby Smart Mode)와 같은 스마트 모드에 있을 때, L11 메타데이터를 갖지 않는 비디오 콘텐츠는 디폴트(예컨대, 도 5에서, 콘텐츠 타입 = 0)로 디폴트될 수 있다. "모든 다른 것"(예컨대, 도 5에서, 콘텐츠 타입 = 6)은 모든 콘텐츠(예컨대, 스포츠, 드라마, 연속극, 광고들, 게임들, 및 영화들)에 대한 "평균 최상 설정"으로 고려될 수 있다. 후반 제작(115) 동안, 스튜디오는 상이한 디스플레이 모드들(말하자면, 비비드(vivid), 시네마/영화 등) 하에서 릴리즈(release)의 품질을 체크할 수 있다. 스튜디오가 그들의 콘텐츠를 검토하기 위해 그들의 렌더링 디스플레이(125)를 "시네마 홈"에 놓는 경우, 이는 "시네마"로 설정된 L11을 갖는 스마트 모드를 사용하는 누군가와 동일한 시청자 경험을 반드시 보는 것은 아닐 수 있다. 이는 게임, 스포츠, 및 표준 모드들에 대해서도 마찬가지이다. 이는 2개의 디스플레이가 그들의 백색점 또는 다른 교정 파라미터를 정의하는 방식이 상이할 수 있기 때문에 발생할 수 있다.
L11 메타데이터의 생성이 이제 설명된다. 예로서, 이미지 생성 디바이스들은, 콘텐츠에서 L11이 지정되지 않은 경우, 타겟 디스플레이 디바이스를 원하는 모드로 구성하기 위해 필드들을 채울 수 있다. 추가로, 콘텐츠에서 L11이 지정되지 않은 경우, 애플리케이션(앱) 레벨은 타겟 디스플레이 디바이스를 구성하기 위해 필드들을 채울 수 있다. 예컨대, 실시예에서, PS4/Xbox 게임 앱들이 게임으로 설정되거나, 블루레이 플레이어 및 Netflix 앱이 시네마로 설정되거나, 또는 NBC 스포츠 앱이 스포츠로 설정된다. 더욱이, 저작 툴들이 또한 타겟 디스플레이 디바이스를 구성하기 위해 필드들을 채울 수 있다. 이 경우, 저작 툴들은 콘텐츠 타입에 대한 드롭-다운 메뉴를 리졸빙(resolve) 및 인에이블한다. 할리우드 스튜디오들은 항상 시네마로 설정된다. 스포츠 또는 시네마를 명시적으로 커버하지 않는 한, 방송사들은 "모든 다른 것"으로 설정된다.
방송 플레이아웃 서버 맵핑의 예가 도 15에서 표 형태로 제공된다. 표(1500)는 유럽 방송 연합(EBU) 코어 메타데이터 테크 3293(테크 3293, "EBU 코어 메타데이터 세트(EBUCore)", 사양 v1.9, MIM-AI, EBU, 2019년 1월 참조)으로부터의 L11 메타데이터의 맵핑에 의한, EBU 코어 메타데이터(EBUCore) 테크 3293(1410)으로부터의 L11 메타데이터의 생성을 예시한다.
타겟 디스플레이에서의 L11 재생 구현이 이제 설명된다. 예로서, 사용자는, 또한 팩토리 디폴트일 수 있는, 타겟 디스플레이 상의 돌비 스마트 모드TM와 같은 스마트 모드를 선택한다. 콘텐츠 타입이 변경될 때, 타겟 디스플레이는 스마트 모드로 유지된다. 메타데이터 변경들은 매끄러운데, 즉, 이미지 콘텐츠의 깜박거림이 없다. 사용자는 언제든지 레거시 픽처 모드들로 변경할 수 있다.
추가 실시예들의 이하의 설명들은 그 추가 실시예와 이전에 설명된 실시예 사이의 차이들에 초점을 맞출 것이다. 따라서, 실시예들 둘 모두에 대해 공통인 피처들은 이하의 설명으로부터 생략될 것이고, 그에 따라, 이전에 설명된 실시예의 피처들은, 이하의 그 설명이 달리 요구하지 않는 한, 추가 실시예에서 구현되거나 또는 적어도 구현될 수 있는 것으로 간주되어야 한다.
본 개시내용의 다른 실시예에서, RM 플래그는 단순히 재생 동안만이 아니라 더 많은 상황들에서 활용된다. 예컨대, 메타데이터가 생성 의도를 나타내지 않는 경우, 이 실시예에 따른 장치 및 방법들은 생성자로부터 다운스트림에 있는 다른 누군가(인코더, 배포자, 재생 디바이스)가 메타데이터를 수정, 생성, 및/또는 중복기입하는 것을 허용한다. 그러나, 메타데이터가 생성 의도를 나타내는 경우, 메타데이터는 다운스트림에서 수정되는 것이 허용되지 않는다.
본 개시내용의 대안적인 실시예에서, 메타데이터를 누가 채웠는지에 관한 더 많은 정보가 포함된다. 이 실시예에 따른 장치 및 방법들은 RM 플래그 필드에 대한 더 많은 비트들의 사용을 허용한다. 예로서, 콘텐츠 생성 및 배포의 스테이지 및 L11 메타데이터를 채운 회사의 이름과 같은 정보가 RM 플래그에 저장될 수 있다. 이 정보는 콘텐츠 및 메타데이터에 부착될 수 있다. 이 정보는 메타데이터를 어떻게 해석하고 적용하는지를 알기 위해 활용될 수 있다. 일부 예들은: i) 메타데이터를 누가 채웠는지의 식별 및 재생 우선순위들에 따라, 재생 디바이스에서 메타데이터를 적용하거나 또는 적용하지 않는 것; ii) 메타데이터를 누가 채웠는지에 따라, 예컨대 돌비 및 그의 파트너들을 포함하는 다양한 배포 참가자들이 콘텐츠 생성 및 배포의 다양한 스테이지들에서 메타데이터를 추가로 수정, 향상, 또는 중복기입하는 것을 허용하거나 또는 허용하지 않는 것; iii) 메타데이터를 누가 채웠는지 및 메타데이터가 잠재적으로 어디에서 노출되는지(이를테면, 소비자 가시적인 GUI에서 콘텐츠 타입을 노출시키는 것)에 따라, 메타데이터의 일부를 노출시키거나 또는 노출시키지 않는 것이다.
본 개시내용의 또 다른 대안적인 실시예에서, 블록체인과 개념적으로 유사한 콘텐츠 포맷에서, 다운스트림 참가자들은 추가적인 및/또는 대안적인 L11 메타데이터 세트들 또는 레코드들을 부착할 수 있다. 이 경우, 각각의 세트 또는 레코드를 누가 채웠는지를 아는 것이 매우 중요할 것이다. 예컨대, 콘텐츠 서비스 제공자가 모든 그들의 콘텐츠에 대해 하나의 일관된 세트의 L11 메타데이터에 의해 정의되는 그들의 선호되는 외관을 가질 수 있는 한편, 상이한 세트의 L11 메타데이터는 원래의 콘텐츠 생성자에 의해 정의된 각각의 콘텐츠 피스에 대해 유지될 것이다. 이는 어느 세트의 L11 메타데이터가 사용되는지에 따라 상이한 소비자 경험들을 가능하게 할 것이다. 각각의 세트의 L11 메타데이터에 대한 확장된 RM 플래그는 어느 세트의 L11 메타데이터를 사용할지에 관한 결정을 통보할 것이다.
본 개시내용의 다수의 실시예가 설명되었다. 그럼에도 불구하고, 본 개시내용의 범위로부터 벗어나지 않으면서 다양한 수정들이 이루어질 수 있다는 것을 이해할 것이다. 따라서, 다른 실시예들이 이하의 청구항들의 범위 내에 속한다.
위에서 제시된 예들은 본 개시내용의 실시예들을 제조 및 사용하는 방법의 완전한 개시 및 설명으로서 관련 기술분야의 통상의 기술자에게 제공되고, 본 발명자/발명자들이 이들의 개시내용으로 간주하는 것의 범위를 제한하는 것으로 의도되지 않는다.
관련 기술분야의 통상의 기술자에게 명백한 본원에서 개시되는 방법들 및 시스템들을 수행하기 위한 위에서 설명된 모드들의 수정들은 이하의 청구항들의 범위 내에 있는 것으로 의도된다. 본 명세서에서 언급되는 모든 특허들 및 공보들은 본 개시내용이 속하는 관련 기술분야의 통상의 기술자의 기술 레벨들을 나타낸다. 본 개시내용에서 인용되는 모든 참조문헌들은 각각의 참조문헌이 개별적으로 그 전체가 참조로 포함된 것과 동일한 정도로 참조로 포함된다.
물론, 본 개시내용은 변할 수 있는 특정 방법들 또는 시스템들로 제한되지 않는다는 것을 이해해야 한다. 본원에서 사용되는 용어는 특정 실시예들을 설명하는 목적을 위한 것일 뿐이고, 제한적인 것으로 의도되지 않는다는 것을 또한 이해해야 한다. 본 명세서 및 첨부 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an", 및 "the")은 내용상 명확히 달리 지시되지 않는 한 복수의 지시대상을 포함한다. "복수"라는 용어는 내용상 명확히 달리 지시되지 않는 한 2개 이상의 지시대상을 포함한다. 달리 정의되지 않는 한, 본원에서 사용되는 모든 기술적 및 과학적 용어들은 본 개시내용이 속하는 관련 기술분야의 통상의 기술자에 의해 일반적으로 이해되는 의미와 동일한 의미를 갖는다.
본 개시내용에서 설명되는 방법들 및 시스템들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다. 블록 모듈들 또는 구성요소들로서 설명되는 피처들은 하드웨어, 소프트웨어, 및 펌웨어의 조합을 사용하여 함께 또는 개별적으로 구현될 수 있다. 본 개시내용의 방법들의 소프트웨어 부분은 명령어들(예컨대, 실행가능 프로그램)을 포함하는 컴퓨터 판독가능 매체를 포함할 수 있고, 그 명령어들은, 실행될 때, 설명되는 방법들을 적어도 부분적으로 수행한다. 컴퓨터 판독가능 매체는, 예컨대, 랜덤 액세스 메모리(RAM) 및/또는 판독 전용 메모리(ROM)를 포함할 수 있다. 명령어들은 프로세서(예컨대, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 또는 필드 프로그램가능 로직 어레이(FPGA))에 의해 실행될 수 있다.
본 발명의 다양한 양태들은 이하의 열거된 예시적인 실시예(EEE)들로부터 인식될 수 있다:
EEE 1. 메타데이터를 갖는 디지털 비디오 비트스트림을 생성하는 방법으로서,
메타데이터는 생성 의도를 보존하는 것을 표시하는 플래그를 포함하고,
방법은,
디지털 비디오 비트스트림의 콘텐츠 타입을 표시하기 위해 메타데이터 내의 하나 이상의 추가적인 필드를 설정하는 단계; 및
디지털 비디오 비트스트림이 원래의 생성 의도에 따라 재생 및/또는 디스플레이될 참조 모드에서 디지털 비디오 비트스트림이 디코딩될 때, 하나 이상의 추가적인 필드가 사용되어야 하는지 여부를 표시하기 위해 메타데이터 내의 플래그를 설정하는 단계
를 포함한다.
EEE 2. EEE 1의 방법에서, 메타데이터 내의 하나 이상의 추가적인 필드는 비디오 콘텐츠 타입, 비디오 콘텐츠 서브-타입, 비디오 콘텐츠 의도된 백색점, 비디오 콘텐츠 의도된 선명도, 비디오 콘텐츠 의도된 잡음 감소, 비디오 콘텐츠 의도된 MPEG 잡음 감소, 비디오 콘텐츠 의도된 프레임 레이트 변환, 비디오 콘텐츠 평균 픽처 레벨, 및 비디오 콘텐츠 의도된 색 중 적어도 하나를 포함한다.
EEE 3. EEE 2의 방법에서, 메타데이터가 비디오 콘텐츠 생성자에 의해 생성되는 경우, 플래그는 제1 논리 값으로 설정되고, 메타데이터가 제3자에 의해 생성되는 경우, 플래그는 제2 논리 값으로 설정된다.
EEE 4. EEE 2의 방법에서, 메타데이터는 비디오 콘텐츠 생성자에 의해, 자동 이미지 프로세서에 의해, 또는 애플리케이션 레벨에서 생성된다.
EEE 5. EEE 1 내지 EEE 4 중 어느 하나의 방법에서, 메타데이터는 비디오 콘텐츠 생성자에 의해, 자동 이미지 프로세서에 의해, 또는 애플리케이션 레벨에서 생성된다.
EEE 6. EEE 1 내지 EEE 5 중 어느 하나의 방법에서, 메타데이터가 비디오 콘텐츠 생성자에 의해 생성되는 경우, 플래그는 제1 논리 값으로 설정되고, 메타데이터가 제3자에 의해 생성되는 경우, 플래그는 제2 논리 값으로 설정된다.
EEE 7. EE 1 내지 EE 6 중 어느 하나의 방법에서, 다른 메타데이터로부터의 맵핑이 메타데이터를 생성하기 위해 사용된다.
EEE 8. EEE 7의 방법에서, 다른 메타데이터는 유럽 방송 연합 코어 메타데이터 테크 3293이다.
EEE 9. 메타데이터를 갖는 비디오 콘텐츠를 재생하는 방법으로서,
메타데이터는 생성 의도를 보존하는 것을 표시하는 플래그를 포함하고,
방법은,
디코더에서 비디오 콘텐츠를 수신하는 단계; 및
디지털 비디오 비트스트림이 원래의 생성 의도에 따라 재생 및/또는 디스플레이될 참조 모드에서 비디오 콘텐츠가 디코딩될 때, 하나 이상의 추가적인 필드가 사용되어야 하는지 여부를 플래그의 상태에 기초하여 디코더에게 명령하는 단계
를 포함한다.
EEE 10. EEE 9의 방법에서, 플래그가 제1 논리 값으로 설정되는 경우, 디코더는 참조 모드 및 비참조 모드에서 비디오 콘텐츠 타입을 결정하기 위해 메타데이터를 활용할 것을 명령받는다.
EEE 11. EEE 9의 방법에서, 플래그가 제2 논리 값으로 설정되는 경우, 디코더는 참조 모드에서 메타데이터를 무시하고 비참조 모드에서 메타데이터를 활용할 것을 명령받는다.
EEE 12. EEE 9 내지 EEE 11 중 어느 하나의 방법에서, 메타데이터는 비디오 콘텐츠 타입, 비디오 콘텐츠 서브-타입, 비디오 콘텐츠 의도된 백색점, 비디오 콘텐츠 의도된 선명도, 비디오 콘텐츠 의도된 잡음 감소, 비디오 콘텐츠 의도된 MPEG 잡음 감소, 비디오 콘텐츠 의도된 프레임 레이트 변환, 비디오 콘텐츠 평균 픽처 레벨, 및 비디오 콘텐츠 의도된 색 중 적어도 하나를 포함한다.
EEE 13. 디지털 비디오 비트스트림으로서,
비디오 콘텐츠; 및
생성 의도를 표시하는 플래그를 포함하는 메타데이터
를 포함하고,
메타데이터는 디지털 비디오 비트스트림의 콘텐츠 타입을 표시하기 위해 하나 이상의 추가적인 필드를 갖고,
여기서,
메타데이터 내의 플래그는, 디지털 비디오 비트스트림이 원래의 생성 의도에 따라 재생 및/또는 디스플레이될 참조 모드에서 디지털 비디오 비트스트림이 디코딩될 때, 하나 이상의 추가적인 필드가 사용되어야 하는지 여부를 표시한다.
EEE 14. EEE 13의 디지털 비디오 비트스트림에서, 메타데이터 내의 하나 이상의 추가적인 필드는 비디오 콘텐츠 타입, 비디오 콘텐츠 서브-타입, 비디오 콘텐츠 의도된 백색점, 비디오 콘텐츠 의도된 선명도, 비디오 콘텐츠 의도된 잡음 감소, 비디오 콘텐츠 의도된 MPEG 잡음 감소, 비디오 콘텐츠 의도된 프레임 레이트 변환, 비디오 콘텐츠 평균 픽처 레벨, 및 비디오 콘텐츠 의도된 색 중 적어도 하나를 포함한다.
EEE 15. 비디오 비트스트림 내의 메타데이터의 사용 또는 비사용을 표시하는 방법으로서, 방법은
EEE 13 또는 EEE 14의 디지털 비디오 비트스트림을 제공하는 단계;
메타데이터가 비디오 콘텐츠 생성자에 의해 생성되는 경우, 플래그를 제1 논리 값으로 설정하고, 메타데이터가 제3자에 의해 생성되는 경우, 제2 논리 값으로 설정하는 단계
를 포함한다.
EEE 16. 하이 다이내믹 레인지를 갖는 비디오 비트스트림을 재생하는 방법으로서, 방법은
EEE 13 또는 EEE 14의 디지털 비디오 비트스트림을 제공하는 단계; 및
플래그가 제1 논리 값으로 설정되는 경우, 비디오 디코더에게 참조 모드 및 비참조 모드에서 비디오 콘텐츠 타입을 결정하기 위해 메타데이터를 활용할 것을 명령하는 단계
를 포함한다.
EEE 17. 하이 다이내믹 레인지를 갖는 비디오 비트스트림을 재생하는 방법으로서, 방법은
EEE 13 또는 EEE 14의 디지털 비디오 비트스트림을 제공하는 단계; 및
플래그가 제2 논리 값으로 설정되는 경우, 비디오 디코더에게 참조 모드에서 메타데이터를 무시하고, 비참조 모드에서 메타데이터를 활용할 것을 명령하는 단계
를 포함한다.
EEE 18. 컴퓨터 판독가능 매체로서,
명령어들을 포함하고, 그 명령어들은, 실행될 때, EEE 1 내지 EEE 12 또는 EEE 15 내지 EEE 17 중 어느 하나에 따른 방법들의 단계들을 수행한다.

Claims (15)

  1. 비디오 콘텐츠로부터 디지털 비디오 비트스트림을 생성하는 방법으로서,
    상기 디지털 비디오 비트스트림은 콘텐츠 인식 메타데이터를 포함하고,
    상기 콘텐츠 인식 메타데이터는,
    상기 디지털 비디오 비트스트림의 상기 비디오 콘텐츠의 카테고리를 표시하는 하나 이상의 카테고리 필드 ― 상기 하나 이상의 카테고리 필드는 타겟 디스플레이로 하여금 상기 비디오 콘텐츠의 카테고리에 대응하는 디스플레이 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 함 ―; 및
    상기 하나 이상의 카테고리 필드가 상기 타겟 디스플레이로 하여금 참조 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 하는지 여부를 표시하는 참조 모드 플래그
    를 포함하고,
    상기 참조 모드는 상기 비디오 콘텐츠의 생성자의 생성 의도를 보존하는 디스플레이 설정들을 갖는 디스플레이 모드를 나타내고,
    상기 방법은,
    상기 비디오 콘텐츠의 카테고리에 따라 상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 카테고리 필드를 설정하는 단계; 및
    상기 하나 이상의 카테고리 필드가 상기 참조 모드를 표시하는지 여부를 표시하기 위해 상기 콘텐츠 인식 메타데이터 내의 상기 참조 모드 플래그를 설정하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 카테고리 필드는 비디오 콘텐츠 타입과 비디오 콘텐츠 서브-타입 중 적어도 하나를 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 카테고리 필드를 설정하는 단계는,
    유럽 방송 연합 코어 메타데이터 테크 3293을 수신하는 단계; 및
    수신된 유럽 방송 연합 코어 메타데이터 테크 3293으로부터 상기 하나 이상의 카테고리 필드로의 맵핑을 적용하는 단계
    를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 콘텐츠 인식 메타데이터는,
    상기 타겟 디스플레이 상에 상기 비디오 콘텐츠를 디스플레이할 때의 상기 타겟 디스플레이의 디스플레이 설정들의 비디오 콘텐츠 의도된 조정들을 표시하는 하나 이상의 조정 필드를 더 포함하고,
    상기 하나 이상의 조정 필드는 상기 타겟 디스플레이로 하여금 상기 디스플레이 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 선택된 디스플레이 설정들 중 적어도 일부를 조정하게 함으로써, 적용되는 디스플레이 모드를 조정된 디스플레이 설정들로 리파이닝하는, 방법.
  5. 제4항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 조정 필드는 비디오 콘텐츠 의도된 백색점, 비디오 콘텐츠 의도된 선명도, 비디오 콘텐츠 의도된 잡음 감소, 비디오 콘텐츠 의도된 MPEG 잡음 감소, 비디오 콘텐츠 의도된 프레임 레이트 변환, 비디오 콘텐츠 평균 픽처 밝기 레벨, 및 비디오 콘텐츠 의도된 색 중 적어도 하나를 표시하는, 방법.
  6. 제4항 또는 제5항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 조정 필드를 설정하는 단계는,
    유럽 방송 연합 코어 메타데이터 테크 3293을 수신하는 단계; 및
    수신된 유럽 방송 연합 코어 메타데이터 테크 3293으로부터 상기 하나 이상의 조정 필드로의 맵핑을 적용하는 단계
    를 포함하는, 방법.
  7. 참조 모드에서 타겟 디스플레이 상에 비디오 콘텐츠를 재생하는 방법으로서,
    상기 참조 모드는 상기 비디오 콘텐츠의 생성자의 생성 의도를 보존하는 디스플레이 설정들을 갖는 디스플레이 모드를 나타내고,
    상기 방법은,
    상기 비디오 콘텐츠 및 콘텐츠 인식 메타데이터를 포함하는 디지털 비디오 비트스트림을 수신하는 단계 ― 상기 콘텐츠 인식 메타데이터는,
    상기 디지털 비디오 비트스트림의 상기 비디오 콘텐츠의 카테고리를 표시하는 하나 이상의 카테고리 필드, 및
    상기 하나 이상의 카테고리 필드가 상기 타겟 디스플레이로 하여금 상기 참조 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 하는지 여부를 표시하는 참조 모드 플래그
    를 포함함 ―;
    디코더에서 상기 비디오 콘텐츠를 디코딩하는 단계;
    상기 콘텐츠 인식 메타데이터로부터 상기 참조 모드 플래그를 검색하는 단계;
    상기 하나 이상의 카테고리 필드가 상기 타겟 디스플레이로 하여금 상기 참조 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 하는 것을 상기 참조 모드 플래그가 표시하는 경우,
    상기 콘텐츠 인식 메타데이터의 상기 하나 이상의 카테고리 필드로부터 상기 비디오 콘텐츠의 카테고리를 결정하고,
    상기 비디오 콘텐츠의 결정된 카테고리에 대응하는 디스플레이 모드를 결정하고,
    상기 결정된 디스플레이 모드의 디스플레이 설정들을 상기 타겟 디스플레이에 적용하고,
    상기 비디오 콘텐츠를 디스플레이하는 단계;
    상기 하나 이상의 카테고리 필드가 상기 타겟 디스플레이로 하여금 상기 참조 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 하는 것을 상기 참조 모드 플래그가 표시하지 않는 경우,
    상기 콘텐츠 인식 메타데이터를 적용하지 않고 상기 비디오 콘텐츠를 디스플레이하는 단계
    를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 카테고리 필드는 비디오 콘텐츠 타입과 비디오 콘텐츠 서브-타입 중 적어도 하나를 포함하는, 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 콘텐츠 인식 메타데이터는,
    상기 타겟 디스플레이 상에 상기 비디오 콘텐츠를 디스플레이할 때의 상기 타겟 디스플레이의 디스플레이 설정들의 비디오 콘텐츠 의도된 조정들을 표시하는 하나 이상의 조정 필드를 더 포함하고,
    상기 하나 이상의 조정 필드는 상기 타겟 디스플레이로 하여금 상기 디스플레이 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 선택된 디스플레이 설정들 중 적어도 일부를 조정하게 함으로써, 적용되는 디스플레이 모드를 조정된 디스플레이 설정들로 리파이닝하는, 방법.
  10. 제9항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 조정 필드는 비디오 콘텐츠 의도된 백색점, 비디오 콘텐츠 의도된 선명도, 비디오 콘텐츠 의도된 잡음 감소, 비디오 콘텐츠 의도된 MPEG 잡음 감소, 비디오 콘텐츠 의도된 프레임 레이트 변환, 비디오 콘텐츠 평균 픽처 밝기 레벨, 및 비디오 콘텐츠 의도된 색 중 적어도 하나를 표시하는, 방법.
  11. 디지털 비디오 비트스트림으로서,
    비디오 콘텐츠; 및
    콘텐츠 인식 메타데이터
    를 포함하고,
    상기 콘텐츠 인식 메타데이터는,
    상기 디지털 비디오 비트스트림의 상기 비디오 콘텐츠의 카테고리를 표시하는 하나 이상의 카테고리 필드 ― 상기 하나 이상의 카테고리 필드는 타겟 디스플레이로 하여금 상기 비디오 콘텐츠의 카테고리에 대응하는 디스플레이 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 함 ―; 및
    상기 하나 이상의 카테고리 필드가 타겟 디스플레이로 하여금 참조 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 디스플레이 설정들을 선택하게 하는지 여부를 표시하는 참조 모드 플래그
    를 포함하고,
    상기 참조 모드는 상기 비디오 콘텐츠의 생성자의 생성 의도를 보존하는 디스플레이 설정들을 갖는 디스플레이 모드를 나타내는, 디지털 비디오 비트스트림.
  12. 제11항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 카테고리 필드는 비디오 콘텐츠 타입과 비디오 콘텐츠 서브-타입 중 적어도 하나를 포함하는, 디지털 비디오 비트스트림.
  13. 제11항 또는 제12항에 있어서,
    상기 콘텐츠 인식 메타데이터는,
    상기 타겟 디스플레이 상에 상기 비디오 콘텐츠를 디스플레이할 때의 상기 타겟 디스플레이의 디스플레이 설정들의 비디오 콘텐츠 의도된 조정들을 표시하는 하나 이상의 조정 필드를 더 포함하고,
    상기 하나 이상의 조정 필드는 상기 타겟 디스플레이로 하여금 상기 디스플레이 모드에서 상기 비디오 콘텐츠를 디스플레이하기 위한 선택된 디스플레이 설정들 중 적어도 일부를 조정하게 함으로써, 적용되는 디스플레이 모드를 조정된 디스플레이 설정들로 리파이닝하는, 디지털 비디오 비트스트림.
  14. 제13항에 있어서,
    상기 콘텐츠 인식 메타데이터 내의 상기 하나 이상의 조정 필드는 비디오 콘텐츠 의도된 백색점, 비디오 콘텐츠 의도된 선명도, 비디오 콘텐츠 의도된 잡음 감소, 비디오 콘텐츠 의도된 MPEG 잡음 감소, 비디오 콘텐츠 의도된 프레임 레이트 변환, 비디오 콘텐츠 평균 픽처 밝기 레벨, 및 비디오 콘텐츠 의도된 색 중 적어도 하나를 표시하는, 디지털 비디오 비트스트림.
  15. 컴퓨터 판독가능 매체로서,
    명령어들을 포함하고, 상기 명령어들은, 실행될 때, 제1항 내지 제10항 중 어느 한 항의 방법을 수행하는, 컴퓨터 판독가능 매체.
KR1020227002665A 2019-06-28 2020-06-26 하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터 KR102653767B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962868070P 2019-06-28 2019-06-28
EP19183269 2019-06-28
EP19183269.0 2019-06-28
US62/868,070 2019-06-28
PCT/US2020/039969 WO2020264409A1 (en) 2019-06-28 2020-06-26 Video content type metadata for high dynamic range

Publications (2)

Publication Number Publication Date
KR20220029688A true KR20220029688A (ko) 2022-03-08
KR102653767B1 KR102653767B1 (ko) 2024-04-03

Family

ID=71614975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227002665A KR102653767B1 (ko) 2019-06-28 2020-06-26 하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터

Country Status (7)

Country Link
US (1) US11743550B2 (ko)
EP (1) EP3991427A1 (ko)
JP (1) JP7483766B2 (ko)
KR (1) KR102653767B1 (ko)
CN (1) CN114073089B (ko)
BR (1) BR112021024551A2 (ko)
WO (1) WO2020264409A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114302195B (zh) * 2021-01-14 2023-04-14 海信视像科技股份有限公司 一种显示设备、外接设备以及播放控制方法
EP4335108A1 (en) 2021-05-06 2024-03-13 Dolby Laboratories Licensing Corporation Systems and methods for processing volumetric images
WO2023055736A1 (en) 2021-10-01 2023-04-06 Dolby Laboratories Licensing Corporation Encoding and decoding multiple-intent images and video using metadata
US11785300B2 (en) * 2022-02-17 2023-10-10 Roku, Inc. HDMI customized ad insertion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160156965A1 (en) * 2013-07-14 2016-06-02 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
US20180376194A1 (en) * 2017-06-23 2018-12-27 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
US20190075325A1 (en) * 2016-03-30 2019-03-07 Lg Electronics Inc. Method and apparatus for transmitting and receiving broadcast signals

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771323B1 (en) 1999-11-15 2004-08-03 Thx Ltd. Audio visual display adjustment using captured content characteristics
US20030007001A1 (en) 2001-06-07 2003-01-09 Philips Electronics North America Corporation Automatic setting of video and audio settings for media output devices
KR100619064B1 (ko) * 2004-07-30 2006-08-31 삼성전자주식회사 메타 데이터를 포함하는 저장 매체, 그 재생 장치 및 방법
US8482614B2 (en) 2005-06-14 2013-07-09 Thx Ltd Content presentation optimizer
EP2033444A1 (en) 2006-06-13 2009-03-11 Koninklijke Philips Electronics N.V. Distribution of ambience and content
US20080043031A1 (en) 2006-08-15 2008-02-21 Ati Technologies, Inc. Picture adjustment methods and apparatus for image display device
CN101611622A (zh) * 2007-02-13 2009-12-23 皇家飞利浦电子股份有限公司 视频控制单元
BRPI0721634A2 (pt) 2007-06-20 2013-02-05 Thomson Licensing correÇço gama automÁtica de conteédo de fonte de entrada
KR20090022373A (ko) 2007-08-30 2009-03-04 삼성전자주식회사 컨텐츠 장르에 따라 컨텐츠 재생 장치를 자동으로 조정하는방법 및 이를 구현하는 송출 및 수신 시스템
US8488901B2 (en) 2007-09-28 2013-07-16 Sony Corporation Content based adjustment of an image
CN104954831A (zh) 2008-01-31 2015-09-30 汤姆逊许可证公司 用于观看数据定义和高清晰度多媒体接口上的传输的方法
US20100013855A1 (en) 2008-07-16 2010-01-21 International Business Machines Corporation Automatically calibrating picture settings on a display in accordance with media stream specific characteristics
US20100013996A1 (en) 2008-07-18 2010-01-21 Samsung Electronics Co., Ltd. Method and system for theme-based settings for a display device
KR101196410B1 (ko) 2009-07-07 2012-11-01 삼성전자주식회사 Ｔｖ 설치타입에 기초한 자동 환경 설정방법 및 이를 적용한 ｔｖ
US8280222B2 (en) 2009-10-06 2012-10-02 Sony Corporation Use of metadata in video to establish TV settings
US9183580B2 (en) 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
US8891934B2 (en) 2010-02-22 2014-11-18 Dolby Laboratories Licensing Corporation Video display control using embedded metadata
WO2011103075A1 (en) 2010-02-22 2011-08-25 Dolby Laboratories Licensing Corporation Video delivery and control by overwriting video data
US9654757B2 (en) 2013-03-01 2017-05-16 Nokia Technologies Oy Method, apparatus, and computer program product for including device playback preferences in multimedia metadata
US11140454B2 (en) * 2013-07-17 2021-10-05 Sourcepicture Inc. Systems and methods for content presentation management
KR102229156B1 (ko) 2014-03-05 2021-03-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
US20160092405A1 (en) * 2014-09-30 2016-03-31 Microsoft Technology Licensing, Llc Intent Based Authoring
KR102190233B1 (ko) * 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
TW201633779A (zh) 2014-12-16 2016-09-16 湯姆生特許公司 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置
CN111095931B (zh) 2017-09-06 2022-05-27 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
US11778282B2 (en) * 2018-07-30 2023-10-03 Sony Group Corporation Automatically setting picture mode for each media
CN109361949B (zh) * 2018-11-27 2020-08-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
CN109640169B (zh) 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频增强控制方法、装置以及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160156965A1 (en) * 2013-07-14 2016-06-02 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
US20190075325A1 (en) * 2016-03-30 2019-03-07 Lg Electronics Inc. Method and apparatus for transmitting and receiving broadcast signals
US20180376194A1 (en) * 2017-06-23 2018-12-27 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof

Also Published As

Publication number Publication date
CN114073089B (zh) 2024-02-09
WO2020264409A1 (en) 2020-12-30
JP2022540067A (ja) 2022-09-14
US11743550B2 (en) 2023-08-29
JP7483766B2 (ja) 2024-05-15
CN114073089A (zh) 2022-02-18
KR102653767B1 (ko) 2024-04-03
EP3991427A1 (en) 2022-05-04
US20220264190A1 (en) 2022-08-18
BR112021024551A2 (pt) 2022-01-18

Similar Documents

Publication Publication Date Title
JP6621898B2 (ja) オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置
US11183143B2 (en) Transitioning between video priority and graphics priority
US20200244916A1 (en) Method for generating control information based on characteristic data included in metadata
US11800151B2 (en) Signal reshaping and coding for HDR and wide color gamut signals
KR102653767B1 (ko) 하이 다이내믹 레인지를 위한 비디오 콘텐츠 타입 메타데이터
RU2689411C2 (ru) Способ для кодирования, процессор видео, способ для декодирования, декодер видео
RU2643485C2 (ru) Устройство и способ для преобразования динамического диапазона изображений
US11019302B2 (en) Frame rate conversion metadata
RU2818525C2 (ru) Метаданные типа видеосодержимого для расширенного динамического диапазона
CN115918061A (zh) 用于高动态范围视频的图片元数据
TW202147845A (zh) 運算用以編輯高動態範圍內容之動態後設資料
Borg et al. Content-Dependent Metadata for Color Volume Transformation of High Luminance and Wide Color Gamut Images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right