KR20160086349A - 신호 송수신 장치 및 신호 송수신 방법 - Google Patents

신호 송수신 장치 및 신호 송수신 방법 Download PDF

Info

Publication number
KR20160086349A
KR20160086349A KR1020167014563A KR20167014563A KR20160086349A KR 20160086349 A KR20160086349 A KR 20160086349A KR 1020167014563 A KR1020167014563 A KR 1020167014563A KR 20167014563 A KR20167014563 A KR 20167014563A KR 20160086349 A KR20160086349 A KR 20160086349A
Authority
KR
South Korea
Prior art keywords
video data
video
wcg
information
color
Prior art date
Application number
KR1020167014563A
Other languages
English (en)
Other versions
KR101832779B1 (ko
Inventor
오현묵
서종열
황수진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20160086349A publication Critical patent/KR20160086349A/ko
Application granted granted Critical
Publication of KR101832779B1 publication Critical patent/KR101832779B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 신호 송수신 장치 및 신호 송수신 방법에 관한 것이다.

Description

신호 송수신 장치 및 신호 송수신 방법{SIGNAL TRANSCEIVING APPARATUS AND SIGNAL TRANSCEIVING METHOD}
본 발명은 신호 송수신 장치 및 신호 송수신 방법에 관한 것이다.
UHD 방송에서는 기존 컨텐츠에서 표현하지 못하였던 색상을 표현함으로써 기존의 방송과의 차별성을 제공하고 고도의 현장감 제공할 수 있다. 하지만, 광역 색공간 영상에 대한 연구 뿐 아니라 영상 획득 및 디스플레이 장치에 대한 개발이 진행중인 상황에서 광역 색공간을 갖는 영상이 제공되는 환경에서도 색공간 표현에 상대적으로 제약이 있는 기존 수신기에서 동일한 컨텐츠를 표현할 수 있는 방법이 필요하다. 전송 대역폭이 한정적인 환경에서 역호환성을 고려하기 위한 방법 중 하나인 scalable approach를 사용하는 경우, 서로 다른 layer로 구성된 단일 컨텐츠에 대해 추가 시그널을 통해 서로 다른 비디오 파라미터를 적용함으로써 수신기의 능력에 맞는 색공간의 영상을 구성하여 디스플레이 할 수 있다.
비디오 신호 처리 속도가 빨라지면서 초고해상도(Ultra High Definition; UHD) 비디오를 인코딩/디코딩하는 방안이 연구되고 있다.
UHD 방송에서는 기존 컨텐츠에서 표현하지 못하였던 색상을 표현함으로써 기존의 방송과의 차별성을 제공하고 고도의 현장감 제공할 수 있다. UHD 와 같은 광역 색공간 영상에 대한 연구나, 이를 표출할 수 있는 디스플레이 장치에 대한 개발이 진행 중에 있다.
예를 들어 UHD 방송에서는 기존 HD 방송과의 차별화된 방송 서비스를 제공하기 위해 다양한 측면에서 시청자에게 현실감 있는 컨텐츠를 제공하려는 논의가 진행되고 있다.
하지만, UHD 방송 등 광역 색공간을 갖는 영상이 제공될 경우, 색공간 표현에 상대적으로 제약이 있는 기존 수신기에서 광역 색공간을 표현하는 컨텐츠를 표현할 수 있는 방법이 제공되지 않았다.
예를 들어, 컨텐츠의 색상 표현 범위를 사람의 시각 체계를 통해 획득하는 색상 범위에 근접하도록 만들기 위해 기존 디스플레이의 컬러 표현 범위인 컬러 개멋(color gamut)를 확장한 Wide 컬러 개멋(color gamut) (WCG)을 이용할 수 있다. 이하에서 WCG 기반의 색 영역을 제공하는 영상 서비스 또는 컨텐츠는 WCG 서비스 또는 WCG 컨텐츠로 호칭한다.
WCG 기반의 색을 정확하게 획득하거나 표현할 수 있는 영상 획득 장치나 디스플레이 장치는 개발 중에 있다. 일정 기간 동안은 UHD 방송 등의 광역 색공간 영상을 포함한 서비스는 기존 영상 획득 장치 및 디스플레이 장치를 통해 제공될 것이다.
따라서, 추후에 WCG 서비스가 제공될 경우, 기존 디스플레이 장치 또는 기존 영상 수신기를 가지고 있는 시청자가 수신기를 바꿔야 하는 문제점이 있다. 따라서, 예를 들어, UHD 방송 영상을 제공하는 방송국 입장에서는 시청자가 감소할 수 있는 문제가 있다.
종래는 WCG 컨텐츠를 WCG 컨텐츠를 디스플레이할 수 있는 수신기 뿐만 아니라 기존 수신기에서도 수신하도록 할 수 있는 방법이 제공되지 않았다.
본 발명의 목적은, 광역 색 공간 기반의 영상 서비스를 디스플레이 하도록 하는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 다른 목적은, 기존 수신기에서도 호환 가능한 WCG 컨텐츠를 제공할 수 있는, 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 다른 목적은, 광역 색 공간 기반의 영상 서비스가 다수의 디스플레이 장치에서 호환되어 제공될 수 있는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 다른 목적은, 컨텐츠의 WCG 정보를 호환성 있게 표현하는 방송 서비스를 제공할 수 있는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 일 실시예는, 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 제공할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 각각 인코딩하는 단계, 상기 스케일러블 WCG 비디오 데이터를 구성할 수 있는 시그널링 정보를 생성하는 단계, 상기 생성된 시그널링 정보와 상기 인코딩된 베이스 레이어 비디오 데이터 및 상기 인코딩된 인핸스먼트 비디오 데이터를 다중화한 스트림을 출력하는 단계, 및 상기 다중화한 스트림을 전송하는 단계;를 포함하는 신호 송신 방법을 제공한다.
상기 시그널링 정보는, 상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 식별하는 정보를 포함할 수 있다. 상기 인코딩된 베이스 레이어 비디오 데이터 또는 상기 인코딩된 인핸스먼트 비디오 데이터는, 상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 구성(render)할 수 있는 컬러 개멋 매핑 정보, 컬러 비트 뎁스 정보 또는 컬러 매핑 정보를 가지는 메타데이터를 포함할 수 있다.
본 발명의 다른 일 실시예는, 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 제공할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 각각 인코딩하는 인코더, 상기 스케일러블 WCG 비디오 데이터를 구성할 수 있는 시그널링 정보를 인코딩하는 시그널링 정보 인코더, 상기 생성된 시그널링 정보와 상기 인코딩된 베이스 레이어 비디오 데이터 및 상기 인코딩된 인핸스먼트 비디오 데이터를 다중화화 스트림을 출력하는 다중화부, 및 상기 다중화한 스트림을 전송하는 전송부;를 포함하는 신호 송신 장치를 제공한다.
본 발명의 다른 일 실시예는, 스케일러블 Wide Color Gamut(WCG) 비디오 데이터를 구성할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 포함하는 스트림을 수신하는 단계, 상기 수신한 스트림을 역다중화하여 베이스 레이어 비디오 데이터 및 인핸스 먼트 비디오 데이터를 포함하는 비디오 데이터와 시그널링 정보를 각각 출력하는 단계, 상기 역다중화한 시그널링 정보를 디코딩하는 단계 및 상기 디코딩한 시그널링 정보를 기반으로 상기 베이스 레이어 비디오 데이터 또는/및 상기 인핸스먼트 비디오 데이터를 복호하여 legacy UHD 비디오 또는 WCG 비디오를 출력하는 단계;를 포함하는 신호 수신 방법을 제공한다.
본 발명의 다른 일 실시예는, 스케일러블 Wide Color Gamut(WCG) 비디오 데이터를 구성할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 포함하는 스트림을 수신하는 수신부, 상기 수신한 스트림을 역다중화하여 베이스 레이어 비디오 데이터 및 인핸스먼트 비디오 데이터를 포함하는 비디오 데이터와 시그널링 정보를 각각 출력하는 역다중화부, 상기 역다중화한 시그널링 정보를 디코딩하는 디코더 및 상기 디코딩한 시그널링 정보를 기반으로 상기 베이스 레이어 비디오 데이터 또는/및 상기 인핸스먼트 비디오 데이터를 복호하여 legacy UHD 비디오 또는 WCG 비디오를 출력하는 비디오 디코더;를 포함하는 신호 수신 장치를 제공한다.
상기 WCG 비디오는, 상기 인핸스먼트 레이어 비디오 데이터를 기반으로, 상기 컬러 개멋 매핑 정보를 이용하여 상기 베이스 레이어 비디오 데이터를 컬러 개멋 매핑하거나, 상기 컬러 비트 뎁스 정보를 이용하여 상기 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업 스케링하여 구성할 수 있다.
본 발명의 실시예에 따르면, 광역 색 공간 기반의 영상 서비스를 디스플레이 장치에 상관없이 디스플레이 하도록 할 수 있다.
본 발명의 실시예에 따르면, 기존 수신기에서도 호환 가능한 WCG 컨텐츠를 제공할 수 있다.
본 발명의 실시예에 따르면 광역 색 공간 기반의 영상 서비스가 다수의 디스플레이 장치에서 호환되어 제공될 수 있다.
본 발명의 실시예에 따르면 컨텐츠의 WCG 정보를 호환성 있게 표현할 수 있는 방송 서비스를 제공할 수 있다.
도 1은 본 발명에 따른 신호 송신 방법의 일 실시예를 예시한 도면
도 2는 본 발명의 실시예 따라 WCG 컨텐츠를 표출하는 방식을 예시한 도면
도 3은 본 발명의 실시예에 따른 WCG 비디오 구성부의 일 예를 예시한 도면
도 4는 본 발명의 실시예에 따른 WCG 비디오 구성부의 다른 예를 예시한 도면
도 5는 본 발명의 실시예에 따른 포스트 프로세싱부(190)를 예시한 도면
도 6은 본 발명의 실시예에 따라 스케일러블 WCG 비디오를 생성하는 예를 예시하는 도면
도 7은 본 발명의 실시예에 따라 WCG 비디오를 구성하는 다른 예를 예시하는 도면
도 8은 본 발명의 일 실시예로서 방송 시그널링 정보를 예시한 도면 (PMT)
도 9는 본 발명의 실시예에 따라 PMT에 스케일러블 WCG 비디오 서비스를 기술하는 스트림 디스크립터가 위치한 경우를 예시한 도면
도 10은 본 발명의 실시예에 따라 개시한 디스크립터(WCG_sub_stream_descriptor)의 예를 나타낸 도면
도 11은 본 발명의 실시예에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 신택스를 예시한 도면
도 12는 본 발명의 실시예에 따라 개시한 SEI 영역의 패이로드에 포함되는 스케일러블 WCG 비디오의 메타데이터를 예시한 도면
도 13은 본 발명의 실시예에 따라 스케일러블 WCG 비디오의 메타데이터에서 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터의 컬러 개멋 정보를 임의로 나타내는 방식을 예시한 도면
도 14는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 오리지널 UHD 비디오 포맷에 대한 정보(original_UD_video_type)를 예시한 도면
도 15는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 베이스 레이어의 비디오의 컬러 개멋 정보를 상세히 예시한 도면
도 16는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 인핸스먼트 레이어의 비디오의 컬러 개멋 정보를 상세히 예시한 도면
도 17는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 WCG 비디오를 얻도록 하는 컬러 개멋 매핑 함수 정보를 상세히 예시한 도면
도 18은 이와 같은 실시예를 구현할 수 있는 본 발명의 일 실시예로서 방송 시그널링 정보를 예시한 도면
도 19는 본 발명의 실시예에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 다른 신택스를 예시한 도면
도 20은 본 발명의 실시예에 따라 개시한 SEI 영역의 패이로드에 포함되는 스케일러블 WCG 비디오의 메타데이터의 다른 예를 예시한 도면
도 21은 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보의 예를 개시한 도면
도 22는 본 발명의 실시예에 따라 컬러 개멋 정보를 매핑하기 위해 사용할 수 있는 컬러 개멋 매핑 매트릭스 타입 정보(matrix_composition_type)를 예시한 도면
도 23은 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 매트릭스 타입 정보가 BT. 709에 따른 Normalized Primary Matrix를 지칭할 경우 상세한 컬러 매핑 매트릭스 실시예를 나타낸 도면
도 24는 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 매트릭스 타입 정보가 현재 영상의 color primary value를 기반으로 Normalized Primary Matrix 실시예를 나타낸 도면
도 25는 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보 중 색 공간 변환을 위한 계수(gamut_mapping_coeff[i]) 를 표현하는 변환식을 예시한 도면
도 26은 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보 중 LUT_type 필드에 따른 Look Up Table (LUT)의 종류를 예시한 도면
도 27은 본 발명의 일 실시예로서 방송 시그널링 정보를 예시한 도면
도 28은 본 발명의 일 실시예로서, 이러한 방송 시그널링 정보에 포함되는 스케일러블 WCG 비디오를 시그널링하는 디스크립터를 포함하는 구체적인 예를 개시한 도면
도 29는 본 발명의 일 실시예로서 방송 시그널링 정보에 스케일러블 WCG 비디오를 시그널링하는 시그널링 정보가 포함되는 다른 예를 예시한 도면
도 30은 본 발명의 일 실시예로서 방송 시그널링 정보에 스케일러블 WCG 비디오를 시그널링하는 시그널링 정보가 포함되는 다른 예를 예시한 도면
도 31은 본 발명의 일 실시예로서 방송 시그널링 정보에 스케일러블 WCG 비디오를 시그널링하는 시그널링 정보가 포함되는 다른 예를 예시한 도면
도 32는 본 발명의 실시예에 따른 신호 송신 장치의 일 실시예를 나타낸 도면
도 33는 본 발명의 실시예에 따른 신호 송신 장치의 다른 일 실시예를 나타낸 도면
도 34는 본 발명의 실시예에 따른 신호 수신 장치의 일 예를 예시한 도면
도 35는 본 발명의 실시예에 따른 신호 수신 방법의 일 예를 예시한 도면
발명의 실시를 위한 최선의 형태
이하 본 발명의 용이하게 설명할 수 있는 실시예를 첨부한 도면을 참조하여 설명한다.
광역 색공간 (wide color gamut: WCG)을 갖는 컨텐츠와 이를 표현할 수 있는 디스플레이 장치가 방송에 도입되는 상황에서 소비자가 가지고 있는 디스플레이의 색상 표현 범위에 따라 적절한 컨텐츠를 공급할 필요가 있다. 기존의 색 공간(legacy UHD color gamut)을 갖는 디스플레이와 WCG 디스플레이에 대해 각각의 디스플레이 색 표현 특성에 맞는 컨텐츠를 공급해야 한다. 하지만 방송 서비스를 위한 대역폭이 제한된 상황에서 동일한 컨텐츠를 서로 다른 색 공간으로 생성하여 제공하는 것은 기존에 비해 두 배의 대역폭을 사용해야 하는 문제가 있고, 이는 방송국 혹은 컨텐츠 제공자의 입장에서 큰 부담이 된다. 이하에서는 컨텐츠에서 컬러 개멋(color gamut)에 대해 스케일러블(Scalable) 코딩에 따른 복수 레이어(layer) 데이터를 사용하여 서로 다른 색 공간을 갖는 방송 서비스를 제공할 수 있고, 대역폭을 효율적으로 사용하는 실시예를 개시한다.
이하에서는 WCG 비디오(컨텐츠)는 컨텐츠의 색 표현이 WCG 의 범위에 따라 표현된 비디오(컨텐츠)를 지칭한다.
도 1은 본 발명의 실시예에 따른 신호 송신 방법의 일 예를 나타낸 도면이다.
스케일러블 WCG 비디오 데이터를 구성할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 각각 인코딩한다(S110). 여기서 스케일러블 WCG 비디오 데이터를 구성할 수 있는 시그널링 정보가 베이스 레이어 비디오 데이터 또는 인핸스먼트 비디오 데이터에 메타데이터에 포함될 수 있다. 메타데이터의 예는 도 11 내지 도 17 및 도 19 내지 도 26을 참조하여 설명한다.
스케일러블 WCG 비디오 데이터를 구성할 수 있는 시그널링 정보를 생성한다(S120). 이 단계의 시그널링 정보는 방송 시그널링 정보로서 시스템 레벨의 시그널링 정보를 지칭한다. 이에 대한 상세한 예는 도 8, 내지 도 10, 도 18 및 도 27 내지 도 31을 참조하여 설명한다.
생성된 시그널링 정보와 인코딩된 베이스 레이어 비디오 데이터 및 인핸스먼트 비디오 데이터를 다중화화 스트림을 출력한다(S130).
다중화한 스트림을 전송한다(S140).
본 발명의 실시예에 따르면 수신기는 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업데이트한 데이터로 WCG 비디오를 복원할 수 있다.
또는 본 발명의 실시예에 따르면 수신기는 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 개멋 매핑된 데이터로 WCG 비디오를 복원할 수 있다.
따라서, 수신기의 디스플레이 기기 성능에 따라 WCG 비디오를 디스플레이하도록 할 수도 있고, 베이스 레이어 비디오 데이터만을 이용하여 legacy UHD 비디오를 출력할 수도 있다.
도 2는 본 발명의 실시예 따라 WCG 컨텐츠를 표출하는 방식을 예시한 도면이다. 이 도면에서 WCG 컨텐츠에 대해 역호환성을 고려한 수신기의 동작의 실시예를 예시한다.
스케일러블 코딩에 따른 베이스 레이어 비디오 데이터와 인핸스먼트 레이어 비디오 데이터가 전송 채널을 통해 전달될 경우, 각각 비디오 데이터를 디코딩한 후 기존의 수신기는 베이스 레이어 비디오 데이터 (legacy UHD 컬러 개멋(color gamut) 비디오)을, 기존의 디스플레이에 표출하고, 인핸스먼트 레이어 비디오 데이터를 이용하여 WCG 영상을 WCG 컨텐츠 표출이 가능한 디스플레이(이하 WCG 디스플레이)에서 표출할 수 있다.
제 1 디멀티플렉서(110)는 스트림으로부터 UHD 베이스 레이어 비디오 스트림을 역다중화한다. 여기서, 베이스 레이어 비디오 스트림은 기존의 디스플레이에서 표출할 수 있는 UHD 비디오 (이하 legacy UHD 비디오 또는 legacy UHD 컬러 개멋(color gamut) 비디오) 데이터를 전송한다.
베이스 레이어 디코더(120)는 역다중화한 UHD 베이스 레이어 비디오 스트림을 디코딩하여 legacy UHD 비디오 데이터를 출력한다. 베이스 레이어 디코더(120)는 HEVC 디코딩이 가능한 codec일 수 있다.
색변환부(EOTF)(130)는 legacy UHD 비디오 데이터를 색 변환하여 출력한다. 그러면 기존의 UHD 디스플레이 (legacy UHD 디스플레이)(200)는 색변환된 legacy UHD 비디오 데이터를 표출할 수 있다.
그리고, 업스케일러(150)는 색변환부(EOTF)(130)가 출력하는 legacy UHD 비디오 데이터의 컬러 비트 뎁스를 업스케일링하여 컬러를 표현하는 비트 뎁스가 업스케일링된 UHD 베이스 레이어 (Bit depth up-scaled UHD base layer) 비디오 데이터를 출력한다. 예를 들어 색변환부(EOTF)(130)는 컬러 8비트 뎁스의 UHD 베이스 레이어 비디오 데이터를 10비트 뎁스의 UHD 베이스 레이어 비디오 데이터로 업스케일링할 수 있다.
한편, 제 2 디멀티플렉서(160)는 스트림으로부터 UHD 인핸스먼트 레이어 비디오 스트림을 역다중화한다.
도면상 다른 블록으로 표현하였으나, 제 1 디멀티플렉서(110)와 제 2 디멀티플렉서(160)는 하나의 디멀티블렉서로 동작할 수도 있다.
인핸스먼트 레이어 디코더(120)는 역다중화한 UHD 인핸스먼트 레이어 비디오 스트림을 디코딩하여 컨텐츠가 WCG 색 공간에서 표현될 수 있도록 하는 WCG 인핸스먼트 레이어 비디오 데이터를 출력한다.
WCG 비디오 구성부 (180)는 WCG 인핸스먼트 레이어 비디오 데이터와 업스케일러(150)가 출력하는 업스케일된 UHD 베이스 레이어 비디오 데이터를 이용하여 WCG 비디오를 출력한다.
위에서 기술한 것처럼 WCG 비디오는 컨텐츠의 색 표현이 WCG 의 범위에 따라 표현된 비디오를 지칭한다. 한편 스케일러블 코딩을 이용하여 기존 디스플레이와 호환 가능한 WCG 비디오 데이터를 이하에서는 스케일러블 WCG 비디오라고 호칭한다.
포스트 프로세싱부(190)는 다른 레이어 데이터를 이용하여 구성한 스케일러블 WCG 비디오를 포스트 프로세싱하여 변환된 색을 더욱 자연스럽게 하여 WCG 디스플레이(300)로 출력한다.
이 경우 UHD 방송 서비스에 대한 시그널링 정보를 이용할 수 있는데, 예를 들어 기존의 수신기는 UHD service를 식별한 후 수신기 자체가 인핸스먼트 레이어 비디오 데이터 자체에 대한 처리가 불가능하거나 인핸스먼트 레이어 비디오 데이터를 통해 획득하게 될 WCG 비디오를 디스플레이 기기 할 수 없다고 판단할 경우 베이스 레이어 비디오만을 디코딩하여 출력할 수 있다.
기존의 수신기는 UHD 서비스에 대한 시그널링 정보, 예를 들어 시그널링 정보 내에 UHD 서비스 타입이나, UHD 서비스를 기술하는 서비스 디스크립터들 (이하에서 개시할 UD_program_descriptor() 또는 UD_program_format_type 등)을 이용하여 처리할 수 없는 비디오 데이터를 식별할 수 있다. 방송 서비스 상의 시그널링 정보는 이하에서 후술한다.
WCG 디스플레이(300)는, 인핸스먼트 레이어 비디오 데이터를 이용하여 획득한 최종 WCG video를 재생한다. 만약 디스플레이 기기의 컬러 개멋이 최종 영상의 컬러 개멋과 동일한 경우 포스트 프로세싱부(190)는 별도의 영상 처리를 수행하지 않을 수 있다. 하지만 디스플레이 기기 에서 더 다양한 색상을 표현할 수 있다거나, 혹은 디스플레이 패널의 특성에 적합한 컬러 표현을 제조사에서 제공할 수 있는 경우 WCG 정보와 관련된 포스트 프로세싱부(190)을 통해 향상된 색감을 제공할 수 있다. 이 때, 컨텐츠의 컬러 개멋(color gamut) 판단 기준으로써, 방송 서비스의 시그널링 정보를 이용할 수 있는데, 이에 대해서는 후술하도록 한다.
이하에서 WCG 비디오 구성부 (180)와 포스트 프로세싱부(190)의 상세한 실시예를 추가로 설명한다.
도 3은 본 발명의 실시예에 따른 WCG 비디오 구성부의 일 예를 예시한 도면이다. 위에서 설명한 것처럼 WCG 비디오 구성부(180)는 업스케일링된 UHD 베이스 레이어 비디오와 WCG 인핸스먼트 레이어 비디오를 이용하여 WCG 컨텐츠인 WCG 비디오를 출력한다. 이때 방송 서비스 상의 시그널링 정보를 이용하여 비디오의 color를 매우 디테일하게 강화(enhance)하여 WCG 비디오를 구성할 수 있다.
WCG 비디오 구성부(180)는 인핸스먼트 레이어의 레지듀얼(residual) 비디오 데이터를 이용하여 베이스 레이어 비디오로부터 원본 영상의 색감을 회복하도록 하는 컬러 인핸스먼트 처리부(color detail enhancement)를 포함할 수 있다. 이에 대한 설명은 도 6을 참조하여 이하에서 후술한다.
도 4는 본 발명의 실시예에 따른 WCG 비디오 구성부의 다른 예를 예시한 도면이다. WCG 비디오 구성부(180)는 컬러 개멋 매핑부(182)와 컬러 인핸스먼트 처리부(184)를 포함할 수 있다.
방송 서비스 상의 시그널링 정보를 이용하여 업스케일링된 UHD 베이스 레이어 비디오에 대해 컬러 개멋(color gamut) 매핑부(182)는 베이스 레이어 비디오 데이터의 컬러 개멋을 WCG 색상 표현이 가능한 영역으로 매핑한다. 그러면 컬러 인핸스먼트 처리부(184)는 매핑된 베이스 레이어 비디오 데이터와 인핸스먼트 레이어의 레지듀얼(residual) 비디오 데이터를 이용하여 비디오의 색감을 강화하여 WCG 비디오를 구성하여 출력한다.
베이스 레이어 비디오 데이터에 컬러 개멋(color gamut) 매핑을 적용하면 컨텐츠의 color gamut을 확장된다. 하지만, 이 경우 컬러 개멋(color gamut) 매핑이 one-to-multiple 방식으로 매핑되기 때문에 각 픽셀(pixel)의 정확한 색상을 표현하지는 못할 수 있다. 따라서 인핸스먼트 레이어의 레지듀얼(residual) 비디오 데이터를 통해 원본 영상의 색감을 회복하도록 할 수 있다.
여기서 레지듀얼(residual) 비디오 데이터는, WCG 영역으로 컬러 개멋(color gamut)이 mapping 된 베이스 레이어 데이터와 original 비디오 데이터 사이의 차이로 구성된다. WCG 영역으로 컬러 개멋(color gamut)이 mapping 된 베이스 레이어 데이터와 레지듀얼(residual) 비디오 데이터를 더해줌으로써 최종적인 WCG 비디오를 구성할 수 있다. 이에 대해서는 도 7을 참조하여 이하에서 후출한다.
컬러 개멋 매핑부(182)는 베이스 레이어 비디오의 컬러 개멋(color gamut)을 확장하여 원본 영상의 WCG 비디오에 근접한 컬러 개멋(color gamut)의 비디오로 매핑한다. 컬러 개멋 매핑부(182)는, 후술하는 시그널링 정보(BL_video_color_gamut_type필드, EL_video_color_gamut_type 필드)를 통해 각 layer 데이터의 컬러 개멋(color gamut)정보를 알 수 있고, 컬러 개멋(color gamut)의 시점과 종점에 대한 정보를 얻을 수 있다.
예를 들어 베이스 레이어 비디오가 BT. 709 로 정의된 비디오 색 포맷을 가지고 있고, 인핸스먼트 레이어 비디오가 BT. 2020 로 정의된 비디오 색 포맷을 가지고 있는 경우 컬러 개멋 매핑부(182)의 컬러 개멋(color gamut) 매핑 function 은 BT. 709 로 정의된 비디오를 BT. 2020 로 정의된 비디오로 매핑을 수행한다.
컬러 개멋 매핑은 다양한 방법을 통해 구현될 수 있다. 두 layer 사이에 별다른 mapping이 필요하지 않는 경우, (인핸스먼트 레이어의 레지듀얼(residual) 정보가 필요하지 않은 경우) 혹은 각 채널에 대해 독립적으로 mapping이 이뤄지는 경우, linear matrix를 사용하여 mapping 하는 경우, 룩업 테이블(LUT)를 사용하여 point-by-point로 mapping이 이뤄지는 경우 등이 있다.
이러한 컬러 개멋 매핑의 방식은 후술하는 시그널링 정보(EL_gamut_mapping_type)로 시그널링 할 수 있고, 컬러 개멋 매핑부는 이러한 시그널링 정보를 통해 구체적인 파라미터(parameter)를 획득할 수 있다.
다른 예로서 컬러 개멋 매핑은 스케일러블 코딩(scalable coding)의 한 부분으로써 추가되거나, 기존의 화질 처리를 위한 post processing 부분의 color correction matrix 등과 연계하여 동작할 수 있다. 즉, 포스트 프로세싱부가 이 시그널링 정보(EL_gamut_mapping_type)에 따라 컬러 개멋(color gamut) mapping function에 따른 계수를 인식하여 gamut mapping을 수행하는 기능할 수도 있다. 이에 대해서 상세히 기술하면 다음과 같다.
도 5는 본 발명의 실시예에 따른 포스트 프로세싱부(190)를 예시한 도면이다.
포스트 프로세싱부는 톤 매핑(Tone mapping)부, 변환커브적용(transfer curve)부 또는/및 컬러수정(Color correction matrix)부를 포함할 수 있다. 포스트 프로세싱부(190)는 WCG 비디오에 대해 톤 매핑을 수행하거나 색 추가 변환 커브를 이용해 색을 변화시키거나 컬러 개멋 매핑을 수행하는 color correction matrix 등의 후처리를 수행할 수 있다. 따라서, 포스트 프로세싱부(190)는 WCG 비디오 색감이 강화된 WCG 비디오를 출력할 수 있다.
도 6은 본 발명의 실시예에 따라 스케일러블 WCG 비디오를 생성하는 예를 예시하는 도면이다. 위에서 설명한 바와 같이 베이스 레이어 비디오 데이터는 BT. 709, 8비트 뎁스의 컬러로 정의된 비디오 데이터일 수 있는데, 이를 10비트 뎁스의 컬러로 업스케일링한 베이스 레이어 비디오 데이터가 이 도면의 BT. 709, 10 bit로 표시된다.
WCG 비디오 데이터는 BT. 2020 로 정의된 10 비트 뎁스의 비디오일 수 있다. 따라서, WCG 비디오 데이터와 10 비트 뎁스로 업스케일링한 베이스 레이어 비디오 데이터의 차가 스케일러블 비디오 코딩의 레지듀얼(residual) 비디오 데이터가 될 수 있다. 개시한 도 3의 실시예는 두 비디오 차이를 이용하여 WCG 비디오 데이터를 복원하는 과정을 나타낸다.
도 7은 본 발명의 실시예에 따라 WCG 비디오를 구성하는 다른 예를 예시하는 도면이다.
WCG 비디오 데이터는 BT. 2020 로 정의된 10 비트 뎁스의 비디오이고, 베이스 레이어 비디오 데이터가 BT. 709, 8비트로 정의된 비디오 데이터일 수 있다. 이런 경우 베이스 레이어 비디오 데이터를 컬러 개멋 매핑하여 BT. 2020 로 정의된 10 비트 뎁스의 비디오로 매핑할 수 있다. WCG 비디오 데이터와 컬러 개멋 매핑한 베이스 레이어 비디오 데이터의 차가 스케일러블 비디오 코딩의 레지듀얼(residual) 비디오 데이터가 될 수 있다.
따라서, 컬러 개멋 매핑한 베이스 레이어 비디오 데이터와 레지듀얼(residual) 비디오 데이터를 더하여 WCG 비디오 데이터를 복원할 수 있다. 이 도면의 설명은 도 4의 실시예에 대응된다.
이하에서는 개시한 바와 같이 스케일러블 코딩에 의해 전송되는 WCG 비디오(이하 스케일러블 WCG 비디오, 서비스, 또는 프로그램으로 호칭) 를 구성할 수 있도록 하는 방송 서비스의 시그널링 정보를 송수신하는 예를 개시한다.
이하에서 개시한 실시예는 도 3 또는 도 6 의 예나, 도 4 또는 도 7의 예에 따른 시그널링 정보를 제공할 수 있다.
먼저 WCG 인핸스먼트 레이어 비디오 데이터와, 기존 디스플레이 기기와 호환되는 legacy UHD 비디오인 UHD 베이스 레이어 비디오 데이터를 업스케일링하여 WCG 비디오를 제공하는 실시예를 설명하면 다음과 같다.
개시하는 실시예는, 인핸스먼트 레이어의 레지듀얼(residual) 데이터를 이용하여 WCG 비디오를 구성하는 컬러 개멋 스케일러블 비디오 구성 방식을 방송의 시스템 레벨에서 전달하여 인핸스먼트 레이어 비디오의 디코딩 시에 디코더에 이를 제공할 수 있다. 또는/그리고, 본 발명의 실시예는, SEI 메시지에 WCG 비디오 구성에 대한 시그널링 정보를 전송할 수 있다.
예를 들어 PMT에서 이하에서 개시할 WCG_sub_stream_descriptor를 통해 비디오 데이터의 코덱 타입(codec type), 프로파일 정보(profile), 레벨 정보(level), 및 티어 정보(tier) 의 정보를 인핸스먼트 레이어 디코더에 전송할 수 있다. SEI 메시지에는 원본 영상 및 WCG 영상의 컬러 개멋(color gamut) 정보 및 gamut mapping 파라미터와 같은 비디오 관련 metadata를 송수신하도록 할 수 있다.
먼저, 스케일러블 코딩에 의해 전송되는 WCG 비디오의 방송 시스템 레벨의 시그널링 정보를 개시하면 다음과 같다.
도 8은 본 발명의 일 실시예로서 방송 시그널링 정보를 예시한 도면이다. 방송 시그널링 정보 중 PMT 및 그에 포함되는 시그널링 정보를 개시하면 다음과 같다.
PMT는 ISO/IEC 13818-1에 개시된 내용에 따를 수 있다. 이를 이용하여 해당 필드를 설명하면 다음과 같다.
table_id 필드는 PMT 테이블섹션의 타입을 지칭하는 8-bit 식별자를 나타낸다(table_id - This is an 8-bit field, which in the case of a TS_program_map_section shall be always set to 0x02)
section_syntax_indicator 필드는, VCT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다 (section_syntax_indicator - The section_syntax_indicator is a 1-bit field which shall be set to '1'.
section_length - This is a 12-bit field, the first two bits of which shall be '00'. The remaining 10 bits specify the number of bytes of the section starting immediately following the section_length field, and includin the CRC)
program_number 필드는 이 program_map_PID 가 적용가능한 프로그램을 지칭한다(program_number - program_number is a 16-bit field. It specifies the program to which the program_map_PID is applicable. One program definition shall be carried within only one TS_program_map_section. This implies that a program definition is never longer than 1016 (0x3F8). See Informative Annex C for ways to deal with the cases when that length is not sufficient. The program_number may be used as a designation for a broadcast channel, for example. By describing the different program elements belonging to a program, data from different sources (e.g. sequential events) can be concatenated together to form a continuous set of streams using a program_number.)
version_number 필드는 VCT의 버전 번호를 나타낸다 (version_number - This 5-bit field is the version number of the TS_program_map_section. The version number shall be incremented by 1 modulo 32 when a change in the information carried within the section occurs. Version number refers to the definition of a single program, and therefore to a single section. When the current_next_indicator is set to '1', then the version_number shall be that of the currently applicable TS_program_map_section. When the current_next_indicator is set to '0', then the version_number shall be that of the next applicable TS_program_map_section)
current_next_indicator 필드는 이 PMT테이블 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다 (current_next_indicator - A 1-bit field, which when set to '1' indicates that the TS_program_map_section sent is currently applicable. When the bit is set to '0', it indicates that the TS_program_map_section sent is not yet applicable and shall be the next TS_program_map_section to become valid)
section_number 필드는 섹션의 번호를 나타낸다(section_number - The value of this 8-bit field shall be 0x00)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다(last_section_number - The value of this 8-bit field shall be 0x00.)
PCR_PID는, 프로그램 넘버에 의해 특정된 프로그램의 PCR 필드를 포함하는 TS 패킷의 PID를 나타낸다(PCR_PID - This is a 13-bit field indicating the PID of the Transport Stream packets which shall contain the PCR fields valid for the program specified by program_number. If no PCR is associated with a program definition for private streams, then this field shall take the value of 0x1FFF.)
program_info_length 필드는 이 필드 뒤의 프로그램 레벨의 디스크립터의 길이를 나타낸다(program_info_length - This is a 12-bit field, the first two bits of which shall be '00'. The remaining 10 bits specify the number of bytes of the descriptors immediately following the program_info_length field)
stream_type 필드는, 프로그램 엘레먼트 스트림의 타입을 나타낸다(stream_type - This is an 8-bit field specifying the type of program element carried within the packets with the PID whose value is specified by the elementary_PID)
elementary_PID 필드는, 관련 프로그램 엘레먼트를 전송하는 TS 패킷의 PID를 지정한다(elementary_PID - This is a 13-bit field specifying the PID of the Transport Stream packets which carry the associated program element)
ES_info_length필드는 프로그램 엘레먼트 레벨 디스트립터의 길이를 나타낸다 (ES_info_length - This is a 12-bit field, the first two bits of which shall be '00'. The remaining 10 bits specify the number of bytes of the descriptors of the associated program element immediately following the ES_info_length field)
CRC 32 필드는 CRC 값을 포함하는 32 비트 필드를 나타낸다 (CRC_32 - This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder).
PMT에는 프로그램 레벨 디스크립터와 엘레먼터리 스트림 레벨의 디스크립터가 포함될 수 있다.
PMT는 기존의 디스플레이와 호환되는 legacy UHD 비디오인 베이스 레이어 비디오 데이터와, WCG 비디오와 legacy UHD 비디오(또는 그 비디오의 컬러 비트 뎁스가 업스케일된 비디오)의 차이인 레지듀얼(residual) 인핸스먼트 레이어 비디오 데이터를 이용하여 WCG 비디오를 구성할 수 있는 프로그램을 기술할 수 있는 디스크립터를 프로그램 레벨에 포함할 수 있다.
본 발명의 일 실시예에 따르면 PMT의 program_info_length 필드 바로 뒤에 UD_program_descriptor를 WCG 비디오를 구성할 수 있는 프로그램을 시그널링할 수 있다. 예를 들어 예시한 UD_program_descriptor의 UD_program_format_type 필드가 0x08인 경우, 해당 프로그램이 위와 같이 legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터와 레지듀얼(residual) 인핸스먼트 레이어 비디오 데이터를 이용하여 스케일러블 WCG 비디오를 구성할 수 있는 프로그램(이하 WCG 구성 프로그램)임을 나타낸다.
본 발명의 일 실시예에 따르면 PMT는 스트림 레벨의 디스크립터에 스케일러블 WCG 비디오 서비스를 구성하는 프로그램에 대한 스트림 정보를 포함하는 디스크립터(WCG_sub_stream_descriptor ())를 포함할 수 있다. 이하에서 이를 상술한다.
도 9는 본 발명의 실시예에 따라 PMT에 스케일러블 WCG 비디오 서비스를 기술하는 스트림 디스크립터가 위치한 경우를 예시한 도면이다.
예를 들어 stream_type필드가 0x24인 경우, 비디오 스트림은 HEVC 비디오 코덱에 따른 비디오 스트림임을 나타내고, 이 경우 elementary_PID필드는 0x109A 값을 가질 수 있다. PMT에 HEVC_video_descriptor ( )가 위치하는 경우 비디오 스트림이 HECV 로 코딩되었음을 나타낼 수 있고, 이 HEVC 비디오를 기술하는 디스크립터가 포함될 수 있다.
한편, stream_type필드가 0xA1인 경우 HEVC scalable layer video 코덱에 따른 비디오 스트림임을 나타낼 수 있는데 이 경우 elementary_PID는 0x109B을 가질 수 있다.
즉, 스케일러블 WCG 비디오가 전송될 경우, 해당 비디오를 구성하는 스트림들을 기술할 수 있는 디스크립터인 WCG_sub_stream_descriptor ( )가 PMT의 스트림 레벨에 위치할 수 있다. WCG_sub_stream_descriptor ( )는 스케일러블 WCG 비디오 서비스의 인핸스먼트 레이어에 대한 정보와 스케일러블 WCG 비디오 서비스의 구성정보를 포함할 수 있다.
도 10은 본 발명의 실시예에 따라 개시한 디스크립터(WCG_sub_stream_descriptor)의 예를 나타낸 도면이다. WCG_sub_stream_descriptor는 WCG 비디오 서비스를 구성하는 스트림에 대한 정보를 포함하는 디스크립터이다.
여기서, descriptor_tag 필드는 WCG_sub_stream_descriptor임을 나타내는 고유의 코드 값을 나타낸다.
descriptor_length 필드는 WCG_sub_stream_descriptor의 전체 길이를 나타낸다.
EL_video_codec_type 필드는 스케일러블 WCG 비디오를 구성하는 video element의 코덱을 알려준다. 예를 들어 PMT의 stream_type과 동일한 값을 갖을 수 있다.
EL_video_profile 필드는 해당 video stream에 대한 profile, 즉 해당 stream을 디코딩하기 위해 필요한 기본 사양을 알려준다. 해당 video 스트림의 bit depth 정보 (8-bit, 10-bit 등), coding tool 등에 대한 requirement 정보 등이 포함될 수 있다.
EL_video_level 필드는 해당 video stream에 대한 level, 즉 profile에서 정의한 기술 요소를 어느 범위까지 지원할 것인가에 대해서 정의한다. EL_video_level 필드는 해상도 정보, frame rate 정보 또는 bit rate 정보 등을 포함할 수 있다.
EL_video_tier 필드는 해당 video stream에 대한 tier 정보를 표시할 수 있다.
본 발명의 실시예로서, 스케일러블 WCG 비디오의 비디오 레벨의 시그널링 정보를 예시하면 다음과 같다. 스케일러블 WCG 비디오를 구성하는 정보는 비디오 레벨에 포함될 수 있는데 예를 들어 비디오 데이터의 SEI 메시지에 스케일러블 WCG 비디오에 대한 정보를 포함할 수 있다.
도 11은 본 발명의 실시예에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 신택스를 예시한다.
SEI 패이로드에서 payloadType이 특정 값(이 예에서는 52)으로 셋팅되는 경우, SEI 메시지는 예시한 바와 같이 스케일러블 WCG 비디오 데이터의 포맷을 시그널링하는 정보 (UDTV_scalable_color_gamut_service_info(payloadSize))를 포함할 수 있다. 이 시그널링 정보는 스케일러블 WCG 비디오의 메타데이터를 나타낸다.
수신기의 디코더가 예시한 신택스에 따른 비디오 데이터를 파싱하는 실시예는 다음과 같다.
디코더가 비디오 데이터를 복호할 경우, 비디오 엘레먼트 스트림으로부터 AVC 또는 HEVC NAL unit을 파싱한다. 그리고, nal_unit_type 값이 SEI 데이터에 해당하고, SEI 데이터 중 payloadType이 52인 경우 예시한 UDTV_scalable_color_gamut_service_info에 따른 정보를 얻을 수 있다.
SEI 영역의 패이로드 영역에서 스케일러블 WCG 비디오 데이터의 포맷을 시그널링하는 정보인 UDTV_scalable_color_gamut_service_info(payloadSize)는 UHD 비디오 데이터의 포맷 정보를 나타내는 필드(UD_program_format_type)를 포함할 수 있다.
그리고, UHD 비디오 데이터의 포맷 정보가 스케일러블 WCG 비디오의 포맷을 나타내는 경우, 스케일러블 WCG 비디오의 메타데이터(WCG_substream_metadata)를 포함할 수 있다. 스케일러블 WCG 비디오의 메타데이터에 대해서는 이하에서 상술한다.
도 12는 본 발명의 실시예에 따라 개시한 SEI 영역의 패이로드에 포함되는 스케일러블 WCG 비디오의 메타데이터를 예시한 도면이다.
스케일러블 WCG 비디오 데이터에 대한 서브 스트림이 존재하는 경우 베이스 레이어 및 인핸스먼트 레이어 비디오 데이터의 각각의 컬러 개멋(color gamut) 관련 정보 및 서브 스트림의 베이스 레이어 데이터의 컬러 개멋 정보를 확장할 수 있는 정보를 포함할 수 있다.
스케일러블 WCG 비디오의 메타데이터는 인핸스먼트 레이어 데이터의 서브 스트림을 이용해 베이스 레이어의 컬러 개멋 정보(color gamut)을 확장할 수 있는 방법을 기술할 수 있다. 각 항목에 대한 자세한 설명은 아래를 따른다.
original_UD_video_type 필드는 UHD 비디오 포맷에 대한 정보로, 비디오의 해상도(resolution) 및 프레임 레잇(frame rate) 등과 같은 베이스 레이어 비디오 데이터의 기본적인 정보를 나타낸다. 또는 베이스 레이어와 이를 기반으로 한 비디오보다 고화질의 비디오에 공통적으로 해당하는 비디오 정보를 나타낼 수 있다. 이에 대한 상세한 예는 후술한다.
BL_bitdepth필드는 베이스 레이어 비디오 데이터의 비트 뎁스(bit depth) 정보를 나타낸다.
EL_bitdepth_diff: 인핸스먼트 레이어 비디오 데이터를 이용해 최종적으로 얻게 될 스케일러블 WCG 비디오의 비트 뎁스(bit depth) 정보를 나타내기 위한 값으로, 인핸스먼트 레이어 비디오 데이터와 베이스 레이어 비디오 데이터의 비트 뎁스(bit depth)의 차이를 나타낼 수 있다.
BL_video_color_gamut_type필드는 베이스 레이어 비디오 데이터의 컬러 개멋 정보(color gamut)를 나타낸다. 이에 대한 상세한 예는 후술한다.
EL_video_color_gamut_type필드는 인핸스먼트 레이어 비디오 데이터에 의해 생성되는 비디오의 컬러 개멋 정보(color gamut)를 나타낸다. 이에 대한 상세한 예는 후술한다.
EL_gamut_mapping_type필드는 최종 WCG 영상을 획득하기 위해 사용하는 개멋 매핑 함수(gamut mapping function) 에 대한 정보를 나타낸다.
RGBW_primaries( )는 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터의 컬러 개멋(color gamut) type이 기 지정된 값이 아닌 임의의 값을 사용하는 경우 컬러 개멋을 정의할 수 있는 색상, 즉, R, G, B 및 W (white)의 색공간 상 좌표를 나타내는 정보이다.
따라서, SEI 영역의 패이로드에 포함되는 스케일러블 WCG 비디오의 메타데이터에서, BL_video_color_gamut_type필드 또는 EL_video_color_gamut_type필드가 특정 값을 가질 경우, 이하에서 개시할 비디오 데이터의 컬러 개멋(color gamut)에 대해 임의의 값을 사용할 수 있다. 이에 대한 상세한 예는 후술한다.
도 13은 본 발명의 실시예에 따라 스케일러블 WCG 비디오의 메타데이터에서 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터의 컬러 개멋 정보를 임의로 나타내는 방식을 예시한 도면이다.
color_primary_r_x 필드는 색공간 (예를 들어 CIE 1931)의 R 색상의 x 좌표를 나타낸다. 시청자의 디스플레이가 목표로 하는 컬러 개멋(color gamut) 정보를 포함하는지 여부를 판단하기 위해 사용될 수 있다. color_primary_r_x 필드는 0~1 사이의 값에 대해 2진화 된 값으로 나타낼 수 있으며, 혹은 기준이 되는 값과의 차이값을 나타낼 수 있다.
color_primary_r_y 필드는 색공간 (예를 들어 CIE 1931)의 R 색상의 y 좌표를 나타낸다. 시청자의 디스플레이가 목표로 하는 컬러 개멋(color gamut) 정보를 포함하는지 여부를 판단하기 위해 사용될 수 있다. color_primary_r_y 필드는 0~1 사이의 값에 대해 2진화 된 값을 나타낼 수 있으며, 혹은 기준이 되는 값과의 차이값을 나타낼 수 있다.
color_primary_g_x 필드는 색공간 (예를 들어 CIE 1931)의 G 색상의 x 좌표를 나타낸다. 시청자의 디스플레이가 목표로 하는 컬러 개멋(color gamut) 정보를 포함하는지 여부를 판단하기 위해 사용될 수 있다. color_primary_g_x 필드는 0~1 사이의 값에 대해 2진화 된 값을 나타낼 수 있으며, 혹은 기준이 되는 값과의 차이값을 나타낼 수 있다.
color_primary_g_y 필드는 색공간 (예를 들어 CIE 1931)의 G 색상의 y 좌표를 나타낸다. 시청자의 디스플레이가 목표로 하는 컬러 개멋(color gamut) 정보를 포함하는지 여부를 판단하기 위해 사용될 수 있다. color_primary_g_y 필드는 0~1 사이의 값에 대해 2진화 된 값을 나타낼 수 있으며, 혹은 기준이 되는 값과의 차이값을 나타낼 수 있다.
color_primary_b_x 필드는 색공간 (예를 들어 CIE 1931)의 B 색상의 x 좌표를 나타낸다. 시청자의 디스플레이가 목표로 하는 컬러 개멋(color gamut) 정보를 포함하는지 여부를 판단하기 위해 사용될 수 있다. color_primary_b_x 필드는 0~1 사이의 값에 대해 2진화 된 값을 나타낼 수 있으며, 혹은 기준이 되는 값과의 차이값을 나타낼 수 있다.
color_primary_b_y 필드는 색공간 (예를 들어 CIE 1931)의 B 색상의 y 좌표를 나타낸다. 시청자의 디스플레이가 목표로 하는 컬러 개멋(color gamut) 정보를 포함하는지 여부를 판단하기 위해 사용될 수 있다. color_primary_b_y 필드는 0~1 사이의 값에 대해 2진화 된 값을 나타낼 수 있으며, 혹은 기준이 되는 값과의 차이값을 나타낼 수 있다.
white_primary_x 필드는 임의의 색온도를 지정하는 경우 color space 에서의 x 좌표값을 나타낸다. white_primary_x 필드는 0~1 사이의 값에 대해 2진화 된 값을 보낼 수 있으며, 기준 색온도와 임의의 색온도의 차이값으로도 표현할 수 있다.
white_primary_y 필드는 임의의 색온도를 지정하는 경우 color space 에서의 y 좌표값을 나타낸다. white_primary_y 필드는 0~1 사이의 값에 대해 2진화 된 값을 보낼 수 있으며, 기준 색온도와 임의의 색온도의 차이값으로도 표현할 수 있다.
도 14는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 오리지널 UHD 비디오 포맷에 대한 정보(original_UD_video_type)를 예시한 도면이다.
스케일러블 WCG 비디오의 메타데이터 중 오리지널 UHD 비디오 포맷에 대한 정보는, 기술한 바와 같이 UHD 비디오 포맷에 대한 정보로, 비디오의 해상도 정보(resolution), 프레임 레잇 정보(frame rate) 등과 같은 오리지널 UHD 비디오 포맷에 대한 정보를 나타낼 수 있다. 예를 들어 오리지널 UHD 비디오 포맷에 대한 정보는 베이스 레이어 비디오 데이터에 대한 기본적인 정보를 나타낼 수 있다.
본 발명의 실시예에 따른 UHD 비디오 포맷에 대한 정보는 해당 필드 값에 따라 비디오의 해상도 및 프레임 레잇이 각각 3840 x 2160 (60p), 3840 x 2160 (120p), 4096 x 2160 (60p), 4096 x 2160 (120p), 7680 x 4320 (60p), 7680 x 4320 (120p), 8192 x 4320 (60p), 8192 x 4320 (120p) (여기서, p는 progressive 방식을 나타냄)임을 나타낼 수 있다.
도 15는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 베이스 레이어의 비디오의 컬러 개멋 정보를 상세히 예시한 도면이다. 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 베이스 레이어의 비디오의 컬러 개멋의 색 공간 정보는 해당 필드 값에 따라 BT. 601, BT. 709, DCI-P3, BT. 2020 (NCL), BT. 2020 (CL), XYZ 및 User defined (사용자 지정 정보) 등의 특정 색 공간을 지칭하는 정보가 될 수 있다.
도 16는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 인핸스먼트 레이어의 비디오의 컬러 개멋 정보를 상세히 예시한 도면이다. 마찬가지로 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 인핸스먼트 레이어의 비디오의 컬러 개멋 정보는 해당 필드 값에 따라 BT. 601, BT. 709, DCI-P3, BT. 2020 (NCL), BT. 2020 (CL), XYZ 및 User defined (사용자 지정 정보) 등의 특정 컬러 개멋 포맷을 지칭할 수 있다.
도 17는 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터 중 WCG 비디오를 얻도록 하는 컬러 개멋 매핑 함수 정보를 상세히 예시한 도면이다.
스케일러블 WCG 비디오의 메타데이터로서, 스케일러블 WCG 비디오를 얻도록 하는 컬러 개멋 매핑 함수 정보는 No mapping (매핑 없음), Gain-offset conversion, Linear matrix conversion, Look-up table(룩업 테이블에 따른 매핑) 등의 매핑 함수를 지칭할 수 있다. WCG 비디오의 메타데이터 중 컬러 개멋 매핑 함수 정보는 디스플레이하는 최종 WCG 비디오를 얻기 위해 컬러 개멋 매핑 함수가 사용되었다면 그에 대한 정보를 제공할 수 있다.
따라서, 본 발명에 따른 신호 송신 장치가 위에서 예시한 시그널링 정보를 전송하면, 수신기는 베이스 레이어 비디오 데이터와 인핸스먼트 레이어 비디오 데이터의 각각의 비디오 포맷이나 컬러 개멋 정보 등을 알 수 있고, 이를 기반으로 스케일러블 WCG 비디오를 출력할 수 있다. 따라서, 기존 의 색 표현만 가능한 디스플레이 기기를 가진 수신기는 베이스 레이어 비디오 데이터를 이용하여 legacy UHD 비디오를 표출하고, WCG 서비스가 가능한 디스플레이 기기를 가진 수신기는 WCG 비디오 서비스를 표출할 수 있다.
개시한 실시예들에 따라 스케일러블 WCG 비디오와 그 비디오를 시그널링하는 시그널링 정보를 송신할 경우 이를 수신하는 수신기의 동작을 간략히 설명하면 다음과 같다.
스케일러블 WCG 비디오가 전송되는 경우, 수신기는 시그널링 정보를 수신하여 스케일러블 WCG 비디오의 서브 스트림들을 조합하여 WCG 영상 출력할 수 있다.
수신기의 시그널링 정보 디코더는 수신된 PMT의 프로그램 디스크립터(UD_program_descriptor)를 이용하여 원본 UHDTV 방송을 구성하기 위해 추가로 받아야 하는 별도 서비스나 미디어가 있는지 판단한다. 본 실시예에서 기술하는 스케일러블 WCG 비디오는 UD_program_format_type가 0x08인 경우에 해당하며, 이 때 인핸스먼트 레이어 비디오 데이터 및 비디오 데이터 내의 SEI message의 추가 정보를 이용하여 스케일러블 WCG 비디오를 구성할 수 있음을 알 수 있다.
수신기의 시그널링 정보 디코더는 UD_program_format_type필드가 0x08 인 경우(즉, 스케일러블 WCG 비디오를 구성하는 프로그램인 경우), 스트림 디스크립터 WCG_sub_stream_descriptor 를 통해 서비스 스트림의 codec 정보, profile 정보, level 정보 및 tier 정보 등를 파악하여 수신기의 디코더에서 처리 가능한 정보인지 판단할 수 있다.
수신기의 비디오 디코더는 비디오 데이터 내의 UDTV_scalable_color_gamut_service_info SEI message 로부터 베이스 레이어 및 인핸스먼트 레이어 에 의해 구성되는 스케일러블 WCG 비디오의 컬러 개멋 정보(color gamut) 및 비트 뎁스 정보(bit depth 관련 정보)를 얻고, 수신기의 디스플레이 기기에서 최종 출력이 가능한 영상인지 판단할 수 있다.
만약 수신기의 시그널링 정보 디코더가 비디오 디코더가 처리하지 못하는 비디오 데이터로 판단한 경우, 수신기의 비디오 디코더는 베이스 레이어 비디오 데이터만을 디코딩할 수 있다. 수신기는 시그널링 정보 디코더가, 비디오 디코더가 WCG 비디오를 디코딩하여 처리할 수 있다고 판단하는 경우 비디오 디코더가 스케일러블 WCG 비디오를 구성하도록 할 수 있다.
그리고, 비디오 디코더가 비디오 데이터의 SEI message를 디코딩하여 얻은 스케일러블 WCG 비디오의 밝기 정보가 수신기의 디스플레이에서 출력할 수 없는 경우 수신기는, 베이스 레이어 비디오만을 출력하거나, 스케일러블 WCG 비디오에 대해 밝기 정보를 적절히 후처리하여 WCG 비디오를 출력하도록 할 수 있다.
비디오 디코더가 시그널링 정보에 따라 스케일러블 WCG 비디오 구성이 가능하고, 수신기의 디스플레이 기기에서 이를 재생할 수 있는 경우 수신기는, 비디오 디코더가 sub stream을 디코딩하도록 할 수 있다.
수신기의 디코더는, 인핸스먼트 레이어 비디오 데이터와 함께 UDTV_scalable_color_gamut_service_info SEI message 를 이용하여 스케일러블 WCG 비디오를 구성하도록 할 수 있다.
이 때, 수신기의 디코더는 메타데이터로부터 베이스 레이어의 컬러 비트 뎁스 정보(BL_bitdepth필드)와 인핸스먼트 레이어 비디오 데이터와 베이스 레이어 비디오 데이터의 컬러 비트 뎁스의 차이 정보(EL_bitdepth_diff 필드)를 얻고, 이를 이용하여 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업스케일링할 수 있다.
그리고, 수신기의 디코더는 인핸스먼트 레이어의 레지듀얼(residual) 데이터를 이용해 업 스케일링한 베이스 레이어 비디오 데이터의 색 공간의 상세한 데이터를 보상할 수 있다.
수신기는 비디오를 최종 디스플레이하기 전에 WCG 비디오의 후처리 (post processing) 과정을 통해 더 향상된 밝기의 영상을 보여주거나, 혹은 디스플레이 기기 에서 보여주기 어려운 영상에 대해 색감 변환 등을 수행할 수 있다. 이 때, SEI message로 전송된 인핸스먼트 레이어비디오 데이터의 컬러 개멋(color gamut) 정보 (EL_video_color_gamut_type) 또는 임의의 컬러 개멋 정보 (RGBW의 color primary 값으로 color_primary_A_x, color_primary_A_y, 단 A는 R, G, B, W 중 하나)를 사용할 수 있다.
본 발명의 실시예에 따른 수신기 동작에 대해서는 이하에서 도면을 참조하여 다시 설명힌다.
이하에서는 본 발명의 실시예에 따라 시그널링하는 방식하는 예로서, 컬러 개멋 매핑한 베이스 레이어 비디오 데이터와 인핸스먼트 레이어 비디오 데이터를 이용해 스케일러블 WCG 비디오를 구성하도록 하는 시그널링 방식을 예시한다. 이 경우, 방송의 시스템 레벨에서 스케일러블 WCG 비디오 구성을 위한 정보를 제공하고, 베이스 레이어 비디오 데이터의 컬러 개멋 매핑을 하도록 비디오 레벨인 SEI 메시지에 메타데이터를 제공하도록 할 수 있다.
도 18은 이와 같은 실시예를 구현할 수 있는 본 발명의 일 실시예로서 방송 시그널링 정보를 예시한 도면이다. 방송 시그널링 정보 중 PMT 및 그에 포함되는 시그널링 정보를 개시하면 다음과 같다.
PMT에는 프로그램 레벨 디스크립터와 엘레먼터리 스트림 레벨의 디스크립터가 포함될 수 있다.
PMT는, 프로그램 레벨 디스크립터로서, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 개멋 매핑으로 WCG 비디오를 구성할 수 있는 프로그램을 기술할 수 있는 디스크립터를 포함할 수 있다.
본 발명의 일 실시예에 따르면 PMT의 program_info_length 필드 바로 뒤에 UD_program_descriptor는 스케일러블 WCG 비디오가 전송되는 프로그램을 시그널링할 수 있는데, 이 예에서는 UD_program_descriptor의 UD_program_format_type 필드가 0x09인 경우, 해당 프로그램이 legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 개멋 매핑으로 WCG 비디오를 구성할 수 있는 프로그램임을 나타낸다.
본 발명의 일 실시예에 따르면 PMT는 스트림 레벨의 디스크립터에 스케일러블 WCG 비디오 서비스를 구성하는 프로그램에 대한 스트림 정보를 포함하는 디스크립터(WCG_sub_stream_descriptor ())를 포함할 수 있다. 여기서 프로그램에 대한 스트림 정보를 포함하는 디스크립터 (WCG_sub_stream_descriptor)는 legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 스트림에 대한 정보를 포함할 수 있다.
도 19는 본 발명의 실시예에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 다른 신택스를 예시한다.
SEI 패이로드에서 payloadType이 특정 값(이 예에서는 52)으로 셋팅되는 경우, 예시한 바와 같이 스케일러블 WCG 비디오 데이터의 포맷을 시그널링하는 정보(UDTV_scalable_color_gamut_service_info(payloadSize))를 포함할 수 있다.
수신기의 디코더가 예시한 신택스에 따른 비디오 데이터를 파싱하는 실시예는 다음과 같다.
디코더가 비디오 데이터를 복호할 경우, 비디오 엘레먼트 스트림으로부터 AVC 또는 HEVC NAL unit을 파싱한다. 그리고, nal_unit_type 값이 SEI 데이터에 해당하고, SEI 데이터 중 payloadType이 52인 경우 예시한 UDTV_scalable_color_gamut_service_info에 따른 정보를 얻을 수 있다.
SEI 영역의 패이로드 영역에서 스케일러블 WCG 비디오 데이터의 포맷을 시그널링하는 정보인 UDTV_scalable_color_gamut_service_info(payloadSize)는 UHD 비디오 데이터의 포맷 정보를 나타내는 필드(UD_program_format_type)를 포함할 수 있다. 도 18에서 예시한 바와 같이 UHD 비디오 데이터의 포맷 정보는, UD_program_format_type 필드가 0x09인 경우 해당 프로그램이 WCG 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 개멋 매핑된 데이터로 WCG 비디오를 구성할 수 있는 프로그램임을 나타낼 수 있다.
그리고, UHD 비디오 데이터의 포맷 정보가 스케일러블 WCG 비디오의 포맷을 나타내는 경우, 스케일러블 WCG 비디오의 메타데이터(WCG_substream_metadata)를 포함할 수 있다. 이에 대해서는 이하에서 상술한다.
도 20은 본 발명의 실시예에 따라 개시한 SEI 영역의 패이로드에 포함되는 스케일러블 WCG 비디오의 메타데이터의 다른 예를 예시한 도면이다.
예시한 스케일러블 WCG 비디오의 메타데이터는, 도 12와 같이 UHD 비디오 포맷에 대한 정보(original_UD_video_type 필드), 베이스 레이어 비디오 데이터의 bit depth 정보(BL_bitdepth필드), 인핸스먼트 레이어 비디오 데이터를 이용해 최종적으로 얻게 될 스케일러블 WCG 비디오의 bit depth와 베이스 레이어 비디오 데이터의 bit depth와의 차이를 나타내는 정보 (EL_bitdepth_diff 필드), 베이스 레이어 비디오 데이터 color gamut에 관한 정보 (BL_video_color_gamut_type필드), 인핸스먼트 레이어 비디오 데이터에 의해 생성되는 비디오의 컬러 개멋(color gamut) 정보 (EL_video_color_gamut_type필드), 최종 WCG 영상을 획득하기 위해 사용하는 개멋 매핑 함수(gamut mapping function) 에 대한 정보 (EL_gamut_mapping_type필드) 및 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터 임의의 컬러 개멋(color gamut) type 정보(RGBW_primaries( ) 필드) 등을 포함할 수 있다.
본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터는, 컬러 개멋 매핑 정보(gamut_mapping_info( ))를 더 포함할 수 있다. 스케일러블 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보에 대해서는 이하에서 상세히 설명한다.
도 21은 본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보의 예를 개시한 도면이다.
본 발명의 실시예에 따른 스케일러블 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보는 enhancement layer를 기반으로 base layer의 컬러 개멋(color gamut)을 확장하기 위한 방법을 나타낼 수 있다.
컬러 개멋 매핑 정보는, 베이스 레이어 비디오 데이터로부터 향상된 화질 또는 색감의 비디오를 획득하기 위한 컬러 개멋 매핑 타입을 나타낼 수 있다. 컬러 개멋 매핑 타입인 EL_gamut_mapping_type 필드에 따라 컬러 개멋 매핑(gamut mapping) 방식을 시그널링 할 수 있고, 이 함수의 종류에 따라 이 정보에 전송할 파라메터의 종류가 달라질 수 있다.
그리고, 특별한 컬러 개멋 매핑이 없는 경우 색변환 함수의 gain, offset 기반의 채널 독립적인 매핑인 방식을 나타내거나, linear matrix를 이용하여 매핑하는 방식을 나타내거나 또는 LUT 기반으로 매핑하는 방식 등을 기술할 수 있다.
컬러 개멋 매핑 타입 정보(EL_gamut_mapping_type)가 0000인 경우, 스케일러블 WCG 비디오의 인핸스먼트 레이어를 구성함에 있어서 베이스 레이어에 별도의 처리를 가하지 않는 경우를 나타낸다.
컬러 개멋 매핑 타입 정보(EL_gamut_mapping_type) 0001인 경우, 컬러 개멋 매핑 방식은 함수의 게인과 오프셋을 시그널링 하여 컬러를 매핑하는 방식으로 예시적인 방식은 수학식 1을 따른다.
Figure pct00001
컬러 개멋 매핑 타입 정보(EL_gamut_mapping_type) 0010인 경우, 매트릭스를 이용하여 컬러 개멋 정보를 매핑하는 것으로 예를 들면 ITU-R BT. 2250 에 기술된 방법을 기반으로 사용할 수 있다. 이를 이용하면 먼저 encoding을 위해 YCbCr 변환 된 색좌표를 RGB 좌표로 재 변환해준다. 변환 된 RGB 좌표에 대해 CIE colorimetry 상에서 gamut을 변환하기 위해 primary transformation을 수행할 수 있다.
matrix_composition_type 필드는 matrix conversion 기반으로 컬러 개멋 정보를 매핑하는 매트릭스를 구성하는 방식의 나타낸다. 컬러 개멋 정보를 매핑하는 매트릭스를 구성하는 방식은 source, target 의 color gamut에 대한 NPM (Normalized Primary Matrix)를 기반으로 이뤄지며, source의 color gamut을 normalized된 영역에 사상한 후, 이를 다시 target gamut으로 사상하는 방식으로 수행한다. 상세한 예는 수학식 2와 같다. 수학식 2에서 HDTV 에서 사용되는 color gamut을 다른 타겟 컬러 개멋으로 매핑하는 예를 개시한다.
Figure pct00002
컬러 개멋 정보를 매핑하기 위해 각 color gamut에 대해 미리 지정된 NPM을 시그널링하거나, 현재 주어진 color primary 매트릭스를 직접 산출하는 방법이 있는데 이에 대한 상세한 예는 도 23에 나타내었다. 다른 예로서 시그널링 정보가 직접 컬러 개멋(color gamut) 매핑 매트릭스를 포함하도록 할 수 있다.
matrix_composition_type 필드는 이 필드의 값에 따라 여러 가지 컬러 개멋으로 매핑하는 방식들을 나타낼 수 있는데 컬러 개멋 매핑 방식들의 예에 대해서는 도 22에 예시한다.
Number_of_coeff 필드는 추가 색 공간 변환을 위해 사용되는 계수의 수를 나타낸다.
gamut_mapping_coeff[i] 필드는 색 공간 변환을 위한 계수를 나타낸다. color_gamut syntax에 의해 표현된 색 공간을 기준으로 최적 색감 표현을 위한 임의의 색 공간으로의 변환이 이루어짐을 가정하는 경우, 변환식을 이용하여 최적을 색 공간을 사용할 수 있다. 변환식의 예는 도 25에서 예시하였다. 혹은 사용자의 지정에 따라 다른 변환식을 사용할 수도 있다.
컬러 개멋 매핑 타입 정보(EL_gamut_mapping_type) 0011인 경우, LUT 기반의 컬러 개멋 매핑을 나타낼 수 있다. 컬러 개멋 매핑을 위해 가장 널리 사용되는 방법은 Look Up Table (LUT)를 이용한 방법으로 input value 및 output value를 일대일 매칭 시켜주는 table을 사용하는 것이다. 하지만 모든 색상에 대해 출력 값을 매칭시켜주는 LUT의 경우 데이터 크기가 방대하기 때문에 이를 메타 데이터의 형태로 전달하는 것은 쉽지 않다. 실시예에 따라 3D 좌표를 모두 이용하는 것이 아닌, 각 채널에 독립적으로 매칭을 해주거나, 혹은 기준점을 바탕으로 LUT 구성 요소를 추정하는 방법 등을 사용할 수 있다.
LUT_type 필드는 사용하는 Look Up Table (LUT)의 종류를 나타낸다. 이 필드 값에 각 채널에 독립적으로 매칭을 해주는 LUT, 3D 좌표를 모두 이용하는 LUT, 혹은 기준점을 바탕으로 LUT 구성 요소를 추정하는 방식을 나타낼 수 있다. LUT_type 필드 값에 따른 LUT 타입의 종류는 도 26에 예시하였다.
도 22는 본 발명의 실시예에 따라 컬러 개멋 정보를 매핑하기 위해 사용할 수 있는 컬러 개멋 매핑 매트릭스 타입 정보(matrix_composition_type)를 예시한 도면이다. 여기서 예시한 바와 같이 컬러 개멋 매핑 매트릭스 타입 정보(matrix_composition_type)에 따라 컬러 개멋 정보 매핑을 수행할 수 있다.
예를 들어 컬러 개멋 매핑 매트릭스 타입 정보(matrix_composition_type)필드가 0000인 경우 BT. 709에 따른 Normalized Primary Matrix를 나타낸다. 이에 매트릭스 방식에 대해서는 도 23에 예시하였다.
컬러 개멋 매핑 매트릭스 타입 정보(matrix_composition_type)필드가 0001인 경우 DCI-P3에 따른 Normalized Primary Matrix를 나타낸다.
컬러 개멋 매핑 매트릭스 타입 정보(matrix_composition_type)필드가 0010인 경우 BT. 2020에 따른 Normalized Primary Matrix를 나타낸다.
컬러 개멋 매핑 매트릭스 타입 정보(matrix_composition_type)필드가 0100인 경우 현재 영상의 color primary value를 기반으로 Normalized Primary Matrix 를 나타낸다. 이에 매트릭스 및 매핑 방식에 대해서는 도 24에 예시하였다.
도 23은 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 매트릭스 타입 정보가 BT. 709에 따른 Normalized Primary Matrix를 지칭할 경우 상세한 컬러 매핑 매트릭스 실시예를 나타낸다. 여기서 예시한 컬러 개멋 매핑 매트릭스 타입 정보는 컬러 개멋 매핑이 NPM_709의 매트릭스(BT. 709에 따른 Normalized Primary Matrix)를 따를 경우 해당 매트릭스를 나타내었다.
도 24는 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 매트릭스 타입 정보가 현재 영상의 color primary value를 기반으로 Normalized Primary Matrix 실시예를 나타낸다. 이 도면에서 현재 컬러를 X, Y, Z라고 할 경우 이를 color primary value로 변환하는 방식 및 이를 이용한 컬러 개멋 매핑 매트릭스를 예시하였다.
도 25는 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보 중 색 공간 변환을 위한 계수(gamut_mapping_coeff[i]) 를 표현하는 변환식을 예시한다. 예를 들어 컬러 개멋 매핑 정보 중 색 공간 변환을 위한 계수는 매트릭스의 컴포넌트에 포함되는 계수가 될 수 있다.
도 26은 본 발명의 실시예에 따라 WCG 비디오의 메타데이터에 포함되는 컬러 개멋 매핑 정보 중 LUT_type 필드에 따른 Look Up Table (LUT)의 종류를 예시한 도면이다. LUT_type 값에 따라 LUT, 3D LUT, 3D LUT (linear interpolation) 등의 Look Up able을 지칭할 수 있다.
본 발명의 실시예에 따른 시그널링 방식에 따라 방송의 시스템 레벨에서 스케일러블 WCG 비디오 구성을 위한 정보를 제공하고, 베이스 레이어 비디오 데이터의 컬러 개멋 매핑 정보를 비디오 레벨인 SEI 메시지에 메타데이터를 포함시켜 제공하는 예를 개시하였다.
이 실시예들에 따라 스케일러블 WCG 비디오와 그 비디오를 시그널링하는 시그널링 정보를 송신할 경우 이를 수신하는 수신기의 동작을 간략히 설명하면 다음과 같다.
스케일러블 WCG 비디오가 전송되는 경우, 수신기는 시그널링 정보를 수신하여 스케일러블 WCG 비디오의 서브 스트림들을 조합하여 WCG 영상 출력할 수 있다.
수신기의 시그널링 정보 디코더는 수신된 PMT의 프로그램 디스크립터(UD_program_descriptor)를 이용하여 원본 UHDTV 방송을 구성하기 위해 추가로 받아야 하는 별도 서비스나 미디어가 있는지 판단한다. 본 실시예에서 기술하는 스케일러블 WCG 비디오는 UD_program_format_type가 0x09인 경우에 해당하며, 이 때 인핸스먼트 레이어 비디오 데이터 및 비디오 데이터 내의 SEI message의 추가 정보를 이용하여 스케일러블 WCG 비디오를 구성할 수 있음을 알 수 있다.
수신기의 시그널링 정보 디코더는 UD_program_format_type필드가 0x09 인 경우(즉, WCG 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업데이트한 데이터로 WCG 비디오를 구성하는 프로그램인 경우), 스트림 디스크립터 WCG_sub_stream_descriptor 를 통해 서비스 스트림의 codec 정보, profile 정보, level 정보 및 tier 정보 등를 파악하여 수신기의 디코더에서 처리 가능한 정보인지 판단할 수 있다.
수신기의 비디오 디코더는 비디오 데이터 내의 UDTV_scalable_color_gamut_service_info SEI message 로부터 베이스 레이어 및 enhancement layer에 의해 구성되는 스케일러블 WCG 비디오의 컬러 개멋 정보(color gamut) 및 컬러 개멋 매핑 정보를 얻고, 수신기의 디스플레이 기기에서 최종 출력이 가능한 영상인지 판단할 수 있다.
만약 수신기의 시그널링 정보 디코더가 시그널링 정보로부터 비디오 디코더가 처리하지 못하는 비디오 데이터로 판단한 경우, 수신기의 비디오 디코더는 베이스 레이어 비디오 데이터만을 디코딩할 수 있다. 수신기는 시그널링 정보 디코더가 비디오 디코더가 디코딩하여 처리할 수 있다고 판단하는 경우 비디오 디코더가 WCG 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업데이트한 데이터를 이용하여 스케일러블 WCG 비디오를 구성하도록 할 수 있다.
그리고, 비디오 디코더가 비디오 데이터의 SEI message를 디코딩하여 얻은 스케일러블 WCG 비디오의 밝기 정보가 수신기의 디스플레이에서 출력할 수 없는 경우 수신기는, 베이스 레이어 비디오만을 출력하거나, 스케일러블 WCG 비디오에 대해 밝기 정보를 적절히 후처리하여 예시한 스케일러블 WCG 비디오를 출력하도록 할 수 있다.
비디오 디코더가 시그널링 정보에 따라 스케일러블 WCG 비디오 구성이 가능하고, 수신기의 디스플레이 기기에서 이를 재생할 수 있는 경우 수신기는, 비디오 디코더가 서브 스트림 디코딩하도록 할 수 있다.
수신기의 디코더는, 인핸스먼트 레이어데이터와 함께 UDTV_scalable_color_gamut_service_info SEI message 의 컬러 개멋 매핑 정보를 이용하여 스케일러블 WCG 비디오를 구성하도록 할 수 있다. 그리고, WCG 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업데이트한 데이터를 이용하여 스케일러블 WCG 비디오를 구성
수신기는 비디오를 최종 디스플레이하기 전에 WCG video post processing 과정을 통해 더 향상된 밝기의 영상을 보여주거나, 혹은 디스플레이 기기 에서 보여주기 어려운 영상에 대해 색감 변환 등을 수행할 수 있다. 이 때, SEI message로 전송된 인핸스먼트 레이어비디오 데이터의 컬러 개멋(color gamut) 정보 (EL_video_color_gamut_type) 또는 임의의 컬러 개멋 정보 (RGBW의 color primary 값으로 color_primary_A_x, color_primary_A_y, 단 A는 R, G, B, W 중 하나)를 사용할 수 있다.
본 발명의 실시예에 따른 수신기 동작에 대해서는 이하에서 다시 설명한다.
앞에서 실시한 두 가지의 실시예에 따른 시그널링 정보는 시스템 레벨과 SEI 메시지에 포함되어 함께 전송될 수도 있다.
도 27은 본 발명의 일 실시예로서 방송 시그널링 정보를 예시한 도면으로서, 도 8 또는 도 18에 대응될 수 있다.
개시한 바와 같이 프로그램 레벨 디스크립터는 기존 UHD 비디오와 호환가능한 베이스 레이어를 업스케일링하거나 컬러 개멋 매핑한 데이터와 인핸스먼트 레이어를 이용하여 스케일러블 WCG 비디오를 구성할 수 있는 프로그램을 식별하는 디스립터(UD_program_descriptor )가 포함될 수 있다.
이 예에서 스케일러블 WCG 비디오를 구성할 수 있는 프로그램을 식별하는 디스립터(UD_program_descriptor)는, 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업데이트한 데이터로 WCG 비디오를 구성할 수 있는 프로그램/서비스 포맷(0x08)과, WCG 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 개멋 매핑된 데이터로 WCG 비디오를 구성할 수 있는 프로그램/서비스 포맷(0x09)을 식별하는 필드(UD_program_format_type)를 포함할 수 있다.
개시한 바와 같이 스트림 레벨 디스크립터는 스케일러블 WCG 비디오를 구성하는 스트림의 코딩 정보 등을 포함할 수 있다.
도 28은 본 발명의 일 실시예로서, 이러한 방송 시그널링 정보에 포함되는 스케일러블 WCG 비디오를 시그널링하는 디스크립터를 포함하는 구체적인 예를 개시한 도면이다. 이 도면은 개시한 바와 같이 도 10 또는 도 19에 대응될 수 있다.
본 발명의 일 실시예에 따라 스케일러블 WCG 비디오를 시그널링하는 디스크립터인 WCG_sub_stream_descriptor는 WCG 비디오 서비스를 구성하는 스트림에 대한 정보를 포함하는 디스크립터이다.
EL_video_codec_type 필드, EL_video_profile 필드 EL_video_level 필드, EL_video_level 필드 및 EL_video_tier 필드는 도 10 또는 도 19에서 설명한 바와 같다.
본 발명의 일 실시예에 따른 디스크립터는 스케일러블 WCG 비디오 스트림을 시그널링하는 메타데이터(WCG_substream_metadata ( ))는 이 메타데이터는 도12 또는 도 20에서 예시한 바와 같다.
도 29는 본 발명의 일 실시예로서 방송 시그널링 정보에 스케일러블 WCG 비디오를 시그널링하는 시그널링 정보가 포함되는 다른 예를 예시한 도면이다. 여기서는 방송 시그널링 정보로서 Service Description Table(SDT)을 예시한 도면이다. 각 필드를 기술하면 다음과 같다.
table_id 필드는 테이블의 식별자를 나타낸다.
section_syntax_indicator 필드는, SDT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다 (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1")
section_length 필드는, 섹션의 길이를 바이트 수로 나타낸다 (section_length: This is a 12-bit field, the first two bits of which shall be "00". It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 1 021 so that the entire section has a maximum length of 1 024 bytes.)
transport_stream_id 필드는 전송 시스템 내 다른 멀티플렉스와 구별하여, 이 SDT가 제공하는 TS 식별자를 나타낸다(transport_stream_id: This is a 16-bit field which serves as a label for identification of the TS, about which the SDT informs, from any other multiplex within the delivery system.)
version_number 필드는 이 서브 테이블의 버전 번호를 나타낸다(version_number: This 5-bit field is the version number of the sub_table. The version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs. When it reaches value "31", it wraps around to "0". When the current_next_indicator is set to "1", then the version_number shall be that of the currently applicable sub_table. When the current_next_indicator is set to "0", then the version_number shall be that of the next applicable sub_table.)
current_next_indicator 필드는 이 서브 테이블이 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다 (current_next_indicator: This 1-bit indicator, when set to "1" indicates that the sub_table is the currently applicable sub_table. When the bit is set to "0", it indicates that the sub_table sent is not yet applicable and shall be the next sub_table to be valid.)
section_number 필드는 섹션의 번호를 나타낸다(section_number: This 8-bit field gives the number of the section. The section_number of the first section in the sub_table shall be "0x00". The section_number shall be incremented by 1 with each additional section with the same table_id, transport_stream_id, and original_network_id.)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number: This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.)
original_network_id 필드는 전송 시스템이 네트워크 아이디를 식별자를 나타낸다(original_network_id: This 16-bit field gives the label identifying the network_id of the originating delivery system.)
service_id 필드는 TS내 서비스 식별자를 나타낸다(service_id: This is a 16-bit field which serves as a label to identify this service from any other service within the TS. The service_id is the same as the program_number in the corresponding program_map_section.)
EIT_schedule_flag 필드는, 서비스에 대한 EIT schedule 정보가 현재 TS에 있는지를 나타낼 수 있다(EIT_schedule_flag: This is a 1-bit field which when set to "1" indicates that EIT schedule information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT schedule sub_table). If the flag is set to 0 then the EIT schedule information for the service should not be present in the TS.)
EIT_present_following_flag 필드는, 현재 TS에 서비스에 대한 EIT_present_following information 정보가 있는지 나타낼 수 있다(EIT_present_following_flag: This is a 1-bit field which when set to "1" indicates that EIT_present_following information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT present/following sub_table. If the flag is set to 0 then the EIT present/following information for the service should not be present in the TS.)
running_status 필드는, DVB-SI 문서의 테이블 6에 정의된 서비스의 상태를 지칭할 수 있다(running_status: This is a 3-bit field indicating the status of the service as defined in table 6. For an NVOD reference service the value of the running_status shall be set to "0".)
free_CA_mode 필드는 서비스의 모든 컴포넌트 스트림이 스크래블되어 있는지 지칭한다(free_CA_mode: This 1-bit field, when set to "0" indicates that all the component streams of the service are not scrambled. When set to "1" it indicates that access to one or more streams may be controlled by a CA system.)
descriptors_loop_length 필드는 뒤따르는 디스크립터의 길이를 나타낸다(descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors).
CRC_32 는 CRC값을 포함하는 32비트 필드이다(CRC_32: This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder).
SDT의 디스크립터는 스케일러블 WCG 비디오 서비스를 기술할 수 있는 정보가 포함될 수 있는데, 예를 들어 도 8 나 18 에서 예시한 디스크립터(UD_program_descriptor), 도 10에서 예시한 디스크립터 (WCG_sub_stream_descriptor), 또는 도 12나 20에서 예시한 메타데이터(WCG_substream_metadata)나 그 일부를 포함할 수 있다. 따라서, 본 발명의 실시예에 따르면 기술한 스케일러블 WCG 비디오 서비스를 기술하는 시그널링 정보를 포함할 수 있다.
도 30은 본 발명의 일 실시예로서 방송 시그널링 정보에 스케일러블 WCG 비디오를 시그널링하는 시그널링 정보가 포함되는 다른 예를 예시한 도면이다. 여기서는 방송 시그널링 정보로서 Event Information Table (EIT)을 예시한 도면이다.
EIT는 ETSI EN 300 468에 따를 수 있다. 이를 이용하여 각 필드를 기술하면 다음과 같다.
table_id: 테이블 식별자를 나타낸다.
section_syntax_indicator 필드는, EIT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다 (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1".)
section_length 필드는, 섹션의 길이를 바이트 수로 나타낸다(section_length: This is a 12-bit field. It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 4 093 so that the entire section has a maximum length of 4 096 bytes.)
service_id 필드는 TS내 서비스 식별자를 나타낸다(service_id: This is a 16-bit field which serves as a label to identify this service from any other service within a TS. The service_id is the same as the program_number in the corresponding program_map_section.)
version_number 필드는 이 서브 테이블의 버전 번호를 나타낸다(version_number: This 5-bit field is the version number of the sub_table. The version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs. When it reaches value 31, it wraps around to 0. When the current_next_indicator is set to "1", then the version_number shall be that of the currently applicable sub_table. When the current_next_indicator is set to "0", then the version_number shall be that of the next applicable sub_table.)
current_next_indicator 필드는 이 서브 테이블이 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다(current_next_indicator: This 1-bit indicator, when set to "1" indicates that the sub_table is the currently applicable sub_table. When the bit is set to "0", it indicates that the sub_table sent is not yet applicable and shall be the next sub_table to be valid.)
section_number 필드는 섹션의 번호를 나타낸다(section_number: This 8-bit field gives the number of the section. The section_number of the first section in the sub_table shall be "0x00". The section_number shall be incremented by 1 with each additional section with the same table_id, service_id, transport_stream_id, and original_network_id. In this case, the sub_table may be structured as a number of segments. Within each segment the section_number shall increment by 1 with each additional section, but a gap in numbering is permitted between the last section of a segment and the first section of the adjacent segment.)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number: This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.)
transport_stream_id 필드는 전송 시스템 내 다른 멀티플렉스와 구별하여, 이 SDT가 제공하는 TS 식별자를 나타낸다(transport_stream_id: This is a 16-bit field which serves as a label for identification of the TS, about which the EIT informs, from any other multiplex within the delivery system.)
original_network_id 필드는 전송 시스템이 네트워크 아이디를 식별자를 나타낸다(original_network_id: This 16-bit field gives the label identifying the network_id of the originating delivery system.)
segment_last_section_number 필드는 이 서브 테이블의 이 세그먼트의 마지막 섹션 번호를 나타낸다 (segment_last_section_number: This 8-bit field specifies the number of the last section of this segment of the sub_table. For sub_tables which are not segmented, this field shall be set to the same value as the last_section_number field.)
last_table_id 필드는 (last_table_id: This 8-bit field identifies the last table_id used (see table 2).)
event_id 필드는 이벤트의 식별번호를 나타낸다.(event_id: This 16-bit field contains the identification number of the described event (uniquely allocated within a service definition)
start_time 필드는 이벤트의 시작시간을 포함한다(start_time: This 40-bit field contains the start time of the event in Universal Time, Co-ordinated (UTC) and Modified Julian Date (MJD) (see annex C). This field is coded as 16 bits giving the 16 LSBs of MJD followed by 24 bits coded as 6 digits in 4-bit Binary Coded Decimal (BCD). If the start time is undefined (e.g. for an event in a NVOD reference service) all bits of the field are set to "1".)
running_status 필드는, DVB SI 문서의 table 6에 정의된 이벤트의 상태를 나타낸다( (running_status: This is a 3-bit field indicating the status of the event as defined in table 6. For an NVOD reference event the value of the running_status shall be set to "0".)
free_CA_mode 필드는 서비스의 모든 컴포넌트 스트림이 스크래블되어 있는지 지칭한다 (free_CA_mode: This 1-bit field, when set to "0" indicates that all the component streams of the event are not scrambled. When set to "1" it indicates that access to one or more streams is controlled by a CA system.)
descriptors_loop_length 필드는 뒤따르는 디스크립터의 길이를 나타낸다 (descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors.)
CRC_32 는 CRC값을 포함하는 32비트 필드이다(CRC_32: This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder)
descriptors_loop_length 필드는 다음의 디스크립터 위치에 도 16에서 예시한 UHD_program_type_descriptor, 와 본 발명의 실시예에 따라 도 18, 도 24, 또는 도 25에 예시한 UHD_composition_descriptor가 포함될 수 있다.
EIT의 디스크립터는 스케일러블 WCG 비디오 서비스를 기술할 수 있는 정보가 포함될 수 있는데, 예를 들어 도 8 나 18 에서 예시한 디스크립터(UD_program_descriptor), 도 10에서 예시한 디스크립터 (WCG_sub_stream_descriptor), 또는 도 12나 20에서 예시한 메타데이터(WCG_substream_metadata)나 그 일부를 포함할 수 있다. 따라서, 본 발명의 실시예에 따르면 기술한 스케일러블 WCG 비디오 서비스를 기술하는 시그널링 정보를 포함할 수 있다.
도 31은 본 발명의 일 실시예로서 방송 시그널링 정보에 스케일러블 WCG 비디오를 시그널링하는 시그널링 정보가 포함되는 다른 예를 예시한 도면이다. 여기서는 방송 시그널링 정보로서 Virtual Channel Table (VCT)을 예시한 도면이다. 각 필드를 기술하면 다음과 같다.
VCT는 ATSC PSIP 규격에 따를 수 있다. ATSC PSIP에 따르면 각 필드의 설명은 다음과 같다. 각 비트 설명을 아래와 같이 개시한다.
table_id 필드는 테이블섹션의 타입을 지칭하는 8-bit unsigned 정수를 나타낸다 (table_id - An 8-bit unsigned integer number that indicates the type of table section being defined here. For the terrestrial_virtual_channel_table_section(), the table_id shall be 0xC8)
section_syntax_indicator 필드는, VCT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다(section_syntax_indicator - The section_syntax_indicator is a one-bit field which shall be set to ‘1’ for the terrestrial_virtual_channel_table_section()).
private_indicator 필드는 1로 셋팅된다(private_indicator - This 1-bit field shall be set to ‘1’)
section_length필드는 섹션의 길이를 바이트 수로 나타낸다. (section_length - This is a twelve bit field, the first two bits of which shall be ‘00’. It specifies the number of bytes of the section, starting immediately following the section_length field, and including the CRC.)
transport_stream_id 필드는 TVCT를 식별할 수 있는 PAT에서 처럼 MPEG -TS ID를 나타낸다 (transport_stream_id - The 16-bit MPEG-2 Transport Stream ID, as it appears in the Program Association Table (PAT) identified by a PID value of zero for this multiplex. The transport_stream_id distinguishes this Terrestrial Virtual Channel Table from others that may be broadcast in different PTCs.)
version_number 필드는 VCT의 버전 번호를 나타낸다(version_number - This 5 bit field is the version number of the Virtual Channel Table. For the current VCT (current_next_indicator = ‘1’), the version number shall be incremented by 1 whenever the definition of the current VCT changes. Upon reaching the value 31, it wraps around to 0. For the next VCT (current_next_indicator = ‘0’), the version number shall be one unit more than that of the current VCT (also in modulo 32 arithmetic). In any case, the value of the version_number shall be identical to that of the corresponding entries in the MGT)
current_next_indicator 필드는 이 VCT 테이블 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다(current_next_indicator - A one-bit indicator, which when set to ‘1’ indicates that the Virtual Channel Table sent is currently applicable. When the bit is set to ‘0’, it indicates that the table sent is not yet applicable and shall be the next table to become valid. This standard imposes no requirement that “next” tables (those with current_next_indicator set to ‘0’) must be sent. An update to the currently applicable table shall be signaled by incrementing the version_number field)
section_number 필드는 섹션의 번호를 나타낸다(section_number - This 8 bit field gives the number of this section. The section_number of the first section in the Terrestrial Virtual Channel Table shall be 0x00. It shall be incremented by one with each additional section in the Terrestrial Virtual Channel Table)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number - This 8 bit field specifies the number of the last section (that is, the section with the highest section_number) of the complete Terrestrial Virtual Channel Table.)
protocol_version 필드는 추후 현재 프로토콜과 다르게 정의될 파라미터를 위한 프로토콜 버전을 나타낸다 (protocol_version - An 8-bit unsigned integer field whose function is to allow, in the future, this table type to carry parameters that may be structured differently than those defined in the current protocol. At present, the only valid value for protocol_version is zero. Non-zero values of protocol_version may be used by a future version of this standard to indicate structurally different tables)
num_channels_in_section 필드는 이 VCT의 가상 채널의 수를 나타낸다 (num_channels_in_section - This 8 bit field specifies the number of virtual channels in this VCT section. The number is limited by the section length)
short_name 필드는 가상 채널의 이름을 나타낸다(short_name - The name of the virtual channel, represented as a sequence of one to seven 16-bit code values interpreted in accordance with the UTF-16 representation of Unicode character data. If the length of the name requires fewer than seven 16-bit code values, this field shall be padded out to seven 16-bit code values using the Unicode NUL character (0x0000). Unicode character data shall conform to The Unicode Standard, Version 3.0 [13]. )
major_channel_number 필드는, 가상채널과 관련된 메이저 채널의 수를 나타낸다(major_channel_number - A 10-bit number that represents the “major” channel number associated with the virtual channel being defined in this iteration of the “for” loop. Each virtual channel shall be associated with a major and a minor channel number. The major channel number, along with the minor channel number, act as the user’s reference number for the virtual channel. The major_channel_number shall be between 1 and 99. The value of major_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT. For major_channel_number assignments in the U.S., refer to Annex B.)
minor_channel_number 필드는, 가상채널과 관련된 마이너 채널의 수를 나타낸다(minor_channel_number - A 10-bit number in the range 0 to 999 that represents the “minor” or “sub”- channel number. This field, together with major_channel_number, performs as a two-part channel number, where minor_channel_number represents the second or right-hand part of the number. When the service_type is analog television, minor_channel_number shall be set to 0. Services whose service_type is ATSC_digital_television, ATSC_audio_only, or unassociated/ small_screen_service shall use minor numbers between 1 and 99. The value of minor_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT. For other types of services, such as data broadcasting, valid minor virtual channel numbers are between 1 and 999.)
modulation_mode 모드는 가상채널과 관련된 캐리어의 변조 모드를 나타낸다(modulation_mode - An 8-bit unsigned integer number that indicates the modulation mode for the transmitted carrier associated with this virtual channel. Values of modulation_mode shall be as defined in Table 6.5. For digital signals, the standard values for modulation mode (values below 0x80) indicate transport framing structure, channel coding, interleaving, channel modulation, forward error correction, symbol rate, and other transmission-related parameters, by means of a reference to an appropriate standard. The modulation_mode field shall be disregarded for inactive channels)
carrier_frequency 필드는 캐리어 주파수를 식별할 수 있는 필드이다(carrier_frequency - The recommended value for these 32 bits is zero. Use of this field to identify carrier frequency is allowed, but is deprecated.)
channel_TSID 필드는 이 가상채널에 의해 레퍼런스된 MPEG-2 프로그램을 전송하는 TS와 관련된 MPEG-2 TS ID를 나타낸다 (channel_TSID - A 16-bit unsigned integer field in the range 0x0000 to 0xFFFF that represents the MPEG-2 Transport Stream ID associated with the Transport Stream carrying the MPEG-2 program referenced by this virtual channel8. For inactive channels, channel_TSID shall represent the ID of the Transport Stream that will carry the service when it becomes active. The receiver is expected to use the channel_TSID to verify that any received Transport Stream is actually the desired multiplex. For analog channels (service_type 0x01), channel_TSID shall indicate the value of the analog TSID included in the VBI of the NTSC signal. Refer to Annex D Section 9 for a discussion on use of the analog TSID)
program_number 필드는 이 가상채널과 PMT와 관련되어 정의되는 정수값을 나타낸다(program_number - A 16-bit unsigned integer number that associates the virtual channel being defined here with the MPEG-2 PROGRAM ASSOCIATION and TS PROGRAM MAP tables. For virtual channels representing analog services, a value of 0xFFFF shall be specified for program_number. For inactive channels (those not currently present in the Transport Stream), program_number shall be set to zero. This number shall not be interpreted as pointing to a Program Map Table entry.)
ETM_location 필드는 ETM의 존재와 위치를 나타낸다 (ETM_location - This 2-bit field specifies the existence and the location of an Extended Text Message (ETM) and shall be as defined in Table 6.6.)
access_controlled 필드는 access control된 가상채널과 관련된 이벤트를 지칭할 수 있다(access_controlled - A 1-bit Boolean flag that indicates, when set, that the events associated with this virtual channel may be access controlled. When the flag is set to ‘0’, event access is not restricted)
hidden 필드는 가상채널이 사용자의 직접 채널 입력에 의해 access되지 않는 경우를 나타낼 수 있다(hidden - A 1-bit Boolean flag that indicates, when set, that the virtual channel is not accessed by the user by direct entry of the virtual channel number. Hidden virtual channels are skipped when the user is channel surfing, and appear as if undefined, if accessed by direct channel entry. Typical applications for hidden channels are test signals and NVOD services. Whether a hidden channel and its events may appear in EPG 디스플레이 기기s depends on the state of the hide_guide bit.)
hide_guide 필드는 가상채널과 그 이벤트가 EPG에 표시될 수 있는지를 나타낼 수 있다(hide_guide - A Boolean flag that indicates, when set to ‘0’ for a hidden channel, that the virtual channel and its events may appear in EPG 디스플레이 기기s. This bit shall be ignored for channels which do not have the hidden bit set, so that non-hidden channels and their events may always be included in EPG 디스플레이 기기s regardless of the state of the hide_guide bit. Typical applications for hidden channels with the hide_guide bit set to ‘1’ are test signals and services accessible through application-level pointers.)
service_type 필드는 서비스 타입 식별자를 나타낸다(service_type - This 6-bit field shall carry the Service Type identifier. Service Type and the associated service_type field are defined in A/53 Part 1 [1] to identify the type of service carried in this virtual channel. Value 0x00 shall be reserved. Value 0x01 shall represent analog television programming. Other values are defined in A/53 Part 3 [3], and other ATSC Standards may define other Service Types9)
source_id 필드는 가상채널과 관련된 프로그램 소스를 식별하는 식별번호이다(source_id - A 16-bit unsigned integer number that identifies the programming source associated with the virtual channel. In this context, a source is one specific source of video, text, data, or audio programming. Source ID value zero is reserved. Source ID values in the range 0x0001 to 0x0FFF shall be unique within the Transport Stream that carries the VCT, while values 0x1000 to 0xFFFF shall be unique at the regional level. Values for source_ids 0x1000 and above shall be issued and administered by a Registration Authority designated by the ATSC.)
descriptors_length 필드는 뒤 따르는 디스크립터의 길이를 나타낸다(descriptors_length - Total length (in bytes) of the descriptors for this virtual channel that follows)
descriptor() 에 디스크립터가 포함될 수 있다.(descriptor() - Zero or more descriptors, as appropriate, may be included.)
VCT의 service_type필드는 UHD 서비스, 스케일러블 UHD 서비스 또는 스케일러블 WCG 비디오 서비스를 식별할 수 있는 서비스 타입 정보를 포함할 수 있다. 예를 들어, service_type 필드가 0x07, 0x09인 경우, 0x10 등인 경우 해당 서비스가 이와 같은 서비스임을 시그널링할 수 있다.
VCT의 디스크립터는 스케일러블 WCG 비디오 서비스를 기술할 수 있는 정보가 포함될 수 있는데, 예를 들어 도 8 나 18 에서 예시한 디스크립터(UD_program_descriptor), 도 10에서 예시한 디스크립터 (WCG_sub_stream_descriptor), 또는 도 12나 20에서 예시한 메타데이터(WCG_substream_metadata)나 그 일부를 포함할 수 있다. 따라서, 본 발명의 실시예에 따르면 기술한 스케일러블 WCG 비디오 서비스를 기술하는 시그널링 정보를 포함할 수 있다.
도 32는 본 발명의 실시예에 따른 신호 송신 장치의 일 실시예를 나타낸 도면이다. 이 도면을 참조하여 신호 송신 장치의 일 실시예를 설명하면 다음과 같다.
이 실시예는, 스케일러블 WCG 비디오를 전송하기 위해 legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터와 인핸스먼트 레이어 비디오 데이터를 인코딩하여 전송할 수 있다.
본 발명의 실시예에 따른 신호 송신 장치의 일 실시예는 비디오 인코더를 포함하는데, 비디오 인코더는, 컬러 개멋 매핑부(510), 제 1 색변환부(520), 제 2 색변환부(530), 제 1 인코더(540), 업스케일링부(550), 연산부(560), 제 2 인코더(570) 및 메타데이터생성부(580)를 포함할 수 있다.
컬러 개멋 매핑부(510)는 스케일러블 WCG 비디오를 컬러 개멋 매핑하여 legacy UHD 비디오를 출력할 수 있다.
컬러 개멋 매핑부(510)는 스케일러블 WCG 비디오에 대해 기존 디스플레이에서 표현이 가능한 색 공간으로 매핑하도록 스케일러블 WCG 비디오의 컬러 개멋을 매핑할 수 있다. 컬러 개멋 매핑부(510)는 전체적인 색 표현 범위를 일정 공간으로 매핑하여 기존의 수신기에서 출력할 수 있는 UHD 비디오를 출력한다. 송신부에서는 이에 대한 정보를 metadata의 형태로 출력한다.
제 1 색변환부(520)는 컬러 개멋 매핑된 비디오에 대해 해당 색 공간으로 전송하도록 영상 포맷을 변환한다. 예를 들어 컬러 비디오 전송 시 시각 특성에 따라 luma 신호를 유지하는 반면 chroma 신호에 대해서는 sub-sampling 등을 수행할 수 있다. 이러한 색변환을 거치면 비디오의 transfer curve 가 달라지는데 기존의 수신기에 맞도록 기존 수신기에 맞게 transfer curve (EOTF) 를 변환을 수행할 수 있다.
제 2 색변환부(530)는 예를 들어 YCbCr conversion 에 대해서도 legacy UHD 디스플레이 기기에서 표출 가능한 색변환을 수행할 수 있다.
제 1 색변환부(520)와 제 2 색변환부(530)는 해당 비디오 데이터에 필요한 경우에만 동작할 수 있다.
제 1 인코더(540)는 기존의 디스플레이 기기에서 출력할 수 있는 UHD 비디오를 전송하기 위해 HEVC와 같이 기존의 UHD 수신기에서 처리 가능한 코덱을 이용하여 컬러 개멋 매핑부(510) 또는 제 1 색변환부(520) 또는 제 2 색변환부(530)가 출력한 비디오 데이터를 베이스 레이어 비디오 데이터로 인코딩하여 출력한다.
스케일링부(550)는 기존의 수신기에서 출력할 수 있는 UHD 비디오에 대해, 비트 뎁스 다운 샘플링하고 OETF 등의 색변환 전의 비디오(SCG)의 비트 뎁스를 업 스케일링을 수행하여 원본 스케일러블 WCG 비디오와 동일한 비트 뎁스를 갖도록 한다.
연산부(560)는 원본 스케일러블 WCG 비디오와 스케일링부(550)가 출력하는 비디오 데이터의 차이를 레지듀얼 데이터로 생성한다.
제 2 인코더(570)는 레지듀얼 데이터를 인핸스먼트 데이터를 인코딩하여 출력한다.
메타데이터생성부(580)는 컬러 개멋 매핑을 통해 생성된 legacy UHD 비디오에 대한 metadata를 생성한다. 그리고 생성한 메타데이터는, legacy UHD 비디오에 대한 metadata는 컬러 개멋 매핑부(510), 제 1 색변환부(520) 및 제 2 색변환부(530)가 수행한 컬러 개멋 변환, 색변환 (EOTF 변환 또는 YCbCr conversion matrix) 등의 정보를 포함할 수 있다.
메타데이터생성부(580)는 도 11 내지 도 17 및 도 19 내지 도 26에서 예시한 정보를 생성할 수 있다.
도면에 표시하지 않았지만, 본 발명의 실시예에 따른 신호 송신 장치의 일 실시예는, 시그널링 정보 인코더, 다중화부 및 전송부를 더 포함할 수 있다.
시그널링 정보 인코더는 스케일러블 WCG 비디오 데이터를 구성할 수 있는 시그널링 정보를 인코딩할 수 있다. 시그널링 정보 인코더가 인코딩할 수 있는 정보는 도 8, 내지 도 10, 도 18 및 도 27 내지 도 31에서 예시하였다.
다중화부는 비디오 인코더가 출력하는 비디오 데이터와 비디오 인코더가 인코딩된 베이스 레이어 비디오 데이터 및 인핸스먼트 비디오 데이터를 다중화하여 출력할 수 있다.
전송부는 다중화한 스트림을 채널 코딩 등을 수행하여 전송할 수 있다.
도 33는 본 발명의 실시예에 따른 신호 송신 장치의 다른 일 실시예를 나타낸 도면이다. 이 도면을 참조하여 신호 송신 장치의 일 실시예를 설명하면 다음과 같다.
이 실시예는, 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 개멋 매핑된 데이터로 WCG 비디오를 구성하도록 비디오를 인코딩하여 전송할 수 있다.
본 발명의 실시예에 따른 신호 송신 장치의 일 실시예는 비디오 인코더, 시그널링 정보 인코더, 다중화부 및 전송부를 포함할 수 있다.
비디오 인코더는 제 1 컬러 개멋 매핑부(610), 제 1 색변환부(620), 제 2 색변환부(630), 제 1 인코더(640), 업스케일링부(650), 제 2 컬러 개멋 매핑부(655), 연산부(660), 제 2 인코더(670) 및 메타데이터생성부(680)를 포함할 수 있다.
제 1 컬러 개멋 매핑부(610)는 스케일러블 WCG 비디오를 컬러 개멋 매핑하여 legacy UHD 비디오를 출력할 수 있다.
제 1 색변환부(620)와 제 2 색변환부(630)은 각각 위에서 설명한 바와 유사한 색변환 수행할 수 있다. 예를 들어 컬러 비디오 전송 시 시각 특성에 따라 luma 신호를 유지하는 반면 chroma 신호에 대해서는 sub-sampling 등을 수행할 수 있다. 이러한 색변환을 거치면 비디오의 transfer curve 가 달라지는데 기존의 수신기에 맞도록 transfer curve (EOTF) 를 변환을 수행할 수 있다.
제 2 색변환부(630)는 예를 들어 YCbCr conversion 에 대해서도 legacy UHD 디스플레이 기기에서 표출 가능한 색변환을 수행할 수 있다.
제 1 색변환부(620)와 제 2 색변환부(630)는 해당 비디오가 필요한 경우에만 동작할 수 있다.
제 1 인코더(640)는 기존의 수신기에서 출력할 수 있는 UHD 비디오를 인코딩하여 출력하기 위해 스케일러블 컬러 개멋 비디오에 대해 HEVC와 같이 기존의 UHD 수신기에서 처리 가능한 코덱을 이용하여 색변환부(620, 630)가 출력한 비디오를 베이스 레이어 비디오 데이터로 압축하여 출력한다.
스케일링부(650)는 기존의 수신기에서 출력할 수 있는 UHD 비디오에 대해, 비트 뎁스 다운 샘플링하고 OETF 등의 색변환 전의 비디오(SCG)의 비트 뎁스를 업 스케일링을 수행하여 원본 스케일러블 WCG 비디오와 동일한 비트 뎁스를 갖도록 한다.
제 2 컬러 개멋 매핑부(655)는 스케일링부(650)가 출력한 업스케일링된 비디오에 대해 컬러 개멋 매핑을 수행하고 베이스 레이어 비디오 데이터의 컬러 개멋을 확장하여 WCG 비디오의 컬러 개멋과 유사하게 비디오를 변환한다. 이 경우 스케일링부(650)에서 업스케일링된 비디오는 bit depth 확장이 일어난 색 공간으로의 mapping이 될 수 있어 quantization error가 발생할 수 있다. 따라서, 이를 보정할 수 있는 메타데이터가 정보가 메타데이터 생성부에서 생성되거나, 레지듀얼 데이터에 포함되어 처리될 수 있다.
연산부(660)는 원본 스케일러블 WCG 비디오와 제 2 컬러 개멋 매핑부(655)가 출력하는 비디오 데이터의 차이를 레지듀얼 데이터로 생성한다.
제 2 인코더(670)는 레지듀얼 데이터를 인핸스먼트 데이터를 인코딩하여 출력한다.
메타데이터생성부(680)는 컬러 개멋 매핑을 통해 생성된 legacy UHD 비디오에 대한 메타 데이터를 생성한다. 그리고 legacy UHD 비디오에 대한 메타 데이터는 컬러 개멋 매핑부(510), 제 1 색변환부(520) 및 제 2 색변환부(530)가 수행한 컬러 개멋 변환, 색변환 (EOTF 변환 또는 YCbCr conversion matrix) 등의 정보를 포함할 수 있다. 메타데이터생성부(680)는 인핸스먼트 레이어 비디오 데이터를 비디오를 구성하기 위한 정보를 메타 데이터의 형태로 전송한다. 예시한 바와 같이 메타 데이터는 gamut mapping function에 관련된 정보(gamut mapping type, parameter 등) 뿐만 아니라 베이스 레이어 비디오 데이터에 대한 정보, 구성 방법 등을 포함할 수 있다.
마찬가지로 메타데이터생성부(680)는 도 11 내지 도 17 및 도 19 내지 도 26에서 예시한 정보를 생성할 수 있다.
도 34는 본 발명의 실시예에 따른 신호 수신 장치의 일 예를 예시한 도면이다.
본 발명의 실시예에 따른 신호 수신 장치의 일 예는 수신부(710), 채널디코더(720), 역다중화부(730), 시그널링 정보 디코더(740) 및 비디오 디코더를 포함한다.
비디오 디코더는 베이스 레이어 디코더와 인핸스먼트 레이어 디코더를 포함한다.
예를 들어 베이스 레이어 디코더(810)은 역다중화부(730)가 출력하는 베이스 레이어 비디오 데이터를 디코딩하여 레거시 UHD 비디오 데이터(920)를 출력한다.
인핸스먼트 레이어 디코더는 업스케일링부(910), 컬러 개멋 매핑부(920), 스케일러블 디코더(930), WCG 후처리부(940)를 포함할 수 있다.
먼저 수신부(710)는 방송 신호를 튜닝하고, 방송 신호에 포함된 신호 프레임을 복조할 수 있다.
채널디코더(720)는 신호 프레임에 포함된 데이터를 채널 디코딩할 수 있다.
역다중화부(730)는 채널 디코딩된 데이터를 역다중화화여 출력한다. 예를 들어 역다중화부(730)는 방송 시그럴링 정보를 데이터와 베이스 레이어 비디오 데이터 또는 인핸스먼트 레이어 비디오 데이터의 스트림들을 각각 역다중화할 수 있다.
시그널링 정보 디코더(740)는 역다중화한 시그널링 정보를 복호할 수 있다. 여기서 시그널링 정보 디코더가 복호할 수 있는 정보의 예는, 도 8, 내지 도 10, 도 18 및 도 27 내지 도 31에 각각 예시하였다. 예를 들어 시그널링 정보 디코더(740)는 개시한 프로그램 레벨 디스크립터(UD_program_descriptor) 또는 스트림 디스크립터(WCG_sub_stream_descriptor)로 해당 서비스가 스케일러블 WCG 비디오 서비스임을 알 수 있고, 해당 스트림의 비디오의 코덱정보, 프로파일 정보, 레벨 정보, 티어 정보 등을 알 수 있다.
비디오 디코더는 역다중화된 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터를 복호할 수 있다. 이 경우 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터에 포함된 시그널링 정보를 참조할 수 있는데, 비디오 디코더가 복호하는 시그널링 정보의 예는 도 11 내지 도 17 및 도 19 내지 도 26 에 각각 예시하였다.
비디오 디코더는 시그널링 정보 디코더(740)가 역다중화한 시그널링 정보와 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터에 포함된 시그널링 정보를 기반으로 스케일러블 WCG 비디오를 수신기의 디스플레이 기기의 성능에 따라 WCG 비디오 또는 legacy UHD 비디오를 제공할 수 있다.
예를 들어 본 발명의 실시예에 따르면 기존의 디스플레이 기기를 가진 수신기에서는 비디오 디코더는, 기존의 디스플레이 기기에 호환 가능한 legacy UHD 비디오를 출력할 수 있다.
본 발명의 실시예에 따르면 WCG 서비스를 제공할 수 있는 디스플레이 기기를 가진 수신기에서는 비디오 디코더는, 인핸스먼트 레이어 비디오 데이터와 legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업데이트한 데이터로 WCG를 구성할 수 있다. 또는 비디오 디코더는, 인핸스먼트 레이어 비디오 데이터와, legacy UHD 비디오와 호환되는 베이스 레이어 비디오 데이터의 컬러 개멋 매핑된 데이터로 WCG 비디오를 구성할 수 있다.
이에 대해 각각 기술하면 다음과 같다.
기존의 디스플레이 기기를 가진 수신기인 경우 베이스 레이어 디코더(810)는 역다중화부(730)가 역다중화한 베이스 레이어 비디오 데이터를 복호할 수 있다. 베이스 레이어 디코더(810)가 복호한 베이스 레이어 비디오 데이터는 legacy UHD 비디오와 호환되는 비디오 데이터(820)일 수 있다.
베이스 레이어 디코더(810)는 시그널링 정보 디코더(740)가 복호하는 시그널링 정보와 베이스 레이어 비디오 데이터에 포함된 시그널링 정보에 기반하여 legacy UHD 비디오와 호환되는 비디오 데이터(820)를 복호하고 이를 디스플레이 기기로 출력한다.
이 도면에 예시한 베이스 레이어 비디오 디코더(810)는 도 2의 베이스 레이어 디코더와 색변환부(EOTF)에 대응될 수 있다.
WCG 서비스를 제공할 수 있는 디스플레이 기기를 가진 수신기인 경우 베이스 레이어 디코더(810)는, 시그널링 정보 디코더(740)가 역다중화한 시그널링 정보와 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터에 포함된 시그널링 정보를 기반으로 역다중화부(730)가 역다중화한 베이스 레이어 비디오 데이터를 복호할 수 있다.
인핸스먼트 레이어 디코더는 베이스 레이어 디코더를 포함하고, 업스케일링부(910), 컬러 개멋 매핑부(920), 스케일러블 디코더(930), 및 포스트 프로세싱부(940)를 더 포함할 수 있다.
인핸스먼트 레이어 디코더는, 시그널링 정보 디코더(740)가 역다중화한 시그널링 정보와 베이스 레이어 비디오 데이터 혹은 인핸스먼트 레이어 비디오 데이터에 포함된 시그널링 정보를 기반으로 역다중화부(730)가 역다중화한 인핸스먼트 레이어 비디오를 복호할 수 있다.
업스케일링부(910)는 베이스 레이어 디코더(810)가 복호한 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업스케일링할 수 있다. 이 경우, 비디오 데이터의 메타데이터에 포함된 베이스 레이어 비디오 데이터의 비트 뎁스 정보(BL_bitdepth)와 WCG 비디오와 베이스 레이어 비디오 데이터의 비트 뎁스 차이 정보(EL_bitdepth_diff)를 이용할 수 있다.
컬러 개멋 매핑부(920)는 베이스 레이어 디코더(810)가 복호한 베이스 레이어 비디오 데이터의 컬러 개멋을 매핑할 수 있다. 이 경우, 비디오 데이터의 메타데이터에 포함된 컬러 개멋의 매핑을 위한 color primary 정보, gamut mapping function 정보 등을 이용할 수 있다.
스케일러블 비디오 디코더(930)는 인핸스먼트 레이어 비디오 데이터와, 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업스케일링한 데이터를 이용하여 WCG 비디오를 출력할 수 있다.
또는, 스케일러블 비디오 디코더(930)는 인핸스먼트 레이어 비디오 데이터와, 베이스 레이어 비디오 데이터의 컬러 개멋이 매핑된 데이터를 이용하여 WCG 비디오를 출력할 수 있다. 대응관계
포스트 프로세싱부(940)는 비디오 데이터에 포함된 시그널링 정보 등을 이용하여 스케일러블 비디오 디코더(930)가 복호한 비디오 데이터를 후처리한 WCG UHD 비디오(950)를 출력할 수 있다.
이 도면에 예시한 인핸스먼트 레이어 디코더는 도 2의 베이스 레이어 디코더와 색변환부(EOTF), 업스케일러, WCG 비디오 구성부 및 포스트 프로세싱부에 대응될 수 있다.
따라서, 본 발명의 실시예에 따르면 수신기의 디스플레이 성능에 따라 legacy UHD 비디오를 출력하거나, WCG 비디오를 출력할 수 있다.
도 35는 본 발명에 따른 신호 수신 방법의 일 실시예를 예시한 도면이다. 이 도면을 참조하여 본 발명에 본 발명에 따른 신호 수신 방법의 일 실시예를 설명하면 다음과 같다.
스케일러블 WCG 비디오 데이터를 구성할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 포함하는 스트림을 수신한다(S210).
수신한 스트림을 역다중화하여 시그널링 정보, 베이스 레이어 비디오 데이터 및 인핸스먼트 비디오 데이터를 출력한다(S220).
역다중화한 시그널링 정보를 디코딩한다(S230).
디코딩한 시그널링 정보를 기반으로 베이스 레이어 비디오 데이터를 복호하여 legacy UHD 비디오를 출력하거나, 베이스 레이어 비디오 데이터 및 인핸스먼트 비디오 데이터를 복호하여 WCG 비디오를 출력한다(S240).
본 발명의 실시예에 따르면, 광역 색 공간 기반의 영상 서비스를 디스플레이 장치에 상관없이 디스플레이 하도록 할 수 있다.
본 발명의 실시예에 따르면, 기존 수신기에서도 호환 가능한 WCG 컨텐츠를 제공할 수 있다.
본 발명의 실시예에 따르면 광역 색 공간 기반의 영상 서비스가 다수의 디스플레이 장치에서 호환되어 제공될 수 있다.
본 발명의 실시예에 따르면 컨텐츠의 WCG 정보를 호환성 있게 표현할 수 있는 방송 서비스를 제공할 수 있다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본원 발명은 방송 및 비디오 신호 처리 분야에서 사용 가능하고 반복 가능성이 있는 산업상 이용가능성이 있다.

Claims (14)

  1. 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 제공할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 각각 인코딩하는 단계;
    상기 스케일러블 WCG 비디오 데이터를 구성할 수 있는 시그널링 정보를 생성하는 단계;
    상기 생성된 시그널링 정보와 상기 인코딩된 베이스 레이어 비디오 데이터 및 상기 인코딩된 인핸스먼트 비디오 데이터를 다중화한 스트림을 출력하는 단계; 및
    상기 다중화한 스트림을 전송하는 단계;를 포함하는 신호 송신 방법.
  2. 제 1항에 있어서,
    상기 시그널링 정보는,
    상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 식별하는 정보를 포함하는 신호 송신 방법.
  3. 제 1항에 있어서,
    상기 인코딩된 베이스 레이어 비디오 데이터 또는 상기 인코딩된 인핸스먼트 비디오 데이터는, 상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 구성(render)할 수 있는 컬러 개멋 매핑 정보, 컬러 비트 뎁스 정보 또는 컬러 매핑 정보를 가지는 메타데이터를 포함하는 신호 송신 방법.
  4. 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 제공할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 각각 인코딩하는 인코더;
    상기 스케일러블 WCG 비디오 데이터를 구성할 수 있는 시그널링 정보를 인코딩하는 시그널링 정보 인코더;
    상기 생성된 시그널링 정보와 상기 인코딩된 베이스 레이어 비디오 데이터 및 상기 인코딩된 인핸스먼트 비디오 데이터를 다중화화 스트림을 출력하는 다중화부; 및
    상기 다중화한 스트림을 전송하는 전송부;를 포함하는 신호 송신 장치.
  5. 제 4항에 있어서,
    상기 시그널링 정보는,
    상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 식별하는 정보를 포함하는 신호 송신 장치.
  6. 제 4항에 있어서,
    상기 인코딩된 베이스 레이어 비디오 데이터 또는 상기 인코딩된 인핸스먼트 비디오 데이터는, 상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 구성(render)할 수 있는 컬러 개멋 매핑 정보, 컬러 비트 뎁스 정보 또는 컬러 매핑 정보를 가지는 메타데이터를 포함하는 신호 송신 장치.
  7. 스케일러블 Wide Color Gamut(WCG) 비디오 데이터를 구성할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 포함하는 스트림을 수신하는 단계;
    상기 수신한 스트림을 역다중화하여 베이스 레이어 비디오 데이터 및 인핸스먼트 비디오 데이터를 포함하는 비디오 데이터와 시그널링 정보를 각각 출력하는 단계;
    상기 역다중화한 시그널링 정보를 디코딩하는 단계; 및
    상기 디코딩한 시그널링 정보를 기반으로 상기 베이스 레이어 비디오 데이터 또는/및 상기 인핸스먼트 비디오 데이터를 복호하여 legacy UHD 비디오 또는 WCG 비디오를 출력하는 단계;를 포함하는 신호 수신 방법.
  8. 제 7항에 있어서,
    상기 시그널링 정보는,
    상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 식별하는 정보를 포함하는 신호 수신 방법.
  9. 제 7항에 있어서,
    상기 베이스 레이어 비디오 데이터 또는 상기 인핸스먼트 비디오 데이터는, 상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 구성(render)할 수 있는 컬러 개멋 매핑 정보, 컬러 비트 뎁스 정보 또는 컬러 매핑 정보를 가지는 메타데이터를 포함하는 신호 수신 방법.
  10. 제 9항에 있어서,
    상기 WCG 비디오는,
    상기 인핸스먼트 레이어 비디오 데이터를 기반으로, 상기 컬러 개멋 매핑 정보를 이용하여 상기 베이스 레이어 비디오 데이터를 컬러 개멋 매핑하거나, 상기 컬러 비트 뎁스 정보를 이용하여 상기 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업 스케링하여 구성하는 신호 수신 장치
  11. 스케일러블 Wide Color Gamut(WCG) 비디오 데이터를 구성할 수 있는 베이스 레이어 비디오 데이터와 인핸스먼트 비디오 데이터를 포함하는 스트림을 수신하는 수신부;
    상기 수신한 스트림을 역다중화하여 베이스 레이어 비디오 데이터 및 인핸스먼트 비디오 데이터를 포함하는 비디오 데이터와 시그널링 정보를 각각 출력하는 역다중화부;
    상기 역다중화한 시그널링 정보를 디코딩하는 디코더; 및
    상기 디코딩한 시그널링 정보를 기반으로 상기 베이스 레이어 비디오 데이터 또는/및 상기 인핸스먼트 비디오 데이터를 복호하여 legacy UHD 비디오 또는 WCG 비디오를 출력하는 비디오 디코더;를 포함하는 신호 수신 장치.
  12. 제 11항에 있어서,
    상기 시그널링 정보는,
    상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 식별하는 정보를 포함하는 신호 수신 장치.
  13. 제 11항에 있어서,
    상기 베이스 레이어 비디오 데이터 또는 상기 인핸스먼트 비디오 데이터는, 상기 스케일러블 Wide Color Gamut(WCG) 비디오 서비스를 구성(render)할 수 있는 컬러 개멋 매핑 정보, 컬러 비트 뎁스 정보 또는 컬러 매핑 정보를 가지는 메타데이터를 포함하는 신호 수신 장치.
  14. 제 13항에 있어서,
    상기 WCG 비디오는,
    상기 인핸스먼트 레이어 비디오 데이터를 기반으로, 상기 컬러 개멋 매핑 정보를 이용하여 상기 베이스 레이어 비디오 데이터를 컬러 개멋 매핑하거나, 상기 컬러 비트 뎁스 정보를 이용하여 상기 베이스 레이어 비디오 데이터의 컬러 비트 뎁스를 업 스케링하여 구성하는 신호 수신 장치.
KR1020167014563A 2013-11-21 2014-11-21 신호 송수신 장치 및 신호 송수신 방법 KR101832779B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361906899P 2013-11-21 2013-11-21
US61/906,899 2013-11-21
PCT/KR2014/011262 WO2015076616A1 (ko) 2013-11-21 2014-11-21 신호 송수신 장치 및 신호 송수신 방법

Publications (2)

Publication Number Publication Date
KR20160086349A true KR20160086349A (ko) 2016-07-19
KR101832779B1 KR101832779B1 (ko) 2018-04-13

Family

ID=53179812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167014563A KR101832779B1 (ko) 2013-11-21 2014-11-21 신호 송수신 장치 및 신호 송수신 방법

Country Status (5)

Country Link
US (1) US20160295220A1 (ko)
EP (1) EP3073742A4 (ko)
JP (1) JP2017500787A (ko)
KR (1) KR101832779B1 (ko)
WO (1) WO2015076616A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190039724A (ko) * 2016-08-24 2019-04-15 퀄컴 인코포레이티드 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6289900B2 (ja) * 2013-12-27 2018-03-07 株式会社東芝 放送信号送信装置
US10178397B2 (en) * 2014-03-24 2019-01-08 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9729801B2 (en) * 2014-10-02 2017-08-08 Dolby Laboratories Licensing Corporation Blending images using mismatched source and display electro-optical transfer functions
US10306269B2 (en) * 2014-10-10 2019-05-28 Qualcomm Incorporated Operation point for carriage of layered HEVC bitstream
GB2534929A (en) * 2015-02-06 2016-08-10 British Broadcasting Corp Method and apparatus for conversion of HDR signals
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
EP3119086A1 (en) * 2015-07-17 2017-01-18 Thomson Licensing Methods and devices for encoding/decoding videos
MX2018003687A (es) * 2015-09-23 2018-04-30 Arris Entpr Llc Alto rango dinamico de señalizacion y contenido de amplia gama de colores en corrientes de transporte.
US9916638B2 (en) 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
CN107767838B (zh) 2016-08-16 2020-06-02 北京小米移动软件有限公司 色域映射方法及装置
CN109565612B (zh) * 2016-08-22 2021-09-03 索尼公司 发送装置、发送方法、接收装置和接收方法
CN106341574B (zh) * 2016-08-24 2019-04-16 北京小米移动软件有限公司 色域映射方法及装置
CA3069106A1 (en) * 2017-07-20 2019-01-24 Sony Corporation Transmission device, transmission method, reception device, and reception method
WO2019107175A1 (ja) * 2017-11-30 2019-06-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
GB2583087B (en) * 2019-04-11 2023-01-04 V Nova Int Ltd Decoding a video signal in a video decoder chipset
KR20220160576A (ko) * 2020-03-30 2022-12-06 바이트댄스 아이엔씨 비디오 코딩에서의 슬라이스 타입
WO2023150074A1 (en) * 2022-02-01 2023-08-10 Dolby Laboratories Licensing Corporation Beta scale dynamic display mapping
CN115499078B (zh) * 2022-08-05 2024-04-16 鹏城实验室 一种新型广播单频网组网方法、系统、介质及终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
JP2008294870A (ja) * 2007-05-25 2008-12-04 Funai Electric Co Ltd デジタル放送受信機
US8629884B2 (en) * 2007-12-07 2014-01-14 Ati Technologies Ulc Wide color gamut display system
US8446961B2 (en) 2008-07-10 2013-05-21 Intel Corporation Color gamut scalability techniques
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR101438385B1 (ko) * 2010-06-15 2014-11-03 돌비 레버러토리즈 라이쎈싱 코오포레이션 주문형 비디오 컨텐트 버전들을 포함하는 비디오 데이터를 인코딩, 분배 및 디스플레이하는 방법
WO2012142506A1 (en) * 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
US9060180B2 (en) * 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
JP2013090296A (ja) * 2011-10-21 2013-05-13 Sharp Corp 符号化装置、送信装置、符号化方法、復号装置、受信装置、復号方法、プログラム、および記録媒体
WO2013106190A1 (en) * 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
EP2642755B1 (en) * 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190039724A (ko) * 2016-08-24 2019-04-15 퀄컴 인코포레이티드 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링

Also Published As

Publication number Publication date
JP2017500787A (ja) 2017-01-05
KR101832779B1 (ko) 2018-04-13
WO2015076616A1 (ko) 2015-05-28
EP3073742A1 (en) 2016-09-28
US20160295220A1 (en) 2016-10-06
EP3073742A4 (en) 2017-06-28

Similar Documents

Publication Publication Date Title
KR101832779B1 (ko) 신호 송수신 장치 및 신호 송수신 방법
CA2890508C (en) Apparatus for transreceiving signals and method for transreceiving signals
AU2013352851B2 (en) Signal transceiving apparatus and signal transceiving method
KR101809968B1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
JP6073477B2 (ja) 信号送受信装置および信号送受信方法
KR101797505B1 (ko) Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
KR102094892B1 (ko) 신호 송수신 장치 및 신호 송수신 방법
KR101838081B1 (ko) 신호 송수신 장치 및 신호 송수신 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant