KR20150087209A - 신호 송수신 장치 및 신호 송수신 방법 - Google Patents

신호 송수신 장치 및 신호 송수신 방법 Download PDF

Info

Publication number
KR20150087209A
KR20150087209A KR1020157011734A KR20157011734A KR20150087209A KR 20150087209 A KR20150087209 A KR 20150087209A KR 1020157011734 A KR1020157011734 A KR 1020157011734A KR 20157011734 A KR20157011734 A KR 20157011734A KR 20150087209 A KR20150087209 A KR 20150087209A
Authority
KR
South Korea
Prior art keywords
video
data
sampling
video data
uhd
Prior art date
Application number
KR1020157011734A
Other languages
English (en)
Inventor
황수진
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20150087209A publication Critical patent/KR20150087209A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Abstract

본 발명은 신호 송수신 장치 및 신호 송수신 방법에 관한 것이다. 본 발명의 실시예는, 비디오 데이터를 인코딩하는 단계; 상기 인코딩된 비디오 데이터를, 다수의 비디오 샘플링 포맷으로 표출할 수 있는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 생성하는 단계; 및 상기 인코딩된 비디오 데이터와 상기 시그널링 정보를 다중화하고 상기 다중화된 비디오 데이터와 시그널링 정보를 전송하는 단계를 포함하는, 신호 송신 방법을 제공한다.

Description

신호 송수신 장치 및 신호 송수신 방법{APPARATUS FOR TRANSRECEIVING SIGNALS AND METHOD FOR TRANSRECEIVING SIGNALS}
본 발명은 신호 송수신 장치 및 신호 송수신 방법에 관한 것이다.
비디오 신호 처리 속도가 빨라지면서 초고해상도(ultra high definition; UHD) 비디오를 인코딩/디코딩하는 방안이 연구되고 있다. 기존의 HD수신기를 이용하여 UHD비디오를 수신했을 때도 UHD 뿐만 아니라, HD 비디오를 문제 없이 처리되는 방안이 연구되고 있다.
그러나 기존의 HD 방송은 4:2:0의 chroma subsampling format을 기반으로 사용하고 있으나, 보다 향상된 색감 제공을 위해 고해상도 비디오에는 4:2:2 또는 4:4:4 chroma subsampling format을 사용할 수 있다. 예를 들어 4:2:2 format (또는 4:4:4)으로 방송을 하게 될 경우 기존의 HDTV에는 호환되지 않는 포맷이므로 기존의 방송 신호를 수신하는 수신기는 고해상도 방송을 제대로 표출할 수 없는 문제점이 있다.
고화질의 방송을 위해 기존의 chroma subsampling 방식과 다른 chroma subsampling 방식을 이용할 경우, 기존의 HDTV도 문제없이 비디오 신호를 수신/출력할 수 있는 방법이 필요하다. 기존의 4:2:0 chroma subsampling 방식과 4:2:2 방식의 호환 방식이 필요하고, 스캔방식도 progressive 방식과 interlaced 방식이 호환될 수 있는 방법이 필요하지만, 현 단계에서는 이에 대한 해결책이 제시되지 않는 문제점이 있다.
본 발명의 목적은, 비디오 데이터의 서브샘플링 포맷에 대한 호환성을 제공할 수 있는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 다른 목적은 기존 방송 수신기와 호환이 가능한 비디오 샘플링 포맷을 제공하면서, 다른 비디오 샘플링 포맷을 가진 고해상도 비디오를 제공할 수 있는 신호 송수신 방법 및 신호 송수신 장치를 제공하는 것이다.
본 발명의 실시예는, 비디오 데이터를 인코딩하는 단계; 상기 인코딩된 비디오 데이터를, 다수의 비디오 샘플링 포맷으로 표출할 수 있는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 생성하는 단계; 및 상기 인코딩된 비디오 데이터와 상기 시그널링 정보를 다중화하고 상기 다중화된 비디오 데이터와 시그널링 정보를 전송하는 단계를 포함하는, 신호 송신 방법을 제공한다.
상기 인코딩된 비디오 데이터는, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함할 수 있다.
상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 상기 비디오 구성 메타데이터 정보를 포함할 수 있다.
상기 비디오 구성 메타데이터 정보는, 상기 인코딩된 비디오 데이터가, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타낼 수 있다.
본 발명의 다른 실시예는, 비디오 스트림들과, 상기 비디오 스트림들이 다수의 비디오 샘플링 포맷으로 표출될 수 있음을 나타내는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 역다중화하는 단계; 상기 역다중화한 시그널링 정보를 디코딩하는 단계; 및 상기 비디오 구성 메타데이터 정보에 기초하여 상기 비디오 스트림들 중 적어도 하나에 전송되는 비디오데이터를 디코딩하는 단계를 포함하는, 신호 수신 방법을 제공한다.
상기 비디오 스트림들은, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함할 수 있다. 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 상기 비디오 구성 메타데이터 정보를 포함할 수 있다.
상기 비디오 구성 메타데이터 정보는, 상기 비디오 스트림들이, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타낼 수 있다.
본 발명의 다른 실시예는, 비디오 데이터를 인코딩하는 인코더; 상기 인코딩된 비디오 데이터를, 다수의 비디오 샘플링 포맷으로 표출할 수 있는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 생성하는 시그널링정보생성부; 및 상기 인코딩된 비디오 데이터와 상기 시그널링 정보를 다중화하는 다중화부;를 포함할 수 있다.
본 발명의 다른 실시예는, 비디오 스트림들과, 상기 비디오 스트림들이 다수의 비디오 샘플링 포맷으로 표출될 수 있음을 나타내는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 역다중화하는 역다중화부; 상기 역다중화한 시그널링 정보를 디코당하는 시그널링정보복호부; 및 상기 비디오 구성 메타데이터 정보에 기초하여 상기 비디오 스트림들 중 적어도 하나에 전송되는 비디오데이터를 디코딩하는 디코더;를 포함하는, 신호 수신 장치를 제공한다.
본 발명의 실시예에 따르면, 비디오 데이터의 서브샘플링 포맷에 대한 호환성을 제공하도록 비디오 데이터를 송수신할 수 있다.
본 발명의 실시예에 따르면, 기존 방송 수신기와 호환이 가능한 비디오 샘플링 포맷을 제공하면서, 다른 비디오 샘플링 포맷을 가진 고해상도 비디오를 송수신할 수 있다.
본 발명의 실시예에 따르면, 기존의 4:2:0 chroma subsampling format 만을 지원하는 interlaced 방식의 HD 시스템과의 호환성을 제공할 수도 있고, 다른 chroma subsampling format에 따른 고해상도 비디오를 제공할 수도 잇다.
본 발명의 실시예에 따르면, HDTV 수신기에서 UHDTV 방송 채널을 통해서도 HD 비디오 신호를 수신할 수 있고, UHD 수신기에서도 각각의 지원하는 chroma subsampling format에 맞는 신호를 수신할 수 있다.
도 1은 본 발명에 따른 신호 송신 방법의 일 실시예를 예시한 도면
도 2는 비디오 포맷이 progressive인 경우에 대한 chroma subsampling format의 휘도 (Y) 및 색차 (Cb, Cr) 신호의 sampling 개념도
도 3은 고해상도 비디오인 UHD 비디오를 인코딩하는 방식을 예시한 도면
도 4는 4:2:0 샘플링의 비디오 데이터를 4:2:2 샘플링의 비디오 데이터로 변환하는 예를 나타낸 도면
도 5는 업 샘플링 과정을 예시한 도면
도 6은 업 샘플링 과정을 예시한 도면
도 7은, 4:2:0 HD 비디오와 4:2:0의 UHD 비디오, 그리고 4:2:2 UHD 비디오를 제공할 수 있는 스트림 구조의 일 예를 나타낸 도면
도 8은 본 발명의 실시예에 따른 신호 송신 장치의 일 실시예를 예시한 도면
도 9은 본 발명의 실시예에 따른 신호 송신 장치의 다른 일 실시예를 예시한 도면
도 10는 비디오 샘플링에 따른 스캔닝 방식의 예를 예시한 도면
도 11은 고해상도 비디오를 스캔닝 방식이 호환 가능한 낮은 해상도의 비디오 데이터로 변형하는 제 1 예를 개시한 도면
도 12은 고해상도 비디오를 스캔닝 방식이 호환 가능한 낮은 해상도의 비디오 데이터로 변형하는 제 2 예를 개시한 도면
도 13는, 고해상도 비디오를 스캔닝 방식이 호환 가능한 낮은 해상도의 비디오 데이터로 변형하는 제 3 예를 개시한 도면
도 14은, 본 발명에 따른 신호 수신 장치의 디코더의 일 실시예를 나타낸 도면
도 15는 본 발명의 실시예에 따라 비디오를 표출하도록 할 수 있는 시그널링 정보를 예시한 도면
도 16은 본 발명의 실시예에 따른 시그널링 정보의 구체적인 신택스 값을 예시한 도면
도 17은, 본 발명의 실시예에 따른 스트림 레벨 디스크립터의 일 예를 예시한 도면
도 18은 위에서 예시한 비디오의 해상도 및 프레임 레잇을 나타내는 정보의 값을 예시한 도면
도 19은 본래 UHD 비디오의 chroma subsampling format에 관한 정보를 예시한 도면
도 20는, 비디오 데이터의 residual 데이터에 대한 resolution 정보를 예시한 도면
도 21은, enhancement layer에서 전송하는 신호의 성분에 대한 정보를 예시한 도면
도 22은 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한 도면
도 23는 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한 도면
도 24은 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한 도면
도 25는 실시예들에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 신택스를 예시한 도면
도 26는 본 발명에 따른 신호 수신 장치의 일 실시예를 예시한 도면
도 27은 본 발명에 따른 신호 수신 방법의 일 실시예를 개시한 도면
도 28은 본 발명의 실시예에 따른 신호 송신 장치의 일 실시예를 개시한 도면
도 29은 본 발명의 실시예에 따른 신호 수신 장치의 일 실시예를 개시한 도면
발명의 실시를 위한 최선의 형태
이하 본 발명의 용이하게 설명할 수 있는 실시예를 도면을 참조하여 설명한다.
도 1은 본 발명에 따른 신호 송신 방법의 일 실시예를 예시한 도면이다.
비디오 데이터를 인코딩한다(S110). 비디오 데이터를 인코딩하는 경우, 이하에서 개시하는 실시예에 따라 비디오 데이터의 인코딩 정보인 비디오 구성 메타데이터 정보(UHD_composition_metadata)를 인코딩된 비디오 데이터에 포함시킬 수 있다.
인코딩된 비디오 데이터는, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함할 수 있다. 그리고, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 비디오 구성 메타데이터 정보를 포함할 수 있다. 인코딩된 비디오 데이터의 구조와 비디오 구성 메타데이터 정보(UHD_composition_metadata)는 도 7 (UHD_composition_metadata) 및 도 25에서 상세히 기술한다.
비디오 데이터는 서브 샘플링과 해상도에 따라 여러 개의 레이어 데이터로 scalable 인코딩될 수 있다. 비디오 데이터를 인코딩하는 예는 도 8 및 도 9에서 예시한다. 또한, 인코딩 시에 비디오 데이터의 서브 샘플링과 해상도에 따라 스캔닝 방식의 변화가 필요한 경우, 도 11 내지 도 13의 방식에 따라 비디오 데이터의 스캔닝 방식을 변환시킬 수 있도록 인코더에서 비디오 데이터를 인코당할 수 있다.
인코딩된 비디오 데이터가 방송 신호에 포함되어 전송될 경우, 인코딩된 비디오 데이터를, 다수의 비디오 샘플링 포맷으로 표출할 수 있는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보 생성한다(S120). 비디오 구성 메타데이터 정보는, 인코딩된 비디오 데이터가, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타낼 수 있다. 비디오 데이터와 별개의 시그널링 정보의 예는 도 15 내지 도 24에서 예시한다.
인코딩된 비디오 데이터와 시그널링 정보를 다중하고 다중화된 비디오 데이터와 시그널링 정보를 전송한다(S130). 전송 데이터가 방송 신호가 아닌 경우에는 비디오 데이터와 다중화되는 시그널링 정보의 생성 단계는 생략되고, S110에서 기술한 비디오 데이터 영역 내에 시그널링 정보만 비디오 데이터와 함께 인코딩되어 전송된다.
도 2는 비디오 포맷이 progressive인 경우에 대한 chroma subsampling format의 휘도 (Y) 및 색차 (Cb, Cr) 신호의 sampling 개념도를 예시한다. 비디오 포맷이 프로그레시브인 경우, 휘도 신호와 색차 신호가 4:4:4:인 경우는, 각 픽셀은 휘도신호와 색차신호를 모두 이용한 색으로 표출되고, 각 픽셀에서는 휘도 신호와 색차 신호의 비율이 1:1:1:이 된다.
휘도 신호와 색차 신호가 4:2:2:인 경우는, 4 x 2의 8개 픽셀 단위에서 휘도(Y)신호가 8번 샘플링하는 동안, 색차(Cb, Cr)신호는 각각 4번만 샘플링하는 경우를 나타낸다.
휘도 신호와 색차 신호가 4:2:0:인 경우는, 4 x 2의 8개 픽셀 단위에서 휘도(Y)신호가 8번 샘플링하는 동안, 색차(Cb, Cr)신호는 수평적으로 2번 샘플링하고, 수직적으로는 1번 샘플링 하는 경우를 나타낸다.
도 3은 고해상도 비디오인 UHD 비디오를 인코딩하는 방식을 예시한 도면이다.
UHD 비디오는 scalable video coding 방법을 이용하여 인코딩될 수 있다. 이 경우, 4:2:0 interlaced format의 HD 비디오에 호환 가능한 4:2:2 progressive format의 비디오 포맷을 가질 수 있다.
예를 들어 기존 4:2:0 interlaced 방식의 HD 데이터를 base layer 데이터로 부호화한다. 이 경우, base layer 데이터는 4:2:0 포맷의 interlaced 방식의 HD 데이터가 되는데, 그 경우 Y 신호는 1920 x 1080, Cb/Cr 신호는 960 x 540의 해상도를 가질 수 있다.
HD 신호로 UHD 영상을 업 스케일링(upscaling) 시킨 후, 필요한 4:2:0의 UHD 신호를 구성하기 위한 나머지 luma 및 chroma의 residual 신호는 enhancement layer 1 데이터로 부호화한다. 이 경우, Y 신호는 3840 x 2160, Cb/Cr 신호는 1920 x 1080의 해상도를 가질 수 있다.
Enhancement layer 2 데이터는 4:2:2 format의 UHD를 구성하기 위한 chroma 성분의 residual data를 부호화하여 생성할 수 있다. 이 경우, Cb/Cr 신호는 1920 x 2160의 해상도를 가질 수 있다.
수신기는 이를 base layer 데이터와 enhancement layer 1 데이터를 merge하여 4:2:0의 UHD 방송신호를 디스플레이하거나, base layer 데이터와 enhancement layer 1, 2 데이터를 merge하여 4:2:2의 UHD 방송신호를 디스플레이할 수 있다.
도 4는 4:2:0 샘플링의 비디오 데이터를 4:2:2 샘플링의 비디오 데이터로 변환하는 예를 예시한다. 예를 들어 4:2:0 샘플링의 4K 비디오 데이터에는 3840 x 2160의 휘도(Y)신호와 각각 1920 x 1080의 색차 (Cb, Cr) 신호가 포함될 수 있다.
여기에 1920 x 1080의 색차 (Cb, Cr) 신호를 추가하면, 4:2:2 샘플링의 비디오 데이터를 만들 수 있는데, 이 데이터에는 3840 x 2160의 휘도(Y) 신호와 각각 1920 x 2160의 색차 (Cb, Cr)의 residual 신호가 포함될 수 있다. 따라서, 4:2:2 샘플링의 비디오 데이터와 4:2:0 샘플링의 비디오 데이터를 호환하기 위해 두 비디오 데이터의 해상도에 따라 색차 (Cb, Cr)의 residual 신호를 추가하여 더 높은 샘플링의 비디오 데이터를 생성할 수 있다. 따라서, 4:2:0 샘플링의 비디오 데이터를 색차 (Cb, Cr)신호의 residual 데이터를 추가하여 4:2:2 샘플링의 UHD 비디오를 생성할 수 있다.
도 5는 업 샘플링 과정을 예시한 도면이다. 이 도면은 도 3에서 예시한 바와 같이 enhancement layer 1 데이터와 enhancement layer 2 데이터를 이용하여 4:2:2 샘플링의 비디오 데이터를 생성하는 예를 개시한다.
수신기가 4:2:0 샘플링의 enhancement layer 1 데이터(p1 ~ p4)를 수신한 경우, 이 데이터에 대해 업 스케일링을 수행한다. X로 표시된 부분은 인터폴레이션 되는 픽셀의 위치를 나타낸다.
색차 신호의 enhancement layer 2 데이터는 고해상도 비디오 데이터의 색차 성분의 residual data(r1 ~ r8)이다. 따라서, enhancement layer 2 데이터는 enhancement layer 1 데이터보다 높은 해상도의 픽셀 데이터를 포함한다. 따라서, 업스케일링된 enhancement layer 1 색차 데이터와 enhancement layer 2 색차 데이터를 이용하여 4:2:2 데이터를 생성할 수 있다.
이 도면의 예는 고해상도 데이터가 4K의 UHD 비디오인 경우, 4K의 비디오의 4:2:0 chroma subsampling format을 4:2:2의 chroma subsampling format으로 변환하는 과정이다. 4:2:0의 UHD 비디오를 4:2:2의 UHD 비디오로 변환시키기 위해서는 추가적으로 색차신호(Cb/Cr)의 residual 데이터를 이용한다. 기존의 색차 신호(Cb/Cr)의 chroma sample을 세로방향으로 2배 업 샘플링(upscaling)한 후, enhancement layer 2 데이터인 UHD 비디오의 색차 성분의 residual data를 merge하여 복원하면 4:2:2 샘플링의 비디오를 구성하는 chroma 데이터를 얻을 수 있다. 4:2:2 format을 지원하는 UHD 수신기에서는 베이스 레이어(base layer) 데이터와 enhancement layer 1 데이터, 그리고 enhancement layer 2 데이터를 모두 merge하여 최종적으로 4:2:2의 UHD 방송신호를 복원할 수 있다.
도 6은 업 샘플링 과정을 예시한 도면이다. 이 도면은 4K 영상의 4:2:2의 chroma sample 데이터를 이용하여 4K의 4:4:4 chroma 샘플링의 비디오 데이터를 생성하는 예를 개시한다.
수신기가 4:2:0 샘플링의 베이스 레이어 데이터와 enhancement layer 1 데이터(c1 ~ c8)를 수신한 경우, 이 데이터에 대해 업 스케일링을 수행한다. X로 표시된 부분은 인터폴레이션 되는 픽셀의 위치를 나타낸다.
색차 신호의 enhancement layer 2 데이터는 고해상도 비디오 데이터의 색차 성분의 residual data(r1 ~ r16)이다. 따라서, 업스케일링된 베이스 레이어 데이터 및 enhancement layer 1 색차 데이터와 enhancement layer 2 색차 데이터를 이용하여 4:2:2 샘플링의 고해상도 비디오 데이터(3840x2160)를 생성할 수 있다.도 7은, 4:2:0 HD 비디오와 4:2:2 UHD 비디오를 제공할 수 있는 스트림 구조의 일 예이다.
4:2:2 샘플링의 UHD 비디오 서비스를 제공하는 전송 비디오 스트림(a)은 4:2:0 샘플링의 UHD 비디오 서비스를 제공할 수 있는 스트림(b), Cb residual 데이터 (e), Cr residual 데이터(f), 및 시그널링 데이터인 메타데이터(g)를 포함할 수 있다.
4:2:0 샘플링의 UHD 비디오 서비스를 제공할 수 있는 스트림(b)은, 기존의 HD 비디오를 수신하여 표출할 수 있는 수신기를 위해 종래 HD 비디오 서비스를 제공할 수 있는 4:2:0 샘플링 HD 비디오 스트림(c) 및 4:2:0 샘플링 4K UHD 비디오 데이터를 위한 enhancement layer 데이터(d)를 포함할 수 있다.
HD 비디오 서비스를 제공할 수 있는 4:2:0 샘플링 HD 비디오 스트림(c)과 4:2:0 샘플링 4K UHD 비디오를 구성할 수 있는 residual 데이터를 이용하면 4:2:0의 UHD 비디오 서비스를 제공할 수 있다.
그리고, 4:2:0 샘플링의 UHD 비디오 서비스를 제공할 수 있는 스트림(B)에 Cb/Cr의 residual 데이터를 전송하면 4:2:2의 UHD 비디오 서비스를 제공할 수 있다.
이때 UHD 구성 메타데이터(UHD composition metadata)에는, 어떤 색차 성분의 residual data인지와 함께 각각의 해상도(resolution) 정보가 포함될 수 있다.
이 예는 4K UHD 비디오를 제공하기 위해 두 개의 Chroma(Cb, Cr)의 residual 데이터가 각각 1920 x 2160 픽셀 데이터 크기의 residual 데이터인 경우를 예시한다.
도 8은 본 발명의 실시예에 따른 신호 송신 장치의 일 실시예를 예시한다. 이 예에서 4:4:4 샘플링의 UHD 비디오 데이터는, 4:2:0 샘플링의 HD 베이스 레이어 데이터, 4:2:0 샘플링의 UHD 비디오 데이터가 포함된 enhancement layer 1 데이터, 및 4:2:2 샘플링의 UHD 비디오의 색차 성분의 residual data가 포함된 enhancement layer 2 데이터로 전송될 수 있다.
신호 송신 장치의 일 실시예는, 베이스 레이어 데이터를 인코딩하는 제 1 인코딩부(220), enhancement layer 1 데이터를 인코딩하는 제 2 인코딩부(230), 및 enhancement layer 1 데이터를 인코딩하는 제 3 인코딩부(240)를 포함할 수 있다.
4K의 UHD 원본 비디오가 4:4:4 샘플링의 비디오(A)라고 가정한다. 이 원본 비디오의 해상도는 4K이므로 Y 신호, Cb 신호, Cr 신호에 대해 각각 3840 x 2160이 될 수 있다.
제 1 서브 샘플링부(210)는 수평방향으로 chroma 신호를 서브 샘플링할 수 있다. 그러면, 4:2:2 샘플링의 UHD 비디오(B)를 출력한다. 반면에 원본 비디오가 4:2:2 UHD 비디오일 수도 있다. 그런 경우, 제 1 서브 샘플링부(210)는 신호 송신 장치의 일 실시예에 포함되지 않는다.
제 1 인코딩부(220)의 제 1 다운 샘플링부(221)는 서브 샘플링을 수행한 비디오(B)를 4:2:2 샘플링의 HD 급 해상도를 가진 비디오로 다운 샘플링을 할 수 있다
신호변환부(223)는 프로그레시브 방식(progressive)의 비디오를 인터래이스드(interlaced) 방식의 비디오로 변환할 수 있다. 변환하는 방법에 대한 실시예들은 이하에서 도면을 참조하여 상술한다.
제 2 서브 샘플링부(225)는 4:2:2 샘플링의 비디오를 수직 방향으로 chroma 신호에 대해 서브 샘플링할 수 있다. 그러면 4:2:0 샘플링의 HD 비디오(C)가 출력될 수 있고 이 HD 비디오의 해상도는 휘도(Y) 신호에 대해서는 1920 x 1080. 색차 신호(Cb, Cr)에 대해서는 960 x 540이 될 수 있다. 제 1 비디오인코더(227)는 이 4:2:0 샘플링의 HD 비디오(C)를 인코딩하여 베이스 레이어 데이터로 출력할 수 있다. 한편, 이 도면에서 신호변환부(223)와 제 2 서브샘플링부(225)의 위치는 서로 바뀔 수 있다.
제 2 인코딩부(230)는 제 3 서브샘플링부(231), 업 스케일링부(233), 제 1 연산부(235) 및 제 2 비디오인코더(237)을 포함할 수 있고, 비디오 데이터를 enhancement layer 1 데이터로 인코딩할 수 있다.
제 3 서브샘플링부(231)는 4:2:2 샘플링의 UHD 비디오(B)를 수직방향으로 chroma 신호에 대해 서브샘플링을 수행한다. 그러면, 4:2:0 샘플링의 UHD 비디오(D)가 출력될 수 있다. 예를 들어 해상도가 4K 비디오인 경우 4:2:0 샘플링의 UHD 비디오(D)의 해상도는 휘도(Y) 신호에 대해서는 3840 x 2160. 색차 신호(Cb, Cr)에 대해서는 1920 x 1080이 될 수 있다.
업 스케일링부(233)는 제 1 인코딩부(220)가 출력하는 4:2:0 샘플링의 HD 비디오(C)를 업 스케일링하여 출력하여 UHD 비디오 사이즈로 출력하고, 제 1 연산부(235)는 4:2:0 샘플링의 UHD 비디오(D)로부터 업 스케일링된 UHD 비디오를 차감하여 UHD 비디오의 residual 데이터를 출력한다. 그리고, 제 2 비디오인코더(237)는, UHD 비디오의 residual 데이터를 인코딩하여 enhancement layer 1 데이터로 출력할 수 있다.
제 3 인코딩부(240)는 업스케일링부(243), 제 2 연산부(245) 및 제 3 비디오인코더(247)을 포함할 수 있다.
업스케일링부(243)는 4:2:0 샘플링의 UHD 비디오(D)의 색차(chroma) 신호를 업 스케일링할 수 있다.제 2 연산부(245)는 4:2:2 샘플링의 UHD 비디오(B)로부터, 업스케일링부(243)가 색차 신호를 업스케일링한 데이터를 차감한 residual 비디오 데이터 출력한다. 제 3 비디오인코더(247)는 residual 비디오 데이터를 인코딩하여 enhancement layer 2 데이터로 출력할 수 있다. 다르게 설명하면, 제 3 인코딩부(240)는 4:2:2 샘플링의 UHD 비디오(B)로부터, 4:2:0 샘플링의 UHD 비디오(D)의 chroma 업 샘플링 데이터를 차감한 비디오 데이터를 인코딩한다.이 장치 또는 이 장치의 수행하는 방식에 따르면 chroma 서브 샘플링을 이용하여 HD와 호환이 가능한 UHD 비디오를 전송할 수 있다. 그리고, 이 예에 따르면 4:2:2 UHD 비디오를 4:2:2 HD 비디오로 다운 샘플링(down sampling), progressive 방식을 interlaced 방식으로 변환 및 chroma 성분을 subsampling한다.. 신호변환부(223)과 제 2 서브샘플링 부(225)의 순서는 3가지로 나눌 수 있다. 3가지의 경우는 도면 10, 11, 12에서 설명한다.
예를 들어 도 11에서는 4:2:2 UHD progressive 방식의 비디오 데이터를 4:2:2 progressive 방식의 HD 데이터로, 이를 다시 4:2:0 progressive 방식의 HD 데이터로 변환한 후에 4:2:0 HD interlaced 방식의 비디오로 변환하는 과정을 예시한다. 이 예에서는 색차(chroma) 서브 샘플링을 이용해 interlaced 방식으로 변환하는 예를 개시한다.
도 12에서는 4:2:2 UHD progressive 방식의 비디오 데이터를, 4:2:2 progressive 방식의 HD 데이터로 변환한 후에 4:2:0 HD interlaced 방식의 비디오로 변환하는 과정을 예시한다. 이 예에서는 색차(chroma) 서브 샘플링과 interlaced 방식으로 변환을 동시에 수행한다.
도 13에서는 4:2:2 UHD progressive 방식의 비디오 데이터를, 4:2:2 progressive 방식의 HD 데이터로, 이를 다시 4:2:2 progressive 방식의 HD 데이터로 변환한 후에 4:2:0 HD interlaced 방식의 비디오로 변환하는 과정을 예시한다. 이 예에서는 interlaced 방식으로 변환한 후 색차(chroma) 서브 샘플링을 이용해 비디오를 변환한다.
도 9은 본 발명의 실시예에 따른 신호 송신 장치의 다른 일 실시예를 예시한다. 이 예에서 4:4:4 샘플링의 UHD 비디오 데이터는, 4:2:0 샘플링의 HD 베이스 레이어 데이터, 4:2:0 샘플링의 UHD 비디오 데이터가 포함된 enhancement layer 1 데이터, 및 4:2:2 샘플링의 UHD 비디오의 색차 성분의 residual data가 포함된 enhancement layer 2 데이터로 전송될 수 있다.
신호 송신 장치의 일 실시예는, 베이스 레이어 데이터를 인코딩하는 제 1 인코딩부(320), enhancement layer 1 데이터를 인코딩하는 제 2 인코딩부(330), 및 enhancement layer 1 데이터를 인코딩하는 제 3 인코딩부(340)를 포함할 수 있다.
4K의 UHD 원본 비디오가 4:4:4 샘플링의 비디오(A)라고 가정한다. 이 원본 비디오의 해상도는 4K이므로 Y 신호, Cb 신호, Cr 신호에 대해 각각 3840 x 2160이 될 수 있다.
제 1 서브 샘플링부(310)는 수평방향으로 chroma 신호를 서브 샘플링할 수 있다. 그러면, 4:2:2 샘플링의 UHD 비디오(B)를 출력한다. 반면에 원본 비디오가 4:2:2 UHD 비디오(B)일 수도 있다. 그런 경우, 제 1 서브 샘플링부(310)는 신호 송신 장치의 일 실시예에 포함되지 않는다.
먼저, 제 2 인코딩부(330)는 서브샘플링부(331), 업 스케일링부(333), 제 1 연산부(335) 및 제 2 비디오인코더(337)을 포함할 수 있다.
제 1 인코딩부(320)의 신호변환부(321)는, 제 2 인코딩부(330)의 서브샘플링부(331)가 4:2:2 샘플링의 UHD 비디오(B)를 수직방향으로 chroma 신호에 대해 서브샘플링을 한 4:2:0 샘플링의 UHD 비디오(D)를 수신한다. 예를 들어 해상도가 4K 비디오인 경우 4:2:0 샘플링의 UHD 비디오(D)의 해상도는 휘도(Y) 신호에 대해서는 3840 x 2160. 색차 신호(Cb, Cr)에 대해서는 1920 x 1080이 될 수 있다.
신호변환부(321)는 4:2:0 샘플링의 비디오를 UHD progressive 방식에서 HD interlaced 방식의 비디오로 변환하여 4:2:0 샘플링의 HD 비디오(C)를 출력할 수 있다. 원본 비디오가 4K 해상도인 경우, 이 HD 비디오(C)의 해상도는, 휘도(Y) 신호에 대해서는 1920 x 1080, 색차 신호(Cb, Cr)에 대해서는 960 x 540가 될 수 있다. 제 1 비디오인코더(327)는 이 4:2:0 샘플링의 HD 비디오(C)를 인코딩하여 베이스 레이어 데이터로 출력할 수 있다.
위에서 기술한 바와 같이 제 2 인코딩부(330)는 서브샘플링부(331), 업 스케일링부(333), 제 1 연산부(335) 및 제 2 비디오인코더(337)을 포함할 수 있고, 비디오 데이터를 enhancement layer 1 데이터로 인코딩할 수 있다.
설명한 바와 같이 서브샘플링부(331)는 4:2:2 샘플링의 UHD 비디오(B)를 수직방향으로 chroma 신호에 대해 서브샘플링을 수행하여 4:2:0 샘플링의 UHD 비디오(D)를 출력할 수 있다.
업 스케일링부(-333)는 제 1 인코딩부(320)가 출력하는 4:2:0 샘플링의 HD 비디오(C)를 업 스케일링하여 UHD 비디오 사이즈로 출력하고, 제 1 연산부(335)는 4:2:0 샘플링의 UHD 비디오(D)로부터 업 스케일링된 UHD 비디오를 차감하여 UHD 비디오의 residual 데이터를 출력한다.
그리고, 제 2 비디오인코더(337)는, 이 UHD 비디오의 residual 데이터를 인코딩하여 enhancement layer 1 데이터로 출력할 수 있다.
제 3 인코딩부(340)는 업스케일링부(323), 제 2 연산부(345) 및 제 3 비디오인코더(347)을 포함할 수 있다.
업스케일링부(343)는 4:2:0 샘플링의 UHD 비디오(D)의 색차(chroma) 신호를 업 스케일링할 수 있다.
제 2 연산부(345)는 4:2:2 샘플링의 UHD 비디오(B)로부터, 업스케일링부(343)가 업스케일링한 데이터를 차감한 residual 비디오 데이터 출력한다.
제 3 비디오인코더(347)는 residual 비디오 데이터를 인코딩하여 enhancement layer 2 데이터로 출력할 수 있다.
다르게 설명하면, 제 3 인코딩부(340)는 4:2:2 샘플링의 UHD 비디오(B)로부터, 4:2:0 샘플링의 HD 비디오(C)의 업 샘플링 데이터와 enhancement layer 1 데이터인 residual 데이터를 각각 차감한 비디오 데이터를 인코딩한다.
이 장치 또는 이 장치의 수행하는 방식에 따르면 chroma 서브 샘플링을 이용하여 HD와 호환이 가능한 UHD 비디오를 전송할 수 있다. 이 예에 따르면 4:2:2 UHD 비디오의 chroma 성분을 서브샘플링한 비디오 데이터를 4:2:0 interlaced 방식의 비디오 데이터로 변환할 수 있다.
이하에서 위에서 기술한 바와 같이 프로그레시브(progressive) 방식의 비디오 데이터를 인터래이스드(interlaced) 방식의 비디오 데이터로 변환하는 예를 상세히 기술한다.
도 10는 비디오 샘플링에 따른 스캔닝 방식의 예를 예시한 도면이다.
이 도면에서 4:2:2: progressive 방식의 비디오(a), 4:2:0: interlaced 방식 중 top field에 샘플 데이터가 위치한 비디오(b), 4:2:0: interlaced 방식 중 bottom field에 샘플 데이터가 위치한 비디오(c)를 각각 예시한다.
4:2:0 interlaced 포맷의 경우 chroma subsampling 위치는 필드마다 다를 수 있는데, top 필드에 샘플링 데이터가 위치한 비디오와 bottom 필드에 샘플링 데이터가 위치한 비디오를 인터리빙(interleaving)시키면 4:2:0 progressive와 동일한 포맷의 비디오가 보일 수 있다.
따라서, 기존의 4:2:0 HD 비디오와 호환성을 고려한다면 interlaced format과의 호환되는 방법을 고해상도 비디오에도 적용할 수 있는데, 개시하는 계층 구조를 이용해 비디오 시스템을 구현하면 HD 비디오와 스캔닝 방식이 호환되는 UHD 비디오 데이터를 얻을 수 있다.
예를 들어 제 1 계층은 4:2:0 HD 비디오, 제 2 계층은, 4:2:0 UHD 비디오, 제 3 계층은 4:2:2 UHD 비디오가 전송되도록 할 수 있다. 이와 같이 3개의 layer를 가진 서비스를 제공함으로써 4:2:0 UHD 및 4:2:0 HD 시스템에 대한 호환성을 동시에 제공할 수 있다.
도 11은 고해상도 비디오를 스캔닝 방식이 호환 가능한 낮은 해상도의 비디오 데이터로 변형하는 제 1 예를 개시한다.
먼저 4:2:2 샘플링 progressive 방식의 UHD 비디오는 휘도 신호와 색차 신호가 모두 위치한 픽셀과 휘도 신호만 있는 픽셀들을 포함한다. 여기서는 그 비디오에 포함되는 8 x 4 픽셀을 예로 설명한다.
제 1 단계는 4:2:2 샘플링 progressive 방식의 UHD 비디오를, 다운 샘플링을 통해 4:2:2 샘플링 프로그레시브 방식의 HD 비디오로 변환한다. 여기서, UHD 비디오에 포함되는 8 x 4 픽셀은 4 x 2 픽셀로 다운 샘플링된다.
제 2 단계는, 4:2:2 샘플링 프로그레시브 방식의 HD 비디오의 chroma 성분에 대해 다운 샘플링을 수행하여 4:2:0 샘플링 프로그레시브 방식의 HD 비디오로 변환한다. 이 도면에서 각 픽셀의 휘도와 색차 성분을 나타내는 라벨들이 나타내는 픽셀값들은, 다운 샘플링 과정 상에서 해당 픽셀의 위치에서 동일하게 유지되는 것이 아니고, 주변 픽셀들과의 필터링의 결과 픽셀값들을 나타낸다.
제 3 단계는 프로그레시브 방식을 인터래이스드 방식으로 변환한다. 즉 4:2:0 샘플링 프로그레시브 HD 비디오를, 4:2:0 샘플링 인터래이스드 HD 비디오로 변환한다. 그러면 top field 또는 bottom field에 휘도 신호들만 남기고 나머지는 해당 픽셀들을 표현하지 않는다.
제 1 예를 따르면 4:2:2 프로그레시브 방식의 UHD 비디오를, 4:2:2 프로그레시브 방식의 HD 비디오로 변환하고, 이를 다시 4:2:0 프로그레시브 방식의 HD 비디오로 변환한다. 그리고, 4:2:0 프로그레시브 방식의 HD 비디오를, 4:2:0 인터래이스드 방식의 HD 비디오로 변환할 수 있다.
도 12은 고해상도 비디오를 스캔닝 방식이 호환 가능한 낮은 해상도의 비디오 데이터로 변형하는 제 2 예를 개시한다.
마찬가지로, 4:2:2 샘플링 progressive 방식의 UHD 비디오는 휘도 신호와 색차 신호가 모두 위치한 픽셀과 휘도 신호만 있는 픽셀들을 포함한다. 여기서는 그 비디오에 포함되는 8 x 4 픽셀들을 예로 설명한다.
제 1 단계는 4:2:2 샘플링 progressive 방식의 UHD 비디오를, 다운 샘플링을 통해 4:2:2 샘플링 프로그레시브 방식의 HD 비디오로 변환한다. 여기서, 예시하는 UHD 비디오에 포함되는 8 x 4 픽셀은 4 x 2 픽셀로 다운 샘플링된다.
제 2 단계는, 4:2:2 샘플링 프로그레시브 방식의 HD 비디오의 chroma 성분에 대해 다운 샘플링을 수행하고, 동시에 프로그레시브 방식을 인터래이스드 방식으로 변환할 수 있다. 이 실시 예에서는, 4:2:2 샘플링 progressive HD 비디오의 chroma 성분을 down-sampling함으로써, 직접 4:2:0 interlaced 방식의 HD 비디오를 추출할 수 있다. 그러면, 4:2:0 인터래이스드 HD 비디오를 얻을 수 있다.
제 2 예를 따르면 4:2:2 프로그레시브 방식의 UHD 비디오를, 4:2:2 프로그레시브 방식의 HD 비디오로 변환한다. 그리고, 4:2:2 프로그레시브 방식의 HD 비디오를, 4:2:0 인터래이스드 방식의 HD 비디오로 변환할 수 있다.
도 13는, 고해상도 비디오를 스캔닝 방식이 호환 가능한 낮은 해상도의 비디오 데이터로 변형하는 제 3 예를 개시한다.
마찬가지로, 4:2:2 샘플링 progressive 방식의 UHD 비디오는 휘도 신호와 색차 신호가 모두 위치한 픽셀과 휘도 신호만 있는 픽셀들을 포함한다. 여기서는 그 비디오에 포함되는 8 x 4 픽셀들을 예로 설명한다.
제 1 단계는 4:2:2 샘플링 progressive 방식의 UHD 비디오를, 다운 샘플링을 통해 4:2:2 샘플링 프로그레시브 방식의 HD 비디오로 변환한다. 여기서, 예시하는 UHD 비디오에 포함되는 8 x 4 픽셀은 4 x 2 픽셀로 다운 샘플링된다.
제 2 단계는, 4:2:2 샘플링 프로그레시브 방식의 HD 비디오의 chroma 성분을 다운 샘플링한다. 그러면 4:2:2 샘플링 인터래이스드 방식의 HD 비디오를 얻을 수 있다.
제 3 단계는, 4:2:2 샘플링 인터래이스드 방식의 HD 비디오의 chroma 성분을 다운 샘플링하여 4:2:0 샘플링 인터래이스드 방식의 HD 비디오를 얻을 수 있다.
제 3 예를 따르면 4:2:2 프로그레시브 방식의 UHD 비디오를, 4:2:2 프로그레시브 방식의 HD 비디오로 변환한다. 그리고, 4:2:2 프로그레시브 방식의 HD 비디오를, 4:2:2 인터래이스드 방식의 HD 비디오로 변환하고, 이를 다시 4:2:0 인터래이스드 방식의 HD 비디오로 변환한다.
제 3예에 따르면, 4:2:2 샘플링 인터래이스드 HD 비디오를 추출하고 이를 통해 다시 4:2:2 샘플링 인터래이스드 HD 비디오를 추출한다. 마찬가지로 픽셀의 라벨(label)은 각 과정에서 다른 format의 비디오의 대응 위치를 의미하는 것이므로 각 픽셀의 화소값이 동일할 필요는 없다. 예를 들어 4:2:0 샘플링 비디오의 chroma 성분을 down-sampling할 경우 필드 단위가 아닌 프로그레시브(progressive) 방식으로 합쳐졌을 때의 좌표를 고려해 chroma 성분값을 할당할 수 있다. 예를 들어 특정 위치의 휘도 신호(예를 들어 Y16)에 대한 색차신호(Cb/Cr)를 이용해 다른 위치의 색차신호(예를 들어 Cb/Cr 24)를 할당하는 방식으로 비디오 데이터를 변환할 수 있다.
도 14은, 본 발명에 따른 신호 수신 장치의 디코더의 일 실시예를 설명하면 다음과 같다. 여기서는 설명의 편의상 고해상도 비디오 데이터를 4K의 UHD 비디오 데이터로 예시한다. 이 도면에서 비디오와 관련된 데이터는 B, C 및 D로 각각 나타낸다.
비디오 데이터를 복호화하는 디코더의 일 예는, 베이스 레이어 복호부(410), 제 1 Enhancement layer 데이터 복호부 (420), 및 제 2 Enhancement layer 데이터 복호부 (430) 중 적어도 하나의 복호부를 포함할 수 있다. 예를 들어 디코더는, 베이스 레이어 복호부(410)를 포함하거나, 베이스 레이어 복호부(410) 및 제 1 Enhancement layer 데이터 복호부 (420)를 포함하거나 또는 제 1 Enhancement layer 데이터 복호부 (420), 및 제 2 Enhancement layer 데이터 복호부 (430)를 모두 포함할 수 있다.
신호 수신 장치의 기능에 따라 3가지 기능의 복호부를 모두 포함할 수도 있고, 기존 HD 비디오를 출력하는 신호 수신 장치의 디코더는 베이스 레이어 복호부(410)만을 포함할 수도 있다.
이 예에서 역다중화(401)는 각 복호부들이 공유할 수도 있고, 각각의 복호부가 별개의 역다중화부(401)를 포함할 수도 있다.
베이스 레이어 복호부(410)의 제 1 디코더(413)는, 역다중화부(401)가 역다중화한 베이스 레이어 비디오 데이터를 복호할 수 있다. 위의 예에 따를 경우 제 1 디코더(413)는 4:2:0 샘플링의 HD 비디오(C)를 출력할 수 있다. 따라서, 전송되는 비디오 데이터가 4K 고해상도 비디오 데이터인 경우, 제 1 디코더는 휘도 신호는 1920 x 1080, 색차 신호는 960 x 540의 해상도의 비디오 데이터를 출력할 수 있다.
HD 수신 장치는 수신되는 비디오 스트림 중 Enhancement layer 1 과 2 데이터를 인식하지 못하며 Base layer의 HD 비디오만을 인식하여 UHD 방송 채널을 접속하더라도 HD 방송 신호만을 출력할 수 있다.
제 1 Enhancement layer 데이터 복호부 (420)의 업스케일링부(421)는 제 1 디코더(413)가 복호한 HD 비디오를 UHD 비디오로 업스케일링할 수 있다. 그리고, 제 2 디코더(423)는, 역다중화부(401)가 역다중화한 Enhancement layer 1 데이터와 업스케일링부(421)가 업스케일링한 UHD 비디오를 이용하여 scalable 비디오 디코딩을 수행할 수 있다. 이 경우 Enhancement layer 1 데이터(4:2:0 샘플링 UHD 비디오의 residual data)와 업스케일링부(421)가 업스케일링한 UHD 비디오를 머징(merge)할 수 있다.
제 2 디코더(423)가 복호하는 비디오 데이터는 4:2:0 샘플링 UHD 비디오 데이터(D)가 될 수 있고, 4K 비디오의 예에 따르면 제 2 디코더(423)는 휘도 신호는 3840 x 2160, 색차 신호는 1920 x 1080의 해상도의 비디오 데이터를 출력할 수 있다.
예를 들어 4:2:0 샘플링의 타입을 지원하는 신호 수신 장치는, Base layer 데이터와 Enhancement layer 1 데이터를 이용해 전송되는 비디오 데이터를 UHD 비디오로 출력할 수 있다.
제 2 Enhancement layer 데이터 복호부 (430)의 업스케일링부(431)는, 제 2 디코더(423)가 복호한 UHD 비디오의 chroma 성분을 업스케일링하여 출력할 수 있다. 그리고, 제 3 디코더(433)는, 역다중화부(401)가 역다중화한 Enhancement layer 2 데이터와 업스케일링부(431)가 업스케일링한 UHD 비디오를 이용하여 scalable 비디오 디코딩을 수행할 수 있다. 이 경우 Enhancement layer 2 데이터(4:2:2 샘플링 UHD 비디오의 chroma 성분의 residual data)와 업스케일링부(431)가 chroma 성분을 업스케일링한 UHD 비디오를 머징(merge)할 수 있다. UHD 비디오의 chroma 성분을 업스케일링했기 때문에 제 3 디코더(433)가 복호하는 비디오 데이터는 4:2:2 샘플링 UHD 비디오 데이터(B)가 될 수 있다. 따라서, 4K 비디오의 예에 따르면 제 3 디코더(433)는 휘도신호와 색차신호 모두 3840 x 2160의 해상도의 비디오 데이터를 출력할 수 있다.
따라서, 신호 수신 장치가 위 복호부들 중 적어도 하나의 복호부를 포함할 경우, HD 비디오와 UHD 비디오 중 적어도 하나의 비디오를 복호하여 출력할 수 있다. 기존의 HD 비디오 수신 장치는 시그널링 정보들을 이용하여 수신되는 비디오 스트림 중 베이스 레이어 데이터만을 복호할 수 있고, UHD 비디오 수신 장치는 베이스 레이어 데이터와 Enhancement layer 1 데이터를 이용하여 UHD 비디오를 출력하거나, 베이스 레이어 데이터, Enhancement layer 1 데이터 및 Enhancement layer 2 데이터를 이용하여 UHD 비디오를 출력할 수 있다.
이하에서는 위에서 개시한 본 발명의 실시예에 따라 비디오가 송수신될 경우 이를 시그널링할 수 있는 방송신호의 시그널링 정보를 예시한다.
도 15는 본 발명의 실시예에 따라 비디오를 표출하도록 할 수 있는 시그널링 정보를 예시한 도면이다. 이 도면은 시스템 레벨에서 시그널링 정보로서 PMT를 예시하는데, PMT의 program_info_length의 바로 뒤의 프로그램 레벨의 디스크립터와, ES_info_length 필드의 바로 뒤에 스트림 레벨의 디스크립터를 포함할 수 있다.
이 도면은 프로그램 레벨의 디스크립터의 예로서 UHD_program_type_descriptor를 예시한다.
descriptor_tag는 이 디스크립터의 식별자를 나타내고 descriptor_length는 디스크립터의 길이를 나타낸다.
그리고 UHD_program_format_type은 위에서 설명한 바와 같이 각각의 스캔 타입에 따른 비디오를 포함한 서비스의 타입을 나타낼 수 있다.
예를 들어, UHD_program_format_type가 0x05인 경우, 이 서비스는 스캔 타입에 따라 4:2:0 샘플링의 HD 비디오, 4:2:0 샘플링의 UHD 비디오 및 4:2:2 샘플링의 UHD 비디오를 포함하고 있어서 이들 중 어떤 비디오 포맷을 디코딩할 수 있는 수신기는 해당 서비스를 수신하여 처리할 수 있음을 시그널링할 수 있다.
그리고, 스트림 레벨의 디스크립터의 예로서, UHD composition descriptor가 PMT에 포함될 수 있다. 이 디스크립터는 베이스 레이어 비디오 엘레먼트에 대한 정보, enhancement layer 1 비디오 엘레멘트에 대한 정보, 또는 enhancement layer 2 비디오 엘레멘트에 대한 정보를 포함할 수 있다.
도 16은 본 발명의 실시예에 따른 시그널링 정보의 구체적인 신택스 값을 예시한 도면이다.
방송 신호의 시그널링 정보로서 시그널링 정보가 PMT인 경우는 예시된 필드 값은 다음의 정보를 나타낼 수 있다.
제 1 실시예는 베이스 레이어 데이터, 제 1 enhancement layer 데이터, 제 2 enhancement layer 데이터를 전송하는 스트림을 각각 전송하는데, 이 실시예는 이 데이터들을 모두 시그널링할 수 있다.
예를 들어, Stream_type은 MPEG-2 비디오 코덱에 따른 비디오 스트림을 나타내는 0x02 등의 값이 될 수 있다.
Elementary_PID는 각 프로그램에 포함되는 엘레먼터리 스트림의 PID값을 나타내는데 이 예는 0x109A라는 값을 나타냄을 예시한다. 스트림 레벨의 디스크립터는 MPEG-2 비디오에 관련된 시그널링 정보가 포함될 수 있다.
enhancement layer 1 비디오 데이터를 전송하는 스트림에 대해서는 PMT에 다음과 같은 정보가 포함될 수 있다.
Stream_type은 HEVC scalable layer 비디오 코덱에 따른 스트림의 타입을 나타내는 타입 값(여기서는 0xA1로 예시)이 될 수 있다.
Elementary_PID는 각 프로그램에 포함되는 엘레먼터리 스트림의 PID값을 나타내는데 이 예는 0x109B라는 값을 나타냄을 예시한다.
스트림 레벨의 디스크립터인 UHDTV_sub_stream_descriptor()는 enhancement layer 1 비디오 데이터 및 베이스 레이어 데이터를 이용해 4:2:0 UHD 비디오를 구성하는데 필요한 정보를 포함할 수 있다.
enhancement layer 2 비디오 데이터를 전송하는 스트림에 대해서는 PMT에 다음과 같은 정보가 포함될 수 있다.
Stream_type은 HEVC scalable layer 비디오 코덱에 따른 스트림의 타입을 나타내는 타입 값(여기서는 0xA2로 예시)이 될 수 있다.
Elementary_PID는 각 프로그램에 포함되는 엘레먼터리 스트림의 PID값을 나타내는데 이 예는 0x109C라는 값을 나타냄을 예시한다.
스트림 레벨의 디스크립터인 UHDTV_composition_descriptor()는 enhancement layer 2 데이터에 관련된 정보 및 4:2:2 UHD 비디오 복원에 필요한 정보를 포함할 수 있다.
도 17은, 본 발명의 실시예에 따른 스트림 레벨 디스크립터의 일 예를 예시한다.
스트림 레벨 디스크립터는 이 디스크립터를 식별할 수 있는 descriptor_tag값과, 이 디스크립터의 길이를 나타내는 descriptor_length와 UHD_composition_metadata()가 포함될 수 있다.
이 예에서 UHD_composition_metadata()에 포함되는 정보들을 예시하면 다음과 같다.
EL2_video_codec_type필드는 UHD 서비스에 포함되는 video element의 코덱정보를 나타낸다. 예를 들어 이 값은 PMT의 stream_type과 동일한 값을 갖을 수 있다.
EL2_video_profile필드는 해당 video stream에 대한 profile 정보, 즉 해당 stream을 디코딩하기 위해 필요한 기본 사양에 대한 정보를 나타낼 수 있다. 해당 비디오 스트림의 컬러 뎁스 (color depth) (4:2:0, 4:2:2 등), bit depth (8-bit, 10-bit), coding tool 등에 대한 요구사항(requirement) 정보가 포함될 수 있다.
EL2_video_level필드는 해당 video stream에 대한 레벨정보로서, 프로파일(profile)에서 정의한 기술 요소 지원 범위에 대한 정보가 포함될 수 있다.
EL2_video_component_type 필드는 해당 video stream가 UHD 서비스 구성하는 경우, 어떤 데이터를 포함하는지를 나타낸다. 예를 들어 스트림이 4:2:0 샘플링의 HD 비디오에 해당하는 베이스 레이어 데이터를 전송하는지, 4:2:0 샘플링의 UHD 비디오에 포함되는 residual data인 enhancement layer 1 데이터를 전송하는지, 또는 4:2:2 샘플링의 UHD 비디오에 포함되는 enhancement layer 2 데이터를 전송하는지를 나타낸다.
original_UHD_video_type필드는 UHD 비디오 포맷에 대한 정보를 시그널링하는 것으로써, 비디오의 resolution 및 frame rate등과 같은 기본적인 정보를 나타낼 수 있다. 이에 대해서는 뒤에서 상세히 설명한다.
original_UHD_video_chroma_subsampling_type 본래 UHD 비디오의 chroma subsampling format에 관한 정보를 나타낸다. 이 필드에 대해서 후술한다.
EL2_video_resolution 필드는 추가되는 residual 데이터에 대한 resolution 정보를 나타내는데 이 정보에 대해서 후술한다.
EL2_video_type 필드는 enhancement layer에서 전송하는 신호의 성분에 대한 정보를 나타내며, 이 정보에 대해서 후술한다.
chroma_upscale_filter 필드는 제 1 스캔 타입에서 제 2 스캔 타입으로 chroma 성분을 업 스케일링할 경우 필터에 관련된 정보를 나타낸다. 예를 들어 4:2:0 스캔 타입에서 4:2:2 스캔 타입으로 chroma upscaling 방식을 지정하는 filter 관련 정보를 제공한다. 필터 관련 정보는 filter tap 정보 또는 filter coefficient 정보 등을 포함할 수 있다.
도 18은 위에서 예시한 비디오의 해상도 및 프레임 레잇을 나타내는 정보의 값을 예시한 도면이다. 시그널링 정보 중 original_UHD_video_type필드는 비디오의 해상도 및 프레임 레잇을 나타낼 수 있는데, 이 도면에서는 그 값에 따라 여러 가지 해상도와 프레임 레잇을 가질 수 있음을 예시한다. 예를 들어 original_UHD_video_type필드가 0101값일 경우, 원본 비디오는 초당 60 프레임, 4096x2160 해상도를 가질 수 있다.
도 19은 본래 UHD 비디오의 chroma subsampling format에 관한 정보를 예시한 도면이다. 설명한 시그널링 정보 중 original_UHD_video_chroma_subsampling_type 필드는 본래 UHD 비디오의 chroma subsampling format에 관한 정보를 나타낸다. 이 도면은, 예를 들어 이 값이 10인 경우, 휘도신호와 색차신호의 서브 샘플링 포맷이 4: 4 :4 (Y: Cb: Cr)임을 예시한다.
도 20는, 비디오 데이터의 residual 데이터에 대한 resolution 정보를 예시한다. 설명한 시그널링 정보 중 EL2_video_resolution 필드는 추가되는 residual 데이터에 대한 resolution 정보를 나타낸다. 예를 들어 EL2_video_resolution 필드가 010인 경우, 비디오를 구성하는 enhancement layer 2 데이터인 고해상도 색차 성분의 residual data의 해상도가 1920 x 2160임을 나타낸다.
도 21은, enhancement layer에서 전송하는 신호의 성분에 대한 정보를 예시한다. 설명한 시그널링 정보 중 EL2_video_type 필드는 enhancement layer에서 전송하는 신호의 성분에 대한 정보를 나타낸다. 예를 들어 EL2_video_type 필드가 01인 경우, 비디오를 구성하는 enhancement layer 2 데이터의 신호 성분이 Cb 신호임을 예시한다.
도 22은 위에서 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한다. 이 도면은 예시한 디스크립터들이 SDT에 포함되는 경우를 예시한다.
table_id 필드는 테이블의 식별자를 나타낸다.
section_syntax_indicator 필드는, SDT테이블 섹션에 대해 1로 셋팅되는 1비트 필드이다 (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1")
section_length 필드는, 섹션의 길이를 바이트 수로 나타낸다 (section_length: This is a 12-bit field, the first two bits of which shall be "00". It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 1 021 so that the entire section has a maximum length of 1 024 bytes.)
transport_stream_id 필드는 전송 시스템 내 다른 멀티플렉스와 구별하여, 이 SDT가 제공하는 TS 식별자를 나타낸다(transport_stream_id: This is a 16-bit field which serves as a label for identification of the TS, about which the SDT informs, from any other multiplex within the delivery system.)
version_number 필드는 이 서브 테이블의 버전 번호를 나타낸다(version_number: This 5-bit field is the version number of the sub_table. The version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs. When it reaches value "31", it wraps around to "0". When the current_next_indicator is set to "1", then the version_number shall be that of the currently applicable sub_table. When the current_next_indicator is set to "0", then the version_number shall be that of the next applicable sub_table.)
current_next_indicator 필드는 이 서브 테이블이 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다 (current_next_indicator: This 1-bit indicator, when set to "1" indicates that the sub_table is the currently applicable sub_table. When the bit is set to "0", it indicates that the sub_table sent is not yet applicable and shall be the next sub_table to be valid.)
section_number 필드는 섹션의 번호를 나타낸다(section_number: This 8-bit field gives the number of the section. The section_number of the first section in the sub_table shall be "0x00". The section_number shall be incremented by 1 with each additional section with the same table_id, transport_stream_id, and original_network_id.)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number: This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.)
original_network_id 필드는 전송 시스템이 네트워크 아이디를 식별자를 나타낸다(original_network_id: This 16-bit field gives the label identifying the network_id of the originating delivery system.)
service_id 필드는 TS내 서비스 식별자를 나타낸다(service_id: This is a 16-bit field which serves as a label to identify this service from any other service within the TS. The service_id is the same as the program_number in the corresponding program_map_section.)
EIT_schedule_flag 필드는, 서비스에 대한 EIT schedule 정보가 현재 TS에 있는지를 나타낼 수 있다(EIT_schedule_flag: This is a 1-bit field which when set to "1" indicates that EIT schedule information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT schedule sub_table). If the flag is set to 0 then the EIT schedule information for the service should not be present in the TS.)
EIT_present_following_flag 필드는, 현재 TS에 서비스에 대한 EIT_present_following information 정보가 있는지 나타낼 수 있다(EIT_present_following_flag: This is a 1-bit field which when set to "1" indicates that EIT_present_following information for the service is present in the current TS, see TR 101 211 [i.2] for information on maximum time interval between occurrences of an EIT present/following sub_table. If the flag is set to 0 then the EIT present/following information for the service should not be present in the TS.)
running_status 필드는, DVB-SI 문서의 테이블 6에 정의된 서비스의 상태를 지칭할 수 있다(running_status: This is a 3-bit field indicating the status of the service as defined in table 6. For an NVOD reference service the value of the running_status shall be set to "0".)
free_CA_mode 필드는 서비스의 모든 컴포넌트 스트림이 스크래블되어 있는지 지칭한다(free_CA_mode: This 1-bit field, when set to "0" indicates that all the component streams of the service are not scrambled. When set to "1" it indicates that access to one or more streams may be controlled by a CA system.)
descriptors_loop_length 필드는 뒤따르는 디스크립터의 길이를 나타낸다(descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors).
CRC_32 는 CRC값을 포함하는 32비트 필드이다(CRC_32: This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder)
descriptors_loop_length 필드는 다음의 디스크립터 위치에 도 15에서 예시한 UHD_program_type_descriptor 와 도 17에서 예시한 UHD_composition_descriptor가 포함될 수 있다.
DVB의 SDT에 UHD_composition_descriptor가 포함되는 경우, UHD_component_descriptor는 component_tag 필드가 더 포함할 수 있다. component_tag 필드는 PSI 레벨인 PMT에서 시그널링하는 해당 스트림에 대한 PID 값을 나타낼 수 있다. 수신기는 component_tag 필드를 이용해 PMT와 함께 해당 스트림의 PID 값을 찾을 수 있다
도 23는 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한다. 이 도면은 예시한 디스크립터들이 EIT에 포함되는 경우를 예시한다.
EIT는 ETSI EN 300 468에 따를 수 있다. 이를 이용하여 각 필드를 기술하면 다음과 같다.
table_id: 테이블 식별자를 나타낸다.
section_syntax_indicator 필드는, EIT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다 (section_syntax_indicator: The section_syntax_indicator is a 1-bit field which shall be set to "1".)
section_length 필드는, 섹션의 길이를 바이트 수로 나타낸다(section_length: This is a 12-bit field. It specifies the number of bytes of the section, starting immediately following the section_length field and including the CRC. The section_length shall not exceed 4 093 so that the entire section has a maximum length of 4 096 bytes.)
service_id 필드는 TS내 서비스 식별자를 나타낸다(service_id: This is a 16-bit field which serves as a label to identify this service from any other service within a TS. The service_id is the same as the program_number in the corresponding program_map_section.)
version_number 필드는 이 서브 테이블의 버전 번호를 나타낸다(version_number: This 5-bit field is the version number of the sub_table. The version_number shall be incremented by 1 when a change in the information carried within the sub_table occurs. When it reaches value 31, it wraps around to 0. When the current_next_indicator is set to "1", then the version_number shall be that of the currently applicable sub_table. When the current_next_indicator is set to "0", then the version_number shall be that of the next applicable sub_table.)
current_next_indicator 필드는 이 서브 테이블이 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다(current_next_indicator: This 1-bit indicator, when set to "1" indicates that the sub_table is the currently applicable sub_table. When the bit is set to "0", it indicates that the sub_table sent is not yet applicable and shall be the next sub_table to be valid.)
section_number 필드는 섹션의 번호를 나타낸다(section_number: This 8-bit field gives the number of the section. The section_number of the first section in the sub_table shall be "0x00". The section_number shall be incremented by 1 with each additional section with the same table_id, service_id, transport_stream_id, and original_network_id. In this case, the sub_table may be structured as a number of segments. Within each segment the section_number shall increment by 1 with each additional section, but a gap in numbering is permitted between the last section of a segment and the first section of the adjacent segment.)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number: This 8-bit field specifies the number of the last section (that is, the section with the highest section_number) of the sub_table of which this section is part.)
transport_stream_id 필드는 전송 시스템 내 다른 멀티플렉스와 구별하여, 이 SDT가 제공하는 TS 식별자를 나타낸다(transport_stream_id: This is a 16-bit field which serves as a label for identification of the TS, about which the EIT informs, from any other multiplex within the delivery system.)
original_network_id 필드는 전송 시스템이 네트워크 아이디를 식별자를 나타낸다(original_network_id: This 16-bit field gives the label identifying the network_id of the originating delivery system.)
segment_last_section_number 필드는 이 서브 테이블의 이 세그먼트의 마지막 섹션 번호를 나타낸다 (segment_last_section_number: This 8-bit field specifies the number of the last section of this segment of the sub_table. For sub_tables which are not segmented, this field shall be set to the same value as the last_section_number field.)
last_table_id 필드는 (last_table_id: This 8-bit field identifies the last table_id used (see table 2).)
event_id 필드는 이벤트의 식별번호를 나타낸다.(event_id: This 16-bit field contains the identification number of the described event (uniquely allocated within a service definition)
start_time 필드는 이벤트의 시작시간을 포함한다(start_time: This 40-bit field contains the start time of the event in Universal Time, Co-ordinated (UTC) and Modified Julian Date (MJD) (see annex C). This field is coded as 16 bits giving the 16 LSBs of MJD followed by 24 bits coded as 6 digits in 4-bit Binary Coded Decimal (BCD). If the start time is undefined (e.g. for an event in a NVOD reference service) all bits of the field are set to "1".)
running_status 필드는, DVB SI 문서의 table 6에 정의된 이벤트의 상태를 나타낸다( (running_status: This is a 3-bit field indicating the status of the event as defined in table 6. For an NVOD reference event the value of the running_status shall be set to "0".)
free_CA_mode 필드는 서비스의 모든 컴포넌트 스트림이 스크래블되어 있는지 지칭한다 (free_CA_mode: This 1-bit field, when set to "0" indicates that all the component streams of the event are not scrambled. When set to "1" it indicates that access to one or more streams is controlled by a CA system.)
descriptors_loop_length 필드는 뒤따르는 디스크립터의 길이를 나타낸다 (descriptors_loop_length: This 12-bit field gives the total length in bytes of the following descriptors.)
CRC_32 는 CRC값을 포함하는 32비트 필드이다(CRC_32: This is a 32-bit field that contains the CRC value that gives a zero output of the registers in the decoder)
descriptors_loop_length 필드는 다음의 디스크립터 위치에 도 15에서 예시한 UHD_program_type_descriptor, 와 도 17에서 예시한 UHD_composition_descriptor가 포함될 수 있다.
DVB의 EIT에 UHD_composition_descriptor가 포함되는 경우, UHD_component_descriptor는 component_tag 필드가 더 포함할 수 있다. component_tag 필드는 PSI 레벨인 PMT에서 시그널링하는 해당 스트림에 대한 PID 값을 나타낼 수 있다. 수신기는 component_tag 필드를 이용해 PMT와 함께 해당 스트림의 PID 값을 찾을 수 있다
도 24은 위에서 예시한 디스크립터들이 다른 시그널링 정보에 포함되는 경우를 예시한다. 이 도면은 예시한 디스크립터들이 VCT에 포함되는 경우를 예시한다.
VCT는 ATSC PSIP 규격에 따를 수 있다. ATSC PSIP에 따르면 각 필드의 설명은 다음과 같다. 각 비트 설명을 아래와 같이 개시한다.
table_id 필드는 테이블섹션의 타입을 지칭하는 8-bit unsigned 정수를 나타낸다 (table_id - An 8-bit unsigned integer number that indicates the type of table section being defined here. For the terrestrial_virtual_channel_table_section(), the table_id shall be 0xC8)
section_syntax_indicator 필드는, VCT테이블 셕션에 대해 1로 셋팅되는 1비트 필드이다(section_syntax_indicator - The section_syntax_indicator is a one-bit field which shall be set to ‘1’ for the terrestrial_virtual_channel_table_section()).
private_indicator 필드는 1로 셋팅된다(private_indicator - This 1-bit field shall be set to ‘1’)
section_length필드는 섹션의 길이를 바이트 수로 나타낸다. (section_length - This is a twelve bit field, the first two bits of which shall be ‘00’. It specifies the number of bytes of the section, starting immediately following the section_length field, and including the CRC.)
transport_stream_id 필드는 TVCT를 식별할 수 있는 PAT에서 처럼 MPEG -TS ID를 나타낸다 (transport_stream_id - The 16-bit MPEG-2 Transport Stream ID, as it appears in the Program Association Table (PAT) identified by a PID value of zero for this multiplex. The transport_stream_id distinguishes this Terrestrial Virtual Channel Table from others that may be broadcast in different PTCs.)
version_number 필드는 VCT의 버전 번호를 나타낸다(version_number - This 5 bit field is the version number of the Virtual Channel Table. For the current VCT (current_next_indicator = ‘1’), the version number shall be incremented by 1 whenever the definition of the current VCT changes. Upon reaching the value 31, it wraps around to 0. For the next VCT (current_next_indicator = ‘0’), the version number shall be one unit more than that of the current VCT (also in modulo 32 arithmetic). In any case, the value of the version_number shall be identical to that of the corresponding entries in the MGT)
current_next_indicator 필드는 이 VCT 테이블 현재 적용가능한지 또는 다음에 적용 가능한지를 나타낸다(current_next_indicator - A one-bit indicator, which when set to ‘1’ indicates that the Virtual Channel Table sent is currently applicable. When the bit is set to ‘0’, it indicates that the table sent is not yet applicable and shall be the next table to become valid. This standard imposes no requirement that “next” tables (those with current_next_indicator set to ‘0’) must be sent. An update to the currently applicable table shall be signaled by incrementing the version_number field)
section_number 필드는 섹션의 번호를 나타낸다(section_number - This 8 bit field gives the number of this section. The section_number of the first section in the Terrestrial Virtual Channel Table shall be 0x00. It shall be incremented by one with each additional section in the Terrestrial Virtual Channel Table)
last_section_number 필드는 마지막 섹션의 번호를 나타낸다 (last_section_number - This 8 bit field specifies the number of the last section (that is, the section with the highest section_number) of the complete Terrestrial Virtual Channel Table.)
protocol_version 필드는 추후 현재 프로토콜과 다르게 정의될 파라미터를 위한 프로토콜 버전을 나타낸다 (protocol_version - An 8-bit unsigned integer field whose function is to allow, in the future, this table type to carry parameters that may be structured differently than those defined in the current protocol. At present, the only valid value for protocol_version is zero. Non-zero values of protocol_version may be used by a future version of this standard to indicate structurally different tables)
num_channels_in_section 필드는 이 VCT의 가상 채널의 수를 나타낸다 (num_channels_in_section - This 8 bit field specifies the number of virtual channels in this VCT section. The number is limited by the section length)
short_name 필드는 가상 채널의 이름을 나타낸다(short_name - The name of the virtual channel, represented as a sequence of one to seven 16-bit code values interpreted in accordance with the UTF-16 representation of Unicode character data. If the length of the name requires fewer than seven 16-bit code values, this field shall be padded out to seven 16-bit code values using the Unicode NUL character (0x0000). Unicode character data shall conform to The Unicode Standard, Version 3.0 [13]. )
major_channel_number 필드는, 가상채널과 관련된 메이저 채널의 수를 나타낸다(major_channel_number - A 10-bit number that represents the “major” channel number associated with the virtual channel being defined in this iteration of the “for” loop. Each virtual channel shall be associated with a major and a minor channel number. The major channel number, along with the minor channel number, act as the user’s reference number for the virtual channel. The major_channel_number shall be between 1 and 99. The value of major_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT. For major_channel_number assignments in the U.S., refer to Annex B.)
minor_channel_number 필드는, 가상채널과 관련된 마이너 채널의 수를 나타낸다(minor_channel_number - A 10-bit number in the range 0 to 999 that represents the “minor” or “sub”- channel number. This field, together with major_channel_number, performs as a two-part channel number, where minor_channel_number represents the second or right-hand part of the number. When the service_type is analog television, minor_channel_number shall be set to 0. Services whose service_type is ATSC_digital_television, ATSC_audio_only, or unassociated/ small_screen_service shall use minor numbers between 1 and 99. The value of minor_channel_number shall be set such that in no case is a major_channel_number/ minor_channel_number pair duplicated within the TVCT. For other types of services, such as data broadcasting, valid minor virtual channel numbers are between 1 and 999.)
modulation_mode 모드는 가상채널과 관련된 캐리어의 변조 모드를 나타낸다(modulation_mode - An 8-bit unsigned integer number that indicates the modulation mode for the transmitted carrier associated with this virtual channel. Values of modulation_mode shall be as defined in Table 6.5. For digital signals, the standard values for modulation mode (values below 0x80) indicate transport framing structure, channel coding, interleaving, channel modulation, forward error correction, symbol rate, and other transmission-related parameters, by means of a reference to an appropriate standard. The modulation_mode field shall be disregarded for inactive channels)
carrier_frequency 필드는 캐리어 주파수를 식별할 수 있는 필드이다(carrier_frequency - The recommended value for these 32 bits is zero. Use of this field to identify carrier frequency is allowed, but is deprecated.)
channel_TSID 필드는 이 가상채널에 의해 레퍼런스된 MPEG-2 프로그램을 전송하는 TS와 관련된 MPEG-2 TS ID를 나타낸다 (channel_TSID - A 16-bit unsigned integer field in the range 0x0000 to 0xFFFF that represents the MPEG-2 Transport Stream ID associated with the Transport Stream carrying the MPEG-2 program referenced by this virtual channel8. For inactive channels, channel_TSID shall represent the ID of the Transport Stream that will carry the service when it becomes active. The receiver is expected to use the channel_TSID to verify that any received Transport Stream is actually the desired multiplex. For analog channels (service_type 0x01), channel_TSID shall indicate the value of the analog TSID included in the VBI of the NTSC signal. Refer to Annex D Section 9 for a discussion on use of the analog TSID)
program_number 필드는 이 가상채널과 PMT와 관련되어 정의되는 정수값을 나타낸다(program_number - A 16-bit unsigned integer number that associates the virtual channel being defined here with the MPEG-2 PROGRAM ASSOCIATION and TS PROGRAM MAP tables. For virtual channels representing analog services, a value of 0xFFFF shall be specified for program_number. For inactive channels (those not currently present in the Transport Stream), program_number shall be set to zero. This number shall not be interpreted as pointing to a Program Map Table entry.)
ETM_location 필드는 ETM의 존재와 위치를 나타낸다 (ETM_location - This 2-bit field specifies the existence and the location of an Extended Text Message (ETM) and shall be as defined in Table 6.6.)
access_controlled 필드는 access control된 가상채널과 관련된 이벤트를 지칭할 수 있다(access_controlled - A 1-bit Boolean flag that indicates, when set, that the events associated with this virtual channel may be access controlled. When the flag is set to ‘0’, event access is not restricted)
hidden 필드는 가상채널이 사용자의 직접 채널 입력에 의해 access되지 않는 경우를 나타낼 수 있다(hidden - A 1-bit Boolean flag that indicates, when set, that the virtual channel is not accessed by the user by direct entry of the virtual channel number. Hidden virtual channels are skipped when the user is channel surfing, and appear as if undefined, if accessed by direct channel entry. Typical applications for hidden channels are test signals and NVOD services. Whether a hidden channel and its events may appear in EPG displays depends on the state of the hide_guide bit.)
hide_guide 필드는 가상채널과 그 이벤트가 EPG에 표시될 수 있는지를 나타낼 수 있다(hide_guide - A Boolean flag that indicates, when set to ‘0’ for a hidden channel, that the virtual channel and its events may appear in EPG displays. This bit shall be ignored for channels which do not have the hidden bit set, so that non-hidden channels and their events may always be included in EPG displays regardless of the state of the hide_guide bit. Typical applications for hidden channels with the hide_guide bit set to ‘1’ are test signals and services accessible through application-level pointers.)
service_type 필드는 서비스 타입 식별자를 나타낸다(service_type - This 6-bit field shall carry the Service Type identifier. Service Type and the associated service_type field are defined in A/53 Part 1 [1] to identify the type of service carried in this virtual channel. Value 0x00 shall be reserved. Value 0x01 shall represent analog television programming. Other values are defined in A/53 Part 3 [3], and other ATSC Standards may define other Service Types9)
source_id 필드는 가상채널과 관련된 프로그램 소스를 식별하는 식별번호이다(source_id - A 16-bit unsigned integer number that identifies the programming source associated with the virtual channel. In this context, a source is one specific source of video, text, data, or audio programming. Source ID value zero is reserved. Source ID values in the range 0x0001 to 0x0FFF shall be unique within the Transport Stream that carries the VCT, while values 0x1000 to 0xFFFF shall be unique at the regional level. Values for source_ids 0x1000 and above shall be issued and administered by a Registration Authority designated by the ATSC.)
descriptors_length 필드는 뒤 따르는 디스크립터의 길이를 나타낸다(descriptors_length - Total length (in bytes) of the descriptors for this virtual channel that follows)
descriptor() 에 디스크립터가 포함될 수 있다.(descriptor() - Zero or more descriptors, as appropriate, may be included.)
본 발명의 실시예들에 따라 비디오 서비스가 전송되는 경우, service_type 필드는 parameterized service(0x07) 또는 extended parameterized service(0x09) 또는 scalable UHDTV 서비스를 나타내는 필드값을 가질 수 있다.
그리고, 디스크립터 위치에 도 15에서 예시한 UHD_program_type_descriptor와 도 17에서 예시한 UHD_composition_descriptor가 위치할 수 있다.
다음으로 개시한 본 발명의 실시예에 따라 비디오 데이터가 전송될 경우, 비디오 데이터의 신택스를 개시한다.
도 25는 본 발명의 실시예들에 따른 비디오 데이터의 SEI 영역의 패이로드에 대한 신택스를 예시한다.
SEI 패이로드에서 payloadType이 특정 값(이 예에서는 52)으로 셋팅되는 경우, 예시한 바와 같이 비디오 데이터의 포맷을 시그널링하는 정보(UHD_scalable_chroma__serivce_info(payloadSize))를 포함할 수 있다. 특히 이 시그널링 정보는 scalable 코딩된 chroma 성분에 관련된 시그널링 정보를 나타낸다.
수신기의 디코더가 예시한 신택스에 따른 비디오 데이터를 파싱하는 실시예는 다음과 같다.
디코더가 비디오 데이터를 복호할 경우, 비디오 엘레먼트 스트림으로부터 AVC 또는 HEVC NAL unit을 파싱한다. 그리고, nal_unit_type 값이 SEI 데이터에 해당하고, SEI 데이터 중 payloadType이 52인 경우 예시한 UHDTV_scalable_chroma_service_info SEI message의 신택스에 따른 정보를 얻을 수 있다.
예시한 SEI 패이로드의 신택스는, 도14에서 예시한 바와 같이 비디오 데이터가 샘플링 정보에 따라 다수의 레이어로 전송됨을 나타내는 프로그램 포맷 타입 정보(UHD_program_format_type)임을 나타낼 수 있다. 그리고, 현재 비디오 스트림에 대한 scalable chroma subsampling 에 대한 정보가 포함될 수 있다. 예를 들어, 비디오 데이터는 도 17에서 예시한 비디오 데이터의 샘플링 정보를 포함하는 비디오 구성 메타데이터 정보(UHD_composition_metadata)를 포함할 수 있다. 수신기는 이 정보를 이용해 디코딩되는 비디오 데이터가 4:2:0 HD 비디오 데이터인지, 4:2:0의 UHD 비디오 데이터인지, 4:2:2 UHD 비디오 데이터인지를 판단할 수 있다. 이 정보에 근거해 수신기는 그 수신기의 성능에 맞는 UHD 또는 HD 비디오를 출력할 수 있다.
도 26는 본 발명에 따른 신호 수신 장치의 일 실시예를 예시한 도면이다.
신호 수신 장치는 역다중화부(500), 시그널링정보복호부(600), 및 비디오디코더(700)를 포함할 수 있다.
역다중화부(500)는 본 발명의 실시예에 따른 비디오 스트림들과 시그널링 정보를 각각 역다중화할 수 있다. 예를 들어 비디오 스트림들은 도 7에서 예시한 스트림들을 포함할 수 있다.
시그널링정보처리부(600)는 도 15 내지 도 24에서 예시한 시그널링 정보 또는 수신기의 성능에 따라 그 일부를 디코딩할 수 있다. 비디오디코더(700)는 시그널링 정보 내의 프로그램 포맷 타입 정보(UHD_program_format_type)에 기초하여 비디오 데이터가 샘플링 정보에 따라 다수의 레이어 데이터로 코딩되어 있음을 알 수 있다.
비디오디코더(700)는 수신기의 성능에 따라 제 1 디코더(710), 제 2 디코더(720), 및 제 3 디코더(730) 중 적어도 하나의 비디오디코더를 포함할 수 있다. 예를 들어 비디오 디코더(700)는 제 1 디코더(710)를 포함하거나, 제 1 디코더(710) 및 제 2 디코더(720)를 포함하거나, 또는 제 1 디코더(710), 제 2 디코더(720) 및 제 3 디코더(730)를 포함할 수 있다.
제 1 디코더(710)는, 시그널링 정보의 비디오 구성 메타데이터 정보(UHD_composition_metadata)에 기초하여 베이스 레이어 데이터를 전송하는 스트림을 수신하고, 베이스 레이어 데이터를 복호하여 4:2:0 샘플링의 비디오 데이터(C)를 복호하여 출력할 수 있다. 베이스 레이어 데이터에는 도 25에서 예시한 비디오 데이터 영역 내에 비디오 데이터의 비디오 구성 메타데이터 정보(UHD_composition_metadata)를 포함할 수 있고, 제 1 디코더(710)는 이에 따라 베이스 레이어 데이터를 복호하여 4:2:0 샘플링의 비디오 데이터(C)를 출력할 수 있다.
제 1 업스케일러(715)는 베이스 레이어 데이터인 4:2:0 샘플링의 HD 비디오 데이터를 휘도(Y) 성분과 색차(Cb, Cr) 성분에 대해 고해상도(UHD) 비디오로 업스케일링하여 출력할 수 있다.
제 2 디코더(720)는, 시그널링 정보의 구성 메타데이터 정보(UHD_composition_metadata)에 기반하여 enhancement layer 1 인 4:2:0 UHD 비디오의 residual 데이터와, 제 1 업스케일러(715)로부터 업스케일된 HD 비디오 데이터를 복호하여 4:2:0 UHD 비디오 데이터를 출력할 수 있다.
enhancement layer 1 인 4:2:0 UHD 비디오의 residual 데이터에는 도 25에서 예시한 비디오 데이터 영역 내에 비디오 데이터의 구성 메타데이터 정보(UHD_composition_metadata)를 포함할 수 있고, 제 2 디코더(720)는 이에 따라 4:2:0 UHD 비디오 데이터(D)를 복호할 수 있다.
제 2 업스케일러(725)는 enhancement layer 1 데이터인 4:2:0 샘플링의 UHD 비디오 데이터의 색차(Cb, Cr) 성분을 업스케일링하여 출력할 수 있다.
제 3 디코더(730)는, 시그널링 정보의 구성 메타데이터 정보(UHD_composition_metadata)에 기반하여 enhancement layer 2 인 4:2:2 UHD 비디오의 색차(Cb, Cr) 성분의 residual 데이터와, 제 2 업스케일러(725)로부터 색차(Cb, Cr) 성분이 업스케일된 UHD 비디오 데이터를 복호하여 4:2:2 UHD 비디오 데이터(B)를 출력할 수 있다.
도 27은 본 발명에 따른 신호 수신 방법의 일 실시예를 개시한 도면이다.
본 발명에 따른 신호 수신 방법의 일 실시예는, 비디오 스트림들과, 상기 비디오 스트림들이 다수의 비디오 샘플링 포맷으로 표출될 수 있음을 나타내는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 역다중화한다(S210). 수신하는 신호가 방송 신호인 경우에만 시그널링 정보가 역다중화될 수 있다.
수신되는 비디오 스트림들은, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함할 수 있다. 그리고, 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는, 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터 및 비디오 구성 메타데이터 정보를 포함할 수 있다.
수신되는 비디오 스트림 내에 전송되는 비디오의 구조는 도 7에 예시한 구조에 따를 수 있다. 즉, 4:2:2 샘플링의 UHD 비디오 서비스를 제공하는 전송 비디오 스트림(a)은 4:2:0 샘플링의 UHD 비디오 서비스를 제공할 수 있는 스트림(b), Cb residual 데이터 (e), Cr residual 데이터(f), 및 시그널링 데이터인 메타데이터(g)를 포함할 수 있다. 4:2:0 샘플링의 UHD 비디오 서비스를 제공할 수 있는 스트림(b)은, 기존의 HD 비디오를 수신하여 표출할 수 있는 수신기를 위해 종래 HD 비디오 서비스를 제공할 수 있는 4:2:0 샘플링 HD 비디오 스트림(c) 및 4:2:0 샘플링 4K UHD 비디오 데이터를 위한 enhancement layer 데이터(d)를 포함할 수 있다.
수신하는 신호가 방송 신호인 경우 도 15 내지 도 24에서 예시한 시그널링 정보는 비디오 데이터와 별도로 역다중화될 수 있다.
수신하는 신호가 방송 신호인 경우 역다중화한 시그널링 정보를 디코딩할 수 있다(S220). 수신신호가 방송 신호가 아닌 경우 S220 단계는 생략되고 아래 비디오 데이터 디코딩 단계에서 비디오 데이터 내의 시그널링 정보를 디코딩한 정보를 이용할 수 있다.
비디오 구성 메타데이터 정보는, 비디오 스트림들이, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타낼 수 있다. 복호하는 시그널링 정보의 예로서, 도 15 내지 도 24을 예시하였다.
비디오 구성 메타데이터 정보에 기초하여 상기 비디오 스트림들 중 적어도 하나에 전송되는 비디오데이터를 디코딩한다(S230).
예를 들어 도 26에서 예시한 바와 같이 복호된, 수신기의 성능에 따라 그리고 비디오 구성 메타데이터 정보에 따라 비디오 데이터 디코딩 과정을 거치면 4:2:0 HD 비디오 데이터, 4:2:0 UHD 비디오 데이터, 또는 4:2:2 UHD 비디오 데이터를 복호할 수 있다. 비디오 데이터를 복호하는 과정은 도 14 또는 도 26를 참조하여 설명하였다.
도 28은 본 발명의 실시예에 따른 신호 송신 장치의 일 실시예를 개시한 도면이다.
신호 송신 장치의 일 실시예는, 인코더(810), 시그널링정보생성부(820), 및 다중화부(830)를 포함할 수 있다.
인코더(810)는 비디오 데이터를 인코딩한다. 인코더(810)가 비디오 데이터를 인코딩하는 경우, 개시한 실시예에 따라 비디오 데이터의 인코딩 정보인 비디오 구성 메타데이터 정보(UHD_composition_metadata)를 인코딩된 비디오 데이터에 포함시킬 수 있다.
인코딩된 비디오 데이터는, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함할 수 있고, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 상기 비디오 구성 메타데이터 정보를 포함할 수 있다.
인코딩된 비디오 데이터의 비디오 구성 메타데이터 정보(UHD_composition_metadata)는 도 7 (UHD_composition_metadata) 및 도 25에서 상세히 기술하였다. 인코더(810)는 비디오 데이터는 서브 샘플링과 해상도에 따라 여러 개의 레이어 데이터로 scalable 인코딩될 수 있다. 비디오 데이터를 인코딩하는 예는 도 8 및 도 9에서 예시하였다. 또한, 인코딩 시에 비디오 데이터의 서브 샘플링과 해상도에 따라 스캔닝 방식의 변화가 필요한 경우, 도 11 내지 도 13의 방식에 따라 비디오 데이터의 스캔닝 방식을 변환시킬 수 있다.
전송 신호가 방송 신호인 경우 신호 송신 장치의 일 실시예는 인코더(810)와 별개로 시그널링정보생성부(820)를 포함한다.
시그널링정보생성부(820)는 인코더(810)가 인코딩된 비디오 데이터를, 다수의 비디오 샘플링 포맷으로 표출할 수 있는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 생성한다. 비디오 데이터와 별개의 시그널링 정보의 예는 도 15 내지 도 24에서 예시하였다.
비디오 구성 메타데이터 정보는, 상기 인코딩된 비디오 데이터가, 상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타낼 수 있다.
다중화부(830)는 인코딩된 비디오 데이터와 시그널링 정보를 다중하고 다중화된 비디오 데이터와 시그널링 정보를 출력할 수 있다. 전송 데이터가 방송 신호가 아닌 경우에는 비디오 데이터와 다중화되는 시그널링 정보의 생성하는 시그널링정보생성부(820)는 생략되고, 다중화부(830)는 인코더(810)가 인코딩한 비디오 데이터 영역 내에 비디오 구성 메타데이터 정보(UHD_composition_metadata)를 포함한 비디오 데이터와 다른 데이터(예를 들어 오디오 데이터)를 다중화하여 출력한다.
개시한 신호 송신 장치의 일 실시예에 따르면, 신호 송신 장치의 일 예는 수신기의 성능과 비디오 데이터의 서브 샘플링 타입에 따라 비디오 데이터를 표출할 수 있도록 4:2:0 샘플링 HD 비디오, 4:2:0 UHD 비디오, 또는 4:2:2 UHD 비디오를 선별적으로 구성할 수 있는 시그널링 정보와 그 구조에 따른 비디오 데이터를 전송할 수 있다.
도 29은 본 발명의 실시예에 따른 신호 수신 장치의 일 실시예를 개시한 도면이다.
신호 수신 장치의 일 실시예는 역다중화부(910), 시그널링정보복호부(920), 및 비디오디코더(930)를 포함할 수 있다.
역다중화부(910)는 비디오 스트림과 시그널링 정보를 역다중화한다. 수신하는 신호가 방송 신호인 경우에만 시그널링 정보를 역다중화한다. 역다중화되는 비디오 스트림들의 구조는 도 7에서 예시하였다. 도 7에서 예시한 바와 같이 역다중화된 비디오 스트림 내에는 비디오 데이터의 비디오 구성 메타데이터 정보가 포함될 수 있으며, 그 신택스는 도 25에서 상세히 기술하였다.
비디오 스트림들은, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함할 수 있다. 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 상기 비디오 구성 메타데이터 정보를 포함할 수 있다.
수신하는 비디오 스트림이 방송 신호인 경우에는 역다중화부(910)는 비디오 데이터와 별개로 전송되는 도 15 내지 도 24의 시그널링 정보를 역다중화하고, 방송 신호가 아닌 경우 시그널링 정보는 도 7에서 예시한 비디오 구성 메타데이터 정보에 포함될 수 있다.
수신하는 신호가 방송 신호인 경우, 시그널링정보복호부(920)는 역다중화한 시그널링 정보를 디코딩한다. 역다중화된 시그널링 정보는, 도 15 내지 도 24에 예시한 정보들이 포함될 수 있는데 실시예에 따라 위 도면들에서 예시한 정보들이 디코딩될 수 있다. 수신신호가 방송 신호가 아닌 경우 시그널링정보복호부(920)는 생략되고 아래 비디오 데이터 디코딩 단계에서 비디오 데이터 내의 시그널링 정보를 디코딩한 정보를 이용할 수 있다.
비디오 구성 메타데이터 정보는, 비디오 스트림들이, 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타낼 수 있다.
비디오디코더(930)는 실시예에 따른 비디오 데이터 영역 내에 또는 시그널링정보복호부(920)가 복호한 시그널링 정보인 비디오 구성 메타데이터 정보에 따라 비디오 데이터를 디코딩한다. 비디오디코더(930)의 상세한 예는 도 26에서 상술하였다.
따라서, 신호 수신 장치의 일 실시예에 따르면, 수신기의 성능과 비디오 데이터의 서브 샘플링 타입에 따라 4:2:0 샘플링 HD 비디오, 4:2:0 UHD 비디오, 또는 4:2:2 UHD 비디오를 선별적으로 출력할 수 있다.
따라서 본 발명의 실시예에 따라 송신 장치가 비디오 데이터의 구조를 도 7와 같이 전송하는 경우, 시그널링 정보로부터 그 구조에 대한 정보를 얻고 수신기의 성능에 따라 비디오 데이터를 디코딩하여 출력할 수 있다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본원 발명은 방송 및 비디오 신호 처리 분야에서 사용 가능하고 반복 가능성이 있는 산업상 이용가능성이 있다

Claims (15)

  1. 비디오 데이터를 인코딩하는 단계;
    상기 인코딩된 비디오 데이터를, 다수의 비디오 샘플링 포맷으로 표출할 수 있는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 생성하는 단계; 및
    상기 인코딩된 비디오 데이터와 상기 시그널링 정보를 다중화하고 상기 다중화된 비디오 데이터와 시그널링 정보를 전송하는 단계를 포함하는, 신호 송신 방법.
  2. 제 1항에 있어서,
    상기 인코딩된 비디오 데이터는, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함하는 신호 송신 방법.
  3. 제 2항에 있어서,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 상기 비디오 구성 메타데이터 정보를 포함하는, 신호 송신 방법.
  4. 제 1항에 있어서,
    상기 비디오 구성 메타데이터 정보는,
    상기 인코딩된 비디오 데이터가,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타내는, 신호 송신 방법.
  5. 비디오 스트림들과, 상기 비디오 스트림들이 다수의 비디오 샘플링 포맷으로 표출될 수 있음을 나타내는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 역다중화하는 단계;
    상기 역다중화한 시그널링 정보를 디코딩하는 단계; 및
    상기 비디오 구성 메타데이터 정보에 기초하여 상기 비디오 스트림들 중 적어도 하나에 전송되는 비디오데이터를 디코딩하는 단계를 포함하는, 신호 수신 방법.
  6. 제 5항에 있어서,
    상기 비디오 스트림들은,
    휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함하는, 신호 수신 방법.
  7. 제 6항에 있어서,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 상기 비디오 구성 메타데이터 정보를 포함하는, 신호 수신 방법.
  8. 제 5항에 있어서,
    상기 비디오 구성 메타데이터 정보는,
    상기 비디오 스트림들이,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타내는, 신호 수신 방법.
  9. 비디오 데이터를 인코딩하는 인코더;
    상기 인코딩된 비디오 데이터를, 다수의 비디오 샘플링 포맷으로 표출할 수 있는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 생성하는 시그널링정보생성부; 및
    상기 인코딩된 비디오 데이터와 상기 시그널링 정보를 다중화하는 다중화부;를 포함하는, 신호 송신 장치.
  10. 제 9항에 있어서,
    상기 인코딩된 비디오 데이터는, 휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함하는 신호 송신 장치.
  11. 제 10항에 있어서,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터는,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터, 및 상기 비디오 구성 메타데이터 정보를 포함하는, 신호 송신 장치.
  12. 제 9항에 있어서,
    상기 비디오 구성 메타데이터 정보는,
    상기 인코딩된 비디오 데이터가,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타내는, 신호 송신 장치.
  13. 비디오 스트림들과, 상기 비디오 스트림들이 다수의 비디오 샘플링 포맷으로 표출될 수 있음을 나타내는 비디오 구성 메타데이터 정보를 포함하는 시그널링 정보를 역다중화하는 역다중화부;
    상기 역다중화한 시그널링 정보를 디코당하는 시그널링정보복호부; 및
    상기 비디오 구성 메타데이터 정보에 기초하여 상기 비디오 스트림들 중 적어도 하나에 전송되는 비디오데이터를 디코딩하는 디코더;를 포함하는, 신호 수신 장치.
  14. 제 13항에 있어서,
    상기 비디오 스트림들은,
    휘도 성분(Y)과 색차 성분(Cb, Cr)의 비가 각각 4:2:2 샘플링의 비디오 데이터를 포함하는, 신호 수신 장치.
  15. 제 13항에 있어서,
    상기 비디오 구성 메타데이터 정보는,
    상기 비디오 스트림들이,
    상기 휘도 성분(Y)과 상기 색차 성분(Cb, Cr)의 비가 4:2:0 샘플링의 비디오 데이터, 상기 색차 성분(Cb, Cr)의 residual 데이터를 포함하고 있음을 나타내는 신호 수신 장치.
KR1020157011734A 2012-11-12 2013-11-11 신호 송수신 장치 및 신호 송수신 방법 KR20150087209A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261725472P 2012-11-12 2012-11-12
US61/725,472 2012-11-12

Publications (1)

Publication Number Publication Date
KR20150087209A true KR20150087209A (ko) 2015-07-29

Family

ID=50684940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157011734A KR20150087209A (ko) 2012-11-12 2013-11-11 신호 송수신 장치 및 신호 송수신 방법

Country Status (7)

Country Link
US (1) US9554162B2 (ko)
EP (1) EP2919471A4 (ko)
JP (1) JP6126234B2 (ko)
KR (1) KR20150087209A (ko)
CN (1) CN104782135B (ko)
CA (1) CA2890508C (ko)
WO (1) WO2014073927A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171787B2 (en) * 2013-07-12 2019-01-01 Sony Corporation Reproduction device, reproduction method, and recording medium for displaying graphics having appropriate brightness
EP3025483B1 (en) 2013-07-25 2022-09-21 Convida Wireless, LLC End-to-end m2m service layer sessions
US20160241906A1 (en) * 2013-09-16 2016-08-18 Samsung Electronics Co., Ltd. Broadcasting reception apparatus and control method
WO2015103145A1 (en) * 2014-01-03 2015-07-09 Thomson Licensing Method, apparatus, and computer program product for optimising the upscaling to ultrahigh definition resolution when rendering video content
US20160021375A1 (en) 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
KR101699337B1 (ko) * 2014-08-20 2017-01-24 전자부품연구원 Shvc 기반의 uhd 영상데이터 송수신 시스템
CN115243075A (zh) 2014-10-10 2022-10-25 索尼公司 再现装置和再现方法
CA2967236A1 (en) * 2014-11-21 2016-05-26 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR101728076B1 (ko) * 2015-06-22 2017-04-19 주식회사 디엠티 에이치디 셋톱박스용 유에이치디 어댑터 및 유에이치디 티브이, 유에이치 티브이에 연결하기 위한 에이치디 셋톱박스
WO2017180439A1 (en) * 2016-04-15 2017-10-19 Vid Scale, Inc. System and method for fast stream switching with crop and upscale in client player
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
CN107483942B (zh) * 2016-06-08 2023-07-14 同济大学 视频数据压缩码流的解码、视频数据的编码方法及装置
US10771795B2 (en) * 2016-06-13 2020-09-08 Intel Corporation Switchable chroma sampling for wireless display
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10932276B2 (en) 2016-11-03 2021-02-23 Convida Wireless, Llc Frame structure in NR
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
US11178204B1 (en) * 2017-02-23 2021-11-16 Cox Communications, Inc. Video processor to enhance color space and/or bit-depth
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
EP3858023A1 (en) 2018-09-27 2021-08-04 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100296817B1 (ko) 1998-04-29 2001-10-25 구자홍 디지탈티브이수신디코더장치
KR100385968B1 (ko) 1998-12-09 2003-07-16 삼성전자주식회사 디스플레이 포맷 및/또는 프레임 레이트가 서로 다른 신호들을동시에 표시하는 수신기와 그 표시방법
GB2366440A (en) 2000-09-05 2002-03-06 Sharp Kk Driving arrangement for active matrix LCDs
KR100556357B1 (ko) 2002-12-04 2006-03-03 엘지전자 주식회사 디지털 비디오 포맷을 지원하는 엠펙 비디오 디코딩 시스템
US20050129130A1 (en) * 2003-12-10 2005-06-16 Microsoft Corporation Color space coding framework
EP1737240A3 (en) 2005-06-21 2007-03-14 Thomson Licensing Method for scalable image coding or decoding
KR20080114388A (ko) 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
JP5242111B2 (ja) * 2007-10-02 2013-07-24 株式会社ソニー・コンピュータエンタテインメント 送信装置、画像データ送信方法、受信装置および受信装置における画像表示方法
KR101213704B1 (ko) * 2007-12-05 2012-12-18 삼성전자주식회사 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
KR20090097015A (ko) * 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
JP2010268092A (ja) * 2009-05-13 2010-11-25 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びにプログラム
CN102461183B (zh) * 2009-06-16 2015-08-19 Lg电子株式会社 广播发射机、广播接收机及其3d视频处理方法
KR101152952B1 (ko) 2010-08-26 2012-06-11 에이스텔 주식회사 초고화질 영상을 위한 실시간 3ｄ 포맷팅 모듈 및 이를 이용한 실시간 3ｄ 포맷팅 시스템

Also Published As

Publication number Publication date
CN104782135B (zh) 2018-02-16
US20150304693A1 (en) 2015-10-22
EP2919471A1 (en) 2015-09-16
EP2919471A4 (en) 2016-07-13
CA2890508C (en) 2017-08-15
JP6126234B2 (ja) 2017-05-10
CN104782135A (zh) 2015-07-15
CA2890508A1 (en) 2014-05-15
US9554162B2 (en) 2017-01-24
WO2014073927A1 (ko) 2014-05-15
JP2016501458A (ja) 2016-01-18

Similar Documents

Publication Publication Date Title
JP6126234B2 (ja) 信号送受信装置及び信号送受信方法
JP6073477B2 (ja) 信号送受信装置および信号送受信方法
CA2889671C (en) Signal transceiving apparatus and signal transceiving method
KR102094892B1 (ko) 신호 송수신 장치 및 신호 송수신 방법
KR101832779B1 (ko) 신호 송수신 장치 및 신호 송수신 방법
KR101838081B1 (ko) 신호 송수신 장치 및 신호 송수신 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid