KR20140027982A - 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 - Google Patents

비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 Download PDF

Info

Publication number
KR20140027982A
KR20140027982A KR1020137029668A KR20137029668A KR20140027982A KR 20140027982 A KR20140027982 A KR 20140027982A KR 1020137029668 A KR1020137029668 A KR 1020137029668A KR 20137029668 A KR20137029668 A KR 20137029668A KR 20140027982 A KR20140027982 A KR 20140027982A
Authority
KR
South Korea
Prior art keywords
video
stream
sub
signaling information
sampling
Prior art date
Application number
KR1020137029668A
Other languages
English (en)
Inventor
최지현
서종열
김진필
문경수
홍호택
이준휘
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20140027982A publication Critical patent/KR20140027982A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다. 본 발명의 실시예는, UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩하는 단계; 및 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 단계; 및 상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 단계;를 포함하는 비디오 스트림 전송방법을 제공한다.

Description

비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법{VIDEO STREAM TRANSMITTING DEVICE, VIDEO STREAM RECEIVING DEVICE, VIDEO STREAM TRANSMITTING METHOD, AND VIDEO STREAM RECEIVING METHOD}
본 발명은 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다.
비디오 신호 처리 속도가 빨라지면서 초고해상도(ultra definition; UD) 비디오를 인코딩/디코딩하는 방안이 연구되고 있다. UD 해상도는 HD (high definition) 해상도의 4배 또는 16배 정도의 고해상도 비디오 영상으로 정의된다. 단일 코덱으로 UD 비디오 텔레비젼 신호를 전송하기 위한 고효율 코덱 기술의 개발이 몇몇 표준단체를 통해 진행 중이다. 그러나 현재 방송 시스템은 UD 비디오를 전송할 수 있는 방법이 정의되지 않아 현재 방송 시스템으로는 초고해상도 비디오를 인코딩/디코딩하는 방안이 제안되더라도 UD 비디오를 전송/수신할 방법이 없었다.
또한, UD 비디오를 송수신하는 시스템이 제안된다고 하더라도 종래의 비디오 송수신 시스템과 호환되지 않으면 빨리 활용화 가능성이 낮기 때문에 종래의 방송 또는 비디오 송수신 시스템의 호환성도 문제점이 된다.
본 발명의 목적은 위와 같은 문제점을 해결하기 위한 것으로서, 초고해상도 비디오 스트림을 효율적으로 송수신할 수 있는 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다.
본 발명의 다른 목적은, 현재의 방송 시스템과 호환되는 비디오 스트림을 송수신하면서도 초고해상도 비디오 스트림을 구현할 수 있는 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법을 제공하는 것이다.
본 발명의 실시예는, UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩하는 단계; 및 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 단계; 및 상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 단계;를 포함하는 비디오 스트림 전송방법을 제공한다.
상기 시그널링정보는, 상기 HD 비디오 서브 스트림의 식별자 또는 상기 샘플링에 대한 샘플링 모드 정보를 포함할 수 있다. 상기 시그널링정보는, UD 화면에 포함되는 HD 프레임의 크기의 서브 비디오를 식별하는 식별자를 포함할 수 있다. 상기 시그널링정보는, UD 화면의 해상도 정보를 포함할 수 있다. 상기 시그널링정보는, 적어도 하나의 HD 비디오 서브스트림의 전송 매체 정보를 포함할 수 있다.
다른 관점에서 본 발명의 실시예는, UD 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 단계; 상기 역다중화된 시그널링정보를 복호하는 단계; 및 상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 단계를 포함하는 비디오 스트림 수신방법을 제공한다.
상기 시그널링정보는 상기 적어도 하나의 HD 비디오 서브스트림을 기술하는 디스크립터를 포함할 수 있고, 상기 디스크립터는, 상기 샘플링에 대한 정보를 포함할 수 있다.
상기 시그널링정보는, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 디스크립터를 포함할 수 있고, 상기 디스크립터는, 상기 적어도 하나의 HD 비디오 서브스트림으로 제공될 수 있는 서비스 타입 정보를 포함할 수 있다.
또 다른 관점에서 본 발명의 일 실시예는, UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩하는 인코더; 및 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 다중화부; 및 상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 전송부;를 포함하는 비디오 스트림 전송장치를 제공한다.
상기 적어도 하나의 HD 비디오 서브스트림은, 상기 샘플링에 대한 정보를 포함할 수 있다.
또 다른 관점에서 본 발명의 일 실시예는, UD 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 역다중화부; 상기 역다중화된 시그널링정보를 복호하는 시그널링정보 디코더; 및 상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 비디오 디코더;를 포함하는 비디오 스트림 수신장치를 제공할 수 있다.
개시하고자 하는 본 발명의 실시예에 따르면, 초고해상도 비디오 스트림을 효율적으로 송수신할 수 있다.
또한, 본 발명의 실시예에 따르면 현재의 방송 시스템과 호환될 수 있는 비디오 스트림을 송수신하면서도 초고해상도 비디오 스트림을 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 UD 비디오 스트림을 전송하는 예를 개시한 도면
도 2는 비디오 스플리터가 UD 비디오 스트림을 시청 가능한 HD 비디오 스트림으로 서브 샘플링하는 예를 개시한 도면
도 3은 본 발명의 실시예에 따라 분리된 HD 비디오 스트림들을 수신하여 처리하는 스트림 수신기의 예를 개시한 도면
도 4은 본 발명의 실시예에 따른 시그널링정보를 예시한 도면
도 5는 본 발명의 일 실시예에 따른 시그널링정보 중 서브스트림 디스크립터를 예시한 도면
도 6은 UD_subsampling_mode 필드 값 및 해당 설명을 예시한 도면
도 7은 compatibility_level 필드 값 및 해당 설명을 예시한 도면
도 8은 서브 비디오를 서브 스트림에 할당하는 예를 나타낸 도면
도 9 및 도 10은 본 발명의 실시예의 시그널링 정보 중 인터리빙 모드를 예시하는 도면
도 11은 샘플링 팩터를 예시한 도면
도 12는 ref_sub_video_flag 필드를 예시하는 도면
도 13은, 본 발명의 일 실시예에 따른 콤바인 디스트립터를 예시한 도면
도 14는 UD_sub_service_type의 필드 값을 예시한 도면
도 15는 original_UD_resolution 필드의 값을 예시한 도면
도 16은 위에서 설명한 Linked_media_sync_type 필드의 값을 예시한 도면
도 17은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) payload의 포맷을 예시한 도면
도 18은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) message의 형식을 예시한 도면
도 19는 비디오 엘리먼터리 스트림 내에 UD 비디오를 서브 샘플링한 방식에 따른 샘플링 정보를 예시한 도면
도 20은 DVB 시스템에서 stream_content와 component_type 을 이용하여 UD 콘텐트를 식별하는 예를 개시한 도면
도 21은 서브스트림 디스크립터의 다른 실시예를 예시한 도면
도 22는 시그널링 정보에 따라 참조 비디오 픽셀을 이용하여 해당 비디오 픽셀을 복원하는 예를 나타낸 도면
도 23은 본 발명의 실시예에 따른 수신기의 예를 개시한 도면
도 24는 본 발명에 따른 비디오 스트림 전송 방법의 일 실시예를 나타낸 도면
도 25는 본 발명에 따른 비디오 스트림 수신 방법의 일 실시예를 나타낸 도면
발명의 실시를 위한 최선의 형태
이하 본 발명의 실시예를 첨부한 도면을 참조하여 설명한다.
이하에서 UD 비디오를 전송하기 위해 H × V 비디오를 분할하여 n개 h × v 비디오의 스트림을 전송되는 예를 개시한다. 예를 들어, H × V 는 3840 × 2160의 UD 급 해상도을 나타낼 수 있고, h × v 는 1920 x 1080의 HD 해상도을 나타낼 수 있다. H × V와 h × v 의 크기는 분리하는 방식과 개수에 따라 각각 상대적으로 달라질 수 있다. 예를 들어 4K UD 비디오 스트림을 4개의 HD 비디오 스트림들로 분리할 수 있다. 또는 UD 비디오 스트림과 HD 스트림의 해상도에 따라, 예를 들어 16K UD 비디오 스트림은 16개의 HD 비디오 스트림들로 분리할 수 있다. 예시한 UD 비디오 스트림과 HD 비디오 스트림의 관계처럼, 본 발명의 실시예는 제 1 해상도의 비디오 스트림을 서브 샘플링하여 제 2 해상도의 비디오 스트림으로 분리하여 송수하는 예를 개시한다.
이하에서는 편의상 4K UD 비디오 스트림이 4개의 HD 비디오 스트림들로 분리되는 예를 기준으로 설명하지만, 본 발명은 이에 국한되지 않고 분리방식과 크기에 따라 동일한 개념을 적용할 수 있다. 또한, 이하에서 비디오 스트림을 분리하기 전후의 비디오를 각각 비디오-서브 비디오, 콘텐트-서브 콘텐트, 스트림-서브 스트림, 서비스-서브 서비스와 같은 용어의 관계로 표현한다. 그리고, 서브 비디오, 서브 스트림, 서브 콘텐트, 또는 서브 서비스를 전송하는 스트림이 전송될 경우 독립적으로 전송단위인 비디오 elementary stream 이 될 수 있다.
도 1은 본 발명의 일 실시예에 따른 UD 비디오 스트림을 전송하는 예를 개시한 도면이다.
비디오 스플리터는 서브 비디오 샘플링 팩터(sub-video sampling factor)에 따라 3840 × 2160 UD 비디오 스트림을 서브 샘플링하여 4개의 서브스트림들로 분리할 수 있다. 분리된 4개의 서브스트림은 각각 1920 × 1080의 HD 비디오 스트림이 될 수 있다. 여기서 4개의 HD 비디오 스트림은 각각 서브-비디오 0, 서브-비디오 1, 서브-비디오 2, 서브-비디오 3으로 호칭하고, 샘플링 방식에 따라 각각 full HD 비디오 스트림으로 시청이 가능한 비디오 신호가 될 수 있다.
서브 샘플링에 사용되는 서브 샘플링 팩터는 각각의 분리된 스트림에 대해 (even, even), (odd, even), (even, odd), (odd, odd)으로 호칭할 수 있다. 이에 대해서는 뒤에서 상술한다.
이 실시예에서 비디오 인코더들은, 각각의 서브 샘플링 팩터를 이용하여 각각의 서브 비디오를 HD 비디오 스트림들로 인코딩할 수 있다. 또는 하나이상의 서브 비디오에 대한 비디오가 모여 하나의 sub stream이 전송될 수도 있다.
다중화부들은 각각, 인코딩된 비디오 스트림들과 각각의 시그럴링정보들을 다중화하여 각각 다중화된 스트림을 출력할 수 있다. 출력된 스트림은 동일한 방송 매체를 통해 전송될 수도 있고 방송 매체나 인터넷 매체와 같이 2개 이상의 매체를 통해 전송될 수 있다. 시그널링정보는 이하에서 상술한다.
도 2는 비디오 스플리터가 UD 비디오 스트림을 시청 가능한 HD 비디오 스트림으로 서브 샘플링하는 예를 개시한 도면이다.
비디오 스플리터는 서브 비디오 샘플링 팩터(sub-video sampling factor)에 따라 UD 비디오 스트림을 HD 비디오 스트림으로 서브 샘플링한다. UD 비디오와 HD 비디오의 해상도의 차이에 따라 서브 비디오 샘플링 팩터(sub-video sampling factor)가 다수 개 있을 수 있다. 이 예에서는 UD 비디오가 HD 비디오보다 4배의 해상도를 가진 경우, 서브 비디오 샘플링 팩터(sub-video sampling factor)를 4개((even, even), (odd, even), (even, odd), (odd, odd))를 예시한다. 2 × 2 픽셀에 포함되는 4개의 픽셀을 도면에서 예시한 바와 같이 0, 1, 2, 3으로 나눌 수 있다.
제 1 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (even, even)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 0으로 표시한 왼쪽 위의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 0를 만들 수 있다. 제 2 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (odd, even)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 1로 표시한 오른쪽 위의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 1를 만들 수 있다. 제 3 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (even, odd)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 2로 표시한 왼쪽 아래의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 2를 만들 수 있다. 마찬가지로, 제 4 서브 비디오 샘플링 팩터(sub-video sampling factor)인 (odd, odd)에 따르면, UD 비디오의 2 × 2 픽셀에 포함되는 3으로 표시한 오른쪽 아래의 픽셀들을 서브 샘플링하여 HD 비디오인 sub-video 3를 만들 수 있다.
UD 비디오가 4배의 해상도를 가진 경우, 이 도면과 같이 서브 샘플링을 하면 sub-video 0, 1, 2, 3은 모두 시청이 가능한 HD 비디오 콘텐트가 될 수 있다. 스트림 수신기는 그 성능에 따라 4개의 HD 비디오 중 어느 하나의 비디오 스트림만을 처리하여 방송할 수도 있고, 4개의 HD 비디오 스트림을 모두 수신하여 UD 비디오로 비디오 신호를 출력할 수도 있다.
도 3은 본 발명의 실시예에 따라 분리된 HD 비디오 스트림들을 수신하여 처리하는 스트림 수신기의 예를 개시한 도면이다.
역다중화부들은 각각 UD 스트림으로부터 서브 샘플링된 HD 비디오 스트림들과 그 시그널링정보가 다중화된 스트림을 수신하고, 수신한 스트림을 역다중화하여 서브 샘플링된 HD 비디오 스트림들을 각각 출력한다. 예시한 도면과 다르게 둘 이상의 서브 비디오가 모여 하나의 sub stream이 전송될 경우, 역다중화부는 둘 이상의 서브 비디오들을 전송하는 스트림을 수신하여 각각의 서브 비디오 스트림으로 역다중화할 수 있다.
비디오 디코더들은, 각각의 서브 샘플링 팩터에 따라 각각의 HD 스트림을 디코딩하여 출력할 수 있다. 예시한 도면에서 출력된 비디오 스트림은 시청이 가능한 4개의 full HD 비디오 스트림이 될 수 있다.
비디오 머저는 서브 샘플링 팩터를 이용하여 4개의 비디오 스트림을 1개의 UD 비디오 스트림으로 합성하여 출력할 수 있다. 예를 들어, 도 2의 역과정에 따라 비디오 스트림을 각 서브 샘플링됨 HD 비디오 스트림을 1개의 UD 비디오 스트림을 출력할 수 있다.
이하에서는, UD 비디오 스트림을 HD 비디오 스트림으로 송수신할 경우 시그널링정보를 예시한다. 위와 같이 제 1 해상도의 비디오 스트림을 제 2 해상도의 비디오 스트림들로 분리할 경우, 시그널링정보를 이용하여 수신기의 능력에 따라 제 1 해상도의 비디오 스트림을 출력할 수도 있고, 제 2 해상도의 비디오 스트림을 출력할 수도 있다.
도 4은 본 발명의 실시예에 따른 시그널링정보를 예시한다. 시그널링정보는 각 분리되는 비디오 스트림을 기술하는 디스크립터에 포함되어 방송 시그널링 정보에 포함될 수 있다.
해당 디스크립터는, HDTV에서 호환되는 스트림인지, 어떤 sub-video들을 포함하는 스트림인지, 어떠한 서브 샘플링 방법을 이용하였는지 등의 스트림 정보를 시그널링할 수 있다. 이 도면에서는 시그널링정보가 포함되는 방송 시그널링 정보로는 PMT(program map table)를 예시하였다. PMT의 각 필드의 설명은 ISO/IEC 13818-1 (MPEG-2 systems)에 따를 수 있다.
다만, 여기서 분리된 스트림을 식별하기 위해 stream_type은 0x02 또는 0x1B가 될 수 있으며 UD 비디오 스트림과 같은 초고해상도 비디오를 지원하는 고성능 코덱에 따른 스트림을 식별하기 위해 별도의 stream_type 값을 사용할 수도 있다.
이 예에서 UD 비디오 스트림 또는 UD 비디오 스트림으로부터 서브 샘플링된 HD 비디오 스트림을 시그널링하기 위해 프로그램 레벨의 디스크립터와 스트림 레벨의 디스크립터가 각각 사용될 수 있다
실시예에서 예시한 프로그램 레벨의 디스크립터(UDTV_service_combine_descriptor로 표시)는, 예를 들어 다수의 HD 비디오 스트림을 하나의 UD 비디오 스트림으로 합성하기 위한 시그널링정보를 포함할 수 있고 이하에서는 콤바인 디스트립터라고 호칭한다.
실시예에서 예시한 스트림 레벨의 디스크립터(UDTV_sub_stream_descriptor로 표시)는, 예를 들어 HD 비디오 스트림들을 각각 기술할 수 있는 시그널링정보를 포함할 수 있고 이하에서는 서브스트림 디스크립터라고 호칭한다.
이하에서는 두 개의 디스크립터와 각각이 시그널링하는 내용을 예시한다. 본 발명의 실시예를 용이하게 설명하기 위해 서브스트림 디스크립터(UDTV_sub_stream_descriptor로 표시)를 먼저 설명한다.
도 5는 본 발명의 일 실시예에 따른 시그널링정보 중 서브스트림 디스크립터를 예시한다. 서브 스트림은, 독립적으로 전송가능한 비디오 elementary stream 을 의미한다.
descriptor_tag 필드는, 이 디스크립터를 식별하기 위한 식별자를 나타낸다.
descriptor_length 필드는, 이 디스크립터의 길이를 비트로 나타낼 수 있다.
sub_stream_ID 필드는, UD 비디오에 포함되는 각각의 비디오 스트림을 식별하기 위해 부여되는 ID 값을 나타낸다. 각 서브 스트림(sub_stream)마다 가장 왼쪽 위의 픽셀을 기준으로 하여 순서대로 부여될 수 있으며, 예를 들어 각 비디오 스트림의 기준 픽셀이 UD 비디오에서 왼쪽 위에 위치할수록 작은 값을 부여할 수 있다.
이 필드는 비디오 엘리먼터리 스트림의 식별자를 나타내는 elementary stream_PID 필드가 sub_stream_ID 필드로서 역할을 할 수도 있다. 예를 들어, 4K UD 비디오 화면의 경우, sub_stream_ID 필드는 2 비트로 나타낼 수 있으며, 8K UD UD 비디오 화면의 경우, sub_stream_ID 필드는 4 비트로 나타낼 수 있다.
UD_subsampling_mode 필드는, UD 비디오를 포함하는 프로그램/서비스를 전송할 경우, 전체 UD 비디오 화면을 분리하는 방식을 나타낸 필드이다. 이 필드는 컴바인 디스크립터에 포함될 수도 있다.
예를 들어, UD_subsampling_mode 필드가 00이라면, 기술하는 비디오 스트림은 UD 프로그램(서비스)을 구현하기 위한 하나의 UD 비디오 스트림으로 구현될 수 있음을 나타낸다.
UD_subsampling_mode 필드가 01이라면, 기술하는 비디오 스트림은, 예시한 바와 같이 UD 프로그램(서비스)으로부터 HD 비디오 스트림과 호환이 가능한 서브 샘플링을 방식을 이용한 HD 스트림이고, 그 서브 샘플링 방식은 라인별 샘플링을 통해 스트림을 나누는 방식(이하에서 HD compatible sub-sampling 방식이라고 호칭)임을 나타낼 수 있다. 따라서, UD_subsampling_mode 필드가 01이라면 UD 비디오를 서브 샘플링한 HD 비디오 스트림들 중 적어도 하나의 HD 비디오 스트림은, HD 비디오와 호환 가능한 스트림임을 나타낼 수 있다.
UD_subsampling_mode 필드가 10이라면, 기술하는 비디오 스트림은, 예시한 바와 같이 UD 프로그램(서비스)을 화면 분할하고, 각각 분할한 화면을 비디오 스트림으로 전송하는 방식(이하에서 sub-partition 방식이라고 호칭)을 나타낼 수 있다. 즉 multivision 디바이스에서 화면을 분할한 영역 별로 비디오 스트림을 전송할 경우 그 비디오 스트림을 나타낼 수 있다.
이 필드의 설명은 도 6에 상세히 예시한다.
compatibility_level 필드는, UD 비디오에 포함되는 스트림의 호환성을 나타낸 필드이다. 예를 들어 UD 비디오를 구현하기 위해 UD 비디오 스트림으로부터 분리된 서브 스트림(sub-stream)이 있는 경우에 이 서브 스트림을 정의하는데 사용될 수 있다. 따라서, 예를 들어 UD 비디오 스트림이 하나의 스트림으로 전송되는 경우, 본 필드의 값이 정의되지 않을 수 있다. 일 예로서, 이 필드가 000인 경우, 기존의 HD 스트림과 호환이 되지 않는 스트림임을 나타낼 수 있다. 따라서, compatibility_level 필드가 000인 경우 수신기는 이 필드에 기초하여 해당 스트림이 시청가능하지 않거나 또는 의미있는 스트림이 아니라고 판단하여 해당 스트림만을 출력 비디오로 사용하지 않을 수 있다.
compatibility_level 필드가 010인 경우, 해당 스트림이 UD 비디오 스트림에 포함되는 HD 비디오 스트림(예를 들어 1920 × 1080)임을 나타낼 수 있다.
compatibility_level 필드가 100인 경우, 해당 스트림이 UD 비디오 스트림에 포함되는 HD 비디오 스트림(예를 들어 1920 × 1080)임을 나타낼 수 있다.
여기서, 도 1과 같이 스트림을 전송할 경우 수신기가 HD 비디오 스트림을 표출하는 TV인 경우라면, 그 수신기는 위의 compatibility_level 필드가 010인 경우에 HD 비디오 스트림을 출력할 수 있다. 이와 관련하여 도 7에 compatibility_level 필드의 값의 예를 예시하였다.
만약 compatibility_level 필드가 000이고, UD_subsampling_mode 필드가 00이 아닌 경우, 즉 비디오 스트림이 기존의 스트림과 non-compatiable한 비디오 스트림이고, HD compatible sub-sampling 방식 또는 sub-partition 방식인 경우, 서브 스트림 디스크립터는 아래에서 예시한 필드를 포함할 수 있다.
num_sub_videos_in_stream 필드는 비디오를 구현하기 위한 스트림에 포함되는 sub_video의 개수를 나타낼 수 있다. 즉, 스트림이 전송하는 비디오의 프레임에서의 가로와 세로의 sampling factor 조합의 갯수를 나타낼 수 있다. 이에 대해서는 다른 도면을 참조하여 추후 상술한다.
interleaving_mode 필드는, UD 비디오를 분할해서 전송하는 과정에서 하나의 스트림이 전송하는 sub-video가 여러 개인 경우 이 sub-video을 하나의 스트림 내에서 어떻게 배치할지를 나타내는 필드이다. 수신기는 디코딩된 해당 스트림을 디스플레이할 경우 이 필드의 값을 활용할 수 있다. 이 필드의 의미는 다음과 같다.이에 대해서는 역시 다른 도면을 참조하여 추후 상술한다.
reserved 필드는 예약 필드를 나타낸다.
본 실시예에 따른 시그널링정보는, num_sub_videos_in_stream 필드에 따라, 즉 비디오 스트림에 포함되는 sub_video의 개수에 따라 각각 sub_video마다 아래와 같은 필드를 더 포함할 수 있다.
서브스트림 디스크립터는, num_sub_videos_in_stream 필드에 따라, reserved 필드, sub_video_ID 필드, horizontal_sampling_factor 필드, vertical_sampling_factor 필드, delta_coding_flag 필드를 포함할 수 있다.
sub_video_ID 필드는 구현하고자 하는 비디오를 전송하는 스트림이 포함하는 서브 비디오의 식별자를 나타낼 수 있다. 예를 들어 sub_video_ID는, UD 화면에 포함되는 HD frame 크기의 sub-video 들을 식별하기 위해 부여되는 식별자를 나타낼 수 있다. 이에 대해서는 도 8에서 상술한다.
horizontal_sampling_factor 필드, 가로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. 할당되는 비트수는 원본 UD 화면의 해상도(origianal_UD_resolution으로 표시)의 가로 픽셀 값이 무엇이냐에 따라 달라진다. 원본 UD 화면의 해상도가 3840 ×2160 (origianal_UD_resolution==0) 인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), 원본 UD 화면의 해상도가 7680 ×4320 (origianal_UD_resolution==1) 인 경우에는 2비트로 할당되어 네가지 값(0번째 ∼ 3번째 라인)을 나타낼 수 있다.
vertical_sampling_factor 필드, 세로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. horizontal_sampling_factor와 마찬가지로, 원본 UD 화면의 해상도가 3840 ×2160 (origianal_UD_resolution==0)인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), 원본 UD 화면의 해상도가 7680 ×4320 (origianal_UD_resolution==1)인 경우에는 2비트로 할당되어 네가지 값을 나타낼 수 있다.
horizontal_sampling_factor필드와 vertical_sampling_factor 필드는 이후에서 도면을 참조하여 예시한다.
delta_coding_flag 필드는 해당 sub-video에 delta_coding이 적용되었는지 여부를 나타내는 flag로서, ‘1’의 값을 가질 경우 delta_coding이 적용되었음을 나타낸다.
ref_sub_video_flag는, 해당 sub-video가 delta_coding 시 참조한 다른 sub-video들이 무엇인지 나타내는 플래그로서, 참조된 sub-video는 해당 위치 ( sub_video_ID 값)의 flag 값을 ‘1’을 이용할 수 있다. 이에 대해서는 추후 도면을 참고하여 상술한다.
서브스트림 디스크립터가 기술하는 compatibility_level 필드가 010이고, UD_subsampling_mode 필드가 00이 아닌 경우, 즉 비디오 스트림이 기존의 HD 스트림과 compatiable한 서브 샘플링된 HD 비디오 스트림이고, HD compatible sub-sampling 방식 또는 sub-partition 방식인 경우, 서브 스트림 디스크립터는 sub_video_ID 필드, horizontal_sampling_factor 필드 및 vertical_sampling_factor를 포함할 수 있다.
마찬가지로 서브 스트림 디스크립터가 기술하는 compatibility_level 필드가 100이고, UD_subsampling_mode 필드가 00이 아닌 경우, 즉 비디오 스트림이 UD 비디오 스트림이고, 서브 샘플링 방식이 HD compatible sub-sampling 방식 또는 sub-partition 방식인 경우에도, 서브 스트림 디스크립터는 sub_video_ID 필드, horizontal_sampling_factor 필드 및 vertical_sampling_factor를 포함할 수 있다.
도 8은 num_sub_videos_in_stream 필드를 설명하기 위해 서브 비디오를 서브 스트림을 할당하는 예를 나타낸 도면이다. 설명한 바와 같이 이 필드는 스트림에 포함되는 sub_video의 개수를 나타낼 수 있다. UD 비디오 스트림이 분리되어 다수의 비디오 스트림이 전송될 경우, 각 스트림 당 적어도 하나 이상의 서브 비디오 데이터가 포함될 수 있다.
UD 화면으로부터 분리된 서브 비디오인 HD 비디오의 부여 순서는, 예를 들어 각 sub_video 마다 가장 왼쪽 위의 픽셀을 기준으로 하여 순서대로 부여할 수 있다. 이 도면의 예는 각 sub_video 의 기준 픽셀이 UD 화면에서 왼쪽 위에 위치할수록 작은 값이 부여한 것이다.
Sub video는 같은 quartet 또는 group of 16 pixels 단위로 sub sampling을 수행할 때 동일한 sample grid에 속하는 화소를 모아서 만든 비디오 화면이다. 하나이상의 서브 비디오들이 모여 sub stream이 전송될 수 있다.
이 도면의 예에서 UD_sampling_mode가 01인 경우, UD 화면 내에 2×2 픽셀을 기준으로, 왼쪽 위 픽셀을 모은 화면을 서브 비디오 1, 오른쪽 위 픽셀을 모은 화면을 서브 비디오 2, 왼쪽 아래 픽셀을 모은 화면은 서브 비디오 3, 오른쪽 아래 픽셀을 모은 화면을 서브 비디오 4라고 호칭한다.
각 서브 비디오를 horizontal_sampling_factor와 vertical_sampling_factor의 조합으로 표현하면 다음과 같다.
이 도면의 예에서 서브 비디오 0은, horizontal_sampling_factor이 0, vertical_sampling_factor이 0이 될 수 있다. 서브 비디오 1은, horizontal_sampling_factor이 1, vertical_sampling_factor이 0이 될 수 있다. 서브 비디오 2는, horizontal_sampling_factor이 0, vertical_sampling_factor이 1이 될 수 있다. 서브 비디오 3은, horizontal_sampling_factor이 1, vertical_sampling_factor이 1이 될 수 있다.
그리고, 서브 스트림은 적어도 하나 이상의 서브 비디오에 대한 비디오 데이터를 전송할 수 있다.
이 도면의 예에서는 서브 비디오 0이 서브 스트림 식별자 0인 스트림으로 전송될 수 있고, 서브 비디오 1, 2, 3이 서브 스트림 식별자 1인 스트림으로 전송되는 예를 나타낸다. 이 경우 서브 스트림 식별자 1인 스트림은, num_sub_videos_in_stream 이 3이 된다.
도 9 및 도 10은 본 발명의 실시예의 시그널링 정보 중 인터리빙 모드의 예를 설명하기 위한 도면이다. 인터리빙 모드는, UD 화면을 분할하여 전송하여 하나의 스트림에 다수의 sub-video이 포함된다면, 다수의 sub-video를 하나의 스트림 내에서 어떻게 배치할지를 나타낼 수 있다.
도 9 및 도 10의 예는 3840×2160의 UD 화면을 UD_subsampling_mode 가 01로 서브 샘플링한 경우 서브 비디오 1과 서브 비디오 2가 하나의 스트림으로 전송되는 예를 예시한다. 도 9는 interleaving_mode가 00, 01인 경우를 예시하고, 도 10은 interleaving_mode가 10, 11인 경우를 예시한다.
interleaving_mode가 00인 경우, raster scan order이라고 호칭하고, 이 인터리빙 모드는 sub sampling을 수행한 pixel들을 원래의 UD 비디오 내에서의 위치에 근거해 배열하도록 할 수 있다. raster scan order은, 1920×2160의 HD 서비 비디오의 라인 별로 서브 비디오 1 픽셀과 서브 비디오 2의 픽셀을 배치하여 전송되는 예를 나타낸다.
interleaving_mode가 01인 경우, group-of-pixel-based order이라고 호칭하고, 이 모드는 sub sampling을 수행하는 최소 단위 (예를 들어, 2×2 또는 4×4 pixels)로 배열을 서브 스트림이 형성되도록 할 수 있다. group-of-pixel-based order, 1920x2160의 HD 서비 비디오의 각 라인에 서브 비디오 1 픽셀과 서브 비디오 2의 픽셀이 교대로 배치되어 전송되는 예를 나타낸다.
도 10은, interleaving_mode가 10, 11이 경우를 예시한다.
interleaving_mode가 10인 경우, vertical frame stack 이라고 호칭하고, 이 모드는 sub-video에 포함되는 픽셀을 세로 방향으로 sub_video_id 순서로 배치한다. 따라서, 예시한 경우 vertical frame stack는, 수직의 1920×2160의 HD 서비 비디오의 상위에 서브 비디오 1이, 하위에 서브 비디오 2가 위치하여 전송되는 예를 나타낸다.
interleaving_mode가 11인 경우, horizontal frame stack 이라고 호칭하고, 이 모드는 sub-video에 포함되는 픽셀을 가로 방향으로 sub_video_id 순서로 배치한다. 따라서, 예시한 경우 horizontal frame stack 는, 2160×1920의 HD 서비 비디오의 좌측에 서브 비디오 1이, 우측에 서브 비디오 2가 위치하여 전송되는 예를 나타낸다.
도 11은 샘플링 팩터를 용이하게 설명하기 위해 예시한 도면이다. 도 11을 참조하여 샘플링 팩터를 예시하면 다음과 같다.
도 11의 (a)는 UD_subsampling_mode 가 01이고 (즉 HD compatible sub-sampling 경우) horizontal_sampling_factor 가 0이고 vertical_sampling_factor가 1일때 UD 화면으로부터 서브 비디오 2가 추출됨을 나타낸다. 이 경우 2×2 픽셀을 기준단위로 왼쪽 하단의 픽셀들이 서브 비디오 2로 추출될 수 있다.
도 11의 (b)는 UD_subsampling_mode 가 10이고 (즉 sub-partition 경우) horizontal_sampling_factor 가 0이고 vertical_sampling_factor가 1일때 UD 화면으로부터 비디오 2가 추출됨을 나타낸다. 이 경우 전체 UD 화면을 기준으로 왼쪽 하단의 1/4의 화면이 서브 비디오 2로 추출될 수 있다.
도 12는 설명한 시그널링정보의 예에 포함될 수 있는 ref_sub_video_flag 필드를 예시하는 도면이다. 설명한 바와 같이 ref_sub_video_flag 필드는 해당 sub-video가 delta_coding 시 참조한 다른 sub-video들이 무엇인지 나타내는 플래그이다. 참조된 sub-video는 해당 위치 (sub_video_ID 값)의 flag 값을 1로 하고, UD 화면이 HD 화면의 4배 크기이고, 16개의 sub-video를 포함할 경우 해당 sub-video가 참조한 sub-video가 2, 5, 7, 10인 경우를 예시한다. 이 도면에서 각각의 bit 위치가 해당되는 sub-video를 reference 했는지를 나타낼 수 있다.
위에서 서브스트림 디스크립터를 예시하였다. 그리고 서브스트림 디스크립터에 포함될 수 있는 정보들을 설명하였다. 서브스트림 디스크립터는 각 스트림 별로 서술자로 기술될 수 있다. 그런데 이런 경우 수신기가 각 스트림의 호환성 및 샘플링 팩터(sampling factor) 정보 등은 알 수 있지만, 원본 UD 방송의 전체 구성 정보에 대해서는 알 수 없다. 따라서, UD 방송을 제공하기 위해 프로그램, 채널 또는 서비스 레벨에서 UD 비디오에 대한 정보를 시그널링할 수 있다. 그리고, 각 스트림을 합성하기 위해 프로그램, 채널 또는 서비스에 포함되는 서브 비디오 스트림의 개수, 각 서브 비디오 스트림이 포함된 채널이나 서비스 정보, 각 서브 비디오 스트림이 실시간으로 전송되는지 비실시간으로 전송되는지 여부 등에 대한 정보를 포함할 수 있다.
이하에서는, 위에서 예시한 실시예에 따라 UD 비디오 컴포넌트들이 하나 이상의 방송 채널 또는 방송 채널과 다른 물리 채널로 전송될 경우, 이를 UD 비디오 또는 HD 비디오로 표출시키기 위한 시그널링정보를 예시한다. 서로 다른 채널에서 UD 비디오 컴포넌트들 전송될 경우, 각 채널에서 제공되는 UD 비디오 컴포넌트들의 동기화 여부에 따라 수신기의 동작이 달라질 수 있다. 이하에서는 이에 대한 시그널링 정보 및 수신기 동작의 실시예를 개시한다.
UD 비디오 컴포넌트들 또는 UD 서브 서비스들은 서로 동기화되어 받는 즉시 실시간으로 UD 화면으로 출력될 수도 있고, 또는 비동기식으로 일부 또는 전체가 수신기에 저장된 후에, 나중에 전송된 UD 비디오 컴포넌트들과 결합하여 출력하는 경우를 예시한다.
도 13은, 본 발명의 일 실시예에 따른 콤바인 디스트립터를 예시한 도면이다. 이 도면에서 콤바인 디스트립터는 UDTV_service_combine_descriptor라고 표시하였는데, 도 13을 참고하여 콤바인 디스트립터를 설명하면 다음과 같다.
UDTV_service_combine_descriptor는 아래와 같은 필드를 포함할 수 있다.
descriptor_tag는 프로그램 레벨의 디스크립터를 식별자를 나타낼 수 있고, descriptor_length는 UDTV_service_combine_descriptor의 길이를 나타낼 수 있다.
original_UD_resolution 필드는, UD 프로그램(서비스)에 포함되는 스트림을 모두 모았을 때 출력될 수 있는 원본 UD 화면의 resolution을 의미한다. original_UD_resolution 필드의 값에 대한 예시는 추후 도면을 참고하여 설명한다.
UD_sub_service_type 필드는, UD_service_combine_type은 현재 프로그램(서비스, 채널) 레벨에서 기술되는 스트림만으로 지원 가능한 sub-service 종류를 나타낼 수 있다. 상세한 값은 도 14를 참조하여 추후 설명한다.
linked_UD_sub_service_type 필드는, 현재 프로그램(서비스, 채널)와 연계된 서비스의 UD_sub_service_type 값을 나타낼 수 있다.
num_linked_media 필드는, 원본 UDTV 방송을 구현하기 위해 현재 전달 매체 외에 다른 서비스나 매체를 통해 제공되는 연계 미디어의 개수를 나타낼 수 있다.
linked_media_type 필드는 연계된 미디어의 종류를 나타낼 수 있는 필드인데, 이 필드 00이면, 동일한 방송 전송 매체 중 다른 서비스, 채널 또는 프로그램에 현재 기술하고자 하는 프로그램(서비스)의 연계된 정보가 전송됨을 나타낼 수 있다. linked_media_type가 01이면 프로그램에 현재 기술하고자 하는 프로그램(서비스)의 연관된 정보가 인터넷과 같은 다른 전송매체을 통해 전송될 수 있음을 나타낼 수 있다.
Linked_media_sync_type 필드는, 연결될 UD 서브 서비스가 수신기에서 어떻게 획득되어 동기화될 수 있는지를 예시한다. 이에 대해서는 도 16을 참조하여 상세히 상술한다.
컴바인 디스크립터는, UD 스트림에 포함되는 연관된 스트림이 동일한 미디어 매체로 전달될 경우(linked_media_type == 0)는 Linked_UD_sub_service_type, associated_service_TSID, associated_service_original_network_id, associated_service_id를 포함할 수 있고, UD 스트림에 포함되는 연관된 스트림이 다른 미디어 매체로 전달될 경우(linked_media_type == 1)는, Linked_UD_sub_service_type, internet_linkage_information()를 포함할 수 있다.
associated_service_TSID 필드는, 완전한 UD 서비스를 제공하기 위해 이 디스크립터가 기술하고 있는 프로그램(서비스)와 결합될 스트림을 포함한 프로그램(서비스)에 대한 transport_stream_id 값을 나타낼 수 있다.
associated_service_original_network_id 필드는, 완전한 UD 서비스를 제공하기 위해 이 디스크립터가 기술하고 있는 프로그램(서비스)과 결합될 스트림을 포함한 서비스의 original_network_id 값을 나타낼 수 있다.
associated_service_id 필드는, 완전한 UD 서비스를 제공하기 위해 이 디스크립터가 기술하고 있는 프로그램(서비스)과 결합될 스트림을 포함한 서비스의 service_id 값을 나타낼 수 있다.
본 실시예에서는 콤바일 디스크립터가 service_id를 포함하는 예를 개시하였으나, linked_program_number 필드를 포함할 수도 있다. 이 경우 linked_program_number는 PMT의 program_number 필드와 유사한 의미를 가지는 것으로서, 결합 가능한 스트림에 대한 프로그램 번호를 식별한다.
internet_linkage_information는 완전한 UD 프로그램(서비스)를 제공하기 위해 연결된 인터넷 연결 정보를 표시하는 것으로서, (1) IP 어드레스 정보가 32 비트 또는 128 비트인지, (2) IP address 정보 (3) Port number 정보, (4) 추가 스트림에 대한 URI와 같은 부가 정보, (5) available time slot (예를 들어 서비스 전송을 위한 start time, expiration time, 등) 중 적어도 하나 이상을 포함할 수 있다.
도 14는 UD_sub_service_type의 필드 값을 예시한 도면이다. 설명한 바와 같이 컴바인 디스크립터에서 UD_sub_service_type의 필드값은 현재 기술되는 스트림에 따른 서비스만으로 지원 가능한 서브 서비스의 종류를 나타낼 수 있다.
예를 들어, UD_sub_service_type 필드가 000인 경우, 현재 서비스 내에 단독으로 출력 가능한 스트림이 전혀 없음을 나타낼 수 있다. 즉, 이 필드는 현재 기술되는 스트림 내에는 non-compatible stream 만 존재하고, UD 서비스를 위해 현재의 기술되는 서비스(프로그램) 외에, 다른 서비스 또는 미디어를 통해 추가적인 데이터를 수신할 수 있음을 나타낼 수 있다.
UD_sub_service_type 필드가 001인 경우, 현재 기술되는 UD 서비스 내에 HD compatible stream 이 포함되지만, 4K UD 또는 8K UD 서비스를 단독으로 지원할 수는 없음을 나타낼 수 있다. 따라서, UD 서비스를 위해 현재 기술되는 서비스(프로그램)에서 제공되는 데이터 외에도, 다른 서비스 또는 미디어를 통해 추가적인 데이터를 수신할 수 있음을 나타낼 수 있다.
UD_sub_service_type 필드가 010인 경우, 현재 기술되는 UD 서비스 내에 4K UD compatible stream 은 포함되지만, HD 또는 8K UD 서비스 단독으로 지원할 수는 없음을 나타낼 수 있다. 따라서, UD 서비스를 위해 현재 기술되는 서비스(프로그램)에서 제공되는 데이터 외에도, 다른 서비스 또는 미디어를 통해 추가적인 데이터를 수신할 수 있음을 나타낼 수 있다.
UD_sub_service_type 필드가 011인 경우, 현재 기술되는 UD 서비스 내에 원본 UD 방송 지원에 필요한 모든 스트림이 포함되어 있음을 나타낼 수 있다. 여기서 원본 UD 방송이란, original_UD_resolution 값에 해당하는 UD 방송을 의미한다.
도 15는 위에서 설명한 original_UD_resolution 필드 값을 예시한 도면이다.
original_UD_resolution 필드가 00인 경우 3840x2160의 4k UD 해상도를, 01이 경우 7680×4320의 4k UD 해상도를 나타낼 수 있다. 도 15는 original_UD_resolution 필드의 값을 예시하였다. 여기에 표시하지는 않았지만, 4096×2160의 해상도의 화면 format도 original_UD_resolution 필드 값에 시그널링될 수도 있다. 그런 경우, HD compatibility를 위해 해당 스트림의 video encoding 과정에서 crop rectangle 관련 파라미터 (frame_crop_left_offset, frame_crop_right_offset, frame_crop_top_offset, frame_crop_bottom_offset 등)을 추가로 사용할 수도 있다. 이 때 비디오 디코더는 출력 데이터를 1920×1080으로 설정하거나 bar data를 이용해 HD compatible 한 비디오 신호를 구성하는 방법 등을 사용할 수 있다.
도 16은 위에서 설명한 Linked_media_sync_type 필드의 값을 예시한 도면이다. 이 필드는 링크된 UD 서브 비디오를 어떻게 얻을 수 있는지 기술하는 필드이다. 예시한 바와 같이 서브 스트림 또는 서브 비디오가 UD 서비스를 위한 비디오 컴포넌트가 될 수 있다. 그리고, 서브 스트림은 또는 서브 비디오는 하나 이상의 방송 채널을 이용하여 전송될 수도 있고, 하나 이상의 방송 채널과 다른 물리 매체를 통해 전송될 수도 있다.
예를 들어 제 1 서브 스트림은 지상파 방송 채널로 전송되고, 제 2, 3, 4 서브 스트림은 인터넷의 IP 스트림으로 전송되는 예가 그 예가 될 수 있다. 따라서, 별개의 전송 수단을 통해 전송되는 비디오 컴포넌트들이 전송될 경우 어떻게 동기될 수 있는지 시그널링될 수 있다.
따라서, 싱크로너스 딜리버리(synchronous delivery)는 두 개 이상의 컴포넌트가 실시간 전송되는 경우를 나타내고, 이 경우 수신기에서 이 두 개 이상의 컴포넌트들은 동기화되어 표출된다. 어싱크로너스 딜리버리(asynchronous delivery)는 어느 하나의 컴포넌트가 비실시간으로(non-real time) 전송될 경우를 나타내는데 이 경우 수신기는 제 1 컴포넌트를 미리 저장된 후 이후에 전송되는 다른 컴포넌트를 수신하여 이들 컴포넌트를 함께 동기하여 표출한다.
예를 들어 Linked_media_sync_type 필드 값이 000인 경우, 링크된 UD 서브 스트림(서비스)들에 대해, 싱크로너스 UD 딜리버리(synchronous UD delivery)만 가능하다는 것을 나타낸다. 따라서, 이 경우 링크된 UD 서브 스트림(서비스)들은 실시간 전송되고 서로 동기화되어 UD 서비스 표출이 가능하다.
Linked_media_sync_type 필드 값이 001인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 어싱크로너스 UD 딜리버리(asynchronous UD delivery)가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 이후에 전송된다는 것을 의미한다. 따라서, 이 경우 링크된 UD 서브 스트림(서비스)들은 비실시간 전송되고 수신기는 링크 정보를 수신하면 비실시간으로 전송되는 UD 서브 스트림(서비스)들을 서로 동기화하여 UD 서비스 표출을 할 수 있다.
Linked_media_sync_type 필드 값이 010인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 어싱크로너스 UD 딜리버리(asynchronous UD delivery)가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 이미 전송되었다는 것을 의미한다. 따라서, 이 경우 링크된 UD 서브 스트림(서비스)들은 이미 비실시간 전송되었고 수신기는 링크 정보를 이용하여 서로 다른 시점에 전송된 UD 서브 스트림(서비스)들을 서로 동기화하여 UD 서비스 표출을 할 수 있다.
Linked_media_sync_type 필드 값이 011인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 싱크로너스 UD 딜리버리(synchronous UD delivery)와 어싱크로너스 UD 딜리버리(asynchronous UD delivery) 모두가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 추후 다시 재전송되거나 현재 이벤트와 동시에 전송되고 있음을 나타낸다.
Linked_media_sync_type 필드 값이 100인 경우, 링크된 UD 서브 스트림(서비스)들에 대해 싱크로너스 UD 딜리버리(synchronous UD delivery)와 어싱크로너스 UD 딜리버리(asynchronous UD delivery) 모두가 가능하고, 링크 정보(예를 들면, associated_service_TSID, associated_service_original_network_id, associated_service_id, internet_linkage_information 등)에 의해 참조되는 UD 서브 스트림(서비스)들이 이미 전송되었고 현재 이벤트와 동시에 전송되고 있음을 나타낸다.
위에서 컴바인 디스크립터와 서브스트림 디스크립터를 예시하였다.그리고 각 디스크립터에 포함 가능한 정보들을 설명하였다. 서브스트림 디스크립터는 각 스트림 별 서술자를 포함할 수 있다. 그런데 이런 경우, 각 스트림의 호환성 및 샘플링 팩터(sampling factor) 정보는 알 수 있지만, 원본 UD 방송의 전체 구성 정보에 대해서는 없으므로 UD 방송을 제공하기 위해 program/channel/service level 에서 제공해야 하는 UDTV 방송의 전체 구성 정보를 시그널링할 수 있다. 해당 정보로는 구성 스트림의 개수, 각 스트림이 포함된 채널/서비스 정보, 각 스트림이 실시간으로 전송되는지 비실시간으로 전송되는지 여부 등이 있을 수 있으며 이에 대해서는 컴바인 디스크립터에서 해당 정보를 기술하였다.
각 채널에서 제공되는 UD sub-service 들의 동기화 여부에 따라 수신기의 동작이 달라질 수 있으므로, 본 발명에서는 이를 고려한 시그널링을 개시하였다. 즉, UD sub-service는 모두 동기화 되어 받는 즉시 실시간으로 출력될 수도 있고, 또는 비동기식으로 구성되어 일부 또는 전체가 일단 수신단에 저장된 후에, 나중에 온 component 들과 결합되어 출력되는 경우도 있을 수 있다.
다음으로 UD 비디오를 위에서 예시한 방법에 따라 전송할 경우 비디오 스트림의 포맷에 대해 기술한다. UD 비디오를 서브 샘플링한 경우 비디오 인코더는, 서브 샘플링된 비디오를 아래의 포맷에 따른 비디오 엘리먼터리 스트림으로 인코딩하여 출력할 수 있다.
먼저 위에서 예시한 비디오 엘리먼터리 스트림의 헤더는 도 17 및 도 18에서 예시한 SEI(Supplemental enhancement information) messge의 포맷을 가질 수 있다.
도 17은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) payload의 포맷을 예시한다. SEI 패이로드의 패이로드 타입이 5인 경우, user_data_registered_itu_t_t35()에 따른 패이로드 포맷을 가질 수 있다.
여기서 user_identitier 필드는 0x4741 3934의 값을 가질 수 있고, user_structure는 이하에서 예시한 형식을 가질 수 있다. 그리고, user_data_type_code가 0x1B 인 경우 user_data_type_structure()는 UD 비디오를 서브 샘플링한 방식에 따른 서브 스트림을 기술하는 UD_sampling_info의 정보가 포함될 수 있다. UD_sampling_info의 내용은 도 19에서 상세히 설명한다.
도 18은 비디오 엘리먼터리 스트림의 SEI(Supplemental enhancement information) message의 형식을 예시한다. 마찬가지로 SEI message의 payloadType이 37인 경우 샘플링정보(UD_sampling_info)가 포함될 수 있다.
도 19는 비디오 엘리먼터리 스트림 내에 UD 비디오를 서브 샘플링한 방식에 따른 샘플링 정보를 예시한 도면이다. 여기서 기술하는 샘플링정보(UD_sampling_info)의 신택스 중 도 5의 필드와 동일한 필드는, 도 5를 참조하여 설명한 필드와 그 의미도 동일하다.
위에서는 컴바인 디스크립터와 서브스트림 디스크립터가 PMT에 포함되는 예를 설명하였다. 하지만, 예사한 디스크립터들은 ATSC PSIP의 VCT에 추가될 수도 있다. 이 때 channel level의 디스크립터에 예시한 컴바인 디스크립터와 서브스트림 디스크립터가 모두 포함될 수 있다.
예를 들어 컴바인 디스크립터(UDTV_service_combine_descriptor)가 TVCT에 포함되는 경우 channel loop 위치에 컴바인 디스크립터(UDTV_service_combine_descriptor)가 위치할 수 있다. 이 경우 컴바인 디스크립터(UDTV_service_combine_descriptor)에서 associated_service_id는 associated_program_number 또는 associated_major_channel_number와 associated_minor_channel_number로 대체될 수 있다. 그리고, 컴바인 디스크립터(UDTV_service_combine_descriptor)에 기술하는 프로그램(서비스)와 함께 초고해상도(UD) 비디오로 표출시킬 수 있는 관련 소스의 식별자(associated_source_id)가 추가될 수 있다.
associated_program_number는 시그널링되는 서브 비디오 스트림과 관련된 서비스 비디오 스트림에 대한 프로그램 번호를, associated_major_channel_number와 associated_minor_channel_number는 시그널링되는 서브 비디오 스트림과 관련된 서비스 비디오 스트림에 대한 메이저, 마이너 채널 번호를 각각 나타낸다. 그리고, associated_source_id는 결합될 스트림이 포함된 채널에 대한 채널 번호 또는 source_id를 나타낼 수 있다. 컴바인 디스크립터(UDTV_service_combine_descriptor)를 예시하였기 때문에 대체되거나 추가되는 필드에 대한 도면은 생략한다.
예시한 두 디스크립터들은, DVB SI의 SDT에 추가될 수도 있다. 이 경우 service level의 디스크립터에 예시한 컴바인 디스크립터와 서브스트림 디스크립터가 모두 포함될 수도 있다.
다른 예로서, Network Information Table의 transport_stream_loop 위치에 위에서 예시한 컴바인 디스크립터(UDTV_service_combine_descriptor)가 포함될 수도 있다. 이 경우 수신기는 NIT의 컴바인 디스크립터(UDTV_service_combine_descriptor)를 이용해 trasnport_stream_id, original_network_id 등의 필드로, 기술하고자 하는 서비스가 원본 UD 비디오로부터 어떻게 얻은 스트림으로 전송되는지 등의 정보를 얻을 수 있다. 그리고, 수신기는 NIT의 컴바인 디스크립터(UDTV_service_combine_descriptor)로부터 수신되는 서비스가 단독 출력 가능한 스트림인지, 어느 sub-video를 포함하고 있는지 등의 정보 등의 정보를 얻을 수 있다. 그리고, 이 디스크립터를 이용하여 완전한 UD 비디오를 얻기 위해 추가로 연결해야 할 서비스에 대한 정보를 알 수 있다.
또 다른 예로서, 예시한 UD 비디오가 DVB 또는 ATSC의 EIT(Event Information Table)에 포함될 수도 있다. Event Information Table의 event loop 위치에 예시한 컴바인 디스크립터(UDTV_service_combine_descriptor) 포함될 수도 있다.
ATSC의 EIT에 컴바인 디스크립터(UDTV_service_combine_descriptor)가 전송될 경우 컴바인 디스크립터의 예시한 associated_service_id 필드는 UD 비디오 표출과 관련된 프로그램을 식별하는 associated_program_number로 대체될 수 있고, 컴바인 디스크립터에 UD 비디오 표출과 관련된 소스를 식별하는associated_source_id 및 UD 비디오 표출과 관련된 이벤트를 식별하는associated_event_id가 추가될 수 있다. 예시한 바와 같이 associated_program_number는 시그널링되는 서브 비디오 스트림과 관련된 서비스 비디오 스트림에 프로그램 넘버를, associated_source_id 및 associated_event_id는 시그널링되는 서브 비디오 스트림과 관련된 비디오 스트림의 소스 아이디와 이벤트의 식별자를 나타낸다. DVB의 경우 컴바인 디스크립터에 UD 비디오 표출과 관련된 이벤트를 식별하는 associated_event_id가 추가될 수 있다.
한편, UD 비디오 스트림을 전송할 경우, 전송 시스템에 따라 다음과 같은 필드를 더 포함하는 시그널링정보를 함께 전송할 수 있다.
전송 시스템에 따라 시그널링 정보는, Component type 정보 또는 stream_type 정보를 포함할 수 있다. Component type 정보를 이용한 시그널링은, 각 스트림의 종류를 stream_content 및 component_type 값을 통해 알려줄 수 있다. 따라서, 스트림의 컴포넌트 값을 이용하여 어느 UD_subsampling 모드에 속하는지 여부, 코덱 정보, 해상도 정보 등을 판단 가능하도록 값을 할당하여 시그널링할 수 있다.
Stream_type 정보를 이용하는 경우에도, UD 비디오 스트림을 위한 새로운 값을 할당하여 시그널링할 수 있다. 사용하는 코덱 및 포함하는 스트림의 종류 등에 따라 UD service를 구분하고 각 구분된 UD 서비스에 대해 다른 service_type 을 할 당하여 시그널링할 수도 있다. 이 경우 UD service로부터 서브 샘플링된 HD 비디오 호환 스트림에 따른 서비스는 기존 HD 서비스와 동일한 service_type을 사용하여 종래의 HD 서비스로 시청을 가능하도록 할 수도 있다.
그리고, 기존 수신기에서는 component type 및 stream_type 또는 service_type 을 이용하여 시그널링하여 HD 비디오와 호환이 되지 않는 UD 비디오 신호를 수신하지 않게 할 수 있다.
도 20은 DVB 시스템에서 stream_content와 component_type 을 이용하여 UD 콘텐트를 식별하는 예를 개시한다. DVB 시스템에서 component descriptor는 컴포넌트 스트림의 타입을 식별할 수 있고, 엘리멘터리 스트림의 텍스트 설명을 제공하는데 사용될 수 있다. component descriptor는 EIT 또는 SDT에 포함될 수 있는데, 해당 이벤트 또는 서비스에 포함된 구성요소(비디오 element)의 특징을 기술할 수있다.
그 경우에 도 20과 같이 UD 콘텐트에 포함될 수 있는 서브 콘텐트의 타입을 시그널링할 수 있다. 서브 코텐트는 UD 콘텐트을 이용하여 생성되어 UD 콘텐트와 호환 가능하거나 또는 호환 가능하지 않을 수도 있다. 예를 들어 이 도면에서 기술하는 컴포넌트들은 도 1에서 예시한 서브 비디오를 전송할 수 있다. 그런 경우 Sub-video sampling factor (예를 들면, (even, odd))나 horizontal_sampling_factor 및 vertical_sampling_factor 와 같은 요소도 각 컴포넌트를 기술하는데 사용될 수도 있다.
예를 들어 stream_content가 0x05이고, component_type 가 0x90일 경우, 이에 따른 서브 콘텐트는, H.264/AVC video 비디오 콘텐트로서, 4K UD 콘텐트일 수 있고, 50Hz (25Hz), 화면비 16:9인 콘텐트를 나타낼 수 있다.
stream_content가 0x05, component_type 가 0x94일 경우, 이에 따른 서브 콘텐트는, H.264/AVC video 비디오 콘텐트로서, 4K UD 콘텐트의 일부분일 수 있고, 60Hz (30Hz), 화면비 16:9인 콘텐트를 나타낼 수 있다.
여기서, part of 4K UD는 4K UD 콘텐트의 일부분의 서브 비디오 데이터를 포함하지만 독립적으로 의미 있는 영상 (예를 들어 HD 비디오)을 제공할 수 없는 경우를 나타낸다. 여기서는 16:9의 화면비를 가진 컴포넌트를 예시하였으나, 16:9가 아닌 다른 aspect ratio를 사용하는 경우 (예를 들어 21:9), 이를 위한 component_type 값을 추가로 설정할 수 있고, 예를 들어, stream_content가 0x05이고 component_type이 0x98이면 H.264/AVC video, 4K UD, 50Hz(25Hz) 이며 21:9인 컴포넌트를 나타낼 수 있다.
Spatial Scalable Coding을 이용하여 컴포넌트를 인코딩하여 전송하는 경우 Base layer는 기존의 HD와 동일한 방법을 사용하며 Spatial Scalability를 제공하기 위한 Enhancement layer에 대해 별도로 stream_content와 component_type 값을 할당할 수도 있다. 예를 들어, stream_content가 0x05이고 component_type이 0xA0이면 H.264/AVC Spatial Scalable Extension Video, 4K UD, 50Hz (25Hz), 16:9를 의미한다. 이 스트림은 독립적으로 디코딩이 안되며 Base layer video와 결합되면 의미있는 영상이 출력될 수 있다. 아울러 Advanced Codec을 사용하는 경우 해당 코덱을 기반으로 spatial scalability가 제공될 때도 개시한 방법과 비슷한 방법으로 UD 비디오가 제공될 수 있다.
이하에서는 위에서 예시한 방법에 따라 전송된 UD 비디오 스트림과 시그널링 정보를 이용하여 UD 비디오 또는 HD 비디오를 출력하는 수신기의 동작을 설명하기 이전에 구현가능한 시그널링 정보의 추가 실시예를 설명하면 다음과 같다.
UD 비디오로부터 HD 비디오가 샘플링하여 서브 비디오가 전송될 경우, 영상 데이터 자체가 아닌 다른 서브 비디오 데이터를 이용한 보간(interpolation) 등을 이용하여 비디오 데이터를 복원할 수도 있다. 이러한 경우 서브 스트림 디스크립터는 도 21과 같은 정보를 포함할 수 있다
도 21은 서브스트림 디스크립터의 다른 실시예를 예시한 도면이다. UDTV 전체 화면 구성 요소 중 일부 sample grid에 대해 (특정 sample grid에 포함된 화소를 모두 조합하면 하나의 sub-video가 생성됨) sub_video를 전송할 때 영상 데이터가 아닌 다른 sub_video data를 이용해 interpolation 등의 기법을 사용해 복원하도록 filter 계수를 보내는 방법을 사용할 수 있다.
이와 같은 interpolation 등의 기법으로 스트림을 전송할 경우, 이에 대한 시그널링 정보는 다음과 같은 필드를 포함할 수 있다.
descriptor_tag 필드는, 이 디스크립터를 식별하기 위한 식별자를 나타낸다.
descriptor_length 필드는, 이 디스크립터의 길이를 비트로 나타낼 수 있다.
sub_stream_ID 필드는, UD 비디오에 포함되는 각각의 비디오 스트림을 식별하기 위해 부여되는 ID 값을 나타낸다. 각 서브 스트림(sub_stream) 마다 가장 왼쪽 위의 픽셀을 기준으로 하여 순서대로 부여될 수 있으며, 예를 들어 각 비디오 스트림의 기준 픽셀이 UD 비디오에서 왼쪽 위에 위치할수록 작은 값을 부여할 수 있다.
이 필드는 비디오에 포함되는 스트림의 식별자를 나타내는 elementary stream_PID 필드가 sub_stream_ID 필드로서 역할을 할 수도 있다. 예를 들어, 4K UD 비디오 화면의 경우, sub_stream_ID 필드는 2 비트로 나타낼 수 있으며, 8K UD UD 비디오 화면의 경우, sub_stream_ID 필드는 4 비트로 나타낼 수 있다. 설명한 바와 같이 서브 스트림은, 독립적으로 코딩된 비디오 elementary stream 을 나타낼 수 있다.
horizontal_sampling_factor 필드는, 가로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. 할당되는 비트수는 UD_resolution의 가로 픽셀 값이 무엇이냐에 따라 달라진다. origianal_UD_resolution==0 인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), original_UD_resolution==1 인 경우에는 2비트로 할당되어 네가지 값을 나타낼 수 있다. (0번째 ∼ 3번째 라인)
vertical_sampling_factor 필드는, 세로 방향으로 sampling한 픽셀 또는 sampling한 영역이 무엇인지를 나타내는 필드이다. horizontal_sampling_factor와 마찬가지로, original_UD_resolution==0 인 경우에는 1비트로 할당되어 2가지 값을 나타낼 수 있고(짝수번째 라인 또는 홀수번째 라인), original_UD_resolution==1 인 경우에는 2비트로 할당되어 네 가지 값을 나타낼 수 있다.
horizontal_sampling_factor필드와 vertical_sampling_factor 필드는 위에서 이미 예시한 바와 같다.
Num_filter_tap 필드는, sub_video를 interpolation을 이용해 복원하는 경우 계산 과정에서 사용되는 reference pixel의 개수 또는 필터의 크기를 나타낼 수 있다.
Ref_sub_video_ID 필드는, sub_video를 interpolation을 통해 복원하는 경우 여기에 사용될 reference pixel들이 속한 sub_video를 나타낼 수 있다. interpolation 과정은 sub_video들이 포함된 스트림을 디코딩 한 후 디스플레이를 위해 최종적으로 UD 화면을 표출하는 과정이 수행된다. 따라서, 각각의 reference 되는 sub_video의 sampling grid (horizontal/vertical sampling factor)는 이미 관련된 UDTV_sub_stream_descriptor에서 획득했으므로 여기서는 ref_sub_video_ID만으로도 충분히 어느 화소를 이용할지를 알 수 있다.
position 필드는, 참조할 pixel (ref_sub_video_ID에 포함된 pixel)이 같은 quartet 또는 group of pixels에 포함되었는지 여부를 나타낼 수 있다. position 필드 값이 0x0이면 동일한 quartet (또는 group of pixel), position 필드 값이 0x1인 경우 오른쪽 neighboring quartet (또는 group of pixel), position 필드 값이 0x2인 경우 왼쪽 neighboring quartet (또는 group of pixel), position 필드 값이 0x03인 경우 위쪽 neighboring quartet (또는 group of pixel), position 필드 값이 0x04인 경우 아래쪽 neighboring quartet (또는 group of pixel)을 각각 나타낼 수 있다.
a_factor 필드, b_factor 필드, c_factor 필드는 각각 참조 서브 비디오 픽셀로부터의 복원할 필드를 재구성할 수 있는 인수값을 나타낸다. 예를 들면 재구성되는 픽셀은 아래의 식에 따라 재구성될 수 있다.
Figure pct00001
여기서, reconstructed_pixel_for_sub_video_ID은 서브 비디오로부터 재구성되는 픽셀의 값을 나타내고, pixel_from_ref_sub_video_ID는 서비 비디오를 재구성하기 위해 참조되는 픽셀의 값을 나타낸다.
이하에서는 영상의 픽셀을 복원하는 예를 개시하면 다음과 같다.
도 22는 위에서 설명한 시그널링 정보에 따라 참조 비디오 픽셀을 이용하여 해당 비디오 픽셀을 복원하는 예를 나타낸 도면이다. 여기서는 2x2 픽셀을 동일한 그룹의 픽셀로 가정한다.
여기서 숫자는 동일한 그룹에 포함되는 서브 비디오의 픽셀을 각각 식별하고 i로 표시한다. 이 도면은, Sub_video 3의 픽셀을 interpolation을 이용해 복원하는 예를 개시하는데, 복원에 사용될 reference 픽셀을 원으로 표시했다
복원될 픽셀은 3개의 reference pixel의 평균값을 사용한다면 다음과 같이 UDTV_sub_stream_interpolation_descriptor의 Number_of_filter_tap, position, ref_sub_video_ID, a_factor, b_factor 및 c_factor는 아래와 같다.
먼저 Number_of_filter_tap 필드는 하나의 픽셀을 복원하는데 3개의 픽셀 값을 사용하므로 3이 된다.
i = 0 (오른쪽 group of pixel의 0번 sub_video의 픽셀)에 대해, 레퍼런스 픽셀의 그룹 위치 position = 0x01 (오른쪽 neighboring quartet(group of pixel))이고, 레퍼런스 픽셀의 위치 ref_sub_video_ID = 0, a_factor, b_factor 및 c_factor는 각각 a_factor = 1; b_factor = 3; c_factor = 0로 나타낼 수 있다.
i = 1 (동일한 group of pixel의 1번 sub_video의 픽셀)에 대해, 레퍼런스 픽셀의 그룹 위치 position = 0x00(동일 quartet(group of pixel))이고, 레퍼런스 픽셀의 위치 ref_sub_video_ID = 1, a_factor, b_factor 및 c_factor는 각각 a_factor = 1; b_factor = 3; c_factor = 0로 나타낼 수 있다.
i = 2 (동일한 group of pixel의 2번 sub_video의 픽셀)에 대해, 레퍼런스 픽셀의 그룹 위치 position = 0x00(동일 quartet(group of pixel))이고, 레퍼런스 픽셀의 위치 ref_sub_video_ID = 2, a_factor, b_factor 및 c_factor는 각각 a_factor = 1; b_factor = 3; c_factor = 0으로 나타낼 수 있다.
이하에서는 위에서 예시한 방법에 따라 전송된 UD 비디오 스트림과 시그널링 정보를 이용하여 UD 비디오 또는 HD 비디오를 출력하는 수신기에 대해 설명한다. 수신기는 UD 비디오를 수신하여 표출할 수 있는 수신기와, UD 비디오의 일부인 HD비디오를 표출할 수 있는 수신기가 있을 수 있다. 두 가지 수신기에 대해 각각의 비디오 출력의 실시예를 개괄적으로 설명하면 다음과 같다.
먼저, 기존 HD 비디오 수신기에서 UD sub-strem을 수신하여 HD 비디오를 출력하는 일 실시예를 설명하면 다음과 같다.
서비스를 전송하는 비디오가 HD compatible stream로 전송되는 경우, UD_sub_service_type==001), 수신기는 기존 HD 비디오를 수신하는 것과 동일한 방법으로 HD 비디오를 출력할 수 있다. 이 경우 HD compatible stream 에 의해 전송되는 UD sub service(비디오)는 기존 HD 비디오를 포함하는 방송 서비스와 동일한 service_type 및 동일한 stream_type (PSI 시그널링의 경우, service_type==0x02 , stream_type==0x1B) 으로 시그널링 될 수 있다. 기존 HD 비디오 수신기는, PMT 내에 포함된 서브스트림 디스크립터(UDTV_sub_stream_descriptor()) 및 컴바인 디스크립터((UDTV_service_combine__descriptor()) 등의 서술자는 인식할 수 없다. 따라서, 서비스가 HD compatible stream으로 전송되지 않는 경우, 수신기는 새로운 service_type (UD 서비스 타입)을 인식하지 못하여 채널 자체를 인식할 수 없다.
UD 비디오를 수신하여 표출할 수 있는 수신기는 각각 수신한 서브 스트림을 조합하여 UD 비디오를 출력할 수 있다. 이에 대한 실시예를 설명하면 다음과 같다.
먼저, 수신기는 제 1 채널(서비스)를 통해 수신한 시그널링정보, 예를 들면 PMT의 컴바인 디스크립터(UDTV_service_combine_descriptor)를 이용하여 원본 UD 비디오를 구현하기 위해 추가로 받아야 하는 별도 서비스나 미디어가 있는지 판단한다.
별도 채널이나 경로를 통해 수신해야 하는 데이터가 있는 경우, 수신기가 관련된 연계 서비스를 수신할 수 있는 연결정보를 시그널링정보로부터 얻을 수 있다.
수신기가 연계 서비스를 수신하기 위해 이미 획득한 연결정보를 이용해 별도의 다른 튜너 (또는 인터넷 엑세스 모듈)을 이용해 제2 (또는 제3)의 연계 서비스를 튜닝(접속)한다.
경우에 따라 (예를 들어 linked_media_sync_type이 asynchronous 모드인 경우) 제 1 채널 및 이와 연계된 제 2, 제3의 경로로 수신되는 UD 비디오의 컴포넌트의 스케쥴이 다를 수 있으며 이 경우 각 경로(채널)을 통해 수신되는 스케쥴 정보를 이용해 필요한 데이터를 미리 저장 또는 수신할 수 있다.
제 1, 제 2, 제 3의 채널 (경로)로 수신된 sub stream을 디코딩한다.
이 경우, 수신기는, 각 서비스에 속한 스트림(sub stream)마다 할당된 서브 스트림 디스크립터(UDTV_sub_stream_descriptor)를 통해 UD 비디오를 재조합하기 위한 정보를 획득할 수 있다. 수신기는 획득한 정보로부터 각 스트림에 포함된 sub_video가 어느 것인지 그리고 해당 sub_video가 전체 UD 비디오에서 어느 sample grid에 위치하는지 등의 정보를 얻을 수 있다.
Video merger 에서는 얻은 정보를 토대로 다수의 서브 비디오를 이용하여 UD 비디오를 복원할 수 있다.
도 23은 위에서 설명한 본 발명의 실시예에 따른 수신기의 예를 개시한 도면이다. 수신기의 실시예는, 수신부, 채널 디코더, 역다중화부(300) 및 비디오 디코더, 저장부(500) 및 시그널링정보 디코딩부(600), 비디오 합성부(700)를 포함할 수 있다.
수신부(100)는 적어도 하나의 튜너 또는/및 적어도 하나의 인터넷 액세스 모듈(101, 102, 103)을 포함할 수 있다. 수신부의 적어도 하나의 튜너(101, 102)는 UD 비디오 신호를 포함하는 각각 RF 채널을 수신할 수 있다. 수신부의 적어도 하나의 인터넷 액세스 모듈(103)은 UD 비디오 신호를 포함하는 인터넷 신호를 수신할 수 있다. 여기서 UD 비디오 신호는 UD 비디오 전체가 전송될 수도 있고, UD 비디오가 분리된 비디오 신호일 수도 있으며, UD 비디오가 분리된 비디오 신호는 HD 비디오와 호환 가능한 비디오일 수도 있다.
채널 디코딩부(201, 202)는 튜너(101, 102)가 튜닝한 방송신호를 채널 디코딩할 수 있다.
역다중화부(300)는 채널 디코딩된 비디오 신호 및/또는 인터넷 신호를 수신하여 각각 UD 비디오가 분리된 비디오 신호들을 역다중화할 수 있다. 여기서 역다중화된 비디오 신호들은 합성할 경우 UD 비디오가 될 수도 있다.
시그널링정보 디코딩부(600)는 방송신호 또는 인터넷 신호로 전송된 시그널링정보를 디코딩할 수 있다. 시그널링 정보는 위에서 콤바인 디스크립터, 스트림 디스크립터 등을 이미 예시하였다.
비디오 디코더(401, 402, 403, 404)는 디코딩된 시그널링정보 또는 비디오 스트림 내에 시그널링 정보를 이용하여 각각 역다중화된 비디오를 디코딩할 수 있다. 디코딩된 시그널링정보에는 도 5, 도 13 및 도21을 예시하였고, 비디오 스트림 내 시그널링 정보로 도 17 내지 도 19를 예시하였다.
디코딩된 비디오 신호가 UD 비디오로부터 분리된 비디오인 경우, 비디오 합성부(700)는 디코딩된 비디오 신호를 합성하여 UD 비디오 신호로 출력할 수 있다. 수신기는 예시한 4개의 비디오 처리 패스 중 어느 하나의 패스만을 포함할 수 있다. 디코딩된 비디오 신호가 UD 비디오로부터 분리된 비디오이고, 각 분리된 비디오가 HD 비디오와 호환 가능한 비디오인 경우, 수신기는 디코딩된 시그널링정보를 이용하여 원본 UD 비디오가 서브 샘플링된 HD 비디오를 출력할 수 있다.
저장부(500)는 적어도 하나의 튜너 또는/및 적어도 하나의 인터넷 액세스 모듈(101, 102, 103)로부터 수신된 비디오 신호를 저장할 수 있다. UD 비디오가 분리된 HD 비디오 스트림이 비동기방식으로 전송되는 경우, 저장부(500)는 먼저 수신된 비디오 스트림을 저장할 수 있다.
그리고, UD 비디오를 출력할 수 있는 비디오 스트림이 수신된 경우, 저장부(500)에 저장된 비디오 스트림은, 수신된 비디오 스트림과 함께 복호되고 비디오 합성부(700)가 복호된 HD 비디오 스트림을 합성하여 UD 비디오로 출력할 수 있다.
도 24는 본 발명에 따른 비디오 스트림 전송 방법의 일 실시예를 나타낸 도면이다.
UD 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고, 분리된 적어도 하나의 HD 비디오 서브스트림들을 각각 인코딩한다(S100). 도 1에서 이에 대한 실시예를 개시하였다. 샘플링 팩터로 위에서 예시한 sub-video sampling factor, 또는 horizontal/vertical sampling factor를 이용할 수 있다.
UD 비디오 스트림과 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화한다(S200). 다중화된 스트림에는 sub_stream_ID 가 부여되고, 시그널링 정보에는 해당 sub_stream ID가 포함될 수 있다. 그리고, 적어도 하나의 HD 서브 비디오를 하나의 스트림에 전송할 경우, 시그널링 정보의 인터리빙 모드 등을 이용하여 스트림을 전송할 수 있다. 시그널링정보에는 도 5, 도 13 및 도21을 예시하였다. 각각의 HD 비디오 서브 스트림도 시그널링 정보를 포함할 수 있는데 이에 대해서는 도 17 내지 도 19를 예시하였다.
다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송한다(S300).
도 25는 본 발명에 따른 비디오 스트림 수신 방법의 일 실시예를 나타낸 도면이다.
UD 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화한다(S400). 도 3과 도 23에서 다수의 스트림을 역다중화하는 예를 개시하였다. 스트림은 방송 매체나 인터넷 전송 매체 등을 통해 전송될 수 있다.
역다중화된 시그널링정보를 복호한다(S500). 시그널링정보에는 도 5, 도 13 및 도21을 예시하였다. 각각의 HD 비디오 서브 스트림도 시그널링 정보를 포함할 수 있는데 이에 대해서는 도 17 내지 도 19를 예시하였다.
복호한 시그널링정보를 이용하여 적어도 하나의 HD 비디오 서브스트림을 디코딩한다(S600). 적어도 하나의 HD 비디오 서브스트림을 디코딩할 경우, UD 비디오 스트림과 HD 비디오 서브스트림의 관계의 관계를 기술하는 시그널링 정보를 이용하여 UD 비디오 스트림을 표출하도록 하거나, HD 비디오 스트림만을 표출할 수 있다.
발명의 실시를 위한 형태
발명의 실시를 위한 형태는 위에서 모두 개시되었다.
본 발명의 실시예는 초고해상도 비디오 스트림을 효율적으로 송수신하면서도 현재의 방송 시스템과 호환될 수 있는 비디오 스트림을 송수신 장치/방법을 제공하여 산업상 이용가능성이 있다.

Claims (20)

  1. UD(ultra definition) 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD(high definition) 비디오 서브스트림들을 각각 인코딩하는 단계; 및
    상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 단계; 및
    상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 단계;를 포함하는 비디오 스트림 전송방법.
  2. 제 1항에 있어서,
    상기 시그널링정보는, 상기 HD 비디오 서브 스트림의 식별자 또는 상기 샘플링에 대한 샘플링 모드 정보를 포함하는 비디오 스트림 전송방법.
  3. 제 1항에 있어서,
    상기 시그널링정보는, UD 화면에 포함되는 HD 프레임의 크기의 서브 비디오를 식별하는 식별자를 포함하는 비디오 스트림 전송방법.
  4. 제 1항에 있어서,
    상기 시그널링정보는, UD 화면의 해상도 정보를 포함하는 비디오 스트림 전송방법.
  5. 제 1항에 있어서,
    상기 시그널링정보는, 적어도 하나의 HD 비디오 서브스트림의 전송 매체 정보를 포함하는 비디오 스트림 전송방법.
  6. UD(ultra definition) 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD(high definition) 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 단계;
    상기 역다중화된 시그널링정보를 복호하는 단계; 및
    상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 단계를 포함하는 비디오 스트림 수신방법.
  7. 제 6항에 있어서,
    상기 시그널링정보는 상기 적어도 하나의 HD 비디오 서브스트림을 기술하는 디스크립터를 포함하는 비디오 스트림 수신방법.
  8. 제 7항에 있어서,
    상기 디스크립터는, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 수신방법.
  9. 제 6항에 있어서,
    상기 시그널링정보는, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 디스크립터를 포함하는 비디오 스트림 수신방법.
  10. 제 9항에 있어서,
    상기 디스크립터는, 상기 적어도 하나의 HD 비디오 서브스트림으로 제공될 수 있는 서비스 타입 정보를 포함하는 비디오 스트림수신방법.
  11. UD(ultra definition) 비디오 스트림을 샘플링하여 시청가능한 적어도 하나의 HD 비디오 서브스트림들로 분리하고 상기 분리된 적어도 하나의 HD(high definition) 비디오 서브스트림들을 각각 인코딩하는 인코더; 및
    상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림의 관계를 기술하는 시그널링정보와 상기 적어도 하나의 HD 비디오 서브스트림을 포함하는 다중화하는 다중화부; 및
    상기 다중화된 적어도 하나의 HD 비디오 서브스트림과 시그널링정보를 전송하는 전송부;를 포함하는 비디오 스트림 전송장치.
  12. 제 11항에 있어서,
    상기 시그널링정보는 상기 적어도 하나의 HD 비디오 서브스트림을 기술하는 디스크립터를 포함하는 비디오 스트림 전송장치.
  13. 제 12항에 있어서,
    상기 디스크립터는, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 전송장치.
  14. 제 11항에 있어서,
    상기 시그널링정보는, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD 비디오 서브스트림과의 관계를 기술하는 디스크립터를 포함하고, 상기 디스크립터는, 상기 적어도 하나의 HD 비디오 서브스트림으로 제공될 수 있는 서비스 타입 정보를 포함하는 비디오 스트림 전송장치.
  15. 제 11항에 있어서,
    상기 적어도 하나의 HD 비디오 서브스트림은, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 전송장치.
  16. UD(ultra definition) 비디오 스트림을 샘플링하여 생성한 적어도 하나의 HD 비디오 서브스트림들과, 상기 UD 비디오 스트림과 상기 적어도 하나의 HD(high definition) 비디오 서브스트림과의 관계를 기술하는 시그널링정보를 포함하는 스트림을 역다중화하는 역다중화부;
    상기 역다중화된 시그널링정보를 복호하는 시그널링정보 디코더; 및
    상기 복호한 시그널링정보를 이용하여 상기 역다중화된 적어도 하나의 HD 비디오 서브스트림을 디코딩하는 비디오 디코더;를 포함하는 비디오 스트림 수신장치.
  17. 제 16에 있어서,
    상기 시그널링정보는, 상기 HD 비디오 서브 스트림의 식별자 또는 상기 샘플링에 대한 샘플링 모드 정보를 포함하는 비디오 스트림 수신장치.
  18. 제 16에 있어서,
    상기 시그널링정보는, UD 화면에 포함되는 HD 프레임의 크기의 서브 비디오를 식별하는 식별자를 포함하는 비디오 스트림 수신장치.
  19. 제 16항에 있어서,
    상기 시그널링정보는, UD 화면의 해상도 정보를 포함하고, 상기 적어도 하나의 HD 비디오 서브스트림의 전송 매체 정보를 포함하는 비디오 스트림 수신장치.
  20. 제 16항에 있어서,
    상기 적어도 하나의 HD 비디오 서브스트림은, 상기 샘플링에 대한 정보를 포함하는 비디오 스트림 수신장치.
KR1020137029668A 2011-05-19 2012-05-21 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 KR20140027982A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161487710P 2011-05-19 2011-05-19
US61/487,710 2011-05-19
PCT/KR2012/003988 WO2012157999A2 (ko) 2011-05-19 2012-05-21 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법

Publications (1)

Publication Number Publication Date
KR20140027982A true KR20140027982A (ko) 2014-03-07

Family

ID=47177517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137029668A KR20140027982A (ko) 2011-05-19 2012-05-21 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법

Country Status (6)

Country Link
US (1) US20140140415A1 (ko)
EP (1) EP2712191A4 (ko)
KR (1) KR20140027982A (ko)
CN (1) CN103548357A (ko)
CA (1) CA2835621C (ko)
WO (1) WO2012157999A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225788A1 (ko) * 2018-05-25 2019-11-28 라인플러스 주식회사 복수의 채널을 이용하여 동적 비트레이트의 비디오를 송출 및 재생하는 방법 및 시스템

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX339741B (es) * 2012-11-19 2016-06-07 Lg Electronics Inc Aparato de transmision/recepcion de señales y metodo de transmision/recepcion de señales.
CN103024313B (zh) * 2012-12-17 2016-11-02 深圳创维－Rgb电子有限公司 一种超高清显示设备
CN103152541B (zh) * 2013-03-11 2016-08-17 深圳创维－Rgb电子有限公司 超高清显示的控制方法及装置、超高清电视机
CN103152540B (zh) * 2013-03-11 2016-01-20 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
DE102014207607B4 (de) * 2013-04-25 2019-09-19 Avago Technologies International Sales Pte. Ltd. System und Verfahren zur Verarbeitung von Videodaten
EP3018910B1 (en) * 2013-07-05 2019-11-13 Saturn Licensing LLC Transmission device, transmission method, reception device, and reception method
JP6326213B2 (ja) * 2013-10-04 2018-05-16 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、送信装置、及び、送信方法
CN103581601A (zh) * 2013-10-24 2014-02-12 南京熊猫电子股份有限公司 一种uhd信号采样和显示的分屏扫描方法
JP2015102567A (ja) * 2013-11-21 2015-06-04 三菱電機株式会社 マルチビジョン用表示制御装置およびマルチビジョンシステム
EP3110160A4 (en) 2014-02-18 2017-10-11 LG Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
US20170006316A1 (en) * 2014-04-02 2017-01-05 Lg Electronics Inc. Apparatus for transmitting and receiving signal and method for transmitting and receiving signal
JP6301816B2 (ja) * 2014-11-17 2018-03-28 株式会社東芝 送信装置及び送受信システム
CN104410857A (zh) * 2014-12-26 2015-03-11 广东威创视讯科技股份有限公司 一种图像显示控制方法及相关设备
US20180249552A1 (en) * 2015-02-17 2018-08-30 Pointgrab Ltd. Method and system for calculating color of ambient light
GB201509008D0 (en) * 2015-05-26 2015-07-08 Giroux Verreault Mathieu And Tourigny Gilles Jr Interactive clothing incorporating electronic components
GB2542637A (en) * 2015-09-28 2017-03-29 Esaturnus Nv Ultra low latency UHD and 3D networked video communication applicable to gigabit ethernet
CN109565611B (zh) * 2016-05-26 2021-12-21 弗劳恩霍夫应用研究促进协会 针对交互式客户端的全景视频的广播流
KR20180021997A (ko) * 2016-08-23 2018-03-06 삼성전자주식회사 영상 전송을 위한 무선 송신 장치, 시스템온칩 및 그 방법
CN108810636B (zh) 2017-04-28 2020-04-14 华为技术有限公司 视频播放方法、虚拟现实设备、服务器、系统及存储介质
JP6953244B2 (ja) * 2017-09-07 2021-10-27 キヤノン株式会社 画像伝送装置およびその制御方法
CN109587499A (zh) * 2018-12-11 2019-04-05 江苏电力信息技术有限公司 一种超高分辨率电脑桌面压缩编码的方法
CN113709427B (zh) * 2021-11-01 2022-02-08 北京数字小鸟科技有限公司 基于非4k60系统的4k60和4k30视频兼容传输及同步方法
CN117115718B (zh) * 2023-10-20 2024-01-09 思创数码科技股份有限公司 政务视频数据的处理方法、系统及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122610A (ja) * 1997-10-17 1999-04-30 Toshiba Corp 画像符号化方法及び画像復号化方法並びにこれらの装置
KR20090103414A (ko) * 2008-03-28 2009-10-01 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치
KR20090089960A (ko) * 2008-02-20 2009-08-25 엘지전자 주식회사 초고해상도 영상 인코딩 및 디코딩 방법 및 장치
WO2009104850A1 (en) * 2008-02-20 2009-08-27 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for encoding and decoding image
JP4692576B2 (ja) * 2008-05-26 2011-06-01 ソニー株式会社 信号送信装置及び信号送信方法
KR101173335B1 (ko) * 2008-12-19 2012-08-10 한국전자통신연구원 영상분할기반 초고해상도 비디오 부호화 및 복호화 장치, 및 그 제어 방법
KR101676310B1 (ko) * 2009-04-27 2016-11-16 엘지전자 주식회사 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
KR20140040165A (ko) * 2011-07-26 2014-04-02 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225788A1 (ko) * 2018-05-25 2019-11-28 라인플러스 주식회사 복수의 채널을 이용하여 동적 비트레이트의 비디오를 송출 및 재생하는 방법 및 시스템
US11539991B2 (en) 2018-05-25 2022-12-27 LINE Plus Corporation Method and system for transmitting and reproducing video of dynamic bitrate with a plurality of channels

Also Published As

Publication number Publication date
EP2712191A2 (en) 2014-03-26
CA2835621A1 (en) 2012-11-22
WO2012157999A3 (ko) 2013-01-17
CN103548357A (zh) 2014-01-29
CA2835621C (en) 2017-09-19
WO2012157999A2 (ko) 2012-11-22
EP2712191A4 (en) 2015-06-24
US20140140415A1 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
CA2835621C (en) Devices and methods for transmitting and receiving an ultra high definition video stream
US9432705B2 (en) Apparatus for transmitting video stream, apparatus for receiving video stream, method for transmitting video stream, and method for receiving video stream
JP6181848B2 (ja) ３ｄ放送信号を処理する方法及び装置
US9055280B2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
CN104717479B (zh) 广播接收机及其3d广播数据处理方法
US20110181693A1 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
KR101797506B1 (ko) 방송 신호 송신 장치 및 방송 신호 수신 장치
KR20120026026A (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
KR20120013307A (ko) 방송 송신기, 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US9635344B2 (en) Method for service compatibility-type transmitting in digital broadcast
KR20140057242A (ko) 부호화 장치 및 부호화 방법과 복호 장치 및 복호 방법
KR102009049B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2009136681A1 (en) Method for encoding and decoding image, and apparatus for displaying image
KR102139532B1 (ko) 비디오 스트림 송/수신 장치 및 비디오 스트림 송/수신 방법
KR20150086801A (ko) 화질 향상을 위한 부가 영상 데이터 송신 및 수신 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid