KR101828639B1 - 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치 - Google Patents

멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치 Download PDF

Info

Publication number
KR101828639B1
KR101828639B1 KR1020137009471A KR20137009471A KR101828639B1 KR 101828639 B1 KR101828639 B1 KR 101828639B1 KR 1020137009471 A KR1020137009471 A KR 1020137009471A KR 20137009471 A KR20137009471 A KR 20137009471A KR 101828639 B1 KR101828639 B1 KR 101828639B1
Authority
KR
South Korea
Prior art keywords
multimedia data
content
data
network
flow
Prior art date
Application number
KR1020137009471A
Other languages
English (en)
Other versions
KR20130138777A (ko
Inventor
앙또니 로렁
에릭 고띠에
이봉 르걀레
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130138777A publication Critical patent/KR20130138777A/ko
Application granted granted Critical
Publication of KR101828639B1 publication Critical patent/KR101828639B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 수신 장치 및 제1 네트워크에 대한 인터페이스와 제2 네트워크에 관한 인터페이스를 포함하는 상기 수신 장치에서 멀티미디어 데이터 흐름을 처리하기 위한 방법에 관한 것이며, 상기 방법은 상기 제1 네트워크로부터, 제1 데이터 동기화 시스템에 맞추어진 제1 전송 프로토콜을 통해서 제1 멀티미디어 데이터를 포함하는 제1 흐름을 수신하는 단계; 상기 제2 네트워크로부터, 제2 데이터 동기화 시스템에 맞추어진 제2 전송 프로토콜을 통해서 제2 멀티미디어 데이터를 포함하는 제2 흐름을 수신하는 단계를 포함하며, 상기 제2 데이터 동기화 시스템은 상기 제1 데이터 동기화 시스템의 타이밍 참조와는 다른 타이밍 참조에 기반을 두고 있고; 상기 제1 흐름과 상기 제2 흐름은 상기 제1 전송 프로토콜 및 제2 전송 프로토콜의 페이로드 필드에서 동일한 동기화 정보를 전송하며, 상기 동기화 정보는 상기 멀티미디어 데이터가 렌더링되어야만 하는 순간을 가리키는 데이터를 포함하고; 상기 방법은 상기 동기화 정보를 이용함으로써 상기 제1 흐름 및 상기 제2 흐름을 동기화시키는 단계; 및 상기 제1 및 제2 멀티미디어 흐름의 렌더링을 실행하는 단계를 포함하는 것을 특징으로 한다.

Description

멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치{METHOD FOR SYNCHRONIZING MULTIMEDIA FLOWS AND CORRESPONDING DEVICE}
본 발명은 다양한 멀티미디어 소스로부터의 또는 다양한 전송 프로토콜을 통해 전송되어 렌더링 장치로 복원되는 멀티미디어 흐름(multimedia flows)의 처리에 관한 것이다.
방송 TV에서, 오디오 흐름과 비디오 흐름은 전통적으로 함께 방송된다. 그것들은 일반적으로 하나의 멀티미디어 소스, 예를 들어, 멀티미디어 콘텐츠의 공급자에 의해 제공되며, 이후 이들 흐름은 하나의 전송 프로토콜에 의해서 주어진 전송 네트워크를 통해 전송된 다음 하나의 최종 사용자 기기, 예를 들어, 디코더 또는 텔레비전에 전달되며, 이 최종 사용자 기기는 이들 흐름을 읽어서 비디오 데이터는 스크린에 표시하고 오디오 데이터는 라우드스피커로 방송하는 일을 담당한다.
인터넷 네트워크와 이동 통신 네트워크의 급격한 발전에 따라서, 오디오 흐름 및 비디오 흐름에 있어서 소스 및/또는 전송 프로토콜이 서로 다를 수 있는 새로운 멀티미디어 응용들이 출현하였다. 또한 대화형 응용 프로그램들이 출현하였고, 이들에 대한 소스 및 전송 프로토콜은 또한 그들이 참조하는 오디오-비디오 콘텐츠의 소스 및 전송 프로토콜과 다를 수 있다. 이들 응용 프로그램은 이러한 방식으로 브로드밴드 네트워크를 통해서 전송될 수 있다.
이들 새로운 응용 프로그램의 경우에는, 오디오 흐름의 렌더링이 반드시 비디오 흐름의 렌더링에 동기화되게 하거나 또는 대화형 응용 프로그램이 오디오-비디오 흐름에 동기화되어 렌더링되게 할 필요가 있다.
새로운 멀티미디어 응용의 한 예로는 비디오 흐름의 소스와는 다른 소스가 오디오 흐름을 생성하는 것이 있으며, 여기서 이 오디오 흐름은 그 자체가 비디오 흐름이 함께 제공되는 기본적인 오디오 흐름을 대체하는 것이다. 예를 들어, 텔레비전의 축구 경기 방송의 경우에, 이 경기의 비디오 흐름과 함께 제공되는 기본적인 오디오 흐름을 예를 들어 이 기본적인 오디오 흐름의 언어와는 다른 언어로 된 의견을 포함하는 것으로 이 경기의 방송사가 아닌 다른 멀티미디어 공급자에 의해 제공되는 오디오 흐름으로 대체할 수 있다. 이러한 오디오 흐름을 비디오 흐름에 동기화시킬 수 있기 위해서는 이들 흐름이 공통적인 또는 상응하는 타이밍 참조(timing references)를 포함하고 있어야만 한다. 일반적으로, 전송 프로토콜은 렌더링 장치가 두 흐름의 렌더링을 조절하여 동기화시킬 수 있도록 이들 참조 또는 타임스탬프를 렌더링 장치에 제공한다.
타임스탬프는 일반적으로 이 타임스탬프와 연관된 이벤트가 발생하는 동안의 시간을 나타내는 카운터 값이다. 카운터의 클럭 주파수는 렌더링 장치가 흐름 렌더링을 올바르게 조절할 수 있도록 렌더링 장치가 아는 값이어야만 한다. 이 클럭 주파수가 렌더링 장치에 부여되는 방식은 전송 계층의 사양(MPEG-TS, RTP 등)에 설명되어 있다.
렌더링 장치가 두 흐름을 동기화시킬 수 있도록 하기 위해 두 흐름은 일반적으로 통상 "벽시계"라 불리는 공통의 클럭(common clock)을 참조한다. 예를 들어, RFC 3550에 따라서 IETF가 규정한 RTP 프로토콜(실시간 전송 프로토콜)의 경우, 송신기는 타임스탬프와 공통의 클럭이 부여한 시간 사이의 동등함을 나타내는 RTCP(실시간 전송 제어 프로토콜) 방송 보고서라 불리는 메시지를 주기적으로 전송한다. 오디오 및 비디오 흐름이 서로 다른 소스에 의해 제공되는 경우, 이들 두 소스는 같은 공통의 클럭을 공유해야만 한다. NTP 프로토콜(네트워크 시간 프로토콜)은 통상 같은 클럭으로 두 소스를 동기화시키는데 이용된다.
그러나, 두 소스가 전송 시간의 측면에서 충분히 신뢰할 수 있는 네트워크에 의해 연결되어 있지 않을 때는 다른 동기화 메커니즘이 필요하다.
이 동기화 문제는 또한 두 개의 비디오 흐름이 동일한 소스 또는 같은 전송 프로토콜에 의해 제공되지 않을 때, 하나의 렌더링 장치에 표시되는 두 개의 비디오 흐름 - 이들 비디오 콘텐츠 중 하나는 다른 하나에서 픽처-인-픽처로 표시된다 - 사이에도 존재할 수 있다.
픽처-인-픽처 기능은 이의 한 예이다. 다른 예는 2D 비디오가 방송 흐름에서 수신되고 3D 표시를 가능케 해주는 3D 컴플리먼트(complement)가 방송 흐름에서 수신되는 상황인 2D에서 3D로의 이행의 경우들에도 관련이 있다.
본 발명은 흐름들이 타임 베이스가 서로 다른 네트워크들을 통해서 분배될 때 동기화 문제를 해결할 수 있는 목적에 관련된 것이다.
이 목적을 위해, 제1 네트워크에 대한 인터페이스와 제2 네트워크에 대한 인터페이스를 포함하고 있는 수신 장치에서 멀티미디어 데이터 흐름을 처리하는 방법이 제공되며, 상기 방법은 상기 제1 네트워크로부터, 제1 데이터 동기화 시스템에 맞추어진 제1 전송 프로토콜을 통해서 멀티미디어 데이터를 포함하는 제1 흐름을 수신하는 단계; 상기 제2 네트워크로부터, 제2 데이터 동기화 시스템에 맞추어진 제2 전송 프로토콜을 통해서 멀티미디어 데이터를 포함하는 제2 흐름을 수신하는 단계를 포함하며; 상기 제2 데이터 동기화 시스템은 상기 제1 데이터 동기화 시스템의 타이밍 참조와는 다른 타이밍 참조에 기반을 두고 있고; 상기 제1 흐름과 상기 제2 흐름은 상기 제1 전송 프로토콜 및 제2 전송 프로토콜의 데이터 필드에서 동일한 동기화 정보를 전송하며, 상기 동기화 정보는 상기 멀티미디어 데이터가 렌더링되어야만 하는 순간을 가리키는 데이터를 포함하고; 상기 방법은 상기 동기화 정보를 이용함으로써 상기 제1 흐름 및 상기 제2 흐름을 동기화시키는 단계; 및 상기 제1 및 제2 멀티미디어 흐름의 렌더링을 실행하는 단계를 포함한다.
본 발명은 각각의 전송 프로토콜이 이용하는 것들에 보완적인 독립적인 동기화 시스템을 제안하는 장점이 있다.
한 실시예에 따르면, 상기 전송 프로토콜들은 MPEG-2 TS 및/또는 RTP 타입이다.
한 실시예에 따르면, 상기 동기화 정보는 전송 프로토콜들 중 하나의 타이밍 참조에 기반을 두고 있다.
한 실시예에 따르면, 상기 동기화 단계는 미리 수신된 콘텐츠들이 동기화되어 렌더링될 수 있을 때까지 이들 콘텐츠를 메모리 저장(memorization)으로 지연시키는 단계를 포함한다.
한 실시예에 따르면, 상기 제1 흐름은 브로드캐스트 모드에서 상기 제1 네트워크에서 수신되고, 상기 제1 네트워크에서 수신되는 제1 멀티미디어 데이터가 렌더링되어야만 하는 때를 가리키는 카운트다운 정보를 포함하고, 상기 제2 흐름의 상기 제2 멀티미디어 데이터는 상기 제1 멀티미디어 데이터가 수신될 때 상기 수신 장치가 상기 제2 멀티미디어 데이터를 상기 제1 멀티미디어 데이터에 동기화시켜서 렌더링할 수 있도록 상기 수신 장치의 요청에 따라서 사전에 충분히 상기 제2 네트워크에서 미리 로딩(pre-loading)된다.
본 발명의 다른 목적은 수신 장치에 관한 것이며, 이 수신 장치는 멀티미디어 데이터를 포함하는 제1 흐름이 제1 데이터 동기화 시스템에 맞추어진 제1 전송 프로토콜을 통해서 수신될 수 있게 하는 제1 네트워크에 대한 인터페이스; 및 멀티미디어 데이터를 포함하는 제2 흐름이 제2 데이터 동기화 시스템에 맞추어진 제2 전송 프로토콜을 통해서 수신될 수 있게 하는 제2 네트워크에 대한 인터페이스를 포함하며, 상기 제2 데이터 동기화 시스템은 상기 제1 데이터 동기화 시스템의 타이밍 참조와는 다른 타이밍 참조에 기반을 두며; 상기 수신 장치는 상기 제1 흐름 및 상기 제2 흐름에서 전송되며 상기 멀티미디어 데이터가 렌더링되어야만 하는 때를 가리키는 데이터를 포함하는 동기화 정보를 이용함으로써 상기 제1 흐름 및 상기 제2 흐름을 동기화시키는 동기화기; 및 상기 제1 멀티미디어 흐름과 상기 제2 멀티미디어 흐름이 동기화되어서 전송되게 해주는 제3 인터페이스를 포함한다.
본 발명은 또한 프로그램이 컴퓨터에서 실행될 때 본 발명에 따른 상기 방법의 단계들의 실행을 위한 프로그램 코드 명령어를 포함하는 컴퓨터 프로그램 제품에 적용된다. "컴퓨터 프로그램 제품"은 컴퓨터 메모리와 같은 프로그램을 포함하는 저장 공간뿐만 아니라 전기 신호 또는 광 신호와 같은 신호로 구성될 수 있는 컴퓨터 프로그램 매체를 의미하는 것으로 이해된다.
본 발명은 첨부물에 첨부된 도면을 참조하고 있는 제한적인 것이 아닌 다음의 실시예들과 구현들에 의해서 좀 더 잘 이해되고 실증될 것이다.
- 도 1은 본 발명의 실시예에 따른 콘텐츠 분배 시스템이다.
- 도 2는 본 발명의 실시예에 따른 콘텐츠 분배 블록 도이다.
- 도 3은 본 발명의 다른 실시예에 따른 콘텐츠 분배 블록 도이다.
- 도 4는 본 발명의 실시예에 따른 디코더이다.
도 1 및 도 4에서, 도시된 모듈들은 물리적으로 구별가능한 유닛에 대응하거나 또는 대응하지 않을 수 있는 기능적인 유닛이다. 예를 들어, 이들 모듈 또는 이들 중 몇몇은 함께 단일 컴포넌트로 분류될 수 있고 또는 동일한 소프트웨어의 기능들을 구성할 수 있다. 반대로, 몇몇의 모듈은 개별적인 물리적 독립체들로 구성될 수 있다.
실시예들은 두 개의 통신 네트워크를 통하고 두 개의 서로 다른 데이터 전송 프로토콜, 즉 RTP 및 MPEG-2 TS에 따른 콘텐츠 분배의 틀 안에 있지만, 본 발명은 이러한 특정 환경에 제한되지 않으며 다른 데이터 분배 시스템 내에서도 적용할 수 있다.
본 발명의 실시예에 따른 콘텐츠 분배 시스템은 도 1에 예시되어 있다. 이 시스템은 오디오-비디오 서버 타입의 서버(1)를 포함하고 있다. 이 서버는 브로드캐스트 네트워크(7)라고 명명된 브로드캐스트 네트워크를 통해서 오디오-비디오 콘텐츠를 방송한다. 이 브로드캐스트 네트워크는 DVB-T 타입이며 MPEG-2 TS라고 명명되어 있고 그리고 ISO 표준 ISO/IEC 13818-1 표준: "정보 기술 - 동화상 및 관련 오디오 정보의 범용 코딩: 시스템" (ISO/IEC 13818-1이라고 명명됨)에 규정되어 있는 MPEG-2 전송 스트림 전송 프로토콜에 따라서 오디오-비디오 데이터를 전송한다. 이 브로드캐스트 네트워크는 여기서 단방향 타입이지만, 본 발명은 어떤 브로드캐스트 네트워크의 타입에도 당연히 적용할 수 있으며 MPEG-2 TS 전송 프로토콜에 한정되지 않는다.
오디오-비디오 콘텐츠는 STB(셋톱 박스)라고 명명된 비디오 디코더(4)에 의해 수신된다. STB는 오디오-비디오 콘텐츠를 디코드하고 디코드된 콘텐츠를 텔레비전 세트 TV(5)에 전송한다.
MPEG-2 TS 전송 프로토콜에 따라서, 타이밍 참조들이 이 디코더에 전송된다. 전송 스트림은 서버에 포함되어 있는 시스템 타임 클럭(STC)의 샘플들인 프로그램 클럭 참조(PCR이라고도 함) 패킷을 포함하고 있다. 이들은 디코더에서 클럭 시스템을 동기화시키는데 이용된다. 정해진 서비스의 기본적인 스트림은 표현시간 지정 정보(presentation timestamp; PTS)를 포함하는 패킷을 포함하며, 표현시간 지정 정보(PTS)는 이 패킷으로 전송된 데이터가 렌더링되어야만 하는 시간을 나타낸다.
STB는 브로드밴드 분배 네트워크 또는 브로드밴드 네트워크(2)를 통해서 동일한 서버에 접근할 수 있다. 특히, 브로드밴드 네트워크는 홈 게이트웨이(HG)(3)를 통해서 STB가 접근할 수 있는 인터넷 네트워크(2)를 이용한다. 이 네트워크는 양방향 타입이며 게이트웨이가 서버에 보다 일반적으로는 인터넷 네트워크를 통해서 접근할 수 있는 임의 타입의 서버에 데이터를 송신하고 수신할 수 있게 해준다.
본 발명의 실시예에 따르면, 서버는 브로드캐스트 오디오-비디오 콘텐츠를 보완하는 제2 오디오 흐름에 STB가 접근할 수 있게 해준다. 이 제2 오디오 흐름은 RTP/RTCP 전송 프로토콜에 의해서 STB에 의해 수신될 수 있다. 그로므로, 일단 수신되면, 오디오 흐름은 디코드되어 텔레비전 세트에 전송된다. RTCP 프로토콜은 디코더에 표현시간 지정 정보(PTS)와 네트워크 타임 프로토콜(NTP)에 따른 공통 클럭에 의해 주어진 시간이 일치함을 알려준다.
본 발명의 실시예에 따르면, 오디오-비디오 흐름과 제2 오디오 흐름이 서로 다른 전송 프로토콜을 이용하는 두 개의 서로 다른 네트워크에 의해 전송되더라도, 이들이 동기화 되어서 텔레비전 세트에서 재생된다. 실로, 동기화 정보의 아이템은 서버에 의해서 보조 데이터 패킷 형태로 전송된다. 이 정보는 STB가 오디오-비디오 흐름 렌더링 시간을 제2 오디오 흐름의 렌더링 시간에 동기화시킬 수 있게 해준다. 실제로는, 오디오-비디오 흐름의 비디오 부분만이 렌더링되고 제2 오디오가 동기화되어서 렌더링된다.
도 2는 브로드캐스트 모드에서는 MPEG-2 TS 프로토콜에 따르고 브로드밴드 모드에서는 RTP/RTCP에 따르는 데이터 전송을 보여주고 있다. 브로드캐스트 모드에서, 비디오 프레임 V0 내지 V3는 대응하는 표현시간 지정 정보 패킷 PTSv0 내지 PTSv3과 함께 방송된다. 브로드밴드 모드에서는, 오디오 프레임 A0 내지 A2는 대응하는 표현시간 지정 정보 패킷 TSA0 내지 TSA2와 함께 전송된다.
이 실시예에 따르면, 보조 데이터 패킷 T0 내지 T2는 비디오 및 오디오 흐름에 연관지어지고 이들이 연관지어지는 흐름들과 동일한 전송 프로토콜을 이용하여 두 개의 네트워크를 통해서 전송된다. 각각의 네트워크에서, 보조 데이터 패킷과 멀티미디어 흐름은 전송 프로토콜에 특정된 동기화 프로토콜에 의해서 동기화된다. 보조 데이터 패킷들은 시간 동기화 데이터(temporal synchronization data)를 전송한다. 이 데이터는 타임라인과 동화될 수 있으며 정해진 시간, 예를 들어, 현재 이벤트의 시작으로부터의 카운트 값을 나타낸다. 같은 시간에 렌더링되어야만 하는 브로드캐스트 네트워크를 통한 비디오 프레임 브로드캐스트와 브로드밴드 네트워크를 통한 오디오 프레임 브로드캐스트는 같은 타임라인 값을 참조할 것이다.
이들 두 개의 네트워크를 통해 전송된 동기화 데이터는 같은 포맷을 이용한다. 이 포맷은 전송 프로토콜들이 이용한 타이밍 참조의 포맷과는 다를 수 있다.
이들은 수신기가 PCR 클럭 참조를 NTP 클럭 참조에 매칭(matching)시킬 수 있게 해준다. 다른 말로, 이는 콘텐츠 표현들 간의 시간을 측정할 수 있게 해준다.
디코더는 이러한 방식으로 비디오에 관해서 오디오의 표현을 조정할 수 있다. 특히, 비디오가 미리 수신되면, 이 비디오는 오디오 렌더링과 동시에 렌더링될 수 있게 충분히 긴 시간 동안 메모리에 저장된다. 일반적으로, 수신기는 미리 수신된 데이터를 늦게 수신된 데이터와 동시에 표현하기 위해 메모리에 저장해 둔다.
그러나, MPEG-2 TS의 틀 안에서, 시간 모델(temporal model)은 데이터 렌더링을 지연시키지 않을 것을 강요한다. 자세히 말하면, 데이터 인코딩과 데이터 표현 간의 시간은 일정하게 유지해야만 한다. 그러므로, 이것은 본 실시예의 경우에 비디오 데이터의 렌더링을 지연시키는 것을 허용하지 않는다.
이것이 두 번째 실시예에서 디코더가 들어오는 콘텐츠가 재생될 때를 사전에 디코더에게 알려주는 정보를 수신하는 이유이다. 이들은 타임라인의 시작을 알려주는 카운트다운 정보이다. 자세히 말하면, 도 3에 예시된 바와 같이, 콘텐츠가 보조 데이터 T0에 표시되어 있는 시간에 대응하는 시간에 렌더링이 시작되어야만 한다면, 이 시간 T0이 시작될 때를 수신기에게 알려주는 정보 T-3, T-2, T-1의 아이템이 수신기에 의해 사전에 수신된다. 이는 수신기가 프리-패치 모드(pre-fetch mode)라 불리는 모드에서 시간 T0에서 렌더링될 비디오에 대응하는 오디오 데이터를 미리 복원할 수 있게 해준다. 이들 정보는 브로드캐스트 타입의 네트워크를 통해 수신되며 단말기들이 브로드밴드 성분을 사전에 미리 로딩할 수 있도록 되어 있다. 이들은 디코더가 사전에 데이터를 수신하도록 하는 요청을 발행할 수 있게 해준다.
이들 실시예에 따른 STB는 도 4에 예시되어 있다. 이 STB는 브로드캐스트 분배 네트워크(7)에 대한 인터페이스(44), 브로드밴드 네트워크(6)에 대한 인터페이스(43), 및 텔레비전 세트(5)에 대한 인터페이스(47)를 포함하고 있다. 이 STB는 오디오-비디오 디코더(45)를 포함하고 있다. 이 STB는 또한 앞에서 언급한 것에 따라서 콘텐츠 렌더링을 동기화시킬 수 있게 해주는 동기화기(46)를 포함하고 있다. 특히, 동기화기는 오디오 및 비디오 흐름에 관련된 보조 데이터를 식별한다. 동기화기는 이러한 방식으로 이들 두 흐름의 렌더링 간의 시간을 측정한다. 이 시간 값에 따라서, 동기화기는 렌더링들이 동기화되도록 콘텐츠들 중 하나를 메모리(42)에 저장한다. 이들 콘텐츠는 이러한 방식으로 디코딩되고 동기화되어서 TV 인터페이스(47)를 통해서 텔레비전 세트에 전달된다. 이 STB는 디코딩과 같은 다양한 응용을 구현할 수 있게 해주는 프로세서(41) 또는 동기화기를 기본적으로 포함하고 있다. 물론, 동기화된 콘텐츠들은 이들 콘텐츠를 재생할 수 있는 어떤 타입의 장치에도 전송될 수 있다.
이제 보조 데이터의 패킷들은 MPEG-2 TS 및 RTP에 관해서 상세히 설명될 것이다. 이들 필드는 표시된 사양에 관해서 용이한 판독을 위해 영어로 표시된다.
MPEG-2 TS에 관해서, TS102823으로 표기되는, "디지털 비디오 브로드캐스팅(DVB)을 통한 ETSI TS 102 823 v1.1.1(2005-11); DVB 전송 스트림으로 동기화된 보조 데이터의 운반(carriage)을 위한 사양" 사양은, 오디오 또는 비디오 데이터와 같은 소위 말하는 선형 데이터에 동기화되어야만 하는 보조 데이터를 DVB 타입의 전송 스트림으로 전송하는데 이용되는 방법을 설명하고 있다. 이는 몇몇 포맷들 아래에 있는 보조 데이터 구조(auxiliary date structure)의 페이로드 필드(payload field)를 인코딩할 수 있는 가능성을 제공한다. 특히, 사용된 포맷들은 TS102823의 섹션 5.2.2 및 5.2.4에 표기되어 있는 것들이다. 이들은 브로드캐스트 타임라인 디스크립터(Broadcast Timeline Descriptor) 및 콘텐츠 라벨링 디스크립터(Content Labelling Descriptor)이다. 브로드캐스트 타임라인 디스크립터는 인터넷 타임라인이 그의 흐름과 동일한 속도로 증가하는 선형 콘텐츠 요소이다. 그것은 타임라인의 값을 표시하는데 이용된다. 콘텐츠 라벨링 디스크립터는 식별자의 형태의 라벨(label)을 콘텐츠 요소에 연관시키는 수단이다.
즉, 보조 데이터의 패킷은 다음과 같은 데이터를 포함하고 있다: 전송 스트림 패킷 헤더 정보(Transport Stream packet header information), 기본적인 스트림 패킷 헤더 정보(Elementary Stream packet header information) 및 보조 데이터 구조. 보조 데이터 구조는 브로드캐스트 타임라인 디스크립터 및 콘텐츠 라벨링 디스크립터를 포함하고 있다.
전송 패킷의 포맷은 ISO/IEC 사양 13818-1, 섹션 2.4.3.2에 정의되어 있는 바와 같다. 보조 데이터 패킷은 적응 필드(adaptation field)를 포함하고 있지 않다. PCR은 개별 성분으로 전송되거나 또는 같은 프로그램의 오디오 또는 비디오 성분의 적응 필드로 전송된다. 전송 패킷 필드 및 값들은 다음 표에 표시되어 있다:
이름 비트의 수 연상 기호 값 코멘트
Sync_byte 8 Bslbf 0x47
Transport_error_indicator 1 Bslbf '0'
payload_unit_start_indicator 1 Bslbf '1'
transport_priority 1 Bslbf '0'
PID 13 Uimsbf
transport_scrambling_control 2 Bslbf '00' 스크램블되지 않은 TS 패킷 페이로드
adaptation_field_control 2 Bslbf '01' adaptation_field 없음
continuity_counter 4 Uimsbf
PES packet 다음 섹션에서 정의됨
기본적인 스트림 패킷의 포맷은 ISO/IEC 사양 13818-1, 섹션 2.4.3.6에 정의되어 있는 바와 같다. 이들 필드와 값들은 다음 표에 표시되어 있다:
이름 비트의 수 연상 기호 값 코멘트
packet_start_code_prefix 24 Bslbf 0x000001
stream_id 8 Uimsbf 0xBD "Private_stream_1"(*)
PES_packet_length 16 Uimsbf
'10' 2 Bslbf '10'
PES_scrambling_control 2 Bslbf '00' 스크램블되지 않음
PES_priority 1 Bslbf '0' 우선권 없음
data_alignment_indicator 1 Bslbf '1' (*)
Copyright 1 Bslbf '0' copyright 없음
original_or_copy 1 Bslbf '1' PES 패킷 페이로드는 오리지널임
PTS_DTS_flags 2 Bslbf '10' PTS 필드는 PES 패킷 헤더에 존재함
ESCR_flag 1 Bslbf '0' ESCR 필드 없음
ES_rate_flag 1 Bslbf '0' ES_rate 필드 없음
DSM_trick_mode_flag 1 Bslbf '0' trick_mode 필드 없음
additional_copy_info_flag 1 Bslbf '0' additional_copy_info 필드 없음
PES_CRC_flag 1 Bslbf '0' CRC 필드 없음
PES_extension_flag 1 Bslbf '0' PES 패킷 헤더에 확장 필드 없음
PES_header_data_length 8 Uimsbf 0x5 5 바이트의 선택적 필드
(PTS)
'0010' 4 Bslbf '0010' PTS_DTS_flags == '10'
PTS [32..30] 3 Bslbf
marker_bit 1 Bslbf '1'
PTS [29..15] 15 Bslbf
marker_bit 1 Bslbf '1'
PTS [14..0] 15 Bslbf
marker_bit 1 Bslbf '1'
Stuffing_byte Bslbf
보조 데이터 구조 다음 섹션에 정의됨
보조 데이터 구조의 포맷은 TS102823 사양, 섹션 4.5에 정의되어 있는 바와 같다. 이들 필드와 값들은 다음 표에 표시되어 있다:
이름 비트의 수 연상 기호 값 코멘트
Payload_format 4 bslbf 0x1 페이로드 필드는 0 또는 그 이상의 디스크립터로 구성됨
Reserved 3 bslbf '000'
CRC_flag 1 bslbf '0' CRC field 없음
Broadcast timeline descriptor "브로드캐스트 타임라인 디스크립터" 섹션에 정의됨
Content labeling
descriptor 		"콘텐츠 라벨링 디스크립터" 섹션에 정의됨
Payload_format 필드의 값은 페이로드 필드가 TS102823 사양, 섹션 5에 정의되어 있는 디스크립터들 중 하나임을 나타내는 0x1이고, 특히 이는 브로드 캐스트 타임라인 디스크립터를 포함하고 있다.
브로드캐스트 타임라인 디스크립터는 TS102823 사양, 섹션 5.2.2에 정의되어 있다. 이 실시예에 따르면, 브로드캐스트 타임라인은 다이렉트 타입(direct type)이고, 이는 선형이며 불연속에 종속되지 않는다. 실행 상태 필드(Running status field)의 값은 '실행중(running)'이다. 틱 포맷(tick format)은 초당 90,000 틱이다. 이들 필드와 값들은 다음 표에 표시하였다:
이름 비트의 수 연상 기호 값 코멘트
Descriptor_tag 8 Uimsbf 0x02
Descriptor_length 8 Uimsbf 0x08 이 필드의 값을 정의하는 바이트 뒤에 오는 전체 바이트의 수
Broadcast_timeline_id 8 Uimsbf
Reserved 1 Uimsbf '1'
Broadcast_timeline_type 1 Uimsbf '0' 다이렉트 인코딩
Continuity_indicator 1 Uimsbf '0'
Prev_discontinuity_flag 1 Uimsbf '0' 이전 불연속은 없음
Next_discontinuity_flag 1 Uimsbf '0' 다음 불연속은 없음
Running_status 3 Uimsbf 0x4 상태는 "실행중"임
Reserved 2 Uimsbf '11'
Tick_format 6 Uimsbf 0x11 초당 90,000 틱
Absolute_ticks 32 Uimsbf
Broadcast_timeline_info_length 8 Uimsbf 0x0 브로드캐스트 타임라인 info 없음
두 번째 실시예에 관해서, 브로드캐스트 타임라인 디스크립터는 다음의 관점에서 다르다. 실행 상태 필드의 값은 "카운트다운"이다. 이는 상기 표준에 규정되어 있지 않은 사적인 값이다. 브로드캐스트 타임라인 정보 필드의 값은 틱의 수로 프리-페치 기간(pre-fetch period)을 표시하는 'Prefetch_period_duration_ticks'이다. 'absolute_ticks' 필드는 카운터 진척을 나타낸다. 이 필드의 값과 'Prefetch_period_duration_ticks'와의 조합은 콘텐츠가 재생될 순간을 나타낼 수 있다. 그러므로, 0과 같은 값은 콘텐츠가 'Prefetch_period_duration_ticks' 틱에서 재생될 것임을 의미한다. 'Prefetch_period_duration_ticks' 값은 콘텐츠가 재생되기 시작한다는 것을 의미한다. 이들 필드와 값들은 다음 표에 표시하였다:
이름 비트의 수 연상 기호 값 코멘트
Descriptor_tag 8 Uimsbf 0x02
Descriptor_length 8 Uimsbf 0x0C 이 필드의 값을 정의하는 바이트 뒤에 오는 전체 바이트의 수
Broadcast_timeline_id 8 Uimsbf
Reserved 1 Uimsbf '1'
Broadcast_timeline_type 1 Uimsbf '0' 다이렉트 인코딩
Continuity_indicator 1 Uimsbf '0'
Prev_discontinuity_flag 1 Uimsbf '0' 이전 불연속은 없음
Next_discontinuity_flag 1 Uimsbf '0' 다음 불연속은 없음
Running_status 3 Uimsbf 0x5 상태는 "카운트다운"임
Reserved 2 Uimsbf '11'
Tick_format 6 Uimsbf 0x11 초당 90,000 틱
Absolute_ticks 32 Uimsbf
Broadcast_timeline_info_length 8 Uimsbf 0x4
Prefetch_period_duration_ticks 32 Uimsbf
콘텐츠 라벨링 디스크립터의 포맷은 TS102823 사양, 섹션 5.2.4에 정의되어 있는 바와 같다. 이들 필드와 값들은 다음 표에 표시하였다:
이름 비트의 수 연상 기호 값 코멘트
Descriptor_tag 8 Uimsbf 0x4
Descriptor_length 8 Uimsbf 이 필드의 값을 정의하는 바이트 뒤에 오는 전체 바이트의 수
Metadata_application_form
at		 16 Uimsbf 0x4444 정의된 이용자
content_reference_id_record_flag 1 Bslbf '1' content_reference_id_record가 존재
content_time_base_indicator 4 Uimsbf 0x8 DVD 브로드캐스트 타임라인의 이용
Reserved 3 Uimsbf '111'
content_reference_id_reco
rd_length		 8 Uimsbf
content_reference_id_data
Time_base_association_data_length 8 Uimsbf 0x2
Reserved 7 Uimsbf '1111111'
Time_base_mapping_flag 1 Uimsbf '0'
Broadcast_timeline_id 8 Uimsbf
content_reference_id_data 필드는 다음 표에 표시하였다:
이름 비트의 수 연상 기호
content_reference_id_data () {
for (i=0; i<N; i++) {
content_labeling_id_type
content_labeling_id_length
for (i=0; i<length; i++) {
content_labeling_id_byte
}
}
}


8
8

8


Uimsbf
Uimsbf

Uimsbf
content_labeling_id_type 필드는 식별자 타입을 규정한다. 이들 값들은 다음 표에 표시하였다:
값 설명
0 예비
1 콘텐츠 라벨링 ID는 스트링임
2 콘텐츠 라벨링 ID는 URL임
3-0xFFF 예비
content_labeling_id_length 필드는 content_labeling_id 필드의 길이를 나타낸다. content_labelinglabeling필드는 콘텐츠를 식별한다. 콘텐츠 라벨링 필드는 "디지털 비디오 브로드캐스팅(DVB); DVB 전송 스트림으로 TV-Anytime 정보의 운반 및 시그널링"에 관한 표준 ETSI TS 102 323의 섹션 12.1에 정의되어 있는 바와 같은 콘텐츠 식별자 디스크립터에서 조회될 수 있다. 이는 콘텐츠 라벨링 ID가 공표될 수 있게 해준다. 즉, 외부의 독립체가 보조 타임라인 성분을 분석하지 않고도 콘텐츠 식별자 디스크립터에 연관되어 있는 타임라인에 의해 참조된 콘텐츠를 조회할 수 있다.
RTP에 의한 전송에 관해서, 보조 데이터는 RTP 패킷의 페이로드 필드 부분에서 전송된다. 페이로드 필드는 위에서 언급한 것과 유사한 브로드캐스트 타임라인 디스크립터와 콘텐츠 라벨링 디스크립터를 포함하고 있다. RTP 패킷 필드와 값들은 다음 표에 표시되어 있다:
Figure 112013032188707-pct00001
BT desc type (8 비트): 디스크립터 타입. 값은 이 디스크립터가 브로드캐스트 타임라인 타입임을 나타내도록 0x2로 설정된다.
BT desc length (8 비트): 브로드캐스트 타임라인 descriptor_length. 이 디스크립터에 대해서, 이 필드의 값을 정의하는 바이트에 뒤이은 전체 바이트의 수를 나타냄. 값은 0x8로 설정된다.
BT Id (8 비트): 브로드캐스트 타임라인 Id.
R (1 비트): 예비, '1' 값.
T (1 비트): 브로드캐스트 타임라인 타입임. 값은 다이렉트 타입 인코딩을 나타내도록 '0'으로 설정된다.
C (1 비트): Continuity_indicator. 값은 불연속에 종속되지 않는 선형 브로드캐스트 타임라인을 나타내도록 '0'으로 설정된다.
P (1 비트): Prev_discontinuity_flag. 값은 이전의 불연속이 없음을 나타내도록 '0'으로 설정된다.
N (1 비트): Next_discontinuity_flag. 값은 미래의 불연속이 없음을 나타내도록 '0'으로 설정된다.
RS (3 비트): 실행 상태. 값은 상태가 "실행중"임을 나타내도록 "0x4"로 설정된다.
res (2 비트): 예비. 값은 '11'로 설정된다.
tick format (6 비트): tick_format. 값은 초당 90,000 틱을 나타내도록 "0x11"로 설정된다.
Absolute ticks (32 비트): 절대 틱 값.
Info length (8 비트): 값은 브로드캐스트 타임라인 info가 존재하지 않음을 나타내도록 0x0으로 설정된다.
CL desc type (8 비트): 디스크립터 타입. 값은 디스크립터가 콘텐츠 라벨링 타입임을 나타내도록 0x4로 설정된다.
CL desc length (8 비트): 콘텐츠 라벨링 디스크립터 길이. 이 디스크립터에 대해서 이 필드의 값을 정의하는 바이트를 뒤이은 전체 바이트의 수를 나타냄.
Metadata application format (16 비트): 메타데이터 응용 포맷. 값은 사용자-정의되어 있는 것임을 나타내도록 0x4444로 설정된다.
F (1 비트): 콘텐츠 참조 id 기록 플래그. 값은 이 디스크립터에 content_reference_id_record의 존재를 신호로 알려주도록 '1'로 설정된다.
CTBI (4 비트): 콘텐츠 타임 베이스 인디케이터. 값은 DVB 브로드캐스트 타임라인의 이용을 가리키도록 0x8로 설정된다.
Res (3 비트): 예비됨. 값은 '111'로 설정된다.
CRIR length (8 비트): 콘텐츠 참조 id 기록 길이. 이 필드 다음에 오는 content_reference_id의 바이트 수를 규정한다.
CLI_type (8 비트): 콘텐츠 라벨링 id 타입. 콘텐츠의 참조 식별의 타입을 규정한다.
CLI_length (8 비트): 콘텐츠 라벨링 id 길이. 콘텐츠 라벨링 id의 바이트의 수, 즉 CLI 바이트의 수로 길이를 규정한다.
CLI bytes (CLI_length 바이트): 콘텐츠를 식별하는 콘텐츠 라벨링 id.
TBAD length (8 비트): 타임 베이스 연관 데이터 길이. 0x2로 설정된다.
Reserved (7 비트): 예비. 값은 '111111'로 설정된다.
M (1 비트): 타임 베이스 매핑 플래그. 값은 외부의 타임 베이스로부터 브로드캐스트 타임라인까지 명백한 매핑이 제공되어 있지 않음을 나타내도록 '0'으로 설정된다.
BT ID (8 비트): 콘텐츠 라벨링이 참조하는 브로드캐스트 타임라인 ID.
제2 실시예에 대해서, 이전의 RTP 패킷과 비교해 보아서 다른 점들은 아래에 표현되어 있다. RTP 패킷 필드 및 값들은 다음 표에 나타나 있다:
Figure 112013032188707-pct00002
'BT desc length'필드는 브로드캐스트 타임라인 디스크립터의 길이, 특히 이 필드의 값을 정의하는 바이트를 뒤따라오는 전체 바이트의 수를 나타낸다. RS 필드는 실행 상태를 나타내고 그의 값은 'countdown'이다. info length 필드는 'broadcast timeline info' 필드의 길이를 나타낸다. Prefetch_period_duration_ticks 및 'absolute ticks'필드는 위에서 표현한 MPEG-2 TS 경우에서와 같은 의미를 갖는다.
그러므로, 타임라인은 어떤 전송 프로토콜과 네트워크가 이용되더라도 동일한 클럭에 기반을 둔다.
본 발명의 실시예들은 타이밍 참조가 서로 다른 두 개의 서로 다른 전송 프로토콜을 기반으로 한다. 당연히, 본 발명은 같은 방식으로 서로 다른 타이밍 참조에 기반을 두는 두 개의 동일한 전송 프로토콜에 적용할 수 있다. 마찬가지로, 첫 번째 실시예는 두 개의 브로드밴드 네트워크 또는 두 개의 브로드캐스트 네트워크에 기반을 둘 수 있다.
이들 실시예에서, 보조 데이터 패킷으로 전송된 동기화 데이터는 클럭들 중 한 클럭, 즉 MPEG-2 TS에 관련된 클럭에 기반을 두고 있다. 당연히, 이 동기화 데이터는 이들 전송 프로토콜의 클럭과는 관계없는 클럭에 기반을 두어도 좋다.
이들 실시예는 수신기에 기반을 두고 있다. 대안으로, 오디오 및 비디오 콘텐츠는 별개의 장비에서 렌더링될 수도 있다. 이 경우, 첫 번째 장비는 마스터(master)로서 간주된다. 이 마스터는 공통으로 렌더링된 콘텐츠에 대응하는 시간 정보(temporal information)를 두 번째 장비에 주기적으로 통신한다. 두 번째 장비의 동기화기는 이 정보를 참조로서 이용한다. 이들 두 개의 장비 간의 통신 시간은 알려져 있거나 또는 충분히 낮은 것으로 추정된다.
본 발명은 앞서 예로서 설명되었다. 본 기술 분야에서 숙련된 자이면 특허 범위를 벗어나지 않고도 본 발명에 대해 변화를 줄 수 있음은 이해되어야 한다. 특히, 본 실시예는 브로드캐스트 네트워크 및 브로드밴드 네트워크의 틀 안에 배치될 수 있고 오디오 및 비디오용으로 배치될 수 있다.

Claims (9)

  1. 제1 네트워크(6)에 대한 인터페이스(43)와 제2 네트워크(7)에 대한 인터페이스(44)를 포함하고 있는 수신 장치(4)에서 멀티미디어 데이터를 처리하는 방법으로서,
    상기 제1 네트워크로부터, 제1 전송 프로토콜을 통해서, 제1 멀티미디어 데이터를 포함하는 제1 흐름(flow)과, 콘텐츠 렌더링을 위한 타임라인과 관련된 시간 동기화 데이터를 수신하는 단계 - 상기 시간 동기화 데이터는 상기 제1 전송 프로토콜에 특정된 동기화 프로토콜을 이용하여 상기 제1 멀티미디어 데이터와 동기화된 보조 데이터 패킷들로 전송됨 -;
    상기 제2 네트워크로부터, 제2 전송 프로토콜을 통해서, 제2 멀티미디어 데이터를 포함하는 제2 흐름과, 콘텐츠 렌더링을 위한 타임라인과 관련된 시간 동기화 데이터를 수신하는 단계 - 상기 시간 동기화 데이터는 상기 제2 전송 프로토콜에 특정된 동기화 프로토콜을 이용하여 상기 제2 멀티미디어 데이터와 동기화된 보조 데이터 패킷들로 전송되며, 상기 제2 멀티미디어 데이터는, 상기 수신 장치가 상기 제2 멀티미디어 데이터를 상기 제1 멀티미디어 데이터에 동기화시켜서 렌더링할 수 있도록 상기 수신 장치의 요청에 따라서 미리 로딩(pre-loading)됨 -;
    상기 콘텐츠 렌더링을 위한 타임라인과 관련된 시간 동기화 데이터를 이용함으로써 상기 제1 및 제2 멀티미디어 데이터의 렌더링을 동기화시키는 단계
    를 포함하고,
    상기 방법은, 상기 제1 흐름을 렌더링하기 이전에,
    상기 제1 네트워크로부터, 상기 콘텐츠 렌더링을 위한 타임라인이 시작하는 때를 나타내는 카운트다운 정보를 수신하는 단계 - 상기 카운트다운 정보는 상기 제1 흐름에서 전송됨 -; 및
    상기 카운트다운 정보에 기초하여, 상기 콘텐츠 렌더링을 위한 타임라인의 시작 전에, 상기 제2 멀티미디어 데이터를 수신하기 위한 상기 요청을 발행하여, 상기 제2 멀티미디어 데이터가 상기 제1 멀티미디어 데이터와 동기화되어 렌더링되도록 하는 단계
    를 포함하는 멀티미디어 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 제1 전송 프로토콜들은 MPEG-2 TS 타입인, 멀티미디어 데이터 처리 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제2 전송 프로토콜은 RTP 타입인, 멀티미디어 데이터 처리 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 동기화시키는 단계는, 콘텐츠가 동기화되어 렌더링될 수 있을 때까지, 메모리 저장(memorization)에 의해 사전에 수신된 상기 콘텐츠를 지연시키는 단계를 포함하는, 멀티미디어 데이터 처리 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 제1 흐름은 브로드캐스트 모드에서 상기 제1 네트워크 상에서 수신되는 멀티미디어 데이터 처리 방법.
  6. 수신 장치(4)로서,
    제1 멀티미디어 데이터를 포함하는 제1 흐름과, 콘텐츠 렌더링을 위한 타임라인과 관련된 시간 동기화 데이터를 제1 전송 프로토콜을 통해서 수신하기 위한, 제1 네트워크에 대한 인터페이스(44) - 상기 시간 동기화 데이터는 상기 제1 전송 프로토콜에 특정된 동기화 프로토콜을 이용하여 상기 제1 멀티미디어 데이터와 동기화된 보조 데이터 패킷으로 전송됨 -;
    제2 멀티미디어 데이터를 포함하는 제2 흐름과, 콘텐츠 렌더링을 위한 타임라인과 관련된 시간 동기화 데이터를 제2 전송 프로토콜을 통해서 수신하기 위한, 제2 네트워크에 대한 인터페이스(43) - 상기 시간 동기화 데이터는 상기 제2 전송 프로토콜에 특정된 동기화 프로토콜을 이용하여 상기 제2 멀티미디어 데이터와 동기화된 보조 데이터 패킷으로 전송되며, 상기 제2 멀티미디어 데이터는 상기 수신 장치가 상기 제2 멀티미디어 데이터를 상기 제1 멀티미디어 데이터에 동기화시켜서 렌더링할 수 있도록 상기 수신 장치의 요청에 따라서 미리 로딩됨 -; 및
    상기 콘텐츠 렌더링을 위한 타임라인과 관련된 시간 동기화 데이터를 이용함으로써 상기 제1 및 제2 멀티미디어 데이터의 렌더링을 동기화시키고, 상기 제1 네트워크로부터, 상기 콘텐츠 렌더링을 위한 타임라인이 시작하는 때를 나타내는 카운트다운 정보를 수신하고 - 상기 카운트다운 정보는 상기 제1 흐름에서 전송됨 -, 및, 상기 카운트다운 정보에 기초하여, 상기 콘텐츠 렌더링을 위한 타임라인의 시작 이전에 상기 제2 멀티미디어 데이터를 수신하기 위한 상기 요청을 발행하여, 상기 제2 멀티미디어 데이터가 상기 제1 멀티미디어 데이터와 동기화되어 렌더링되도록 하기 위한 동기화기(46)
    를 포함하는 수신 장치(4).
  7. 제6항에 있어서, 상기 동기화시키는 것은 콘텐츠가 동기화되어 렌더링될 수 있을 때까지 메모리 저장에 의해 사전에 수신된 상기 콘텐츠를 지연시키는 것을 포함하는 수신 장치(4).
  8. 제6항 또는 제7항에 있어서, 상기 제1 흐름은 브로드캐스트 모드에서 상기 제1 네트워크 상에서 수신되는 수신 장치(4).
  9. 프로그램이 컴퓨터 상에서 실행될 때 제1항, 제2항 및 제6항 중 어느 한 항에 따른 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 판독가능한 저장 매체.
KR1020137009471A 2010-10-15 2011-10-14 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치 KR101828639B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1058421 2010-10-15
FR1058421 2010-10-15
PCT/EP2011/068016 WO2012049305A1 (en) 2010-10-15 2011-10-14 Method for synchronizing multimedia flows and corresponding device

Publications (2)

Publication Number Publication Date
KR20130138777A KR20130138777A (ko) 2013-12-19
KR101828639B1 true KR101828639B1 (ko) 2018-03-22

Family

ID=44063507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137009471A KR101828639B1 (ko) 2010-10-15 2011-10-14 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치

Country Status (8)

Country Link
US (1) US9729762B2 (ko)
EP (1) EP2628297B1 (ko)
JP (1) JP6053686B2 (ko)
KR (1) KR101828639B1 (ko)
CN (1) CN103155584A (ko)
AU (1) AU2011315435B2 (ko)
BR (1) BR112013008587B1 (ko)
WO (1) WO2012049305A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2680599A1 (en) 2012-06-29 2014-01-01 Thomson Licensing Provision of a personalized media content
EP2704449A1 (en) 2012-08-30 2014-03-05 Thomson Licensing Rendering time control
EP3013058A4 (en) * 2013-06-19 2017-02-15 LG Electronics Inc. Broadcasting transmission/reception apparatus and broadcasting transmission/reception method
JP6625318B2 (ja) * 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
JP6418162B2 (ja) * 2013-09-30 2018-11-07 ソニー株式会社 受信装置および受信方法
US10080055B2 (en) 2013-12-23 2018-09-18 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
CN105917655B (zh) * 2014-01-13 2019-07-09 Lg电子株式会社 经由一个或者多个网络发送或者接收广播内容的设备和方法
WO2015105400A1 (en) 2014-01-13 2015-07-16 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
WO2015108309A1 (en) * 2014-01-14 2015-07-23 Lg Electronics Inc. Broadcast transmission device and operating method thereof, broadcast reception device and operating method thereof
US9560421B2 (en) * 2014-03-27 2017-01-31 Samsung Electronics Co., Ltd. Broadcast and broadband hybrid service with MMT and DASH
US10897636B2 (en) * 2014-04-18 2021-01-19 Lg Electronics Inc. Broadcast signal transmitting apparatus and broadcast signal transmitting method
CN104135667B (zh) 2014-06-10 2015-06-24 腾讯科技（深圳）有限公司 一种视频异地解说同步方法、终端设备,及系统
CN104079957B (zh) * 2014-06-25 2017-09-01 广东欧珀移动通信有限公司 一种多媒体设备同步操作的方法及系统
RU2687065C2 (ru) * 2014-07-18 2019-05-07 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
JP6318953B2 (ja) * 2014-07-30 2018-05-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3032766A1 (en) 2014-12-08 2016-06-15 Thomson Licensing Method and device for generating personalized video programs
DE102015001622A1 (de) 2015-02-09 2016-08-11 Unify Gmbh & Co. Kg Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System
US10986421B2 (en) * 2017-07-03 2021-04-20 Dolby Laboratories Licensing Corporation Identification and timing data for media content
US10009862B1 (en) * 2017-09-06 2018-06-26 Texas Instruments Incorporated Bluetooth media device time synchronization
WO2019053853A1 (ja) * 2017-09-14 2019-03-21 株式会社メディアリンクス 映像切替システム
JP6504294B2 (ja) * 2018-03-23 2019-04-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6743931B2 (ja) * 2019-03-26 2020-08-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN114223211A (zh) * 2019-10-01 2022-03-22 索尼集团公司 信息处理装置和信息处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070118850A1 (en) * 2003-09-16 2007-05-24 France Telecom Television signal reception method and module
WO2008055420A1 (fr) 2006-11-09 2008-05-15 Huawei Technologies Co., Ltd. Procédé de synchronisation entre différents flux de média et un système

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069459A (ja) * 1999-06-22 2001-03-16 Matsushita Electric Ind Co Ltd カウントダウン音声作成装置、及びカウントダウン音声作成システム
US6778756B1 (en) 1999-06-22 2004-08-17 Matsushita Electric Industrial Co., Ltd. Countdown audio generation apparatus and countdown audio generation system
US6415438B1 (en) * 1999-10-05 2002-07-02 Webtv Networks, Inc. Trigger having a time attribute
US6583821B1 (en) 1999-07-16 2003-06-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
CA2313979C (en) 1999-07-21 2012-06-12 Thomson Licensing Sa Synchronizing apparatus for a compressed audio/video signal receiver
JP4407007B2 (ja) 2000-05-02 2010-02-03 ソニー株式会社 データ送信装置及び方法
US7313313B2 (en) 2002-07-25 2007-12-25 Microsoft Corporation Audio/video synchronization with no clean points
JP2004088366A (ja) * 2002-08-26 2004-03-18 Matsushita Electric Ind Co Ltd デジタル放送受信機およびデジタル放送システム
US7657645B2 (en) 2004-02-05 2010-02-02 Sharp Laboratories Of America, Inc. System and method for transporting MPEG2TS in RTP/UDP/IP
JP4718275B2 (ja) * 2005-08-26 2011-07-06 三菱電機株式会社 複数メディアの同期再生システム及び同期再生方法
EP1855402A1 (en) 2006-05-11 2007-11-14 Koninklijke Philips Electronics N.V. Transmission, reception and synchronisation of two data streams
EP1954054A1 (en) 2007-02-02 2008-08-06 Thomson Licensing System and method for transporting interactive marks
EP2073548A1 (en) 2007-12-17 2009-06-24 Alcatel Lucent Method for synchronizing at least two streams
CN102057687B (zh) * 2008-06-11 2013-06-12 皇家飞利浦电子股份有限公司 媒体流成分的同步
US8776144B2 (en) 2008-10-16 2014-07-08 Industrial Technology Research Institute Mobile TV system and method for synchronizing the rendering of streaming services thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070118850A1 (en) * 2003-09-16 2007-05-24 France Telecom Television signal reception method and module
WO2008055420A1 (fr) 2006-11-09 2008-05-15 Huawei Technologies Co., Ltd. Procédé de synchronisation entre différents flux de média et un système

Also Published As

Publication number Publication date
AU2011315435B2 (en) 2016-05-12
BR112013008587A2 (pt) 2016-07-12
CN103155584A (zh) 2013-06-12
US20130335629A1 (en) 2013-12-19
AU2011315435A1 (en) 2013-05-09
JP2013545355A (ja) 2013-12-19
KR20130138777A (ko) 2013-12-19
BR112013008587B1 (pt) 2021-09-21
WO2012049305A1 (en) 2012-04-19
EP2628297B1 (en) 2017-07-12
US9729762B2 (en) 2017-08-08
JP6053686B2 (ja) 2016-12-27
EP2628297A1 (en) 2013-08-21

Similar Documents

Publication Publication Date Title
KR101828639B1 (ko) 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치
US10129609B2 (en) Method for transceiving media files and device for transmitting/receiving using same
KR101946861B1 (ko) 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
US10349091B2 (en) Transmitting method, receiving method, transmitting device, and receiving device
CN100401784C (zh) 数字多媒体数据接收机的数据同步方法和设备
KR20130014428A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
Lim et al. New MPEG transport standard for next generation hybrid broadcasting system with IP
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
KR20170007246A (ko) 수신 장치, 및 송신 장치, 및 데이터 처리 방법
US20100262492A1 (en) Method and arrangement relating to a media structure
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP2018182617A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
EP3280147A1 (en) Method and apparatus for transmitting and receiving broadcast signal
JP2021119712A (ja) 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
CN102857812B (zh) 一种支持ts流媒体文件的容错方法及系统
Lloyd Supporting trick mode playback universally across the digital television industry
KR20140004045A (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant