KR20130078643A - Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법 - Google Patents

Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법 Download PDF

Info

Publication number
KR20130078643A
KR20130078643A KR1020110147703A KR20110147703A KR20130078643A KR 20130078643 A KR20130078643 A KR 20130078643A KR 1020110147703 A KR1020110147703 A KR 1020110147703A KR 20110147703 A KR20110147703 A KR 20110147703A KR 20130078643 A KR20130078643 A KR 20130078643A
Authority
KR
South Korea
Prior art keywords
mmt
server
packet
media entity
client
Prior art date
Application number
KR1020110147703A
Other languages
English (en)
Inventor
김성혜
서광덕
정태준
이창규
강신각
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110147703A priority Critical patent/KR20130078643A/ko
Priority to US13/714,291 priority patent/US20130173826A1/en
Publication of KR20130078643A publication Critical patent/KR20130078643A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28—Timers or timing mechanisms used in protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보 제공 방법이 개시된다. 제1 서버는 상기 제1 미디어 개체를 전송하고 상기 제2 서버는 상기 제2 미디어 개체를 전송하되, 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하고, 상기 제2 서버에서 상기 타이밍 정보 및 상기 제2 미디어 개체를 포함한 제2 패킷을 상기 클라이언트로 제공한다. 클라이언트가 이미 특정 서버로부터 실시간으로 수신하여 서비스를 받던 제1 미디어 개체와 또 다른 서버에게 새롭게 요청하여 수신한 제2 미디어 개체간의 원활한 동기화를 유지하면서 서비스를 받을 수 있다.

Description

ＭＭＴ 복합 전달 서비스에서 ＭＭＴ 패킷 스트림 동기화를 위한 ＭＭＴ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ＭＭＴ 패킷 스트림 동기화 방법{Methods of Providing Timing Information Using MMT Control layer signaling for Synchronizing MMT Packet Streams in MMT Hybrid Delivery Service and Methods of Synchronizing MMT Packet Streams in MMT Hybrid Delivery Service}
본 발명은 멀티미디어 응용 서비스를 제공하기 위한 타이밍 정보 제공 방법 및 동기화 방법에 관한 것으로서, 보다 구체적으로 하나의 서비스를 구성하는 복수의 미디어 개체들이 각기 다른 서버에서 전송되는 복합 전달 서비스(Hybrid delivery service)에서 멀티미디어 응용 서비스를 제공하기 위한 타이밍 정보 제공 방법 및 동기화 방법에 관한 것이다.
MMT (MPEG Media Transport)는 MPEG(Moving Picture Experts Group) 시스템 분과 (systems sub-working group) 에서 개발을 시작한 새로운 미디어 전송 표준 기술이다.
기존의 MPEG-2 시스템은 방송망에서 AV(Audio Video) 콘텐츠를 전송하기 위해 필요한 패킷화, 동기화, 멀티플렉싱 등의 기능에 대한 표준으로 MPEG-2 TS(transport stream) 기술을 표준화했고 현재 널리 쓰여지고 있다. 그러나, 네트워크가 IP (Internet Protocol) 기반인 패킷 전송 환경에서 MPEG-2 TS는 비효율적이다.
이에 ISO/IEC/JTC1/SC29/WG 11 MPEG에서는 새로운 미디어 전송환경과 앞으로 예상되는 미디어 전송환경을 고려하여 새로운 미디어 전송 표준의 필요성을 인식하게 되었고, MMT 표준화를 시작하게 되었다.
2011년 6월 현재 MPEG에서 진행중인 MMT에 대한 표준화는 TuC (Technology under Consideration) 문서와 WD (Working Draft) version 2.0 ISO/IEC/JTC1/SC29/WG 11 N11953: "Working Draft of MPEG Media Transport," 2011.3, 제네바, 스위스)까지 발표되었다.
MMT(MPEG Media Transport) 서비스에서는 이종망 환경을 통해서 서로 다른 서버들을 활용하여 서로 다른 채널 혹은 네트워크를 통해 복수의 미디어 데이터를 하나의 클라이언트 장치로 전달할 수 있다. 이러한 복합 전달(Hybrid delivery) 환경의 경우에 클라이언트 장치는 수신한 복수개의 미디어 스트림들을 통합된 형태로 동기화를 맞추면서 서비스할 수 있어야 한다.
그러나, 각기 다른 이종망 환경에서 전송된 복수개의 미디어 개체들을 클라이언트 장치에서 수신한 복수개의 미디어 개체들을 하나의 통합된 형태로 서비스하기 위한 동기화 방법이 제공되지 않고 있다.
즉, 기존에 활용되는 미디어 동기화 기법인 MPEG-2 시스템의 DTS(decoding timestamp), PTS(presentation timestamp), PCR(program clock reference) 기반의 타이밍 모델과 RTP 타임스탬프 기반의 타이밍 모델로는 복합 전달(Hybrid delivery) 환경에서의 미디어 서비스를 위한 미디어간의 효과적인 동기화를 제공하기 어렵다.
특히, 이미 서버의 저장장치에 저장되어 있는 MMT 데이터를 현재 MMT 미디어 스트림이 서비스 되고 있는 채널과는 다른 채널을 통해서 전송할 경우에 현재 서비스 되는 MMT 스트림과 동기화를 맞추어 서비스를 실시하기 위해 필요한 시그널링 방법은 현재까지 제시된 바가 없다.
이종의 (heterogeneous) 네트워크 환경에 속한 서로 다른 서버들로부터 복수개의 미디어 데이터들이 전달될 경우에 종래의 MPEG-2 시스템에서 제공하는 DTS, PTS, PCR 기반의 타이밍 모델을 적용할 경우의 문제점은 다음과 같다.
DTS, PTS, PCR 클럭 값들은 모두 특정 전송 서버에서 채택하는 로컬 (local) STC (system time clock)에 맞추어 그 값이 생성된다. 만약 A라는 서버의 로컬 STC로부터 어떤 미디어 스트림을 위한 DTS, PTS, PCR 클럭 값들이 생성이 되고 있고, 이 스트림과 동기화가 필요한 또 다른 스트림을 위한 DTS, PTS, PCR 클럭 값들이 B라는 서버의 로컬 STC에서 생성이 될 경우, 서로 다른 STC를 사용하는 서로 다른 서버에서 생성된 스트림들이 공통적으로 활용할 수 있는 시간 정보가 없게 된다. 따라서, MPEG-2 시스템의 타이밍 모델로는 서로 다른 서버에서 생성되어 전송되는 스트림 간의 동기화를 맞추기가 불가능하다.
한편, RTP 프로토콜 기반의 전송 서비스의 경우 RTP 타임스탬프와 NTP 타임스탬프를 활용하여 실시간 미디어 스트림 간에 동기화를 제공할 수 있으나, 실시간 서비스 도중에 발생하는 NTP 타임스탬프 정보를 활용하는 원리이므로, 이미 서버의 저장장치에 저장되어 있는 미디어 데이터를 다른 서버에 의해 실시간으로 서비스 되고 있는 또 다른 스트림과 동기를 맞추는 것은 사실상 불가능하다.
본 발명의 제1 목적은 복합 전달 서비스(Hybrid delivery service) 환경하에서 원활한 멀티미디어 응용 서비스를 제공하기 위하여 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보 제공 방법을 제공하는 것이다.
또한, 본 발명의 제2 목적은 복합 전달 서비스(Hybrid delivery service) 환경하에서 원활한 멀티미디어 응용 서비스를 제공하기 위하여 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화 방법을 제공하는 것이다.
또한, 본 발명의 제3 목적은 복합 전달 서비스(Hybrid delivery service) 환경하에서 원활한 멀티미디어 응용 서비스를 제공하기 위하여 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보를 제공하는 서버에 관한 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보 제공 방법은 상기 제1 서버는 상기 제1 미디어 개체를 전송하고 상기 제2 서버는 상기 제2 미디어 개체를 전송하되, 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계와, 상기 제2 서버에서 상기 타이밍 정보 및 상기 제2 미디어 개체를 포함한 제2 패킷을 상기 클라이언트로 제공하는 단계를 포함한다. 상기 타이밍 정보는 MMT C.2 계층의 제어 메시지에 포함시켜 상기 클라이언트로 제공될 수 있다. 상기 클라이언트에서는 상기 제1 서버로부터 최초로 수신한 MMT 패킷의 NTP(network time protocol) 타임스탬프 값 NTP0와, 상기 클라이언트에 도착한 상기 제1 서버로부터 전송된 제1 미디어 개체를 포함한 제1 패킷에 대해 상기 제2 미디어 개체에 대한 전송 요청을 하는 시점에서의 NTP 타임스탬프 NTPcur와, 향후 새롭게 수신할 예정인 상기 제2 미디어 개체와 동기화가 이루어지게 될 시점에서의 NTP 타임스탬프 NTPsyn를 하기의 수학식
Figure pat00001
-여기서,
Figure pat00002
는 상기 클라이언트에서의 상기 제2 미디어 개체로의 전환 요청 후에 상기 제2 미디어 개체를 포함하는 제2 패킷이 상기 제2 서버로부터 전송되어 상기 클라이언트에 도착할 때까지 예상되는 지연시간임-에 의하여 산출될 수 있다. 상기 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계는 상기 제2 서버에서 상기 제2 미디어 개체 서비스의 최초 시작 시간(Original start time)과 실제 시작 시간(Actual start time)간의 시간적 차이값인 Start_Time_Offset을 하기의 수학식
Figure pat00003
에 의하여 UTC(universal time coordinated) 시간 포맷으로 산출하는 단계를 더 포함할 수 있다. 상기 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계는 상기 Start_Time_Offset을 상기 제2 서버의 STC(System Time Clock)의 SCF(System Clock Frequency) 정밀도로 환산한 Start_Clock_Offset 값을 하기의 수학식
Figure pat00004
에 의하여 산출하는 단계를 더 포함할 수 있다. 상기 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계는 상기 Start_Clock_Offset 값에 해당하는 MMT 데이터의 시간적 위치를 파악하기 위해서 상기 제2 미디어 개체의 실제 서비스 시작 시간에 해당되는 샘플링 시간 STk를 하기의 수학식
Figure pat00005
-여기서, ST0는 상기 제2 미디어 개체의 최초 서비스 시작 시간에 해당되는 샘플링 시간임-에 의하여 산출하는 단계를 더 포함할 수 있다. 상기 제2 서버는 상기 제2 미디어 개체의 실제 서비스 시작 시간에 해당되는 NTP 타임 스탬프를 MMT C.2 계층의 제어 메시지에 포함시켜 상기 클라이언트로 제공될 수 있다. 상기 제2 서버는 광대역(broadband) 채널을 통해서 부가 정보를 포함하는 데이터를 전달하는 부가 정보 서버이고, 상기 제1 서버는 방송 채널(broadcast) 채널을 통해서 방송 컨텐츠를 포함하는 데이터를 전달하는 프로그램 스트림 서버가 될 수 있다.
또한, 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화 방법은 상기 클라이언트에서 상기 제1 서버로부터 제1 망을 통하여 수신한 제1 미디어 개체를 재생하는 도중에 제2 미디어 개체에 대한 전송을 제2 망을 통하여 상기 제2 서버로 요청하는 단계와, 상기 클라이언트에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 상기 제2 서버로부터 수신하는 단계와, 상기 클라이언트에서 상기 타이밍 정보를 이용하여 상기 제1 미디어 개체를 포함하는 제1 패킷과 상기 제2 미디어 개체를 포함하는 제2 패킷간의 동기화 여부를 판단하는 단계를 포함한다. 상기 클라이언트에서는 MMT C.2 계층의 제어 메시지에 포함된 상기 타이밍 정보를 상기 제2 서버로부터 수신할 수 있다. 상기 클라이언트에서는 상기 제1 서버로부터 최초로 수신한 MMT 패킷의 NTP(network time protocol) 타임스탬프 값 NTP0와, 상기 클라이언트에 도착한 상기 제1 서버로부터 전송된 제1 미디어 개체를 포함한 제1 패킷에 대해 상기 제2 미디어 개체에 대한 전송을 요청을 하는 시점에서의 NTP 타임스탬프 NTPcur와, 향후 새롭게 수신할 예정인 상기 제2 미디어 개체와 동기화가 이루어지게 될 시점에서의 NTP 타임스탬프 NTPsyn를 하기의 수학식
Figure pat00006
-여기서,
Figure pat00007
는 상기 클라이언트에서의 상기 제2 미디어 개체로의 전환 요청 후에 상기 제2 미디어 개체를 포함하는 제2 패킷이 상기 제2 서버로부터 전송되어 상기 클라이언트에 도착할 때까지 예상되는 지연시간임-에 의하여 산출할 수 있다. 상기 클라이언트에서 상기 타이밍 정보를 이용하여 상기 제1 미디어 개체를 포함하는 제1 패킷과 상기 제2 미디어 개체를 포함하는 제2 패킷간의 동기화 여부를 판단하는 단계는 상기 제1 패킷의 제1 절대 시간 정보(Absolute_Presentation_Time) 및 상기 제2 패킷의 제2 절대 시간 정보(Absolute_Presentation_Time)의 차이값이 상기 기준 값보다 작은 경우에 동기화가 가능하다고 판단하여 상기 제1 및 제2 패킷을 함께 재생할 수 있다.
또한, 본 발명의 제3 목적을 달성하기 위한 본 발명의 일 측면에 따른 복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보를 제공하는 서버는 제1 서버는 상기 제1 미디어 개체를 전송하고 상기 제2 서버는 상기 제2 미디어 개체를 전송하되, 상기 제2 서버는 클라이언트로부터의 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 미디어 개체를 포함한 패킷과 제1 미디어 개체를 포함한 패킷간의 동기화를 위한 타이밍 정보를 생성하는 타이밍 정보 생성부와, 상기 제2 미디어 개체를 포함한 패킷을 패킷화하여 생성하는 MMT 패킷 생성부와, 상기 생성된 제2 미디어 개체를 포함한 패킷을 클라이언트로 전송하는 MMT 패킷 전송부를 포함한다. 상기 타이밍 정보 생성부는 상기 타이밍 정보를 MMT C.2 계층의 제어 메시지에 포함시켜 상기 클라이언트로 전송할 수 있다.
MMT(MPEG 미디어 전송) 시스템 기반의 복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 채널 또는 망을 통해 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보 제공 방법 및 패킷 스트림간의 동기화 방법에 따르면, 하나의 서비스를 구성하는 복수의 미디어 개체들이 각기 다른 서버에서 전송되는 복합 전달 서비스(Hybrid delivery service)의 경우, MMT(MPEG Media Transport) 기술의 계층 구조에서 채택하고 있는 MMT C.2 계층에서의 시그널링을 통하여 MMT 시스템 기반의 복합 전달 서비스에서의 서로 다른 미디어 개체들간의 동기화를 제공하는데 필요한 타이밍 정보를 클라이언트와 서버가 상호 교환한다. 따라서, 상기 교환된 정보를 바탕으로 서버는 서버에 저장된 MMT 미디어 데이터로부터 클라이언트가 요청한 서비스 시작 시점에 해당하는 미디어 데이터의 위치를 파악하게 되고, 상기 미디어 데이터 위치부터 순차적으로 클라이언트에게 전송 서비스를 실시할 수 있다.
그 결과, MMT 시스템 기반의 복합 전달 서비스 (Hybrid delivery service) 환경에서 클라이언트가 이미 특정 서버로부터 실시간으로 수신하여 서비스를 받던 제1 미디어 데이터와, 또 다른 서버에게 새롭게 요청하여 수신한 제2 미디어 데이터 사이에 원활한 동기화를 유지하면서 서비스를 받을 수 있다.
즉, 여러 개의 MMT 패킷 스트림(packet stream)들이 각기 다른 서버로부터 서로 다른 채널 또는 네트워크를 통해 전송되더라도 MMT 패킷 스트림을 수신하는 MMT 클라이언트가 복수개의 MMT 패킷 스트림들을 시간적으로 서로 동기화하여 화면에 동시에 출력할 수 있다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 2는 MMT 복합 전달 서비스 환경에서 본 발명의 일실시예에 따른 복수의 서버와 MMT 수신 시스템을 구비한 MMT 클라이언트간의 데이터 교환 절차를 나타낸 흐름도이다.
도 3은 도 2의 제1 서버(프로그램 스트림 서버)가 MMT 클라이언트 장치에게 전송하는 MMT 패킷 스트림과 MMT 패킷에 포함된 NTP 타임스탬프 정보를 나타낸다.
도 4는 제1 서버(프로그램 스트림 서버)가 전송하는 영화에 관련된 MMT 패킷에 대해여 MMT 클라이언트 장치에서 새로운 SDH 자막을 요청하는 시점에서의 NTP 타임스탬프 (NTPcur)와 향후 새롭게 수신할 예정인 SDH 자막과 동기화가 이루어지게 될 시점에서의 NTP 타임스탬프 (NTPsyn)간의 관계를 나타낸다.
도 5는 제2 서버(부가 정보 서버)에 MMT의 저장 포맷으로 저장된 SDH 자막 데이터와 MMT 클라이언트 장치로부터 요청된 SDH 자막 데이터를 제2 서버(부가 정보 서버)에서 MMT 패킷에 실어서 전송할 때 제2 서버(부가 정보 서버)에서 고려되어야 할 MMT 데이터들 간의 타이밍 관계를 나타낸다.
도 6은 도 2의 P 과정을 구체적으로 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 타이밍정보를 제공하는 서버의 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 MMT 계층 구조를 나타낸 개념도이다.
도 1을 참조하면, MMT 계층은 캡슐화 계층(Encapsulation layer), 전달 계층(Delivery layer) 및 제어 계층(Control layer)의 기능 영역(functional area)을 포함한다. MMT 계층은 전송 계층(Transport layer) 위에서 동작한다.
캡슐화 계층(Encapsulation layer; E-layer)은 예를 들어 전송되는 미디어의 패킷화(packetization), 프래그먼테이션(Fragmentation), 동기화(Synchronization), 멀티플렉싱(Multiplexing)등의 기능을 담당할 수 있다.
캡슐화 계층(E-layer)은, 도 1에 도시된 바와 같이, MMT E.1 계층(MMT E.1 Layer), MMT E.2 계층(MMT E.2 Layer) 및 MMT E.3 계층(MMT E.3 Layer)으로 구성될 수 있다.
E.3 계층은 미디어 코덱(A) 계층으로부터 제공된 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)를 캡슐화하여 M-유닛(M-Unit)을 생성한다.
MFU는 미디어 디코더에서 독립적으로 소비될 수 있는 데이터 유닛을 싣을 수 있는, 임의의 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다. MFU는 예를 들어 비디오의 픽춰(picture) 또는 슬라이스(slice)가 될 수 있다.
M-유닛은 하나 또는 복수의 MFU 로 구성될 수 있으며, 하나 또는 복수의 액세스 유닛(Access Unit)을 싣을 수 있는, 특정 코덱(codec)에 독립적인, 포맷을 가질 수 있다.
E.2 계층은 E.3계층에서 생성된 M-유닛을 캡슐화하여 MMT 애셋(MMT Asset)을 생성한다.
MMT 애셋은 단일의 데이터 소스로부터의 하나 또는 복수의 M-유닛으로 이루어진 데이터 엔티티(data entity)로서, 컴포지션 정보(composition information) 및 전송 특성(transport characteristics)이 정의된 데이터 유닛이다. MMT 애셋은 PES(packetized elementary streams)에 대응될 수 있으며, 예를 들어 비디오, 오디오, 프로그램 정보(program information), MPEG-U 위젯(widget), JPEG 이미지, MPEG 4 파일 포맷(File Format), M2TS(MPEG transport stream)등에 대응될 수 있다.
E.1 계층(E.1 Layer)은 E.2 계층에서 생성된 MMT 애셋을 캡슐화하여 MMT 패키지(MMT Package)를 생성한다.
MMT 패키지는 콤포지션 정보(composition information) 및 전송 특성(transport characteristics)과 같은 부가 정보와 함께 하나 또는 복수의 MMT 애셋으로 구성될 수 있다. 콤포지션 정보(composition information)는 MMT 애셋들 사이의 관계(relationship)에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 전송 특성(transport characteristics)은 MMT 애셋 또는 MMT 패킷의 전송 조건(delivery condition)을 결정하기 위해 필요한 전송 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. MMT 패키지는 MPEG-2 TS의 프로그램(Program)에 대응될 수 있다.
전달 계층(Delivery layer)은 예를 들어 네트워크를 통해 전송되는 미디어의 네트워크 플로우 멀티플렉싱(Network flow multiplexing), 네트워크 패킷화(Network packetization), QoS 제어 등을 수행할 수 있다.
전달 계층 (D-layer)은, 도 1에 도시된 바와 같이, MMT D.1 계층(MMT D.1 Layer), MMT D.2 계층(MMT D.2 Layer) 및 MMT D.3 계층(MMT D.3 Layer)으로 구성될 수 있다.
D.1 계층(D.1-layer)은 E.1 계층에서 생성된 MMT 패키지를 받아서 MMT 페이로드 포맷(MMT Payload format)을 생성한다. MMT 페이로드 포맷은 MMT 애셋을 전송하고, 그리고 MMT 애플리케이션 프로토콜 또는 RTP와 같은 다른 기존의 애플리케이션 전송 프로토콜에 의한 소비를 위한 정보를 전송하기 위한 페이로드 포맷이다. MMT 페이로드는 AL-FEC와 같은 정보와 함께 MFU의 프래그먼트를 포함할 수 있다.
D.2 계층(D.2-layer)은 D.1 계층에서 생성된 MMT 페이로드 포맷을 받아서 MMT 전송 패킷(MMT Transport Packet) 또는 MMT 패킷(MMT Packet)를 생성한다. MMT 전송 패킷 또는 MMT 패킷은 MMT를 위한 애플리케이션 전송 프로토콜에 사용되는 데이터 포맷이다.
D.3 계층(D.3-layer)은 교차 계층 설계(cross-layer Design)에 의해 계층간에 정보를 교환할　수 있는 기능을 제공하여 QoS를 지원한다. 예를 들어, D.3 계층은 MAC/PHY 계층의 QoS 파라미터를 이용하여 QoS 제어를 수행할 수 있다.
제어 계층(Control layer)은 예를 들어 전송되는 미디어의 세션 초기화/제어/관리(session initialization/control/management), 서버 기반 및/또는 클라이언트 기반의 트릭 모드, 서비스 디스커버리(Service discovery), 동기화(Synchronization) 기능 등을 수행할 수 있다.
제어 계층 (C-layer)은, 도 1에 도시된 바와 같이, MMT C.1 계층(MMT C.1 Layer) 및 MMT C.2 계층(MMT D.2 Layer)으로 구성될 수 있다.
C.1 계층은 서비스 디스커버리(Service discovery), 미디어의 세션 초기화/종료(media session initialization/termination), 미디어의 세션 표현/제어(media session presentation/control), 전달(D) 계층 및 캡슐화(E) 계층과의 인터페이스 기능 등을 수행할 수 있다. C.1 계층은 미디어 표현 세션 관리(presentation session management)를 위한 애플리케이션들간의 제어 메시지들의 포맷을 정의할 수 있다.
C.2 계층은 흐름 제어(flow control), 전달 세션 관리(delivery session management), 전달 세션 모니터링(delivery session monitoring), 에러 제어(error control), 하이브리드망 동기화 제어(Hybrid network synchronization control)에 관한 전달 계층(D-layer)의 전달 엔드-포인트들(delivery end-points)간에 교환되는 제어 메시지의 포맷을 정의할 수 있다.
C.2 계층은 전달 계층의 동작을 지원하기 위하여 전달 세션 설정 및 해제(delivery session establishment and release), 전달 세션 모니터링, 흐름 제어, 에러 제어, 설정된 전달 세션에 대한 리소스 예약, 복합 전달 환경하에서의 동기화를 위한 시그널링, 적응적 전달(adaptive delivery)를 위한 시그널링을 포함할 수 있다. 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 즉, C.2 계층은 전술한 바와 같은 전달 계층의 동작을 지원하기 위하여 송신측(sender)와 수신측(receiver)간에 필요한 시그널링을 제공할 수 있다. 또한, C.2 계층은 전달 계층 및 캡슐화 계층과의 인터페이스 기능을 담당할 수 있다.
특히, C.2 계층은 복합 전달 환경하에서의 제1 서버로부터 제1 망을 통하여 전달된 패킷 스트림과 제2 서버로부터 제1 망을 통하여 전달된 패킷 스트림간의 동기화를 위한 타이밍 정보를 C.2 계층의 제어 메시지에 포함되도록 구성하여 제1 서버로부터 전달된 패킷 스트림과 제2 서버로부터 전달된 패킷 스트림을 동기화되도록 제어할 수 있다. 즉, 서버에서 클라이언트 장치로 사용자가 요청한 최초의 MMT 패킷을 전달할 때, 최초의 MMT 데이터 패킷이 전달되기 전에 동기화를 위한 타이밍 정보를 C.2 계층의 제어 메시지에 포함시켜서 서버에서 클라이언트 장치로 전송하는 대역외(Out-of-band) 시그널링 방식을 사용할 수 있다. 또한, 클라이언트 장치가 서버로부터 첫 번째 MMT 패킷을 수신한 이후에 복수개의 미디어 개체간 동기화가 필요할 경우에 서버로부터 수신했던 타이밍 정보를 이용하여 복합 전달 환경하에서 이종망을 통해서 전달된 복수개의 미디어 개체간 동기화를 확인하고 처리할 수 있다.
상기 타이밍 정보는 예를 들어 도 1에 도시된 MMT C 계층(Control layer)의 제어 메시지에 포함시켜 전송될 수 있다. 구체적으로, 상기 타이밍 정보는 도 1에 도시된 MMT C.2 계층의 제어 메시지 또는 MMT C.1 계층의 제어 메시지에 포함시켜 전송될 수도 있다.
MMT 패킷을 수신하는 클라이언트에서는 상기 타이밍 정보를 활용하여 서로 다른 복수의 서버로부터 전송되는 각 미디어 개체의 동기화를 위한 각 미디어 개체의 절대 시간 정보를 산출함으로써 이종망 환경에서 서로 다른 복수의 서버로부터 전달된 각 미디어 개체에 대한 동기화를 이룰 수 있다.
도 2는 MMT 복합 전달 서비스 환경에서 본 발명의 일실시예에 따른 복수의 서버와 MMT 수신 시스템을 구비한 MMT 클라이언트간의 데이터 교환 절차를 나타낸 흐름도이다.
구체적으로, 도 2는 하나의 서비스를 구성하는 복수의 미디어 개체들이 각기 다른 복수의 서버에서 전달되는 복합 전달 서비스(Hybrid delivery service) 환경하에서 복수의 서버와 MMT 클라이언트간 데이터 교환 절차를 예시적으로 나타낸 것으로서, 도 2에서는 상기 복수의 서버가 제1 서버(210) 및 제2 서버(250)의 2개의 서버인 경우를 예를 들어 나타낸 것이지만, 본 발명은 3개의 서로 다른 서버와 클라이언트간 데이터 교환이 이루어지는 경우도 적용이 가능함은 물론이다.
여기서, 제1 서버(210)는 프로그램 스트림 서버(Program stream server)이고, 제2 서버(250)는 부가 정보 서버(Supplemental information server)가 될 수 있다. 또는, 제1 서버(210)는 3D 좌측 영상을 제공하는 서버이고, 제2 서버(250)는 3D 우측 영상을 제공하는 서버가 될 수도 있으나 이에 한정되는 것은 아니며, 제1 서버와 제2 서버는 서로 다른 지연 특성을 가진 망을 통하여 서로 다른 미디어 개체를 전송하는 서버가 될 수 있다.
이하, 도 2를 참조하여 MMT 패킷을 수신하는 MMT 클라이언트(230)와 프로그램 스트림 서버(210) 및 부가 정보 서버(250)간에 데이터 교환 절차를 예를 들어 본 발명의 일실시예에 따른 MMT 복합 전달 서비스에서 ＭＭＴ 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법을 설명한다.
이하에서는, 제1 서버(210)는 프로그램 스트림 서버로서 방송(broadcast) 망 또는 방송(broadcast) 채널을 통해서 외국 영화와 같은 방송 컨텐츠등의 데이터를 MMT 클라이언트(230)에게 전달하고, 제2 서버(250)는 부가 정보 서버로서 IP 망과 같은 광대역(broadband) 망 또는 광대역(broadband) 채널을 통해서 상기 외국 영화의 SDH(Subtitles for the deaf and hard-of-hearing)자막(수화 자막)과 같은 부가 정보를 MMT 클라이언트(250)에게 전달하는 경우를 예로 들어 설명한다.
먼저, MMT 클라이언트(230)가 외국 영화(foreign language movie)와 기본 자막(basic subtitle)을 요청하는 메시지(231)를 제1 서버(210)로 전송한다.
제1 서버(210)는 상기 요청한 외국 영화와 기본 자막을 각각의 MMT 패킷으로 패킷화하여 상기 요청한 외국 영화와 기본 자막을 포함하는 MMT 패킷을 생성(단계 211)하여 MMT 클라이언트(230)로 전송한다. 이때, 각 MMT 패킷은 도 2에 도시된 바와 같이 영화를 포함한 제1 MMT 패킷(213-1)과 자막을 포함한 제2 MMT 패킷(215)으로 따로 생성되어 스트리밍 형태로 전송될 수 있다.
상기 MMT 패킷들(213-1, 215)을 수신한 MMT 클라이언트(230)는 상기 수신한 MMT 패킷들(213-1, 215)을 디팩킹(depacking 또는 depacketize)하여 영화 영상과 자막을 동기화하여 재생한다(단계 233).
사용자가 SDH 자막 시청을 요구하게 되면(단계 235), MMT 클라이언트 장치(230)는 SDH 자막 요청 메시지(237)를 제2 서버(250)로 전송한다.
상기 SDH 자막 요청 메시지를 수신한 제2 서버(250)는 Start_Clock_Offset과 STk 값을 계산하여 타이밍 정보를 생성한다(단계 251). 여기서, Start_Clock_Offset은 MMT 클라이언트 장치(230)로부터 요청받은 미디어 개체(SDH 자막 데이터)의 최초의 서비스 시작 시점(Original start time)과 실제 서비스 시작 시점(Actual start time)간의 시간적 차이값인 Start_Time_Offset을 각 MMT 저장 데이터의 헤더 부분에 포함되어 있는 샘플링 시간과 동일한 클럭 (clock)단위로 환산한 결과값이다. STk 값은 MMT 저장 데이터의 헤더에 기록되어 있는 샘플링 시간(Sampling Time)으로서 실제 SDH 자막 서비스의 실제 서비스 시작 시간인 샘플링 시간이다.
제2 서버(250)는 MMT C 계층의 제어 메시지-예를 들어 MMT C.2 계층의 제어 메시지-에 상기 타이밍 정보를 포함시켜 MMT 클라이언트 장치(230)로 전송한다(단계 253).
제2 서버(250)는 MMT 클라이언트 장치(230)로부터 요청받은 SDH 자막을 MMT 패킷화하여 SDH 자막을 포함하는 제2 MMT 패킷을 생성한다(단계 257).
제2 서버(2350)는 SDH 자막을 포함한 MMT 패킷을 MMT 클라이언트 장치(230)로 전송한다(단계 259).
제2 서버(350)는 SDH 자막을 포함하는 제2 MMT 패킷을 전송하기 전에 상기 C 계층의 제어 메시지상에 상기 타이밍 정보를 포함시켜 MMT 클라이언트 장치(330)로 전달할 수 있다. 도 2에서는 C 계층의 제어 메시지를 MMT 클라이언트 장치(330)로 전달하는 단계(253)가 SDH 자막을 포함하는 제2 MMT 패킷을 생성하는 단계(257) 보다 먼저 진행되는 것으로 도시하였으나, C 계층의 제어 메시지를 MMT 클라이언트 장치(330)로 전달하는 단계(253)는 SDH 자막을 포함하는 제2 MMT 패킷을 생성하는 단계(257) 이후에 SDH 자막을 포함하는 제2 MMT 패킷을 전송하기 전에 진행될수도 있다.
MMT 클라이언트 장치(230)에서는 두 미디어 개체의 동기화 여부를 판단한다(단계 239). 구체적으로 MMT 클라이언트 장치(230)는 제1 서버(210)로부터 스트리밍된 미디어 개체 1(외국 영화)에 대한 i 번째 MMT 패킷과 제2 서버(250)으로부터 전송된 미디어 개체 2(SDH 자막)에 대한 j 번째 MMT 패킷의 각각의 APT(Absolute_Presentation_Time)값을 통해서 두 미디어 개체간의 동기화 여부를 판단할 수 있다.
즉, MMT 클라이언트 장치(230)에서는 제1 서버(210) 및 제2 서버(250)과 같이 서로 다른 서버들로부터 서로 다른 망 또는 채널을 통하여 전달된 복수 개의 MMT 패킷을 동기화시키기 위해서 각각의 망 또는 채널에 대해서 수신한 MMT 패킷의 APT를 계산하고, MMT 클라이언트 장치(230)에서는 상기 구한 각각의 APT들의 차이 값을 동기화의 시간적 정밀도를 고려하여 적절하게 설정된 기준 값(
Figure pat00008
값)과 비교하여 동기화 되었는지 여부를 판단한다. 즉, MMT 클라이언트(230)는 제1 서버(210)로부터 수신한 i 번째 MMT 패킷과 제2 서버(250)로부터 수신한 j 번째 MMT 패킷의 각각의 APT 값을 구하여 두 값의 차이 값이 동기화의 시간적 정밀도를 나타내는
Figure pat00009
값보다 작은 경우에 동기화가 가능하다고 판단하여 두 MMT 패킷을 함께 재생한다. 두개의 APT 값의 차이 값이
Figure pat00010
값보다 크다면 차이 값이
Figure pat00011
값보다 작은 값을 만족하는 MMT 패킷 조합을 찾아서 재생할 수 있다. 이때,
Figure pat00012
값은 동기화 경계(synchronization bound)를 나타내며, 동기화 정밀도를 고려하여 적절한 값으로 결정할 수 있다. 만약,
Figure pat00013
값이 0인 경우는 두 MMT 스트림간의 완벽한 동기화가 요구되는 경우에 사용될 수 있으며, 이를 위해서는 서로 다른 서버에서 전송되는 두개의 MMT 스트림이 동일한 해상도의 STC를 기반으로 작동할 경우에 가능하다.
Figure pat00014
값이 0인 경우는 예를 들어 완벽한 동기화가 요구되는 3D 영상의 좌측 영상에 대한 MMT 스트림과 우측 영상에 대한 MMT 스트림간의 동기화의 경우에 사용될 수 있다.
MMT 클라이언트 장치(230)에서는 상기 동기화 여부 판단 결과, 동기화가 되었다고 판단된 경우 제1 서버(210)로부터 수신한 외국 영화를 포함한 제1 MMT 패킷(213-2)과 제2 서버(250)로부터 수신한 SDH 자막을 포함한 MMT 패킷(259)를 각각 디팩킹(depacking 또는 depacketizing)하여 제1 서버(210)로부터 수신한 스트림과 제2 서버(250)로부터 수신한 자막 데이터를 동기화하여 외국 영화 및 SDH 자막을 동기가 맞도록 재생한다(단계 241).
도 3은 도 2의 제1 서버(프로그램 스트림 서버)가 MMT 클라이언트 장치에게 전송하는 MMT 패킷 스트림과 MMT 패킷에 포함된 NTP 타임스탬프 정보를 나타낸다. 도 4는 제1 서버(프로그램 스트림 서버)가 전송하는 영화에 관련된 MMT 패킷에 대해여 MMT 클라이언트 장치에서 새로운 SDH 자막을 요청하는 시점에서의 NTP 타임스탬프 (NTPcur)와 향후 새롭게 수신할 예정인 SDH 자막과 동기화가 이루어지게 될 시점에서의 NTP 타임스탬프 (NTPsyn)간의 관계를 나타낸다. 도 5는 제2 서버(부가 정보 서버)에 MMT의 저장 포맷으로 저장된 SDH 자막 데이터와 MMT 클라이언트 장치로부터 요청된 SDH 자막 데이터를 제2 서버(부가 정보 서버)에서 MMT 패킷에 실어서 전송할 때 제2 서버(부가 정보 서버)에서 고려되어야 할 MMT 데이터들 간의 타이밍 관계를 나타낸다. 도 6은 도 2의 P 과정을 구체적으로 나타낸 흐름도이다.
이하, 도 3 내지 도 6을 참조하여, 도 2의 사용자에 의한 SDH 자막 시청 요구에 대하여 제1 서버로부터 전송된 외국 영화를 포함한 제1 ＭＭＴ 패킷과 제2 서버로부터 전송되는 SDH를 포함하는 제2 MMT 패킷간의 동기화를 위한 타이밍 정보 제공 방법을 구체적으로 설명한다.
먼저, 도 6을 참조하면, 사용자가 SDH 자막 시청을 요구하게 되면 MMT 클라이언트 장치(230)는 SDH 자막으로 스위칭할 것을 결정하고(단계 235a), MMT 클라이언트 장치(230)는 하기의 수학식 1에 의하여 MMT 클라이언트 장치(230)에 제1 서버(210, 프로그램 스트림 서버)로부터 최초로 도착한 MMT 패킷(MMT0)에 대한 NTP 타임스탬프 값 NTP0(312-0)과 상기 SDH 자막 데이터가 제2 서버(250, 부가 정보 서버)로부터 MMT 클라이언트 장치(230)로 전송될 경우의 예상 지연 시간(
Figure pat00015
)을 이용하여 동기화를 위한 예상 NTP 타임스탬프 (NTPsyn)를 생성하고(단계 235b), 상기 MMT 패킷(MMT0)에 대한 NTP 타임스탬프 값 NTP0(312-0)과 NTP 타임스탬프 (NTPsyn)를 포함하는 C 계층-예를 들어 C.2 계층-의 시그널링을 통하여 SDH 자막 요청 메시지를 제2 서버(250)로 전송한다(단계 237).
이하 도 3 및 도 4를 참조하여 상기 MMT 패킷(MMT0)에 대한 NTP 타임스탬프 값 NTP0(312-0)과 NTP 타임스탬프 (NTPsyn)에 대하여 설명한다.
도 3을 참조하면, 복합 전송 서비스에서 여러 종류의 미디어 간의 동기화를 원활하게 제공하기 위해서 MMT 패킷의 헤더(310-0)에 NTP(network time protocol) 타임스탬프 정보를 포함할 수 있다.
각각의 MMT 패킷은 NTP 타임스탬프 값과 페이로드(payload)로 구성된다. 즉, MMT 클라이언트 장치(230)에 최초로 도착한 MMT 패킷(MMT0)은 NTP 타임스탬프 값 NTP0(312-0)과 페이로드(payload)(312-0)으로 구성되며, 최초로 도착한 MMT 패킷 (MMT0)이후 첫번째로 도착한 MMT 패킷(MMT1)은 NTP 타임스탬프 값 NTP1(312-1)과 페이로드(payload)(312-1)로 구성되며, 최초로 도착한 MMT 패킷(MMT0)이후 두번째로 도착한 MMT 패킷(MMT2)은 NTP 타임스탬프 값 NTP2(312-2)과 페이로드(payload)(312-2)로 구성되며, 최초로 도착한 MMT 패킷(MMT0)이후 n번째로 도착한 MMT 패킷(MMTn)은 NTP 타임스탬프 값 NTPn(312-n)과 페이로드(payload)(312-n)로 구성된다.
상기 NTP 타임스탬프 정보를 활용하여 제1 서버(210, 프로그램 스트림 서버)가 전송하는 영화와 관련된 MMT 미디어 스트림과 기본 자막과 관련된 MMT 미디어 스트림 간에 동기화를 맞출 수 있다. 또한, 상기 NTP 타임스탬프 정보를 활용하여 복합 전송 환경에서 서로 다른 서버로부터 전송된 MMT 미디어 스트림들 간에 시간적 동기화를 맞출 수 있다.
도 4는 MMT 클라이언트 장치에 도착한 제1 서버(210, 프로그램 스트림 서버)가 전송하는 영화에 관련된 MMT 패킷에 대해 새로운 SDH 자막을 요청하는 시점에서의 NTP 타임스탬프 (NTPcur)(314)와 향후 새롭게 수신할 예정인 SDH 자막과 동기화가 이루어지게 될 시점에서의 NTP 타임스탬프 (NTPsyn)(316) 간의 관계를 나타낸다.
도 4에서는 제1 서버(210, 프로그램 스트림 서버)로부터 전송되어 MMT 클라이언트 장치(230)에 현재 도착한 MMT 패킷인 MMTcur 을 처리하는 도중에 MMT 클라이언트 장치(230)에서 SDH 자막으로의 전환(switching)을 요청하게 되고, MMT 클라이언트 장치(230)에서의 SDH 자막으로의 전환 요청 후에 SDH 자막을 위한 MMT 패킷이 제2 서버(250, 부가 정보 서버)로부터 전송되어 MMT 클라이언트 장치(230)에 도착할 때까지 예상되는 지연시간 (
Figure pat00016
)을 고려하여 실제 SDH 자막과 동기화가 이루어질 MMT 패킷(MMTsyn)과 상기 패킷의 NTP 타임스탬프 (NTPsyn)를 나타낸다. 여기서, 상기 MMT 패킷(MMTsyn)은 제1 서버(210, 프로그램 스트림 서버)로부터 전송되는 MMT 패킷을 의미한다.
도 4의 상황을 고려했을 때, 제2 서버(250, 부가 정보 서버)가 전송하게 될 SDH 자막의 제2 MMT 패킷에는 MMTsyn과 시간적 동기가 맞는 데이터부터 순차적으로 포함되어 전송되어야 한다.
도 4에 도시된 결과로부터 MMT 클라이언트 장치(230)는 다음과 같은 수학식 1의 관계를 통하여 동기화가 이루어질 NTP 타임스탬프를 결정하게 된다.
Figure pat00017
수학식 1에서
Figure pat00018
값은 MMT 클라이언트 장치(230)가 SDH 자막을 제2 서버(250, 부가 정보 서버)로 요청하고, 망을 통하여 SDH 자막 데이터를 수신하기까지 소요되는 예상 왕복지연 시간을 고려하여 적절한 값으로 정하게 된다.
즉, 다시 도 6을 참조하면, MMT 클라이언트 장치(230)는 제1 서버(210, 프로그램 스트림 서버)로부터 최초로 수신한 MMT 패킷의 NTP 타임스탬프 값인 NTP0와 NTPsyn 정보를 포함하여 SDH 자막 데이터에 대한 요청 메세지를 C 계층-예를 들어 C.2 계층- 시그널링을 통해 제2 서버(250, 부가 정보 서버)에게 전송하게 된다(단계 237). 제2 서버(250, 부가 정보 서버)는 상기 요청 메세지로부터 MMT 클라이언트 장치(230)가 수신하기를 원하는 SDH 자막 데이터의 정확한 시간적 위치를 파악하기 위해서 NTP0와 NTPsyn 정보를 활용할 수 있다.
도 5는 SDH 자막 데이터를 MMT의 저장 포맷으로 제2 서버(250, 부가 정보 서버)에 저장한 결과와 MMT 클라이언트 장치(230)로부터 요청된 SDH 자막 데이터를 제2 서버(250, 부가 정보 서버)에서 MMT 패킷에 실어서 전송할 때 제2 서버(250, 부가 정보 서버)에서 고려되어야 할 MMT 데이터들 간의 타이밍 관계를 나타낸다.
MMT의 저장 포맷으로는 MMT의 캡슐화 계층(E-layer)에 해당하는 인캡슐레이션 포맷(Encapsulation format)을 사용할 수 있다. 상기 인캡슐레이션 포맷에는 저장된 미디어 데이터의 시간적 동기화를 제공하기 위한 타임스탬프 정보가 포함될 수 있다. 상기 타임스탬프 정보는 미디어 데이터에 대한 샘플링 시간(sampling time)이 될 수도 있고, 디코딩 시간(decoding time), 또는 표현 시간(presentation time)이 될 수도 있다. 이하에서는 타임스탬프 정보로 샘플링 시간을 사용하는 경우를 가정하여 설명한다. 상기 타임스탬프 정보가 상기 샘플링 시간 이외의 디코딩 시간(decoding time) 또는 표현 시간과 같은 다른 시간 개념으로 사용되는 경우에도 본 발명의 동기화 방법은 적용될 수 있음은 물론이다.
제2 서버(250, 부가 정보 서버)에 저장되는 MMT 데이터들은, 도 5에 도시된 바와 같이, 각 MMT 데이터에 대한 동기화를 위한 샘플링 시간과 같은 타임스탬프 정보가 각 MMT 데이터와 함께 저장된다(510-0, 510-1, ..., 510-k, 510-(k+1), 510-n).
도 5를 참조하면, MMT 클라이언트 장치(230)로부터 요청된 SDH 자막 데이터 서비스를 정확한 시점부터 실시하기 위해서는, 우선적으로 MMT 클라이언트 장치(230)가 서비스 받기를 원하는 시점에 해당하는 SDH 자막 데이터의 시간적 위치를 파악해야 하며, 이를 위해서 전술한 C 계층-예를 들어 C.2 계층-의 시그널링을 통해 MMT 클라이언트 장치(230)로부터 전달된 NTP0와 NTPsyn 정보를 이용한다.
다음 수학식 2에 의하여 MMT 클라이언트 장치(230)로부터 요청 받은 SDH 자막 데이터의 실제 서비스 시작 시점(actual start time)이 최초의 SDH 자막 서비스 시작 시점(original start time)으로부터 얼마나 경과 되었는지를 나타내는 시간인 Start_Time_Offset 을 UTC(universal time coordinated) 시간 포맷으로 계산한다(도 6의 단계 251a).
Figure pat00019
여기서, Start_Time_Offset은 요청된 미디어 개체인 SDH 자막 데이터의 실제 서비스 시작 시점(actual start time)과 상기 SDH 자막 서비스 시작 시점(original start time)간의 시간적 차이값을 나타낸다.
그다음, 하기 수학식 3을 적용하여, 상기 Start_Time_Offset값을 제2 서버(250, 부가 정보 서버)에 저장된 각 MMT 저장 데이터의 헤더 부분에 포함되어 있는 샘플링 시간과 동일한 클럭(clock) 단위로 환산한 결과인 Start_Clock_Offset을 계산한다(도 6의 단계 251b).
Figure pat00020
수학식 3에 적용된 SCF(System Clock Frequency)는 상기 샘플링 시간을 추출하는데 사용된 제2 서버(250, 부가 정보 서버)의 STC(System Time Clock)의 정밀도를 나타낸다. MPEG-2 시스템과 RTP 프로토콜에서는 통상적으로 90 KHz 정밀도의 SCF를 사용한다.
Start_Clock_Offset 값은 Start_Time_Offset을 제2 서버(250, 부가 정보 서버)의 STC(System Time Clock)의 SCF(System Clock Frequency) 정밀도로 환산한 값이다.
Start_Clock_Offset이 결정되면 Start_Clock_Offset 값에 해당하는 MMT 데이터의 시간적 위치를 파악하기 위해서 제2 서버(250, 부가 정보 서버)에 저장된 각 MMT 데이터의 헤더(310-0, 310-1, 310-2, ..., 310-n)에 기록되어 있는 샘플링 시간인 ST(Sampling Time) 값을 하기의 수학식 4를 이용하여 계산한다(도 6의 단계 251c).
도 5를 참조하면, 실제 SDH 자막 서비스의 실제 서비스 시작 시간인 샘플링 시간 STk에 해당하는 MMT 데이터는 SDH 자막 서비스의 최초 서비스 시작 시점인 ST0로부터 Start_Clock_Offset 만큼 시간적으로 떨어져 있음을 나타내고, 실제 SDH 자막 서비스의 실제 서비스 시작 시간인 샘플링 시간 STk는 하기의 수학식 4를 통해 얻어진다.
Figure pat00021
제2 서버(250, 부가 정보 서버)는 STk에 해당하는 SDH 자막 데이터부터 MMT 클라이언트 장치(230)에게 전송할 것임을 C 계층-예를 들어 C.2 계층- 시그널링을 통해 MMT 클라이언트 장치(230)에게 통보한다(도 6의 단계 253). 이때, C 계층-예를 들어 C.2 계층- 시그널링 정보(제어 메시지)에 STk에 해당하는 NTP 시간 값도 함께 포함하여 알려준다.
그 이후, 제2 서버(250, 부가 정보 서버)는 MMT 저장 데이터를 MMT 패킷화하여 제2 MMT 패킷을 생성하여(도 6의 단계 257) MMT 클라이언트 장치(230)에게 SDH 자막을 포함하는 MMT 패킷을 전송한다(도 6의 단계 259).
수학식 4에서 얻은
Figure pat00022
값과 정확히 일치하는 STk에 해당하는 SDH 자막 데이터가 존재하는 경우에는 STk에 해당하는 NTP 시간은 NTPsyn 과 일치하게 된다. 그런데,
Figure pat00023
값에 정확히 일치하는
Figure pat00024
가 SDH 자막 데이터에 존재하는 않는 경우에는
Figure pat00025
값에 가장 가까운 샘플링 시간을 갖는 SDH 자막 데이터부터 서비스를 실시하게 된다. 이때, 제2 서버(250, 부가 정보 서버)는 상기 MMT 데이터의 샘플링 시간(STk)에 해당하는 NTP 시간 값을 C 계층-예를 들어 C.2 계층- 시그널링을 통해 MMT 클라이언트 장치(230)로 전달하여, 어떤 UTC 시간 시점에 해당하는 SDH 자막 데이터부터 전송될 것인지를 알린다. 상기 정보(STk에 해당하는 NTP 시간 값)를 바탕으로, MMT 클라이언트 장치(230)는 SDH 자막에 대해 새롭게 동기화가 이루어질 정확한 UTC 시간을 알 수 있게 되고, 이 시간에 이르기까지는 이전에 전송되던 기본자막 서비스를 그대로 유지하게 된다.
도 7은 본 발명의 일실시예에 따른 타이밍정보를 제공하는 서버의 블록도이다.
도 7을 참조하면, 서버(600)는 타이밍 정보를 생성하여 MMT 클라이언트 장치(230)로 제공하기 위하여 타이밍 정보 생성부(610), MMT 패킷 생성부(620), MMT 패킷 전송부(630)을 포함한다. 상기 서버(600)는 타이밍 정보를 생성하는 서버로서 예를 들어 도 2의 제2 서버(250)이 될 수 있다.
타이밍 정보 생성부(610)는 제2 미디어 개체를 포함한 패킷과 제1 미디어 개체를 포함한 패킷간의 동기화를 위하여 전술한 타이밍 정보를 생성한다. 여기서, 상기 타이밍 정보는 MMT C 계층-예를 들어 C.2 계층-의 제어 메시지에 포함시켜 상기 MMT 클라이언트 장치(230)로 전송될 수 있다.
구체적으로, MMT 클라이언트 장치(230)로부터의 SDH 자막과 같은 미디어 개체 전송 요청에 따라 타이밍 정보 생성부(610)는 MMT 클라이언트 장치(230)로부터 요청받은 미디어 개체(SDH 자막 데이터)의 최초의 서비스 시작 시점(Original start time)과 실제 서비스 시작 시점(Actual start time)간의 시간적 차이값인 Start_Time_Offset을 전술한 수학식 2에 따라서 계산하고, 상기 Start_Time_Offset값을 제2 서버(250)에 저장된 각 MMT 저장 데이터의 헤더 부분에 포함되어 있는 샘플링 시간과 동일한 클럭(clock) 단위로 환산한 결과인 Start_Clock_Offset을 전술한 수학식 3을 적용하여 계산한다. 또한, 타이밍 정보 생성부(610)는 제2 서버(250)에 저장되는 각 MMT 저장 데이터의 헤더에 기록되어 있는 실제 SDH 자막 서비스의 실제 서비스 시작 시간인 샘플링 시간 STk 값을 수학식 4에 따라서 계산한다.
MMT 패킷 생성부(620)는 제2 미디어 개체를 포함한 패킷을 패킷화하여 생성한다.
MMT 패킷 전송부(630)는 상기 생성된 제2 미디어 개체를 포함한 패킷을 MMT 클라이언트 장치(230)로 전송한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보 제공 방법에 있어서,
    상기 제1 서버는 상기 제1 미디어 개체를 전송하고 상기 제2 서버는 상기 제2 미디어 개체를 전송하되,
    클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계; 및
    상기 제2 서버에서 상기 타이밍 정보 및 상기 제2 미디어 개체를 포함한 제2 패킷을 상기 클라이언트로 제공하는 단계
    를 포함하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  2. 제1항에 있어서, 상기 타이밍 정보는 MMT C.2 계층의 제어 메시지에 포함시켜 상기 클라이언트로 제공되는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  3. 제1항에 있어서, 상기 클라이언트에서는
    상기 제1 서버로부터 최초로 수신한 MMT 패킷의 NTP(network time protocol) 타임스탬프 값 NTP0와, 상기 클라이언트에 도착한 상기 제1 서버로부터 전송된 제1 미디어 개체를 포함한 제1 패킷에 대해 상기 제2 미디어 개체에 대한 전송 요청을 하는 시점에서의 NTP 타임스탬프 NTPcur와, 향후 새롭게 수신할 예정인 상기 제2 미디어 개체와 동기화가 이루어지게 될 시점에서의 NTP 타임스탬프 NTPsyn를 하기의 수학식
    Figure pat00026
    -여기서,
    Figure pat00027
    는 상기 클라이언트에서의 상기 제2 미디어 개체로의 전환 요청 후에 상기 제2 미디어 개체를 포함하는 제2 패킷이 상기 제2 서버로부터 전송되어 상기 클라이언트에 도착할 때까지 예상되는 지연시간임-
    에 의하여 산출하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  4. 제3항에 있어서, 상기 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계는
    상기 제2 서버에서 상기 제2 미디어 개체 서비스의 최초 시작 시간(Original start time)과 실제 시작 시간(Actual start time)간의 시간적 차이값인 Start_Time_Offset을 하기의 수학식
    Figure pat00028

    에 의하여 UTC(universal time coordinated) 시간 포맷으로 산출하는 단계를 더 포함하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  5. 제4항에 있어서, 상기 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계는
    상기 Start_Time_Offset을 상기 제2 서버의 STC(System Time Clock)의 SCF(System Clock Frequency) 정밀도로 환산한 Start_Clock_Offset 값을 하기의 수학식
    Figure pat00029

    에 의하여 산출하는 단계를 더 포함하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  6. 제5항에 있어서, 상기 클라이언트로부터의 상기 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 서버에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 생성하는 단계는
    상기 Start_Clock_Offset 값에 해당하는 MMT 데이터의 시간적 위치를 파악하기 위해서 상기 제2 미디어 개체의 실제 서비스 시작 시간에 해당되는 샘플링 시간 STk를 하기의 수학식
    Figure pat00030
    -여기서, ST0는 상기 제2 미디어 개체의 최초 서비스 시작 시간에 해당되는 샘플링 시간임-
    에 의하여 산출하는 단계를 더 포함하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  7. 제1항에 있어서, 상기 제2 서버는 상기 제2 미디어 개체의 실제 서비스 시작 시간에 해당되는 NTP 타임 스탬프를 MMT C.2 계층의 제어 메시지에 포함시켜 상기 클라이언트로 제공되는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  8. 제1항에 있어서, 상기 제2 서버는 광대역(broadband) 채널을 통해서 부가 정보를 포함하는 데이터를 전달하는 부가 정보 서버이고, 상기 제1 서버는 방송 채널(broadcast) 채널을 통해서 방송 컨텐츠를 포함하는 데이터를 전달하는 프로그램 스트림 서버인 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법.
  9. 복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화 방법에 있어서,
    상기 클라이언트에서 상기 제1 서버로부터 제1 망을 통하여 수신한 제1 미디어 개체를 재생하는 도중에 제2 미디어 개체에 대한 전송을 제2 망을 통하여 상기 제2 서버로 요청하는 단계;
    상기 클라이언트에서 상기 제2 미디어 개체를 포함한 제2 패킷과 상기 제1 미디어 개체를 포함한 제1 패킷간의 동기화를 위한 타이밍 정보를 상기 제2 서버로부터 수신하는 단계; 및
    상기 클라이언트에서 상기 타이밍 정보를 이용하여 상기 제1 미디어 개체를 포함하는 제1 패킷과 상기 제2 미디어 개체를 포함하는 제2 패킷간의 동기화 여부를 판단하는 단계
    를 포함하는 복합 전달 서비스에서 패킷 스트림 동기화 방법.
  10. 제9항에 있어서, 상기 클라이언트에서는 MMT C.2 계층의 제어 메시지에 포함된 상기 타이밍 정보를 상기 제2 서버로부터 수신하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화 방법.
  11. 제9항에 있어서, 상기 클라이언트에서는
    상기 제1 서버로부터 최초로 수신한 MMT 패킷의 NTP(network time protocol) 타임스탬프 값 NTP0와, 상기 클라이언트에 도착한 상기 제1 서버로부터 전송된 제1 미디어 개체를 포함한 제1 패킷에 대해 상기 제2 미디어 개체에 대한 전송을 요청을 하는 시점에서의 NTP 타임스탬프 NTPcur와, 향후 새롭게 수신할 예정인 상기 제2 미디어 개체와 동기화가 이루어지게 될 시점에서의 NTP 타임스탬프 NTPsyn를 하기의 수학식
    Figure pat00031
    -여기서,
    Figure pat00032
    는 상기 클라이언트에서의 상기 제2 미디어 개체로의 전환 요청 후에 상기 제2 미디어 개체를 포함하는 제2 패킷이 상기 제2 서버로부터 전송되어 상기 클라이언트에 도착할 때까지 예상되는 지연시간임-
    에 의하여 산출하는 것을 특징으로 하는 복합 전달 서비스에서 복합 전달 서비스에서 패킷 스트림 동기화 방법.
  12. 제9항에 있어서, 상기 클라이언트에서 상기 타이밍 정보를 이용하여 상기 제1 미디어 개체를 포함하는 제1 패킷과 상기 제2 미디어 개체를 포함하는 제2 패킷간의 동기화 여부를 판단하는 단계는
    상기 제1 패킷의 제1 절대 시간 정보(Absolute_Presentation_Time) 및 상기 제2 패킷의 제2 절대 시간 정보(Absolute_Presentation_Time)의 차이값이 상기 기준 값보다 작은 경우에 동기화가 가능하다고 판단하여 상기 제1 및 제2 패킷을 함께 재생하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화 방법.
  13. 복합 전달 서비스(Hybrid delivery service) 환경하에서 서로 다른 제1 서버 및 제2 서버에서 각각 전달되는 패킷 스트림간의 동기화를 위한 타이밍 정보를 제공하는 서버에 있어서,
    제1 서버는 상기 제1 미디어 개체를 전송하고 상기 제2 서버는 상기 제2 미디어 개체를 전송하되, 상기 제2 서버는
    클라이언트로부터의 제2 미디어 개체에 대한 전송 요청에 응답하여 상기 제2 미디어 개체를 포함한 패킷과 제1 미디어 개체를 포함한 패킷간의 동기화를 위한 타이밍 정보를 생성하는 타이밍 정보 생성부;
    상기 제2 미디어 개체를 포함한 패킷을 패킷화하여 생성하는 MMT 패킷 생성부; 및
    상기 생성된 제2 미디어 개체를 포함한 패킷을 클라이언트로 전송하는 MMT 패킷 전송부
    를 포함하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보를 제공하는 서버.
  14. 제13항에 있어서, 상기 타이밍 정보 생성부는 상기 타이밍 정보를 MMT C.2 계층의 제어 메시지에 포함시켜 상기 클라이언트로 전송하는 것을 특징으로 하는 복합 전달 서비스에서 패킷 스트림 동기화를 위한 타이밍 정보를 제공하는 서버.

KR1020110147703A 2011-12-30 2011-12-30 Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법 KR20130078643A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110147703A KR20130078643A (ko) 2011-12-30 2011-12-30 Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법
US13/714,291 US20130173826A1 (en) 2011-12-30 2012-12-13 Method of providing timing information using mmt signaling layer signaling for synchronizing mmt packet streams in mmt hybrid delivery service and method of synchronizing mmt packet streams in mmt hybrid delivery service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110147703A KR20130078643A (ko) 2011-12-30 2011-12-30 Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법

Publications (1)

Publication Number Publication Date
KR20130078643A true KR20130078643A (ko) 2013-07-10

Family

ID=48695889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147703A KR20130078643A (ko) 2011-12-30 2011-12-30 Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법

Country Status (2)

Country Link
US (1) US20130173826A1 (ko)
KR (1) KR20130078643A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102320670B1 (ko) * 2020-05-12 2021-11-02 네이버 주식회사 데이터 동기화 시스템 및 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544641B2 (en) * 2012-05-10 2017-01-10 Humax Co., Ltd. Hybrid transmission method through MMT packet format extension
US9626387B2 (en) * 2013-04-19 2017-04-18 Charles Nathan Adelman Volumetric vector node and object based multi-dimensional operating system
JP6382029B2 (ja) * 2013-09-20 2018-08-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置、及び受信装置
WO2015040817A1 (ja) * 2013-09-20 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、及び受信装置
US9641831B2 (en) 2013-10-28 2017-05-02 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving moving picture experts group (MPEG) media transport (MMT) signaling message for measurement configuration (MC) processing
KR102018053B1 (ko) * 2013-10-28 2019-09-04 한국전자통신연구원 Ｍｃ 처리를 위한 ｍｍｔ 시그널링 메시지 송/수신 장치 및 방법
WO2015075880A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、及び受信装置
JP6506009B2 (ja) * 2013-11-22 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置、及び受信装置
KR101838202B1 (ko) * 2014-01-21 2018-04-26 엘지전자 주식회사 방송 전송 장치, 방송 전송 장치의 동작 방법. 방송 수신 장치 및 방송 수신 장치의 동작 방법
EP3103205A4 (en) 2014-02-03 2017-06-28 LG Electronics Inc. Broadcast receiving device and operating method thereof
JP5951893B2 (ja) 2014-03-24 2016-07-13 株式会社東芝 多重化装置、受信装置、多重化方法及び遅延調整方法
US10887651B2 (en) * 2014-03-31 2021-01-05 Samsung Electronics Co., Ltd. Signaling and operation of an MMTP de-capsulation buffer
JP5708866B1 (ja) * 2014-04-10 2015-04-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10825056B1 (en) 2014-04-17 2020-11-03 The Nielsen Company (Us), Llc Client-side video advertisement replacement using automatic content recognition
EP3255895B1 (en) * 2015-02-02 2023-05-31 Maxell, Ltd. Broadcast receiving apparatus and content outputting method
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
KR102111572B1 (ko) * 2015-02-13 2020-05-15 에스케이텔레콤 주식회사 저지연 생방송 컨텐츠 제공을 위한 프로그램을 기록한 기록매체 및 장치
WO2017033764A1 (ja) * 2015-08-26 2017-03-02 ソニー株式会社 記録装置、および記録方法、並びにプログラム
CN108055273B (zh) * 2017-12-22 2020-08-28 北京启明星辰信息安全技术有限公司 一种内网服务器发现方法、系统及网络安全审计系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923342B2 (en) * 2011-07-12 2014-12-30 Electronics And Telecommunications Research Institute Method of providing timing information for synchronizing MMT packet stream in MMT hybrid delivery service and method of synchronizing MMT packet stream in MMT hybrid delivery service
KR20130040090A (ko) * 2011-10-13 2013-04-23 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102320670B1 (ko) * 2020-05-12 2021-11-02 네이버 주식회사 데이터 동기화 시스템 및 방법

Also Published As

Publication number Publication date
US20130173826A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
KR20130078643A (ko) Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 ｍｍｔ 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법
KR102049907B1 (ko) Ｍｍｔ 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법
JP5635626B2 (ja) メディア・ストリームの同期のための方法、システム及び装置
KR20140008237A (ko) 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
CN108293145B (zh) 视频分发同步
JP5086285B2 (ja) 映像配信システム，映像配信装置，及び同期補正処理装置
US8923342B2 (en) Method of providing timing information for synchronizing MMT packet stream in MMT hybrid delivery service and method of synchronizing MMT packet stream in MMT hybrid delivery service
KR20190019112A (ko) 단일 포트 또는 다중 포트에서 미디어 콘텐츠 전송 방법 및 장치
KR20130086991A (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
KR20130009670A (ko) 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
KR102049039B1 (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
KR20110098830A (ko) 외부 코프로세서를 포함하는 멀티플렉서에서의 전송 스트림 동기화를 위한 방법
EP2695389B1 (en) Processing media streams for synchronised output at multiple end points
KR101920051B1 (ko) Ｍｍｔ 복합 전달 서비스에서 ｍｍｔ 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법 및 ｍｍｔ 패킷 스트림 동기화 방법
JP5092493B2 (ja) 受信プログラム、受信装置、通信システム、及び、通信方法
KR20130009671A (ko) 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
WO2014010830A1 (ko) 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
WO2013009131A2 (ko) 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
Fernando MMT: the next-generation media transport standard
Ahn et al. Hybird Media Synchronization Method for Hybrid Media Delivery Service Using MMT Protocol
KR20130007993A (ko) 프레임별 전송 시간 정보 할당을 이용한 상호 의존성 프레임을 가지는 미디어 스트림의 전송 방법
KR20130032843A (ko) Ｍｍｔ 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법
KR20130058541A (ko) 그룹 통신을 지원할 수 있는 ｍｐｅｇ 미디어 전송 시스템에서의 패킷 생성 장치 및 방법
KR20130058540A (ko) 하이브리드 전송시 동기화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application