KR20060122784A - Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting - Google Patents

Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting Download PDF

Info

Publication number
KR20060122784A
KR20060122784A KR1020060047717A KR20060047717A KR20060122784A KR 20060122784 A KR20060122784 A KR 20060122784A KR 1020060047717 A KR1020060047717 A KR 1020060047717A KR 20060047717 A KR20060047717 A KR 20060047717A KR 20060122784 A KR20060122784 A KR 20060122784A
Authority
KR
South Korea
Prior art keywords
data
service
synchronized
trigger
time
Prior art date
Application number
KR1020060047717A
Other languages
Korean (ko)
Other versions
KR100837720B1 (en
Inventor
이광순
양규태
이봉호
함영권
안충현
이수인
김도형
Original Assignee
한국전자통신연구원
주식회사 알티캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 주식회사 알티캐스트 filed Critical 한국전자통신연구원
Publication of KR20060122784A publication Critical patent/KR20060122784A/en
Application granted granted Critical
Publication of KR100837720B1 publication Critical patent/KR100837720B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56Synchronising systems therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/06Arrangements for scheduling broadcast services or broadcast-related services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

A method and an apparatus for providing a synchronized data service with a video service in digital multimedia broadcasting are provided to synchronize the information for representing a performance time of a specific event with the audio/video service. An AV(Audio/Video) signal source(200) generates audio and video contents. A DMB(Digital Multimedia Broadcasting) AV encoder(210) encodes the produced audio and video in order to fit the terrestrial DMB standard. A data server(230) performs various data services. An ensemble multiplexing member(240) multiplexes the generated AV stream and data packet as one ensemble. A DMB transmitting member(250) performs OFDM(Orthogonal Frequency Division Multiplexing) encoding and RF(Radio Frequency) transmission. An NTP(Network Time Protocol) server(220) performs exact temporal synchronization of the devices.

Description

디지털 멀티미디어방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치{Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting}Method and apparatus for providing data service synchronized with video service in digital multimedia broadcasting {Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting}

도 1 은 종래의 지상파 DMB 방송 송신 시스템의 구성도,1 is a configuration diagram of a conventional terrestrial DMB broadcast transmission system;

도 2는 본 발명의 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,2 is a diagram showing the configuration of a terrestrial DMB broadcasting transmission system for synchronizing real-time video and data services according to an embodiment of the present invention;

도 3a는 데이터가 재생될 시점을 타임스탬프(CTS) 기반의 값으로 계산하는 방법을 설명하기 위한 도면,3A is a view for explaining a method of calculating a time stamp (CTS) based time point at which data is to be reproduced;

도 3b는 도 3a에 도시된 데이터캐로셀의 구성예를 보여주는 도면,3B is a view showing an example of the configuration of the data carousel shown in FIG. 3A,

도 3c는 도 3a에 도시된 동기화 메타데이터의 구성예를 보여주는 도면,3C is a diagram showing an example of the configuration of the synchronization metadata shown in FIG. 3A;

도 4는 본 발명의 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,4 is a diagram showing the configuration of a terrestrial DMB broadcasting transmission system for synchronizing a real-time video and data service according to another embodiment of the present invention;

도 5는 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,5 is a diagram showing the configuration of a terrestrial DMB broadcasting transmission system for synchronizing a real-time video and data service according to another embodiment of the present invention;

도 6은 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,6 is a diagram showing the configuration of a terrestrial DMB broadcasting transmission system for synchronizing real-time video and data services according to another embodiment of the present invention;

도 7은 본 발명에 따른 비디오와 동기화된 데이터 서비스가 가능한 수신 시스템을 보여주는 도면이다. 7 illustrates a receiving system capable of data service synchronized with video according to the present invention.

본 발명은 디지털 멀티미디어 방송 (Digital Multimedia Broadcasting, 이하 DMB라 함)에 관한 것으로, 특히 디지털 멀티미디어 방송에서 Eureka-147 기반으로 전송되는 데이터를 MPEG-4 및 MPEG-2로 인코딩 및 다중화되어 전송되는 오디오 및 비디오(AV)에 동기화하기 위한 방법 및 그 장치에 관한 것이다.The present invention relates to digital multimedia broadcasting (DMB), and more particularly, audio transmitted through encoding and multiplexing of MPEG-4 and MPEG-2 data transmitted based on Eureka-147 in digital multimedia broadcasting, and A method and apparatus for synchronizing to video (AV).

동기화된 데이터 서비스 모델은 지상파 DMB 미들웨어에서 실행되는 응용프로그램이 DMB 비디오 서비스 등 다른 매체와의 동기화된 실행을 수행하기 위한 수단 제공을 목적으로 한다. 여기서 비디오 서비스라 함은 “초단파 디지털라디오방송 비디오 송수신 정합표준”(TTAS.KO-07.0026)에 의해 제공되는 AV 서비스를 말한다.The synchronized data service model is intended to provide a means for an application program running on terrestrial DMB middleware to perform synchronized execution with other media such as a DMB video service. In this case, the video service refers to an AV service provided by the "Microwave Digital Radio Broadcasting Video Transceiver Matching Standard" (TTAS.KO-07.0026).

도 1은 종래의 지상파 DMB 방송 송신 시스템의 구성 예시도이다. 1 is an exemplary configuration diagram of a conventional terrestrial DMB broadcast transmission system.

오디오/비디오(AV: Audio/Video) 신호원(100)이 DMB 방송을 위한 비디오 신호 및 오디오 신호를 생성하면, DMB AV 인코더(110)는 DMB 비디오 송수신 정합표준에 따라 인코딩하여 AV 스트림을 발생시킨다. 이 과정에는 MPEG-4의 AV 인코딩 과정과 MPEG-2 TS(transport stream)로의 다중화 과정이 포함된다. 한편, 유레카147(Euraka-147) 기반의 데이터서비스를 위해서, 데이터 신호원(130)은 오디오/비 디오(AV) 신호와 무관한 각종 데이터를 발생시키고, 데이터 인코더(140)는 데이터 신호원(130)으로부터 발생되는 각종 데이터를 인코딩하여 데이터 패킷을 발생시킨다. When the audio / video signal source 100 generates a video signal and an audio signal for DMB broadcasting, the DMB AV encoder 110 generates an AV stream by encoding according to the DMB video transmission / reception standard. . This process includes the AV encoding process of MPEG-4 and the multiplexing process to MPEG-2 transport stream (TS). On the other hand, for the data service based on Eureka 147 (Euraka-147), the data signal source 130 generates a variety of data irrelevant to the audio / video (AV) signal, the data encoder 140 is a data signal source ( Various data generated from 130 are encoded to generate a data packet.

상기 DMB AV 인코더(110) 및 데이터 인코더(140)에서 출력되는 AV 스트림 및 패킷 데이터는 앙상블 다중화부(150)에 의해 앙상블 전송 인터페이스(Ensemble Transport Interface) 규격의 프레임(ETI 프레임)으로 다중화된 후 DMB 전송부(160)에서 COFDM 인코딩 등의 과정을 거쳐 RF(Radio Frequency)신호로 송출된다. The AV stream and the packet data output from the DMB AV encoder 110 and the data encoder 140 are multiplexed by an ensemble transport interface standard (ETI frame) by the ensemble multiplexer 150 and then DMB. The transmitter 160 transmits a radio frequency (RF) signal through a process such as COFDM encoding.

여기서, ETI 프레임은 기본적으로 고속정보채널(FIC: Fast Information Channel)(이하, FIC라 함)과 주(主) 서비스 채널(MSC: Main Service Channel)(이하, MSC라 함) 데이터로 구성되는데, 이는 각각 상기 앙상블 다중화부(150)내의 FIC 구성부(151)와 MSC 구성부(152)에서 생성된다. Here, the ETI frame basically consists of a fast information channel (FIC) (hereinafter referred to as FIC) and a main service channel (MSC) (hereinafter referred to as MSC) data. This is generated by the FIC component 151 and the MSC component 152 in the ensemble multiplexer 150, respectively.

Eureka-147 시스템에서 FIC 채널은 다중화 정보 및 서비스 정보의 제공을 위해 신속한 접근을 할 수 있게 하는 정보 채널이며, MSC 채널은 FIC채널을 통해 설정된 다중화 구조에 따라 각 서비스에 해당하는 서비스 콤포넌트들을 다중화하기 위한 주 서비스 채널이다. In the Eureka-147 system, the FIC channel is an information channel for quick access to provide multiplexing information and service information, and the MSC channel is used to multiplex service components corresponding to each service according to the multiplexing structure established through the FIC channel. Is the primary service channel.

기본 오디오 데이터, AV 스트림 및 다양한 부가 데이터들이 MSC에 다중화되어 전송된다. FIC에는 절대 시간이 UTC(Universal Coordinated Time) 형태로 FIG 타입 0 확장형10(FIG 0/10)에 삽입되게 되는데, 이는 MSC의 데이터들이 디코딩 및 재생되는 기준 시간을 제공한다. 따라서, 이 UTC절대시간정보가 데이터 인코딩시 타이밍정보의 기준으로 삽입될 수 있다. Basic audio data, AV streams and various additional data are multiplexed and transmitted to the MSC. In the FIC, absolute time is inserted into FIG Type 0 Extended 10 (FIG 0/10) in the form of Universal Coordinated Time (UTC), which provides a reference time at which data of the MSC is decoded and reproduced. Therefore, this UTC absolute time information can be inserted as a reference of timing information when data is encoded.

MPEG-4 및 MPEG-2 시스템에서는 기본 스트림(ES: Elementary Stream)에 의해 전송되는 AV 데이터를 동기시키고 타이밍정보를 전송하기 위해, 기준 클럭(clock reference)과 타임 스탬프(time stamp)들을 사용한다. In the MPEG-4 and MPEG-2 systems, reference clocks and time stamps are used to synchronize AV data transmitted by an elementary stream (ES) and to transmit timing information.

MPEG-4에서의 타임 스탬프들은 수신 단말이 디코딩 버퍼에 있는 접근단위(access unit)들의 디코딩 시점을 정의하기 위해 디코딩 타임 스탬프(DTS: Decording Time Stamp)를 사용하며, 콤포지션 단위(CU: Composition Unit)들의 콤포지션(composition) 시점을 정확히 나타내기 위해 콤포지션 타임 스탬프(CTS: omposition Time Stamp)를 사용한다. Time stamps in MPEG-4 use a decoding time stamp (DTS) to define a decoding time of access units in a decoding buffer in a receiving terminal, and a composition unit (CU) The composition time stamp (CTS) is used to accurately represent their composition time.

오브젝트 기준 클럭(OCR: Object Clock Reference)은 주어진 스트림에 대한 시간 표기를 ES 디코더로 전송하기 위해 사용된다. 오브젝트 기준 클럭(OCR) 값은 송신단말이 오브젝트 기준 클럭(OCR) 타임 스탬프를 발생시키는 시간에서의 오브젝트 타임 베이스(OTB: Object Time Base)값에 대응되며, 오브젝트 기준 클럭(OCR) 값들은 SL 패킷 헤더에 포함되어 전송된다. The Object Clock Reference (OCR) is used to send the time notation for a given stream to the ES decoder. The object reference clock (OCR) value corresponds to an Object Time Base (OTB) value at the time that the transmitting terminal generates an object reference clock (OCR) time stamp, and the object reference clock (OCR) values correspond to SL packet headers. Included in the transmission.

국내 지상파 DMB 방송에서는 MPEG-4 및 MPEG-2를 동시에 사용하고 있다. 여기서, 오디오 및 비디오의 타이밍정보를 전송하고 동기화하기 위하여, MPEG-2의 경우에는 PCR(Program Clock Reference), PTS(Program Time Stamp)를 이용하고, MPEG-4의 경우에는 오브젝트 기준 클럭(OCR), 콤포지션 타임 스탬프(CTS), 디코딩 타임 스탬프(DTS) 정보를 이용한다. 또한, MPEG-4와 MPEG-2의 동기화를 위해서 MPEG-4의 SL 패킷이 MPEG-2의 PES 패킷으로 매핑될 때 1:1이 되게 하고, MPEG-2의 PTS는 MPEG-4의 SL패킷 헤더에 오브젝트 기준 클럭(OCR)이 포함되어 올 경우에만 PES 헤더에 포함되고, 그렇지 않을 경우에는 PTS를 사용하지 않는다. 또한 MPEG-4 데이터 스트림에 대한 시간 표기를 정의하는 오브젝트 타임 베이스(OTB)는 MPEG-2의 시스템 타임 클럭과 맞물리게 한다. Domestic terrestrial DMB broadcasting uses MPEG-4 and MPEG-2 simultaneously. Here, in order to transmit and synchronize timing information of audio and video, PCR (Program Clock Reference) and PTS (Program Time Stamp) are used for MPEG-2, and object reference clock (OCR) for MPEG-4. The composition time stamp (CTS) and decoding time stamp (DTS) information are used. Also, for synchronization of MPEG-4 and MPEG-2, when the MPEG-4 SL packet is mapped to the MPEG-2 PES packet, it is 1: 1. The MPEG-2 PTS is the MPEG-4 SL packet header. If the object reference clock (OCR) is included in the PES header is included, otherwise the PTS is not used. The object time base (OTB), which defines the time notation for MPEG-4 data streams, also interlocks with the system time clock of MPEG-2.

한편, 도 1의 데이터 인코더(140)는 DMB 시스템 규격(Eureka-147) 기반의 데이터 전송 규격인 MOT(Multimedia Object Protocol) 등을 이용하여 데이터를 인코딩할 때, 타이밍정보를 전송하기 위해서 FIC 채널을 통해 전송되는 UTC절대시간정보를 참조하고 있다. 즉 데이터 인코더(140)에서는 파일 혹은 디렉토리 단위로 데이터를 오브젝터(object)화 한 다음, 다시 이를 패킷화한다. 이때 하나의 데이터 오브젝트가 디코딩 및 재생되어야 할 시간에 대한 타이밍 정보인 타임스탬프를 UTC 형태를 사용하여 데이터 오브젝터의 헤더에 삽입하게 된다. 그러나, 이러한 방법은 DMB 오디오/비디오(AV) 스트림과 데이터 간의 정확한 동기화를 달성하기가 곤란하다는 문제점이 있다. Meanwhile, the data encoder 140 of FIG. 1 uses the multimedia object protocol (MOT), which is a data transmission standard based on the DMB system standard (Eureka-147), to encode the FIC channel for transmitting timing information. Refers to the UTC absolute time information transmitted. That is, the data encoder 140 objectizes data in units of files or directories, and then packetizes the data. In this case, a timestamp, which is timing information on a time when one data object is to be decoded and reproduced, is inserted into a header of the data object using UTC format. However, this method has a problem that it is difficult to achieve accurate synchronization between the DMB audio / video (AV) stream and the data.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, DMB 방송에서 DMB 오디오/비디오 서비스와 동기화 데이터 서비스를 제공하기 위해, 응용프로그램에서의 특정 이벤트가 수행되는 시간을 나타내는 정보를 오디오/비디오 서비스와 동기화되도록 생성한 후 전송하는, 디지털 멀티미디어방송에서 비디오 서비스와 동기화된 데이터 서비스를 위한 방법 및 그 장치를 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and in order to provide a synchronization data service with a DMB audio / video service in DMB broadcasting, information indicating a time at which a specific event in an application program is performed is synchronized with the audio / video service. It is an object of the present invention to provide a method and apparatus for a data service synchronized with a video service in digital multimedia broadcasting, which is generated and transmitted as possible.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명에 따른 장치는,An apparatus according to the present invention for achieving the above object,

AV 신호를 지상파 DMB 표준에 따라 인코딩하고, AV 타임스탬프를 데이터 서버로 제공하는 AV 인코더; 상기 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버; 상기 AV 인코더 및 상기 데이터 서버의 정확한 시간적인 동기화를 위한 시간동기화 서버; 및 상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단을 포함한다.An AV encoder for encoding an AV signal according to the terrestrial DMB standard and providing an AV timestamp to the data server; A data server for generating synchronization metadata for providing a data service synchronized with an AV service using the AV timestamp; A time synchronization server for accurate time synchronization of the AV encoder and the data server; And means for multiplexing and transmitting the output signal of the AV encoder and the output signal of the data server.

상기 목적을 달성하기 위한 본 발명에 따른 방법은,The method according to the present invention for achieving the above object,

AV 데이터에 대한 AV 타임 스탬프를 입력받는 단계; 상기 AV 타임스탬프를 기반으로 단말에서 데이터가 재생될 시점인 데이터의 타임스탬프를 계산하는 단계; 상기 계산된 데이터의 타임스탬프를 포함하는 동기화 메타데이터를 생성하는 단계; 및 상기 동기화 정보를 인코딩하여 전송하는 단계;를 포함한다.Receiving an AV time stamp for the AV data; Calculating a timestamp of the data at the time point at which the data is reproduced in the terminal based on the AV timestamp; Generating synchronization metadata comprising a timestamp of the calculated data; And encoding and transmitting the synchronization information.

또한, 본 발명에 따른 방법은, 수신 신호로부터 AV 스트림과 데이터 패킷을 분리하는 단계; 상기 AV 스트림의 디코딩 수단으로부터 시스템 기준시간 정보를 입력받는 단계; 상기 데이터 패킷에 포함된 동기화 메타데이터로부터 데이터 타임스탬프를 획득하는 단계; 및 상기 데이터 타임스탬프와 상기 시스템 기준시간을 비교하여 일치하는 시점에 데이터 오브젝터 파일의 디코딩 또는 재생을 실행하는 단계;를 포함한다.The method according to the invention further comprises the steps of: separating the AV stream and the data packet from the received signal; Receiving system reference time information from the decoding means of the AV stream; Obtaining a data timestamp from the synchronization metadata included in the data packet; And comparing the data time stamp with the system reference time and performing decoding or reproduction of a data object file at a time point coinciding with each other.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다.2 is a diagram showing the configuration of a terrestrial DMB broadcast transmission system for synchronizing real-time video and data services according to an embodiment of the present invention.

도 2를 참조하면, 지상파 DMB 방송 송신 시스템은, 오디오 및 비디오 콘텐츠를 발생하기 위한 AV 신호원(200), 생성된 오디오 및 비디오를 지상파 DMB 표준에 맞게 인코딩하기 위한 DMB AV 인코더(210), 다양한 데이터 서비스를 위한 데이터 서버(230), 발생된 AV 스트림 및 데이터 패킷을 하나의 앙상블로 다중화하기 위한 앙상블 다중화부(240), OFDM 인코딩과 RF 송출을 위한 DMB 전송부(250), 상기 장치들의 정확한 시간적인 동기화를 위한 NTP(Network Time Protocol) 서버(220)로 구성된다. 한편 상기 데이터 서버(230)는 데이터 신호원(231), 데이터 신호원과 데이터 인코더를 관리하고 제어하기 위한 데이터 관리 및 제어부(233), 생성된 데이터를 다양한 DMB 데이터 송수신 표준에 맞게 인코딩하기 위한 데이터 인코더(235)를 포함하여 구성된다.Referring to FIG. 2, the terrestrial DMB broadcasting transmission system includes an AV signal source 200 for generating audio and video content, a DMB AV encoder 210 for encoding the generated audio and video according to the terrestrial DMB standard, A data server 230 for data service, an ensemble multiplexer 240 for multiplexing the generated AV streams and data packets into one ensemble, a DMB transmitter 250 for OFDM encoding and RF transmission, and the correctness of the devices NTP (Network Time Protocol) server 220 for time synchronization. The data server 230 is a data signal source 231, a data management and control unit 233 for managing and controlling a data signal source and a data encoder, and data for encoding the generated data according to various DMB data transmission / reception standards. The encoder 235 is configured.

상기 AV 신호원(200)에서 DMB 방송에서 동영상 서비스를 위한 비디오 및 오디오를 실시간 혹은 저장매체를 통해 발생시키면, DMB AV 인코더(210)는 이를MPEG-4 및 MPEG-2 기반의 지상파 DMB 비디오 정합 표준에 의해 인코딩한다. 이때 오디오 및 비디오의 타이밍 정보를 전송하고 동기화하기 위해서 MPEG-4에는 OCR, CTS를, MPEG-2에는 PCR, PTS로 구성된 타임스탬프를 인코딩하여 삽입하게 된다. 이때, 상기 DMB AV 인코더(210)는 프로그램 초기의 비디오 타임스탬프 (CTS)를 상기 데이터 서버(230)으로 제공한다.When the AV signal source 200 generates video and audio for a video service in DMB broadcasting through real time or a storage medium, the DMB AV encoder 210 uses MPEG-4 and MPEG-2 based terrestrial DMB video matching standards. Encode by At this time, in order to transmit and synchronize timing information of audio and video, time stamps including OCR and CTS in MPEG-4 and PCR and PTS in MPEG-2 are encoded and inserted. In this case, the DMB AV encoder 210 provides a video time stamp (CTS) at the beginning of the program to the data server 230.

Eureka-147기반의 부가적인 데이터 서비스를 위해서 데이터 신호원(233)에서는 자바(JAVA) 기반의 응용 데이터 및 이와 관련된 텍스트, 이미지, 동영상 등의 각종 세부 데이터들을 수집 및 저작 등의 과정을 거쳐 생성한 후 저장하고 있으며, 이들은 상기 데이터 관리 및 제어부(233)의 관리 및 제어에 의해 데이터 인코더(235)에서 인코딩 되어 방송된다. 또한 NTP 서버(220)에 의해 AV 신호원(200), AV 인코더(210), 데이터 서버(230) 사이의 시간을 정확하게 동기화시킨다. For additional data service based on Eureka-147, the data signal source 233 generates Java (JAVA) -based application data and related detailed data such as text, images, and videos through collection and authoring. After the data is stored, they are encoded and broadcast by the data encoder 235 by management and control of the data management and control unit 233. The NTP server 220 also accurately synchronizes the time between the AV signal source 200, the AV encoder 210, and the data server 230.

상기 데이터 관리 및 제어부(233)는 데이터 신호원의 데이터가 삽입되는 시 점을 관리하며, DMB AV인코더로부터 입력되는 프로그램 초기의 비디오 타임스탬프 (CTS)와 미리 알고 있는 AV 신호원에서의 장면 정보 및 데이터 삽입 시간 등을 이용하여 단말에서 데이터가 재생될 시점을 타임스탬프(CTS) 기반의 값으로 계산한다. 계산된 동기화 정보는 직접 혹은 비디오와 데이터의 동기화를 위한 메타 데이터로 형성되어 데이터 인코더(235)로 보내진다. The data management and control unit 233 manages the time point at which the data of the data signal source is inserted, the video timestamp (CTS) of the initial program input from the DMB AV encoder, the scene information from the AV signal source known in advance, A time stamp (CTS) based time point is calculated based on the data insertion time using the data insertion time. The calculated synchronization information is transmitted to the data encoder 235, either directly or as meta data for synchronization of video and data.

도 3a는 데이터가 재생될 시점을 타임스탬프(CTS) 기반의 값으로 계산하는 방법에 대해 자세히 설명하고 있다.3A illustrates in detail a method of calculating a time stamp (CTS) based time point at which data is reproduced.

녹화 방송의 경우에는 비디오와 동기화된 데이터가 삽입될 장면에 대한 시간 정보(V(b)를 미리 정확하게 추출할 수 있다. 또한, 비디오 데이터가 상기 DMB AV 인코더(210)에 의해 인코딩되면, 각 장면에 대한 단말에서의 재생 시간인 CTS 등의 타임스탬프가 SL 패킷의 헤더에 삽입된다. 비스트리밍(non-streaming) 형태의 데이터 방송 서비스에서는 데이터 파일을 단말에서의 재생시간 보다 미리 데이터 케로셀(carousel) 형태로 방송한 후, 단말에서 다운로드하여 설정된 시점에 재생한다. 여기서 데이터는 다운로드형의 응용프로그램 및 이와 관련된 데이터이며, 경우에 따라서는 비활성 메모리에 미리 저장되어 있는 데이터가 될 수 있을 것이다.In the case of a recorded broadcast, time information V (b) of a scene into which data synchronized with video is to be inserted can be accurately extracted in advance. In addition, if video data is encoded by the DMB AV encoder 210, each scene can be extracted. A timestamp such as CTS, which is a playback time at the terminal, is inserted into the header of the SL packet .. In a non-streaming type data broadcasting service, a data carousel is stored before the playback time at the terminal. After the broadcast in the form of a), it is downloaded from the terminal and reproduced at a set time point, where the data is a download type application program and related data, and in some cases, may be data previously stored in an inactive memory.

본 발명에서는 어느 특정 장면에 동기화된 데이터가 재생되기 위하여 데이터 관리 및 제어부(233)에서 동기화 메타데이터를 생성한 후, 적합한 데이터 프로토콜을 사용하여 전송한다. In the present invention, in order to reproduce the data synchronized to a particular scene, the data management and control unit 233 generates the synchronization metadata, and then transmits it using a suitable data protocol.

도 3b는 상기 도 3a에 도시된 데이터 캐로셀의 구성예를 보여주는 도면이고, 도 3c는 상기 동기화 메타데이터의 구성예를 보여주는 도면이다. FIG. 3B is a diagram showing an example of the configuration of the data carousel shown in FIG. 3A, and FIG. 3C is a diagram showing an example of the configuration of the synchronization metadata.

상기 도 3c에 도시된 바와 같이, 동기화 메타데이터는 식별자, 트리거타임(비디오 타임 스탬프), 관련데이터 지시자, 데이터 등으로 구성될 수 있다. 식별자는 데이터를 구분하기 위한 식별자를 의미하고, 여기서 트리거타임은 단말에서의 데이터의 디코딩, 재생, 소멸 시간 등에 해당되며 미리 계산된 비디오의 타임스탬프 (CTS)를 기반으로 미리 계산된다. 관련데이터 지시자는 단말에서 실행되는 응용프로그램과 관련되며 특정 장면에 동기화되어 재생되는 데이터를 지시하며, 데이터는 이와는 별도로 즉각적으로 필요로 하는 정보로 구성된다.As shown in FIG. 3C, the synchronization metadata may include an identifier, a trigger time (video time stamp), an associated data indicator, data, and the like. The identifier refers to an identifier for distinguishing data, wherein the trigger time corresponds to the decoding, reproduction, and extinction time of the data in the terminal and is calculated in advance based on a pre-calculated video time stamp (CTS). The related data indicator is related to an application program executed in the terminal and indicates data to be reproduced in synchronization with a specific scene, and the data is composed of information that is immediately needed separately from it.

여기서 동기화 메타데이터는 특정 비디오 시점(V(b)) 보다 먼저 삽입되므로, 동기화 메타 데이터에 구성되는 트리거타임(Ts(b))은 삽입 시점에서 미리 예측되어야 할 것이다. 이는 DMB AV인코더(210)로부터 입력되는 프로그램 초기의 비디오 타임스탬프 정보(비디오 정보/타임스탬프)와 미리 알로 있는 비디오의 재생 시점 (V(b))을 이용하면 계산 가능할 것이다. 여기서 프로그램 초기의 비디오 타임스탬프 정보는 NTP 서버에 의해 모든 장치들이 시간적으로 정확하게 동기화되어 있으므로 쉽게 추출 가능할 것이다.In this case, since the synchronization metadata is inserted before the specific video view point V (b), the trigger time Ts (b) configured in the synchronization metadata should be predicted at the insertion point in advance. This can be calculated by using the video time stamp information (video information / time stamp) of the initial program inputted from the DMB AV encoder 210 and the playback time (V (b)) of the previously known video. Here, video timestamp information at the beginning of the program will be easily extracted since all devices are precisely synchronized in time by the NTP server.

만일 단순한 동기화 데이터 서비스인 경우에는 동기화 메타 데이터가 필요 없이 도 3b에 도시된 바와 같이, 데이터 케로셀에 반복 전송되는 데이터 오브젝트의 헤더를 통해서 직접 비디오 타임스탬프 정보가 삽입되어, 데이터 오브젝트의 재생시간을 비디오와 일치시킬 수 있을 것이다.In the case of a simple synchronization data service, as shown in FIG. 3B without requiring synchronization metadata, video time stamp information is inserted directly through a header of a data object repeatedly transmitted to a data carousel, thereby improving the playback time of the data object. You will be able to match the video.

이하, 상기 동기화 메타 데이터에 대해서 구체적인 예를 들어 상세히 설명하기로 한다. Hereinafter, the synchronization metadata will be described in detail with reference to specific examples.

DMB 비디오 서비스와 동기화 데이터 서비스를 제공하기 위해서는 응용프로그램에서의 특정 이벤트가 수행되는 시간을 나타내는 트리거 시간 정보(트리거 타임)를 비디오 서비스와 동기화 되도록 생성한 후, 이를 송신측의 데이터 서버로부터 짧은 시간 안에 지상파 DMB 미들웨어에 전송하여야 한다. 즉, 단말에서 응용프로그램의 실행 후, 비디오와 동기화되는 특정 이벤트를 수행시키기 위해서는 상기 트리거 타임 및 수행할 데이터 혹은 이의 지시자를 송신측에서 전송하여야 하며, 이 정보로 구성된 메시지를 트리거 패킷(trigger packet)이라고 정의한다. 즉, 상기 트리거 패킷은 상술한 동기화 메타데이터의 일예가 된다. Synchronization with DMB video service In order to provide data service, trigger time information (trigger time) indicating the time when a specific event in an application is performed is generated to be synchronized with the video service, and then it is generated within a short time from the data server of the sender. Must transmit to terrestrial DMB middleware. That is, after executing an application program in the terminal, in order to perform a specific event synchronized with video, the transmitter should transmit the trigger time and the data to be performed or its indicator from the transmitting side, and triggers a message composed of this information. It is defined as. That is, the trigger packet is an example of the above-described synchronization metadata.

트리거 패킷은 동기화된 특정 트리거 시점 보다 미리 서버로부터 스케쥴링되어 전송되어져 응용프로그램이 특정 이벤트를 수행할 준비를 시키며, 트리거 시점에 이르러 반복하여 전송함으로써, 비디오 서비스와 정확하게 동기화된 시각에 어플리케이션이 이벤트의 의도대로 특정행위를 수행하게 한다The trigger packet is scheduled and transmitted from the server in advance of the synchronized timing of the trigger so that the application is ready to perform the specific event, and the trigger packet is repeatedly transmitted until the trigger time is reached, so that the application intentions of the event at the time exactly synchronized with the video service are transmitted. To perform certain acts as

지상파 DMB에서는 이 트리거 패킷의 전송을 위해서 오버헤드가 작고, 대기시간이 짧은 데이터 그룹을 사용하지 않는 TDC 패킷모드(TTAS.KO-07.[0030] 초단파디지털라디오 방송 투명데이터채널 송수신 정합표준 참조)를 사용하기로 한다. 또한 이는 다른 전송 프로토콜을 사용하여 전송 가능할 것이다. In the terrestrial DMB, the TDC packet mode that does not use a low-latency, low-latency data group for the transmission of the trigger packet (see TTAS.KO-07. Let's use. It will also be possible to transmit using other transport protocols.

트리거 패킷의 형식은 다음 [표1]과 같다. The format of a trigger packet is shown in Table 1 below.

Figure 112006037375072-PAT00001
Figure 112006037375072-PAT00001

상기 [표 1]에서, "triggertId"는 응용프로그램에서 트리거를 구분하는 식별자이고, "triggerTime"은 이벤트가 발생되는 시점을 가르키며, 연동형 서비스를 위해서 이벤트가 발생할 시점에서의 비디오의 타임스탬프 (CTS)를 사용한다. 이 때, 특정 트리거 시점에서의 CTS를 사용하기 위해서는 비디오 서비스 장비와 데이터 서버와의 상호 제어가 필요할 것이다. "privateDataByte"는 트리거 시점에서 응용프로그램이 특정 이벤트를 수행하기 위한 데이터를 나타낸다. 여기서 privateDataByte는 도 3c의 관련데이터 지시자 및 데이터로 구성될 수 있다. In [Table 1], “triggertId” is an identifier for identifying a trigger in an application program, “triggerTime” indicates a time point at which an event occurs, and a video timestamp (CTS) at a time point of occurrence of an event for a coordinated service. ). At this time, in order to use the CTS at a specific trigger time, mutual control between the video service equipment and the data server will be required. "privateDataByte" represents data for an application to execute a specific event at the time of trigger. Here, privateDataByte may be composed of the relevant data indicator and data of FIG. 3C.

API 모델API Model

지상파 DMB 미들웨어는 동기화된 데이터 서비스의 제공을 위해, DMB 데이터 채널의 수신을 위해 정의된 dmb.io 패키지에 Trigger 인터페이스를 정의한다. 이는 javax.microedition.Datagram(CLDC 1.1(JSR 139), http://java.sun.com/products/cldc/index.jsp)의 확장으로 이벤트 정보가 있는 데이터그램이다. Trigger는 A/V 등의 다른 매체와 동기화 신호를 전달하기 위해 사용한다. 여기에는 트리거 ID와 해당 트리거가 나타내는 작업을 수행할 시각 정보가 연계돼 있다.Terrestrial DMB middleware defines Trigger interface in dmb.io package defined for receiving DMB data channel to provide synchronized data service. This is an extension of javax.microedition.Datagram (CLDC 1.1 (JSR 139), http://java.sun.com/products/cldc/index.jsp), which is a datagram with event information. Trigger is used to transmit synchronization signal with other media such as A / V. It associates the trigger ID with the visual information to perform the task represented by that trigger.

방송망에서 트리거가 여러 개 수신됐더라도 ID가 동일하면 같은 트리거로 취급한다. 트리거가 여러 번 전송하는 경우는 수신 확률을 높이기 위한 이유와 또한 시스템 타임 클록의 불연속 등으로 인해 발생할 수 있는 트리거가 지칭하는 시간이 바뀌는 경우를 나타내기 위한 것이다. 단, 이미 트리거에 지정된 시각이 지나간 경우 해당 트리거는 무시되며, 한번 지정된 시각이 지나서 처리가 완료된 트리거의 ID는 이후 다른 트리거에 의해 재사용될 수 있다.Even if multiple triggers are received in the broadcasting network, the same ID is treated as the same trigger. When a trigger transmits multiple times, it is intended to indicate a reason for increasing the reception probability and a case in which a trigger refers to a change in time, which may occur due to a discontinuity of the system time clock. However, if the time specified in the trigger has already passed, the trigger is ignored, and the ID of the trigger that has been processed after the specified time has been reused by another trigger.

일단 같은 ID의 트리거가 하나라도 수신되면 수신되는 즉시 Trigger 객체가 수신된다. 이때, 트리거가 나타내는 시각이 아직 다 되지 않았으면 doItNow()는 false를 돌려준다. doItNow()가 false인 트리거는 같은 ID면 트리거가 여러 번 수신됐더라도 어플리케이션에는 단 한번만 전달된다. 다만 중간에 트리거 시각이 변경될 경우는 같은 ID를 가진 트리거가 어플리케이션에 여러 차례 전달될 수도 있다. 최종적으로 트리거 시각이 다 되거나 넘어서면 doItNow()가 true인 트리거가 어플리케이션에 전달된다. 이 때는 그 즉시 트리거와 연관된 동작을 행해야 한다. 이 후 동일한 ID를 가진 트리거가 전달돼도 이미 doItNow()에서 true를 돌려줬던 트리거와는 별개로 취급한다.Once any trigger with the same ID is received, the Trigger object is received as soon as it is received. At this time, doItNow () returns false if the time indicated by the trigger has not yet reached. A trigger with doItNow () set to false is only passed to the application once, even if the trigger is received multiple times with the same ID. However, if the trigger time changes in the middle, a trigger with the same ID may be delivered to the application several times. Finally, when the trigger time runs out or passes, the trigger with doItNow () is passed to the application. In this case, you must immediately perform the action associated with the trigger. After that, even if a trigger with the same ID is delivered, it is treated separately from the trigger that has already returned true in doItNow ().

Trigger 패킷으로 전송된 privateData는 Trigger의 상위 클래스인 Datagram의 메소드를 이용하여 읽어낸다.PrivateData transmitted in Trigger packet is read by using method of Datagram which is upper class of Trigger.

동기화 서비스를 위한 API 정의는 다음 [표2]와 같다.API definition for synchronization service is shown in [Table 2].

Figure 112006037375072-PAT00002
Figure 112006037375072-PAT00002

도 4는 본 발명의 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다.4 is a diagram illustrating a configuration of a terrestrial DMB broadcast transmission system for synchronizing real-time video and data services according to another embodiment of the present invention.

도 4는 DMB AV인코더에서 비디오 소스의 시간 정보와 이에 대한 스트림의 타임 스탬프 정보(CTS)인 비디오 정보/타임스탬프를 실시간으로 직접 데이터 서버로 출력할 수 없을 경우, 데이터 서버(430)에서 타임 스탬프 추출부(437)를 사용하는 시스템의 일시시예를 보여주고 있다. 여기서 타임 스탬프 추출부(437)는 DMB AV 인코더(410)로부터 출력되는 AV 스트림으로부터 비디오의 타임 스탬프 (CTS)를 추출하며, 추출된 타임 스탬프는 데이터 관리 및 제어부(433)로 입력된다.FIG. 4 shows a time stamp at the data server 430 when the DMB AV encoder cannot output time information of a video source and video information / time stamp, which is a time stamp information (CTS) of the stream, to the data server in real time. An example of a system using the extractor 437 is shown. Here, the time stamp extractor 437 extracts a time stamp (CTS) of the video from the AV stream output from the DMB AV encoder 410, and the extracted time stamp is input to the data management and control unit 433.

이 경우에, 동기화 메타 데이터에 구성되는 데이터의 타임스탬프(Ts(b))를 미리 계산하기 위해서는 실험적으로 미리 얻을 수 있는DMB AV인코더(410)의 인코딩 지연 시간 등이 추가적으로 고려되어야 한다.In this case, in order to precompute the time stamp Ts (b) of the data constituted in the synchronization metadata, the encoding delay time of the DMB AV encoder 410 that can be experimentally obtained must be additionally considered.

좀 더 용이한 방법의 동기화된 데이터 서비스는 도 5와 도 6에서와 같이 미리 AV 데이터를 인코딩하여 스트림 형태로 저장함으로써 가능할 것이다. 이 경우엔 데이터 삽입을 위한 비디오의 시간과 이때의 타임 스탬프 정보를 미리 알 수 있다.A more convenient method of synchronized data service will be possible by encoding AV data in advance and storing it in stream form as shown in FIGS. 5 and 6. In this case, the time of video for data insertion and time stamp information at this time can be known in advance.

도 5는 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다.5 is a diagram showing the configuration of a terrestrial DMB broadcasting transmission system for synchronizing a real-time video and data service according to another embodiment of the present invention.

도 5에서는 AV스트림이 MPEG-2 TS혹은 이것의 FEC(Forward Error Coding)된 파일로 저장된 경우를 설명하고 있다.FIG. 5 illustrates a case where an AV stream is stored as an MPEG-2 TS or a FEC (Forward Error Coding) file thereof.

도 5를 참조하면, DMB 방송 송신 시스템은, AV 신호원(500), AV 신호를 지상파 DMB 표준에 따라 인코딩하는 AV 인코더(510), 상기 AV 신호를 인코딩하여 스트림 형태로 저장하고 있는 저장수단(560), 상기 저장수단으로부터 제공되는 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버(530), 상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단(520, 540, 550)을 포함하여 구성된다. 여기서, 데이터가 삽입될 비디오의 시간 정보 및 데이터가 재생될 타임스탬프 정보를 의미하는 비디오/데이터 타임스탬프 정보는 미리 데이터 서버(530)로 입력되며, 이를 이용해서 데이터 관리 및 제어부(533)는 데이터가 삽입될 시점을 결정하여 동기화 메타 데이터를 생성할 수 있다. Referring to FIG. 5, the DMB broadcasting transmission system includes an AV signal source 500, an AV encoder 510 for encoding an AV signal according to a terrestrial DMB standard, and storage means for encoding and storing the AV signal in a stream form ( 560, a data server 530 for generating synchronization metadata for providing a data service synchronized with an AV service using an AV timestamp provided from the storage means, an output signal of the AV encoder and an output of the data server And means (520, 540, 550) for multiplexing and transmitting the signal. Here, the video / data timestamp information indicating the time information of the video into which the data is to be inserted and the timestamp information to be played back is input to the data server 530 in advance, and the data management and control unit 533 uses the data. The synchronization metadata may be generated by determining when to insert the data.

상기 도 5에서와 같이 일반 DMB 방송을 위해 DMB 인코더에서 AV 스트림을 송출 중에, 데이터 서비스를 하고자 할 때에는 스위쳐(switcher)에서 스트림의 스위칭(switching)이 일어나게 된다. 여기서 고려해야 점은 스위쳐에서는 Re-stamping 과정, 즉 타임 스탬프의 연속성을 보장하기 위한 프로세싱을 수행한다. 이는 DMB 인코더(510)에서 출력되는 AV 스트림의 타임 스탬프와 연속이 되도록 하기 위하여, 스트림 파일에 미리 삽입된 타임 스탬프를 스위쳐(520)에서 재설정하는 과정이며, 전체적으로 타임스탬프에 일정 값이 더해 지게 된다. 따라서 데이터 서버(530)에서 이를 반영하기 위해서는, 스위쳐(520)에 의해 재설정된 AV 스트림의 타임스탬프 및 스위칭이 일어난 시점에 대한 정보를 입력받아야 한다. 재설정된 타임 스탬프는 전체적으로 일정한 값이 이동한 것이므로, 그 정보는 스위칭이 일어난 순간에만 입력받으면 된다.As shown in FIG. 5, while the AV stream is being transmitted by the DMB encoder for general DMB broadcasting, switching of the stream occurs in the switcher when data service is performed. The consideration here is that the switcher performs a re-stamping process, i.e. processing to ensure continuity of time stamps. This is a process of resetting the time stamp pre-inserted into the stream file in the switcher 520 so as to be continuous with the time stamp of the AV stream output from the DMB encoder 510, and a predetermined value is added to the time stamp as a whole. . Therefore, in order to reflect this in the data server 530, the timestamp of the AV stream reset by the switcher 520 and information about a time point at which switching has occurred must be input. Since the reset time stamp is a fixed value shift as a whole, the information needs to be input only at the moment of switching.

도 6은 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다. 6 is a diagram showing the configuration of a terrestrial DMB broadcast transmission system for synchronizing real-time video and data services according to another embodiment of the present invention.

도 6에 도시된 송신 시스템은 상기 도 5에 도시된 시스템과 달리, AV 스트림을 MP4파일 형태로 미리 인코딩한 후, DMB AV 인코더에 직접 삽입되는 경우를 설명하고 있다.Unlike the system shown in FIG. 5, the transmission system shown in FIG. 6 illustrates a case in which an AV stream is pre-encoded in the form of an MP4 file and then directly inserted into the DMB AV encoder.

AV 스트림을 MPEG-4로 인코딩 했을 때 저장 파일 포멧 중의 하나인 MP4파일이 DMB방송에 삽입될 경우에는 도 6에서와 같이 M4onM2 처리모듈(620)에서 MPEG-4 SL 및 MPEG-2 TS로 패킷화 과정을 거쳐야 한다. 이 과정은 인코더 내부에서 수행될 수 있지만 별도의 장비로 개발이 가능하다. When the MP4 file, which is one of the storage file formats, is inserted into the DMB broadcast when the AV stream is encoded in MPEG-4, the M4onM2 processing module 620 packetizes the MPEG-4 SL and the MPEG-2 TS as shown in FIG. You have to go through the process. This process can be performed inside the encoder, but can be developed as a separate device.

MP4 파일이 MPEG-4 SL 및 MPEG-2 TS로 패킷화될 경우에는, MP4내에 있는 상대적인 시간 정보가 OCR, CTS 등의 시간정보로 변환되게 된다. 따라서 데이터 서버(630)에서는 데이터가 삽입될 비디오의 시간 정보 및 데이터가 재생될 시간정보를 의미하는 비디오/데이터 타임스탬프 정보를 미리 알고 있고, MP4에서 MPEG-4 SL 및 MPEG-2 TS로 패킷화될 때의 변환 정보만 입력을 받을 수 있다면, 비디오와 동기화된 데이터의 재생시간인 데이터 타임스탬프를 예측할 수 있게 된다. When the MP4 file is packetized into MPEG-4 SL and MPEG-2 TS, relative time information in the MP4 is converted into time information such as OCR and CTS. Accordingly, the data server 630 knows in advance the time information of the video into which the data is to be inserted and the video / data timestamp information indicating the time information to be reproduced, and packetizes the MP4 into MPEG-4 SL and MPEG-2 TS. If only the conversion information at the time can be input, it is possible to predict the data time stamp, which is the playback time of the data synchronized with the video.

도 7은 본 발명에 따른 비디오와 동기화된 데이터 서비스가 가능한 수신 시스템을 보여주는 도면이다. 7 illustrates a receiving system capable of data service synchronized with video according to the present invention.

도 7을 참조하면, 비디오와 동기화된 데이터 서비스가 가능한 수신 시스템은, 디지털 멀티미디어 방송신호를 수신하여 기저대역 신호로 복조하고 채널 디코딩을 수행하는 RF 수신 및 채널 디코더(710), 다중화 정보 및 서비스 정보에 의해 AV 스트림과 데이터 패킷을 분리하는 MSC 처리부(730), AV 스트림을 디코딩하는 AV 스트림의 디코딩수단(740), 상기 AV 스트림의 디코딩 수단(740)으로부터 제공되는 시스템 기준 시간 정보와 상기 데이터 패킷에 포함된 동기화 메타데이터를 이용하여 상기 AV 스트림과 동기화된 데이터 서비스를 제공하는 데이터 재생수단(760, 770)을 포함하여 구성된다. Referring to FIG. 7, a reception system capable of data service synchronized with video includes an RF reception and channel decoder 710 for receiving a digital multimedia broadcasting signal, demodulating it into a baseband signal, and performing channel decoding, and multiplexing information and service information. MSC processing unit 730 for separating the AV stream and the data packet by means, decoding means 740 for decoding the AV stream, system reference time information and data packet provided from the decoding means 740 for the AV stream. And data reproducing means (760, 770) for providing a data service synchronized with the AV stream using the synchronization metadata contained in the.

상기 RF수신 및 채널 디코더(710)에서는 RF 신호를 수신하여 기저대역 신호로 복조하고 채널 디코딩한 후, FIC데이터와 MSC데이터로 분리한다. FIC 해석부(720)는 다중화 정보 및 서비스 정보를 해석하여 MSC 처리부(730)으로 제공하고, MSC 처리부(730)은 MSC 채널을 통해 전송된 AV스트림 및 데이터 패킷이 분리한다. AV 스트림 및 데이터 패킷은 각각 DMB AV디코더(740) 및 DMB데이터 디코더(760)로 입력되어 디코딩된다. DMB AV 재생장치(750) 및 데이터 재생장치(770)에서는 각각 재생 시간에 맞춰 AV 스트림 및 데이터를 재생한다. The RF reception and channel decoder 710 receives an RF signal, demodulates the baseband signal, decodes the channel, and separates the FIC data and the MSC data. The FIC interpreter 720 interprets the multiplexed information and the service information and provides it to the MSC processor 730, which separates the AV stream and the data packet transmitted through the MSC channel. The AV stream and the data packet are input to the DMB AV decoder 740 and the DMB data decoder 760 and decoded, respectively. The DMB AV playback device 750 and the data playback device 770 play back the AV stream and data in accordance with the playback time, respectively.

본 발명에서 데이터 디코더(760)는 DMB AV 디코더(740)로부터 OCR과 같은 시스템 기준시간 정보를 입력받고, 동기화 메타 데이터 혹은 데이터 오브젝터의 헤더에 삽입된 CTS기반의 데이터 타임스탬프 정보와 비교한다. 이때 일치하는 시점이 해당되는 데이터 오브젝터 파일의 재생 시간이 된다. 최종적으로 데이터 재생장치(770)에서는 동기화 메타 데이터에서 지시하는 응용프로그램이 실행된 후, 동기화 메타 데이터가 지시하는 관련 데이터 및 동기화 메타 데이터에 삽입된 즉각적인 데이터가 추출된 재생시간에 맞게 각각 재생됨으로써 AV와 동기화된 데이터 서비스가 이루어지게 된다.In the present invention, the data decoder 760 receives system reference time information such as OCR from the DMB AV decoder 740 and compares it with CTS-based data time stamp information inserted in the header of the synchronization metadata or the data object. At this time, the matching time point is the playing time of the corresponding data object file. Finally, in the data reproducing apparatus 770, after the application indicated by the synchronization metadata is executed, the relevant data indicated by the synchronization metadata and the immediate data inserted into the synchronization metadata are reproduced in accordance with the extracted reproduction time. The data service is synchronized with.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, Eureka-147 기반으로 전송되는 데이터를 MPEG-4 및 MPEG-2기반의 비디오서비스와 동기화된 서비스가 가능할 것으므로, 다양한 DMB 데이터 방송 서비스의 보급에 이바지하는 효과가 있다.The present invention as described above, since the data transmitted based on the Eureka-147 can be a service synchronized with the MPEG-4 and MPEG-2 based video services, there is an effect that contributes to the spread of various DMB data broadcasting services.

Claims (23)

디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법으로서, A method for providing a data service synchronized with an AV service in digital multimedia broadcasting, AV 데이터에 대한 AV 타임 스탬프를 입력받는 단계;Receiving an AV time stamp for the AV data; 상기 AV 타임스탬프를 기반으로 단말에서 데이터가 재생될 시점인 데이터의 타임스탬프를 계산하는 단계;Calculating a timestamp of the data at the time point at which the data is reproduced in the terminal based on the AV timestamp; 상기 계산된 데이터의 타임스탬프를 포함하는 동기화 메타데이터를 생성하는 단계; 및Generating synchronization metadata comprising a timestamp of the calculated data; And 상기 동기화 정보를 인코딩하여 전송하는 단계;를 포함하는 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법.Encoding and transmitting the synchronization information; and providing a data service synchronized with an AV service in a digital multimedia broadcasting. 제1항에 있어서, 상기 AV 타임 스탬프는, The method of claim 1, wherein the AV time stamp, 인코딩되어 출력되는 오디오/비디오 스트림으로부터 추출되어 제공되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.A method for providing a video service synchronized data service in a digital multimedia broadcasting, characterized in that it is extracted and provided from an audio / video stream that is encoded and output. 제1항에 있어서, 상기 AV 타임 스탬프는, The method of claim 1, wherein the AV time stamp, 동기화된 서비스를 위해 미리 저장되어 있는 AV 스트림 파일로부터 제공되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.Method for providing a video service synchronized data service in a digital multimedia broadcasting, characterized in that it is provided from a pre-stored AV stream file for the synchronized service. 제1항에 있어서, 상기 동기화 메타데이터는,The method of claim 1, wherein the synchronization metadata, 상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.And a trigger packet including information for performing an event synchronized with the AV service. 제4항에 있어서, 상기 트리거 패킷은,The method of claim 4, wherein the trigger packet, 수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점을 가리키는 필드, 트리거 시점에서 응용프로그램이 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.A video service in a digital multimedia broadcasting comprising a field for identifying a trigger in a receiving application, a field indicating a point in time at which a corresponding event occurs, and a field indicating a data for execution by an application in a trigger point. Method for providing a synchronized data service. 제5항에 있어서, 상기 트리거 패킷은, 트리거 시점 이전에 반복하여 전송하는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이 터 서비스를 제공하기 위한 방법.The method as claimed in claim 5, wherein the trigger packet is repeatedly transmitted before a trigger time point. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법으로서,A method for providing a data service synchronized with an AV service in digital multimedia broadcasting, 수신 신호로부터 AV 스트림과 데이터 패킷을 분리하는 단계;Separating the AV stream and the data packet from the received signal; 상기 AV 스트림의 디코딩 수단으로부터 시스템 기준시간 정보를 입력받는 단계;Receiving system reference time information from the decoding means of the AV stream; 상기 데이터 패킷에 포함된 동기화 메타데이터로부터 데이터 타임스탬프를 획득하는 단계; 및Obtaining a data timestamp from the synchronization metadata included in the data packet; And 상기 데이터 타임스탬프와 상기 시스템 기준시간을 비교하여 일치하는 시점에 데이터 오브젝터 파일의 디코딩 또는 재생을 실행하는 단계;를 포함하는 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법.And comparing the data timestamp with the system reference time to execute decoding or playback of a data object file at a matched time point. 제7항에 있어서, 상기 동기화 메타데이터는,The method of claim 7, wherein the synchronization metadata, 상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.And a trigger packet including information for performing an event synchronized with the AV service. 제7항에 있어서, 상기 동기화 메타데이터는,The method of claim 7, wherein the synchronization metadata, 상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.And a trigger packet including information for performing an event synchronized with the AV service. 제9항에 있어서, 상기 트리거 패킷은,The method of claim 9, wherein the trigger packet, 수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점인 트리거 시점을 기록하는 필드, 트리거 시점에서 응용프로그램이 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.And a field for identifying a trigger in a receiving application, a field for recording a trigger time, which is a point in time at which the corresponding event occurs, and a field for indicating data for execution by the application in a trigger point. Video service in broadcast A method for providing a synchronized data service. 제9항에 있어서, 상기 트리거 패킷이 특정 이벤트가 발생할 시점 이전에 미리 알려 주기 위한 것이면 false 신호를 수신측의 응용프로그램에 전달하고, 즉시 이벤트에 반응하여 데이터를 처리해야 하는 경우에는 true 신호를 수신측의 응용프로그램에 전달하는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 방법.10. The method of claim 9, wherein the trigger packet transmits a false signal to a receiving application if the trigger packet is to be notified before a specific event occurs, and receives a true signal if data must be processed immediately in response to the event. A video service synchronized data service in a digital multimedia broadcasting characterized in that delivered to the application on the side. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치로서,An apparatus for providing a data service synchronized with an AV service in digital multimedia broadcasting, AV 신호를 지상파 DMB 표준에 따라 인코딩하고, AV 타임스탬프를 데이터 서버로 제공하는 AV 인코더;An AV encoder for encoding an AV signal according to the terrestrial DMB standard and providing an AV timestamp to the data server; 상기 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버; A data server for generating synchronization metadata for providing a data service synchronized with an AV service using the AV timestamp; 상기 AV 인코더 및 상기 데이터 서버의 정확한 시간적인 동기화를 위한 시간동기화 서버; 및A time synchronization server for accurate time synchronization of the AV encoder and the data server; And 상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단을 포함하는 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치.And means for multiplexing and transmitting the output signal of the AV encoder and the output signal of the data server. 제12항에 있어서, 상기 데이터 서버는,The method of claim 12, wherein the data server, 디지털 멀티미디어 방송과 관련된 각종 데이터를 발생시키는 데이터 신호원과,A data signal source for generating various data related to digital multimedia broadcasting; 상기 AV 타임스탬프를 기반으로 단말에서 데이터가 재생될 시점인 데이터의 타임스탬프를 계산하며, 상기 계산된 데이터의 타임스탬프를 포함하는 동기화 메타 데이터를 생성하는 상기 데이터 관리 및 제어부와,The data management and control unit for calculating a timestamp of data at the time point at which data is reproduced in the terminal based on the AV timestamp, and generating synchronization metadata including the timestamp of the calculated data; 데이터서비스를 위한 각종 데이터 및 상기 동기화 메타 데이터를 인코딩하여 데이터 패킷을 생성하는 데이터 인코더를 포함하여 구성되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치.Apparatus for providing a data service synchronized with the AV service in a digital multimedia broadcasting, characterized in that it comprises a data encoder for generating a data packet by encoding the various data for the data service and the synchronization metadata. 제12항에 있어서, 상기 동기화 메타데이터는,The method of claim 12, wherein the synchronization metadata, 상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 장치.Apparatus for providing a video service synchronized data service in a digital multimedia broadcasting, characterized in that the trigger packet consisting of information for performing an event synchronized with the AV service. 제14항에 있어서, 상기 트리거 패킷은,The method of claim 14, wherein the trigger packet, 수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점을 가리키는 필드, 트리거 시점에서 응용프로그램이 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 장치.A video service in a digital multimedia broadcasting comprising a field for identifying a trigger in a receiving application, a field indicating a point in time at which a corresponding event occurs, and a field indicating a data for execution by an application in a trigger point. Device for providing a synchronized data service. 제14항에 있어서, 상기 트리거 패킷은, 트리거 시점 이전에 반복하여 전송하는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 장치.15. The apparatus of claim 14, wherein the trigger packet is repeatedly transmitted before a trigger time point. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치로서,An apparatus for providing a data service synchronized with an AV service in digital multimedia broadcasting, AV 신호를 지상파 DMB 표준에 따라 인코딩하는 AV 인코더;An AV encoder for encoding the AV signal according to the terrestrial DMB standard; 상기 AV 신호를 인코딩하여 스트림 형태로 저장하고 있는 저장수단;Storage means for encoding and storing the AV signal in a stream form; 상기 저장수단으로부터 제공되는 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버; 및A data server for generating synchronization metadata for providing a data service synchronized with an AV service using an AV timestamp provided from the storage means; And 상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단을 포함하는 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치.And means for multiplexing and transmitting the output signal of the AV encoder and the output signal of the data server. 제17항에 있어서, 상기 동기화 메타데이터는,The method of claim 17, wherein the synchronization metadata is 상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 장치.And a trigger packet including information for performing an event synchronized with the AV service. 제18항에 있어서, 상기 트리거 패킷은,The method of claim 18, wherein the trigger packet, 수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점을 가리키는 필드, 트리거 시점에서 응용프로그램이 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 제공하기 위한 장치.A video service in a digital multimedia broadcasting comprising a field for identifying a trigger in a receiving application, a field indicating a point in time at which a corresponding event occurs, and a field indicating a data for execution by an application in a trigger point. Device for providing a synchronized data service. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 사용자에게 제공하기 위한 장치로서,An apparatus for providing a user with a data service synchronized with an AV service in a digital multimedia broadcasting, 디지털 멀티미디어 방송신호를 수신하여 기저대역 신호로 복조하고 채널 디코딩을 수행하는 RF 수신 및 채널 디코더;An RF receiving and channel decoder for receiving a digital multimedia broadcasting signal, demodulating the baseband signal, and performing channel decoding; 다중화 정보 및 서비스 정보에 의해 AV 스트림과 데이터 패킷을 분리하는 MSC 처리부;An MSC processing unit for separating the AV stream and the data packet by the multiplexing information and the service information; AV 스트림을 디코딩하는 AV 스트림 디코딩 수단; 및AV stream decoding means for decoding the AV stream; And 상기 AV 스트림의 디코딩 수단으로부터 제공되는 시스템 기준 시간 정보와 상기 데이터 패킷에 포함된 동기화 메타데이터를 이용하여 상기 AV 스트림과 동기화된 데이터 서비스를 제공하는 데이터 재생수단을 포함하는 디지털 멀티미디어 방 송에서 AV 서비스와 동기화된 데이터 서비스를 사용자에게 제공하기 위한 장치.AV service in a digital multimedia broadcasting including data reproducing means for providing a data service synchronized with the AV stream by using system reference time information provided from the decoding means of the AV stream and synchronization metadata included in the data packet. A device for providing a data service synchronized with a user. 제20항에 있어서, 상기 동기화 메타데이터는,The method of claim 20, wherein the synchronization metadata, 상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 사용자에게 제공하기 위한 장치.Apparatus for providing a video service synchronized data service to a user in a digital multimedia broadcasting, characterized in that the trigger packet consisting of information for performing an event synchronized with the AV service. 제21항에 있어서, 상기 트리거 패킷은,The method of claim 21, wherein the trigger packet, 수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점인 트리거 시점을 기록하는 필드, 트리거 시점에서 응용프로그램이 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 사용자에게 제공하기 위한 장치.And a field for identifying a trigger in a receiving application, a field for recording a trigger time, which is a point in time at which the corresponding event occurs, and a field for indicating data for execution by the application in a trigger point. Apparatus for providing a video service synchronized data service to a user in a broadcast. 제21항에 있어서, 상기 트리거 패킷이 특정 이벤트가 발생할 시점 이전에 미리 알려 주기 위한 것이면 false 신호를 수신측의 응용프로그램에 전달하고, 즉시 이벤트에 반응하여 데이터를 처리해야 하는 경우에는 true 신호를 수신측의 응용프 로그램에 전달하는 것을 특징으로 하는 디지털 멀티미디어 방송에서 비디오 서비스 동기화된 데이터 서비스를 사용자에게 제공하기 위한 장치.22. The method of claim 21, wherein the trigger packet transmits a false signal to a receiving application if the trigger packet is to be notified before a specific event occurs, and receives a true signal if data must be processed immediately in response to the event. Apparatus for providing a video service synchronized data service to a user in a digital multimedia broadcasting, characterized in that delivered to the application on the side.
KR1020060047717A 2005-05-26 2006-05-26 Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting and Executing Method of Data Service KR100837720B1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020050044579 2005-05-26
KR20050044579 2005-05-26
KR20050080642 2005-08-31
KR1020050080642 2005-08-31

Publications (2)

Publication Number Publication Date
KR20060122784A true KR20060122784A (en) 2006-11-30
KR100837720B1 KR100837720B1 (en) 2008-06-13

Family

ID=37452227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060047717A KR100837720B1 (en) 2005-05-26 2006-05-26 Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting and Executing Method of Data Service

Country Status (3)

Country Link
EP (1) EP1884115A4 (en)
KR (1) KR100837720B1 (en)
WO (1) WO2006126852A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008156326A3 (en) * 2007-06-20 2009-02-26 Korea Electronics Telecomm Method of multiplexing transmission frame of digital broadcasting signal, apparatus for multiplexing transmission frame, and transmitting apparatus
KR101052480B1 (en) * 2008-08-27 2011-07-29 한국전자통신연구원 Broadcast signal transceiver and method
KR101226178B1 (en) * 2007-03-27 2013-01-24 삼성전자주식회사 Method and apparatus for displaying video data
KR101236813B1 (en) * 2011-01-13 2013-02-28 주식회사 알티캐스트 Open audio service system in digital broadcast and method thereof

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936790B2 (en) * 2007-08-30 2011-05-03 Silicon Image, Inc. Synchronizing related data streams in interconnection networks
US8819749B2 (en) 2008-06-11 2014-08-26 Koninklijke Philips B.V. Synchronization of media stream components
KR101349227B1 (en) 2010-03-29 2014-02-11 한국전자통신연구원 An apparatus and method for providing object information in multimedia system
KR101689616B1 (en) 2010-07-19 2016-12-26 엘지전자 주식회사 Method for transmitting/receiving media segment and transmitting/receiving apparatus thereof
JP5948773B2 (en) 2011-09-22 2016-07-06 ソニー株式会社 Receiving apparatus, receiving method, program, and information processing system
US9118425B2 (en) 2012-05-31 2015-08-25 Magnum Semiconductor, Inc. Transport stream multiplexers and methods for providing packets on a transport stream
WO2019164361A1 (en) * 2018-02-23 2019-08-29 스타십벤딩머신 주식회사 Streaming device and streaming method
CN111611252B (en) * 2020-04-01 2023-07-18 石化盈科信息技术有限责任公司 Monitoring, device, equipment and storage medium for safety data in data synchronization process

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0680216B1 (en) * 1994-04-28 2007-11-21 OpenTV, Inc. Apparatus and method for formulating an interactive signal
JP2000244433A (en) * 1999-02-17 2000-09-08 Sony Corp Data multiplexer and data multiplexing method
US6415438B1 (en) * 1999-10-05 2002-07-02 Webtv Networks, Inc. Trigger having a time attribute
KR100392384B1 (en) * 2001-01-13 2003-07-22 한국전자통신연구원 Apparatus and Method for delivery of MPEG-4 data synchronized to MPEG-2 data
JP2002238048A (en) * 2001-02-07 2002-08-23 Nec Corp Mpeg 2 transport stream transmission rate conversion method
JP3605110B2 (en) * 2001-07-27 2004-12-22 松下電器産業株式会社 Broadcasting system, broadcasting device, synchronous information replacing device, synchronous information replacing method, program, and recording medium recording the program
KR100438518B1 (en) * 2001-12-27 2004-07-03 한국전자통신연구원 Apparatus for activating specific region in mpeg-2 video using mpeg-4 scene description and method thereof
GB2387984B (en) * 2002-03-07 2005-11-09 Chello Broadband N V Display of enhanced content
KR100406122B1 (en) * 2002-03-29 2003-11-14 한국전자통신연구원 Apparatus and method for injecting synchronized data for digital data broadcasting
KR100646851B1 (en) * 2004-11-03 2006-11-23 한국전자통신연구원 Terrestrial DMB broadcasting tranceiving System for synchronizing data service with audio/video service

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101226178B1 (en) * 2007-03-27 2013-01-24 삼성전자주식회사 Method and apparatus for displaying video data
US8379713B2 (en) 2007-03-27 2013-02-19 Samsung Electronics Co., Ltd. Method and apparatus for displaying video data
WO2008156326A3 (en) * 2007-06-20 2009-02-26 Korea Electronics Telecomm Method of multiplexing transmission frame of digital broadcasting signal, apparatus for multiplexing transmission frame, and transmitting apparatus
CN101715637B (en) * 2007-06-20 2013-04-03 韩国电子通信研究院 Method of multiplexing transmission frame of digital broadcasting signal, apparatus for multiplexing transmission frame, and transmitting apparatus
KR101052480B1 (en) * 2008-08-27 2011-07-29 한국전자통신연구원 Broadcast signal transceiver and method
KR101236813B1 (en) * 2011-01-13 2013-02-28 주식회사 알티캐스트 Open audio service system in digital broadcast and method thereof

Also Published As

Publication number Publication date
KR100837720B1 (en) 2008-06-13
EP1884115A1 (en) 2008-02-06
EP1884115A4 (en) 2008-08-06
WO2006126852A1 (en) 2006-11-30

Similar Documents

Publication Publication Date Title
KR100837720B1 (en) Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting and Executing Method of Data Service
US10820065B2 (en) Service signaling recovery for multimedia content using embedded watermarks
KR100646851B1 (en) Terrestrial DMB broadcasting tranceiving System for synchronizing data service with audio/video service
US10129609B2 (en) Method for transceiving media files and device for transmitting/receiving using same
US10715571B2 (en) Self-adaptive streaming medium processing method and apparatus
US20120033035A1 (en) Method and system for transmitting/receiving 3-dimensional broadcasting service
GB2508451A (en) Broadcast service transmitting method, broadcast service receiving method and broadcast service receiving apparatus
CN103283220A (en) Method for transmitting broadcast service, method for receiving the broadcasting service, and apparatus for receiving the broadcasting service
KR100439338B1 (en) Data encoding apparatus and method for digital terrestrial data broadcasting
CN108111872B (en) Audio live broadcasting system
CN109618208A (en) A kind of live stream distribution slice synchronous method and device
US10797811B2 (en) Transmitting device and transmitting method, and receiving device and receiving method
CN101218819A (en) Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting
KR100910996B1 (en) Method of Providing Three-Dimensional Video Service in Digital Multimedia Broadcasting System
CN105812961B (en) Adaptive stream media processing method and processing device
KR20070010653A (en) Method and apparatus for providing advertisement in digital broadcasting system
KR20130103931A (en) Advance metadata provision augmented broadcasting apparatus and method
KR100825755B1 (en) Method and its apparatus of transmitting/receiving digital multimedia broadcasting(dmb) for connecting data service based on mpeg-4 bifs with data service based on middleware
KR100883366B1 (en) Dmb receiving system and method for providing integrated data service in digital multimedia broadcasting
WO2005020580A1 (en) Apparatus and method for converting media stream for multimedia service in dab system
KR100513795B1 (en) Transmitting/receiving apparatus and its method for providing synchronized event service using system time clock in digital data broadcasting system
JP6596363B2 (en) Time mapping information generation apparatus, synchronized playback system, time mapping information generation method, and time mapping information generation program
KR101739769B1 (en) Transmission frame structure for dmb file casting and transmission method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee