KR100837720B1 - 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법 - Google Patents

디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법 Download PDF

Info

Publication number
KR100837720B1
KR100837720B1 KR1020060047717A KR20060047717A KR100837720B1 KR 100837720 B1 KR100837720 B1 KR 100837720B1 KR 1020060047717 A KR1020060047717 A KR 1020060047717A KR 20060047717 A KR20060047717 A KR 20060047717A KR 100837720 B1 KR100837720 B1 KR 100837720B1
Authority
KR
South Korea
Prior art keywords
data
service
trigger
time
synchronized
Prior art date
Application number
KR1020060047717A
Other languages
English (en)
Other versions
KR20060122784A (ko
Inventor
이광순
양규태
이봉호
함영권
안충현
이수인
김도형
Original Assignee
한국전자통신연구원
주식회사 알티캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 주식회사 알티캐스트 filed Critical 한국전자통신연구원
Publication of KR20060122784A publication Critical patent/KR20060122784A/ko
Application granted granted Critical
Publication of KR100837720B1 publication Critical patent/KR100837720B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/06—Arrangements for scheduling broadcast services or broadcast-related services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 위성, 지상파, 케이블 또는 전용선을 이용한 디지털 방송망에서의 응용프로그램 전송법 및 그 장치에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 DMB 방송에서 DMB 오디오/비디오 서비스와 동기화 데이터 서비스를 제공하기 위해, 응용프로그램에서의 특정 이벤트가 수행되는 시간을 나타내는 정보를 오디오/비디오 서비스와 동기화되도록 생성한 후 전송하는, 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 위한 방법 및 그 장치를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, AV 데이터에 대한 AV 타임스탬프를 입력받는 단계; 상기 AV 타임스탬프를 기반으로 단말에서 데이터가 재생될 시점인 데이터의 타임스탬프를 계산하는 단계; 상기 계산된 데이터의 타임스탬프를 포함하는 동기화 메타데이터를 생성하는 단계; 및 상기 동기화 정보를 인코딩하여 전송하는 단계;를 포함한다.
4. 발명의 중요한 용도
본 발명은 DMB 방송 등에 이용됨.
DMB(digital multimedia broadcasting), 데이터 방송(data broadcasting), 동기화된(synchronized) 데이터 서비스, Eureka-147

Description

디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법{Method and Apparatus for synchronizing data service with video service in Digital Multimedia Broadcasting and Executing Method of Data Service}
도 1 은 종래의 지상파 DMB 방송 송신 시스템의 구성도,
도 2는 본 발명의 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,
도 3a는 데이터가 재생될 시점을 타임스탬프(CTS) 기반의 값으로 계산하는 방법을 설명하기 위한 도면,
도 3b는 도 3a에 도시된 데이터 캐로셀의 구성예를 보여주는 도면,
도 3c는 도 3a에 도시된 동기화 메타데이터의 구성예를 보여주는 도면,
도 4는 본 발명의 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,
도 5는 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,
도 6은 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면,
도 7은 본 발명에 따른 비디오와 동기화된 데이터 서비스가 가능한 수신 시스템을 보여주는 도면이다.
본 발명은 디지털 멀티미디어 방송(Digital Multimedia Broadcasting: 이하 "DMB"라고 함)에 관한 것으로, 특히 디지털 멀티미디어 방송에서 Eureka-147 기반으로 전송되는 데이터를 MPEG-4 및 MPEG-2로 인코딩 및 다중화되어 전송되는 오디오 및 비디오(AV)에 동기화하기 위한 방법 및 그 장치에 관한 것이다.
동기화된 데이터 서비스 모델은 지상파 DMB 미들웨어에서 실행되는 응용프로그램이 DMB 비디오 서비스 등 다른 매체와의 동기화된 실행을 수행하기 위한 수단 제공을 목적으로 한다. 여기서 비디오 서비스라 함은 “초단파 디지털라디오방송 비디오 송수신 정합 표준”(TTAS.KO-07.0026)에 의해 제공되는 AV 서비스를 말한다.
도 1은 종래의 지상파 DMB 방송 송신 시스템의 구성 예시도이다.
오디오/비디오(AV: Audio/Video) 신호원(100)이 DMB 방송을 위한 비디오 신호 및 오디오 신호를 생성하면, DMB AV 인코더(110)는 DMB 비디오 송수신 정합 표준에 따라 인코딩하여 AV 스트림을 발생시킨다. 이 과정에는 MPEG-4의 AV 인코딩 과정과 MPEG-2 TS (transport stream)로의 다중화 과정이 포함된다. 한편, 유레카147 (Euraka-147) 기반의 데이터 서비스를 위해서, 데이터 신호원(110)은 오디오/비디오(AV) 신호와 무관한 각종 데이터를 발생시키고, 데이터 인코더(140)는 데이터 신호원(110)으로부터 발생되는 각종 데이터를 인코딩하여 데이터 패킷을 발생시킨다.
DMB AV 인코더(120) 및 데이터 인코더(140)에서 출력되는 AV 스트림 및 패킷 데이터는 앙상블 다중화부(150)에 의해 앙상블 전송 인터페이스(Ensemble Transport Interface) 규격의 프레임(ETI 프레임)으로 다중화된 후 DMB 송신부(160)에서 OFDM 인코딩 등의 과정을 거쳐 RF(Radio Frequency) 신호로 송출된다.
여기서, ETI 프레임은 기본적으로 고속정보채널(FIC: Fast Information Channel)과 주(主) 서비스 채널(MSC: Main Service Channel) 데이터로 구성되는데, 이는 각각 상기 앙상블 다중화부(150)내의 FIC 구성부(151)와 MSC 구성부(152)에서 생성된다.
Eureka-147 시스템에서 FIC 채널은 다중화 정보 및 서비스 정보의 제공을 위해 신속한 접근을 할 수 있게 하는 정보 채널이며, MSC 채널은 FIC 채널을 통해 설정된 다중화 구조에 따라 각 서비스에 해당하는 서비스 콤포넌트들을 다중화하기 위한 주 서비스 채널이다.
기본 오디오 데이터, AV 스트림 및 다양한 부가 데이터들이 MSC에 다중화되어 전송된다. FIC에는 절대시간이 UTC(Universal Coordinated Time) 형태로 FIG 타입 0 확장형 10 (FIG 0/10)에 삽입되게 되는데, 이는 MSC의 데이터들이 디코딩 및 재생되는 기준시간을 제공한다. 따라서, 이 UTC 절대시간 정보가 데이터 인코딩시 타이밍 정보의 기준으로 삽입될 수 있다.
MPEG-4 및 MPEG-2 시스템에서는 기본 스트림(ES: Elementary Stream)에 의해 전송되는 AV 데이터를 동기시키고 타이밍 정보를 전송하기 위해, 기준 클럭(clock reference)과 타임스탬프(time stamp)들을 사용한다.
MPEG-4에서의 타임스탬프들은 수신 단말이 디코딩 버퍼에 있는 접근 단위(access unit)들의 디코딩 시점을 정의하기 위해 디코딩 타임스탬프(DTS: Decording Time Stamp)를 사용하며, 콤포지션 단위(CU: Composition Unit)들의 콤포지션(composition) 시점을 정확히 나타내기 위해 콤포지션 타임스탬프(CTS: omposition Time Stamp)를 사용한다.
오브젝트 기준 클럭(OCR: Object Clock Reference)은 주어진 스트림에 대한 시간 표기를 ES 디코더로 전송하기 위해 사용된다. 오브젝트 기준 클럭(OCR) 값은 송신 단말이 오브젝트 기준 클럭(OCR) 타임스탬프를 발생시키는 시간에서의 오브젝트 타임 베이스(OTB: Object Time Base)값에 대응되며, 오브젝트 기준 클럭(OCR) 값들은 SL 패킷 헤더에 포함되어 전송된다.
국내 지상파 DMB 방송에서는 MPEG-4 및 MPEG-2를 동시에 사용하고 있다. 여기서, 오디오 및 비디오의 타이밍 정보를 전송하고 동기화하기 위하여, MPEG-2의 경우에는 PCR(Program Clock Reference), PTS(Program Time Stamp)를 이용하고, MPEG-4의 경우에는 오브젝트 기준 클럭(OCR), 콤포지션 타임스탬프(CTS), 디코딩 타임스탬프(DTS) 정보를 이용한다. 또한, MPEG-4와 MPEG-2의 동기화를 위해서 MPEG-4의 SL 패킷이 MPEG-2의 PES 패킷으로 매핑될 때 1:1이 되게 하고, MPEG-2의 PTS는 MPEG-4의 SL패킷 헤더에 오브젝트 기준 클럭(OCR)이 포함되어 올 경우에만 PES 헤더에 포함되고, 그렇지 않을 경우에는 PTS를 사용하지 않는다. 또한 MPEG-4 데이터 스트림에 대한 시간 표기를 정의하는 오브젝트 타임 베이스(OTB)는 MPEG-2의 시스템 타임 클럭과 맞물리게 한다.
한편, 도 1의 데이터 인코더(140)는 DMB 시스템 규격(Eureka-147) 기반의 데이터 전송 규격인 MOT(Multimedia Object Protocol) 등을 이용하여 데이터를 인코딩할 때, 타이밍 정보를 전송하기 위해서 FIC 채널을 통해 전송되는 UTC 절대시간 정보를 참조하고 있다. 즉 데이터 인코더(140)에서는 파일 혹은 디렉토리 단위로 데이터를 오브젝터(object)화 한 다음, 다시 이를 패킷화한다. 이때 하나의 데이터 오브젝트가 디코딩 및 재생되어야 할 시간에 대한 타이밍 정보인 타임스탬프를 UTC 형태를 사용하여 데이터 오브젝터의 헤더에 삽입하게 된다. 그러나, 이러한 방법은 DMB 오디오/비디오(AV) 스트림과 데이터 간의 정확한 동기화를 달성하기가 곤란하다는 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, DMB 방송에서 DMB 오디오/비디오 서비스와 동기화 데이터 서비스를 제공하기 위해, 응용프로그램에서의 특정 이벤트가 수행되는 시간을 나타내는 정보를 오디오/비디오 서비스와 동기화되도록 생성한 후 전송하는, 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 위한 방법 및 그 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
삭제
삭제
삭제
삭제
삭제
이러한 목적을 달성하기 위한 본 발명은 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법에 있어서, AV 데이터에 대한 AV 타임스탬프를 입력받는 단계; 상기 AV 타임스탬프를 기반으로 단말에서 데이터가 재생될 시점인 데이터의 타임스탬프를 계산하는 단계; 상기 계산된 데이터의 타임스탬프를 포함하는 동기화 메타데이터를 생성하는 단계; 및 상기 동기화 메타데이터를 인코딩하여 전송하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법에 있어서, 수신 신호로부터 AV 스트림과 데이터 패킷을 분리하는 단계; 상기 AV 스트림의 디코딩 수단으로부터 시스템 기준시간 정보를 입력받는 단계; 상기 데이터 패킷에 포함된 동기화 메타데이터로부터 데이터 타임스탬프를 획득하는 단계; 및 상기 데이터 타임스탬프와 상기 시스템 기준시간을 비교하여 일치하는 시점에 데이터 오브젝터 파일의 디코딩 또는 재생을 실행하는 단계를 포함하는 것을 다른 특징으로 한다.
또한 본 발명은 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치에 있어서, AV 신호를 지상파 DMB 표준에 따라 인코딩하고, AV 타임스탬프를 데이터 서버로 제공하는 AV 인코더; 상기 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버; 상기 AV 인코더 및 상기 데이터 서버의 정확한 시간적인 동기화를 위한 시간동기화 서버; 및 상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치에 있어서, AV 신호를 지상파 DMB 표준에 따라 인코딩하는 AV 인코더; 상기 AV 신호를 인코딩하여 스트림 형태로 저장하고 있는 저장수단; 상기 저장수단으로부터 제공되는 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버; 및 상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 사용자에게 제공하기 위한 장치에 있어서, 디지털 멀티미디어 방송신호를 수신하여 기저대역 신호로 복조하고 채널 디코딩을 수행하는 RF 수신 및 채널 디코더; 다중화 정보 및 서비스 정보에 의해 AV 스트림과 데이터 패킷을 분리하는 MSC 처리부; AV 스트림을 디코딩하는 AV 스트림 디코딩 수단; 및 상기 AV 스트림의 디코딩 수단으로부터 제공되는 시스템 기준시간 정보와 상기 데이터 패킷에 포함된 동기화 메타데이터를 이용하여 상기 AV 스트림과 동기화된 데이터 서비스를 제공하는 데이터 재생수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 실행시키는 방법에 있어서, 상기 데이터 서비스와 연관된 응용프로그램에서 특정 이벤트가 수행되는 시간을 나타내는 트리거 시간 정보를 트리거 패킷의 형태로 상기 이벤트 수행 시간 이전에 수신 받는 단계와, 상기 트리거 시간 정보를 이용함으로써 상기 AV 서비스와 동기화된 시간에 상기 응용프로그램이 상기 이벤트를 수행하도록 하는 단계를 포함하며, 상기 트리거 패킷은 트리거 스트림 중에서 특정 트리거를 구분하기 위한 식별자와, 상기 트리거 시간에 상기 응용프로그램에 전달될 데이터를 더 구비하는 것을 또 다른 특징으로 한다.
또한 본 발명은 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 실행시키는 방법에 있어서, 상기 데이터 서비스와 연관된 응용프로그램에서 특정 이벤트가 수행되는 시간을 나타내는 트리거 시간 정보를 트리거 패킷의 형태로 상기 이벤트 수행 시간 이전에 수신 받는 단계와, 상기 트리거 시간 정보를 이용함으로써 상기 AV 서비스와 동기화된 시간에 상기 응용프로그램이 상기 이벤트를 수행하도록 하는 단계를 포함하며, 상기 트리거 패킷은 트리거 스트림 중에서 특정 트리거를 구분하기 위한 식별자와, 상기 트리거 시간에 상기 응용프로그램에 전달될 데이터를 더 구비하는 것을 또 다른 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다.
도 2를 참조하면, 지상파 DMB 방송 송신 시스템은, 오디오 및 비디오 콘텐츠를 발생하기 위한 AV 신호원(200), 생성된 오디오 및 비디오를 지상파 DMB 표준에 맞게 인코딩하기 위한 DMB AV 인코더(210), 다양한 데이터 서비스를 위한 데이터 서버(230), 발생된 AV 스트림 및 데이터 패킷을 하나의 앙상블로 다중화하기 위한 앙상블 다중화부(240), OFDM 인코딩과 RF 송출을 위한 DMB 전송부(250), 상기 장치들의 정확한 시간적인 동기화를 위한 NTP(Network Time Protocol) 서버(220)로 구성된다. 한편 상기 데이터 서버(230)는 데이터 신호원(231), 데이터 신호원과 데이터 인코더를 관리하고 제어하기 위한 데이터 관리 및 제어부(233), 생성된 데이터를 다양한 DMB 데이터 송수신 표준에 맞게 인코딩하기 위한 데이터 인코더(235)를 포함하여 구성된다.
상기 AV 신호원(200)에서 DMB 방송에서의 동영상 서비스를 위한 비디오 및 오디오를 실시간 혹은 저장매체를 통해 발생시키면, DMB AV 인코더(210)는 이를 MPEG-4 및 MPEG-2 기반의 지상파 DMB 비디오 정합 표준에 의해 인코딩한다. 이때 오디오 및 비디오의 타이밍 정보를 전송하고 동기화하기 위해서 MPEG-4에는 OCR, CTS를, MPEG-2에는 PCR, PTS로 구성된 타임스탬프를 인코딩하여 삽입하게 된다. 이때, 상기 DMB AV 인코더(210)는 프로그램 초기의 비디오 타임스탬프 (CTS)를 상기 데이터 서버(230)로 제공한다.
Eureka-147 기반의 부가적인 데이터 서비스를 위해서 데이터 신호원(231)에서는 자바(JAVA) 기반의 응용 데이터 및 이와 관련된 텍스트, 이미지, 동영상 등의 각종 세부 데이터들을 수집 및 저작 등의 과정을 거쳐 생성한 후 저장하고 있으며, 이들은 상기 데이터 관리 및 제어부(233)의 관리 및 제어에 의해 데이터 인코더(235)에서 인코딩 되어 방송된다. 또한 NTP 서버(220)에 의해 AV 신호원(200), AV 인코더(210), 데이터 서버(230) 사이의 시간을 정확하게 동기화시킨다.
상기 데이터 관리 및 제어부(233)는 데이터 신호원의 데이터가 삽입되는 시점을 관리하며, DMB AV 인코더로부터 입력되는 프로그램 초기의 비디오 타임스탬프 (CTS)와 미리 알고 있는 AV 신호원에서의 장면 정보 및 데이터 삽입 시간 등을 이용하여 단말에서 데이터가 재생될 시점을 타임스탬프(CTS) 기반의 값으로 계산한다. 계산된 동기화 정보는 직접 혹은 비디오와 데이터의 동기화를 위한 메타데이터로 형성되어 데이터 인코더(235)로 보내진다.
도 3a는 데이터가 재생될 시점을 타임스탬프(CTS) 기반의 값으로 계산하는 방법에 대해 자세히 설명하고 있다.
녹화 방송의 경우에는 비디오와 동기화된 데이터가 삽입될 장면에 대한 시간 정보(V(b))를 미리 정확하게 추출할 수 있다. 또한, 비디오 데이터가 상기 DMB AV 인코더(210)에 의해 인코딩되면, 각 장면에 대한 단말에서의 재생 시간인 CTS 등의 타임스탬프가 SL 패킷의 헤더에 삽입된다. 비스트리밍(non-streaming) 형태의 데이터 방송 서비스에서는 데이터 파일을 단말에서의 재생시간 보다 미리 데이터 케로셀(carousel) 형태로 방송한 후, 단말에서 다운로드하여 설정된 시점에 재생한다. 여기서 데이터는 다운로드형의 응용프로그램 및 이와 관련된 데이터이며, 경우에 따라서는 비활성 메모리에 미리 저장되어 있는 데이터가 될 수 있을 것이다.
본 발명에서는 어느 특정 장면에 동기화된 데이터가 재생되기 위하여 데이터 관리 및 제어부(233)에서 동기화 메타데이터를 생성한 후, 적합한 데이터 프로토콜을 사용하여 전송한다.
도 3b는 도 3a에 도시된 데이터 캐로셀의 구성예를 보여주는 도면이고, 도 3c는 상기 동기화 메타데이터의 구성예를 보여주는 도면이다.
상기 도 3c에 도시된 바와 같이, 동기화 메타데이터는 식별자, 트리거타임(비디오 타임스탬프), 관련 데이터 지시자, 데이터 등으로 구성될 수 있다. 식별자는 데이터를 구분하기 위한 식별자를 의미하고, 트리거타임은 단말에서의 데이터의 디코딩, 재생, 소멸 시간 등에 해당되며 미리 계산된 비디오의 타임스탬프 (CTS)를 기반으로 미리 계산된다. 관련 데이터 지시자는 단말에서 실행되는 응용프로그램과 관련되며 특정 장면에 동기화되어 재생되는 데이터를 지시하며, 데이터는 이와는 별도로 즉각적으로 필요로 하는 정보로 구성된다.
여기서 동기화 메타데이터는 특정 비디오 시점(V(b)) 보다 먼저 삽입되므로, 동기화 메타데이터에 구성되는 트리거타임(Ts(b))은 삽입 시점에서 미리 예측되어야 할 것이다. 이는 DMB AV 인코더(210)로부터 입력되는 프로그램 초기의 비디오 타임스탬프 정보(비디오 정보/타임스탬프)와 미리 알고 있는 비디오의 재생 시점 (V(b))을 이용하면 계산 가능할 것이다. 여기서 프로그램 초기의 비디오 타임스탬프 정보는 NTP 서버에 의해 모든 장치들이 시간적으로 정확하게 동기화되어 있으므로 쉽게 추출 가능할 것이다.
만일 단순한 동기화 데이터 서비스인 경우에는 동기화 메타데이터가 필요 없이 도 3b에 도시된 바와 같이, 데이터 케로셀에 반복 전송되는 데이터 오브젝트의 헤더를 통해서 직접 비디오 타임스탬프 정보가 삽입되어, 데이터 오브젝트의 재생시간을 비디오와 일치시킬 수 있을 것이다.
이하, 상기 동기화 메타데이터에 대해서 구체적인 예를 들어 상세히 설명하기로 한다.
DMB 비디오 서비스와 동기화 데이터 서비스를 제공하기 위해서는 응용프로그램에서의 특정 이벤트가 수행되는 시간을 나타내는 트리거 시간 정보(트리거 타임)를 비디오 서비스와 동기화 되도록 생성한 후, 이를 송신측의 데이터 서버로부터 짧은 시간 안에 지상파 DMB 미들웨어에 전송하여야 한다. 즉, 단말에서 응용프로그램의 실행 후, 비디오와 동기화되는 특정 이벤트를 수행시키기 위해서는 상기 트리거 타임 및 수행할 데이터 혹은 이의 지시자를 송신측에서 전송하여야 하며, 이 정보로 구성된 메시지를 트리거 패킷(trigger packet)이라고 정의한다. 즉, 상기 트리거 패킷은 상술한 동기화 메타데이터의 일예가 된다.
트리거 패킷은 동기화된 특정 트리거 시점 보다 미리 서버로부터 스케쥴링되어 전송되어져 응용프로그램이 특정 이벤트를 수행할 준비를 시키며, 트리거 시점에 이르러 반복하여 전송함으로써, 비디오 서비스와 정확하게 동기화된 시각에 어플리케이션이 이벤트의 의도대로 특정 행위를 수행하게 한다
지상파 DMB에서는 이 트리거 패킷의 전송을 위해서 오버헤드가 작고, 대기시간이 짧은 데이터 그룹을 사용하지 않는 TDC 패킷모드(TTAS.KO-07.[0030] 초단파디지털라디오 방송 투명데이터채널 송수신 정합 표준 참조)를 사용하기로 한다. 또한 이는 다른 전송 프로토콜을 사용하여 전송 가능할 것이다.
트리거 패킷의 형식은 [표 1]과 같다.
Figure 112006037375072-pat00001
[표 1]에서, "triggerId"는 응용프로그램에서 트리거를 구분하는 식별자이고, "triggerTime"은 이벤트가 발생되는 시점을 가르키며, 연동형 서비스를 위해서 이벤트가 발생할 시점에서의 비디오의 타임스탬프 (CTS)를 사용한다. 이 때, 특정 트리거 시점에서의 CTS를 사용하기 위해서는 비디오 서비스 장비와 데이터 서버와의 상호 제어가 필요할 것이다. "privateDataByte"는 트리거 시점에서 응용프로그램이 특정 이벤트를 수행하기 위한 데이터를 나타낸다. 여기서 privateDataByte는 도 3c의 관련 데이터 지시자 및 데이터로 구성될 수 있다.
API 모델
지상파 DMB 미들웨어는 동기화된 데이터 서비스의 제공을 위해, DMB 데이터 채널의 수신을 위해 정의된 dmb.io 패키지에 Trigger 인터페이스를 정의한다. 이는 javax.microedition.Datagram(CLDC 1.1(JSR 139), http://java.sun.com/products/cldc/index.jsp)의 확장으로 이벤트 정보가 있는 데이터그램이다. Trigger는 A/V 등의 다른 매체와 동기화 신호를 전달하기 위해 사용한다. 여기에는 트리거 ID와 해당 트리거가 나타내는 작업을 수행할 시각 정보가 연계돼 있다.
방송망에서 트리거가 여러 개 수신됐더라도 ID가 동일하면 같은 트리거로 취급한다. 트리거가 여러 번 전송하는 경우는 수신 확률을 높이기 위한 이유와 또한 시스템 타임 클록의 불연속 등으로 인해 발생할 수 있는 트리거가 지칭하는 시간이 바뀌는 경우를 나타내기 위한 것이다. 단, 이미 트리거에 지정된 시각이 지나간 경우 해당 트리거는 무시되며, 한번 지정된 시각이 지나서 처리가 완료된 트리거의 ID는 이후 다른 트리거에 의해 재사용될 수 있다.
일단 같은 ID의 트리거가 하나라도 수신되면 수신되는 즉시 Trigger 객체가 수신된다. 이때, 트리거가 나타내는 시각이 아직 다 되지 않았으면 doItNow()는 false를 돌려준다. doItNow()가 false인 트리거는 같은 ID면 트리거가 여러 번 수신됐더라도 어플리케이션에는 단 한번만 전달된다. 다만 중간에 트리거 시각이 변경될 경우는 같은 ID를 가진 트리거가 어플리케이션에 여러 차례 전달될 수도 있다. 최종적으로 트리거 시각이 다 되거나 넘어서면 doItNow()가 true인 트리거가 어플리케이션에 전달된다. 이 때는 그 즉시 트리거와 연관된 동작을 행해야 한다. 이 후 동일한 ID를 가진 트리거가 전달돼도 이미 doItNow()에서 true를 돌려줬던 트리거와는 별개로 취급한다.
Trigger 패킷으로 전송된 privateData는 Trigger의 상위 클래스인 Datagram의 메소드를 이용하여 읽어낸다.
동기화 서비스를 위한 API 정의는 [표 2]와 같다.
Figure 112006037375072-pat00002
도 4는 본 발명의 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다.
도 4는 DMB AV 인코더에서 비디오 소스의 시간 정보와 이에 대한 스트림의 타임스탬프 정보(CTS)인 비디오 정보/타임스탬프를 실시간으로 직접 데이터 서버로 출력할 수 없을 경우, 데이터 서버(430)에서 타임스탬프 추출부(437)를 사용하는 시스템의 일 실시예를 보여주고 있다. 여기서 타임스탬프 추출부(437)는 DMB AV 인코더(410)로부터 출력되는 AV 스트림으로부터 비디오의 타임스탬프 (CTS)를 추출하며, 추출된 타임스탬프는 데이터 관리 및 제어부(433)로 입력된다.
이 경우에, 동기화 메타데이터에 구성되는 데이터의 타임스탬프(Ts(b))를 미리 계산하기 위해서는 실험적으로 미리 얻을 수 있는 DMB AV 인코더(410)의 인코딩 지연 시간 등이 추가적으로 고려되어야 한다.
좀 더 용이한 방법의 동기화된 데이터 서비스는 도 5와 도 6에서와 같이 미리 AV 데이터를 인코딩하여 스트림 형태로 저장함으로써 가능할 것이다. 이 경우엔 데이터 삽입을 위한 비디오의 시간과 이때의 타임스탬프 정보를 미리 알 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다.
도 5에서는 AV 스트림이 MPEG-2 TS 혹은 이것의 FEC(Forward Error Coding)된 파일로 저장된 경우를 설명하고 있다.
도 5를 참조하면, DMB 방송 송신 시스템은, AV 신호원(500), AV 신호를 지상파 DMB 표준에 따라 인코딩하는 AV 인코더(510), 상기 AV 신호를 인코딩하여 스트림 형태로 저장하고 있는 저장수단(560), 상기 저장수단으로부터 제공되는 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버(530), 상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단(520, 540, 550)을 포함하여 구성된다. 여기서, 데이터가 삽입될 비디오의 시간 정보 및 데이터가 재생될 타임스탬프 정보를 의미하는 비디오/데이터 타임스탬프 정보는 미리 데이터 서버(530)로 입력되며, 이를 이용해서 데이터 관리 및 제어부(533)는 데이터가 삽입될 시점을 결정하여 동기화 메타데이터를 생성할 수 있다.
도 5에서와 같이 일반 DMB 방송을 위해 DMB 인코더에서 AV 스트림을 송출 중에, 데이터 서비스를 하고자 할 때에는 스위쳐(switcher)에서 스트림의 스위칭(switching)이 일어나게 된다. 여기서 고려해야 하는 점은 스위쳐에서는 리스탬핑(Re-stamping) 과정, 즉 타임스탬프의 연속성을 보장하기 위한 프로세싱을 수행한다. 이는 DMB 인코더(510)에서 출력되는 AV 스트림의 타임스탬프와 연속이 되도록 하기 위하여, 스트림 파일에 미리 삽입된 타임스탬프를 스위쳐(520)에서 재설정하는 과정이며, 전체적으로 타임스탬프에 일정 값이 더해 지게 된다. 따라서 데이터 서버(530)에서 이를 반영하기 위해서는, 스위쳐(520)에 의해 재설정된 AV 스트림의 타임스탬프 및 스위칭이 일어난 시점에 대한 정보를 입력받아야 한다. 재설정된 타임스탬프는 전체적으로 일정한 값이 이동한 것이므로, 그 정보는 스위칭이 일어난 순간에만 입력받으면 된다.
도 6은 본 발명의 또 다른 실시예에 따른 실시간의 비디오와 데이터 서비스를 동기화하기 위한 지상파 DMB 방송 송신 시스템의 구성을 보여주는 도면이다.
도 6에 도시된 송신 시스템은 도 5에 도시된 시스템과 달리, AV 스트림을 MP4 파일 형태로 미리 인코딩한 후, DMB AV 인코더에 직접 삽입하는 경우를 설명하고 있다.
AV 스트림을 MPEG-4로 인코딩 했을 때 저장 파일 포멧 중의 하나인 MP4 파일이 DMB 방송에 삽입될 경우에는 도 6에서와 같이 M4onM2 처리모듈(620)에서 MPEG-4 SL 및 MPEG-2 TS로 패킷화 과정을 거쳐야 한다. 이 과정은 인코더 내부에서 수행될 수 있지만 별도의 장비로 개발이 가능하다.
MP4 파일이 MPEG-4 SL 및 MPEG-2 TS로 패킷화될 경우에는, MP4내에 있는 상대적인 시간 정보가 OCR, CTS 등의 시간정보로 변환되게 된다. 따라서 데이터 서버(630)에서는 데이터가 삽입될 비디오의 시간 정보 및 데이터가 재생될 시간정보를 의미하는 비디오/데이터 타임스탬프 정보를 미리 알고 있고, MP4에서 MPEG-4 SL 및 MPEG-2 TS로 패킷화될 때의 변환 정보만 입력을 받을 수 있다면, 비디오와 동기화된 데이터의 재생시간인 데이터 타임스탬프를 예측할 수 있게 된다.
도 7은 본 발명에 따른 비디오와 동기화된 데이터 서비스가 가능한 수신 시스템을 보여주는 도면이다.
도 7을 참조하면, 비디오와 동기화된 데이터 서비스가 가능한 수신 시스템은, 디지털 멀티미디어 방송신호를 수신하여 기저대역 신호로 복조하고 채널 디코딩을 수행하는 RF 수신 및 채널 디코더(710), 다중화 정보 및 서비스 정보에 의해 AV 스트림과 데이터 패킷을 분리하는 MSC 처리부(730), AV 스트림을 디코딩하는 AV 스트림의 디코딩수단(740), 상기 AV 스트림의 디코딩 수단(740)으로부터 제공되는 시스템 기준시간 정보와 상기 데이터 패킷에 포함된 동기화 메타데이터를 이용하여 상기 AV 스트림과 동기화된 데이터 서비스를 제공하는 데이터 재생수단(760, 770)을 포함하여 구성된다.
상기 RF 수신 및 채널 디코더(710)에서는 RF 신호를 수신하여 기저대역 신호로 복조하고 채널 디코딩한 후, FIC 데이터와 MSC 데이터로 분리한다. FIC 해석부(720)는 다중화 정보 및 서비스 정보를 해석하여 MSC 처리부(730)으로 제공하고, MSC 처리부(730)은 MSC 채널을 통해 전송된 AV 스트림 및 데이터 패킷이 분리한다. AV 스트림 및 데이터 패킷은 각각 DMB AV 디코더(740) 및 DMB 데이터 디코더(760)로 입력되어 디코딩된다. DMB AV 재생장치(750) 및 데이터 재생장치(770)에서는 각각 재생 시간에 맞춰 AV 스트림 및 데이터를 재생한다.
본 발명에서 데이터 디코더(760)는 DMB AV 디코더(740)로부터 OCR과 같은 시스템 기준시간 정보를 입력받고, 동기화 메타데이터 혹은 데이터 오브젝터의 헤더에 삽입된 CTS 기반의 데이터 타임스탬프 정보와 비교한다. 이때 일치하는 시점이 해당되는 데이터 오브젝터 파일의 재생 시간이 된다. 최종적으로 데이터 재생장치(770)에서는 동기화 메타데이터에서 지시하는 응용프로그램이 실행된 후, 동기화 메타데이터가 지시하는 관련 데이터 및 동기화 메타데이터에 삽입된 즉각적인 데이터가 추출된 재생시간에 맞게 각각 재생됨으로써 AV와 동기화된 데이터 서비스가 이루어지게 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, Eureka-147 기반으로 전송되는 데이터를 MPEG-4 및 MPEG-2기반의 비디오서비스와 동기화된 서비스가 가능할 것으므로, 다양한 DMB 데이터 방송 서비스의 보급에 이바지하는 효과가 있다.

Claims (25)

  1. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법에 있어서,
    AV 데이터에 대한 AV 타임스탬프를 입력받는 단계;
    상기 AV 타임스탬프를 기반으로 단말에서 데이터가 재생될 시점인 데이터의 타임스탬프를 계산하는 단계;
    상기 계산된 데이터의 타임스탬프를 포함하는 동기화 메타데이터를 생성하는 단계; 및
    상기 동기화 메타데이터를 인코딩하여 전송하는 단계를
    포함하는 것을 특징으로 하는 데이터 서비스 제공 방법.
  2. 제 1 항에 있어서, 상기 AV 타임스탬프는,
    인코딩되어 출력되는 오디오/비디오 스트림으로부터 추출되어 제공되는 것을 특징으로 하는 데이터 서비스 제공 방법.
  3. 제 1 항에 있어서, 상기 AV 타임스탬프는,
    동기화된 서비스를 위해 미리 저장되어 있는 AV 스트림 파일로부터 제공되는 것을 특징으로 하는 데이터 서비스 제공 방법.
  4. 제 1 항에 있어서, 상기 동기화 메타데이터는,
    상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 데이터 서비스 제공 방법.
  5. 제 4 항에 있어서, 상기 트리거 패킷은,
    수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점을 가리키는 필드, 트리거 시점에서 응용프로그램이 상기 해당 이벤트를 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 데이터 서비스 제공 방법.
  6. 제 5 항에 있어서, 상기 트리거 패킷은, 트리거 시점 이전에 반복하여 전송하는 것을 특징으로 하는 데이터 서비스 제공 방법.
  7. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 방법에 있어서,
    수신 신호로부터 AV 스트림과 데이터 패킷을 분리하는 단계;
    상기 AV 스트림의 디코딩 수단으로부터 시스템 기준시간 정보를 입력받는 단계;
    상기 데이터 패킷에 포함된 동기화 메타데이터로부터 데이터 타임스탬프를 획득하는 단계; 및
    상기 데이터 타임스탬프와 상기 시스템 기준시간을 비교하여 일치하는 시점에 데이터 오브젝터 파일의 디코딩 또는 재생을 실행하는 단계
    를 포함하는 것을 특징으로 하는 데이터 서비스 제공 방법.
  8. 제 7 항에 있어서, 상기 동기화 메타데이터는,
    상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 데이터 서비스 제공 방법.
  9. 삭제
  10. 제 8 항에 있어서, 상기 트리거 패킷은,
    수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점인 트리거 시점을 기록하는 필드, 트리거 시점에서 응용프로그램이 상기 해당 이벤트를 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 데이터 서비스 제공 방법.
  11. 제 8 항에 있어서, 상기 트리거 패킷이 특정 이벤트가 발생할 시점 이전에 미리 알려 주기 위한 것이면 false 신호를 수신측의 응용프로그램에 전달하고, 즉시 이벤트에 반응하여 데이터를 처리해야 하는 경우에는 true 신호를 수신측의 응용프로그램에 전달하는 것을 특징으로 하는 데이터 서비스 제공 방법.
  12. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치에 있어서,
    AV 신호를 지상파 DMB 표준에 따라 인코딩하고, AV 타임스탬프를 데이터 서버로 제공하는 AV 인코더;
    상기 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버;
    상기 AV 인코더 및 상기 데이터 서버의 정확한 시간적인 동기화를 위한 시간동기화 서버; 및
    상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단을
    포함하는 것을 특징으로 하는 데이터 서비스 제공 장치.
  13. 제 12 항에 있어서, 상기 데이터 서버는,
    디지털 멀티미디어 방송과 관련된 각종 데이터를 발생시키는 데이터 신호원과,
    상기 AV 타임스탬프를 기반으로 단말에서 데이터가 재생될 시점인 데이터의 타임스탬프를 계산하며, 상기 계산된 데이터의 타임스탬프를 포함하는 동기화 메타데이터를 생성하는 데이터 관리 및 제어부와,
    데이터 서비스를 위한 각종 데이터 및 상기 동기화 메타데이터를 인코딩하여 데이터 패킷을 생성하는 데이터 인코더를 포함하여 구성되는 것을 특징으로 하는 데이터 서비스 제공 장치.
  14. 제 12 항에 있어서, 상기 동기화 메타데이터는,
    상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 데이터 서비스 제공 장치.
  15. 제 14 항에 있어서, 상기 트리거 패킷은,
    수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점을 가리키는 필드, 트리거 시점에서 응용프로그램이 상기 해당 이벤트를 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 데이터 서비스 제공 장치.
  16. 제 14 항에 있어서, 상기 트리거 패킷은, 트리거 시점 이전에 반복하여 전송하는 것을 특징으로 하는 데이터 서비스 제공 장치.
  17. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 장치에 있어서,
    AV 신호를 지상파 DMB 표준에 따라 인코딩하는 AV 인코더;
    상기 AV 신호를 인코딩하여 스트림 형태로 저장하고 있는 저장수단;
    상기 저장수단으로부터 제공되는 AV 타임스탬프를 이용하여 AV 서비스와 동기화된 데이터 서비스를 제공하기 위한 동기화 메타데이터를 생성하는 데이터 서버; 및
    상기 AV 인코더의 출력신호와 상기 데이터 서버의 출력신호를 다중화하여 전송하기 위한 수단을
    포함하는 것을 특징으로 하는 데이터 서비스 제공 장치.
  18. 제 17 항에 있어서, 상기 동기화 메타데이터는,
    상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 데이터 서비스 제공 장치.
  19. 제 18 항에 있어서, 상기 트리거 패킷은,
    수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점을 가리키는 필드, 트리거 시점에서 응용프로그램이 상기 해당 이벤트를 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 데이터 서비스 제공 장치.
  20. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 사용자에게 제공하기 위한 장치에 있어서,
    디지털 멀티미디어 방송신호를 수신하여 기저대역 신호로 복조하고 채널 디코딩을 수행하는 RF 수신 및 채널 디코더;
    다중화 정보 및 서비스 정보에 의해 AV 스트림과 데이터 패킷을 분리하는 MSC 처리부;
    AV 스트림을 디코딩하는 AV 스트림 디코딩 수단; 및
    상기 AV 스트림의 디코딩 수단으로부터 제공되는 시스템 기준시간 정보와 상기 데이터 패킷에 포함된 동기화 메타데이터를 이용하여 상기 AV 스트림과 동기화된 데이터 서비스를 제공하는 데이터 재생수단을
    포함하는 것을 특징으로 하는 데이터 서비스 제공 장치.
  21. 제 20 항에 있어서, 상기 동기화 메타데이터는,
    상기 AV 서비스와 동기화된 이벤트를 수행시키는 정보로 구성된 트리거 패킷임을 특징으로 하는 데이터 서비스 제공 장치.
  22. 제 21 항에 있어서, 상기 트리거 패킷은,
    수신측 응용프로그램에서 트리거를 구분하기 위한 필드, 해당 이벤트가 발생되는 시점인 트리거 시점을 기록하는 필드, 트리거 시점에서 응용프로그램이 상기 해당 이벤트를 수행하기 위한 데이터를 가리키는 필드를 포함하여 구성되는 것을 특징으로 하는 데이터 서비스 제공 장치.
  23. 제 21 항에 있어서, 상기 트리거 패킷이 특정 이벤트가 발생할 시점 이전에 미리 알려 주기 위한 것이면 false 신호를 수신측의 응용프로그램에 전달하고, 즉시 이벤트에 반응하여 데이터를 처리해야 하는 경우에는 true 신호를 수신측의 응용프로그램에 전달하는 것을 특징으로 하는 데이터 서비스 제공 장치.
  24. 디지털 멀티미디어 방송에서 AV 서비스와 동기화된 데이터 서비스를 실행시키는 방법에 있어서,
    상기 데이터 서비스와 연관된 응용프로그램에서 특정 이벤트가 수행되는 시간을 나타내는 트리거 시간 정보를 트리거 패킷의 형태로 상기 이벤트 수행 시간 이전에 수신 받는 단계와,
    상기 트리거 시간 정보를 이용함으로써 상기 AV 서비스와 동기화된 시간에 상기 응용프로그램이 상기 이벤트를 수행하도록 하는 단계를 포함하며,
    상기 트리거 패킷은
    트리거 스트림 중에서 특정 트리거를 구분하기 위한 식별자와,
    상기 트리거 시간에 상기 응용프로그램에 전달될 데이터를
    더 구비하는 것을 특징으로 하는 데이터 서비스의 실행 방법.
  25. 제 24 항에 있어서,
    상기 응용프로그램이 상기 이벤트를 수행할 수 있도록 상기 이벤트 수행 시간 이전에 상기 응용프로그램을 준비시키는 단계를 더 포함하는 것을 특징으로 하는 데이터 서비스의 실행 방법.
KR1020060047717A 2005-05-26 2006-05-26 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법 KR100837720B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020050044579 2005-05-26
KR20050044579 2005-05-26
KR1020050080642 2005-08-31
KR20050080642 2005-08-31

Publications (2)

Publication Number Publication Date
KR20060122784A KR20060122784A (ko) 2006-11-30
KR100837720B1 true KR100837720B1 (ko) 2008-06-13

Family

ID=37452227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060047717A KR100837720B1 (ko) 2005-05-26 2006-05-26 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법

Country Status (3)

Country Link
EP (1) EP1884115A4 (ko)
KR (1) KR100837720B1 (ko)
WO (1) WO2006126852A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101349227B1 (ko) 2010-03-29 2014-02-11 한국전자통신연구원 멀티미디어 시스템에서 객체 정보 제공 장치 및 방법
WO2019164361A1 (ko) * 2018-02-23 2019-08-29 스타십벤딩머신 주식회사 스트리밍 장치 및 스트리밍 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101226178B1 (ko) * 2007-03-27 2013-01-24 삼성전자주식회사 비디오 데이터 디스플레이 방법 및 장치
KR101382613B1 (ko) * 2007-06-20 2014-04-07 한국전자통신연구원 디지털 방송 신호의 프레임 다중화 방법, 프레임 다중화장치 및 송신장치
US7936790B2 (en) * 2007-08-30 2011-05-03 Silicon Image, Inc. Synchronizing related data streams in interconnection networks
KR101579136B1 (ko) 2008-06-11 2016-01-04 코닌클리케 필립스 엔.브이. 미디어 스트림 구성요소들의 동기화
KR101052480B1 (ko) * 2008-08-27 2011-07-29 한국전자통신연구원 방송신호 송수신장치와 그 방법
KR20140008478A (ko) 2010-07-19 2014-01-21 엘지전자 주식회사 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
KR101236813B1 (ko) * 2011-01-13 2013-02-28 주식회사 알티캐스트 디지털 방송에서의 개방형 음성 서비스 시스템 및 서비스 방법
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
US9118425B2 (en) 2012-05-31 2015-08-25 Magnum Semiconductor, Inc. Transport stream multiplexers and methods for providing packets on a transport stream
CN111611252B (zh) * 2020-04-01 2023-07-18 石化盈科信息技术有限责任公司 数据同步过程中安全数据的监控、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020060908A (ko) * 2001-01-13 2002-07-19 한국전자통신연구원 엠펙-2 데이터에 엠펙-4 데이터를 동기화시켜 전송하는장치 및 그 방법
KR20030078354A (ko) * 2002-03-29 2003-10-08 한국전자통신연구원 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법
KR20060039728A (ko) * 2004-11-03 2006-05-09 한국전자통신연구원 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0680216B1 (en) * 1994-04-28 2007-11-21 OpenTV, Inc. Apparatus and method for formulating an interactive signal
JP2000244433A (ja) * 1999-02-17 2000-09-08 Sony Corp データ多重化装置及びデータ多重化方法
US6415438B1 (en) * 1999-10-05 2002-07-02 Webtv Networks, Inc. Trigger having a time attribute
JP2002238048A (ja) * 2001-02-07 2002-08-23 Nec Corp Ｍｐｅｇ２トランスポートストリーム伝送レート変換方法
EP1444839A2 (en) * 2001-07-27 2004-08-11 Matsushita Electric Industrial Co., Ltd. Digital broadcast system, sync information replacing apparatus and method
KR100438518B1 (ko) * 2001-12-27 2004-07-03 한국전자통신연구원 엠펙-4 장면 기술자를 이용한 엠펙-2 비디오의 특정 영역활성화 장치 및 그 방법
GB2387984B (en) * 2002-03-07 2005-11-09 Chello Broadband N V Display of enhanced content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020060908A (ko) * 2001-01-13 2002-07-19 한국전자통신연구원 엠펙-2 데이터에 엠펙-4 데이터를 동기화시켜 전송하는장치 및 그 방법
KR20030078354A (ko) * 2002-03-29 2003-10-08 한국전자통신연구원 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법
KR20060039728A (ko) * 2004-11-03 2006-05-09 한국전자통신연구원 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101349227B1 (ko) 2010-03-29 2014-02-11 한국전자통신연구원 멀티미디어 시스템에서 객체 정보 제공 장치 및 방법
WO2019164361A1 (ko) * 2018-02-23 2019-08-29 스타십벤딩머신 주식회사 스트리밍 장치 및 스트리밍 방법

Also Published As

Publication number Publication date
EP1884115A4 (en) 2008-08-06
EP1884115A1 (en) 2008-02-06
KR20060122784A (ko) 2006-11-30
WO2006126852A1 (en) 2006-11-30

Similar Documents

Publication Publication Date Title
KR100837720B1 (ko) 디지털 멀티미디어 방송에서 비디오 서비스와 동기화된 데이터 서비스를 제공하는 방법 및 그 장치와 데이터 서비스의 실행 방법
US10820065B2 (en) Service signaling recovery for multimedia content using embedded watermarks
KR100646851B1 (ko) 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템
KR101727050B1 (ko) 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
US10715571B2 (en) Self-adaptive streaming medium processing method and apparatus
US20100050222A1 (en) System and method for transporting interactive marks
KR20030078354A (ko) 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법
CN103283220A (zh) 发送广播服务的方法、接收广播服务的方法和接收广播服务的设备
US20120033035A1 (en) Method and system for transmitting/receiving 3-dimensional broadcasting service
US10503460B2 (en) Method for synchronizing an alternative audio stream
CN108111872B (zh) 一种音频直播系统
CN109618208A (zh) 一种直播流分布式切片同步方法及装置
CN101218819A (zh) 数字多媒体广播中同步数据服务和视频服务的方法和装置
KR100910996B1 (ko) 디지털 멀티미디어 방송 시스템에서의 3차원 비디오 서비스제공 방법
CN105812961B (zh) 自适应流媒体处理方法及装置
KR20070010653A (ko) 디지털 방송 시스템에서 광고를 제공하는 방법 및 장치
CN114885198B (zh) 面向混合网络的伴音与视频协同呈现系统
KR20130103931A (ko) 메타데이터 우선제공 증강방송 장치 및 방법
KR100825755B1 (ko) Ｍｐｅｇ-4 ｂｉｆｓ 기반의 데이터 서비스와 미들웨어기반의 데이터 서비스 연동을 위한 디지털 멀티미디어 방송송수신 방법 및 그 장치
CN110545447B (zh) 一种音视频同步的方法及装置
KR100883366B1 (ko) 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 ｄｍｂ 수신 시스템 및 그 방법
WO2005020580A1 (en) Apparatus and method for converting media stream for multimedia service in dab system
KR100513795B1 (ko) 시스템 타임 클럭을 이용한 동기화 이벤트 서비스를제공하는 디지털 데이터 방송 송/수신 장치 및 그 방법
JP6596363B2 (ja) 時刻マッピング情報生成装置、同期再生システム、時刻マッピング情報生成方法及び時刻マッピング情報生成プログラム
KR101403969B1 (ko) 타임코드를 상실한 동영상의 자막 재생 시점 인식 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee