KR100883366B1 - Dmb receiving system and method for providing integrated data service in digital multimedia broadcasting - Google Patents

Dmb receiving system and method for providing integrated data service in digital multimedia broadcasting Download PDF

Info

Publication number
KR100883366B1
KR100883366B1 KR1020070068692A KR20070068692A KR100883366B1 KR 100883366 B1 KR100883366 B1 KR 100883366B1 KR 1020070068692 A KR1020070068692 A KR 1020070068692A KR 20070068692 A KR20070068692 A KR 20070068692A KR 100883366 B1 KR100883366 B1 KR 100883366B1
Authority
KR
South Korea
Prior art keywords
data
bifs
dmb
service
stream
Prior art date
Application number
KR1020070068692A
Other languages
Korean (ko)
Other versions
KR20080005151A (en
Inventor
이광순
양규태
김광용
김희정
함영권
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080005151A publication Critical patent/KR20080005151A/en
Application granted granted Critical
Publication of KR100883366B1 publication Critical patent/KR100883366B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4433Implementing client middleware, e.g. Multimedia Home Platform [MHP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/10Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템 및 그 방법에 관한 것임.The present invention relates to a DMX receiving system and method for providing an integrated data service in digital multimedia broadcasting.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은, 멀티미디어 데이터 방송 서비스를 제공함에 있어서, 비디오 서비스와 동기화가 요구되는 데이터(연동형 데이터)는 BIFS 기반의 데이터서비스 형태로 제공하고, 비디오 서비스와 동기화가 요구되지 않는 데이터(독립형 데이터)는 미들웨어 기반의 데이터서비스 형태로 제공함으로써, BIFS 기반 데이터서비스와 미들웨어 기반 데이터서비스를 효율적으로 통합할 수 있는, 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템 및 그 방법을 제공하는데 그 목적이 있음.In the present invention, in providing a multimedia data broadcasting service, data (synchronized data) that needs to be synchronized with a video service is provided in the form of a BIFS-based data service, and data that does not require synchronization with a video service (independent data). To provide a DMX receiving system and method for providing integrated data service in digital multimedia broadcasting, which can integrate BIFS based data middleware based data service by providing in the form of middleware based data service. In this.

3. 발명의 해결방법의 요지3. Summary of Solution to Invention

본 발명은, 디지털멀티미디어 방송(DMB)에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템에 있어서, DMB 방송신호로부터 오디오/비디오 스트림, BIFS 연동형 데이터 스트림, 및 독립형 데이터 스트림을 분리하고, 상기 오디오/비디오 스트림과 상기 BIFS 연동형 데이터 스트림을 복호화하고 상호 결합하여 장면을 구성하기 위한 방송 수신처리 수단; 및 상기 방송 수신처리 수단의 동작을 제어하고, 응용프로그램의 실행 환경을 제공하며, 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽에 상기 분리된 독립형 데이터 스트림을 복호화하여 결합하되, 상기 응용프로그램의 실행에 연동형 데이터가 필요하면 상기 방송 수신처리 수단으로부터 해당 연동형 데이터를 획득하여 상기 응용프로그램의 실행에 사용하는 DMB 미들웨어 수단을 포함함.The present invention provides a DMB reception system for providing integrated data service in digital multimedia broadcasting (DMB), comprising: separating an audio / video stream, a BIFS interlocking data stream, and a standalone data stream from a DMB broadcasting signal. Broadcast reception processing means for decoding a video stream and the BIFS interlocking data stream and combining the same to form a scene; And controlling the operation of the broadcast reception processing means, providing an execution environment of an application program, and decoding and combining the separated independent data stream into text / graphics generated by execution of the application program. And DMB middleware means for acquiring the interlocked data from the broadcast reception processing means and executing the application when the interlocked data is needed for execution.

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 DMB 데이터방송 서비스 등에 이용됨.The present invention is used for the DMB data broadcasting service.

DMB, 데이터 방송, 미들웨어, BIFS, 연동형 데이터, 독립형 데이터 DMB, Data Broadcasting, Middleware, BIFS, Linked Data, Standalone Data

Description

디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템 및 그 방법{DMB RECEIVING SYSTEM AND METHOD FOR PROVIDING INTEGRATED DATA SERVICE IN DIGITAL MULTIMEDIA BROADCASTING} DMB reception system and method for providing integrated data service in digital multimedia broadcasting {DMB RECEIVING SYSTEM AND METHOD FOR PROVIDING INTEGRATED DATA SERVICE IN DIGITAL MULTIMEDIA BROADCASTING}

본 발명은 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 비디오 서비스에 연동되는 데이터의 전송에 적합한 엠펙 BIFS 기반의 데이터서비스와, 다양한 고기능의 데이터서비스를 제공하는 데 적합한 미들웨어 기반의 데이터서비스를 통합적으로 제공하는, 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 DMB 수신 시스템 및 그 방법에 관한 것이다.The present invention relates to a DMX receiving system and method for providing an integrated data service in digital multimedia broadcasting, and more particularly, MPEG BIFS-based data service suitable for transmission of data linked to a video service, and various high-performance data. The present invention relates to a DMB receiver system and method for providing an integrated data service in a digital multimedia broadcasting, which provides a middleware-based data service suitable for providing a service.

디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting)은 오디오/비디오(AV) 데이터의 인코딩을 위해 MPEG-4 기술을 이용하고 있으며, 또한 MPEG-4 BIFS 데이터를 포함한 비디오와 연동된 데이터서비스도 용이하게 제공할 수 있다. 여기서, MPEG-4는 다양한 유형(Type)의 오디오/비디오 객체의 코딩을 다루는 규격 으로서, 보통의 비디오/오디오 객체, 텍스쳐(Texture), 텍스트(Text), 그래픽(Graphics), 합성음향(Synthetic Audio) 등을 대상으로 한다.Digital Multimedia Broadcasting (DMB) uses MPEG-4 technology for encoding audio / video (AV) data, and it is also easy to provide data services linked with video including MPEG-4 BIFS data. Can be. Here, MPEG-4 is a standard that deals with coding of various types of audio / video objects, such as ordinary video / audio objects, textures, texts, graphics, and synthetic audios. ) And the like.

따라서 수신단말에서 해당 멀티미디어 장면을 재구성할 수 있게 하기 위해서는, 송신 측에서 단순히 오디오/비디오 데이터를 전송하는 것 외에 부가적인 정보의 전송도 필요하다.Therefore, in order to enable the receiving terminal to reconstruct the corresponding multimedia scene, the transmitting side needs to transmit additional information in addition to simply transmitting audio / video data.

이와 같이, 수신단말에서 오디오/비디오 데이터를 결합하여 의미 있는 장면을 구성할 수 있게 하는 부가적인 정보를 '장면기술 정보'(Scene Description Information)라 한다. 이 장면기술 정보는 오디오/비디오 객체의 시공간상의 배치를 결정하는 것으로서, 코딩된 오디오/비디오 객체와 함께 전송된다. 장면기술 정보는 이진 파일 형태의 BIFS(Binary Format for Scene)로 파라미터화 되어 표현되며, 상세하게는 '속성(Attribute)'과 기타 정보(이벤트 소스와 타겟 등)를 가지는 '노드(Node)들'이 트리 형태의 계층적 구조로 부호화되어 있다.As such, additional information that enables a receiving terminal to combine audio / video data to form a meaningful scene is referred to as 'scene description information'. This scene description information determines the space-time placement of the audio / video object and is transmitted with the coded audio / video object. Scene description information is parameterized and expressed as a binary format for BIFS (Binary Format for Scene), and in detail, 'nodes' having attributes and other information (such as event sources and targets). It is encoded in a hierarchical structure of a tree form.

현재, MPEG-4 BIFS를 기반으로 하는 데이터서비스는 동일한 장면기술 내의 비디오와 연동하는 메커니즘을 제공하고는 있지만, 실제 방송용으로 전송해서 제공하는 데이터가 이미지, 텍스트 등의 단순 정보 제공형태에 불과하여, 고품위의 다양한 데이터서비스를 제공하는데에는 한계(문제점)가 있다.Currently, the data service based on MPEG-4 BIFS provides a mechanism for interworking with video in the same scene technology, but the data transmitted and provided for actual broadcasting is merely a form of providing information such as images and texts. There are limitations in providing a variety of high quality data services.

한편, 방송용 미들웨어(Middleware)는 다양한 수신 단말에 대하여, 공통되고 규격화된 실행 플랫폼을 제공하고 있으며, 게다가 이식성이 높은 다운로드형 어플리케이션(Application)을 위한 높은 수준의 표준 API(Application Program Interface)까지도 제공하고 있다.Meanwhile, broadcasting middleware provides a common and standardized execution platform for various receiving terminals, and also provides a high standard API (Application Program Interface) for a highly portable downloadable application. have.

이러한 방송용 미들웨어를 기반으로 하는 데이터서비스는 자바 언어로 코딩된 어플리케이션을 미리 수신 단말에 다운로드한 후 사용자의 요구가 있거나 또는 자동으로 실행하게 하고, 이 어플리케이션의 수행에 필요한 데이터는 실시간으로 방송함으로써, 다양하고 고기능의 데이터서비스를 제공한다. 또한 방송용 미들웨어를 기반으로 하는 데이터서비스에서는, 서비스 정보, 서비스 바인딩(binding) 메시지 등을 별도로 전송함으로써 방송중인 여러 프로그램과도 연동된 데이터서비스를 제공하는 것이 가능하다.The data service based on the broadcasting middleware has a user's request or automatically executes the application coded in the Java language after downloading it to the receiving terminal in advance, and the data necessary for the execution of the application is variously broadcasted in real time. And provide high-performance data services. In addition, in a data service based on broadcasting middleware, it is possible to provide a data service linked to various programs on the air by separately transmitting service information and a service binding message.

하지만, 이러한 종래의 방송용 미들웨어를 기반으로 하는 데이터서비스에서는, 데이터서비스의 동기화를 위해 더욱 복잡한 동기화 과정이 수행된다.However, in the data service based on the conventional broadcasting middleware, a more complicated synchronization process is performed to synchronize the data service.

상기와 같은 종래의 '엠펙 BIFS 기반의 데이터서비스'에서는 동기화 데이터서비스는 효과적으로 제공할 수 있으나 그 전송되는 데이터가 이미지, 텍스트 등의 단순 정보 제공 형태에 불과하여 고품격의 다양한 데이터서비스를 제공하는 데에 한계가 있고, 종래의 '미들웨어 기반의 데이터서비스'에서는 고품격의 다양한 데이터서비스를 제공할 수는 있지만 동기화 데이터서비스를 제공하기 위해서는 복잡한 동기화 과정이 필요하다는 문제점이 있으며, 이를 해결하고자 하는 것이 본 발명의 과제이다.In the conventional 'MPEG BIFS-based data service' as described above, the synchronization data service can be effectively provided, but the data transmitted is merely a form of providing simple information such as images and texts to provide a variety of high quality data services. There is a limitation, but the conventional 'middleware-based data service' can provide a variety of high-quality data services, but there is a problem that a complicated synchronization process is required to provide a synchronization data service, to solve this problem of the present invention It is a task.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 엠펙 BIFS 기반의 데이터서비스와 미들웨어 기반의 데이터서비스를 효율적으로 통합함으로써, 각 데이터서비스 형태의 장점을 극대화하는 것을 특징으로 한다.The present invention has been proposed to solve the above problems, characterized by maximizing the advantages of each data service type by efficiently integrating MPEG BIFS-based data services and middleware-based data services.

즉, 본 발명은, 비디오 서비스와 동기화가 요구되는 데이터(연동형 데이터)에 대해서는 엠펙 BIFS 부호화하여 BIFS 기반의 데이터서비스 채널로 전송하고, 비디오 서비스와 동기화가 요구되지 않는 데이터(독립형 데이터)에 대해서는 DMB 데이터전송 프로토콜에 따라 데이터 부호화하여 미들웨어 기반의 데이터서비스 채널로 전송하는 것을 특징으로 한다.That is, according to the present invention, MPEG BIFS coding is performed on data (synchronized data) that is required to be synchronized with a video service, and transmitted to the BIFS-based data service channel, and data (independent data) is not required to be synchronized with a video service. The data is encoded according to the DMB data transmission protocol and then transmitted through a middleware based data service channel.

상기와 같은 본 발명은, 디지털멀티미디어 방송(DMB)에서 미들웨어 기반의 데이터서비스와 MPEG-4 BIFS 기반의 데이터서비스를 통합함으로써, DMB에서 최초로 상용 서비스되고 있는 MPEG-4 BIFS 기반의 연동형 단순 정보 제공의 데이터서비스와, 복잡하고 다양한 고기능을 제공하는 미들웨어 기반의 데이터서비스가 통합된 형태의 서비스를 제공할 수 있는 효과가 있다.The present invention as described above, by integrating the middleware-based data services and MPEG-4 BIFS-based data services in digital multimedia broadcasting (DMB), MPEG-4 BIFS-based linked simple information that is the first commercial service in DMB Data services and middleware-based data services that provide complex and diverse high-functions can provide integrated services.

즉, 본 발명은, 각기 대응되는 장단점을 갖고 있는 MPEG-4 BIFS 기반의 데이터서비스와 미들웨어 기반의 데이터서비스를 통합적으로 구현함으로써, 각 데이터서비스에서의 단점을 보완하고 장점을 최대한 살릴 수 있는 효과가 있다.That is, the present invention integrates an MPEG-4 BIFS-based data service and a middleware-based data service with corresponding pros and cons, thereby improving the disadvantages of each data service and maximizing its advantages. have.

또한, 본 발명은, 상기와 같은 통합 서비스를 통하여, DMB 데이터 방송 서비 스의 개발 및 관련 시장 활성화 등에 기여할 수 있는 효과가 있다.In addition, the present invention, through the above integrated services, there is an effect that can contribute to the development of DMB data broadcasting services, and related market activation.

상기 목적을 달성하기 위한 본 발명은, 디지털멀티미디어 방송(DMB)에서 통합 데이터서비스를 제공하기 위한 DMB 송신 시스템에 있어서, 방송콘텐츠 데이터를 비디오 서비스와의 연동 여부에 따라 연동형 데이터와 독립형 데이터로 구분하여 스케줄링하기 위한 데이터 서버; 및 상기 연동형 데이터에 대해서는 BIFS 부호화하여 BIFS 기반의 데이터서비스 채널로 전송하고, 상기 독립형 데이터에 대해서는 DMB 규격에 따라 데이터 부호화하여 미들웨어 기반의 데이터서비스 채널로 전송하기 위한 DMB 송신 수단을 포함한다.In the present invention for achieving the above object, in the DMB transmission system for providing an integrated data service in digital multimedia broadcasting (DMB), the broadcast content data is divided into linked data and independent data according to whether or not interworking with the video service A data server for scheduling; And DMB transmission means for BIFS encoding the interlocked data and transmitting the data to the BIFS based data service channel, and transmitting the independent data to the middleware based data service channel by data encoding according to the DMB standard.

한편, 본 발명은, DMB 송신 시스템에서의 통합 데이터서비스 제공 방법에 있어서, 방송콘텐츠 데이터를 비디오 서비스와의 연동 여부에 따라 연동형 데이터와 독립형 데이터로 구분하여 스케줄링하는 데이터 분류 단계; 및 상기 연동형 데이터에 대해서는 BIFS 부호화하여 BIFS 기반의 데이터서비스 채널로 전송하고, 상기 독립형 데이터에 대해서는 DMB 데이터전송 프로토콜에 따라 데이터 부호화하여 미들웨어 기반의 데이터서비스 채널로 전송하는 데이터 전송 단계를 포함한다.On the other hand, the present invention provides a method for providing an integrated data service in a DMB transmission system, comprising: a data classification step of dividing and scheduling broadcast content data into interlocked data and independent data according to interworking with a video service; And transmitting the BIFS-encoded data to the BIFS-based data service channel for the interlocked data, and transmitting the data to the middleware-based data service channel according to the DMB data transmission protocol.

한편, 본 발명은, 디지털멀티미디어 방송(DMB)에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템에 있어서, DMB 방송신호로부터 오디오/비디오 스트림, BIFS 연동형 데이터 스트림, 및 독립형 데이터 스트림을 분리하고, 상기 오디오/비디오 스트림과 상기 BIFS 연동형 데이터 스트림을 복호화하고 상호 결합하여 장면을 구성하기 위한 방송 수신처리 수단; 및 상기 방송 수신처리 수단의 동작을 제어하고, 응용프로그램의 실행 환경을 제공하며, 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽에 상기 분리된 독립형 데이터 스트림을 복호화하여 결합하되, 상기 응용프로그램의 실행에 연동형 데이터가 필요하면 상기 방송 수신처리 수단으로부터 해당 연동형 데이터를 획득하여 상기 응용프로그램의 실행에 사용하는 DMB 미들웨어 수단을 포함한다.On the other hand, the present invention, in the DMB receiving system for providing integrated data service in digital multimedia broadcasting (DMB), the audio / video stream, BIFS interlocking data stream, and independent data stream is separated from the DMB broadcast signal, Broadcast reception processing means for decoding an audio / video stream and the BIFS interlocking data stream and combining the same to form a scene; And controlling the operation of the broadcast reception processing means, providing an execution environment of an application program, and decoding and combining the separated independent data stream into text / graphics generated by execution of the application program. And DMB middleware means for acquiring the interlocked data from the broadcast reception processing means and executing the application program when the interlocked data is needed for execution.

한편, 본 발명은 DMB 수신 시스템에서의 통합 데이터서비스 제공 방법에 있어서, DMB 방송신호로부터 오디오/비디오 스트림, BIFS 연동형 데이터 스트림, 및 독립형 데이터 스트림을 분리하는 역다중화 단계; 상기 오디오/비디오 스트림과 상기 BIFS 연동형 데이터 스트림을 복호화하고 결합하여 해당 장면을 구성하는 장면 구성 단계; 및 미들웨어 기반으로 응용프로그램을 실행하고, 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽에 상기 분리된 독립형 데이터를 결합하되, 상기 응용프로그램의 실행에 연동형 데이터가 필요하면 해당 연동형 데이터를 획득하여 상기 응용프로그램의 실행에 사용하는 응용 단계를 포함한다. 이러한 본 발명의 방법은, 실시예에 따라서는 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽을, 상기 장면 구성 단계에서 구성된 장면과 결합하는 단계를 더 포함한다.On the other hand, the present invention provides a method for providing an integrated data service in a DMB receiving system, comprising: a demultiplexing step of separating an audio / video stream, a BIFS linked data stream, and a standalone data stream from a DMB broadcast signal; A scene construction step of decoding and combining the audio / video stream and the BIFS linked data stream to construct a corresponding scene; And executing the application program based on the middleware, and combining the separated standalone data with the text / graphic generated by the execution of the application program, and obtaining the linked data if the linked data is required for the execution of the application program. Application steps used to execute the application program. The method of the present invention further includes, in accordance with an embodiment, combining the text / graphics generated by the execution of the application with the scene constructed in the scene composition step.

본 발명은, MPEG-4 BIFS기반의 데이터서비스와 미들웨어 기반 데이터서비스가 통합된 서비스를 제공함으로써, MPEG-4 BIFS기반의 데이터서비스 측면에서는 단순 정보 제공을 뛰어 넘어 복잡하고 다양한 고기능의 데이터서비스를 제공하고, 또한 미들웨어 기반 데이터서비스 측면에서는 비디오 서비스와 연동된 데이터를 MPEG-4 BIFS를 통해 용이하게 전송함으로써 효과적인 동기화 데이터서비스를 제공 하는 것이다. 특히, 본 발명은, 현재 상업 방송 중인 디지털 멀티미디어(DMB)에서 MPEG-4 BIFS를 기반으로 하는 대화형 데이터서비스를 미들웨어 환경에서 제공하는 것이다.The present invention provides an integrated service of MPEG-4 BIFS-based data services and middleware-based data services. In addition, MPEG-4 BIFS-based data services provide complex and various high-performance data services beyond simple information. In addition, in terms of middleware-based data services, data synchronized with video services can be easily transmitted through MPEG-4 BIFS to provide an effective synchronization data service. In particular, the present invention provides an interactive data service based on MPEG-4 BIFS in a middleware environment in digital multimedia (DMB) currently in commercial broadcasting.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 송신 시스템의 일실시예 구성도로서, 미들웨어 기반의 데이터서비스와 MPEG-4 BIFS 기반의 데이터서비스를 통합하기 위한 송신시스템을 나타낸다. 이하에서는, DMB 송신 시스템에서 수행되는 통합 데이터서비스 방법도 함께 설명하기로 한다.1 is a configuration diagram of a DM transmission system for providing an integrated data service in a digital multimedia broadcasting according to the present invention, and a transmission system for integrating a middleware-based data service and an MPEG-4 BIFS-based data service. Indicates. Hereinafter, the integrated data service method performed in the DM transmission system will be described together.

본 발명에 따른 DMB 송신 시스템은, 도 1에 도시된 바와 같이, 콘텐츠 수집 및 저작부(10), 데이터 서버(11), 및 DMB 송신부(12)를 포함하여 이루어지는데, 각각의 구성요소에 대하여 설명하면, 다음과 같다.The DMV transmission system according to the present invention, as shown in FIG. 1, includes a content collection and authoring unit 10, a data server 11, and a DMB transmission unit 12, for each component. It is as follows.

콘텐츠 수집 및 저작부(10)는 데이터 콘텐츠(데이터방송 콘텐츠)를 실시간으로 수집하거나 또는 저작한다. 데이터 서버(11)는 콘텐츠 수집 및 저작부(10)에서 수집/저작된 데이터 콘텐츠를 관리하며, 관리되는 데이터 콘텐츠가 비디오 서비스와의 연동 여부(비디오 서비스와의 동기화 필요 여부)에 따라 연동형 데이터와 독립형 데이터로 구분하여 스케줄링 송출한다. 여기서, 연동형 데이터는 비디오 서비스와 동기화가 요구되는 데이터 콘텐츠를 의미한다. 그리고, 독립형 데이터는 비디오 서비스와 동기화가 요구되지 않는 데이터 콘텐츠를 의미하는데, 이에는 단순한 정보제공형태의 데이터, 어플리케이션(응용프로그램), 어플리케이션 관련 데이터 등이 포함된다.The content collection and authoring unit 10 collects or authors data content (data broadcasting content) in real time. The data server 11 manages data contents collected / authored by the content collection and authoring unit 10, and linked data depending on whether the managed data contents are interlocked with a video service (requires synchronization with the video service). Scheduled transmission is divided into and independent data. Here, the linked data refers to data content that requires synchronization with a video service. In addition, the stand-alone data refers to data contents that are not required to be synchronized with a video service. This includes data in a simple information providing form, an application (application), application-related data, and the like.

그러면, DMB 송신부(12)는 연동형 데이터에 대해서는 엠펙 BIFS(Binary Format for Scenes) 부호화하여 BIFS 기반의 데이터서비스 채널로 전송하고, 독립형 데이터에 대해서는 DMB 규격(DMB 데이터전송 프로토콜)에 따라 데이터 부호화하여 미들웨어 기반의 데이터서비스 채널로 전송한다.Then, the DMB transmitter 12 encodes the MPEG BIFS (Binary Format for Scenes) for the interlocked data and transmits the data to the BIFS based data service channel, and encodes the independent data according to the DMB standard (DMB data transmission protocol). It transmits through middleware based data service channel.

이와 같은 DMB 송신부(12)는, 더욱 상세하게는, AV 인코더(121), BIFS 인코더(122), 미디어 다중화부(123), 데이터 인코더(124), 서비스정보(SI) 생성부(125), 전송 다중화부(126), 및 채널 코딩 및 RF 송신부(127)를 포함하여 이루어진다.In more detail, the DMB transmitter 12 includes an AV encoder 121, a BIFS encoder 122, a media multiplexer 123, a data encoder 124, a service information (SI) generator 125, A transmission multiplexer 126 and a channel coding and RF transmitter 127.

여기서, AV 인코더(121)는 DMB 방송에서 오디어/비디오 서비스를 제공하기 위하여 오디오/비디오 신호를 부호화(인코딩)하고, BIFS 인코더(122)는 데이터 서버(11)로부터 전달되는 연동형 데이터에 대하여 MPEG-4 BIFS 규격에 따라 부호화함으로써 BIFS 데이터를 생성한다. 여기서, BIFS 데이터에는 MPEG-4의 객체 기술(Object Description) 정보 등의 장면 구성 정보와, 부가 데이터(연동형 데이터 를 이루고 있는 객체로서, 이미지, 텍스트 등)가 포함되며, 연동형 데이터에 대한 BIFS 데이터이기 때문에 독립형 데이터와의 구분을 위하여 'BIFS 연동형 데이터'라 한다.Here, the AV encoder 121 encodes (encodes) an audio / video signal in order to provide an audio / video service in a DMB broadcast, and the BIFS encoder 122 performs on the linked data transmitted from the data server 11. BIFS data is generated by encoding according to the MPEG-4 BIFS standard. Here, the BIFS data includes scene configuration information such as object description information of MPEG-4, and additional data (an object forming interlocked data, such as an image and text). Because it is data, it is called 'BIFS interlocking data' to distinguish it from standalone data.

그러면, 미디어 다중화부(123)는 AV 인코더(121)의 출력(부호화된 오디오/비디오)과 BIFS 인코더(122)의 출력을 다중화(미디어 다중화)한다.The media multiplexer 123 then multiplexes (media multiplexes) the output (encoded audio / video) of the AV encoder 121 and the output of the BIFS encoder 122.

한편, 데이터 인코더(124)는 데이터 서버(11)에서 전달된 독립형 데이터를, DMB에서 규정하고 있는 다양한 데이터 전송 프로토콜로 부호화한다. 그리고, 서비스정보(SI) 생성부(125)는 서비스 및 프로그램에 관한 정보를 생성한다.On the other hand, the data encoder 124 encodes the standalone data transmitted from the data server 11 by various data transfer protocols defined by the DMB. The service information (SI) generation unit 125 generates information about a service and a program.

전송 다중화부(126)는 상기 생성된 모든 디지털 스트림을 하나의 전송스트림(TS)으로 다중화한다. 즉, 전송 다중화부(126)는 미디어 다중화부(123)의 출력, 데이터 인코더(124)의 출력, 및 서비스정보(SI) 생성부(125)에서 생성된 서비스/프로그램 정보를 다중화하여 하나의 전송스트림(TS)을 생성한다.The transport multiplexer 126 multiplexes all the generated digital streams into one transport stream TS. That is, the transmission multiplexer 126 multiplexes the output of the media multiplexer 123, the output of the data encoder 124, and the service / program information generated by the service information (SI) generator 125 to transmit one piece of data. Create a stream TS.

이후, 채널 코딩 및 RF 전송부(127)는 전송 다중화부(126)에서 다중화되어 출력되는 전송스트림에 대하여 채널 오류 정정을 위한 채널 코딩을 수행한 후, RF 신호로 변환하여 송신한다. 즉, 채널 코딩 및 RF 전송부(127)는 다중화된 전송스트림을 다양한 디지털 방송 전송 규격으로 채널 코딩한 후 RF 신호로 송출한다.Thereafter, the channel coding and RF transmitter 127 performs channel coding for channel error correction on the transport stream multiplexed and output by the transmission multiplexer 126, and then converts the RF signal into an RF signal. That is, the channel coding and RF transmitter 127 channel-codes the multiplexed transport stream into various digital broadcast transmission standards and transmits the multiplexed transport stream as an RF signal.

본 발명에 따른 DMB 송신 시스템은 콘텐츠 수집 및 저작부(10)에서 수집/저작된 데이터 콘텐츠를 서비스 시나리오에 따라 두 가지 형태의 채널로 전송하는 것을 특징으로 한다. 즉, 연동형 데이터 콘텐츠는 BIFS 인코더(122)를 통하여 MPEG-4 BIFS기반 데이터서비스 채널로 전송되고, 독립형 데이터 콘텐츠는 데이터 인코 더(124)를 통하여 미들웨어 기반 데이터서비스 채널로 전송된다.The DMB transmission system according to the present invention is characterized in that the data content collected and authored by the content collection and authoring unit 10 is transmitted in two types of channels according to the service scenario. That is, the linked data content is transmitted to the MPEG-4 BIFS based data service channel through the BIFS encoder 122, and the standalone data content is transmitted to the middleware based data service channel through the data encoder 124.

한편, 서비스 시나리오에 따라서는, 독립형 데이터 콘텐츠를 MPEG-4 BIFS 기반의 데이터서비스 채널로도 전송할 수 있다.On the other hand, depending on the service scenario, the independent data content can also be transmitted to the MPEG-4 BIFS-based data service channel.

도 2는 본 발명에 따른 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템의 일실시예 구성도로서, 미들웨어 기반의 데이터서비스와 MPEG-4 BIFS 기반의 데이터서비스를 통합하기 위한 수신 시스템을 나타낸다. 이하에서는, DMB 수신 시스템에서 수행되는 통합 데이터서비스 방법도 함께 설명하기로 한다.FIG. 2 is a configuration diagram of a DMB reception system for providing an integrated data service in a digital multimedia broadcasting according to the present invention, and illustrates a reception system for integrating a middleware-based data service and an MPEG-4 BIFS-based data service. Indicates. Hereinafter, the integrated data service method performed in the DMX receiving system will be described together.

본 발명에 따른 DMB 수신 시스템(DMB 수신 단말)은, 도 2에 도시된 바와 같이, 방송 수신처리부(20), DMB 미들웨어(21), 및 복수의 응용 프로그램(22)을 포함하여 이루어진다.The DMX receiving system (DMB receiving terminal) according to the present invention, as shown in FIG. 2, includes a broadcast receiving processing unit 20, a DMB middleware 21, and a plurality of application programs 22.

먼저, 방송 수신처리부(20)는 데이터 분리부(200), 디코더(204, 205), 장면 처리부(206)를 포함하여 이루어지는 단말 하드웨어/운영체제(OS)에 해당하는 것으로서, DMB 방송신호로부터 BIFS와 관련된 연동형 데이터, 독립형 데이터, 및 서비스 정보(SI), 비디오/오디오 스트림을 분리(추출)하고, BIFS와 관련된 연동형 데이터와 비디오/오디오 스트림을 각각 디코딩한 후 결합하여 장면을 구성한다.First, the broadcast reception processing unit 20 corresponds to a terminal hardware / operating system (OS) including the data separation unit 200, the decoders 204 and 205, and the scene processing unit 206. The associated interlocked data, standalone data, and service information (SI) and video / audio streams are separated (extracted), and the combined data and video / audio streams related to BIFS are decoded and combined to form a scene.

한편, DMB 미들웨어(21)는, 미들웨어 실행엔진(210), 자바 가상 머신(Java Virtual Machine)(218), 및 미들웨어 API(219)를 포함하여 이루어지는 것으로서, DMB 수신단말에 탑재되는 응용 프로그램(어플리케이션)(22)을 수행할 수 있는 환경을 제공하는 것으로서, 특히 통합 데이터서비스와 관련해서는 방송 수신처리부(20) 에서의 역다중화 과정 및 BIFS 연동형 데이터 디코딩 과정을 제어하고, 어플리케이션 실행을 통하여 생성된 텍스트/그래픽에 독립형 데이터를 결합하거나 방송 수신처리부(20)에서의 장면 재구성을 제어한다.Meanwhile, the DMB middleware 21 includes a middleware execution engine 210, a Java virtual machine 218, and a middleware API 219, and is an application program (application) mounted on the DMB receiving terminal. (22), and in particular, in connection with the integrated data service, the demultiplexing process and the BIFS-linked data decoding process in the broadcast reception processing unit 20 are controlled, and the application is generated through the execution of the application. The standalone data is combined with the text / graphic or the scene reconstruction in the broadcast reception processor 20 is controlled.

이하, DMB 수신 시스템(수신 단말)에서의 구체적인 동작을 설명하기로 한다.Hereinafter, specific operations in the DMW receiving system (receiving terminal) will be described.

튜너(201)의 채널 선택 과정을 통하여 수신된 DMB 방송신호는, 채널 역다중화부(202)에 의해 서비스 정보(SI) 및 독립형 데이터 스트림과, 미디어 스트림으로 분리된다.The DMB broadcast signal received through the channel selection process of the tuner 201 is separated into a service information (SI), an independent data stream, and a media stream by the channel demultiplexer 202.

이렇게 분리된 스트림 중에서 서비스 정보 및 독립형 데이터 스트림은 미들웨어 실행엔진(210)(더욱 상세하게는, 프로토콜 처리부(214))으로 보내어진다. 한편, 미디어 역다중화부(203)는 채널 역다중화부(202)에서 분리된 미디어 스트림 내의 초기 객체기술자(IOD), 객체기술자(OD) 등을 분석한 후, 미디어 스트림 내의 BIFS 연동형 데이터(연동형 데이터에 대한 BIFS 데이터) 스트림과 오디오/비디오(AV) 스트림으로 분리한다. The service information and the standalone data stream among the separated streams are sent to the middleware execution engine 210 (more specifically, the protocol processor 214). Meanwhile, the media demultiplexer 203 analyzes an initial object descriptor (IOD), an object descriptor (OD), and the like in the media stream separated by the channel demultiplexer 202, and then BIFS-linked data (interlocking) in the media stream. It is divided into BIFS data stream and audio / video (AV) stream for format data.

BIFS 디코더(204)는 BIFS 연동형 데이터 스트림을 분석하여 BIFS 복호화함으로써 연동형 데이터를 복원해낸다. 이렇게 복원된 연동형 데이터에는 장면구성 정보와 이와 관련된 부가데이터가 포함되며, 이들은 장면 그래프 생성부(207)로 보낸다.The BIFS decoder 204 recovers the linked data by analyzing the BIFS linked data stream and BIFS decoding. The restored linked data includes scene configuration information and related additional data, which are sent to the scene graph generator 207.

그러면, 장면 그래프 생성부(207)는 장면 구성 정보를 바탕으로, 콤포지터/랜더러(208)에서의 장면 구성을 제어한다.Then, the scene graph generator 207 controls the scene configuration in the compositor / renderer 208 based on the scene configuration information.

콤포지터/랜더러(208)는 장면 그래프 생성부(207)의 제어에 따라, BIFS 디코더(204)에서 추출된 부가 데이터와 AV 디코더(205)에서 디코딩된 오디오/비디오를 이용하여 장면을 구성한다.The compositor / renderer 208 composes a scene using the additional data extracted by the BIFS decoder 204 and the audio / video decoded by the AV decoder 205 under the control of the scene graph generator 207.

상기와 같은 과정을 통하여 최종적으로 생성된 비디오, 텍스트 및 그래픽 등은 프레임 버퍼/OSD(On Screen Display)(209)에 의해 중첩되어 디스플레이 장치(23)로 출력되며, 오디오 신호는 별도의 스피커로 출력된다.The video, text, and graphics finally generated through the above process are superimposed by the frame buffer / OSD (On Screen Display) 209 and output to the display device 23, and the audio signal is output to a separate speaker. do.

한편, DMB 수신 단말에서 미들웨어 기반의 데이터서비스를 제공하기 위한 미들웨어 API(219)는 응용프로그램(22)의 실행을 위한 다양한 기능들에 대해서 정의한 것으로서, 응용프로그램(22)과 미들웨어 실행 엔진들(210)과의 인터페이스를 위한 API의 모음이다.Meanwhile, the middleware API 219 for providing a middleware-based data service in the DMB receiving terminal defines various functions for executing the application 22, and the application 22 and the middleware execution engines 210. A collection of APIs for interfacing with

미들웨어 실행엔진(210)은 응용프로그램(22)의 처리를 담당하며 데이터 처리를 위한 환경을 제공하는 모듈이다. 이러한 미들웨어 실행엔진(210)은 채널 처리부(211), 로케이터(Locator)(212), 자원 관리자(Resource Manager)(213), 프로토콜 처리부(214), 응용프로그램 처리부(Application Manager)(215), 그래픽 사용자 인터페이스부(216), 장면그래프 제어부(217)를 포함하여 이루어지는데, 각각의 구성요소에 대하여 설명하면 다음과 같다.The middleware execution engine 210 is a module that is in charge of processing the application program 22 and provides an environment for data processing. The middleware execution engine 210 may include a channel processor 211, a locator 212, a resource manager 213, a protocol processor 214, an application manager 215, graphics The user interface unit 216 and the scene graph control unit 217 are included. Each component will be described below.

채널 처리부(211)는 수신 단말의 저수준(Low Level) 장치를 제어하는 것으로 튜너(201) 및 채널 역다중화부(202)를 제어하고 서비스를 선택하는 기능을 수행하며, 로케이터(Locator)(212)는 특정 방송 채널, 방송 채널 내의 파일, 패킷 스트림 등을 지칭하는 역할을 수행한다. 그리고, 자원 관리자(Resource Manager)(213)는 미들웨어에서 필요한 자원들(Resources), 즉 하드웨어 및 소프트웨어 자원을 관리한다. The channel processor 211 controls the low level device of the receiving terminal to control the tuner 201 and the channel demultiplexer 202 and to select a service, and the locator 212. Refers to a specific broadcast channel, a file in the broadcast channel, a packet stream, and the like. The resource manager 213 manages resources necessary for middleware, that is, hardware and software resources.

프로토콜 처리부(214)는 오디오/비디오가 아닌 데이터를 이용한 다양한 서비스를 제공하기 위한 것으로서, 다양한 서비스를 위한 다양한 데이터 방송 프로토콜(MOT, TDC, TPEG 등)을 해석한다. 응용프로그램 처리부(215)는 응용프로그램(어플리케이션)의 수신 제어 및 저장 기능을 수행하고, 그 저장한 응용프로그램의 실행제어 등의 기능을 수행한다.The protocol processor 214 is to provide various services using data other than audio / video, and interprets various data broadcasting protocols (MOT, TDC, TPEG, etc.) for various services. The application program processor 215 performs reception control and storage functions of an application program (application), and executes functions such as execution control of the stored application program.

그래픽 사용자 인터페이스부(216)는 사용자와의 인터페이스를 수행하는 것으로서, 사용자의 입력에 따라 데이터를 화면에 출력하는 기능을 담당하는 그래픽 사용자 인터페이스(GUI)로 구성된다. 그리고, 장면그래프 제어부(217)는 그래픽 사용자 인터페이스부(216)를 통한 사용자의 입력에 따라, 방송 수신 처리부(20)에서의 장면 구성을 제어하는 것으로서, 구체적으로는 장면그래프 생성부(207)에서의 장면 그래프 생성 과정을 제어한다.The graphical user interface unit 216 performs an interface with a user, and is composed of a graphical user interface (GUI) that is responsible for outputting data to a screen according to a user's input. The scenegraph control unit 217 controls the scene configuration in the broadcast reception processing unit 20 according to a user's input through the graphic user interface unit 216. Specifically, the scenegraph control unit 207 controls the scenegraph generation unit 207. Control the scene graph generation process.

한편, 자바 가상 머신(JVM)(218)은 자바 코드(JAVA Code)로 작성된 응용프로그램(22)을 해석 및 실행하기 위한 환경을 제공한다.On the other hand, the Java virtual machine (JVM) 218 provides an environment for interpreting and executing the application 22 written in Java code (JAVA Code).

이하에서는, 도 2에 도시된 바와 같은 DMB 수신 시스템(수신 단말)에서 수행되는 데이터서비스 통합 방법, 즉 미들웨어 기반의 데이터서비스와 MPEG-4 BIFS 기반의 데이터서비스를 통합하기 위한 구체적인 방법을 설명하기로 한다.Hereinafter, a method of integrating a data service performed in a DMB receiving system (receiving terminal) as shown in FIG. 2, that is, a specific method for integrating a middleware-based data service and an MPEG-4 BIFS-based data service will be described. do.

기본적으로 미들웨어 기반의 데이터서비스는, 채널 역다중화부(202)로부터 입력되는 서비스정보(SI)와 독립형 데이터(예를 들면, 어플리케이션 및 이와 관련 데이터 등)가 프로토콜 처리부(214)에 의해 수신된 후, 자바가상머신(218)에 의한 응용프로그램의 실행과 그 처리된 데이터가 그래픽사용자 인터페이스부(216)의 제어에 의해 디스플레이 장치(23)를 통해 사용자에게 제공됨으로써 이루어진다. 즉,프로토콜 처리부(214)는 채널 역다중화부(202)에서 분리된 서비스 정보 및 독립형 데이터 스트림을 받아 사용하며, 특히 독립형 데이터 스트림을 디코딩한다. 이렇게 디코딩된 독립형 데이터는, 미들웨어 실행 엔진(210)에서의 응용프로그램의 실행에 의하여 생성된 그래픽/텍스트와 결합 또는 연동되게 된다.Basically, the middleware-based data service may include service information (SI) and independent data (for example, application and related data) input from the channel demultiplexer 202 after being received by the protocol processor 214. The execution of the application program by the Java virtual machine 218 and the processed data are provided to the user through the display apparatus 23 under the control of the graphic user interface unit 216. That is, the protocol processing unit 214 receives and uses the service information and the independent data stream separated by the channel demultiplexer 202, and in particular, decodes the independent data stream. The decoded standalone data is combined or linked with graphics / text generated by execution of an application program in the middleware execution engine 210.

여기서, 파일로 전송되는 어플리케이션(응용프로그램) 및 패킷 스트림으로 전송되는 관련데이터는 로케이터(212)에 의해 URL 형태로 지정되는데, 본 발명에서는 이 로케이터(212)가 미디어 역다중화부(203)를 제어하여, MPEG-4 및 MPEG-2 시스템으로 다중화된 미디어 스트림 내의 임의의 기초 스트림(ES: Elementary Stream)을 지정하게 된다.Here, the application (application program) transmitted as a file and the related data transmitted in the packet stream are designated by the locator 212 in the form of a URL. In the present invention, the locator 212 controls the media demultiplexer 203. Thus, an arbitrary elementary stream (ES) in a media stream multiplexed with MPEG-4 and MPEG-2 systems is designated.

이렇게 함으로써, 미들웨어 응용프로그램이 MPEG-4 BIFS 기반의 채널로 전송되는 데이터(연동형 데이터)를 사용할 경우에는, 로케이터(212)가 이 BIFS 기반 채널의 해당 기초 스트림(ES)을 지정하고, 그에 따라 프로토콜 처리부(214)가 BIFS 디코더(204)를 제어하여 MPEG-4 BIFS 데이터(연동형 데이터)를 입력받아 처리하게 된다. 즉, 프로토콜 처리부(214)는 BIFS 디코더(204)로부터 획득한 연동형 데이터를 해당 응용프로그램의 실행에 사용한다. By doing so, when a middleware application uses data transmitted over an MPEG-4 BIFS-based channel (interlocked data), the locator 212 specifies the corresponding elementary stream (ES) of this BIFS-based channel and accordingly The protocol processor 214 controls the BIFS decoder 204 to receive and process MPEG-4 BIFS data (interlocked data). That is, the protocol processing unit 214 uses the interlocked data obtained from the BIFS decoder 204 to execute the corresponding application.

특히, MPEG-4 BIFS기반으로 전송되는 데이터는 비디오 스트림과 용이하게 동기화하기 위한 메커니즘으로 다중화되어 있으므로, 이를 이용하면 미들웨어 기반의 데이터서비스에서도 동기화 데이터서비스를 용이하게 제공할 수 있다.In particular, since data transmitted on the basis of MPEG-4 BIFS is multiplexed as a mechanism for easily synchronizing with a video stream, the data can be easily provided even in a middleware-based data service.

또한, 본 발명에 따른 데이터서비스의 통합 효과는 비디오와 데이터를 디스플레이 장치(23)에서 재생하는 그래픽 사용자 인터페이스(216)와 장면그래프에서 가져올 수 있다.In addition, the integrated effect of the data service according to the present invention may be obtained from the graphic user interface 216 and the scene graph for playing the video and the data on the display device 23.

미들웨어 실행엔진(210)의 장면 그래프 제어부(217)는 미들웨어 응용프로그램이 장면 그래프에 접근하여 콤포지터/랜더러(208)에서의 장면 구성을 제어한다. 즉, 미들웨어 실행엔진(210)의 장면 그래프 제어부(217)는, 응용프로그램의 실행에 의해 생성된 텍스트/그래픽이, 매 비디오의 프레임(AV 디코더(205)에서 디코딩되어 출력되는 비디오의 프레임)마다 해당 비디오 및 MPEG-4 BIFS 데이터(BIFS 연동형 데이터)와 유기적으로 결합되어 해당 장면을 구성할 수 있게 한다.The scene graph control unit 217 of the middleware execution engine 210 controls the scene configuration in the compositor / renderer 208 by the middleware application program accessing the scene graph. That is, the scene graph control unit 217 of the middleware execution engine 210 determines that the text / graphic generated by the execution of the application program is performed every frame of video (frame of video decoded and output by the AV decoder 205). It is organically combined with the video and MPEG-4 BIFS data (BIFS interlocking data), allowing you to compose the scene.

또한, 그래픽 사용자 인터페이스부(216)는 사용자 입력에 의한 이벤트 처리를 수행함에 있어서, MPEG-4 BIFS의 이벤트 노드와 미들웨어 실행엔진의 사용자 인터페이스 API 간에 유기적인 인터페이스가 이루어지도록 하며, 이렇게 함으로써 상호 간의 이벤트를 공유하게 되는 것이다.In addition, the graphic user interface unit 216 performs an organic interface between an event node of MPEG-4 BIFS and a user interface API of a middleware execution engine in performing event processing by a user input. Will be shared.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

도 1은 본 발명에 따른 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 송신 시스템의 일실시예 구성도,1 is a configuration diagram of a DM transmission system for providing an integrated data service in a digital multimedia broadcasting according to the present invention;

도 2는 본 발명에 따른 디지털멀티미디어 방송에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템의 일실시예 구성도이다.2 is a configuration diagram of a DM receiver system for providing an integrated data service in a digital multimedia broadcasting according to the present invention.

*도면의 주요부분에 대한 부호설명* Code descriptions for the main parts of the drawings

10: 콘텐츠 수집 및 저작부 11: 데이터 서버10: Content Collection and Authoring Part 11: Data Servers

12: DMB 송신부 122: BIFS 인코더12: DMB transmitter 122: BIFS encoder

123: 미디어 다중화부 124: 데이터 인코더123: Media Multiplexer 124: Data Encoder

126: 전송 다중화부 20: 방송 수신처리부126: transmission multiplexer 20: broadcast reception processor

21: 미들웨어 22: 응용프로그램21: Middleware 22: Applications

200: 데이터 분리부 204: BIFS 디코더200: data separation unit 204: BIFS decoder

205: AV 디코더 206: 장면 처리부205: AV decoder 206: scene processing unit

212: 로케이터 214: 프로토콜 처리부212: Locator 214: Protocol processing unit

217: 장면 그래프 제어부217: Scene graph control

Claims (12)

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 디지털멀티미디어 방송(DMB)에서 통합 데이터서비스를 제공하기 위한 DMB 수신 시스템에 있어서,In the DMB receiving system for providing integrated data service in digital multimedia broadcasting (DMB), DMB 방송신호로부터 오디오/비디오 스트림, BIFS 연동형 데이터 스트림, 및 독립형 데이터 스트림을 분리하고, 상기 오디오/비디오 스트림과 상기 BIFS 연동형 데이터 스트림을 복호화하고 상호 결합하여 장면을 구성하기 위한 방송 수신처리 수단; 및Broadcast reception processing means for separating an audio / video stream, a BIFS interlocking data stream, and a standalone data stream from a DMB broadcast signal, and decoding and combining the audio / video stream and the BIFS interlocking data stream to form a scene. ; And 상기 방송 수신처리 수단의 동작을 제어하고, 응용프로그램의 실행 환경을 제공하며, 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽에 상기 분리된 독립형 데이터 스트림을 복호화하여 결합하되, 상기 응용프로그램의 실행에 연동형 데이터가 필요하면 상기 방송 수신처리 수단으로부터 해당 연동형 데이터를 획득하여 상기 응용프로그램의 실행에 사용하는 DMB 미들웨어 수단Controlling the operation of the broadcast reception processing means, providing an execution environment of an application program, and decoding and combining the separated independent data streams into text / graphics generated by execution of the application program; DMB middleware means for acquiring the interlocked data from the broadcast reception processing means and executing the application program when interlocked data is needed. 을 포함하는 DMB 수신 시스템.DMB receiving system comprising a. 제 6 항에 있어서,The method of claim 6, 상기 방송 수신처리 수단은,The broadcast reception processing means, 상기 DMB 방송신호로부터 오디오/비디오 스트림, 독립형 데이터 스트림, BIFS 연동형 데이터 스트림, 서비스정보를 분리하기 위한 역다중화 수단;Demultiplexing means for separating an audio / video stream, a standalone data stream, a BIFS linked data stream, and service information from the DMB broadcast signal; 상기 BIFS 연동형 데이터 스트림을 BIFS 복호화하여 연동형 데이터를 복원하기 위한 BIFS 복호화 수단;BIFS decrypting means for restoring interlocked data by BIFS decrypting the BIFS interlocked data stream; 상기 오디오/비디오 스트림을 복호화하기 위한 AV 복호화 수단; 및AV decoding means for decoding the audio / video stream; And 상기 BIFS 복호화 수단에서 복원된 연동형 데이터와, 상기 AV 복호화 수단에서 복호화된 오디오/비디오 데이터를 이용하여 장면을 구성하기 위한 장면 처리 수단Scene processing means for composing a scene using the interlocked data restored by the BIFS decoding means and the audio / video data decoded by the AV decoding means. 을 포함하는 DMB 수신 시스템.DMB receiving system comprising a. 삭제delete 제 7 항에 있어서,The method of claim 7, wherein 상기 DMB 미들웨어 수단은,The DMB middleware means, 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽이, 상기 AV 복호화 수단에서 출력되는 비디오 데이터 및 상기 BIFS 복호화 수단에서 출력되는 연동형 데이터와 결합되어 장면 구성이 이루어지도록, 상기 장면 처리 수단을 제어하는 것을 특징으로 하는 DMB 수신 시스템.Controlling the scene processing means such that the text / graphic generated by the execution of the application program is combined with the video data output from the AV decoding means and the linked data output from the BIFS decoding means to form a scene. DMB receiving system, characterized in that. DMB 수신 시스템에서의 통합 데이터서비스 제공 방법에 있어서,In the integrated data service providing method in the DMB receiving system, DMB 방송신호로부터 오디오/비디오 스트림, BIFS 연동형 데이터 스트림, 및 독립형 데이터 스트림을 분리하는 역다중화 단계;A demultiplexing step of separating the audio / video stream, the BIFS linked data stream, and the standalone data stream from the DMB broadcast signal; 상기 오디오/비디오 스트림과 상기 BIFS 연동형 데이터 스트림을 복호화하고 결합하여 해당 장면을 구성하는 장면 구성 단계; 및A scene construction step of decoding and combining the audio / video stream and the BIFS linked data stream to construct a corresponding scene; And 미들웨어 기반으로 응용프로그램을 실행하고, 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽에 상기 분리된 독립형 데이터를 결합하되, 상기 응용프로그램의 실행에 연동형 데이터가 필요하면 해당 연동형 데이터를 획득하여 상기 응용프로그램의 실행에 사용하는 응용 단계Running the application program based on the middleware, combining the separated stand-alone data with the text / graphics generated by the execution of the application, if the interlocking data is required for the execution of the application to obtain the interlocking data Application steps used to execute the application 를 포함하는 통합 데이터서비스 제공 방법.Integrated data service providing method comprising a. 삭제delete 제 10 항에 있어서,The method of claim 10, 상기 응용프로그램의 실행에 의하여 생성된 텍스트/그래픽을, 상기 장면 구성 단계에서 구성된 장면과 결합하는 단계Combining the text / graphic generated by the execution of the application with the scene configured in the scene composition step 를 더 포함하는 통합 데이터서비스 제공 방법.Integrated data service providing method further comprising.
KR1020070068692A 2006-07-07 2007-07-09 Dmb receiving system and method for providing integrated data service in digital multimedia broadcasting KR100883366B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060064074 2006-07-07
KR1020060064074 2006-07-07

Publications (2)

Publication Number Publication Date
KR20080005151A KR20080005151A (en) 2008-01-10
KR100883366B1 true KR100883366B1 (en) 2009-02-11

Family

ID=39215628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070068692A KR100883366B1 (en) 2006-07-07 2007-07-09 Dmb receiving system and method for providing integrated data service in digital multimedia broadcasting

Country Status (1)

Country Link
KR (1) KR100883366B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5783402B2 (en) * 2011-01-25 2015-09-24 ソニー株式会社 Reception device, reception method, supply device, supply method, program, and broadcasting system
CN102595201B (en) * 2011-11-25 2018-05-01 中兴通讯股份有限公司 A kind of CMMB data broadcastings delivery method and system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070018239A (en) * 2005-08-09 2007-02-14 주식회사 대우일렉트로닉스 Digital multimedia broadcasting for unification audio decoder
KR20070053432A (en) * 2005-11-21 2007-05-25 엘지전자 주식회사 Method for data service using binary format for scene, terminal for digital multimedia service
KR20070069380A (en) * 2005-12-28 2007-07-03 엘지전자 주식회사 Method for providing user interface for data service in broadcasting receiver

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070018239A (en) * 2005-08-09 2007-02-14 주식회사 대우일렉트로닉스 Digital multimedia broadcasting for unification audio decoder
KR20070053432A (en) * 2005-11-21 2007-05-25 엘지전자 주식회사 Method for data service using binary format for scene, terminal for digital multimedia service
KR20070069380A (en) * 2005-12-28 2007-07-03 엘지전자 주식회사 Method for providing user interface for data service in broadcasting receiver

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
방송공학회지, 제10권제4호, 2005.12.,한국방송공학회, 오건식, "SBS 지상파 DMB 본방송 시스템 구성 및 운영", pp.37-44*

Also Published As

Publication number Publication date
KR20080005151A (en) 2008-01-10

Similar Documents

Publication Publication Date Title
CN1139254C (en) Terminal for composing and presenting MPEG-4 video programs
KR100587324B1 (en) Method for servicing digital multimedia broadcasting, transmitter/receiver, and data structure
KR100747598B1 (en) System and Method for Transmitting/Receiving Three Dimensional Video based on Digital Broadcasting
KR100658222B1 (en) 3 Dimension Digital Multimedia Broadcasting System
US20120320168A1 (en) Method and apparatus for transmission and reception in the provision of a plurality of transport interactive 3dtv broadcasting services
US20130019024A1 (en) Wireless 3d streaming server
KR102464061B1 (en) Method and device for sending and receiving media data
US20090040372A1 (en) Digital broadcasting transmitting/receiving apparatus and method
KR102361314B1 (en) Method and apparatus for providing 360 degree virtual reality broadcasting services
KR20060122784A (en) Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting
US12028562B2 (en) Transmission device, transmission method, reception device, and reception method
JP4621753B2 (en) Method and apparatus for signaling code set transmission in data broadcasting
US9426506B2 (en) Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment
JP2021121108A (en) Decoding device
KR100910996B1 (en) Method of Providing Three-Dimensional Video Service in Digital Multimedia Broadcasting System
KR100883366B1 (en) Dmb receiving system and method for providing integrated data service in digital multimedia broadcasting
US10616618B2 (en) Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method and broadcast signal receiving method
KR20070010653A (en) Method and apparatus for providing advertisement in digital broadcasting system
KR100825755B1 (en) Method and its apparatus of transmitting/receiving digital multimedia broadcasting(dmb) for connecting data service based on mpeg-4 bifs with data service based on middleware
KR102391586B1 (en) Method for encapsulating audiovisual content streams in mpeg2 private sections, device for encapsulating audiovisual content in mpeg2 private sections to be multiplexed in a mpeg2 transport stream; interactive application for digital tv; user device; method for transmission of audiovisual content and/or data and communication protocol for data networks
KR20130040156A (en) Contents display method, contents synchronization method, broadcast contents display method and display apparatus
KR20130056829A (en) Transmitter/receiver for 3dtv broadcasting, and method for controlling the same
KR101941781B1 (en) Method and Apparatus for Receiving 8K Broadcasting based on MMT
KR100755839B1 (en) Broadcasting system and method for supporting sound multiplex
KR100950771B1 (en) Apparatus and method for transmitting and receiving the broadcasting signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111208

Year of fee payment: 20