KR20010040503A - Method and system for client-server interaction in interactive communications - Google Patents
Method and system for client-server interaction in interactive communications Download PDFInfo
- Publication number
- KR20010040503A KR20010040503A KR1020007008365A KR20007008365A KR20010040503A KR 20010040503 A KR20010040503 A KR 20010040503A KR 1020007008365 A KR1020007008365 A KR 1020007008365A KR 20007008365 A KR20007008365 A KR 20007008365A KR 20010040503 A KR20010040503 A KR 20010040503A
- Authority
- KR
- South Korea
- Prior art keywords
- command
- server
- mpeg
- descriptor
- client
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004891 communication Methods 0.000 title claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 11
- 230000003993 interaction Effects 0.000 title description 17
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 239000000796 flavoring agent Substances 0.000 description 2
- 235000019634 flavors Nutrition 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 엠펙-4(MPEG-4)에 기초하는 상호 작용(interactive) 통신 시스템에서, 화면 설명 내의 커맨드 루트 노드(command route node) 또는 서버 루트(server route)와 함께 커맨드 설명자(command descriptor)가 애플리케이션-규정 상호 작용성을 지원하는데 사용될 수 있다. 콘텐츠 선택은 공통 파라미터 내의 표시를 규정함으로써 지원될 수 있는데, 커맨드 식별번호는 커맨드가 콘텐츠 선택 커맨드인 것을 나타낸다. 초기 화면은 화상과 연관된 표시를 설명하는 여러 화상으로 및 텍스트로 생성될 수 있다. 연관된 각각의 화상 및 대응하는 텍스트는 콘텐츠 선택 설명자이다. 사용자가 화상을 클릭하는 경우, 클라이언트는 선택된 표시(presentation)를 보유하는 커맨드를 전송하고 서버는 신규 표시를 시작한다. HTTP 및 CGI가 임의의 서버-기반의 애플리케이션 작용을 구현하는데 일반적으로 사용되는 것처럼, 이 기술은 임의의 애플리케이션 환경에 사용될 수 있다.In an interactive communication system based on MPEG-4, a command descriptor along with a command route node or a server route in a screen description is provided. Can be used to support application-specific interactivity. Content selection can be supported by specifying an indication in a common parameter, where the command identification number indicates that the command is a content selection command. The initial screen may be generated in text and in various pictures describing the display associated with the picture. Each picture and corresponding text associated with it is a content selection descriptor. When the user clicks on the picture, the client sends a command holding the selected presentation and the server starts a new display. As HTTP and CGI are commonly used to implement any server-based application behavior, this technique can be used in any application environment.
Description
상호 작용성(interactivity)은 엠펙-4 국제 표준(ISO/IEC 14496 Parts 1-6, Committee Draft, 10월 31일, 1997년, Fribourg, Switzerland)의 개발에 중요한 관심사다. 복귀 채널(back channel)은 상호 작용 메시지 지원용으로 규정된다. 하지만, 해당 채널을 통해 운반될 메시지의 구문(syntax) 및 의미(semantic)는 여전히 규정되지 않으며, 이러한 메시지의 전송을 개시(trigger)하는 메커니즘도 마찬가지다. DSM-CC(ISO/IEC 국제 표준 13818-6) 및 RTSP(RFC 2326)와 같은 기존의 표준은 재생(playback) 동안에 매체 스트림(media stream)의 위치를 재지정하도록 통상적인 VCR-형식의 상호 작용성을 지원하지만, 이것은 더욱 복잡한 상호 작용성 제어를 필요로 하는 엠펙-4 에플리케이션용으로는 부적합하다.Interactivity is an important concern for the development of the MPEG-4 International Standard (ISO / IEC 14496 Parts 1-6, Committee Draft, October 31, 1997, Friborg, Switzerland). The back channel is defined for supporting interactive messages. However, the syntax and semantics of the message to be carried over that channel are still undefined, and so is the mechanism for triggering the transmission of such a message. Existing standards such as DSM-CC (ISO / IEC International Standard 13818-6) and RTSP (RFC 2326) have traditional VCR-format interactions to reposition the media stream during playback. Although it supports sex, this is not suitable for MPEG-4 applications that require more complex interactivity control.
상호 작용 메시지는 소정의 사용자 동작 또는 시스템 이벤트에 의해 생성될 수 있다. 이후 객체(objects)를 추가하거나 분리함으로써 전달되는 스트림(stream), 또는 전체 신규 화면으로 절환하는 스트림을 차례로 변경할 수 있는 서버로 상기 상호 작용 메시지가 복귀된다. 사용자 동작은 객체 상의 클릭, 텍스트 스트림의 입력 등을 포함할 수 있다. 시스템 이벤트는 타이머(timer), 조건부 테스트(conditional tests) 등을 포함한다.The interaction message may be generated by some user action or system event. The interaction message is then returned to the server, which can in turn change the stream delivered by adding or separating objects, or the stream switching to the whole new screen. User actions may include clicks on objects, input of text streams, and the like. System events include timers, conditional tests, and the like.
상호 작용성은 애플리케이션에 의해 특정되며, 사용자 이벤트에 대해 완전하게 상호 작용 활동을 정의할 수 없다. 애플리케이션-특정 상호 작용성을 지원하기 위해, CGI식의 방법이 채택되어야 한다. 특정 사용자 이벤트는 애플리케이션-특정 커맨드 데이터가 서버로 복귀될 수 있게 해준다. 이후 상기 서버가 통상적으로 화면 설명 갱신 커맨드를 전송함으로써 응답할 수 있다. 이로 인해 애플리케이션에 의해 요구되는 바와 같이 완전한 상호 작용성을 지원할 수 있다.Interactivity is application specific and you cannot define fully interactive activities for user events. To support application-specific interactivity, CGI-style methods must be adopted. Certain user events allow application-specific command data to be returned to the server. The server may then respond by typically sending a screen description update command. This allows for full interactivity as required by the application.
엠펙-4는 본질적으로 로컬(rocal) 및 원격(remote)이라는 2가지 모드의 상호 작용성을 사용한다. 로컬 상호 작용성은 VRML 2.0 ROUTE 설계(www.vrml.org 및 Addison-wesley 출판사에서 J.Hartman 및 J.Wernecke에 의해 1996년에 간행된 "The VRML Handbook" 참조)에 기초하며, 엠펙-4 규정(시스템)의 파트 1에 실려 있는 엠펙-4 BIFS(Binary Format for Scenes)의 원래 이벤트 구조를 사용하여 충분히 구현될 수 있다. 상기 엠펙-4 수신기가 다른 애플리케이션에서 호스트(host)인 경우, 상기 애플리케이션에 의해 엠펙-4 수신기로 통신될 필요가 있는 이벤트는 상기 엠펙-4의 파트 1에 정해진 바와 같이 BIFS 갱신 커맨드로 옮겨질 수 있다.MPEG-4 uses essentially two modes of interactivity: local and remote. Local interactivity is based on the VRML 2.0 ROUTE design (see "The VRML Handbook" published in 1996 by J.Hartman and J.Wernecke at www.vrml.org and Addison-wesley publishers) This can be fully implemented using the original event structure of MPEG-4 Binary Format for Scenes (BIFS), which is included in Part 1 of the System. If the MPEG-4 receiver is a host in another application, events that need to be communicated by the application to the MPEG-4 receiver may be transferred to a BIFS update command as defined in part 1 of the MPEG-4. have.
원격 상호 작용성은 현재 URL로 이루어진다. 엠펙-4 System Committee Draft에서 정해진 바와 같이, 이들 원격 상호 작용성은 단지 콘텐츠(contents)로의 액세스를 획득하는데 사용될 수 있다. 결국, 이들은 커맨드를 개시하는데 사용될 수 없다.Remote interactivity is done with the current URL. As defined in the MPEG-4 System Committee Draft, these remote interactivity can only be used to gain access to content. After all, they cannot be used to initiate a command.
엠펙-4 시스템이 화면 설명(BIFS)의 일부인 이벤트 소스/싱크 루트(event source/sink route)를 사용하여 이미 로컬 상호 작용을 지원하고 있다는 사실로부터 상기 로컬 상호 작용성 모델과 완전하게 결합하는 서버 상호 작용 처리를 구비하는 것이 더욱 바람직하다.Server interactions that fully integrate with the local interactivity model from the fact that the MPEG-4 system already supports local interactions using event source / sink routes that are part of the screen description (BIFS). It is more preferable to have an action treatment.
본 발명은 통신 시스템, 보다 구체적으로, 엠펙-4 표준에 기초하는 통신 시스템에서 클라이언트-서버 상호 작용을 수행하는 기술에 관한 것이다.The present invention relates to a communication system, and more particularly to a technique for performing client-server interaction in a communication system based on the MPEG-4 standard.
도 1은 엠펙-4(MPEG-4) 클라이언트 또는 단말기의 전체 구조를 예시하는 블록도이다.1 is a block diagram illustrating the overall structure of an MPEG-4 client or terminal.
도 2는 엠펙-4 시스템 디코더 모델을 도시한다.2 shows an MPEG-4 system decoder model.
도 3은 시청각 객체를 객체 설명자(object descriptors) 및 예비 스트림 설명자(elementary stream descriptors)를 통해 다른 스트림 내의 부호화된 데이터(encoded data)와 연관시키는 엠펙-4에 사용되는 방법을 예시하고 있다.3 illustrates a method used in MPEG-4 for associating an audiovisual object with encoded data in another stream through object descriptors and elementary stream descriptors.
도 4는 클라이언트/서버 엠펙-4 기반 통신 시스템의 일반적인 구성을 도시하고 있다.4 shows a general configuration of a client / server MPEG-4 based communication system.
도 5는 화면 설명 노드(scene description node), 특히 센서 노드를 (a) 서버 루트, 및 (b) 커맨드 루트 노드를 사용하는 커맨드 설명자와 연관시키는 방법을 예시하고 있다.FIG. 5 illustrates a method of associating a scene description node, in particular a sensor node, with a command descriptor using (a) a server root, and (b) a command root node.
도 6은 바람직한 실시예로 설명되는 바와 같이 커맨드 설명자의 이진 구문(binary syntax)을 도시하고 있다.FIG. 6 illustrates the binary syntax of the command descriptor as described in the preferred embodiment.
도 7은 바람직한 실시예로 설명되는 바와 같이 커맨드 설명자 제거 커맨드의 이진 구문을 도시하고 있다.Figure 7 illustrates the binary syntax of the command descriptor removal command as described in the preferred embodiment.
도 8은 서버 루트 구조의 이진 구문, 및 주요 엠펙-4 BIFS 사건 구문에 추가되는 방법을 도시하고 있다.Figure 8 illustrates the binary syntax of the server root structure, and how it is added to the main MPEG-4 BIFS event syntax.
도 9는 커맨드 루트 구조의 노드 구문 및 의미(semantics)를 도시하고 있다.9 illustrates node syntax and semantics of the command root structure.
도 10은 기설정된 커맨드 식별번호 및 연관된 설명(interpretation)의 표시 목록을 도시하고 있다.Fig. 10 shows a display list of preset command identification numbers and associated interpretations.
도 11은 바람직한 실시예에서 커맨드 설명자 내에 구비되는 커맨드의 이진 구문을 도시하고 있다.Figure 11 illustrates the binary syntax of the commands included in the command descriptor in the preferred embodiment.
도 12는 서버 루트가 사용되는 경우, 엠펙-4 클라이언트 내의 서버 커맨드를 발생시키는 과정을 예시하는 순서도이다.12 is a flowchart illustrating a process of generating a server command in an MPEG-4 client when a server root is used.
도 13은 서버 루트가 사용되는 경우, 서버로 복귀되는 커맨드 내에 배치되도록 데이터를 수집하는 과정을 예시하는 순서도이다.FIG. 13 is a flow chart illustrating a process of collecting data to be placed in a command returned to the server when the server root is used.
도 14는 커맨드 루트 노드가 사용되는 경우, 엠펙-4 클라이언트에서 서버 커맨드를 발생시키는 과정을 예시하는 순서도이다.14 is a flowchart illustrating a process of generating a server command in an MPEG-4 client when a command root node is used.
도 15는 커맨드 루트 노드가 사용되는 경우, 서버로 복귀되는 커맨드 내에 배치되도록 데이터를 수집하는 과정을 예시하는 순서도이다.15 is a flow chart illustrating a process of collecting data to be placed within a command returned to the server when a command root node is used.
본 발명의 주요 목적은 엠펙-4 국제 표준을 이용하여, "클라이언트" 및 "서버"와 같은 2개의 실체 사이에 메시지를 통신하는 기술을 제공하기 위한 것이다.It is a primary object of the present invention to provide a technique for communicating messages between two entities, such as "client" and "server," using the MPEG-4 international standard.
본 발명의 제2 목적은 사용자 또는 시스템이 엠펙-4 플레이어 또는 클라이언트의 전후 관계의 메시지를 생성하는 기술을 제공하기 위한 것이다.It is a second object of the present invention to provide a technique for a user or a system to generate messages of the context of an MPEG-4 player or a client.
본 발명의 제3 목적은 VRML 2.0 규정에 기초하는 엠펙-4에서 정해지는 로컬 상호 작용성 모델와 일치하는 메시지를 생성하는 기술을 제공하기 위한 것이다.A third object of the present invention is to provide a technique for generating a message conforming to a local interactivity model defined in MPEG-4 based on the VRML 2.0 specification.
본 발명의 또 다른 목적은 엠펙-4 비트스트림 내의 메시지를 부호화(encoding)하는 기술, 뿐만 아니라 상기 부호화된 메시지를 화면 설명(scene description)과 링크시키는 기술을 제공하기 위한 것이다.Another object of the present invention is to provide a technique for encoding a message in an MPEG-4 bitstream, as well as a technique for linking the encoded message with a scene description.
이하 추가로 개시되는 설명을 참조하여 명백해질 이들 목적 및 기타 목적을 달성하도록, 본 발명은 서버 커맨드를 엠펙-4 클라언트와 결합하는 기술을 널리 제공한다. 상기 기술은 커맨드 설명자, 즉 화면 설명 정보와 함께 전송되며, 연관된 이벤트의 개시 시에 서버로 복귀되는 커맨드를 보유하는 특별한 형식의 설명자를 사용하는 것을 포함한다. 상기 화면 설명 내의 원하는 이벤트 소스는 이들 커맨드 설명자와 연관된다.In order to achieve these and other objects, which will become apparent with reference to the additionally disclosed description below, the present invention provides a wide range of techniques for combining server commands with MPEG-4 clients. The technique involves using a special type of descriptor that is sent with a command descriptor, i.e., screen description information, that holds the command returned to the server at the start of the associated event. The desired event source in the screen description is associated with these command descriptors.
일 실시예에서, 상기 연관은 서버 루트를 사용하여 수행된다. 이들은 통상적인 엠펙-4 BIFS 루트와 유사하게 동작하지만, 소스 필드(source field)를 싱크 필드(sink field)와 링크시키는 대신에 소스 필드를 싱크 커맨드 설명자와 링크시킨다. 서버 루트는 확장된 엠펙-4 BIFS ROUTE 구문을 요구한다.In one embodiment, the association is performed using a server root. They work similar to a typical MPEG-4 BIFS root, but link the source field with the sink command descriptor instead of linking the source field with the sink field. The server root requires an expanded MPEG-4 BIFS ROUTE statement.
다른 실시예에서, 상기 연관은 커맨드 노드를 사용하야 수행된다. 이들 노드는 싱크 필드를 보유하며, 커맨드 설명자와 연관된다. 이 기술은 엠펙-4 BIFS 노드의 집합에 하나 이상의 노드 형식의 추가를 포함한다.In another embodiment, the association is performed using a command node. These nodes hold sink fields and are associated with command descriptors. This technique involves the addition of one or more node types to a set of MPEG-4 BIFS nodes.
모든 경우에, 엠펙-4에 의해 정해지는 정상적인 상호 작용 모델은 로컬 상호 작용성, 즉 로컬 클라이언트 상에서 생성되고 처리되는 이벤트, 뿐만 아니라 서버 상호 작용성, 즉 클라이언트 상에서 생성된 이벤트가 서버로 복귀되는 커맨드를 생성하는 모든 경우에 사용될 수 있다. 커맨드 노드로의 서버 루트 또는 정규 루트를 통해, 커맨드 설명자와 연관된 이벤트를 개시하는 경우, 클라이언트는 커맨드 설명자에 저장된 커맨드 정보를 획득하며, 이 커맨드 정보를 커맨드 메시지로 묶고(바람직한 실시예에서 제공되는 구문(syntax)을 사용하는 것이 바람직함), 적합한 복귀 채널을 사용하여 이 커맨드 메시지를 서버로 전송한다.In all cases, the normal interaction model defined by MPEG-4 is that local interactivity, i.e. events generated and processed on the local client, as well as server interactivity, i.e. events generated on the client, are returned to the server. Can be used in all cases that produce. When initiating an event associated with a command descriptor via a server root or regular route to a command node, the client obtains the command information stored in the command descriptor, binds the command information into a command message (syntax provided in the preferred embodiment). (preferably using syntax), and send this command message to the server using the appropriate return channel.
상기 서버로 복귀되는 상기 생성된 커맨드에 의해 운반되는 데이터는 상기 커맨드 설명자 내에 포함된다. 커맨드 설명자가 엠펙-4의 전체 설명자 체제의 일부이기 때문에, 이들은 시간이 표시된(stamped) 객체 설명자 갱신을 사용하여 동적으로 갱신될 수 있다. 이것은 예를 들어 "쿠키(cookies)" 관리를 수행하기 위해서, 커스텀화된 커맨드 내에 상당한 유연성을 제공한다.Data carried by the generated command returned to the server is included in the command descriptor. Since the command descriptors are part of the full descriptor framework of MPEG-4, they can be dynamically updated using a timed object descriptor update. This provides a great deal of flexibility in the customized commands, for example to perform "cookies" management.
상기 생성된 커맨드를 처리하는 서버를 더욱 보조하기 위해, 상기 이벤트가 생성된 시간, 소스 노드 등과 같은 추가 정보가 상기 클라이언트의 메시지 내에 또한 구비된다.In order to further assist the server processing the generated command, additional information is also provided in the client's message, such as when the event was generated, source node, and the like.
이하 본 발명의 바람직한 실시예가 도면을 참조하여 상세히 설명된다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
엠펙-4는 국제 표준화 기구(ISO)의 후원 하에 개발된 국제 표준이다. 그 공식 명칭은 ISO/IEC 14476이다. 이전의 엠펙-1, 엠펙-2, H.261, 또는 H.263과 같은ISO 또는 ITU 표준과의 기본적인 차이는 시청각 객체의 표시(presentation)를 다루는 것에 있다. 따라서, 시청각 화면을 포함하는 상이한 구성요소들이 상기 규정의 파트 2(비디오) 및 파트 3(오디오) 내에 정해져 있는 기술을 사용하여 먼저 개별적으로 부호화된다. 이들 객체는 수신기로 전송되거나 또는 이들 객체가 사용자에게 전해질 수 있도록 공간적 및 시간적으로 배치되는 방법을 설명하는 화면 설명 정보와 함께 대규모 저장 장치로부터 판독된다.MPEG-4 is an international standard developed under the auspices of the International Organization for Standardization (ISO). Its official name is ISO / IEC 14476. The fundamental difference from previous ISO or ITU standards such as MPEG-1, MPEG-2, H.261, or H.263 is in dealing with the presentation of audiovisual objects. Thus, different components, including the audiovisual picture, are first encoded separately using the techniques defined in part 2 (video) and part 3 (audio) of the above provision. These objects are sent to the receiver or read from the mass storage device with screen description information describing how these objects are placed spatially and temporally so that they can be communicated to the user.
화면 설명 정보뿐만 아니라 시청각 객체 각각에 대한 부호화된 데이터(encode data)가 자신 소유의 "채널" 또는 기본 스트림 내에 전송된다. 추가 제어 정보 또한 이하 기술되는 바와 같이 자신의 부호화 데이터를 보유하는 기본 스트림과 화면 내에 참조되는 시청각 객체를 상기 수신기가 정확하게 연관시킬 수 있도록 전송된다.In addition to the screen description information, encoded data for each audiovisual object is transmitted in its own "channel" or elementary stream. Additional control information is also transmitted so that the receiver can correctly associate the audio stream object referenced in the picture with the elementary stream holding its encoded data as described below.
엠펙-4의 구조를 충분하게 설명하기 위해, 도 1을 참조한다. 도 1의 하부에는, 통신 링크 또는 대규모 저장 장치에 걸쳐 ATM, IP, 엠펙-2 전송 스트림(TS), DVB를 포함하지만 이에 국한되지 않는 여러 가능한 전달 시스템이 도시되어 있다. 엠펙-2에 비해, 엠펙-4는 보다 다양한 통신 환경에 대해 전달될 수 있도록 자신 소유의 전송층(transport layer) 설비를 한정하지 않는다. 요구하는 적합한 다중화 능력, 예를 들어, GSM 무선 데이터 채널, 또는 저지연(low delay)이 부족할 수 있는 전달 시스템에 대해, FlexMux로 불리는 간단한 다중화 툴(tool)이 정해져 있다.In order to fully describe the structure of MPEG-4, reference is made to FIG. 1. In the lower part of FIG. 1, several possible delivery systems are shown, including but not limited to ATM, IP, MPEG-2 Transport Stream (TS), DVB, over a communications link or mass storage. Compared to MPEG-2, MPEG-4 does not define its own transport layer facility to be able to be delivered for more diverse communication environments. A simple multiplexing tool called FlexMux is defined for a delivery system that may lack the appropriate multiplexing capabilities required, eg, GSM wireless data channels, or low delay.
이들 하부구조(infrastructure)는 기본 스트림 집합을 클라이언트에 전달하는데 사용된다. 상기 스트림은 화면 설명 정보, 시청각 객체 데이터(예를 들면, 엠펙-2 또는 엠펙-4 비디오 스트림과 같이 부호화된 비디오), 또는 제어 정보(즉, 객체 설명자) 중 어느 하나를 보유한다. 기본 스트림 각각은 단지 한가지 형식의 데이터만을 보유할 수 있다.These infrastructures are used to deliver a set of elementary streams to the client. The stream holds either screen description information, audiovisual object data (e.g., video encoded as an MPEG-2 or MPEG-4 video stream), or control information (i.e., an object descriptor). Each elementary stream can only hold one type of data.
기본 스트림 내에 보유된 데이터는 엠펙-4 동기층(Sync Layer; SL)에 따라 패키징(package)되는데, 하부의 매체(예를 들면, 비디오 또는 오디오 프레임, 또는 화면 설명 커맨드)의 액세스 유닛을 패키징하고 타이밍 정보(클록 기준값 및 시간 표시), 일련 번호 등을 추가한다. 상기 SL은 도 1의 중간 부분에 도시되어 있다.The data retained in the elementary stream is packaged according to the MPEG-4 Sync Layer (SL), which packages the access unit of the underlying medium (e.g., video or audio frame, or picture description command). Add timing information (clock reference value and time display), serial number, and so on. The SL is shown in the middle of FIG. 1.
개별 시청각 객체 데이터의 부호화는 엠펙-4 규정의 파트 2 및 파트 3에 따라 수행된다. 엠펙-1 또는 엠펙-2와 같은 다른 부호화가 추가로 사용될 수 있다. 제어 정보(객체 설명자)뿐만 아니라 화면 설명이 엠펙-4의 파트 1에 정해진 바와 같이 부호화된다.The encoding of the individual audiovisual object data is performed according to parts 2 and 3 of the MPEG-4 specification. Other encodings such as MPEG-1 or MPEG-2 may be used in addition. The screen description as well as the control information (object descriptor) are encoded as specified in part 1 of MPEG-4.
수신기는 해독된(decoded) 시청각 객체 데이터뿐만 아니라 상기 화면 설명 정보를 처리하고 합성(composition), 즉, 객체를 단일 유닛으로 함께 결합하는 처리, 및 렌더링(rendering), 즉, 사용자 모니터에 결과를 표시하거나 또는 오디오의 경우에 사용자 스피커에서 상기 결과를 재생하는 처리를 수행한다. 이것은 도 1의 상부에 도시되어 있다.The receiver processes and composes the screen description information as well as the decoded audiovisual object data, i.e. the process of combining the objects together into a single unit, and the rendering, i.e. displays the result on the user monitor. Or in the case of audio, the process of reproducing the result in the user speaker. This is shown at the top of FIG. 1.
화면 설명 내에 보유되는 정보에 따라, 사용자는 상기 화면과 상호 작용할 기회를 가질 수 있다. 또한, 화면 설명은 동적 활동을 가능하게 하는 정보를 보유할 수 있다. 달리 말하면, 화면 자신은 사용자의 개입 없이 이벤트를 생성할 수 있다. dispatchDepending on the information held in the screen description, the user may have the opportunity to interact with the screen. In addition, the screen description may carry information that enables dynamic activity. In other words, the screen itself can generate events without user intervention. dispatch
엠펙-4의 객체-기반 구조는 엠펙-2 또는 기타 시스템과 비교되는 보다 일반적인 시스템 디코더 모델이 정해질 필요가 있었다. 특히, 도 2에 도시된 바와 같이, 수신기는 각각의 객체당 하나씩 디코더의 집합이 마련되는 것으로 간주된다. 각각의 디코더는 합성 버퍼뿐만 아니라 디코딩 버퍼를 갖는다. 디코딩 버퍼는 엠펙-2와 유사한 기술을 사용하여, 즉 클록 복구용 클록 기준값, 및 이론적으로 즉시 해독되는 디코딩 버퍼로부터 데이터를 분리하기 위한 디코딩 시간 형식을 사용하여 전송자에 의해 관리된다. 합성 버퍼 내에 배치되는 데이터는 합성자에 의해 사용될 수 있고, 임의의 이전에 배치된 데이터와 중첩된다. 디코딩 버퍼는 DMF(Digital Media Integration Framework, 엠펙-4 파트 6) 애플리케이션 인터페이스 내에 요약되어 있는 디멀티플렉서(demultiplexer)로 채워진다. 상기 인터페이스는 본 명세서에서 추가 설명이 필요없는 개념적인 인터페이스이다.The object-based structure of MPEG-4 required a more general system decoder model to be compared to MPEG-2 or other systems. In particular, as shown in FIG. 2, the receiver is considered to be provided with a set of decoders, one for each object. Each decoder has a decoding buffer as well as a synthesis buffer. The decoding buffer is managed by the sender using a technique similar to MPEG-2, i.e., using a clock reference value for clock recovery, and a decoding time format for separating data from the decoding buffer which is theoretically immediately decoded. The data placed in the synthesis buffer can be used by the synthesizer and overlaps any previously placed data. The decoding buffer is filled with a demultiplexer that is summarized within the Digital Media Integration Framework (EMF-4 Part 6) application interface. The interface is a conceptual interface that requires no further explanation herein.
엠펙-4 화면 설명MPEG-4 Screen Description
엠펙-4 내의 화면 설명 정보는 확장된 VRML 2.0(Virtual Reality Modeling Language) 규정에 있다. VRML은 화면을 정하기 위해 트리 구조 방식(tree structured approach)을 사용한다. 화면 내의 각각의 노드는 실제 시각 또는 청각 정보를 보유하는 리프들(leaves)로 합성 및/또는 그룹화 동작을 수행한다. 또한, 노드는 그 활동에 영향을 주는 필드를 보유한다. 예를 들면, 전송 노드(Transform node)는 회전 각도를 정하기 위해 회전 필드(Rotation field)를 보유한다.Screen description information in MPEG-4 is in the extended Virtual Reality Modeling Language (VRML 2.0) specification. VRML uses a tree structured approach to screen selection. Each node in the picture performs a synthesis and / or grouping operation with leaves that hold actual visual or auditory information. In addition, the node holds fields that affect its activity. For example, a transform node holds a rotation field to determine the angle of rotation.
VRML이 순수한 3차원 화면 설명 언어이므로 엠펙-4는 2차원 합성을 다루는 일부 추가 노드를 한정한다. 이것은 저가의 시스템에 초점을 둔 애플리케이션의 요구를 처리한다. VRML에 비해, 엠펙-4는 텍스트 기반의 화면 설명을 사용하지 않지만, BIFS(화면용 이진 형식)로 불리는 효율적으로 대역폭이 압축된 표시를 대신 정한다.Because VRML is a pure three-dimensional picture description language, MPEG-4 defines some additional nodes that deal with two-dimensional compositing. This addresses the needs of applications focused on low cost systems. Compared to VRML, MPEG-4 does not use text-based screen descriptions, but instead defines an efficient, bandwidth-compressed representation called BIFS (binary format for screens).
상기 BIFS 부호화는 VRML 화면의 텍스트 규정을 밀접하게 뒤따른다. 특히, 노드 부호화는 텍스트 기반의 VRML 파일과 유사하게 깊이-우선 방식(depth-first fashion)으로 수행된다. VRML에서와 같이, 노드의 각각의 형식의 필드는 디폴트 값을 가정한다. 따라서 디폴트 값을 갖지 않는 필드에서만 각각의 노드 내에 규정될 필요가 있다. 노드 내의 필드 부호화는 부호화된 필드 값이 뒤따르는 간단한 인덱스-기반 방식(index-based method)을 사용하여 수행된다. 노드 형식의 코딩은 보다 복잡하다. 대역폭 효율을 더욱 증가시키기 위해, (만일 있는 경우) 부모 필드(parent field) 전후 관계가 고려된다. 자식 노드를 허용하는 각각의 필드는 특정한 노드 데이터 형식과 연관된다. 이후 노드는 잘 알려진 방식으로 이러한 노드 데이터 형식에 특정되는 인덱스를 사용하여 부호화된다.The BIFS encoding closely follows the text specification of the VRML screen. In particular, node coding is performed in a depth-first fashion similar to text-based VRML files. As in VRML, the fields of each type of node assume default values. Therefore, only those fields that do not have a default value need to be defined within each node. Field coding in a node is performed using a simple index-based method followed by coded field values. Node-type coding is more complicated. In order to further increase the bandwidth efficiency, the parent field back and forth relationship (if any) is considered. Each field that accepts child nodes is associated with a specific node data type. The nodes are then coded using indices specific to these node data types in a well known manner.
부호화된 노드 각각은 또한 노드 식별자(통상적으로 정수)가 할당될 수 있다. 이 노드 식별자의 할당은 화면 내의 다른 위치에서 해당 노드를 재사용할 수 있게 한다. 이것은 VRML의 USE/DEF 메커니즘과 동일하다. 하지만, 이것은 상호 작용 처리에 참여하도록 하는 점이 더욱 중요한 사실이다.Each encoded node may also be assigned a node identifier (typically an integer). The assignment of this node identifier allows the node to be reused elsewhere in the screen. This is the same as VRML's USE / DEF mechanism. However, it is even more important that it participates in the interaction process.
엠펙-4에서 사용되는 상호 작용 모델은 VRML에서와 동일하다. 특히, 노드의 필드는 이벤트 소스, 이벤트 싱크, 또는 양자 모두처럼 작용할 수 있다. 이벤트 소스는 특정한 사용자 동작 또는 시스템 이벤트와 연관된다. 사용자 이벤트의 예는 마우스가 클릭되는 경우 검출될 수 있는 센서 노드가 있다. 시스템 이벤트의 예로는 시스템의 시간에 따라 개시되는 타이머(TimeSensor 노드)가 있다.The interaction model used in MPEG-4 is the same as in VRML. In particular, the field of nodes may act like an event source, an event sink, or both. Event sources are associated with specific user actions or system events. An example of a user event is a sensor node that can be detected when the mouse is clicked. An example of a system event is a timer (TimeSensor node) that is started according to the time of the system.
동적 화면 활동 및 상호 작용성은 이벤트 소스 필드를 이벤트 싱크 필드에 링크시킴으로써 유효화된다. 실제 링크는 ROUTE의 메커니즘을 사용하여 수행된다. 엠펙-4 루트 메커니즘은, 만일 있는 경우, 화면 노드 설명 바로 다음에 주어진다. 그 부호화는 소스 및 싱크 필드의 필드 인덱스뿐만 아니라 소스 및 싱크 노드용 노드 식별자에 기초한다.Dynamic screen activity and interactivity is validated by linking the event source field to the event sink field. The actual link is done using the mechanism of ROUTE. The MPEG-4 root mechanism, if any, is given immediately after the screen node description. The encoding is based on the field identifiers of the source and sink fields as well as the node identifiers for the source and sink nodes.
VRML 및 엠펙-4 간의 중요한 차이점은 후반부에서 화면 설명이 시간-표시된 커맨드를 동적으로 사용함으로써 갱신될 수 있다는 점이다. 대조적으로, VRML은 정적인 "세계(world)" 상에서 동작한다. 세계가 로드된 후, 이것을 변경하는 메커니즘은 없다. 엠펙-4에서, 객체는 추가되거나 삭제되고, 화면의 일부(또는 전체 화면)는 대체될 수 있다.An important difference between VRML and MPEG-4 is that later in the description the screen description can be updated by dynamically using time-displayed commands. In contrast, VRML operates on a static "world." After the world is loaded, there is no mechanism to change it. In MPEG-4, objects may be added or deleted, and part (or entire screen) of the screen may be replaced.
객체 설명자Object descriptor
매우 유연한 구조(용이한 편집 등)를 갖도록, 시청각 객체의 실제 콘텐츠는 화면 설명 자신에 보유되지 않는다. 달리 말하면, BIFS는 단지 통합되는 객체, 예를 들면, BIFS/VRML 노드를 사용하여 구성되는 적색 사각형뿐만 아니라, 화면 구조용 정보를 제공한다. 부호화된 정보를 필요로 하는 시청각 객체는 URL 또는 객체 설명자를 지시하는 리프 노드(leaf node)에 의해 화면에 표시된다.To have a very flexible structure (easy editing, etc.), the actual content of the audiovisual object is not held in the screen description itself. In other words, BIFS only provides information for the screen structure, as well as the red rectangle constructed using the objects to be integrated, for example BIFS / VRML nodes. Audiovisual objects that require encoded information are displayed on the screen by leaf nodes that point to URLs or object descriptors.
객체 설명자는 단일 시청각 객체의 부호화된 표시를 포함하는 기본 스트림을 설명하는 계층적으로 구성된 정보이다. 하나 이상의 스트림이 예를 들어, 스테레오 또는 다중-언어 설명자, 또는 계층적으로 부호화된 비디오용으로 요구될 수 있다. 최상부 설명자는 객체 설명자로 불리며, 객체 설명자 식별자(OD-ID)를 기본 스트림 설명자 집합과 연관시키는데 사용되는 쉘(shell)이다. 기본 스트림 설명자 집합은 특정 ES-ID와 연관되는 기본 스트림 내에 보유되는 데이터 형식에 관한 정보뿐만 아니라 ES-ID를 보유한다. 이 정보는 예를 들어 스트림이 엠펙-2 비디오 데이터를 보유하는 것을 수신기에 알려 주며, 주 레벨에서 메일 프로파일(mail profile)이 뒤따른다.The object descriptor is hierarchically organized information describing an elementary stream containing an encoded representation of a single audiovisual object. One or more streams may be required, for example, for stereo or multi-language descriptors, or hierarchically coded video. The top descriptor is called an object descriptor and is a shell used to associate an object descriptor identifier (OD-ID) with an elementary stream descriptor set. The elementary stream descriptor set holds the ES-ID as well as information about the data format held in the elementary stream associated with a particular ES-ID. This information tells the receiver, for example, that the stream holds MPEG-2 video data, followed by a mail profile at the main level.
상기 ES-ID를 실제 기본 스트림으로 사상(mapping)시키는 것은 스트림 맵 테이블을 사용하여 수행된다. 예를 들면, ES-ID 10을 지원 번호 1025와 연관시킬 수 있다. 이 테이블은 셋업 작업 동안에 수신기에서 이용될 수 있다. 다중의 간접 레벨을 사용하여 엠펙-4 콘텐츠의 조작이 용이해진다. 예를 들면, 재다중화(remultiplexing)가 단지 상이한 스트림 맵 테이블을 요구할 수 있다. 다른 정보는 엠펙-4 콘텐츠 내에서 변경되지 않는다.Mapping the ES-ID into the actual elementary stream is performed using a stream map table. For example, ES-ID 10 may be associated with support number 1025. This table can be used at the receiver during setup work. Using multiple indirect levels facilitates manipulation of MPEG-4 content. For example, remultiplexing may only require different stream map tables. No other information is changed within the MPEG-4 content.
도 3은 객체 설명자 및 기본 스트림 설명자가 화면 설명 내의 시청각 객체를 그 기본 스트림과 연관시키는데 사용되는 과정을 도시하고 있다. 먼저, 특정한 초기 객체 설명자는 선택된 콘텐츠와 연관되는 객체 설명자 스트림과 화면 설명자 스트림을 나타냄으로써 엠펙-4 수신기를 부트스트랩(bootstrap)시키는데 사용된다. 이러한 설명자는 셋업 작업 동안 상기 수신기에 전달된다.3 illustrates a process by which an object descriptor and an elementary stream descriptor are used to associate an audiovisual object in a screen description with its elementary stream. First, a particular initial object descriptor is used to bootstrap the MPEG-4 receiver by indicating the object descriptor stream and the screen descriptor stream associated with the selected content. This descriptor is communicated to the receiver during setup.
이 예의 화면 설명은 오디오 소스 노드를 보유하며, 객체 설명자 중 하나를 나타낸다. 상기 설명자는 상기 ES-ID에 상기 연관된 스트림을 제공하는 기본 스트림 설명자를 보유한다. 상기 화면은 이 경우에 2개의 스트림을 갖는 축적이 가능한 비디오를 사용하는 Movie Texture 노드를 또한 구비한다. 결국, 2개의 기본 스트림 설명자가 보유되며, 각각 적합한 스트림(베이스 및 강화 층)을 지시한다.The screen description in this example holds an audio source node and represents one of the object descriptors. The descriptor holds an elementary stream descriptor that provides the associated stream to the ES-ID. The screen also has a Movie Texture node that uses video that can be accumulated with two streams in this case. As a result, two elementary stream descriptors are retained, each pointing to a suitable stream (base and enhancement layer).
엠펙-4 클라이언트/서버 상호 작용MPEG-4 Client / Server Interaction
전술한 설명으로부터, 엠펙-4/VRML 화면 설명 구조를 고려하면, 로컬 상호 작용 구조가 충분히 제공되는 한 서버-기반 상호 작용에 영향을 미치는데 편의가 없다는 점은 분명하다. 특히, 서버로 복귀되는 메시지를 설명하거나 또는 이러한 메시지 생성을 개시하는 메커니즘은 없다.From the foregoing description, it is clear that considering the MPEG-4 / VRML screen description structure, there is no convenience in affecting server-based interactions as long as the local interaction structure is sufficiently provided. In particular, there is no mechanism to describe the messages returned to the server or to initiate such message generation.
도 4는 클라이언트/서버 환경의 일례를 도시하고 있다. 도면의 좌측에 엠펙-4 서버가 있는데, SL-패키징된 스트림으로 판독되는 데이터의 시간 내 전송을 포함하는 펌프(pump), 및 이 경우에, 엠펙-4 FlexMux 다중화 툴을 사용하는 DMIF 서비스 제공자의 실례를 포함한다.4 illustrates an example of a client / server environment. On the left side of the figure is an MPEG-4 server, which includes a pump containing an in-time transfer of data read into an SL-packed stream, and in this case, a DMIF service provider using the MPEG-4 FlexMux multiplexing tool. Include an example.
FlexMux를 사용하는 것은 선택 사양이다. 종래 기술로 알려진 다른 서버 구조가 사용될 수 있다. 예를 들면, 데이터 소스는 SL-패키징된 스트림 대신에 엠펙-4 파일일 수 있다.Using FlexMux is optional. Other server structures known in the art may be used. For example, the data source may be an MPEG-4 file instead of an SL-packaged stream.
서버에서 생성되는 정보는 네트워크(예를 들어, IP 또는 ATM)를 거쳐 수신기로 전송된다. 수신기 측에서, 디멀티플렉스된 기본 스트림을 플레이어에게 전달하는 DMIF 서비스 제공자와 유사한 실례를 갖는다. DMIF-to-DMIF 신호화는 셋업 작업을 수행하는 한가지 방법이며, 엠펙-4의 파트 6에 설명되어 있다. 종래 기술로 알려진 바와 같이 SIP, SDP, RTSP 등과 같은 인터넷-기반의 프로토콜을 포함하는 다른 방법도 가능하다.The information generated by the server is transmitted to the receiver via a network (eg IP or ATM). At the receiver side, there is an example similar to a DMIF service provider delivering a demultiplexed elementary stream to a player. DMIF-to-DMIF signaling is one way of performing the setup work and is described in part 6 of MPEG-4. Other methods are possible, including Internet-based protocols such as SIP, SDP, RTSP, etc., as known in the art.
본 발명의 주요 목적 중 하나는 서버 커맨드가 먼저 설명되고 서버로부터 클라이언트로 전송되며, 이후 적합한 시간에 클라이언트에서 개시되며, 결국 추가 동작을 하도록 서버로 복귀되는 과정을 제공하는 것이다.One of the main objectives of the present invention is to provide a process wherein a server command is first described and sent from the server to the client, then initiated at the client at the appropriate time and eventually returned to the server for further operation.
커맨드 설명자Command descriptor
커맨드 설명자 구조는 커맨드를 화면 그래프의 노드 내의 이벤트 소스와 연관시키는 수단을 제공한다. 사용자가 화면과 상호 작용하는 경우, 연관된 이벤트가 개시되고 커맨드는 연속적으로 처리되어 서버로 복귀된다.The command descriptor structure provides a means of associating a command with an event source in a node of the screen graph. When the user interacts with the screen, the associated event is triggered and the command is processed continuously and returned to the server.
실제 상호 작용 자체는 콘텐츠 생성자에 의해 규정되고 마우스 클릭 또는 마우스-겹침 또는 상호 작용의 일부 다른 형태(예를 들면, 시스템 이벤트)일 수 있다.The actual interaction itself is defined by the content creator and may be mouse clicks or mouse-overlaps or some other form of interaction (eg, system event).
커맨드 설명자 구조는 커맨드 설명자, 서버 루트 또는 커맨드 루트 노드, 및 커맨드인 3가지 구성요소로 이루어진다.The command descriptor structure consists of three components: a command descriptor, a server root or command root node, and a command.
커맨드 설명자는 연관된 이벤트가 개시되는 경우 결국 서버로 복귀되는 실제 커맨드뿐만 아니라 식별번호(정수 식별자)를 포함한다.The command descriptor contains an identification number (an integer identifier) as well as the actual command that eventually returns to the server when the associated event is initiated.
상기 식별번호는 화면 설명 정보로부터의 이러한 커맨드 설명자를 참조하는데 사용된다. 보유된 커맨드 설명자와 커맨드를 화면 자신과 분리함으로써, 동일한 커맨드를 사용하도록 하나 이상의 이벤트를 허용한다. 이것은 어떤 식으로든지 화면 설명을 변경함이 없이 커맨드의 변형을 허용한다.The identification number is used to refer to this command descriptor from the screen description information. By separating the held command descriptor and command from the screen itself, one or more events are allowed to use the same command. This allows you to modify the command without changing the screen description in any way.
이벤트 소스 필드 노드에 커맨드 설명자를 연관시키는 것은 상이한 방식으로 수행될 수 있다.Associating a command descriptor with an event source field node can be performed in different ways.
먼저, 서버 루트는 BIFS의 정상적인 루트 설비에 추가될 수 있다. 종래의 루트와의 차이점은 상기 루트의 대상이 다른 필드가 아니라 커맨드 설명자라는 점이다. 이 구조는 도 5a에 도시되어 있다. 이러한 예에서, 2개의 커맨드 설명자로의 화면 트리 필드 이벤트 내에 2개의 노드를 갖는다. 화면 노드는 이벤트 소스, 이벤트-출력, 또는 이벤트 소스/싱크, 엠펙-4 영역 내의 노출된 필드를 갖는 다른 노드로의 이벤트를 개시하며, 커맨드 설명자 1까지 서버 루트를 통해 차례로 배분된다. 커맨드 설명자 2에 대해, 노드로부터 설명자까지 서버 루트가 향한다.First, server roots can be added to the normal root installation of BIFS. The difference from the conventional route is that the object of the route is a command descriptor rather than another field. This structure is shown in FIG. 5A. In this example, we have two nodes in the screen tree field event with two command descriptors. The screen node initiates an event to an event source, event-output, or event node / sink, another node with exposed fields in the MPEG-4 area, and is distributed in turn through the server root to command descriptor 1. For command descriptor 2, the server root is directed from the node to the descriptor.
제2 방법은 엠펙-4에 의해 지원되는 노드 목록에 신규 커맨드 루트 노드 형식을 추가하는 것을 포함한다. 이 노드는 커맨드 설명자 식별번호를 보유하는 필드뿐만 아니라 "실행" 이벤트 싱크 필드를 구비한다. 정규 엠펙-4/VRML 루트를 사용하여 "실행" 필드가 이벤트를 수신할 때마다, 해당 식별번호와 연관된 커맨드 설명자는 서버로 복귀되는 커맨드를 발행하는데 사용된다. 이 구조는 도 5b에 도시되어 있다. 도 5a와 비교하면, 서버 루트는 커맨드 루트 노드로 대체된다. 상기 2가지 경우의 동작은 본질적으로 동일하다.The second method involves adding a new command root node type to the list of nodes supported by MPEG-4. This node has a "execute" event sink field as well as a field holding the command descriptor identification number. Whenever the "Execute" field receives an event using a regular MPEG-4 / VRML route, the command descriptor associated with that identification number is used to issue a command to return to the server. This structure is shown in Figure 5b. In comparison with FIG. 5A, the server root is replaced with a command root node. The operations in both cases are essentially the same.
커맨드 설명자 구문은 도 6에 도시되어 있다. 비트 스트림으로 설명되도록 Flavor 매체 표시 언어를 사용하는데, 엠펙-4 규정의 파트 1(www.ee.columbia. edu/flavor 또는 엠펙-4의 파트 1 참조)에 또한 사용된다. 커맨드 설명자는 이러한 특정 형식의 설명자로 자신을 식별하는 특정 태그(tag)로 시작한다. 이후 설명자 식별번호를 구비하며, 커맨드 식별번호가 뒤따른다. 커맨드 식별번호는 "시작". "일시 중지", 또는 "중지"와 같은 기설정된 서버 커맨드를 신호화하는데 사용된다. 다음에, 바이트 단위로 계수되는 설명자 내의 잔여 데이터의 길이 지시를 포함한다. 이후, 메시지를 전송하도록 제공되는 ES_ID의 번호의 계수가 서버로 복귀된다. 일대다 통신, 즉, 다중 서버로 통신될 단일 커맨드에 영향을 주기 원하는 경우 1 이상의 값이 주어진다. 이 다음에 일련의 소정 ES_ID가 뒤따른다. 마지막으로, 애플리케이션-특정 파라미터의 집합이 포함된다. 이들은 커맨드가 개시되는 경우 서버로 복귀된다. 커맨드 식별번호의 값에 따라, 이들 파라미터의 의미가 미리 정해질 수 있다.The command descriptor syntax is shown in FIG. Flavor media representation language is used to be described as a bit stream, which is also used in part 1 of the MPEG-4 specification (see www.ee.columbia.edu/flavor or part 1 of MPEG-4). The command descriptor begins with a specific tag that identifies itself with this particular form of descriptor. It then has a descriptor identification number, followed by a command identification number. The command identification number is "start". It is used to signal a preset server command, such as "pause" or "stop". Next, the length indication of the remaining data in the descriptor counted in bytes is included. Then, the count of the number of ES_IDs provided to send the message is returned to the server. A value of one or more is given if one wants to affect one-to-many communication, ie a single command to be communicated to multiple servers. This is followed by a series of predetermined ES_IDs. Finally, a set of application-specific parameters is included. They return to the server when the command is initiated. Depending on the value of the command identification number, the meaning of these parameters can be predetermined.
커맨드 설명자의 바이트-지향의 구조가 서버에 접촉식으로 용이하게 생성될 수 있다. 이것은 "쿠키" 관리를 포함하는 애플리케이션의 중요한 특성이며, 그 중에서도 특히 커맨드 파라미터가 각각의 사용자 이벤트 처리 이후 서버에 의해 연속적으로 갱신될 필요가 있는 경우에 그렇다.The byte-oriented structure of the command descriptor can be easily generated in contact with the server. This is an important characteristic of an application that includes "cookie" management, especially if the command parameters need to be continuously updated by the server after each user event processing.
커맨드 설명자를 갱신하기 위해, 서버 또는 콘텐츠 생성자는 단지 동일한 식별번호를 갖는 신규 커맨드 설명자를 제출할 필요가 있을 뿐이다.To update the command descriptor, the server or content creator only needs to submit a new command descriptor with the same identification number.
커맨드 생성자를 제거하기 위해, 특정 커맨드가 제공된다. 구문이 도 7에 도시되어 있다. 상기 커맨드는 커맨드 설명자 제거 커맨드로서 이 설명자를 식별하는 태그로 시작한다. 이후 제거될 커맨드 설명자의 식별번호가 뒤따른다.In order to remove the command generator, a specific command is provided. The syntax is shown in FIG. The command begins with a tag identifying this descriptor as a command descriptor removal command. This is followed by the identification number of the command descriptor to be removed.
커맨드 설명자 및 커맨드 설명자 제거 구조는 객체 설명자 스트림 내에 운반될 수 있다. 설명자를 식별하도록 태그를 사용하는 객체 설명자 구조 때문에, 이들은 다른 설명자와 산재될 수 있다.The command descriptor and command descriptor removal structure may be carried in an object descriptor stream. Because of the object descriptor structure that uses tags to identify descriptors, they can be interspersed with other descriptors.
전술한 바와 같이, 커맨드 설명자를 화면에 링크시키는 2가지 방법이 있다. 첫 번째 방법이 서버 루트에 달려 있다. 이들은 도 8에 도시된 바와 같이 확장된 엠펙-4의 화면 설명의 비트스트림 구문을 필요로 한다. 특히, 주요 BIFS 화면 구조는 서버 루트 구조를 포함하도록 연장된다. 정상적인 루트 및 서버 루트의 유일한 차이점은 대상 노드/필드 대신에 대상 커맨드 설명자의 식별번호가 규정되는 점이다. 서버 루트를 수용하기 위해 다른 루트 커맨드(삽입, 삭제 등)를 변형하는 방법은 당업자에게 잘 알려져 있다. 모든 경우에, 대상 노드/필드 쌍은 대상 커맨드 설명자를 지시하도록 변경될 필요가 있다.As mentioned above, there are two ways to link the command descriptor to the screen. The first method depends on the server root. These require the bitstream syntax of the screen description of expanded MPEG-4 as shown in FIG. In particular, the main BIFS screen structure is extended to include the server root structure. The only difference between a normal root and a server root is that the identification number of the target command descriptor is defined instead of the target node / field. It is well known to those skilled in the art how to modify other root commands (insert, delete, etc.) to accommodate the server root. In all cases, the target node / field pair needs to be changed to point to the target command descriptor.
커맨드 루트 노드 방식을 사용하여, 신규 노드 형식이 정해질 필요가 있다. 노드 정의가 엠펙-4 규정의 파트 1에 사용되는 표준 노드 정의 테이블을 사용하여 도 9에 제공된다. 상기 노드는 단지 2개의 필드를 포함하는데, 즉, 이벤트 싱크로서 작용하는 '실행' 필드, 및 커맨드 루트 노드와 연관되도록 커맨드 설명자를 나타내는 URL 또는 커맨드 설명자의 식별번호를 보유하는 '커맨드 설명자' 필드를 포함한다. SFUrl 필드로서, 식별번호 및 URL 간의 선택이 1비트 플래그(SFUrl 필드부호화는 엠펙-4의 파트 1에 정해진다.)를 사용하여 수행된다.Using the command root node method, a new node type needs to be determined. Node definitions are provided in FIG. 9 using the standard node definition table used in part 1 of the MPEG-4 specification. The node contains only two fields: the 'execute' field, which acts as an event sink, and the 'command descriptor' field, which holds the URL or command descriptor identifying the command descriptor to be associated with the command root node. Include. As the SFUrl field, selection between the identification number and the URL is performed using a 1-bit flag (SFUrl field encoding is specified in part 1 of MPEG-4).
커맨드 루트 노드 방식을 사용하여, 이벤트의 커맨드 설명자와의 연관으로의 변경은 노드 및 필드를 변경하는 표준 엠펙-4 BIFS 커맨드를 사용하여 수행될 수 있다.Using the command root node approach, the change of the event to association with the command descriptor can be performed using standard MPEG-4 BIFS commands that change nodes and fields.
커맨드 설명자는 커맨드 설명자 내의 커맨드에 따른 상이한 시간에 상이한 상호 작용 활동을 지원하도록 노드에 허용하는 커맨드 설명자 갱신을 사용하여 갱신될 수 있다. 커맨드는 DMIF에 의해 지원되는 DAI 사용자 커맨드 원시(primitive)를 사용하여 서버에 전송된다.The command descriptor may be updated using a command descriptor update that allows the node to support different interaction activities at different times according to the commands in the command descriptor. The command is sent to the server using the DAI user command primitives supported by DMIF.
상기 커맨드를 전송하는데 사용되는 프로토콜을 포함하도록 커맨드 설명자를 연장하는 것도 또한 가능하다. 예를 들면, 상이한 태그는 표준 엠펙-4 설비보다는 HTTP POST/GET을 사용하여 제안을 나타내는데 사용될 수 있다.It is also possible to extend the command descriptor to include the protocol used to send the command. For example, different tags can be used to indicate a proposal using HTTP POST / GET rather than a standard MPEG-4 facility.
커맨드 설명자 구조가 애플리케이션-규정 사용자 상호 작용에 특정되고 지원되지만, 일부 표준 커맨드는 애플리케이션 및 서버에 대해 일치하는 애플리케이션 활동을 지원하도록 요구된다. 이것은 스트림 제어와 같은 공통 커맨드용에 특히 적합하다. 결국, 공통 커맨드 제어의 집합을 규정한다. 표준 커맨드의 집합은 이의의 서버와 상호 동작하게 된다. 도 10은 이 실시예에 대해 커맨드 식별번호와 함께 커맨드 집합을 도시하고 있다. 다른 할당은 당업자에게 명백한 바와 같이 또한 가능하다.Although command descriptor structures are specific and supported for application-specific user interactions, some standard commands are required to support matching application activity for applications and servers. This is particularly suitable for common commands such as stream control. Finally, a set of common command controls is defined. The set of standard commands will interact with its server. Fig. 10 shows a command set with a command identification number for this embodiment. Other assignments are also possible, as will be apparent to those skilled in the art.
도 11은 클라이언트로부터 서버로 전송되는 경우의 커맨드의 구문을 나타내고 있다. 커맨드 설명자의 복사본이 설명자 식별번호를 빼야 하는 것이 필수적이다. 특히, 이것은 커맨드 식별번호, 이 커맨드가 전송되는 ES_ID의 집합, 뿐만 아니라 커맨드 설명자 내에 규정되는 파라미터 집합을 포함한다. 이들 커맨드는 SL-패키징된 스트림으로 전송되며, 따라서 전체 타이밍 및 연속되는 정보는 서버에 이용 가능하다.Fig. 11 shows the syntax of the command when it is sent from the client to the server. It is essential that a copy of the command descriptor be left out of the descriptor identification number. In particular, it includes a command identification number, a set of ES_IDs to which this command is sent, as well as a set of parameters defined within the command descriptor. These commands are sent in an SL-packaged stream, so that full timing and subsequent information is available to the server.
서버 커맨드를 발송하는 이벤트 처리Event handling for sending server commands
이하 서버 루트를 사용하여 시작되는 사용자 또는 시스템 이벤트에 기초하여 커맨드를 생성하는 과정을 상세히 설명한다.Hereinafter, a process of generating a command based on a user or system event started using the server root will be described in detail.
도 12를 참조하면, 사용자 또는 시스템 이벤트의 생성 시에, 수신기는 루트 및 서버 루트의 네트워크를 통해 이벤트를 전파한다. 이벤트 전파를 위해, 루트의 형식은 상관없으며, 동일한 알고리듬이 사용될 수 있다. 이벤트가 서버 루트를 통해 전파되는 경우, 시스템은 이벤트가 논리 참값과 연관되는 조건에 대응하는지 여부를 점검한다. 만일 아니오인 경우, 서버 커맨드 처리가 종료된다; 예인 경우, 이후 발송 과정이 실행된다.Referring to FIG. 12, upon generation of a user or system event, the receiver propagates the event over a network of routes and server routes. For event propagation, the format of the route does not matter and the same algorithm can be used. When an event propagates through the server root, the system checks whether the event corresponds to a condition associated with a logical true value. If no, server command processing ends; If yes, then the sending process is executed.
서버 루트 경우에 대해, 이 처리가 도 13에 도시되어 있다. 상기 처리는 서버 루트로부터 커맨드 설명자 식별번호를 획득한다. 이후, 결합 화면(tie scene) 내에 이용 가능한 커맨드 설명자를 포함하는 정보를 커맨드 설명자 식별번호와 상관시킨다. 부합되지 않는 경우, 이것은 오류이며 더 이상의 작용이 취해지지 않는다. 부합되는 경우, 이후 시스템은 알려진 의미(미리 정해진 커맨드 식별번호)에 대응하는지를 확인하도록 커맨드 식별번호를 조사한다. 알려진 의미에 대응하는 경우, 이후 시스템은 소정의 의미에 따라 커맨드 파라미터를 처리할 수 있다. 알려진 의미에 대응하지 않는 경우, 시스템은 이 상태를 건너뛰고(skip), 지시된 커맨드를 직접 패키징하며, 이것을 서버로 전송한다.For the server root case, this process is shown in FIG. The process obtains a command descriptor identification number from the server root. Then, the information including the command descriptor available in the tie scene is correlated with the command descriptor identification number. If it does not match, this is an error and no further action is taken. If so, the system then checks the command identification number to see if it corresponds to a known meaning (predetermined command identification number). If it corresponds to a known meaning, then the system can process the command parameter according to the predetermined meaning. If it does not correspond to a known meaning, the system skips this state, packages the indicated command directly, and sends it to the server.
도 14를 참조하여, 커맨드 루트 노드의 경우, 사용자 또는 시스템 이벤트의 생성 시에, 수신기는 루트의 네트워크를 통해 이벤트를 전파한다. 이벤트가 커맨드 루트 노드의 '실행' 필드에 도달하는 경우, 시스템은 이벤트가 논리 참값과 연관되는 조건에 대응하는지 여부를 점검한다. 아니오인 경우, 서버 커맨드 처리가 종료된다; 예인 경우, 발송 과정이 실행된다.Referring to FIG. 14, in the case of a command root node, upon generation of a user or system event, the receiver propagates the event through the network of routes. When the event reaches the 'run' field of the command root node, the system checks whether the event corresponds to a condition associated with a logical true value. If no, the server command processing ends; If yes, the dispatch process is executed.
커맨드 루트 노드 경우에 대한 처리가 도 15에 도시되어 있다. 단계의 순서는 도 13의 순서와 본질적으로 동일하며, 차이점은 커맨드 설명자 식별번호에 대한 기준이 이제는 커맨드 서버 루트가 아니라 커맨드 루트 노드 내의 있다는 점이다.Processing for the command root node case is shown in FIG. The order of the steps is essentially the same as the order of FIG. 13, except that the criteria for the command descriptor identification number are now within the command root node, not the command server root.
본 발명에 따르면 엠펙-4 국제 표준을 이용하여, "클라이언트" 및 "서버"와 같은 2개의 실체 사이에 메시지를 통신하는 기술을 제공하고, 또한 사용자 또는 시스템이 엠펙-4 플레이어 또는 클라이언트의 전후 관계의 메시지를 생성하는 기술을 제공할 수 있다.According to the present invention, using the MPEG-4 international standard, it provides a technique for communicating a message between two entities, such as "client" and "server", and also allows the user or system to view the context of the MPEG-4 player or client. It can provide a technique for generating a message.
Claims (14)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7320398P | 1998-01-30 | 1998-01-30 | |
US60/073,203 | 1998-01-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20010040503A true KR20010040503A (en) | 2001-05-15 |
KR100580437B1 KR100580437B1 (en) | 2006-05-15 |
Family
ID=22112365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020007008365A KR100580437B1 (en) | 1998-01-30 | 1999-01-29 | Method and system for client-server interaction in interactive communications |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP1049984A4 (en) |
JP (1) | JP4194240B2 (en) |
KR (1) | KR100580437B1 (en) |
CN (1) | CN100383764C (en) |
AU (1) | AU2487799A (en) |
CA (1) | CA2319820A1 (en) |
WO (1) | WO1999039272A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100950082B1 (en) * | 2007-06-22 | 2010-03-26 | 주식회사 넷앤티비 | Method for Transmitting Compressed Image Using MPEG-4 BIFS Stream |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100636110B1 (en) * | 1999-10-29 | 2006-10-18 | 삼성전자주식회사 | Terminal supporting signaling for MPEG-4 tranceiving |
KR100429838B1 (en) | 2000-03-14 | 2004-05-03 | 삼성전자주식회사 | User request processing method and apparatus using upstream channel in interactive multimedia contents service |
FR2819669B1 (en) * | 2001-01-15 | 2003-04-04 | Get Int | METHOD AND EQUIPMENT FOR MANAGING INTERACTIONS BETWEEN A CONTROL DEVICE AND A MULTIMEDIA APPLICATION USING THE MPEG-4 STANDARD |
FR2819604B3 (en) * | 2001-01-15 | 2003-03-14 | Get Int | METHOD AND EQUIPMENT FOR MANAGING SINGLE OR MULTI-USER MULTIMEDIA INTERACTIONS BETWEEN CONTROL DEVICES AND MULTIMEDIA APPLICATIONS USING THE MPEG-4 STANDARD |
CN100366077C (en) * | 2002-04-26 | 2008-01-30 | 纽约市哥伦比亚大学托管会 | Method and system for optimal video transcoding based on utility function descriptors |
KR100925198B1 (en) * | 2003-03-17 | 2009-11-06 | 엘지전자 주식회사 | Method of exchanging user messages among interactive disk players |
US7958535B2 (en) | 2003-09-25 | 2011-06-07 | Sharp Laboratories Of America, Inc. | URI pointer system and method for the carriage of MPEG-4 data in an MPEG-2 transport stream |
MY147046A (en) | 2006-10-25 | 2012-10-15 | Ericsson Telefon Ab L M | Rich media stream management |
KR20080114496A (en) * | 2007-06-26 | 2008-12-31 | 삼성전자주식회사 | Method and apparatus for composing scene using laser contents |
FR2930662B1 (en) * | 2008-04-23 | 2010-05-21 | Streamezzo | METHOD OF SECURING AN EVOLVING SCENE, DEVICE, SIGNAL AND CORRESPONDING COMPUTER PROGRAM, METHOD OF UPDATING AN EVOLUTIVE SCENE, CORRESPONDING DEVICE AND COMPUTER PROGRAM |
CN102271144A (en) * | 2010-06-01 | 2011-12-07 | 中兴通讯股份有限公司 | P2P (point to point) overlay network, data resource operating method and new node adding method |
CN103905988B (en) * | 2014-04-04 | 2017-12-01 | 北京国交信通科技发展有限公司 | Boat-carrying base station, mobile terminal, the overboard warning system and method for being opened and closed ring mode |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5706290A (en) * | 1994-12-15 | 1998-01-06 | Shaw; Venson | Method and apparatus including system architecture for multimedia communication |
CA2118278C (en) * | 1993-12-21 | 1999-09-07 | J. David Garland | Multimedia system |
WO1996017306A2 (en) * | 1994-11-21 | 1996-06-06 | Oracle Corporation | Media server |
CA2181781C (en) * | 1995-07-26 | 2000-02-29 | Seiji Iwafune | Television system for providing interactive television programs and server system for constructing the television system |
US5671225A (en) * | 1995-09-01 | 1997-09-23 | Digital Equipment Corporation | Distributed interactive multimedia service system |
US5621892A (en) * | 1995-10-10 | 1997-04-15 | Intel Corporation | Method and apparatus for managing alerts and events in a networked computer system |
US5864843A (en) * | 1995-10-20 | 1999-01-26 | Ncr Corporation | Method and apparatus for extending a database management system to operate with diverse object servers |
US5794250A (en) * | 1995-10-20 | 1998-08-11 | Ncr Corporation | Method and apparatus for extending existing database management system for new data types |
US5790124A (en) * | 1995-11-20 | 1998-08-04 | Silicon Graphics, Inc. | System and method for allowing a performer to control and interact with an on-stage display device |
US5784567A (en) * | 1995-12-13 | 1998-07-21 | Silicon Graphics, Inc. | System and method for coordinating communication between layers of a layered communication system |
US5850218A (en) * | 1997-02-19 | 1998-12-15 | Time Warner Entertainment Company L.P. | Inter-active program guide with default selection control |
US5818935A (en) * | 1997-03-10 | 1998-10-06 | Maa; Chia-Yiu | Internet enhanced video system |
US5892915A (en) * | 1997-04-25 | 1999-04-06 | Emc Corporation | System having client sending edit commands to server during transmission of continuous media from one clip in play list for editing the play list |
-
1999
- 1999-01-29 JP JP2000529661A patent/JP4194240B2/en not_active Expired - Lifetime
- 1999-01-29 EP EP99904489A patent/EP1049984A4/en not_active Withdrawn
- 1999-01-29 KR KR1020007008365A patent/KR100580437B1/en not_active IP Right Cessation
- 1999-01-29 WO PCT/US1999/002063 patent/WO1999039272A1/en active IP Right Grant
- 1999-01-29 AU AU24877/99A patent/AU2487799A/en not_active Abandoned
- 1999-01-29 CN CNB998045829A patent/CN100383764C/en not_active Expired - Lifetime
- 1999-01-29 CA CA002319820A patent/CA2319820A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100950082B1 (en) * | 2007-06-22 | 2010-03-26 | 주식회사 넷앤티비 | Method for Transmitting Compressed Image Using MPEG-4 BIFS Stream |
Also Published As
Publication number | Publication date |
---|---|
EP1049984A1 (en) | 2000-11-08 |
KR100580437B1 (en) | 2006-05-15 |
WO1999039272A1 (en) | 1999-08-05 |
JP4194240B2 (en) | 2008-12-10 |
EP1049984A4 (en) | 2003-09-17 |
JP2002502169A (en) | 2002-01-22 |
CN100383764C (en) | 2008-04-23 |
CN1295689A (en) | 2001-05-16 |
AU2487799A (en) | 1999-08-16 |
CA2319820A1 (en) | 1999-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7149770B1 (en) | Method and system for client-server interaction in interactive communications using server routes | |
US20010000962A1 (en) | Terminal for composing and presenting MPEG-4 video programs | |
CN111316652A (en) | Personalized content stream using aligned encoded content segments | |
US7428547B2 (en) | System and method of organizing data to facilitate access and streaming | |
CN110832872B (en) | Processing media data using generic descriptors for file format boxes | |
KR100580437B1 (en) | Method and system for client-server interaction in interactive communications | |
KR20170000312A (en) | Method and apparatus for digital broadcast services | |
JP4391231B2 (en) | Broadcasting multimedia signals to multiple terminals | |
Herpel | Elementary stream management in MPEG-4 | |
KR20030056034A (en) | MPEG-data receiving apparatus, MPEG-data transmitting/receiving system and method thereof | |
CN112188256B (en) | Information processing method, information providing device, electronic device, and storage medium | |
Kalva | Delivering MPEG-4 Based Audio-Visual Services | |
Eleftheriadis | MPEG-4 systems: architecting object-based audio-visual content | |
CN113364728B (en) | Media content receiving method, device, storage medium and computer equipment | |
KR20240107164A (en) | Signaling for picture-in-picture in media container files and streaming manifests | |
JP2000287141A (en) | Electronic program table distribution system | |
Kalva | Object-Based Audio-Visual Services | |
JP2004312713A (en) | Data transmitting apparatus | |
Wang et al. | Implementation of live video transmission in MPEG-4 3D scene | |
Herpel et al. | Olivier Avaro Deutsche Telekom-Berkom GmbH, Darmstadt, Germany Alexandros Eleftheriadis Columbia University, New York, New York | |
Fernando et al. | Java in MPEG-4 (MPEG-J) | |
Ridgway | Open hypermedia and temporal linking with audio streams | |
Darlagiannis | COSMOS: Collaborative system framework based on MPEG-4 objects and streams. | |
De Petris et al. | Gerard Fernando and Viswanathan Swaminathan Sun Microsystems, Menlo Park, California Atul Puri and Robert L. Schmidt AT&T Labs, Red Bank, New Jersey | |
KR20090107984A (en) | SAF Synchronization Layer Packet Structure, Method For Providing the Same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130424 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140424 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20150427 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20160426 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20170426 Year of fee payment: 12 |
|
FPAY | Annual fee payment |
Payment date: 20180426 Year of fee payment: 13 |
|
EXPY | Expiration of term |