KR100717842B1 - Apparatus for Coding/Decoding Interactive Multimedia Contents Using Parametric Scene Description - Google Patents
Apparatus for Coding/Decoding Interactive Multimedia Contents Using Parametric Scene Description Download PDFInfo
- Publication number
- KR100717842B1 KR100717842B1 KR1020040046535A KR20040046535A KR100717842B1 KR 100717842 B1 KR100717842 B1 KR 100717842B1 KR 1020040046535 A KR1020040046535 A KR 1020040046535A KR 20040046535 A KR20040046535 A KR 20040046535A KR 100717842 B1 KR100717842 B1 KR 100717842B1
- Authority
- KR
- South Korea
- Prior art keywords
- scene
- information
- decoding
- description information
- scene description
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
- H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은 파라메트릭(parametric) 장면기술(scene description) 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화 장치 및 복호화 장치에 관한 것임.The present invention relates to an interactive multimedia content encoding apparatus and a decoding apparatus using parametric scene description information.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은 부호화 장치는 객체의 파라메터별로 제어 가능 여부를 우선순위로 표현한 파라메트릭 장면기술 정보를 부호화하여 전송하고, 복호화 장치가 상기 우선순위를 이용하여 제어 허용 범위를 결정하여 장면을 구성하게 함으로써, 사용자가 대화형 멀티미디어 컨텐츠를 재생할 단말기의 계산능력에 따라 적응적으로 장면을 구성하여 재생할 수 있도록 하는 파라메트릭(parametric) 장면기술(scene description) 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화 장치와 복호화 장치를 제공하는데 그 목적이 있음.According to the present invention, the encoding apparatus encodes and transmits parametric scene description information expressing whether or not control is possible for each object parameter as a priority, and causes the decoding apparatus to configure a scene by determining a control allowable range using the priority. Provides an interactive multimedia content encoding apparatus and a decoding apparatus using parametric scene description information that allows a user to adaptively configure and reproduce a scene according to a computing capability of a terminal to play interactive multimedia contents. Its purpose is to.
3. 발명의 해결방법의 요지3. Summary of Solution to Invention
본 발명은, 장면기술(scene description) 정보를 이용한 멀티미디어 컨텐츠 복호화 장치로서, 입력된 비트열을 장면기술 정보 비트열과 객체 비트열로 역다중화하기 위한 역다중화 수단, 상기 장면기술 정보 비트열을 복호화(Decoding)하기 위한 장면정보복호화 수단, 상기 객체 비트열을 복호화하기 위한 다수의 객체복호화 수단 및 상기 복호화한 장면기술 정보와 객체를 이용하여 사용자 제어 신호에 근거하여 장면을 구성하기 위한 장면구성 수단을 포함함.The present invention provides a multimedia content decoding apparatus using scene description information, comprising: demultiplexing means for demultiplexing an input bit stream into a scene description information bit stream and an object bit stream, and decoding the scene description information bit stream ( Scene information decoding means for decoding, a plurality of object decoding means for decoding the object bit stream, and scene composition means for constructing a scene based on a user control signal using the decoded scene description information and an object. box.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은 컨텐츠 복호기 등에 이용됨.The present invention is used for the content decoder.
대화형 멀티미디어 컨텐츠, 객체, 장면기술, 파라메터Interactive multimedia content, objects, scene descriptions and parameters
Description
도 1은 본 발명에 따른 파라메트릭 장면기술 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화 장치의 일실시예 구성도,1 is a configuration diagram of an apparatus for encoding interactive multimedia content using parametric scene description information according to the present invention;
도 2는 본 발명에 따른 파라메트릭 장면기술 정보를 이용한 대화형 멀티미디어 컨텐츠 복호화 장치의 일실시예 구성도,2 is a block diagram of an embodiment of an interactive multimedia content decoding apparatus using parametric scene description information according to the present invention;
도 3은 도 2의 장면구성부에서, 사용자 제어 신호에 상응하는 장면을 구성하는 과정에 대한 일실시예 흐름도이다.3 is a flowchart illustrating an example of a process of configuring a scene corresponding to a user control signal in the scene configuration unit of FIG. 2.
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
12 : 객체 부호부 14 : 장면 부호부12: object coder 14: scene coder
16 : 다중화부 21 : 역다중화부16: multiplexer 21: demultiplexer
22 : 장면 복호부 23 : 객체 복호부22: scene decoder 23: object decoder
24 : 장면구성부24: scene composition
본 발명은 파라메트릭(parametric) 장면기술(scene description) 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화(Encoding) 장치와 복호화(Decoding) 장치에 관한 것이다.The present invention relates to an interactive multimedia content encoding apparatus and a decoding apparatus using parametric scene description information.
보다 상세하게 본 발명은 이동단말(mobile terminal) 등과 같이 계산능력이 제한된 장치에서도 적응적으로 객체지향 대화형 멀티미디어 컨텐츠를 제어하여 재생할 수 있도록, 대화형 멀티미디어 컨텐츠 객체의 속성 정보 및 우선순위 정보를 포함하는 파라메트릭(parametric) 장면기술(scene description) 정보를 이용하여 대화형 멀티미디어 컨텐츠를 부호화하는 장치와 복호화하는 장치에 관한 것이다.More specifically, the present invention includes attribute information and priority information of an interactive multimedia content object, so that even an apparatus with limited computing power, such as a mobile terminal, can adaptively control and play the object-oriented interactive multimedia content. The present invention relates to an apparatus for encoding and decoding an interactive multimedia content using parametric scene description information.
현재, 멀티미디어 컨텐츠 제공과 관련한 기술 분야에서는, 멀티미디어 컨텐츠를 복호화하여 재생하기 위한 단말기가 프로세서의 속도가 빨라지고 메모리 용량이 충분해 짐에 따라, 멀티미디어 컨텐츠를 단말기에서 단순히 플레이시키는 일은 더 이상 문제가 되지 않게 되었다.Currently, in the technical field related to the provision of multimedia contents, as the terminal for decoding and playing the multimedia contents becomes faster and the memory capacity becomes larger, simply playing the multimedia contents on the terminal is no longer a problem. It became.
즉, 멀티미디어 컨텐츠 제공 서비스에 있어서, 종래에 사용자가 자신의 단말기에서 멀티미디어 컨텐츠를 단순히 감상하는 차원의 일방향 멀티미디어 서비스에서, 사용자가 직접 참여 할 수 있는 대화형 멀티미디어 서비스로 발전하고 있는 상황이다.In other words, in the multimedia contents providing service, a one-way multimedia service in which a user simply views the multimedia contents on his or her terminal has been developed into an interactive multimedia service in which the user can directly participate.
여기서, 대화형 멀티미디어 서비스란, TV나 신문처럼 일방적으로 제공되는 서비스가 아니라 사용자의 반응에 따라 제공(재생)되는 내용이나 형식이 변화하는 서비스를 의미하며, 대화형 멀티미디어 컨텐츠란 상기 대화형 멀티미디어 서비스의 제공을 가능하게 하는 컨텐츠를 의미한다.Here, the interactive multimedia service is not a service provided unilaterally, such as a TV or a newspaper, but refers to a service whose content or format is changed according to a user's response. The interactive multimedia content is an interactive multimedia service. Means the content to enable the provision of.
또한, 객체지향 대화형 멀티미디어 컨텐츠란 여러 개의 객체(Object) 단위로 부호화된 멀티미디어 데이터로서, 화면이나 음향의 객체 요소들을 독립적으로 취급하면서 이들을 서로 링크에 의해 결합하여, 사용자가 화면이나 음향을 일정한 제어 범위 내에서 자유롭게 구성하여 재생할 수 있는 기능을 갖는 컨텐츠를 말한다.In addition, object-oriented interactive multimedia content is multimedia data encoded in units of several objects, and the object elements of a screen or sound are handled independently, and they are connected to each other by linking with each other, so that the user can control the screen or sound constantly. Refers to a content having a function that can be freely configured and played within a range.
일반적으로, 대화형 멀티미디어 컨텐츠란 상기 객체지향 대화형 멀티미디어 컨텐츠와 동일한 의미로 사용된다.In general, interactive multimedia content is used in the same sense as the object-oriented interactive multimedia content.
한편, 장면기술 정보란 자연 화상/음향, 합성 화상/음향, 텍스트 등 다종 다양한 AV(Audio Visual) 객체를 통일적으로 취급할 수 있도록 하는 정보로서, 장면기술 정보에 의해 장면을 구성하는 각 객체의 시간적·공간적인 상호 관계나 속성이 기술되며, 파라메트릭 장면기술 정보란 파라메터를 이용하여 상기 상호 관계나 속성을 기술하는 장면기술 정보를 의미한다.On the other hand, the scene description information is information that can uniformly handle a variety of AV (Audio Visual) objects such as natural image / sound, composite image / sound, text, etc., and the time description of each object constituting the scene by the scene description information Spatial correlations or attributes are described, and parametric scene description information means scene description information that describes the correlations or attributes by using a parameter.
따라서, 장면기술 정보를 변경하는 것으로써, 객체의 추가·삭제나 위치·속성의 변경이 가능하여, 사용자가 대화형 멀티미디어 컨텐츠를 대화형으로 제어하는 것을 가능하게 한다.Therefore, by changing the scene description information, it is possible to add / delete an object, change a position and an attribute, and enable a user to interactively control interactive multimedia contents.
종래의 대화형 멀티미디어 컨텐츠 부호화 장치와 복호화 장치에서는 사용자가 대화형 멀티미디어 컨텐츠를 제어하여 재생할 수 있도록 하기 위한 정보로서, 객체별 제어 범위와 방법을 나타내는 제어 정보를 부호화 장치가 복호화 장치의 계산능력에 상관없이 일률적으로 결정하여 컨텐츠 데이터와 함께 부호화하여 복호화 장치에 전달한다.In the conventional interactive multimedia content encoding apparatus and decoding apparatus, the encoding apparatus correlates control information indicating the control range and method for each object to the calculation capability of the decoding apparatus as information for allowing a user to control and play the interactive multimedia contents. It is determined uniformly without coding, encoded together with the content data, and transmitted to the decoding apparatus.
따라서, 복호화 장치가 부호화 장치에서 일률적으로 정한 제어 범위에 상응하는 계산능력을 보유하지 못한 경우에는 멀티미디어 컨텐츠를 대화형(Interactive)으로 복호화하여 재생하기 곤란하다.Therefore, when the decoding apparatus does not have a computing power corresponding to the control range uniformly determined by the encoding apparatus, it is difficult to decode and reproduce the multimedia content interactively.
즉, 복호화 장치가 보유한 계산능력에 따라 대화형 멀티미디어 컨텐츠를 적응적으로 재생할 수 없는 문제가 있다.That is, there is a problem in that interactive multimedia content cannot be adaptively reproduced according to the computing power possessed by the decoding device.
따라서, 본 발명은 상기와 같은 문제를 해결하기 위해 제안된 것으로, 부호화 장치는 객체의 파라메터별로 제어 가능 여부를 우선순위로 표현한 파라메트릭 장면기술 정보를 부호화하여 전송하고, 복호화 장치가 상기 우선순위를 이용하여 제어 허용 범위를 결정하여 장면을 구성하게 함으로써, 사용자가 대화형 멀티미디어 컨텐츠를 재생할 단말기의 계산능력에 따라 적응적으로 장면을 구성하여 재생할 수 있도록 하는 파라메트릭(parametric) 장면기술(scene description) 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화 장치와 복호화 장치를 제공하는데 그 목적이 있다.
Accordingly, the present invention has been proposed to solve the above problem, and the encoding apparatus encodes and transmits parametric scene description information expressing whether or not control is possible for each object parameter as a priority, and the decoding apparatus transmits the priority. Parametric scene description that allows the user to construct and play scenes adaptively according to the computing power of the terminal to play interactive multimedia content An object of the present invention is to provide an interactive multimedia content encoding apparatus and decoding apparatus using information.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명은, 장면기술(scene description) 정보를 이용한 멀티미디어 컨텐츠 복호화 장치로서, 입력된 비트열을 장면기술 정보 비트열과 객체 비트열로 역다중화하기 위한 역다중화 수단, 상기 장면기술 정보 비트열을 복호화(Decoding)하기 위한 장면정보복호화 수단, 상기 객체 비트열을 복호화하기 위한 다수의 객체복호화 수단 및 상기 복호화한 장면기술 정보와 객체를 이용하여 사용자 제어 신호에 근거하여 장면을 구성하기 위한 장면구성 수단을 포함한다.According to an aspect of the present invention, there is provided a multimedia content decoding apparatus using scene description information, comprising: demultiplexing means for demultiplexing an input bit stream into a scene description information bit stream and an object bit stream; Scene information decoding means for decoding an information bit string, a plurality of object decoding means for decoding the object bit string, and composing a scene based on a user control signal using the decoded scene description information and an object. And scene composition means for the.
또한, 본 발명은, 파라메트릭(parametric) 장면기술(scene description) 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화 장치로서, 다수의 객체를 비트열로 부호화하기 위한 객체부호화 수단, 장면기술 정보를 비트열로 부호화하기 위한 장면정보부호화 수단 및 상기 객체부호화 수단 및 상기 장면정보부호화 수단에서 부호화한 비트열을 하나의 비트열로 다중화하기 위한 다중화 수단 을 포함하고, 상기 장면기술 정보는, 각각 독립된 값을 갖는 1개 이상의 파라메터를 이용하여 객체의 속성을 기술한 속성정보 및 상기 파라메터 값의 사용자 제어 허용 여부를 우선순위로 기술한 우선순위 정보를 포함하는 것을 특징으로 한다.The present invention also provides an interactive multimedia content encoding apparatus using parametric scene description information, comprising: object encoding means for encoding a plurality of objects into a bit string, and encoding the scene description information into a bit string. Scene information encoding means for multiplexing and multiplexing means for multiplexing the bit strings encoded by the object encoding means and the scene information encoding means into one bit string, wherein the scene description information is one having an independent value. Characteristic information describing the property of the object by using the above parameters and priority information describing whether or not to allow the user control of the parameter value, characterized in that it comprises a priority.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 파라메트릭 장면기술 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of an interactive multimedia content encoding apparatus using parametric scene description information according to the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 파라메트릭 장면기술 정보를 이용한 대화형 멀티미디어 컨텐츠 부호화 장치는, 대화형 멀티미디어 컨텐츠를 구성하는 다수의 객체와 파라메트릭 장면기술 정보를 부호화하고 다중화하여 하나의 비트열로 출력하는 장치로서, 다수의 객체 부호부(12), 장면 부호부(14) 및 다중화부(16)를 포함한다.As illustrated in FIG. 1, the apparatus for encoding interactive multimedia contents using parametric scene description information according to the present invention encodes and multiplexes a plurality of objects and parametric scene description information constituting the interactive multimedia content. An apparatus for outputting in a bit string, which includes a plurality of
상기 다수의 객체 부호부(12)는 각각 외부로부터 입력받은 객체를 비트열로 부호화(Encoding)하여 출력하고, 상기 장면 부호부(14)는 외부로부터 입력받은 파라메트릭 장면기술 정보를 비트열로 부호화하여 출력한다.Each of the plurality of
그리고, 상기 다중화부(16)는 상기 다수의 객체 부호부(12) 및 장면 부호부(14)에서 출력한 다수의 비트열을 입력받아 하나의 비트열로 다중화하여 출력한다.The
한편, 상기 파라메트릭 장면기술 정보는, 각각 독립된 값을 갖는 1개 이상의 파라메터를 이용하여 객체의 속성을 기술한 속성정보 및 상기 파라메터 값의 사용자 제어 허용 여부를 우선순위로 기술한 우선순위 정보를 포함한다.Meanwhile, the parametric scene description information includes attribute information describing an attribute of an object using one or more parameters having independent values, and priority information describing priority of whether to allow user control of the parameter value. do.
여기서, 상기 우선순위 정보는 상응하는 파라메터가 컨텐츠 출력에 미치는 영향의 정도에 따라 우선순위가 결정된다. 즉, 영향이 클수록 높은 우선순위가 부여되는데, 이는 컨텐츠를 재생할 때 우선순위가 높은 파라메터의 제어에 상대적으로 많은 계산자원이 배분될 것을 염두에 둔 것이다.Here, the priority information is prioritized according to the degree of influence of the corresponding parameter on the content output. In other words, the higher the impact, the higher the priority is given, which means that a relatively large amount of computational resources are allocated to the control of the high priority parameter when the content is played.
예를 들어, 지향성(directivity)이 큰 음원 객체의 방향 파라메터는 지향성이 작은 음원의 방향 파라메터에 비해 높은 우선순위를 지닌다.For example, the direction parameter of a sound source object with high directivity has a higher priority than the direction parameter of a sound source with low directivity.
아래의 [표 1]은 본 발명에 따른 파라메트릭 장면기술 정보의 일실시예를 나타내는 것이다.Table 1 below shows an embodiment of parametric scene description information according to the present invention.
상기 파라메트릭 장면기술 정보의 일실시예는 바이올린 두대(바이올린 1, 바이올린 2), 첼로 및 비올라가 협주하는 동영상 협주 컨텐츠의 파라메트릭 장면기술 정보이다.One embodiment of the parametric scene description information is parametric scene description information of a video concerto content coordinated by two violins (violin 1 and violin 2), a cello and a viola.
여기서, 객체 1 내지 객체 4는 각각 바이올린 1 , 바이올린 2, 비올라, 첼로 객체를 의미한다.Here, objects 1 to 4 mean violin 1, violin 2, viola, and cello objects, respectively.
상기 [표 1]에 나타난 바와 같이, 상기 4개의 객체는 위치 파라메터, 방향 파라메터, 소리의 세기 파라메터 및 지향성 파라메터로 이루어진 속성정보 및 각 파라메터별로 부여된 우선순위 정보를 포함한다.As shown in [Table 1], the four objects include attribute information consisting of position parameters, direction parameters, sound intensity parameters and directivity parameters, and priority information assigned to each parameter.
여기서, 상기 [표 1]에 기재된 우선순위의 값은 1에 가까울수록 순위가 높 되, 값이 -1인 경우에는 해당 속성의 값이 고정되어 있어 사용자의 제어가 불가능함을 나타낸다. 상기 [표 1]에 도시된 장면기술 정보가 사용자의 제어와 관련하여 복호화 장치에서 어떻게 이용되는지는 도 3을 참조하여 후술하기로 한다.Here, the priority value shown in [Table 1] is higher as the value is closer to 1, but when the value is -1, the value of the attribute is fixed, indicating that the user's control is impossible. How scene description information shown in Table 1 is used in the decoding apparatus in relation to user control will be described later with reference to FIG. 3.
도 2는 본 발명에 따른 파라메트릭 장면기술 정보를 이용한 대화형 멀티미디어 컨텐츠 복호화 장치의 일실시예 구성도이다.2 is a block diagram of an interactive multimedia content decoding apparatus using parametric scene description information according to the present invention.
도 2에 도시된 바와 같이, 본 발명에 따른 복호화 장치는 역다중화부(21), 장면 복호부(22), 다수의 객체 복호부(23) 및 장면구성부(24)를 포함한다.As shown in FIG. 2, the decoding apparatus according to the present invention includes a
상기 역다중화부(21)는 외부로부터 입력받은 비트열로부터 부호화된 파라메트릭 장면기술 정보와 다수의 객체 정보를 분리하여 출력한다.The
그리고, 상기 장면 복호부(22)는 상기 역다중화부(21)에서 출력한 비트열로부터 부호화된 장면기술 정보(101)를 입력받아 복호화(Decoding)하여 출력하고, 상기 다수의 객체 복호부(23)는 상기 역다중화부(21)에서 출력한 비트열로부터 다수의 부호화된 객체 정보를 입력받아 각각 복호화하여 출력한다.The
그리고, 상기 장면구성부(24)는 상기 장면 복호부(22) 및 상기 다수의 객체 복호부(23)에서 출력한 복호화된 파라메트릭 장면기술 정보(101)와 객체(102)정보를 이용하여 입력받은 사용자 제어 신호에 상응하는 장면을 구성하여 멀티미디어 컨텐츠를 출력한다.The
이 때, 상기 장면구성부는 복호화장치의 계산능력에 따라, 제어 가능한 우선순위 범위에 대한 설정값을 미리 저장하여, 상기 사용자 제어 신호에 상응하는 우 선 순위가 상기 설정값의 우선순위 범위 내에 속하는 경우에 사용자가 변경하고자 하는 파라메터값을 이용하여 장면을 구성한다.At this time, the scene configuration unit stores the setting value for the controllable priority range in advance according to the calculation capability of the decoding apparatus so that the priority corresponding to the user control signal falls within the priority range of the setting value. Configure the scene using the parameter values you want to change.
상기 설정값은 복호화 장치 생산시에 셋팅될 수도 있고, 사용자의 취향에 따라 사용자 임의로 설정할 수도 있다.The setting value may be set at the time of production of the decoding apparatus, or may be set arbitrarily according to a user's preference.
여기서, 파라메트릭 장면기술 정보는 도 1을 참조하여 전술한 바와 같다.Here, the parametric scene description information is as described above with reference to FIG. 1.
그리고, 상기 사용자 제어 신호는, 사용자가 어떤 객체의 어떤 파라메터를 어떤 값으로 변경하여 제어하기를 원하는지에 대한 정보를 입력받기 위한 신호로서, 사용자가 제어하고자 하는 객체를 지정하는 객체 지정 정보, 상기 지정된 객체의 파라메터 중 사용자가 제어하고자 하는 파라메터를 지정하는 파라메터 지정 정보 및 사용자가 변경하고자 하는 파라메터 변경 값을 포함한다.The user control signal is a signal for receiving information on whether a user wants to control which parameter of an object is changed to what value. The object control information designates an object to be controlled by the user. Among the parameters of the object, the parameter designation information that designates the parameter to be controlled by the user and the parameter change value which the user wants to change are included.
도 3은 도 2의 장면구성부(24)에서, 사용자 제어 신호에 상응하는 장면을 구성하는 과정에 대한 일실시예 흐름도이다.3 is a flowchart illustrating an example of a process of configuring a scene corresponding to a user control signal in the
먼저, 외부로부터 사용자 제어 신호를 입력받는다(51). First, a user control signal is received from an
이어서, 상기 사용자 제어 신호에 포함된 객체 지정 정보와 파라메터 지정 정보를 이용하여 제어 대상 파라메터의 우선순위를 파라메트릭 장면기술 정보에서 검색한다(52).Subsequently, the priority of the control target parameter is retrieved from the parametric scene description information using the object specification information and the parameter specification information included in the user control signal (52).
이어서, 상기 검색한 제어 대상 파라메터의 우선순위가, 복호화 장치의 계산능력을 고려하여 미리 설정된 제어 가능한 우선순위 범위에 포함되는지를 비교하여, 제어 가능한지 여부를 판단한다(55).Subsequently, it is determined whether or not the priority of the searched control target parameter is included in the controllable priority range in consideration of the calculation capability of the decoding apparatus to determine whether or not it is controllable (55).
상기 판단결과, 제어 대상 파라메터의 우선순위가 설정된 제어 가능 우선순위 범위에 포함되는 경우에 한하여 상기 사용자 제어 신호의 파라메터 변경 값으로 파라메트릭 장면정보의 해당 파라메터 값을 변경하여(57), 변경된 파라메터 값에 따라 장면을 구성하여 컨텐츠를 출력한다(59).As a result of the determination, the parameter value of the parametric scene information is changed to a parameter change value of the user control signal only when the priority of the control target parameter is included in the set controllable priority range (57). In
전술한 장면구성부(24)에서 사용자 제어 신호에 상응하는 장면을 구성하는 과정에 대한 일실시예 흐름도를 상기 [표 1]의 장면기술 정보를 예를 들어 구체적으로 설명하면 다음과 같다.(복호화 장치의 제어 가능한 우선순위 범위 설정값은 우선순위 3으로 미리 설정되었다고 가정한다.)An embodiment flowchart of a process of configuring a scene corresponding to a user control signal in the
우선, 사용자가 첼로의 소리 세기만를 크게 키우기 위한 신호로서, 객체4를 지정하는 객체 지정 정보, 객체4의 소리의 세기 파라메터를 지정하는 파라메터 지정 정보 및 변경하고자 하는 파라메터 값이 포함된 사용자 제어 신호를 입력받는다(51).First, as a signal for the user to increase only the loudness of the cello, a user control signal including object specification information specifying object 4, parameter specification information specifying object loudness parameter, and parameter value to be changed It receives an input (51).
이어서, 상기 사용자 제어 신호를 이용하여 [표 1]의 장면기술 정보를 검색하여 객체4 소리의 세기 파라메터의 우선순위 값을 획득하여, 제어 가능한 우선순위 범위 설정값과 비교한다(53, 55)Subsequently, the scene description information of [Table 1] is searched using the user control signal to obtain a priority value of the intensity parameter of the object 4 sound and compare it with a controllable priority range setting value (53, 55).
미리 셋팅된 우선순위 범위 설정값이 3이고 객체4 소리의 세기 파라메터의 우선순위가 1이므로, 장면구성부는 객체4(첼로)의 소리의 세기만 사용자가 원하는 변경값으로 변경한 장면을 구성하여 협주 콘텐츠를 출력한다(57, 59).Since the preset priority range setting value is 3 and the priority value of the object 4 sound intensity parameter is 1, the scene composition unit composes a scene in which only the sound intensity of the object 4 (cello) is changed to a desired change value. Output the content (57, 59).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기와 같은 본 발명은, 부호화 장치는 객체의 파라메터별로 제어 가능 여부를 우선순위로 표현한 파라메트릭 장면기술 정보를 부호화하여 전송하고, 복호화 장치가 상기 우선순위를 이용하여 제어 허용 범위를 결정하여 장면을 구성하게 함으로써, 사용자가 대화형 멀티미디어 컨텐츠를 재생할 단말기의 계산능력에 따라 적응적으로 장면을 구성하여 재생할 수 있는 효과가 있다.In the present invention as described above, the encoding apparatus encodes and transmits parametric scene description information expressing whether or not control is possible for each parameter of an object as a priority, and the decoding apparatus determines a control allowable range using the priority to determine a scene. In this way, the user can adaptively configure and play the scene according to the computing power of the terminal to reproduce the interactive multimedia content.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040046535A KR100717842B1 (en) | 2004-06-22 | 2004-06-22 | Apparatus for Coding/Decoding Interactive Multimedia Contents Using Parametric Scene Description |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040046535A KR100717842B1 (en) | 2004-06-22 | 2004-06-22 | Apparatus for Coding/Decoding Interactive Multimedia Contents Using Parametric Scene Description |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050121412A KR20050121412A (en) | 2005-12-27 |
| KR100717842B1 true KR100717842B1 (en) | 2007-05-14 |
Family
ID=37293572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040046535A KR100717842B1 (en) | 2004-06-22 | 2004-06-22 | Apparatus for Coding/Decoding Interactive Multimedia Contents Using Parametric Scene Description |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100717842B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100744259B1 (en) * | 2006-01-16 | 2007-07-30 | 엘지전자 주식회사 | Digital multimedia receiver and method for displaying sensor node thereof |
| KR101158435B1 (en) * | 2006-03-03 | 2012-06-22 | 엘지전자 주식회사 | System and method for multi-media broad casting using priority information on BIFS packet header in DMB mobile terminal |
| KR101370290B1 (en) | 2007-07-31 | 2014-03-05 | 삼성전자주식회사 | Method and apparatus for generating multimedia data with decoding level, and method and apparatus for reconstructing multimedia data with decoding level |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980071844A (en) * | 1997-02-27 | 1998-10-26 | 모리시타 요우이치 | Object data processing apparatus, object data recording apparatus, data storage medium and data structure for transmission |
| KR20000009075A (en) * | 1998-07-21 | 2000-02-15 | 정선종 | Decoder function based video decoding system and method thereof |
| KR20010034920A (en) * | 1998-06-26 | 2001-04-25 | 매클린토크 샤운 엘 | Terminal for composing and presenting mpeg-4 video programs |
| KR20030037614A (en) * | 2001-11-07 | 2003-05-14 | 김상욱 | MPEG-4 contents generating method and apparatus |
-
2004
- 2004-06-22 KR KR1020040046535A patent/KR100717842B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980071844A (en) * | 1997-02-27 | 1998-10-26 | 모리시타 요우이치 | Object data processing apparatus, object data recording apparatus, data storage medium and data structure for transmission |
| KR20010034920A (en) * | 1998-06-26 | 2001-04-25 | 매클린토크 샤운 엘 | Terminal for composing and presenting mpeg-4 video programs |
| KR20000009075A (en) * | 1998-07-21 | 2000-02-15 | 정선종 | Decoder function based video decoding system and method thereof |
| KR20030037614A (en) * | 2001-11-07 | 2003-05-14 | 김상욱 | MPEG-4 contents generating method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050121412A (en) | 2005-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101967810B1 (en) | Data processor and transport of user control data to audio decoders and renderers | |
| KR100868475B1 (en) | Method for creating, editing, and reproducing multi-object audio contents files for object-based audio service, and method for creating audio presets | |
| CA2947549C (en) | Information processing apparatus and information processing method | |
| KR101800604B1 (en) | Methods and systems for interactive rendering of object based audio | |
| TWI701945B (en) | Method and apparatus for efficient delivery and usage of audio messages for high quality of experience | |
| JP5586950B2 (en) | Object-based three-dimensional audio service system and method using preset audio scene | |
| JP5319704B2 (en) | Audio signal processing method and apparatus | |
| KR100802179B1 (en) | Object-based 3-dimensional audio service system using preset audio scenes and its method | |
| WO2017136354A1 (en) | Enabling personalized audio in adaptive streaming | |
| KR101061128B1 (en) | Audio signal processing method and device thereof | |
| KR100717842B1 (en) | Apparatus for Coding/Decoding Interactive Multimedia Contents Using Parametric Scene Description | |
| WO2020184357A1 (en) | Information processing device, information processing method, and information processing program | |
| JP4813365B2 (en) | Method for encoding and decoding an impulse response of an audio signal | |
| KR101114431B1 (en) | Apparatus for generationg and reproducing audio data for real time audio stream and the method thereof | |
| KR20090041057A (en) | Appratus providing svc video contents and method thereof | |
| JP2009089156A (en) | Distribution system and method | |
| JP2002156998A (en) | Bit stream processing method for audio signal, recording medium where the same processing method is recorded, and processor | |
| JP2001223990A (en) | Reproducing method, its device and display device | |
| JP2005159878A (en) | Data processor and data processing method, program and storage medium | |
| JP6204684B2 (en) | Acoustic signal reproduction device | |
| CN114203190A (en) | Matrix-based audio packet format metadata and generation method, device and storage medium | |
| JP2017098607A (en) | Broadcast receiver | |
| KR20130036751A (en) | Apparatus and method for structuring of bit-stream for object based audio service and apparatus for coding the bit-stream | |
| JP2011087077A (en) | Encoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20110429 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |