KR101182851B1 - Method and appratus for processing multimedia contents - Google Patents
Method and appratus for processing multimedia contents Download PDFInfo
- Publication number
- KR101182851B1 KR101182851B1 KR1020100104192A KR20100104192A KR101182851B1 KR 101182851 B1 KR101182851 B1 KR 101182851B1 KR 1020100104192 A KR1020100104192 A KR 1020100104192A KR 20100104192 A KR20100104192 A KR 20100104192A KR 101182851 B1 KR101182851 B1 KR 101182851B1
- Authority
- KR
- South Korea
- Prior art keywords
- identification information
- multimedia content
- type identification
- type
- bitstream
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
Abstract
멀티미디어 컨텐츠 처리 장치는 하나 이상의 멀티미디어 컨텐츠의 유형을 식별하도록 하는 유형 식별 정보를 저장하는 식별 정보 저장부, 유형 식별 정보를 참조하여 어플리케이션으로부터 수신한 멀티미디어 컨텐츠의 유형을 식별하고, 멀티미디어 컨텐츠의 유형에 따라 지정된 API(Application Programming Interface)를 호출하는 미디어 식별부, 멀티미디어 컨텐츠를 처리하는 하나 이상의 API를 제공하는 미디어 처리부를 포함한다.The multimedia content processing apparatus identifies an type of multimedia content received from an application by referring to an identification information storage unit for storing type identification information for identifying one or more types of multimedia content, the type identification information, and according to the type of the multimedia content. A media identification unit for calling a specified application programming interface (API), and a media processing unit for providing one or more APIs for processing multimedia content.
Description
본 발명은 멀티미디어 컨텐츠를 처리하는 기술에 관련된 것으로, 보다 자세하게는 멀티미디어 컨텐츠를 인코딩 또는 디코딩하여 어플리케이션으로 제공하는 방법에 관한 것이다.
The present invention relates to a technique for processing multimedia content, and more particularly, to a method of encoding or decoding multimedia content and providing the same to an application.
ISO/IEC 23006 표준 (MPEG Extensible Middleware, MXM)은 멀티미디어에 기반한 다양한 어플리케이션을 보다 신속하게 구현할 수 있도록 하기 위한 중개 장치를 정의하기 위한 표준이다.The ISO / IEC 23006 standard (MPEG Extensible Middleware, MXM) is a standard for defining intermediary devices to enable faster implementation of a variety of multimedia-based applications.
MXM 표준은 다수의 멀티미디어 처리 용 엔진을 제공하여 엔진에 포함된 API (application-programming interface) 를 호출하여 어플리케이션에서 다양한 멀티미디어 컨텐츠의 인코딩 또는 디코딩 과정을 손쉽게 수행할 수 있도록 하는 기술이다. 이로서 MXM은 멀티미디어의 가치 사슬 (value chain) 상에 존재하는 다양한 멀티미디어 어플리케이션의 구현을 보다 손쉽고 신속하게 가능하도록 지원한다.The MXM standard is a technology that provides a number of multimedia processing engines and makes it easy to encode or decode various multimedia contents in an application by calling an API (application-programming interface) included in the engine. This makes MXM easier and faster to implement the various multimedia applications that exist in the multimedia value chain.
하지만 MXM 표준에서 정의하는 멀티미디어 처리 용 엔진에서는 다수의 인코딩 및 디코딩을 수행하는 모듈을 제공할 뿐, 실제 인코딩 또는 디코딩될 멀티미디어 컨텐츠를 식별하고, 식별된 멀티미디어 컨텐츠에 적합한 API를 호출하는 과정은 어플리케이션이 수행하여야 하였다. 이에 따라 어플리케이션의 제작자는 멀티미디어 컨텐츠의 식별 및 어플리케이션에서 사용할 API를 선택하는 과정을 직접 구현하여야 하였다.
However, the multimedia processing engine defined by the MXM standard provides a module that performs a plurality of encodings and decodings. The process of identifying the multimedia content to be encoded or decoded and calling an API appropriate for the identified multimedia content can be performed by the application. It should be done. Accordingly, the creator of an application had to directly implement a process of identifying multimedia content and selecting an API to be used in the application.
본 발명은 멀티미디어 컨텐츠를 식별할 수 있는 미디어 프레임 엔진을 구비한 멀티미디어 컨텐츠 처리 장치를 제공하고자 한다.
An object of the present invention is to provide a multimedia content processing apparatus having a media frame engine capable of identifying multimedia content.
본 발명의 일 측면에 따르면, 하나 이상의 멀티미디어 컨텐츠의 유형을 식별하도록 하는 유형 식별 정보를 저장하는 식별 정보 저장부; 상기 유형 식별 정보를 참조하여 어플리케이션으로부터 수신한 멀티미디어 컨텐츠의 유형을 식별하고, 상기 멀티미디어 컨텐츠의 유형에 따라 지정된API(Application Programming Interface)를 호출하는 미디어 식별부; 및 상기 멀티미디어 컨텐츠를 처리하는 하나 이상의 API를 제공하는 미디어 처리부를 포함하는 멀티미디어 컨텐츠 처리 장치가 제공된다.According to an aspect of the invention, the identification information storage unit for storing the type identification information to identify the type of one or more multimedia content; A media identification unit identifying a type of multimedia content received from an application with reference to the type identification information, and calling an API (Application Programming Interface) designated according to the type of the multimedia content; And a media processing unit providing one or more APIs for processing the multimedia contents.
상기 미디어 식별부는 상기 멀티미디어 컨텐츠로부터 하나 이상의 지정된 파싱 방법 중 어느 하나에 따라 유형 확인 정보를 추출하고, 하나 이상의 지정된 유형 식별 정보 중 상기 유형 확인 정보와 동일한 유형 식별 정보에 상응하는 유형을 상기 멀티미디어 컨텐츠의 유형으로 식별할 수 있다.The media identification unit extracts type identification information from the multimedia content according to any one or more designated parsing methods, and selects a type corresponding to the same type identification information as the type identification information among one or more designated type identification information. Can be identified by type.
상기 미디어 식별부는 상기 유형 확인 정보와 상기 유형 식별 정보 중 어느 하나가 동일한 경우, 상기 유형 확인 정보와 동일한 상기 유형 식별 정보에 상응하는 API를 호출할 수 있다.When one of the type identification information and the type identification information is the same, the media identification unit may call an API corresponding to the same type identification information as the type identification information.
상기 미디어 식별부는 상기 유형 확인 정보와 동일한 상기 유형 식별 정보가 존재하지 않는 경우, 하나 이상의 지정된 파싱 방법 중 이전 수행한 상기 파싱 방법 이외의 파싱 방법에 따라 상기 멀티미디어 컨텐츠로부터 상기 유형 확인 정보를 다시 추출할 수 있다.If the same type identification information as the type identification information does not exist, the media identification unit re-extracts the type identification information from the multimedia content according to a parsing method other than the parsing method previously performed among one or more designated parsing methods. Can be.
상기 미디어 식별부는 상기 유형 확인 정보와 동일한 상기 유형 식별 정보가 컨테이너 비트스트림(Container Bitstream)을 나타내는 경우, 상기 멀티미디어 컨텐츠로부터 하나 이상의 요소 비트스트림을 추출하고, 각 상기 요소 비트스트림의 유형을 식별하고, 각 상기 요소 비트스트림의 유형에 따라 상기 API를 호출할 수 있다.
When the type identification information equal to the type identification information indicates a container bitstream, the media identification unit extracts one or more element bitstreams from the multimedia content, and identifies the type of each element bitstream. The API may be called according to the type of each element bitstream.
본 발명의 다른 측면에 따르면, 멀티미디어 컨텐츠 처리 장치가 멀티미디어 컨텐츠를 처리하는 방법에 있어서, 어플리케이션으로부터 멀티미디어 컨텐츠를 수신하는 단계; 상기 멀티미디어 컨텐츠의 유형을 식별하는 단계; 상기 멀티미디어 컨텐츠의 유형에 따라 지정된 API(Application Programming Interface)를 호출하는 단계; 및 상기 API를 통해 상기 멀티미디어 컨텐츠를 인코딩 또는 디코딩하여 출력 데이터를 생성하는 단계; 및 상기 출력 데이터를 상기 어플리케이션으로 전송하는 단계를 포함하는 멀티미디어 컨텐츠 처리 방법이 제공된다.According to another aspect of the present invention, a method for processing multimedia content by a multimedia content processing device, the method comprising: receiving multimedia content from an application; Identifying a type of the multimedia content; Calling an application programming interface (API) designated according to the type of the multimedia content; And generating output data by encoding or decoding the multimedia content through the API. And transmitting the output data to the application.
상기 멀티미디어 컨텐츠의 유형을 식별하는 단계는 상기 멀티미디어 컨텐츠로부터 하나 이상의 지정된 파싱 방법 중 어느 하나에 따라 유형 확인 정보를 추출하는 단계; 및 상기 유형 확인 정보가 지정된 유형 식별 정보 중 어느 하나와 동일한지 판단하는 단계를 포함할 수 있다.Identifying the type of multimedia content comprises extracting type identification information from the multimedia content according to any one or more of the specified parsing methods; And determining whether the type identification information is the same as any one of the designated type identification information.
상기 멀티미디어 컨텐츠의 유형에 따라 지정된 API를 호출하는 단계는 상기 유형 확인 정보와 상기 유형 식별 정보 중 어느 하나가 동일한 경우, 상기 유형 확인 정보와 동일한 상기 유형 식별 정보에 상응하는 API를 호출하는 단계일 수 있다.Calling an API designated according to the type of the multimedia content may call an API corresponding to the same type identification information as the type identification information when any one of the type identification information and the type identification information is the same. have.
상기 멀티미디어 컨텐츠의 유형을 식별하는 단계는 상기 유형 확인 정보와 동일한 상기 유형 식별 정보가 존재하지 않는 경우, 하나 이상의 지정된 파싱 방법 중 이전 수행한 상기 파싱 방법 이외의 파싱 방법을 재선정하는 단계를 더 포함하되, 상기 파싱 방법을 재선정하는 단계 이후, 상기 유형 확인 정보를 추출하는 단계부터의 과정을 다시 수행될 수 있다.The identifying of the type of the multimedia content may further include reselecting a parsing method other than the parsing method previously performed among one or more designated parsing methods when the same type identification information as the type identification information does not exist. After the step of reselecting the parsing method, the process from the step of extracting the type identification information may be performed again.
상기 유형 확인 정보와 동일한 상기 유형 식별 정보가 컨테이너 비트스트림(Container Bitstream)을 나타내는 경우, 상기 멀티미디어 컨텐츠로부터 하나 이상의 요소 비트스트림을 추출하는 단계를 더 포함하되, 상기 요소 비트스트림을 추출하는 단계 이후 각 상기 요소 비트스트림에 대해 상기 유형 확인 정보를 추출하는 단계 내지 상기 출력 데이터를 상기 어플리케이션으로 전송하는 단계가 수행될 수 있다.
If the type identification information equal to the type identification information indicates a container bitstream, further comprising extracting one or more element bitstreams from the multimedia content, wherein extracting each element bitstream after each of the element bitstreams; Extracting the type identification information for the element bitstream or transmitting the output data to the application may be performed.
본 발명에 따르면, 멀티미디어 컨텐츠를 자동으로 식별하여 처리할 수 있는 이점이 있다.
According to the present invention, there is an advantage that can automatically identify and process multimedia content.
도 1은 MXM 표준에 따른 멀티미디어 컨텐츠 처리 장치의 구성을 개략적으로 나타낸 도면.
도 2는 MXM 표준에 따른 멀티미디어 컨텐츠 처리 장치간의 멀티미디어 컨텐츠 전송에 따른 과정을 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 멀티미디어 컨텐츠 처리 장치에 구비된미디어 프레임워크 엔진의 구성을 개략적으로 예시한 블록도.
도 4는 본 발명의 실시예에 따른 멀티미디어 컨텐츠 처리 장치의 미디어 식별부에서 식별 정보 저장부에 저장된 유형 식별 정보를 이용하여 멀티미디어 컨텐츠의 유형을 판단하는 과정을 예시한 도면.
도 5는 본 발명의 실시예에 따른 멀티미디어 컨텐츠 처리 장치에 구비된미디어 프레임워크 엔진의 구성을 개략적으로 예시한 블록도.
도 6은 멀티미디어 컨텐츠 처리 장치가 멀티미디어 컨텐츠를 처리하는 과정을 예시한 순서도.1 is a diagram schematically illustrating a configuration of a multimedia content processing apparatus according to the MXM standard.
2 is a view for explaining a process according to the multimedia content transmission between the multimedia content processing apparatus according to the MXM standard.
3 is a block diagram schematically illustrating a configuration of a media framework engine included in a multimedia content processing apparatus according to an embodiment of the present invention.
4 is a diagram illustrating a process of determining a type of multimedia content by using the type identification information stored in the identification information storage unit in the media identification unit of the multimedia content processing apparatus according to an embodiment of the present invention.
5 is a block diagram schematically illustrating a configuration of a media framework engine included in a multimedia content processing device according to an embodiment of the present invention.
6 is a flowchart illustrating a process of a multimedia content processing apparatus processing multimedia content.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 MXM 표준에 따른 멀티미디어 컨텐츠 처리 장치의 구성을 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating a configuration of a multimedia content processing apparatus according to the MXM standard.
도 1을 참조하면, 멀티미디어 컨텐츠 처리 장치는 프로세서(101), 메모리(102), 운영 체제(103)를 포함한다. 멀티미디어 컨텐츠 처리 장치는 구비된 운영 체제(103)에 MXM 표준에 따른 멀티미디어 컨텐츠 엔진(105)(Orchestrator Engine, MPEG21 File Engine, Digital Item Engine, REL Engine, IPMP Engine, Security Engine, Content Metadata Engine, Media Framework Engine 및 Content Search Engine 등)를 설치할 수 있고, 메모리(102) 상에 상주하여 프로세서(101)에 의해 수행되는 어플리케이션(110)의 호출에 따라 컨텐츠 용 엔진에 포함된 API를 제공할 수 있다. 예를 들어, 어플리케이션은 사용자로부터 MPEG-4 VIDEO 표준에 따라 인코딩된 비트스트림을 수신받고, 해당 비트스트림을 디코딩하기 위해 Media Framework Engine에 포함된 API를 호출한다. 어플리케이션은 호출한 API를 이용하여 비트스트림을 디코딩한 동영상 데이터를 생성하여 재생한다. 상술한 비트스트림을 디코딩하여 재생하는 과정은 어플리케이션에서 수행하며, 비트스트림을 디코딩하기 위한 API는 어플리케이션에 따라 결정된다.
Referring to FIG. 1, a multimedia content processing apparatus includes a
도 2는 MXM 표준에 따른 멀티미디어 컨텐츠 처리 장치간의 멀티미디어 컨텐츠 전송에 따른 과정을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing a process of transmitting multimedia content between multimedia content processing apparatuses according to the MXM standard.
도 1을 참조하여 상술한 구성의 제1 멀티미디어 컨텐츠 처리 장치(210)는 제1 어플리케이션(213)에 의해 MXM 표준에 정의된 멀티미디어 컨텐츠 엔진(215)을 통한 동영상 데이터의 인코딩 또는 임의의 표준에 따라 인코딩된 비트스트림의 디코딩을 수행할 수 있다. 제2 멀티미디어 컨텐츠 처리 장치(220)는 제2 어플리케이션(223)에 의해 MXM 표준에 정의된 멀티미디어 컨텐츠 엔진(225)을 통한 동영상 데이터의 인코딩 또는 임의의 표준에 따라 인코딩된 비트스트림의 디코딩을 수행할 수 있다. 이 때, 제1 멀티미디어 컨텐츠 처리 장치와 제2 멀티미디어 컨텐츠 처리 장치는 서로 다른 종류의 플랫폼일 수 있으며, 이에 따라 각 운영 체제(216, 226)는 서로 다른 운영 체제일 수 있다.The first multimedia
따라서, 상술한 MXM 표준에 따른 멀티미디어 컨텐츠 처리 장치들은 서로 다른 플랫폼의 장치더라도 동일한 방식의 멀티미디어 컨텐츠 관련 표준 기술을 이용하여 인코딩 및 디코딩을 수행할 수 있으며, 이로 인해 멀티미디어 컨텐츠를 디코딩하는 측의 컨텐츠 처리 장치가 디코딩 수행이 불가해지는 등의 비트스트림의 인코딩 및 디코딩 방식이 매칭되지 않는 것을 방지할 수 있다.
Accordingly, the multimedia contents processing apparatuses according to the above-mentioned MXM standard can perform encoding and decoding using multimedia technology related standard technology of the same method even if the devices of different platforms are used. The device may prevent the encoding and decoding schemes of the bitstream such that the decoding cannot be performed are not matched.
도 3은 본 발명의 실시예에 따른 멀티미디어 컨텐츠 처리 장치에 구비된미디어 프레임워크 엔진의 구성을 개략적으로 예시한 블록도이고, 도 4는 본 발명의 실시예에 따른 멀티미디어 컨텐츠 처리 장치의 미디어 식별부에서 식별 정보 저장부에 저장된 유형 식별 정보를 이용하여 멀티미디어 컨텐츠의 유형을 판단하는 과정을 예시한 도면이다. 3 is a block diagram schematically illustrating a configuration of a media framework engine included in a multimedia content processing apparatus according to an embodiment of the present invention, and FIG. 4 is a media identification unit of the multimedia content processing apparatus according to an embodiment of the present invention. Is a diagram illustrating a process of determining the type of multimedia content by using the type identification information stored in the identification information storage unit.
미디어 프레임워크 엔진(300)은 미디어 식별부(310) 및 미디어 처리부(330)를 포함한다.The
미디어 식별부(310)는 어플리케이션(110)으로부터 호출되는 API(이하 어플케이션 호출 함수라 지칭)를 제공한다. 미디어 식별부(310)는 어플리케이션 호출 함수를 통해 어플리케이션(110)으로부터 멀티미디어 컨텐츠를 수신한다. 미디어 식별부(310)는 멀티미디어 컨텐츠의 헤더를 분석하여 멀디미디어 컨텐츠의 유형을 식별한다. The
식별 정보 저장부(320)는 미디어 처리부(330)에서 처리 가능한 표준에 따른 멀티미디어 컨텐츠의 유형을 식별할 수 있는 식별 정보(이하 유형 식별 정보라 지칭) 및 각 유형 식별 정보에 따른 유형의 비트스트림을 처리하기 위한 API의 식별 정보(이하 인터페이스 식별 정보라 지칭)를 저장한다. 이 때, 식별 정보 저장부(320)는 식별 정보 이외 멀티미디어 컨텐츠에서 유형 식별 정보를 추출하기 위한 신택스 파싱(Syntax Parsing) 규칙을 나타내는 정보(이하 신택스 정보라 지칭)를 추가로 저장할 수 있다.The identification
미디어 식별부(310)는 식별 정보 저장부(320)에 저장된 유형 식별 정보를 참조하여 멀티미디어 컨텐츠의 유형을 식별한다. 도 4를 참조하여 예를 들면, 미디어 식별부(310)는 식별 정보 저장부(320)로부터 임의의 신택스 정보를 추출할 수 있다. 미디어 식별부(310)는 신택스 정보에 따라 멀티미디어 컨텐츠로부터 유형 식별 정보와 비교되어 멀티미디어 컨텐츠의 유형을 식별할 수 있는 데이터(이하 유형 확인 정보라 지칭)를 추출할 수 있다. 즉, 멀티미디어 컨텐츠가 MPEG4 표준에 따라 인코딩된 비트스트림이고, 신택스 정보가 멀티미디어 컨텐츠의 첫 32비트를 추출하는 신택스 파싱 규칙을 나타내는 경우, 미디어 식별부(310)는 멀티미디어 컨텐츠로부터 첫 32비트의 유형 확인 정보("00 00 01 B0")를 추출한다. 미디어 식별부(310)는 유형 확인 정보(405)와 동일한 유형 식별 정보(410)가 식별 정보 저장부(320)에 저장되어 있는지 확인한다. 미디어 식별부(310)는 추출한 유형 확인 정보가 MPEG-4에 상응하는 유형 식별 정보와 동일함을 확인하고, 해당 유형 식별 정보에 상응하는 인터페이스 식별 정보(즉, MPEG-4 비트스트림을 디코딩하기 위한 API에 상응하는 인터페이스 식별 정보)를 식별 정보 저장부(320)로부터 추출한다. 미디어 식별부(310)는 인터페이스 식별 정보에 상응하는 API를 통해 미디어 처리부(330)로 멀티미디어 컨텐츠를 전송한다. The
상술한 바와 같이 미디어 식별부(310)는 신택스 정보에 따라 비트스트림으로부터 데이터를 추출한다. 이 때, 식별 정보 저장부(320)는 복수의 신택스 정보를 저장할 수 있다. 미디어 식별부(310)는 복수의 신택스 정보 중 하나씩을 순차적으로 추출할 수 있다. 이에 따라 미디어 식별부(310)는 신택스 정보에 따라 추출한 데이터와 동일한 유형 식별 정보가 식별 정보 저장부(320)에 저장된 것을 확인할 때까지, 복수의 신택스 정보 중 어느 하나에 따라 데이터를 추출하여 유형 식별 정보를 확인하는 과정을 반복 수행할 수 있다. 예를 들어, MPEG-4 표준과 같이 비트스트림의 첫 32비트가 유형 식별 정보가 되는 표준 이외, 첫 32비트 이외의 데이터가 유형 식별 정보로 이용되는 표준도 존재한다. 미디어 식별부(310)는 우선 멀티미디어 컨텐츠의 첫 32비트를 추출하는 신택스 정보에 따라 멀티미디어 컨텐츠의 유형 확인에 실패하는 경우, 식별 정보 저장부(320)에 저장된 다음 신택스 정보에 따라 멀티미디어 컨텐츠에서 데이터를 추출하고, 추출한 데이터를 이용하여 멀티미디어 컨텐츠의 유형을 확인할 수 있다.As described above, the
미디어 처리부(330)는 멀티미디어 컨텐츠를 인코딩 또는 디코딩하는 과정에서 필요한 API를 제공한다. 이 때, 미디어 처리부(330)에서 제공하는 API는 하기의 표 1과 같은 표준의 인코딩 및 디코딩을 위한 API일 수 있다. 이 때, 미디어 처리부(330)가 제공하는 API는 하기의 같은 표준의 인코딩 및 디코딩을 위한 API 이외에 다른 API를 추가로 제공할 수 있음은 자명하다.
The
미디어 처리부(330)는 상술한 API를 수행하여 멀티미디어 컨텐츠를 인코딩 또는 디코딩한다. 미디어 처리부(330)는 멀티미디어 컨텐츠를 인코딩 또는 디코딩한 데이터(이하 출력 데이터라 지칭)를 API를 통해 미디어 식별부(310)로 전송한다.The
미디어 식별부(310)는 미디어 처리부(330)로부터 수신한 출력 데이터를 어플리케이션(110)으로 전송한다. The
지금까지 멀티미디어 컨텐츠 처리 장치에 의해 하나의 표준에 따른 멀티미디어 컨텐츠를 인코딩 또는 디코딩하는 과정을 설명하였다.Up to now, a process of encoding or decoding multimedia content according to a standard by a multimedia content processing apparatus has been described.
멀티미디어 컨텐츠는 상술한 바와 같은 하나의 표준에 따른 형식의 데이터일 수 있지만, 각 표준에 따른 비트스트림이 병합된 컨테이너 비트스트림(Container Bitstream)일 수 있다. 컨테이너 비트스트림은 비디오 데이터를 인코딩하는 표준, 오디오 데이터를 인코딩하는 표준 등의 각 표준에 대한 요소 비트스트림(Element Bitstream)을 포함할 수 있다. 이에 따라 컨테이너 비트스트림을 디코딩하기 위해서는 각 요소 비트스트림을 컨테이너 비트스트림으로부터 추출하는 과정이 필요하다.
The multimedia content may be data in a format according to one standard as described above, but may be a container bitstream in which bitstreams according to each standard are merged. The container bitstream may include an element bitstream for each standard, such as a standard for encoding video data and a standard for encoding audio data. Accordingly, in order to decode the container bitstream, it is necessary to extract each element bitstream from the container bitstream.
이하 도 5를 참조하여 멀티미디어 컨텐츠 처리 장치가 컨테이너 비트스트림을 처리하는 과정을 설명하도록 한다. 이하 컨테이너 비트스트림은 비디오 데이터에 대한 비디오 요소 비트스트림과 오디오 데이터에 대한 오디오 요소 비트스트림을 포함하는 것으로 가정하도록 한다.Hereinafter, a process of processing a container bitstream by the multimedia content processing apparatus will be described with reference to FIG. 5. The following container bitstream is assumed to include a video element bitstream for video data and an audio element bitstream for audio data.
도 5는 본 발명의 실시예에 따른 멀티미디어 컨텐츠 처리 장치에 구비된미디어 프레임워크 엔진의 구성을 개략적으로 예시한 블록도이다.5 is a block diagram schematically illustrating a configuration of a media framework engine included in a multimedia content processing device according to an embodiment of the present invention.
미디어 식별부(310)는 어플리케이션(110)으로부터 컨테이너 비트스트림을 식별 함수를 통해 수신한다. 미디어 식별부(310)는 식별 정보 저장부(320)에 저장된 신택스 정보를 이용하여 컨테이너 비트스트림로부터 유형 확인 정보를 추출하고, 유형 확인 정보와 동일한 유형 식별 정보를 확인한다. 미디어 식별부(310)는 유형 확인 정보와 동일한 유형 식별 정보가 컨테이너 비트스트림을 나타내는 것을 확인한다. 미디어 식별부(310)는 컨테이너 비트스트림이 포함하는 요소 비트스트림(비디오 요소 비트스트림 및 오디오 요소 비트스트림)을 추출한다. 미디어 식별부(310)는 비디오 요소 비트스트림 및 오디오 요소 비트스트림 각각에 대해서 유형 확인 정보를 추출하여 동일한 유형 식별 정보를 확인하고, 각 유형 식별 정보에 상응하는 인터페이스 식별 정보를 식별 정보 저장부(320)로부터 추출한다. 미디어 식별부(310)는 추출한 인터페이스 식별 정보에 상응하는 API로 각각의 요소 비트스트림을 전송한다. 즉, 비디오 요소 비트스트림에 상응하는 유형 식별 정보가 MPEG-4 VISUAL 표준을 나타내는 경우, 미디어 식별부(310)는 비디오 요소 비트스트림을 MPEG-4 VISUAL 표준의 API(510)로 전송한다. 또한 오디오 요소 비트스트림에 상응하는 유형 식별 정보가 MPEG AUDIO 표준을 나타내는 경우, 미디어 식별부(310)는 오디오 요소 비트스트림을 MPEG AUDIO 표준의 API(520)로 전송한다. 미디어 기능부(220)는 각 API(510, 520)로 수신된 비디오 요소 비트스트림 및 오디오 요소 비트스트림 각각을 디코딩하여 비디오 데이터 및 오디오 데이터를 미디어 식별부(310)로 전송한다. 미디어 식별부(310)는 비디오 데이터 및 오디오 데이터를 어플리케이션(110)으로 전송한다.
The
도 6은 멀티미디어 컨텐츠 처리 장치가 멀티미디어 컨텐츠를 처리하는 과정을 예시한 순서도이다. 이 때, 도 1 내지 도 5를 참조하여 상술한 바와 같이 멀티미디어 컨텐츠 처리 장치에는 각종 표준에 상응하는 유형 식별 정보, 각 유형 식별 정보에 상응하는 인터페이스 식별 정보가 미리 저장될 수 있다. 6 is a flowchart illustrating a process of processing a multimedia content by the multimedia content processing device. In this case, as described above with reference to FIGS. 1 to 5, the multimedia content processing apparatus may store, in advance, type identification information corresponding to various standards and interface identification information corresponding to each type identification information.
도 6을 참조하면, 단계 610에서 멀티미디어 컨텐츠 처리 장치는 어플리케이션으로부터 멀티미디어 컨텐츠를 수신한다.Referring to FIG. 6, in
단계 620에서 멀티미디어 컨텐츠 처리 장치는 미리 저장된 신택스 정보에 따라 멀티미디어 컨텐츠를 파싱하여 유형 확인 정보를 추출할 수 있다. In
단계 630에서 멀티미디어 컨텐츠 처리 장치는 미리 저장된 유형 식별 정보 중 유형 확인 정보와 동일한 유형 식별 정보가 존재하는지 판단한다.In
단계 630에서 유형 확인 정보와 동일한 유형 식별 정보가 존재하지 않는경우, 단계 640에서 멀티미디어 컨텐츠 처리 장치는 다음 신택스 정보를 선정하고, 선정된 신택스 정보를 이용하여 단계 620부터의 과정을 수행한다.If the same type identification information as the type identification information does not exist in
단계 630에서 유형 확인 정보와 동일한 유형 식별 정보가 존재하는 경우, 단계 650에서 멀티미디어 컨텐츠 처리 장치는 해당 유형 식별 정보에 상응하는 인터페이스 식별 정보에 따른 API로 멀티미디어 컨텐츠를 전송한다.If the same type identification information as the type identification information exists in
단계 660에서 멀티미디어 컨텐츠 처리 장치는 API를 통해 수신한 멀티미디어 컨텐츠를 인코딩 또는 디코딩하는 과정을 수행하여 출력 데이터를 생성한다. 이 때, 출력 데이터는 멀티미디어 컨텐츠가 원본 동영상 등의 로우(RAW) 데이터인 경우, 로우 데이터를 인코딩한 비트스트림일 수 있다. 또한 출력 데이터는 멀디미디어 컨텐츠가 임의의 표준에 따라 인코딩된 비트트스림인 경우, 이를 디코딩하여 산출된 로우 데이터일 수 있다.In
단계 670에서 멀디미디어 컨텐츠 처리 장치는 출력 데이터를 어플리케이션으로 전송한다.
In
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the embodiment for the present invention. Many embodiments other than the above-described embodiments are within the claims of the present invention. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. The disclosed embodiments should, therefore, be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (10)
상기 유형 식별 정보를 참조하여 어플리케이션으로부터 수신한 멀티미디어 컨텐츠의 유형을 식별하고, 상기 멀티미디어 컨텐츠의 유형에 따라 지정된API(Application Programming Interface)를 호출하는 미디어 식별부; 및
상기 멀티미디어 컨텐츠를 처리하는 하나 이상의 API를 제공하는 미디어 처리부를 포함하되,
상기 미디어 식별부는 상기 유형 확인 정보와 동일한 상기 유형 식별 정보가 컨테이너 비트스트림(Container Bitstream)을 나타내는 경우, 상기 멀티미디어 컨텐츠로부터 하나 이상의 요소 비트스트림을 추출하고,
각 상기 요소 비트스트림의 유형을 식별하고,
각 상기 요소 비트스트림의 유형에 따라 상기 API를 호출하는 것을 특징으로 하는 멀티미디어 컨텐츠 처리 장치.
An identification information storage unit for storing type identification information for identifying one or more types of multimedia content;
A media identification unit identifying a type of multimedia content received from an application with reference to the type identification information, and calling an API (Application Programming Interface) designated according to the type of the multimedia content; And
A media processing unit for providing one or more API for processing the multimedia content,
The media identification unit extracts one or more element bitstreams from the multimedia content when the type identification information identical to the type identification information indicates a container bitstream.
Identify the type of each said element bitstream,
And calling the API according to the type of each element bitstream.
상기 미디어 식별부는
상기 멀티미디어 컨텐츠로부터 하나 이상의 지정된 파싱 방법 중 어느 하나에 따라 유형 확인 정보를 추출하고,
하나 이상의 지정된 유형 식별 정보 중 상기 유형 확인 정보와 동일한 유형 식별 정보에 상응하는 유형을 상기 멀티미디어 컨텐츠의 유형으로 식별하는 것을 특징으로 하는 멀티미디어 컨텐츠 처리 장치.
The method according to claim 1,
The media identification unit
Extracting type identification information from the multimedia content according to any one or more specified parsing methods,
And identifying a type corresponding to the same type identification information as the type identification information among one or more designated type identification information as the type of the multimedia content.
상기 미디어 식별부는
상기 유형 확인 정보와 상기 유형 식별 정보 중 어느 하나가 동일한 경우, 상기 유형 확인 정보와 동일한 상기 유형 식별 정보에 상응하는 API를 호출하는 것을 특징으로 하는 멀티미디어 컨텐츠 처리 장치.
The method of claim 2,
The media identification unit
And when one of the type identification information and the type identification information is the same, calling the API corresponding to the same type identification information as the type identification information.
상기 미디어 식별부는
상기 유형 확인 정보와 동일한 상기 유형 식별 정보가 존재하지 않는 경우, 하나 이상의 지정된 파싱 방법 중 이전 수행한 상기 파싱 방법 이외의 파싱 방법에 따라 상기 멀티미디어 컨텐츠로부터 상기 유형 확인 정보를 다시 추출하는 것을 특징으로 하는 멀티미디어 컨텐츠 처리 장치.
The method of claim 2,
The media identification unit
If the same type identification information as the type identification information does not exist, the type identification information is re-extracted from the multimedia content according to a parsing method other than the parsing method previously performed among one or more designated parsing methods. Multimedia content processing device.
어플리케이션으로부터 제1 유형 확인 정보를 포함하는 멀티미디어 컨텐츠를 수신하는 단계;
상기 멀티미디어 컨텐츠에 포함된 상기 제1 유형 확인 정보가 컨테이너 비트스트림(Container Bitstream)을 나타내는 경우, 상기 멀티미디어 컨텐츠로부터 하나 이상의 요소 비트스트림을 추출하는 단계;
상기 요소 비트스트림으로부터 제2 유형 확인 정보를 추출하여 상기 요소 비트스트림의 유형을 식별하는 단계;
상기 요소 비트스트림의 유형에 따라 지정된 API(Application Programming Interface)를 호출하는 단계; 및
상기 API를 통해 상기 멀티미디어 컨텐츠를 인코딩 또는 디코딩하여 출력 데이터를 생성하는 단계; 및
상기 출력 데이터를 상기 어플리케이션으로 전송하는 단계를 포함하는 멀티미디어 컨텐츠 처리 방법.
In the multimedia content processing apparatus for processing multimedia content,
Receiving multimedia content including first type identification information from an application;
Extracting one or more element bitstreams from the multimedia content when the first type identification information included in the multimedia content indicates a container bitstream;
Extracting second type identification information from the element bitstream to identify the type of the element bitstream;
Invoking an application programming interface (API) designated according to the type of the element bitstream; And
Generating output data by encoding or decoding the multimedia content through the API; And
And transmitting the output data to the application.
상기 요소 비트스트림의 유형을 식별하는 단계는
상기 요소 비트스트림으로부터 하나 이상의 지정된 파싱 방법 중 어느 하나에 따라 상기 제2 유형 확인 정보를 추출하는 단계; 및
상기 제2 유형 확인 정보가 하나 이상의 미리 지정된 유형 식별 정보 중 어느 하나와 동일한지 판단하는 단계를 포함하는 멀티미디어 컨텐츠 처리 방법.
The method of claim 6,
Identifying the type of the element bitstream
Extracting the second type identification information from the element bitstream in accordance with any one or more specified parsing methods; And
And determining whether the second type identification information is equal to one of one or more predetermined type identification information.
상기 요소 비트스트림의 유형에 따라 지정된 API를 호출하는 단계는
상기 제2 유형 확인 정보와 상기 유형 식별 정보 중 어느 하나가 동일한 경우, 상기 제2 유형 확인 정보와 동일한 상기 유형 식별 정보에 상응하는 API를 호출하는 단계인 것을 특징으로 하는 멀티미디어 컨텐츠 처리 방법.
The method of claim 7, wherein
Calling the specified API according to the type of the element bitstream
And if one of the second type identification information and the type identification information is the same, calling an API corresponding to the same type identification information as the second type identification information.
상기 요소 비트스트림의 유형을 식별하는 단계는
상기 제2 유형 확인 정보와 동일한 상기 유형 식별 정보가 존재하지 않는 경우, 하나 이상의 지정된 파싱 방법 중 이전 수행한 상기 파싱 방법 이외의 파싱 방법을 재선정하는 단계를 더 포함하되,
상기 파싱 방법을 재선정하는 단계 이후, 상기 제2 유형 확인 정보를 추출하는 단계부터의 과정이 다시 수행되는 것을 특징으로 하는 멀티미디어 컨텐츠 처리 방법.
The method of claim 7, wherein
Identifying the type of the element bitstream
If the same type identification information as the second type identification information does not exist, re-selecting a parsing method other than the parsing method previously performed among one or more designated parsing methods,
And after reselecting the parsing method, the process from the step of extracting the second type identification information is performed again.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20090101447 | 2009-10-23 | ||
KR1020090101447 | 2009-10-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110044726A KR20110044726A (en) | 2011-04-29 |
KR101182851B1 true KR101182851B1 (en) | 2012-09-14 |
Family
ID=43900857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100104192A KR101182851B1 (en) | 2009-10-23 | 2010-10-25 | Method and appratus for processing multimedia contents |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101182851B1 (en) |
WO (1) | WO2011049413A2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101260185B1 (en) * | 2011-09-22 | 2013-05-06 | 주식회사 엘지씨엔에스 | Smart settop box and operating method for providing smart service and digital television service using default media player included in single operating systme |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100597537B1 (en) * | 2003-11-27 | 2006-07-07 | 웨이비사운드(주) | Apparatus and method for playing multimedia file |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6216152B1 (en) * | 1997-10-27 | 2001-04-10 | Sun Microsystems, Inc. | Method and apparatus for providing plug in media decoders |
US6934694B2 (en) * | 2001-06-21 | 2005-08-23 | Kevin Wade Jamieson | Collection content classifier |
KR100656927B1 (en) * | 2003-03-19 | 2006-12-12 | 주식회사 케이티프리텔 | System and method of download form multimedia service in mobile communication network |
KR20050041603A (en) * | 2003-10-31 | 2005-05-04 | 박병강 | Method for producing oudio contents having video data and system for decoding the same |
-
2010
- 2010-10-25 KR KR1020100104192A patent/KR101182851B1/en active IP Right Grant
- 2010-10-25 WO PCT/KR2010/007324 patent/WO2011049413A2/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100597537B1 (en) * | 2003-11-27 | 2006-07-07 | 웨이비사운드(주) | Apparatus and method for playing multimedia file |
Also Published As
Publication number | Publication date |
---|---|
WO2011049413A2 (en) | 2011-04-28 |
WO2011049413A3 (en) | 2011-10-27 |
KR20110044726A (en) | 2011-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11533350B2 (en) | Method and apparatus for encoding and transmitting at least a spatial part of a video sequence | |
EP2204044B1 (en) | Multimedia coding and decoding with additional information capability | |
RU2651426C1 (en) | Image encoding and decoding method, device for encoding and decoding and corresponding software | |
US8467442B2 (en) | Image searching device and method, program and program recording medium | |
CN102244783B (en) | Method and system for data processing | |
EP2416577A1 (en) | Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program | |
US8331455B2 (en) | Device and method for encoding/decoding video data | |
CN101675473A (en) | Method and apparatus for processing encoded audio data | |
KR20230125723A (en) | Subpicture signaling in video coding | |
US20140185667A1 (en) | Efficient re-transcoding of key-frame-aligned unencrypted assets | |
CN101268697B (en) | Encoder and decoder | |
KR101182851B1 (en) | Method and appratus for processing multimedia contents | |
CN107635142B (en) | Video data processing method and device | |
EP3941059A1 (en) | Image decoding device, image decoding method, image encoding device, and image encoding method | |
US9083972B2 (en) | Encoder and decoder | |
CN116368798A (en) | Encoding method, decoding method, encoder, decoder, and storage medium | |
CN113261297A (en) | Image processing apparatus and method | |
US8675734B2 (en) | Method and apparatus for coding and decoding using bit-precision | |
KR101200084B1 (en) | Method and apparatus for processing multimedia contents | |
TW202131682A (en) | Video coding in relation to subpictures | |
US20140376613A1 (en) | Image coding device, image decoding device, image coding method, and image decoding method | |
US20220353524A1 (en) | Parallel forensic marking apparatus and method | |
KR101171373B1 (en) | Decoding device and method for analyzing syntax to decode bit-stream | |
CN1767639B (en) | Method for parsing the size of contents to be reproduced in a mobile communication device | |
CN107005704B (en) | Method and apparatus for processing encoded video data and method and apparatus for generating encoded video data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160705 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180702 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20190624 Year of fee payment: 8 |