KR101362941B1 - Method and Apparatus for decoding metadata used for playing stereoscopic contents - Google Patents
Method and Apparatus for decoding metadata used for playing stereoscopic contents Download PDFInfo
- Publication number
- KR101362941B1 KR101362941B1 KR20070108435A KR20070108435A KR101362941B1 KR 101362941 B1 KR101362941 B1 KR 101362941B1 KR 20070108435 A KR20070108435 A KR 20070108435A KR 20070108435 A KR20070108435 A KR 20070108435A KR 101362941 B1 KR101362941 B1 KR 101362941B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- media data
- stereoscopic
- stereoscopic content
- metadata
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 스테레오 카메라 또는 CG/애니메이션 저작도구에 의하여 획득되어 생성된 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠를 전송하거나 저장한 뒤 재생하기 위해 새롭게 요구되는 메타 데이터를 제안하고, 제안하는 메타 데이터들이 MPEG-4 초기객체기술자(InitialObjectDescriptor), 객체기술자(Object Descriptor), 기초스트림 기술자(ES_Descriptor)의 구조 내부에 포함되도록 정의하여, 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠가 MPEG-4 systems 기반으로 전송되거나 MP4 파일 기반으로 저장되었을 때 원활히 재생이 가능하도록 한다.
스테레오스코픽 메타데이터, 스테레오스코픽 영상, Stereoscopic Descriptor
The present invention proposes newly required metadata for transmitting or storing content including stereoscopic video and video obtained by a stereo camera or a CG / animation authoring tool, and playing back the proposed metadata. -4 Defined to be included in the structure of InitialObjectDescriptor, Object Descriptor and Elementary Stream Descriptor (ES_Descriptor), so that content including stereoscopic video and video is transmitted based on MPEG-4 systems or MP4. When stored on a file basis, it can be played smoothly.
Stereoscopic Metadata, Stereoscopic Images, Stereoscopic Descriptor
Description
본 발명은 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠를 원활히 재생하기 위하여 필요한 메타데이터를 정의하고 이를 이용한 저장포맷 및 복호화 방법과 장치에 관한 것이다. The present invention relates to a storage format and decoding method and apparatus for defining metadata required for smoothly playing content including stereoscopic video and video.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT차세대핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-403-02, 과제명: 지능형 통합정보 방송(SmaR TV) 기술개발].The present invention is derived from the research conducted as part of the next generation core technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development. [Task Management Number: 2005-S-403-02, Title: Intelligent Integrated Information Broadcasting ) Technology Development].
기존의 2D(모노) 영상 및 동영상을 포함하는 콘텐츠를 유통하여 재생하기 위하여 avi 파일, MPEG-4 MP4파일 등의 포맷이 존재한다. 그러나, 스테레오스코픽 비디오에 대해서는 전송 방식에 대한 연구가 주로 진행되어 왔으며, 2007년 1월부터 MPEG에서 스테레오스코픽 콘텐츠의 재생을 위한 저장포맷에 대한 표준화가 시작되었다. There are formats such as avi files and MPEG-4 MP4 files for distributing and reproducing contents including existing 2D (mono) images and moving images. However, research on the transmission method has been mainly conducted for stereoscopic video, and in January 2007, standardization of a storage format for reproduction of stereoscopic contents in MPEG began.
스테레오 카메라 또는 CG/애니메이션 저작도구에 의하여 획득되어 생성되는 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠를 실시간 전송하거나 비실시간으로 전달하여 재생하고자 할 경우는 일정한 형태의 전송스트림 포맷이나 저장 포맷이 필요하며, 이 포맷에는 콘텐츠의 미디어 데이터와 더불어 재생에 필요한 메타 데이터가 요구된다. When a content including stereoscopic video and video acquired and produced by a stereo camera or a CG / animation authoring tool is to be transmitted in real time or delivered in real time, a certain format of a transport stream or a storage format is required. This format requires meta data for reproduction along with the media data of the content.
본 발명은 스테레오 카메라 또는 CG/애니메이션 저작도구에 의하여 획득되어 생성된 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠를 전송하거나 저장한 뒤 재생하기 위해 새롭게 요구되는 메타데이터를 제안하고, 제안하는 메타 데이터들이 MPEG-4 초기객체기술자(InitialObjectDescriptor), 객체기술자(Object Descriptor), 기초스트림 기술자(ES_Descriptor)의 구조 내부에 포함되도록 정의하여, 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠가 MPEG-4 systems 기반으로 전송되거나 MP4 파일 기반으로 저장되었을 때 원활히 재생이 가능하도록 한다. The present invention proposes metadata newly required for transmitting or storing content including stereoscopic video and video obtained by a stereo camera or a CG / animation authoring tool, and playing back the metadata. -4 Defined to be included in the structure of Initial ObjectDescriptor, Object Descriptor, and Elementary Descriptor (ES_Descriptor), so that contents including stereoscopic video and video are transmitted based on MPEG-4 systems or MP4. When stored on a file basis, it can be played smoothly.
본 발명에서 제안하는 메타 데이터를 포함하는 새로운 기술자는 기존의 초기객체기술자, 객체기술자 및 기초스트림 기술자의 구조와 호환성을 유지하도록 정의하여 기존 플레이어를 가지고 있는 사용자는 2차원 영상을 볼 수 있도록 한다. The new descriptor including the metadata proposed by the present invention is defined to maintain compatibility with the structures of the existing initial object descriptors, object descriptors, and elementary stream descriptors, so that a user having an existing player can view two-dimensional images.
또한, 본 발명에서 제안하는 메타 데이터를 이용하여 사용자의 선택에 의하여 2차원 또는 다양한 스테레오스코픽 디스플레이 모드로 선택하여 재생할 수 있는 기 능을 갖는 스테레오스코픽 플레이어 구조를 제안하여 사용자의 시청방법을 다양하게 지원하도록 한다. In addition, by supporting the user's viewing method variously by suggesting a stereoscopic player structure having a function that can select and play in two-dimensional or various stereoscopic display mode by the user's selection by using the metadata proposed by the present invention Do it.
스테레오스코픽 영상 및 동영상 콘텐츠를 재생하기 위하여 필요한 메타데이터를 정의하고 이를 포함하는 MPEG-4기반 기술자 및 그 구조를 제안하여, 스테레오스코픽 콘텐츠의 전송이나 저장이 가능하도록 하였다. To define stereoscopic video and moving picture content, metadata and MPEG-4 based descriptors including the structure and its structure are proposed to enable transmission or storage of stereoscopic content.
본 발명의 바람직한 일 실시예로서, 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터를 저장한 컴퓨터 판독 기록매체는, 상기 메타 데이터는 수신한 콘텐츠가 스테레오스코픽 콘텐츠인지 2차원 콘텐츠인지를 구별하는 구별코드;를 포함하고, 상기 수신한 콘텐츠가 스테레오스코픽 콘텐츠인 경우, 상기 스테레오스코픽 콘텐츠가 하나의 ES(Elementary Stream, 기초스트림)으로 구성되었는지 두개의 ES로 구성되었는지를 나타내는 ES코드;를 더 포함한다. In a preferred embodiment of the present invention, a computer-readable recording medium storing meta data used for reproducing stereoscopic content may include a distinguishing code for distinguishing whether the received content is stereoscopic content or two-dimensional content. If the received content is stereoscopic content, the ES code indicating whether the stereoscopic content is composed of one ES (Elementary Stream, Elementary Stream) or two ES;
또한, 바람직하게 상기 메타 데이터는 상기 스테레오스코픽 콘텐츠가 하나의 ES로 구성된 경우, 상기 하나의 ES로부터 복호화된 좌우영상의 형태가 탑다운(Top-down), 측면(Side-by-Side), 필드시퀀셜 및 프레임 시퀀셜포맷 중 어느 형태의 포맷인지를 나타내는 ES형태코드; 상기 스테레오스코픽 콘텐츠가 두개의 ES로 구성된 경우, 상기 스테레오스코픽 콘텐츠의 부가미디어데이터가 제2시점영상, 깊이맵 또는 양방향시차맵 중 어느 것에 해당하는지 나타내는 타입코드; 스테레오스코픽 콘텐츠의 메인미디어데이터와 부가미디어데이터 간의 영상크기 정보를 나타 내는 크기코드; 및 기초스트림 기술자(ES_descriptor)에 기술되는 ES가 스테레오스코픽 콘텐츠의 부가미디어데이터인지를 나타내는지를 나타내는 ES플래그코드;중 적어도 하나 이상을 포함하는 것을 특징으로 한다.In addition, preferably, when the stereoscopic content consists of one ES, the form of left and right images decoded from the single ES has a top-down, side-by-side, and field. An ES type code indicating which type of sequential or frame sequential format is present; A type code indicating whether additional media data of the stereoscopic content corresponds to a second viewpoint image, a depth map, or a bidirectional disparity map when the stereoscopic content includes two ESs; A size code indicating image size information between main media data and additional media data of stereoscopic content; And an ES flag code indicating whether the ES described in the elementary stream descriptor ES_descriptor indicates additional media data of stereoscopic content.
본 발명의 또 다른 바람직한 일 실시예로서, 복호화 장치는 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터를 저장한 헤더, 부호화된 메인미디어데이터 및 부가미디어데이터를 포함하는 비트스트림을 수신하는 수신부;를 포함하고, 이 경우 상기 메타데이터는 수신한 콘텐츠가 스테레오스코픽 콘텐츠인지 2차원 콘텐츠인지를 구별하는 구별코드;를 포함하며, 상기 수신한 콘텐츠가 스테레오스코픽 콘텐츠인 경우, 상기 스테레오스코픽 콘텐츠가 하나의 ES(Elementary Stream, 기초스트림)으로 구성되었는지 두개의 ES로 구성되었는지를 나타내는 ES코드;를 더 포함하는 것을 특징으로 한다.In another preferred embodiment of the present invention, the decoding apparatus includes a receiving unit for receiving a bitstream including a header storing meta data used for stereoscopic content reproduction, encoded main media data and additional media data. In this case, the metadata includes a discrimination code for discriminating whether the received content is stereoscopic content or two-dimensional content. When the received content is stereoscopic content, the stereoscopic content is one ES (Elementary). It is characterized in that it further comprises; ES code indicating whether or not consisting of (Stream, elementary stream) or two ES.
본 발명의 또 다른 바람직한 일 실시예로서, 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터를 저장한 헤더, 부호화된 메인미디어데이터 및 부가미디어데이터를 포함하는 비트스트림을 수신하는 수신부; 상기 비트스트림에 포함된 상기 메타데이터를 기초로 사용자에게 2D 모드 또는 3D 모드 중 중 선택할 수 있는 기회를 제공하는 시청모드선택부; 상기 사용자의 선택에 따라 상기 비트스트림을 복호화하여 2D 장면 또는 3D 장면으로 디스플레이하는 디스플레이부;를 포함한다.According to another preferred embodiment of the present invention, a receiver for receiving a bitstream including a header storing metadata used for reproduction of stereoscopic content, encoded main media data and additional media data; A viewing mode selection unit providing a user with an opportunity to select between 2D mode and 3D mode based on the metadata included in the bitstream; And a display unit for decoding the bitstream and displaying the 2D scene or the 3D scene according to the user's selection.
본 발명의 또 다른 바람직한 일 실시예로서, 스테레오스코픽 영상을 복호화하는 방법은 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터를 저장한 헤더, 부호화된 메인미디어데이터 및 부가미디어데이터를 포함하는 비트스트림을 수신하 는 단계; 상기 비트스트림에 포함된 상기 메타데이터를 기초로 사용자에게 2D 모드 또는 3D 모드 중 중 선택할 수 있는 기회를 제공하는 시청모드선택제공단계; 상기 사용자의 선택에 따라 상기 비트스트림을 복호화하여 2D 장면 또는 3D 장면으로 디스플레이하는 단계;를 포함하는 것을 특징으로 한다.In another preferred embodiment of the present invention, a method for decoding a stereoscopic video includes receiving a bitstream including a header storing metadata used for playing stereoscopic content, encoded main media data, and additional media data. The step; A viewing mode selection providing step of providing a user with an opportunity to select between a 2D mode and a 3D mode based on the metadata included in the bitstream; And decoding the bitstream according to a user's selection and displaying the bitstream as a 2D scene or a 3D scene.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the same components of the drawings are denoted by the same reference numerals and signs as possible even if they are shown on different drawings. In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
스테레오스코픽 영상 및 동영상 콘텐츠는 좌우 두 시점의 영상이 짝으로 구성되거나, 한 시점의 영상과 Depth map(깊이 맵) 또는 Disparity map(양방향 시차맵)으로 구성될 수 있다. 후자의 경우는 Depth map 또는 Disparity map을 이용하여 한 시점 영상의 짝이 되는 나머지 한 시점의 영상을 가상으로 생성함으로써 스테레오스코픽 콘텐츠를 만들 수 있게 된다. The stereoscopic video and video content may consist of a pair of images of left and right viewpoints, or may consist of an image of one viewpoint and a depth map or a disparity map. In the latter case, stereoscopic content can be created by virtually generating an image of one view that is a pair of view images using a depth map or a disparity map.
본 발명에서는 한 시점의 영상을 Main 미디어 데이터로 정의하고, 나머지 한 시점의 영상, Depth map 및 Disparity map을 부가 미디어데이터로 정의하여 설명한다. In the present invention, an image of one view is defined as main media data, and an image, a depth map, and a disparity map of the other view are defined as additional media data.
스테레오스코픽 콘텐츠를 디스플레이하는 방법은 여러 가지가 있다. 좌우영상을 겹쳐서 디스플레이하는 편광방식, 좌우영상의 프레임을 교대로 반복하여 재생 하는 프레임 시퀀셜(Frame sequential) 방식, 좌우영상의 필드영상을 교대로 반복하여 재생하는 필드 시퀀셜(Field sequential) 방식, 좌영상의 홀수라인, 우영상의 짝수라인만을 라인 단위로 인터리빙하여 재생하는 방식, 좌영상의 홀수열, 우영상의 짝수열을 픽셀 단위로 인터리빙하여 재생하는 방식이 주로 이용되고 있다. There are several ways to display stereoscopic content. Polarization method that displays left and right images superimposed, Frame sequential method that repeats playback of left and right video frames alternately, Field sequential method that plays field images of left and right video alternately and repeatedly, Left video A method of interleaving and reproducing only odd lines of a right image and an even line of a right image by a line unit, and a method of interleaving and playing an odd column of a left image and an even column of a right image by a pixel unit are mainly used.
본 발명에서 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠를 전송하거나 저장한 뒤 재생하기 위해 새롭게 요구되는 메타 데이터는 크게 다음과 같이 정리될 수 있다. 표 1을 참고하여 설명하면 다음과 같다. In the present invention, newly required metadata for transmitting or storing content including stereoscopic video and video and playing back can be largely organized as follows. Referring to Table 1 as follows.
표 1 은 스테레오스코픽 영상 재생에 필요한 메타데이터를 정리한 목록이다. Table 1 lists the metadata for stereoscopic video playback.
메타 데이터는 구별코드, ES 코드, ES형태코드,크기코드, 타입코드, ES플래그코드를 포함한다. 표 1에서 VisualContentsType는 구별코드, NumberOFVisualES_mius1는 ES코드, StereoVisualFormat는 ES형태코드, StereoAdditionalVisualSize는 크기코드, StereoAdditionalVisualType은 타입코드 및 StereoAdditioanlVisual_ES flag 는 ES플래그코드를 각각 나타낸다. Meta data includes discrimination code, ES code, ES type code, size code, type code, and ES flag code. In Table 1, VisualContentsType is a distinguishing code, NumberOFVisualES_mius1 is an ES code, StereoVisualFormat is an ES type code, StereoAdditionalVisualSize is a size code, StereoAdditionalVisualType is a type code, and StereoAdditioanlVisual_ES flag is an ES flag code.
스테레오스코픽 콘텐츠를 처리하기 위해서는 전송되어 오거나 저장되어 있는 콘텐츠가 스테레오스코픽 콘텐츠인지 기존 2차원 콘텐츠인지를 구별하는 정보가 필요하다. 이를 위해 메타데이터의 구별코드(VisualContentsType)는 수신한 콘텐츠가 스테레오스코픽 콘텐츠인지 2차원 콘텐츠인지를 구별한다. In order to process stereoscopic content, information for distinguishing whether the transmitted or stored content is stereoscopic content or existing two-dimensional content is required. To this end, the identification code (VisualContentsType) of the metadata distinguishes whether the received content is stereoscopic content or two-dimensional content.
구별코드가 수신한 콘텐츠가 스테레오스코픽 콘텐츠임을 나타내는 경우, ES코드(NumberOFVisualES_mius1)는 스테레오스코픽 콘텐츠가 하나의 ES(Elementary Stream, 기초스트림)으로 구성되었는지 두개의 ES로 구성되었는지 정보를 알려준다. 부호화된 스테레오스코픽 기초스트림의 메인 미디어 데이터와 부가 미디어데이터가 한 개의 ES로 구성되어 있는지 각각의 ES로 구성되는지를 나타내는 정보이다.When the discrimination code indicates that the received content is stereoscopic content, the ES code (NumberOFVisualES_mius1) informs whether the stereoscopic content is composed of one ES (Elementary Stream) or two ESs. Information indicating whether the main media data and the additional media data of the encoded stereoscopic elementary stream are composed of one ES or each ES.
ES형태코드(StereoVisualFormat)는 스테레오스코픽 콘텐츠가 하나의 ES로 구성된 경우, 상기 하나의 ES로부터 복호화된 좌우영상의 형태가 한 프레임내 상하로 구분되어 있는 탑다운(Top-down) 형태인지, 한프레임내 좌우로 구분되어 있는 측면(Side-by-Side)형태인지, 좌영상필드와 우영상필드가 교대로 되어 있는 필드시퀀셜(field sequential) 형태인지 좌영상 프레임과 우영상 프레임이 교대로 되어 있는 프레임 시퀀셜(frame sequential) 형태인지를 나타낸다.ES format code (StereoVisualFormat) is, if the stereoscopic content is composed of one ES, whether the form of the left and right images decoded from the one ES is a top-down form that is divided into top and bottom in one frame, one frame Is it a side-by-side type that is divided into left and right, or is a field sequential type in which left and right video fields are alternately arranged? Indicates whether the frame is in sequential form.
타입코드(StereoAdditionalVisualType)는 스테레오스코픽 콘텐츠가 두개의 ES로 구성된 경우, 상기 스테레오스코픽 콘텐츠의 부가미디어데이터가 제2시점영상, 깊이맵 또는 양방향시차맵 중 어느 것에 해당하는지를 나타낸다. When the stereoscopic content consists of two ESs, the type code (StereoAdditionalVisualType) indicates whether the additional media data of the stereoscopic content corresponds to a second viewpoint image, a depth map, or a bidirectional disparity map.
스테레오스코픽 콘텐츠가 두 개의 ES로 구성되는 경우는 메인미디어데이터와 부가 미디어데이터의 부호화스트림에 각각의 ES_ID를 할당하는 경우로서, 부가 미디어데이터에 대한 메인미디어데이터가 어느 ES인지를 알아야만 복호화 후에 두 개의 미디어데이터를 이용하여 스테레오스코픽 콘텐츠를 생성할 수 있다. When stereoscopic content consists of two ESs, each ES_ID is assigned to an encoded stream of main media data and additional media data. Stereoscopic content may be generated using media data.
따라서 이 경우에는 부가 미디어데이터가 나머지 한시점의 영상인지, Depth map인지, Disparity map인지를 나타내는 메타데이터인 타입코드가 필요하며, 상기에서와 마찬가지로 부가 미디어데이터에 대한 영상크기를 나타내는 메타데이터인 크기코드가 필요하다. Therefore, in this case, a type code, which is metadata indicating whether the additional media data is an image, a depth map, or a disparity map at one time point, is required. As in the above, the size is metadata representing the image size of the additional media data. I need the code.
크기코드(StereoAdditionalVisualSize)는 스테레오스코픽 콘텐츠의 메인미디어데이터와 부가미디어데이터 간의 영상크기 정보를 나타내는 정보로서, 스테레오스코픽 콘텐츠의 부가 미디어데이터가 Main 미디어데이터의 영상크기와 동일한 크기인지, 수평방향 1/2크기인지, 수직방향 1/2크기인지, 수평 및 수직방향 1/2크기인지를 나타낸다. The size code (StereoAdditionalVisualSize) is information indicating image size information between main media data and additional media data of stereoscopic content, and whether the additional media data of stereoscopic content is the same size as the image size of main media data, and the
일 예를 들면, ES형태코드(StereoVisualFormat)가 프레임시퀀셜 형태인 경우에는 부가 미디어데이터로 분류된 나머지 한 시점의 영상(우영상) 크기 정보를 나타내는 크기코드가 필요하다. 왜냐하면, 스테레오스코픽 디스플레이 방식에 있어서 편광방식이나 프레임 시퀀셜 방식의 경우는 좌우영상의 원래 크기의 영상이 모두 디스플레이되지만, 나머지 방식의 경우 원래 크기에서 수평 또는 수직 방향으로 1/2축소된 크기의 영상만으로 스테레오스코픽 콘텐츠를 디스플레이하기 때문이다. For example, when the ES type code (StereoVisualFormat) is in the frame sequential form, a size code indicating the image (right image) size information of the other time point classified as additional media data is required. This is because in the stereoscopic display method, the polarization method or the frame sequential method displays both the original size images of the left and right images, but in the other method, the image is only 1/2 sized in the horizontal or vertical direction from the original size. This is because the stereoscopic content is displayed.
따라서, 좌영상은 2차원 콘텐츠 재생을 고려하여 원래 크기를 유지하는 것으로 하고, 우영상은 스테레오스코픽 콘텐츠 재생시에만 이용되므로, 원영상의 크기, 원영상 크기에서 수평방향 1/2 축소된 크기, 수직방향 1/2 축소된 크기, 또는 수평 및 수직방향으로 각각 1/2 축소된 크기를 가질 수 있는 경우를 모두 고려하여 이를 나타내는 정보인 크기코드가 요구된다.Therefore, the left image is to maintain the original size in consideration of the playback of the two-dimensional content, since the right image is used only when playing stereoscopic content, the size of the original image, the size of the
ES플래그코드(StereoAdditioanlVisual_ES flag)는 기초스트림 기술자(ES_descriptor)에 기술되는 ES가 스테레오스코픽 콘텐츠의 부가미디어데이터인지를 나타낸다.The ES flag code (StereoAdditioanlVisual_ES flag) indicates whether the ES described in the elementary stream descriptor ES_descriptor is additional media data of stereoscopic content.
도 1 (a) 내지 (c) 는 MPEG-4의 객체기술자(ObjectDescriptor), 초기객체기 술자(InitialObjectDescriptor) 및 기초스트림기술자(ES_Descriptor)의 구성도이다.1 (a) to (c) are configuration diagrams of an object descriptor (ObjectDescriptor), an initial object descriptor (InitialObjectDescriptor), and an elementary stream descriptor (ES_Descriptor) of MPEG-4.
도 1 (a) 내지 (c) 는 MPEG-4의 객체기술자(ObjectDescriptor), 초기객체기술자(InitialObjectDescriptor) 및 기초스트림기술자(ES_Descriptor) 각각에 포함되어 있는 'extDescr' 필드는 추후에 필요한 기술자를 추가적으로 기술하기 위하여 MPEG-4 에서 정의된 필드이다. 1 (a) to (c) shows an 'extDescr' field included in each of Object Descriptor, InitialObjectDescriptor, and ES_Descriptor of MPEG-4. This field is defined in MPEG-4.
본 발명에서는 MPEG-4 초기객체기술자(InitialObjectDescriptor), 객체기술자(Object Descriptor), 기초스트림 기술자(ES_Descriptor)의 extDescr 필드 내부에 메타데이터를 기술한 기술자를 포함되도록 정의하여, 스테레오스코픽 영상 및 동영상을 포함하는 콘텐츠가 MPEG-4 systems 기반으로 전송되거나 MP4 파일 기반으로 저장되었을 때 원활히 재생이 가능하도록 한다.In the present invention, a stereoscopic video and a video are defined to include a descriptor describing metadata in an extDescr field of an MPEG-4 InitialObjectDescriptor, an Object Descriptor, and an Elementary Stream Descriptor (ES_Descriptor). When content is transferred based on MPEG-4 systems or stored based on MP4 files, it can be played smoothly.
도 2(a) 및 (b) 는 본 발명에서 제시하는 메타데이터를 기술한 기술자의 예를 도시한다. 2 (a) and 2 (b) show an example of a descriptor describing metadata proposed by the present invention.
본 발명의 메타데이터를 기술한 기술자인 'ObjectStereoscopicDescriptor' 및 'ES_stereoscopicDescriptor' 2 개의 기술자는 MPEG-4에 이미 정의된 객체기술자, 초기객체기술자 및 기초스트림기술자의 구조와 호환성이 유지되도록 기술되는 것을 특징으로 한다. Two descriptors, 'ObjectStereoscopicDescriptor' and 'ES_stereoscopicDescriptor', which describe the metadata of the present invention, are described to maintain compatibility with the structure of object descriptors, initial object descriptors and elementary stream descriptors already defined in MPEG-4. do.
표2는 MPEG-4 part1:systems에 정의되어 있는 기술자 목록을 나타내며, 본 발명에서 제안하는 2개의 기술자를 는 표3에 나타낸 바와 같이 'private value' 값으로 할당하여 기술자 목록에 추가한다.Table 2 shows the descriptor list defined in MPEG-4 part1: systems, and the two descriptors proposed in the present invention are added to the descriptor list by assigning 'private value' as shown in Table 3.
도 2(a) 에 도시된 'ObjectStereoscopicDescriptor' 는 초기객체기술자 또는 객체기술자 내에 포함되어야 하는 정보를 나타내는 기술자로서, 기존의 초기객체기술자 또는 객체기술자의 구조와 호환성을 유지하기 위하여 MPEG-4 초기객체기술자(InitialObjectDescriptor), 객체기술자(Object Descriptor) 내의 'extDescr' 필드에 포함되는 구조를 지닌다. 'ObjectStereoscopicDescriptor' shown in FIG. 2 (a) is a descriptor representing information to be included in an initial object descriptor or an object descriptor, and is an MPEG-4 initial object descriptor in order to maintain compatibility with the structure of an existing initial object descriptor or object descriptor. (InitialObjectDescriptor), and has a structure included in the 'extDescr' field in the object descriptor (Object Descriptor).
따라서, MPEG-4 초기객체기술자(InitialObjectDescriptor), 객체기술자(Object Descriptor) 내에 'ObjectStereoscopicDescriptor' 를 포함하고 있으면 수신한 비트스트림 내의 콘텐츠가 스테레오스코픽 콘텐츠임을 알 수 있다. Therefore, if the MPEG-4 InitialObjectDescriptor and the Object Descriptor include 'ObjectStereoscopicDescriptor', the content in the received bitstream is stereoscopic content.
도 2(a)는 'ObjectStereoscopicDescriptor'에 포함되는 메타데이터 및 구조의 일 실시예를 나타낸다. 2 (a) illustrates an embodiment of metadata and a structure included in an 'ObjectStereoscopicDescriptor'.
'ObjectStereoscopicDescriptor'에서 NumberOfVisualES_mius1=0인 경우(210)는 스테레오스코픽 미디어데이터가 한 개의 ES로 구성되어 있는 경우를 나타내고, ES형태코드(StereoVisualFormat)를 통해 하나의 ES로부터 복호화된 좌우영상의 포맷이Top-down format인지, Side-by-side format인지, Field sequential format인지, Frame sequential format인지를 나타낸다. 이 경우 사용되는 ES형태코드(StereoVisualFormat)의 분류 및 값은 표 4와 같이 정의한다. In the case of 'ObjectStereoscopicDescriptor', when NumberOfVisualES_mius1 = 0 (210) indicates a case in which stereoscopic media data is composed of one ES, the format of the left and right images decoded from one ES by ES type code (StereoVisualFormat) is Indicates whether the format is down, side-by-side, field sequential, or frame sequential. In this case, the classification and value of ES type code (StereoVisualFormat) to be used are defined as shown in Table 4.
또한 메타데이터 기술자인 'ObjectStereoscopicDescriptor'에 부가 미디어데이터량을 줄이기 위하여 영상크기를 축소하여 표현하는 경우를 고려한 메타데이터인 ES형태코드(StereoVisualFormat)가 프레임시퀀셜 포맷을 나타내는 경우 크기코드(StereoAdditionalVisualSize)를 조건부로 포함할 수 있다. 크기코 드(StereoAdditionalVisualSize)는 표 5에 나타낸 바와 같이 4가지로 정의한다. In addition, if the ES format code (StereoVisualFormat), which is a metadata that considers the case of reducing the image size to reduce the amount of additional media data in the metadata descriptor 'ObjectStereoscopicDescriptor', indicates the frame sequential format, the size code (StereoAdditionalVisualSize) is conditionally applied. It may include. Size code (StereoAdditionalVisualSize) is defined in four as shown in Table 5.
'ObjectStereoscopicDescriptor'에서 NumberOfVisualES_mius1=1인 경우(220)는 스테레오스코픽 미디어데이터가 한 개의 오브젝트(object)내에 메인미디어데이터와 부가 미디어데이터에 대한 ES가 각각 존재하는 경우를 나타내고. 크기코드(StereoAdditionalVisualSize)와 타입코드(StereoAdditionalVisualType)를 이용하여 정보를 서술한다. 크기코드는 표 5에 나타난 바와 같이, 타입코드는 표 6에 나타난 바와 같이 분류하여 값을 할당한다. In the case of 'ObjectStereoscopicDescriptor', when NumberOfVisualES_mius1 = 1 (220) represents a case in which stereoscopic media data has an ES for main media data and additional media data in one object. Information is described using the size code (StereoAdditionalVisualSize) and the type code (StereoAdditionalVisualType). As shown in Table 5, the size codes are classified as shown in Table 6 and assigned values.
도 2(b)는 'ES_stereoscopicDescriptor'에 포함되는 메타데이터 및 구조의 일 실시예를 나타낸다. 2 (b) shows an embodiment of metadata and a structure included in 'ES_stereoscopicDescriptor'.
'ES_stereoscopicDescriptor'는 ES_Descriptor 내에 포함되어야 할 정보를 나타내는 기술자로서, 기존의 ES_Descriptor의 구조와 호환성을 유지하기 위하여 ES_Descriptor 내의 'extDescr' 필드 에 하나의 기술자로 포함된다. 'ES_stereoscopicDescriptor' is a descriptor indicating information to be included in ES_Descriptor and is included as one descriptor in 'extDescr' field in ES_Descriptor in order to maintain compatibility with the structure of existing ES_Descriptor.
한 개의 오브젝트(object)내에 메인미디어데이터와 부가 미디어데이터에 대한 ES가 각각 존재하는 경우, 부가 미디어데이터에 대한 ES를 기술하는 ES_Descriptor에서는 'streamDependenceFlag'를 1로 설정하고, 메인미디어데이터를 기술하는 ES_ID값을 포함한다. If there is an ES for main media data and additional media data in one object, ES_Descriptor describing ES for additional media data sets 'streamDependenceFlag' to 1, and ES_ID for describing main media data. Contains a value.
그러나 'streamDependenceFlag'를 1로 설정하더라도 본 ES가 스테레오스코픽 콘텐츠 생성을 위한 메인미디어데이터의 부가 미디어데이터로 한정할 수는 없다. 스테레오스코픽 콘텐츠가 아니더라도 한 개의 오브젝트 내에 여러 개의 ES가 존재하여 'streamDependenceFlag'를 1로 설정할 수 있기 때문이다. However, even if 'streamDependenceFlag' is set to 1, this ES cannot be limited to additional media data of main media data for generating stereoscopic content. This is because 'ESD' can be set to 'streamDependenceFlag' because there are several ESs in one object even if it is not stereoscopic contents.
따라서, 'ObjectStereoscopicDescriptor'에서 NumberOfVisualES_mius1=1로 설정되어 한 개의 오브젝트 내의 스트레오스코픽 미디어데이터에 메인미디어데이터와 부가 미디어데이터에 대한 ES가 각각 존재하는 경우, 'ES_stereoscopicDescriptor'를 'ES_Descriptor'에 추가하여, 본 ES가 스테레오스코픽 콘텐츠를 생성하기 위한 부가 미디어 데이터임을 나타낸다. 'ES_stereoscopicDescriptor'는 도 2(b)에 도시된 바와 같이 ES플래그코드(StereoAdditionalVisual_ES flag)값을 지니고, 표 7과 같이 정의된다.Therefore, when the number of VisualES_mius1 = 1 is set in 'ObjectStereoscopicDescriptor' and the ES for the main media data and the additional media data exist in the stereoscopic media data in one object, the 'ES_stereoscopicDescriptor' is added to the 'ES_Descriptor'. Denotes additional media data for generating stereoscopic content. 'ES_stereoscopicDescriptor' has an ES flag code (StereoAdditionalVisual_ES flag) value as shown in FIG. 2 (b) and is defined as shown in Table 7 below.
ES플래그코드(StereoAdditionalVisual_ES flag)값이 1로 설정되면, 'ES_Descriptor'내의 'DependsOn_ES_ID'에 기술된 ES가 메인미디어데이터이고, 본 ES가 부가미디어데이터인 스테레오스코픽 콘텐츠로 인식한다.If the ES flag code (StereoAdditionalVisual_ES flag) value is set to 1, the ES described in 'DependsOn_ES_ID' in the 'ES_Descriptor' is recognized as main media data, and the ES is recognized as stereoscopic content which is additional media data.
도 3 은 본 발명의 스테레오스코픽 콘텐츠 재생을 위한 복호화 장치의 구성도를 도시한다. 3 is a block diagram of a decoding apparatus for reproducing stereoscopic content of the present invention.
메타데이터를 포함하여 전송되거나 저장된 스테레오스코픽 콘텐츠의 스트림를 재생하는 스테레오스코픽 플레이어는 미디어데이터를 복호화한 후, 스테레오스코픽 콘텐츠를 디스플레이하는 방식에 맞도록 미디어데이터 포맷을 변환하여 디스플레이 할 수 있어야 하며, 2차원 디스플레이 모드와 스테레오스코픽 디스플레이 모드를 사용자가 선택할 수 있는 기능을 포함하여야 한다. A stereoscopic player that plays a stream of stereoscopic content that has been transmitted or stored, including metadata, must be able to decode the media data and then convert and display the media data format to match the manner in which the stereoscopic content is displayed. Includes a user-selectable display mode and stereoscopic display mode.
이를 위해 본 발명의 복호화 장치는 수신부(310), 시청모드선택부(320), 콘텐츠생성부(330) 및 디스플레이부(340)를 포함한다. To this end, the decoding apparatus of the present invention includes a
수신부(310)는 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터를 저장 한 헤더, 부호화된 메인미디어데이터 및 부가미디어데이터를 포함하는 비트스트림을 수신한다. 복호화부에서 수신한 비트스트림을 복호하여 콘텐츠 재생부로 복호화된 메타데이터와 미디어데이터를 전송한다. The
시청모드선택부(320)에서는 메타데이터를 기초로 사용자에게 2D 모드 또는 3D 모드 중 중 선택할 수 있는 기회를 제공한다. 현재 수신한 비트스트림이 스테레오스코픽 콘텐츠인 경우 복호화부에서 복호화된 3D 콘텐츠를 플레이한다. 이 경우 디스플레이되는 화면에 3D 콘텐츠임을 나타내는 표시나 로그를 삽입한다. 즉, 사용자는 3D 콘텐츠인 경우 시청모드선택부(320)를 통해 3D 또는 2D로 선택하여 시청할 수 있다. The viewing
콘텐츠 생성부(330)는 복호된 데이터와 시청모드 선택부(320)로부터 입력된 사용자입력을 이용하여 복호화 장치의 일 예인 플레이어의 디스플레이부 판넬에 맞는 형태의 콘텐츠를 생성한다. 일 실시예로서, 플레이어에 장착된 디스플레이 판넬이 좌우영상을line-by-line으로 interleaving된 프레임을 입력으로 받아서 스테레오스코픽 콘텐츠를 재생하는 경우, 좌우영상은 각각 좌영상의 원래 크기에 비해 수직방향으로 1/2축소된 크기의 좌우영상을 line-by-line으로 인터리빙한 스테레오스코픽 콘텐츠가 생성된다.The
디스플레이부(340)는 콘텐츠 생성부(330)에서 출력되는 영상을 입력받아 재생한다. 사용자의 선택에 따라 콘텐츠 생성부(330)에서 출력되는 콘텐츠 영상을 2D 장면 또는 3D 장면으로 디스플레이한다. The
이 경우, 3D 디스플레이 모드로 선택이 되면, 부호화되어 있는 메인 미디어 데이터와 부가 미디어 데이터를 모두 복호하여 3D 장면을 생성하여 출력하고, 2D 디스플레이 모드로 선택이 되면, 메인 미디어 데이터만 복호가 되어 2D 장면을 출력한다. In this case, when the 3D display mode is selected, the encoded main media data and the additional media data are decoded to generate and output a 3D scene. When the 2D display mode is selected, only the main media data is decoded and the 2D scene is decoded. Outputs
콘텐츠 생성부(330)에서 시청모드선택부(320)를 통해 입력된 사용자가 원하는 디스플레이 모드가 2D 모드인 경우, 디스플레이부(340)에서는 미디어데이터에서 메인미디어데이터를 추출하여 출력하고, StereoMode인 경우는 ObjectStereosocpicDescriptor에 포함된 StereoVisualFormat, StereoAdditionalVisualType, StereoAddtionalVisualSize 메타데이터 및 ES_StereoscopicDescriptor에 포함된 StereoAdditionalVisual_ES flag 정보를 이용하여 각각 좌영상의 원래 크기에 비해 수직방향으로 1/2축소된 크기의 좌우영상으로 크기를 변환한 후, line-by-line으로 인터리빙한다. When the display mode desired by the user input through the viewing
일 예를 들면, ObjectStereosocpicDescriptor에 포함된 StereoVisualFormat정보가 Top-down format인 경우는 좌우영상이 한 프레임내에서 상하로 구성되어 있는 포맷이므로 좌우영상을 분리하여 line-by-line으로 인터리빙하여 출력하고, Side-by-side format인 경우는 좌우영상을 분리하여 수평방향으로 2배 확대하고 수직방향으로 1/2 축소하여 영상크기를 변환한 다음 line-by-line으로 인터리빙하여 출력한다. For example, when the StereoVisualFormat information included in the ObjectStereosocpicDescriptor is a top-down format, since the left and right images are in a top and bottom format in one frame, the left and right images are separated and interleaved in line-by-line for output. In the case of -by-side format, the left and right images are separated and enlarged 2 times in the horizontal direction, 1/2 reduced in the vertical direction, and the image size is converted and then interleaved by line-by-line for output.
또한, 필드시퀀셜 포맷인 경우는 각 좌우 필드영상을 한 쌍으로 보고 line-by-line으로 인터리빙하여 출력하고, 프레임시퀀셜포맷인 경우는 좌영상 프레임은 수직방향으로 1/2 축소하고 우영상 프레임은 StereoAddtionalVisualSize정보를 사 용하여 스테레오스코픽 콘텐츠로 생성하여 디스플레이부에서 출력한다. In case of the field sequential format, the left and right field images are viewed as a pair and interleaved in line-by-line.In the case of the frame sequential format, the left image frame is reduced by 1/2 in the vertical direction and the right image frame is It generates stereoscopic contents using StereoAddtionalVisualSize information and outputs it on the display.
즉, StereoAddtionalVisualSize가 좌영상과 동일크기의 영상이라면 수직방향으로 1/2축소하고, 좌영상 크기의 수평방향 1/2 이라면 수평방향으로 2배 확대하고 수직방향으로는 1/2축소한다. That is, if the StereoAddtionalVisualSize is the same size as the left image, the image is reduced 1/2 in the vertical direction, and if the size of the left image is 1/2 in the horizontal direction, the image is enlarged 2 times in the horizontal direction and 1/2 in the vertical direction.
또한 좌영상 크기의 수직방향 1/2이라면 크기에 아무런 변화를 주지 않고, 좌영상 크기의 수평 및 수직방향 1/2인 경우는 수평방향으로 2배 확대한 뒤 좌우영상을 line-by-line으로 인터리빙하여 출력한다, Also, if the size is 1/2 in the vertical direction of the left image, no change is made to the size, and in the horizontal and
또한, ObjectStereosocpicDescriptor에 포함된 StereoAddtionalVisualSize 정보를 바탕으로 우영상 및 Depth map, Disparity map의 크기 변환후, StereoAddtionalVisualType 정보에 의하여 우영상일 경우는 line-by-line으로 인터리빙하여 출력하고, Depth map또는 Disparity map일 경우는 기존의 Depth또는 Disparity기반 가상시점 영상 생성 알고리즘을 이용하여 우측시점의 가상영상을 생성한 뒤 line-by-line으로 인터리빙하여 재생부로 출력한다. In addition, after converting the size of the right image, the depth map, and the disparity map based on the StereoAddtionalVisualSize information included in the ObjectStereosocpicDescriptor, if the right image is output based on the StereoAddtionalVisualType information, interleaving is output line-by-line, and the depth map or the disparity map is In this case, the virtual image of the right view is generated using the existing depth or disparity based virtual view image generation algorithm, and then interleaved line-by-line and output to the playback unit.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. In the drawings and specification, there have been disclosed preferred embodiments. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims.
그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
도 1 (a) 내지 (c) 는 MPEG-4의 객체기술자(ObjectDescriptor), 초기객체기술자(InitialObjectDescriptor) 및 기초스트림기술자(ES_Descriptor)의 구성도이다. 1 (a) to (c) are configuration diagrams of an object descriptor (ObjectDescriptor), an initial object descriptor (InitialObjectDescriptor), and an elementary stream descriptor (ES_Descriptor) of MPEG-4.
도 2(a) 및 (b) 는 본 발명에서 제시하는 메타데이터를 기술한 기술자의 예를 도시한다. 2 (a) and 2 (b) show an example of a descriptor describing metadata proposed by the present invention.
도 3 은 본 발명의 스테레오스코픽 콘텐츠 재생을 위한 복호화 장치의 구성도를 도시한다. 3 is a block diagram of a decoding apparatus for reproducing stereoscopic content of the present invention.
<표의 간단한 설명><Short description of table>
표 1 은 스테레오스코픽 콘텐츠 처리를 위하여 제안한 메타데이터 목록이다.Table 1 is a list of suggested metadata for stereoscopic content processing.
표 2 는 MPEG-4 systems에 정의된 Descriptors에 대한 Class Tags 목록이다.Table 2 lists the Class Tags for Descriptors defined in MPEG-4 systems.
표 3 은 스테레오스코픽 콘텐츠 처리를 위하여 새롭게 제안한 Descriptors에 대한 Class Tags 목록이다.Table 3 lists the Class Tags for the newly proposed Descriptors for processing stereoscopic content.
표 4는 스테레오스코픽 콘텐츠 처리를 위하여 제안한 메타데이터 StereoVisualFormat의 분류이다.Table 4 is a classification of the metadata StereoVisualFormat proposed for stereoscopic content processing.
표 5는 스테레오스코픽 콘텐츠 처리를 위하여 제안한 메타데이터 StereoAdditionalVisualSize의 분류이다.Table 5 shows the classification of the metadata StereoAdditionalVisualSize proposed for stereoscopic content processing.
표 6은 스테레오스코픽 콘텐츠 처리를 위하여 제안한 메타데이터 StereoAdditionalVisualType의 분류이다.Table 6 shows the classification of the metadata StereoAdditionalVisualType proposed for stereoscopic content processing.
표 7은 스테레오스코픽 콘텐츠 처리를 위하여 제안한 메타데이터 StereoAdditionalVisual_ES의 분류이다.Table 7 shows the classification of the metadata StereoAdditionalVisual_ES proposed for stereoscopic content processing.
Claims (20)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009535205A JP5022443B2 (en) | 2006-11-01 | 2007-10-29 | Method of decoding metadata used for playback of stereoscopic video content |
PCT/KR2007/005358 WO2008054100A1 (en) | 2006-11-01 | 2007-10-29 | Method and apparatus for decoding metadata used for playing stereoscopic contents |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060107491 | 2006-11-01 | ||
KR20060107491 | 2006-11-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080039797A KR20080039797A (en) | 2008-05-07 |
KR101362941B1 true KR101362941B1 (en) | 2014-02-17 |
Family
ID=39647752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20070108435A KR101362941B1 (en) | 2006-11-01 | 2007-10-26 | Method and Apparatus for decoding metadata used for playing stereoscopic contents |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5022443B2 (en) |
KR (1) | KR101362941B1 (en) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100002032A (en) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | Image generating method, image processing method, and apparatus thereof |
CN101911713B (en) * | 2008-09-30 | 2014-01-08 | 松下电器产业株式会社 | Recording medium, reproduction device, system LSI, reproduction method, spectacle, and display device associated with 3D video |
KR20100040640A (en) * | 2008-10-10 | 2010-04-20 | 엘지전자 주식회사 | Receiving system and method of processing data |
WO2010041905A2 (en) | 2008-10-10 | 2010-04-15 | 엘지전자주식회사 | Reception system and data processing method |
KR101667723B1 (en) * | 2008-12-02 | 2016-10-19 | 엘지전자 주식회사 | 3d image signal transmission method, 3d image display apparatus and signal processing method therein |
CN104768031B (en) * | 2009-01-26 | 2018-02-09 | 汤姆森特许公司 | Device for video decoding |
CA2758104C (en) | 2009-04-07 | 2015-04-07 | Lg Electronics Inc. | Broadcast transmitter, broadcast receiver and 3d video data processing method thereof |
WO2010126221A2 (en) | 2009-04-27 | 2010-11-04 | Lg Electronics Inc. | Broadcast transmitter, broadcast receiver and 3d video data processing method thereof |
EP2930927A1 (en) * | 2009-04-27 | 2015-10-14 | LG Electronics, Inc. | Broadcast receiver and 3d video data processing method thereof |
JP5407957B2 (en) * | 2009-06-29 | 2014-02-05 | ソニー株式会社 | Stereoscopic image data transmitting apparatus and stereoscopic image data receiving apparatus |
JP5407968B2 (en) * | 2009-06-29 | 2014-02-05 | ソニー株式会社 | Stereoscopic image data transmitting apparatus and stereoscopic image data receiving apparatus |
KR101647408B1 (en) * | 2010-02-03 | 2016-08-10 | 삼성전자주식회사 | Apparatus and method for image processing |
IT1401731B1 (en) | 2010-06-28 | 2013-08-02 | Sisvel Technology Srl | METHOD FOR 2D-COMPATIBLE DECODING OF STEREOSCOPIC VIDEO FLOWS |
US9762884B2 (en) | 2010-09-03 | 2017-09-12 | Sony Corporation | Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints |
BR112013004452A2 (en) * | 2010-09-03 | 2016-06-07 | Sony Corp | coding and decoding devices and methods |
AU2011296954B2 (en) * | 2010-09-03 | 2016-02-11 | Sony Corporation | Encoding device and encoding method, as well as decoding device and decoding method |
JPWO2012029885A1 (en) * | 2010-09-03 | 2013-10-31 | ソニー株式会社 | Image processing apparatus and method |
JPWO2012111757A1 (en) * | 2011-02-18 | 2014-07-07 | ソニー株式会社 | Image processing apparatus and image processing method |
JPWO2012114975A1 (en) | 2011-02-24 | 2014-07-07 | ソニー株式会社 | Image processing apparatus and image processing method |
CN103947206B (en) * | 2011-10-14 | 2018-01-23 | 超威半导体公司 | The method and apparatus of compression of images based on region |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005006114A (en) * | 2003-06-12 | 2005-01-06 | Sharp Corp | Broadcast data transmission device, broadcast data transmitting method, and broadcast data reception device |
WO2005114998A1 (en) * | 2004-05-21 | 2005-12-01 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data |
-
2007
- 2007-10-26 KR KR20070108435A patent/KR101362941B1/en active IP Right Grant
- 2007-10-29 JP JP2009535205A patent/JP5022443B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005006114A (en) * | 2003-06-12 | 2005-01-06 | Sharp Corp | Broadcast data transmission device, broadcast data transmitting method, and broadcast data reception device |
WO2005114998A1 (en) * | 2004-05-21 | 2005-12-01 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data |
Also Published As
Publication number | Publication date |
---|---|
KR20080039797A (en) | 2008-05-07 |
JP2010508752A (en) | 2010-03-18 |
JP5022443B2 (en) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101362941B1 (en) | Method and Apparatus for decoding metadata used for playing stereoscopic contents | |
WO2008054100A1 (en) | Method and apparatus for decoding metadata used for playing stereoscopic contents | |
US8508579B2 (en) | System and method for generating and reproducing 3D stereoscopic image file including 2D image | |
JP7399224B2 (en) | Methods, devices and computer programs for transmitting media content | |
KR101398168B1 (en) | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata | |
US8878836B2 (en) | Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same | |
KR100955578B1 (en) | System and Method for stereoscopic contents display | |
KR20110113186A (en) | Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays | |
US20080252719A1 (en) | Apparatus, method, and system for generating stereo-scopic image file based on media standards | |
US20090199100A1 (en) | Apparatus and method for generating and displaying media files | |
CA2713857C (en) | Apparatus and method for generating and displaying media files | |
EP2242262A2 (en) | Data structure, recording medium, playback apparatus and method, and program | |
WO2009075495A1 (en) | System and method for generating and reproducing image file including 2d image and 3d stereoscopic image | |
KR20090088772A (en) | System and method for generating and playing image file for slide show | |
KR101480186B1 (en) | System and method for generating and playing image file including two dimensional image and three dimensional image | |
KR101390810B1 (en) | Method and apparatus for receiving image data stream comprising parameters for displaying local three dimensional image, and method and apparatus for generating image data stream comprising parameters for displaying local three dimensional image | |
JP5957770B2 (en) | Video processing apparatus, method, program, recording medium, and integrated circuit | |
CN102948154A (en) | Content distribution system, playback device, distribution server, playback method, and distribution method | |
KR101382618B1 (en) | Method for making a contents information and apparatus for managing contens using the contents information | |
KR20080092810A (en) | Apparatus and method for generating file of three dimensional images based on media standards and system thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170206 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180206 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190207 Year of fee payment: 6 |