KR20090019499A

KR20090019499A - 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치

Info

Publication number: KR20090019499A
Application number: KR1020070083985A
Authority: KR
Inventors: 윤국진; 허남호; 이봉호; 이현; 김진웅; 이수인; 이윤진; 임영권
Original assignee: 한국전자통신연구원; 주식회사 넷앤티비
Priority date: 2007-08-21
Filing date: 2007-08-21
Publication date: 2009-02-25
Also published as: WO2009025503A2; KR101382618B1; EP2183924A4; WO2009025503A3; US20110175985A1; EP2183924A2

Abstract

본 발명은 2차원 콘텐츠(contents)와 3차원 콘텐츠인 스테레오스코픽(stereoscopic) 콘텐츠가 혼합되어 있는 콘텐츠를 처리하기 위한 콘텐츠 정보를 생성하는 방법 및 상기 콘텐츠 정보를 이용한 콘텐츠 처리 장치에 관한 것으로, 콘텐츠의 장면 변화의 횟수를 나타내는 제1 필드를 콘텐츠 정보에 추가하고, 상기 장면 변화가 있는 경우 복수의 형식에 각각 대응하는 복수의 장면 각각에 관한 정보를 포함하는 제2 필드를 상기 콘텐츠 정보에 추가한다.

스테레오스코픽 기술자, 3차원 콘텐츠, 입체영상, 객체 기술자, MP4

Description

콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠 처리 장치{METHOD FOR MAKING A CONTENTS INFORMATION AND APPARATUS FOR MANAGING CONTENS USING THE CONTENTS INFORMATION}

본 발명은 콘텐츠 정보 생성방법 특히, 2차원 콘텐츠(contents)와 3차원 콘텐츠인 스테레오스코픽(stereoscopic) 콘텐츠가 혼합되어 있는 콘텐츠를 처리하기 위한 콘텐츠 정보인 스테레오스코픽 기술자(descriptor)를 생성하는 방법 및 상기 스테레오스코픽 기술자를 이용한 콘텐츠 처리 장치에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D방송기술개발].

엠펙-4(MPEG-4)기반으로 콘텐츠를 전송하기 위해서는 초기객체기술자(Initial Object Descriptor, IOD), 장면기술자(Binary format for Scene, BIFS), 객체기술자(Object Descriptor, OD)및 미디어 데이터가 필요하다.

초기객체기술자는 엠펙-4 세션에서 최초로 전송되는 데이터로서 장면기술자 스트림이나 객체기술자 스트림에 대한 정보를 가진 기술자이다.

콘텐츠는 정지영상, 텍스트, 동영상, 오디오 등 여러 미디어 객체가 포함되는데, 장면기술자는 이러한 미디어 객체들 간의 공간적 위치, 시간적 관계를 표현한다.

객체기술자는 장면기술자와 미디어 객체의 관련성과 복호에 필요한 정보를 포함하는 기술자이다.

그러나 엠펙-4의 객체기술자는 2차원 동영상 처리에 초점이 맞추어 있어, 3차원 동영상을 처리하지 못하는 문제가 있었다.

이에 3차원 동영상 처리를 지원하는 객체기술자를 이용한 동영상 처리방법에 관한 종래기술로서, 한국 특허출원번호 제10-2003-0089159호 "엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법"이 등장했다.

상기 선행 특허는 3차원 동영상 종류(영상이 양안식 3차원 동영상인지 다시점 3차원 동영상인지를 표현하는 정보), 디스플레이방식(양안식 3차원 동영상에 대해서는 2차원/필드셔터링/프레임셔터링/편관 디스플레이 방식, 다시점 3차원 동영상에 대해서는 2차원/파노라마/스테레오 디스플레이 방식), 카메라수, 시점수, 시점에 따른 미디어 스트림 개수 정보를 포함하는 객체기술자의 구조를 제안하고, 위와 같은 구조의 객체기술자를 이용한 3차원 동영상 처리 장치를 제공한다.

그러나 종래기술은 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성된 콘텐츠를 처리하지 못하는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성된 콘텐츠를 처리하기 위한 콘텐츠 정보 생성방법 및 상기 콘텐츠 정보를 이용한 콘텐츠 처리 장치를 제공하는 것이다.

상기 과제를 달성하기 위해, 본 발명의 하나의 특징에 따른 콘텐츠 정보 생성 방법은 콘텐츠의 장면 변화의 횟수를 나타내는 제1 필드를 콘텐츠 정보에 추가하고, 상기 장면 변화가 있는 경우 복수의 형식에 각각 대응하는 복수의 장면 각각에 관한 정보를 포함하는 제2 필드를 상기 콘텐츠 정보에 추가한다.

상기 과제를 달성하기 위해, 본 발명의 다른 특징에 따른 콘텐츠 정보 생성 방법은 콘텐츠의 장면 변화 횟수를 나타내는 제1 필드를 콘텐츠 정보에 추가하고, 상기 장면 변화가 없는 경우 콘텐츠의 형식에 대한 정보를 포함하는 제2 필드를 콘텐츠 정보에 추가한다.

상기 과제를 달성하기 위해, 본 발명의 또 다른 특징에 따른 콘텐츠 처리장치는 장면기술자, 객체기술자 및 스테레오스코픽기술자를 생성하는 제어신호 생성수단, 미디어 데이터 및 상기 제어신호 생성수단으로부터 입력되는 제어신호를 부호화하여 부호화 스트림(Elementary Stream, ES)을 출력하는 부호화 수단 및 상기 부호화 스트림을 입력 받아 파일을 생성하는 수단을 포함하고, 상기 스테레오스코 픽기술자는 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성되는 경우 콘텐츠를 디코딩하고 재생하는데 필요한 정보를 포함한다.

본 발명에 의하면 스테레오스코픽 기술자를 이용하여 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성된 콘텐츠를 처리할 수 있고, 3D(Dimensional) 단말에서 상기 스테레오스코픽 기술자에 포함된 시작프레임인덱스 및 콘텐츠포맷 정보를 이용하여 자동으로 베리어를 온/오프(On/off)할 수 있다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드 웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

먼저, 본 발명의 실시예에 따른 스테레오스코픽 기술자를 이용한 콘텐츠 처리 장치에서 지원하는 콘텐츠의 구성형태를 설명한다. 콘텐츠는 동영상과 정지영상을 포함한다.

도 1은 본 발명의 실시예에 따른 콘텐츠 처리 장치에서 지원하는 콘텐츠의 구성형태들을 나타낸 도면이다. 도 1에서 가로축은 시각을 나타내고, 2D는 2차원 콘텐츠를 의미하고, 3D는 3차원 콘텐츠를 의미한다. 도 1(a)내지 (d)는 각각의 콘텐츠의 구성형태에 대해서 시각에 따라 전송하는 콘텐츠의 형식을 나타내고 있다.

도 1(a)는 특정시간에만 3차원 콘텐츠로 구성되고 나머지 시간은 2차원 콘텐츠로 구성된 형태를 나타낸다. 즉, 도 1(a)의 구성형태는 t1시점부터 t2시점까지만 3차원 콘텐츠로 구성되어 있고 나머지 시점에서는 2차원 콘텐츠로 구성되어 있는 형태이다.

도 1(b)는 특정시간에만 2차원 콘텐츠로 구성되고 나머지 사간은 3차원 콘텐츠로 구성된 형태를 나타낸다. 즉, 도 1(b)의 구성형태는 t1시점부터 t2시점까지만 2차원 콘텐츠로 구성되어 있고 나머지 시점에서는 3차원 콘텐츠로 구성되어 있는 형태이다.

도 1(c)는 단일한 형식의 3차원 콘텐츠로 구성된 형태를 나타낸다. 이때, 3차원 콘텐츠는 좌영상과 우영상을 포함하는데, 상기 좌영상과 우영상이 하나의 소스로부터 제공될 수도 있고 두 개의 소스로부터 제공될 수도 있다. 도 1(C) 및 (d)에서 option은 좌영상과 우영상이 2개의 소스로부터 제공되는 경우를 나타낸다.

도 1(d)는 다양한 형식의 3차원 콘텐츠로 구성된 형태를 나타낸다.

다음, 본 발명의 실시예에 따른 스테레오스코픽 기술자를 이용한 콘텐츠 처리 장치 및 재생 장치에 대해 도 2 및 도 3을 참조하여 설명한다. 도 2는 본 발명의 실시예에 따른 스테레오스코픽 기술자를 이용한 콘텐츠 처리 장치를 나타낸 도면이고 도 3은 본 발명의 실시예에 따른 스테레오스코픽 기술자를 이용한 콘텐츠 재생 장치를 나타낸 도면이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 콘텐츠 처리 장치는 저장장치(210), 3차원 콘텐츠 생성수단(220), 제어신호 생성수단(230), 부호화 수단(240), MP4 파일 생성수단(250) 및 패킷타이징(packetizing) 수단(260)을 포함한다.

저장장치(210)는 카메라를 통해 획득된 콘텐츠를 저장하고, 3차원 콘텐츠 생성수단(220)은 저장장치(210)로부터 전송된 영상의 사이즈 및 컬러 변환하여 3차원 콘텐츠를 생성한다.

제어신호 생성수단(230)은 엠펙-4 장면기술자, 객체기술자, 스테레오스코픽기술자를 생성한다. 스테레오스코픽기술자는 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성되는 경우 콘텐츠를 디코딩하고 재생하는데 필요한 정보를 포함한다.

부호화 수단(240)은 저장장치(210)로부터 입력 되는 2차원 콘텐츠, 3차원 콘텐츠 생성수단(220)으로부터 입력되는 3차원 콘텐츠 및 제어신호 생성수단(230)으로부터 입력되는 엠펙-4 제어신호를 부호화하여 각각의 부호화 스트림(Elementary Stream, ES)을 출력한다.

MP4 파일 생성수단(250)은 상기 각각의 부호화 스트림을 입력 받아 엠펙-4 시스템 규격에 정의된 MP4 파일을 생성한다. 패킷타이징(packetizing) 수단(260)은 MP4 파일 생성수단(250)으로부터 상기 MP4파일을 입력 받아 MP4 파일 내에 포함되어 있는 미디어 데이터와 엠펙-4 제어신호를 추출하여 엠펙-4 시스템 규격에 정의된 패킷을 생성하거나, 부호화 수단(240)으로부터 부호화 스트림을 입력 받아 미디어 데이터와 엠펙-4 제어신호를 추출하여 엠펙-4 시스템 규격에 정의된 패킷을 생성하여 네트워크를 통해 전송한다.

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 콘텐츠 재생 장치는 디패킷타이징(depaceketizing) 수단(310), 복호화 수단(320) 및 디스플레이 수단(330)을 포함한다.

디패킷타이징 수단(310)은 수신한 엠펙-4 패킷을 입력 받아 미디어 데이터를 복원한다. 복호화 수단(320)는 디패킷타이징 수단(310)에서 복원한 미디어 데이터를 복호하여 콘텐츠를 복원한다. 디스플레이 수단(330)은 복원된 콘텐츠를 디스플레이한다.

본 발명의 실시예에 따른 스테레오스코픽 기술자를 나타낸 의사코드에 대해 설명한다. 표 1 내지 3은 각각 본 발명의 실시예에 따른 스테레오스코픽 기술자를 나타낸 의사코드의 예를 나타낸 것이다.

먼저, 표 1을 살펴보면, StereoScopicDescrTag는 스테레오스코픽 기술자 태그를 나타낸다. 표 1와 같이, 장면변화횟수를 나타내는 변수인 Scene_change_number가 0이 아니면 스테레오스코픽 기술자는 ScenechangeSpecificInfo를 포함하고, Scene_change_number가 0이면 스테레오스코픽 기술자는 3비트의 Contents_format을 포함한다. 그리고, 스테레오스코픽 기술자는 1비트의 StereoscopicCamera_setting, 4비트의 Reserved, 16비트의 Baseline, 16비트의 Focal_Length 및 16비트의 ConvergencePoint_distance, 16비트의 Max_disparity 및 16비트의 Min_disparity를 포함한다.

ScenechangeSpecificInfo는 16비트의 Start_AU_index, 3비트의 Contents_format, 5비트 Reserved 및 DecoderSpecificInfo를 포함한다.

표 2와 같이, Scene_change_number에 상관없이 스테레오스코픽 기술자는 ScenechangeSpecificInfo와 Contents_format을 포함하고, ScenechangeSpecificInfo의 구조를 미리 지정해 두지 않고 사용자가 지정하게 할 수도 있다.

그리고 표 3과 같이, StereoscopicCamera_setting, Reserved, Baseline, Focal_Length 및 ConvergencePoint_distance는 별도의 필드인 StereoscopicCameraInfo에 포함되도록 나타내고, Max_disparity 및 Min_disparity는 별도의 필드인 StereoscopicContentsInfo 에 포함되도록 나타낼 수도 있다.

상기 각각의 파라메터와 필드의 의미에 대해서는 아래에서 설명한다.

Class StereoScopic_descriptor extends BaseDescriptor:bit(8) tag= StereoScopicDescrTag{ bit(16) Scenechange_number; if(Scene_change_number){ ScenechangeSpecificInfo[0…255] }else{ bit(3) Contents_format;} bit(1) StereoscopicCamera_setting; bit(4) Reserved=1111; bit(16) Baseline; bit(16) Focal_Length; bit(16) ConvergencePoint_distance; bit(16) Max_disparity; bit(16) Min_disparity;

ScenechangeSpecificInfo{ bit(16) Start_AU_index bit(3) Contents_format bit(5) Reserved bit(nx8) DecoderSpecificInfo[0...1] }

Class StereoScopic_descriptor extends BaseDescriptor:bit(8) tag= StereoScopicDescrTag{ ScenechangeSpecificInfo[0…255] bit(3) Contents_format; bit(1) StereoscopicCamera_setting; bit(4) Reserved=1111; bit(16) Baseline; bit(16) Focal_Length; bit(16) ConvergencePoint_distance; bit(16) Max_disparity; bit(16) Min_disparity; }

Class StereoScopic_descriptor extends BaseDescriptor:bit(8) tag= StereoScopicDescrTag{ bit(16) Scenechange_number; if(Scene_change_number){ ScenechangeSpecificInfo[0...255] }else{ bit(3) Contents_format;} StereoscopicCameraInfo[0...1]; StereoscopicContentsInfo[0...1]; }

StereoscopicCameraInfo{ bit(1) StereoscopicCamera_setting; bit(4) Reserved=1111; bit(16) Baseline; bit(16) Focal_Length; bit(16) ConvergencePoint_distance; }

StereoscopicContentsInfo{ bit(16) Max_disparity; bit(16) Min_disparity; }

이제, 본 발명의 실시예에 따른 스테레오스코픽 기술자의 생성 방법에 대해 도 4 내지 도 8을 참조하여 설명한다.

도 4는 본 발명의 실시예에 따른 스테레오스코픽 기술자의 생성 방법을 나타낸 순서도이다.

도 5는 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성되는 경우 본 발명의 실시예에 따른 스테레오스코픽 기술자의 구조 및 구성요소를 나타낸 도면이고, 도 6은 콘텐츠가 한 가지 형식으로 구성되어 있는 경우 본 발명의 실시예에 따른 스테레오스코픽 기술자의 구조 및 구성요소를 나타낸 도면이다. 본 발명의 실시예에 따른 스테레오스코픽 기술자 구조는 MPEG-2/MPEG-4 시스템기반 스테레오스코픽 콘텐츠를 서비스하기 위한 모든 시스템에 사용 가능하고, 현재 MPEG-2/MPEG-4 systems 규격에서는 스테레오스코픽 기술자를 지원하지 못한다.

먼저, 제어신호 생성수단(230)은 장면변화횟수(Scenechange_number) 필드(510, 610)를 추가한다(S410). 장면변화횟수는 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성된 경우 콘텐츠의 형식이 변하는 횟수를 나타낸다. 장면은 동일한 형식의 콘텐츠가 전송되는 단위를 의미한다.

예를 들어, 도 1(a), (b), (d) 형태의 콘텐츠는 3개의 장면으로 구성되어 있고 장면변화횟수가 2이다. 도 1(c) 형태의 콘텐츠는 1개의 장면으로 구성되어 있고 장면변화횟수가 0이다.

장면변화횟수가 0이 아닐 경우 즉, 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성되어 있어 복수의 장면으로 구성되는 경우에는 제어신호 생성수단(230)은 장면변화상세정보(ScenechangeSpecificInfo) 필드(520)를 추가한다(S420).

장면변화상세정보 필드(520)는 상기 복수의 장면 각각에 관한 정보를 포함하는 필드로서 도 5에 도시된 바와 같이, 상기 복수의 장면 각각에 대해 시작프레임인덱스(Start_AU_index), 콘텐츠포맷(Contents_format), 예약(Reserved) 및 디코더상세정보(DecoderSpecificInfo) 파라메터를 포함한다.

시작프레임인덱스 파라메터는 각 장면의 시작 AU(Access Unit) 번호를 나타낸다. AU는 일반적으로 프레임이 된다.

콘텐츠포맷 파라메터는 콘텐츠의 형식을 나타내는 파라메터이다. 표 4는 콘텐츠포맷 파라메터 값의 한 예를 나타낸다. 모노(mono)는 일반적인 2D 동영상 형식을 의미한다.

3D 콘텐츠의 형식에 대해 도 7을 참조하여 설명한다. 도 7은 3D 콘텐츠의 형식들을 나타낸 도면이다. 스테레오스코픽 콘텐츠는 좌영상과 우영상을 포함하는데, 사이드바이사이드(Sidebyside)는 도 7(a)와 같이 한 프레임 내에 좌영상과 우영상이 좌우로 들어간 형태를 의미한다. 여기서, n은 우영상과 좌영상 각각의 가로 영상 사이즈, m은 세로 영상 사이즈를 의미한다.

탑다운(Top/down)은 도 7(b)와 같이 한 프레임 내에 좌영상과 우영상이 아래위로 들어간 형태를 의미한다.

도 7(c)에 도시된 바와 같이, 필드 시퀀셜(field sequential)은 좌영상과 우영상의 각각의 필드가 번갈아 가며 프레임을 구성하는 형태를 의미한다. 즉, 프레임이 "좌영상의 1번째 수직라인, 우영상의 2번째 수직라인, 좌영상의 3번째 수직라인, 우영상의 4번째 수직라인……" 의 순서로 구성된다.

도 7(d)에 도시된 바와 같이, 프레임 스퀀셜(frame sequential)은 좌영상의 프레임과 우영상의 프레임을 번갈아 가며 전송하는 형태를 의미한다. 즉, "좌영상 1번째프레임, 우영상 1번째 프레임, 좌영상 2번째 프레임, 우영상 2번째 프레임……" 의 순서로 전송된다.

main + additional image or depth/disparity map은 좌영상과 우영상 중 하나의 영상을 주영상으로 하고 나머지 하나의 영상을 부수적인 영상으로 데이터를 구성하거나, 좌영상 또는 우영상을 주영상으로 하고 Depth/disaprity map을 더해 데이터를 구성하는 형태이다.

Depth/disaprity map은 획득된 좌영상과 우영상을 이용하여 별도의 신호처리를 통해 획득된 정보로써 좌영상 또는 우영상과 Depth/disaprity map를 이용하면 스테레오스코픽 영상을 생성할 수 있다. Depth/disaprity map는 image 형태보다 적은 데이터량을 가지는 장점이 있다.

	값	설명
2D	000	Mono
3D	001	Sidebyside
	010	Top/down
	011	Field sequential
	100	Frame sequential
	101	Main + additional image or depth/disparity map
	110~	Reserved

예약(Reserved)은 예약된 비트로서 16비트를 맞추기 위해 삽입된 비트이다.

디코더상세정보(DecoderSpecificInfo) 파라메터는 콘텐츠를 디코딩하는데 필요한 헤더정보를 포함한다. 이때, 3D 콘텐츠 헤더는 기존의 2D 콘텐츠 헤더와 동일한 경우는 표기하지 않는다. 즉, 동일한 헤더정보를 가지면 헤더정보를 중복해서 적지 않는다.

예를 들어, 도 1(a)형태 콘텐츠의 스테레오스코픽 기술자의 장면변화상세정보(520) 필드는 [0,000,11111,2D 콘텐츠 헤더/ 3600,001,11111, 3D 콘텐츠 헤더/5800,000,11111,2D 콘텐츠 헤더]를 포함한다.

일반적인 MPEG-4 시스템은 콘텐츠가 2차원 콘텐츠만으로 구성되거나 단일한 형식의 3차원 콘텐츠만으로 구성된 경우에는 디코딩에 요구되는 헤더정보를 포함하여 전송할 수 있으나, 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성된 경우 디코딩하는데 필요한 헤더정보를 전송하지 못한다. 그런데 본 발명의 실시예에서는 위와 같이 장면변화상세정보 필드(520)를 포함하는 스테레오스코픽 기술자를 이용하여 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성된 경우 디코딩하는데 필요한 헤더정보를 전송할 수 있다.

3D 단말에서는 시작프레임인덱스 및 콘텐츠포맷 정보를 토대로 장면기술자에서 3D 콘텐츠가 활성화될 때, 자동으로 베리어를 온/오프(On/off)할 수 있다. 베리어는 LCD위에 부착되어 스테레오스코픽 영상을 분리하여 좌영상은 왼쪽눈으로 우영상은 오른쪽 눈으로 볼 수 있게 하는 역할을 한다.

장면변화횟수가 0일 경우에는 제어신호 생성수단(230)은 콘텐츠포맷(Contents_format) 필드(620)를 추가한다(S430). 즉, 콘텐츠가 2차원 콘텐츠만으로 구성되거나 단일 형식의 3차원 콘텐츠만으로 구성되는 경우에는 도 6에 도시된 바와 같이, 스테레오스코픽 기술자는 콘텐츠포맷(Contents_format) 필드를 포함하고, 시작프레임인덱스(Start_AU_index), 예약(Reserved), 디코더상세정보(DecoderSpecificInfo) 파라메터는 포함하지 않는다.

다음으로, 제어신호 생성수단(230)은 스테레오스코픽카메라정보(StereoscopicCameraInfo)(530, 630) 필드를 추가한다(S440)

스테레오스코픽카메라정보 필드(530, 630)는 스테레오스코픽 카메라의 정보를 포함하는 필드로서 스테레오스코픽카메라세팅(StereoscopicCamera_setting), 예약(Reserved), 베이스라인(Baseline), 초점거리(Focal_Length), 및 집중점거리(ConvergencePoint_distance) 파라메터를 포함한다.

스테레오스코픽카메라세팅은 3차원 콘텐츠를 제작 또는 촬영할 때의 카메라 배열 형태를 나타낸 것으로 평행식(parallal)과 교차식(cross)이 있다. 도 8은 평행식 및 교차식 카메라 배열을 나타낸 도면이다. 도 8(a)에 도시된 바와 같이 평행식은 두 대의 가메라를 나란히 배열한 형태이고, 교차식은 도 8(b)와 같이 카메라의 촬영방향이 피사체에서 교차로 만나도록 배열한 형태이다.

베이스라인은 두 대의 카메라 사이의 거리를 나타내고, 초점거리는 렌즈로부터 이미지 플레인(plane)까지의 거리를 나타낸다. 이미지 플레인은 영상이 맺혀지는 지점으로서 일반적으로 필름이 된다.

집중점거리는 베이스라인으로부터 집중점까지의 거리를 나타내고, 집중점이란 카메라 배열이 교차식인 경우 피사체에서 교차로 만나는 지점을 의미한다.

제어신호 생성수단(230)은 스테레오스코픽콘텐츠정보(StereoscopicContentsInfo) 필드(540, 640)를 추가한다(S450)

스테레오스코픽콘텐츠정보 필드는 스테레오스코픽 콘텐츠의 격차(disparity)에 관한 정보를 포함하는 필드로서 최대격차(Max_disparity) 및 최소격차(Min_disparity) 파라메터를 포함한다. 격차는 두 대의 카메라에서 획득되는 영상은 차이가 있다. 즉, 좌영상의 특정 포인트(피사체)가 우영상에서는 다소 다른 위치에 있다. 이 영상의 차이를 격차라고 하고, 이 격차의 값을 나타내는 정보를 격차의 크기라고 한다.

최대격차는 3차원 콘텐츠의 최대 격차(disparity)의 크기를 나타내고 최소격차는 3차원 콘텐츠의 최소 격차의 크기를 나타낸다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1은 본 발명의 실시예에 따른 콘텐츠 처리 장치에서 지원하는 콘텐츠의 구성형태들을 나타낸 도면이다.

도 2는 본 발명의 실시예에 따른 스테레오스코픽 기술자를 이용한 콘텐츠 처리 장치를 나타낸 도면이다.

도 3은 본 발명의 실시예에 따른 스테레오스코픽 기술자를 이용한 콘텐츠 재생 장치를 나타낸 도면이다.

도 5는 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성되는 경우 본 발명의 실시예에 따른 스테레오스코픽 기술자의 구조 및 구성요소를 나타낸 도면이다.

도 6은 콘텐츠가 한 가지 형식으로 구성되어 있는 경우 본 발명의 실시예에 따른 스테레오스코픽 기술자의 구조 및 구성요소를 나타낸 도면이다.

도 7은 3D 콘텐츠의 형식들을 나타낸 도면이다.

도 8은 평행식 및 교차식 카메라 배열을 나타낸 도면이다.

Claims

콘텐츠의 장면 변화의 횟수를 나타내는 제1 필드를 콘텐츠 정보에 추가하는 단계; 및

상기 장면 변화가 있는 경우 복수의 형식에 각각 대응하는 복수의 장면 각각에 관한 정보를 포함하는 제2 필드를 상기 콘텐츠 정보에 추가하는 단계를 포함하는 콘텐츠 정보 생성 방법.
제1항에 있어서,

상기 제2 필드는

상기 복수의 장면 각각의 시작 프레임에 대한 정보; 및

상기 복수의 장면에 각각 대응하는 상기 복수의 형식에 대한 정보를 포함하는 콘텐츠 정보 생성 방법.
제2항에 있어서,

상기 제2 필드는

상기 복수의 장면 각각을 디코딩하는데 필요하고 상기 복수의 장면 각각에 대응하는 복수의 헤더정보를 더 포함하는 콘텐츠 정보 생성 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 콘텐츠를 촬영한 카메라의 정보를 포함하는 제3 필드를 콘텐츠 정보에 추가하는 단계를 더 포함하는 콘텐츠 정보 생성 방법.
제4항에 있어서,

상기 제3 필드는

상기 콘텐츠를 촬영하는 복수의 카메라의 배열 형태에 대한 정보;

상기 복수의 카메라 사이의 거리인 베이스라인에 대한 정보;

상기 복수의 카메라의 렌즈와 이미지 플레인(plane)의 거리인 초점거리에 대한 정보; 및

상기 베이스라인과 집중점의 거리에 대한 정보를 포함하는 콘텐츠 생성방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 복수의 장면의 콘텐츠간의 격차(disparity)에 관한 정보를 포함하는 제4 필드를 콘텐츠 정보에 추가하는 단계를 더 포함하는 콘텐츠 정보 생성 방법.
제6항에 있어서,

상기 제4 필드는

상기 복수의 장면의 콘텐츠간 최대 격차(disparity)의 크기에 대한 정보; 및

상기 복수의 장면의 콘텐츠간 최소 격차의 크기에 대한 정보를 포함하는 콘텐츠 정보 생성 방법.
콘텐츠의 장면 변화 횟수를 나타내는 제1 필드를 콘텐츠 정보에 추가하는 단계; 및

상기 장면 변화가 없는 경우 콘텐츠의 형식에 대한 정보를 포함하는 제2 필드를 콘텐츠 정보에 추가하는 단계를 포함하는 콘텐츠 정보 생성 방법.
제8항에 있어서,

상기 콘텐츠를 촬영한 카메라의 정보를 포함하는 제3 필드를 추가하는 단계를 더 포함하는 콘텐츠 정보 생성 방법.
제9항에 있어서,

상기 제3 필드는

상기 콘텐츠를 촬영하는 복수의 카메라의 배열 형태에 대한 정보;

상기 복수의 카메라 사이의 거리인 베이스라인에 대한 정보;

상기 복수의 카메라의 렌즈와 이미지 플레인(plane)의 거리인 초점거리에 대한 정보;

상기 베이스라인과 집중점의 거리인 집중점거리에 대한 정보를 포함하는 콘텐츠 정보 생성 방법.
장면기술자, 객체기술자 및 스테레오스코픽기술자를 생성하는 제어신호 생성 수단;

미디어 데이터 및 상기 제어신호 생성수단으로부터 입력되는 제어신호를 부호화하여 부호화 스트림(Elementary Stream, ES)을 출력하는 부호화 수단; 및

상기 부호화 스트림을 입력 받아 파일을 생성하는 수단을 포함하고

상기 스테레오스코픽기술자는 콘텐츠가 2차원 콘텐츠와 3차원 콘텐츠로 혼합되어 구성되거나 다양한 형식의 3차원 콘텐츠가 혼합되어 구성되는 경우 콘텐츠를 디코딩하고 재생하는데 필요한 정보를 포함하는 콘텐츠 처리장치.
제11항에 있어서,

상기 파일 내에 포함되어 있는 상기 미디어 데이터와 상기 제어신호를 추출하여 패킷을 생성하는 패킷타이징(packetizing) 수단을 더 포함하는 콘텐츠 처리장치.
제11항에 있어서,

상기 스테레오스코픽기술자는

복수의 형식에 각각 대응하는 복수의 장면 각각에 관한 정보를 포함하는 장면변화상세정보 필드를 포함하는 콘텐츠 처리장치.
제13항에 있어서,

상기 장면변화상세정보 필드는

상기 복수의 장면 각각의 시작 AU(Access Unit)를 나타내는 복수의 시작프레임인덱스 파라메터;

상기 복수의 장면 각각의 콘텐츠의 형식을 나타내는 복수의 콘텐츠포맷 파라메터; 및

상기 복수의 장면 각각의 콘텐츠를 디코딩하는데 필요한 헤더정보를 포함하는 복수의 디코더상세정보 파라메터를 포함하는 콘텐츠 처리 장치.
제13항 또는 제14항에 있어서,

상기 스테레오스코픽기술자는

스테레오스코픽 카메라의 정보를 포함하는 스테레오스코픽카메라정보 필드를 더 포함하는 콘텐츠 처리 장치.
제15항에 있어서,

상기 스테레오스코픽카메라정보 필드는

3차원 콘텐츠를 촬영하는 복수의 카메라의 배열 형태를 나타내는 스테레오스코픽카메라세팅 파라메터;

상기 복수의 카메라 사이의 거리인 베이스라인을 나타내는 베이스라인 파라메터;

상기 복수의 카메라의 렌즈와 이미지 플레인(plane)의 거리를 나타내는 초점거리 파라메터; 및

상기 베이스라인과 집중점의 거리를 나타내는 집중점거리 파라메터를 포함하는 콘텐츠 처리 장치.
제13항 또는 제14항에 있어서,

상기 스테레오스코픽기술자는

상기 복수의 장면의 콘텐츠간의 격차(disparity)에 관한 정보를 포함하는 스테레오스코픽콘텐츠정보 필드를 더 포함하는 콘텐츠 처리 장치.
제17항에 있어서,

상기 스테레오스코픽콘텐츠정보 필드는

상기 복수의 장면의 콘텐츠간 최대 격차(disparity)의 크기를 나타내는 최대격차 파라메터;

상기 복수의 장면의 콘텐츠간 최소 격차의 크기를 나타내는 최소격차 파라메터를 포함하는 콘텐츠 처리 장치.
제11항 내지 제14항 중 어느 한 항에 있어서,

콘텐츠의 사이즈 및 컬러를 변환하여 3차원 콘텐츠로 변환하는 3차원 콘텐츠 생성수단을 더 포함하는 콘텐츠 처리 장치.