KR20090026012A

KR20090026012A - 스테레오스코픽 파일을 생성하기 위한 장치 및 방법

Info

Publication number: KR20090026012A
Application number: KR1020080013705A
Authority: KR
Inventors: 이건일; 송재연; 황서영
Original assignee: 삼성전자주식회사
Priority date: 2007-09-07
Filing date: 2008-02-14
Publication date: 2009-03-11
Also published as: KR101434674B1

Abstract

본 발명은 스테레오스코픽 파일을 생성하기 위한 장치에 있어서, 3차원 비디오 데이터를 구성하는 제1 비디오데이터와 제2 비디오데이터를 인코딩하는 인코더와, 기존 ISO 기반 미디어 파일 포맷에 포함된 기존의 박스들중 스테레오스코픽 파일을 저장 및 재생하기 위해 선택된 박스들로 이루어진 스테레오스코픽 파일 포맷의 구성 정보에 따라 상기 인코딩된 제1 비디오데이터와 제2 비디오데이터를 배열하여 스테레오스코픽 파일을 생성하는 파일 생성부를 포함한다.

스테레오스코픽, 미디어 파일

Description

스테레오스코픽 파일을 생성하기 위한 장치 및 방법{Apparatus and method for generating stereoscopic files}

본 발명은 스테레오스코픽 파일을 생성하기 위한 방법 및 장치에 관한 것이다.

종래에는 2D 영상을 저장하기 위한 파일 포맷의 표준에 대해서는 알려져 있으나, 3D 입체영상을 저장하기 위한 파일 포맷의 표준에 대해서는 알려져 있지 않다.

멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 MPEG-1을 시작으로 하여 현재는 MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 이처럼 여러 가지 표준이 개발됨에 따라 서로 다른 표준 기술을 조합하여 하나의 프로파일을 만들어야 할 필요성이 대두되었으며, 이러한 움직임의 하나로서 MPEG-A(MPEG Application: ISO/ICE 230000) 멀티미디어 응용 표준화 활동이 있다. MPEG-A 활동의 하나로서 다양한 멀티미디어 응용 형식(Multimedia Application Format: MAF)을 만들고 있는데, 이러한 멀티미디어 응용 형식은 기존의 MPEG 표준들 뿐만 아니라 비 MPEG 표준들을 함께 조합하여 표준의 활용 가치를 높이는 것을 목적으로 한다. 이렇듯 별도의 표준을 새로 만드는 노력없이 이미 검증된 표준 기술을 쉽게 조합함으로써 멀티미디어 응용 형식을 만들 수 있으며 그 효용가치를 극대화할 수 있다.

　　최근의 영상 기술은 3차원 영상을 구현하는 방식에 대한 연구 쪽으로 활발히 진행되고 있다. 이는 보다 사실적이고 현실감 있는 영상 정보를 표현하기 위함이다. 인간 시각 특성을 활용하여, 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 사용자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정 받고 있다.

일례로 배리어(Barrier) LCD를 장착한 휴대 단말기에서는 스테레오스코픽(stereoscopic) 컨텐츠를 재생하여 사용자에게 좀 더 실감나는 영상을 제공할 수 있게 되었다. 본 명세서에서 스테레오스코픽 컨텐츠는 3차원 영상 데이터를 포함하며, 이를 스테레오스코픽 파일, 또는 스테레오스코픽 데이터라고 칭해질 수 있다. 또한, 모노스코픽 컨텐츠는 2차원 영상 데이터를 포함하며, 이를 모노스코픽 데이터라고 칭해질 수 있다.

일반적인 미디어 파일은 하나의 이미지에 관련한 데이터를 포함하지만, 스테레오스코픽 파일은 좌시점 이미지 데이터와 우시점 이미지 데이터를 포함하며, 또한 3차원 표시에 관련한 정보를 포함한다. 　그러나, 현재에는 전술한 스테레오스코픽 파일의 저장 및 재생을 위한 파일 포맷은 정의되어 있지 않다.

이에 따라 본 발명은 ISO base media file format을 기반으로 스테레오스코픽 컨텐츠의 저장 및 재생을 위한 파일 포맷을 정의하며, 이러한 파일 포맷을 갖는 스테레오스코픽 파일을 생성하는 장치 및 방법을 제공한다.

상술한 바를 달성하기 위한 본 발명은 스테레오스코픽 파일을 생성하기 위한 장치에 있어서, 3차원 비디오 데이터를 구성하는 제1 비디오데이터와 제2 비디오데이터를 인코딩하는 인코더와, 기존 ISO 기반 미디어 파일 포맷에 포함된 기존의 박스들중 스테레오스코픽 파일을 저장 및 재생하기 위해 선택된 박스들로 이루어진 스테레오스코픽 파일 포맷의 구성 정보에 따라 상기 인코딩된 제1 비디오데이터와 제2 비디오데이터를 배열하여 스테레오스코픽 파일을 생성하는 파일 생성부를 포함하는 것을 스테레오스코픽 파일 생성 장치.

본 발명에 따르면, 기존 ISO 기반 미디어 파일 포맷을 기반으로 스테레오스코픽 파일을 정의할 수 있다.

이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

스테레오스코픽 파일은 좌시점 이미지 데이터와 우시점 이미지 데이터를 포함하며, 또한 3차원 표시에 관련한 정보를 포함한다. 　그러나, 스테레오스코픽 파일의 포맷은 규정되어 있지 않다. 스테레오스코픽 파일 포맷을 규정하기 위해 새로운 표준이나 스펙을 논의하는 것은 많은 시간과 노력이 필요하다.

이러한 문제점을 해결하기 위해 본 발명은 기존 미디어 파일 포맷을 이용하여 스테레오스코픽 파일의 포맷을 규정하고, 이러한 스테레오스코픽 파일을 생성하는 장치 및 방법을 제공한다.

구체적으로 본 발명은 ISO 기반 미디어 파일 포맷(ISO-based media file format)을 기반으로 스테레오스코픽 컨텐츠의 저장 및 재생을 위한 파일 포맷을 정의한다. 　　

먼저 본 발명에 따른 스테레오스코픽 파일 포맷을 설명하기 전에, 도 1을 참조하여 종래 표준기술에 의한 2D 영상 파일의 포맷에 대한 블록 구성을 살펴보면 다음과 같다. 도 1은 종래 ISO 14496-12에 따른 2D 영상 파일의 포맷(100)을 나타내고 있다. 이에 따르면, 2D 영상 파일 포맷(100)은 moov 영역(110)과 mdat(120)로 구성된다. 여기서 mdat(120)는 파일 포맷 중 미디어 데이터 영역으로서, 비디오 데이터(103)와 오디오 데이터(104)를 포함한다. 비디오 데이터(103) 및 오디오 데이터(104)는 프레임 단위로 저장된다. moov 영역(110)은 파일 포맷 중 헤더 영역에 해당하며, 객체 기반의 구조로 구성되어 있다. 이는 프레임 레이트(Frame Rate), 비트 레이트(Bit Rate), 이미지 크기 등의 컨텐츠 정보과 FF/REW 등의 재생 기능을 지원하기 위한 동기화 정보 등의 파일 재생을 위한 모든 정보를 포함하고 있다. 특히, 비디오 데이터의 전체 프레임수, 각 프레임의 크기 등의 정보를 포함한다. 재생 장치는 파일 포맷 중 moov 영역을 분석(Parsing)하여 비디오 데이터 및 오디오 데이터를 복원하여 재생할 수 있다.

본 발명은 이러한 기존 ISO 기반 미디어 파일 포맷에 포함된 데이터 박스들중 필요한 박스들을 선택하여 정렬함으로써 스테레오스코픽 파일 포맷 구조를 생성한다.

도 2는 본 발명의 바람직한 실시예에 따른 스테레오스코픽 파일 포맷을 나타낸 도면이다.

스테레오스코픽 파일(300)은 기존 ISO 기반 미디어 파일 포맷에 포함된 박스들중 선택된 박스들을 도 2에 도시된 바와 같이 배열함으로써 생성된다.

ISO 기반 미디어 파일 포맷은 MPEG 표준화 그룹에서 여러 가지 어플리케이션에 사용되는 멀티미디어의 저장 및 재생을 위하여 제정해 놓은 파일 포맷의 기본 구조가 되는 표준이다. 일례로 .mp4, .3gp, .3gp2, .k3g, .skm, 등등의 파일들이 전부 ISO 기반 미디어 파일 포맷의 기본 구조를 기반으로 만들어진 멀티미디어 파일 포맷들이다.

기존 ISO 기반 미디어 파일 포맷에 포함된 박스들에 대한 정의 및 syntax에 대한 설명은 ISO 기반 미디어 파일 포맷(ISO/IEC 14496-12 ISO base media file format) 문서에 기술되어 있으며, 이 문서는 현재 당업자에게 입수 가능하다.

도 2를 참조하면, 스테레오스코픽 파일(300)은 기존 미디오 파일의 구조와 같이 계층적 구조를 갖는다.

스테레오스코픽 파일(300)은 기존 ISO 기반 미디어 파일 포맷에 포함된 기존의 박스들중 스테레오스코픽 컨텐츠를 저장 및 재생하기 위해 필요한 박스들(301~343)을 선택하여 조합(assembly)함으로써 정의된다. 이들 박스들(301~343)은 도 2에 도시된 바와 같은 계층 구조를 가진다. 이들 박스들(301~343)에 대해 간략히 설명하면 다음과 같으며, 그 상세는 전술한 바와 같이, ISO 기반 미디어 파일 포맷(ISO/IEC 14496-12 ISO base media file format) 문서에 기술되어 있다.

ftyp 박스(301)는 파일 타입(file type)과 호환성(compatibility)을 나타내는 박스이다.

moov 박스(303)는 미디어 데이터에 관련한 모든 메타 데이터를 포함한다.

mvhd 박스(305)는 movie header를 나타내는 박스이다.

trak 박스(307)는 각각의 트랙 또는 스트림을 위한 컨테이너이다.

tkhd 박스(309)는 트랙에 관한 전반적인 정보를 포함하는 트랙헤더 박스이다.

mdia 박스(311)는 트랙 안의 미디어 데이터의 정보를 위한 컨테이너이다.

mdhd 박스(313)는 미디어 헤더를 나타내는 박스이다.

hdlr 박스(315)는 미디어 타입을 정의하는 핸들러 박스이다.

minf 박스(317)는 미디어 데이터 정보를 위한 컨테이너이다.

vmhd 박스(319)는 비디오 미디어 헤더 정보를 포함하는 박스이다.

smhd 박스(321)는 사운드 미디어 헤더 정보를 포함하는 박스이다.

hmhd 박스(323)는 힌트 미디어 헤더 정보를 포함하는 박스이다.

nmhd 박스(325)는 Null 미디어 헤더 정보를 포함하는 박스이다.

dinf 박스(327)는 데이터 정보를 위한 컨테이너이다.

dref 박스(329)는 트랙안의 미디어의 소스를 정의하는 데이터 레퍼런스 박스이다.

stbl 박스(331)는 샘플 테이블 박스이다.

stsd 박스(333)는 코덱 타입 정보, 초기화 정보 등을 위한 sample description 박스이다.

stts 박스(335)는 샘플의 디코딩 타임을 나타내는 박스이다.

stsc 박스(337)는 sample-to-chunk 박스로 하나의 chunk에 샘플이 얼마나 들어가 있는지를 나타낸다.

stsz 박스(339)는 샘플들의 비트스트림 사이즈를 나타내는 박스이다.

stco 박스(341)는 chunk offset 박스로 샘플 비트스트림이 저장되어 있는 위치를 나타낸다.

mdat 박스(343)는 미디어 데이터를 포함하는 컨테이너이다.

본 발명에서 정의한 도 2에 보인 스테레오스코픽 파일 포맷을 이용하여 다양한 구조의 스테레오스코픽 컨텐츠 파일을 생성할 수 있다.

이를 위해 본 발명은 스테레오스코픽 컨텐츠 파일의 구조를 나타내는 값을 새롭게 정의하여 사용할 수 있다. 이 경우, 상기 값은 본 발명에 따라 스테레오스코픽 파일 포맷에 포함된 어느 한 박스에 포함될 수 있다.

다르게는, 본 발명은 스테레오스코픽 컨텐츠 파일의 구조를 나타내기 위해 본 발명에 따라 스테레오스코픽 파일 포맷에 포함된 어느 한 박스의 특정 값을 이용할 수 있다. 예컨대, ftyp 박스(301)에서 규정된 brand identifier syntax 값을 이용할 수 있다.

구체적으로, 본 발명은 이 ftyp 박스(301)에서 규정된 brand identifier syntax 값이 ssc1 타입 및 ssc2 타입을 나타낼 수 있도록 정의하여 ES가 1인 스테레오스코픽 컨텐츠와 ES가 2인 스테레오스코픽 컨텐츠의 구분이 가능하도록 정의할 수 있다.

이를 요약하면 다음 표 1과 같다.

Type	Specification
'ssc1'	Stereoscopic contents with 1 ES (Elementary Stream)
'ssc2'	Stereoscopic contents with 2 ES (Elementary Stream)

이를 상세히 설명하면, 스테레오스코픽 파일(300)은 ftyp 박스(301)를 포함한다. 그리고, 이 ftyp 박스(301)의 brand identifier syntax 값이 ssc1 타입 및 ssc2 타입을 각각 지시할 수 있도록 설계된다.

그에 따라, 재생 장치는 소정의 스테레오스코픽 컨텐츠를 재생하는 경우, 스테레오스코픽 파일(300)에 있는 ftyp 박스(301)의 brand identifier syntax 값이 지시하는 바에 따라 해당 스테레오스코픽 파일(300)이 어떤 구조를 가지는 지를 판단할 수 있다.

ftyp 박스(301)의 brand identifier syntax 값이 ssc2 타입을 지시하면 스테레오스코픽 파일은 도 3에 도시된 바와 같은 파일 구조를 갖는다. 스테레오스코픽 파일은 ftyp 박스(301)의 brand identifier syntax 값이 ssc1 타입을 지시하면 도 4에 도시된 바와 같은 파일 구조를 갖는다.

도 3은 ftyp 박스(301)의 brand identifier syntax 값이 'ssc2'인 스테레오스코픽 파일 구조에 대해 보인 것이다.

도 3에 도시된 스테레오스코픽 파일(400)은 ES(Elementary Stream)가 2개(421,422)인 경우의 파일 구조를 갖는다. 각각의 ES(421,422)에 좌시점 영상 및 우시점 영상이 각각 독립적으로 포함되어(실릴 수) 있는 구조이다. 그에 따라, moov 박스(410)에도 각각의 ES(421,422)에 대응한 트랙 헤더들(411, 412)이 포함되어 있다.

도 4은 ftyp 박스(301)의 brand identifier syntax 값이 'ssc1'인 스테레오스코픽 파일 구조에 대해 보인 것이다.

도 4에 도시된 스테레오스코픽 파일(500)은 ES(Elementary Stream)가 1개(521)인 경우의 파일 구조를 갖는다. 하나의 ES(521) 상에 좌시점 비디오 데이터의 샘플 또는 프레임과 우시점 비디오 데이터의 샘플 또는 프레임이 한 프레임 단위로 인터리빙되어 배열되어 있다.

이제, 본 발명에서 정의한 도 2에 보인 스테레오스코픽 파일 포맷을 이용하여 스테레오스코픽 파일을 생성하기 위한 장치 및 방법을 설명한다.

도 5는 본 발명의 실시예에 따른 스테레오스코픽 파일을 생성하기 위한 장치의 블록 구성도를 나타낸다.

스테레오스코픽 파일 생성 장치(200)는 제1카메라(210), 제2카메라(220), 비디오신호처리부(230), 인코더(240), 파일 생성부(250) 및 구성 정보 제공부(260)를 포함한다.

제1카메라(310)는 소정의 피사체를 좌시점 또는 우시점에서 촬영하여 제1 비디오 데이터를 출력하고, 제2카메라(220)는 상기 피사체를 제1카메라(110)와 다른 시점에서 촬영하여 제2 비디오 데이터를 출력한다.

제1카메라(210)와 제2카메라(220)에서 출력된 제1 비디오 데이터와 제2 비디오 데이터는 비디오 신호 처리부(230)에 의해 전처리된다. 여기서 전처리 동작이란 외부의 영상값 즉, 빛과 컬러 성분을 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 타입의 센서를 통해 인식된 아날로그 값을 디지털 값으로 변환하는 것이다.

영상신호처리부(230)에 의해 전처리된 제1 비디오 데이터 및 제2 비디오 데이터를 저장하기 위한 저장부(도시 생략)를 포함할 수도 있다. 또한, 도 5에 나타난 각 구성요소들 사이에 버퍼링을 수행하는 저장 장치를 별도로 도시하지는 않는다. 그리고, 인코더(240)는 제1 비디오 데이터 및 제2 비디오 데이터를 인코딩한다. 인코더(240)의 인코딩 동작은 데이터의 압축에 관한 것으로서, 필요에 따라서 생략될 수도 있다.

파일 생성부(250)는 인코더(240)에서 인코딩된 제1 비디오 데이터 및 제2 비디오 데이터를 이용하여 스테레오스코픽 파일을 생성한다. 이 경우, 파일 생성부(250)는 구성 정보 제공부(260)로부터 본 발명에 따른 스테레오스코픽 파일 포맷을 나타내는 구성 정보를 제공받는다. 이 구성 정보는 파일 생성부(250)가 미리 저장하고 있을 수 있다. 이 경우에는 구성 정보 제공부(260)가 제거될 수 있다.

전술한 바와 같이, 본 발명에 따른 스테레오스코픽 파일 포맷은 도 2에 도시된 바와 같으며, 이 파일 포맷은 기존 ISO 기반 미디어 파일 포맷에 포함된 기존의 박스들중 스테레오스코픽 컨텐츠를 저장 및 재생하기 위해 필요한 박스들(301~343)을 선택하여 조합(assembly)함으로써 정의된다.

한편, 파일 생성부(250)는 스테레오스코픽 파일이 1개의 ES를 포함하는 구조를 갖거나, 2개의 1개의 ES를 포함하는 구조를 가질 수 있다.

전술한 실시예에서, ftyp 박스(301)에서 규정된 brand identifier syntax 값을 이용하여 스테레오스코픽 파일의 구조를 나타낼 수 있다.

도 6은 본 발명의 일 실시 예에 따른 스테레오스코픽 파일을 생성하기 위한 방법에 대한 흐름도이다. 도 6을 참조하면, 촬영단계(S610), 전처리단계(S620), 인코딩단계(S630), 파일생성단계(S640)를 포함한다.

여기서 촬영단계(S510)는 소정의 피사체를 좌시점 또는 우시점에서 촬영하여 제1 비디오 데이터를 출력하고, 나머지 시점에서 촬영하여 제2 비디오 데이터를 출력한다.

전처리단계(S620)는 제1 비디오데이터(222)와 제2비디오데이터를 전처리하는 단계로서, CCD(Charge Coupled Device) 또는 CMOS 타입의 센서를 통해 인식된 제1비디오데이터 및 제2비디오데이터를 아날로그에서 디지털로 변환한다.

그리고 인코딩단계(S630)에서는 저장부(330)에 저장된 제1비디오데이터 및 제2비디오데이터를 인코딩한다. 인코딩단계(S630)는 필요에 따라 생략 가능하다.

파일생성단계(S640)에서는 인코더(240)에서 인코딩된 제1 비디오데이터 및 제2 비디오데이터를 이용하여 스테레오스코픽 파일을 생성한다. 이 파일생성 단계(S640)는 본 발명에 따른 스테레오스코픽 파일 포맷을 나타내는 구성 정보에 따라 기존 ISO 기반 미디어 파일 포맷에 포함된 기존의 박스들중 스테레오스코픽 컨텐츠를 저장 및 재생하기 위해 선택된 박스들(301~343)을 조합(assembly)함으로써 스테레오스코픽 파일을 생성한다.

스테레오스코픽 파일이 1개의 ES를 포함하는 구조를 갖거나, 2개의 1개의 ES를 포함하는 구조를 가질 수 있다. 파일 생성 단계(S640)에서, 스테레오스코픽 파일의 구조를 나타내는 값을 스테레오스코픽 파일 포맷중 하나의 박스에 삽입하거나, 기존 값이 상기 구조를 나타내도록 정의될 수 있다.

도 7은 본 발명의 다른 바람직한 실시예에 따른 스테레오스코픽 파일 포맷을 나타낸 도면이다.

스테레오스코픽 파일(400)은 기존 ISO 기반 미디어 파일 포맷에 포함된 박스들중 선택된 박스들을 도 7에 도시된 바와 같이 배열함으로써 생성된다.

하나 또는 두개의 ES가 스테레오스코픽 컨텐츠와 모노스코픽 컨텐츠의 조합으로 이루어진 경우에 각각의 스테레오 프래그먼트(fragment)에 관련된 카메라 및 디스플레이 safety 정보, 그리고 스테레오스코픽 비디오 미디어 정보를 포함하는 스테레오스코픽 컨텐츠에 대한 파일 포맷을 나타낸 것이다.

도 7에 도시된 스테레오스코픽 파일(400)의 포맷은 도 2에 나타낸 파일 포맷을 기반으로 하며, 필요한 정보들을 위해 기존의 ISO base media file format상에 정의된 box 및 우리가 새로 정의한 box들을 도 2에 도시된 파일 포맷에 추가함으로써 구현된다.

도 7에 나타낸 파일포맷에 나타난 box들에 대한 간단한 설명을 다음에 보인다.

ftyp 박스(401)는 파일 타입(file type)과 호환성(compatibility)을 나타내는 박스이다.

pdin 박스(403)는 파일의 다운로드에 필요한 정보를 갖는 박스이다.

moov 박스(405)는 미디어 데이터를 위한 컨테이너이다.

mvhd 박스(407)는 movie header를 나타내는 박스이다.

trak 박스(409)는 각각의 트랙 또는 스트림을 위한 컨테이너이다.

tkhd 박스(411)는 트랙에 관한 전반적인 정보를 포함하는 트랙헤더 박스이다.

tref 박스(413)는 참조 트랙을 지시하기 위한 컨테이너이다.

edts 박스(415)는 edit list 컨테이너이다.

elst 박스(417)는 presentation time line과 관련된 박스이다.

mdia 박스(419)는 트랙 안의 미디어 데이터의 정보를 위한 컨테이너이다.

mdhd 박스(421)는 media header를 나타내는 박스이다.

hdlr 박스(423)는 미디어 타입을 정의하는 핸들러 박스이다.

minf 박스(425)는 미디어 데이터 정보를 위한 컨테이너이다.

vmhd 박스(427)는 비디오 미디어 헤더 정보를 포함하는 박스이다.

smhd 박스(429)는 사운드 미디어 헤더 정보를 포함하는 박스이다.

hmhd 박스(431)는 힌트 미디어 헤더 정보를 포함하는 박스이다.

nmhd 박스(433)는 Null 미디어 헤더 정보를 포함하는 박스이다.

dinf 박스(435)는 데이터 정보를 위한 컨테이너이다.

dref 박스(437)는 트랙안의 미디어의 소스를 정의하는 데이터 레퍼런스 박스이다.

stbl 박스(439)는 샘플 테이블 박스이다.

stsd 박스(441)는 코덱 타입 정보, 초기화 정보 등을 위한 sample description 박스이다.

stts 박스(443)는 샘플의 디코딩 타임을 나타내는 박스이다.

stsc 박스(445)는 sample-to-chunk 박스로 하나의 chunk에 샘플이 얼마나 들어가 있는지를 나타낸다.

stsz 박스(447)는 샘플들의 비트스트림 사이즈를 나타내는 박스이다.

stz2 박스(449)는 샘플들의 compact한 비트스트림 사이즈를 나타내는 박스이다.

stco 박스(451)는 chunk offset 박스로 샘플 비트스트림이 저장되어 있는 위치를 나타낸다.

co64 박스(453)는 64-bit으로 나타내어지는 chunk offset 박스이다.

stss 박스(455)는 sync sample table 박스이다.

ipmc 박스(457)는 컨텐츠 protection 관련 control 박스이다.

mdat 박스(459)는 미디어 데이터를 포함하는 컨테이너이다.

meta 박스(461)는 부가적인 메타데이터 저장을 위한 컨테이너이다.

hdlr 박스(463)는 메타데이터 타입을 정하는 핸들러 박스이다.

iloc 박스(465)는 item location을 지정하는 박스이다.

iinf 박스(467)는 item 정보를 지정하는 박스이다.

xml 박스(469)는 xml을 위한 컨테이너이다.

bxml 박스(471)는 binary xml을 위한 컨테이너이다.

scdi 박스(473)는 스테레오스코픽 카메라 및 디스플레이 safety 정보를 위한 박스이다.

svmi 박스(475)는 스테레오스코픽 비디오 미디어 정보를 위한 박스이다.

도 7에 도시된 박스들 중 scdi 박스(473) 및 svmi 박스(475)를 제외한 박스들은 ISO base media file format에 정의되어 있는 박스들이다.

scdi 박스(473)의 정의, 신텍스, 시멘틱스(Semantics)는 아래 표 2와 같다.

[Definition] Box Type: 'scdi' Container: Meta Box('meta') Mandatory: Yes Quantity: Exantly one [Syntax] aligned(8) class StereoscopicCameraAndDisplayInformationBox extends FullBox('scdi', version=0, 0) { // stereoscopic camera information unsigned int(1) is_cam_params; unsigned int(7) reserved; if(is_cam_params) { unsigned int(32) baseline; unsigned int(32) focal_length; unsigned int(32) covergence_distance; unsigned int(1) is_camera_cross; unsigned int(7) reserved; if(is_camera_cross) { unsigned int(32) camera_rotation[]; } } // stereoscopic display information unsigned int(1) is_display_safety_info; unsigned int(7) reserved; if(is_display_safety_info) { unsigned int(16) viewing_distance; unsigned int(16) display_size; int(16) min_of_disparity; int(16) max_of_disparity; } } [Semantics] is_cam_params: 카메라 파라미터 정보 포함 여부를 나타냄 baseline: 두 카메라 사이의 거리 focal_length: optical center로부터 image plane까지의 거리 convergence_distance: baseline의 중심으로부터 convergence point까지의 거리 is_camera_cross: 카메라 arrangement를 정의(0: parallel arrangement, 1: cross arrangement) camera_rotation: 물체를 향한 카메라 위치각도 is_display_safety_info: 스테레오스코픽 디스플레이 정보 포함 여부 나타냄 viewing_distance: 사용자와 디스플레이 device 사이의 거리 display_size: 디스플레이 device의 screen size min_of_disparity: 좌영상과 우영상 사이의 mininum disparity max_of_disparity: 좌영상과 우영상 사이의 maximun disparity

svmi 박스(475)는 정의, 신텍스, 시멘틱스(Semantics)는 아래 표 3과 같다.

[Definition] Box Type: 'svmi' Container: Meta Box('meta') Mandatory: Yes Quantity: Exactly on [Syntax] aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', version = 0, 0) //stereoscopic visual type information unsigned int(8) stereoscopic_composition_type; unsigned int(1) is_left_first; unsigned int(7) reserved; // stereoscopic fragment information unsigned int(1) is_all_stereo; unsigned int(7) reserved; if(is_all_stereo == 0) unsigned int(1) is_main_media; unsigned int(7) reserved; unsigned int(32) entry_count; for(i=0; i<entry_count; i++) unsigned int(32) sample_count; unsigned int(8) stereo_flag; [Semantics] stereoscopic_composition_type: 스테레오스코픽 비디오 컨텐츠의 프레임 구성형태(0: side-by-side, 1: vertical line interleaved, 2: frame sequential, 3: monoscopic left image, 4: monoscopic right image) is_left_first: 좌영상과 우영상 중에서 어떤 것이 먼저 인코딩 되는지를 나타냄 is_all_stereo: ES 내의 fragment들이 모두 stereo fragment인지 나타냄(0: 모노, 1: 스테레오) is_main_media: ES 내의 모노스코픽 컨텐츠가 main media인지를 나타냄(0: sub media, 1: main media) entry_count: 연속적인 값을 가지는 sample의 갯수 sample_count: 연속적인 값을 가지는 sample의 갯수 stereo_flag: 현재 프레임이 스테레오인지 모노인지를 나타냄(0: 모노, 1: 스테레오)

본 발명은 상기와 같은 스테레오스코픽 데이터와 모노스코픽 데이터가 조합된 스테레오스코픽 컨텐츠에 대한 파일 포맷을 나타내는 값을 새롭게 정의하여 사용할 수 있다. 이 경우, 상기 값은 본 발명에 따라 스테레오스코픽 파일 포맷에 포함된 어느 한 박스에 포함될 수 있다.

다르게는, 본 발명은 스테레오스코픽 컨텐츠 파일의 구조를 나타내기 위해 기존 스테레오스코픽 파일 포맷에서 정의된 어느 한 박스의 특정 값을 이용할 수 있다.

즉, 본 발명은 상기 특정 값이 ss01 타입 및 ss02 타입을 나타낼 수 있도록 정의하여 해당 스테레오스코픽 컨텐츠가 스테레오스코픽 데이터와 모노스코픽 데이터가 조합된 것인지 또는 스테레오스코픽 데이터로 이루어진 것인지를 나타낸다.

이를 요약하면 다음 표 4와 같다.

Types	Specifications
'ss01	Stereoscopic content without partial monoscopic data
'ss02	Stereoscopic content with partial monoscopic data

상기 표 4에 도시된 값은 예컨대, 전술한 표 1에서 사용되는 ftyp 박스(301)에서 규정된 brand identifier syntax 값을 이용하여 표시될 수 있다.

도 1은 종래 표준기술에 의한 2D 영상 파일의 포맷을 나타낸 도면,

도 2는 본 발명의 바람직한 실시예에 따른 스테레오스코픽 파일 포맷을 나타낸 도면,

도 3은 본 발명의 일실시예에 따른 스테레오스코픽 파일 구조를 나타낸 도면,

도 4는 본 발명의 다른 실시예에 따른 스테레오스코픽 파일 구조를 나타낸 도면,

도 5는 본 발명의 실시예에 따른 스테레오스코픽 파일을 생성하기 위한 장치의 블록 구성도를 나타낸 도면,

도 6은 본 발명의 일 실시 예에 따른 스테레오스코픽 파일을 생성하기 위한 방법에 대한 흐름도를 나타낸 도면,

도 7은 본 발명의 다른 바람직한 실시예에 따른 스테레오스코픽 파일 포맷을 나타낸 도면.

Claims

스테레오스코픽 파일을 생성하기 위한 장치에 있어서,

3차원 비디오 데이터를 구성하는 제1 비디오데이터와 제2 비디오데이터를 인코딩하는 인코더와,

기존 ISO 기반 미디어 파일 포맷에 포함된 기존의 박스들중 스테레오스코픽 파일을 저장 및 재생하기 위해 선택된 박스들로 이루어진 스테레오스코픽 파일의 포맷 구성 정보에 따라 상기 인코딩된 제1 비디오데이터와 제2 비디오데이터를 배열하여 스테레오스코픽 파일을 생성하는 파일 생성부를 포함하는 것을 스테레오스코픽 파일 생성 장치.
제 1항에 있어서, 상기 스테레오스코픽 파일 포맷은 아래와 같은 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.

여기에서, ftyp 박스는 파일 타입(file type)과 호환성(compatibility)을 나타내는 박스이다.

moov 박스는 미디어 데이터에 관련한 모든 메타 데이터를 포함한다.

mvhd 박스는 movie header를 나타내는 박스이다.

trak 박스는 각각의 트랙 또는 스트림을 위한 컨테이너이다.

tkhd 박스는 트랙에 관한 전반적인 정보를 포함하는 트랙헤더 박스이다.

mdia 박스는 트랙 안의 미디어 데이터의 정보를 위한 컨테이너이다.

mdhd 박스는 미디어 헤더를 나타내는 박스이다.

hdlr 박스는 미디어 타입을 정의하는 핸들러 박스이다.

minf 박스는 미디어 데이터 정보를 위한 컨테이너이다.

vmhd 박스는 비디오 미디어 헤더 정보를 포함하는 박스이다.

smhd 박스는 사운드 미디어 헤더 정보를 포함하는 박스이다.

hmhd 박스는 힌트 미디어 헤더 정보를 포함하는 박스이다.

nmhd 박스는 Null 미디어 헤더 정보를 포함하는 박스이다.

dinf 박스는 데이터 정보를 위한 컨테이너이다.

dref 박스는 트랙안의 미디어의 소스를 정의하는 데이터 레퍼런스 박스이다.

stbl 박스는 샘플 테이블 박스이다.

stsd 박스는 코덱 타입 정보, 초기화 정보 등을 위한 sample description 박스이다.

stts 박스는 샘플의 디코딩 타임을 나타내는 박스이다.

stsc 박스는 sample-to-chunk 박스로 하나의 chunk에 샘플이 얼마나 들어가 있는지를 나타낸다.

stsz 박스는 샘플들의 비트스트림 사이즈를 나타내는 박스이다.

stco 박스는 chunk offset 박스로 샘플 비트스트림이 저장되어 있는 위치를 나타낸다.

mdat 박스는 미디어 데이터를 포함하는 컨테이너이다.
제2항에 있어서, 상기 스테레오스코픽 파일은 비디오 데이터의 좌시점 비디오 데이터와 우시점 비디오 데이터를 각각 포함하는 2개의 ES(Elementary Stream) 를 포함하는 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.
제2항에 있어서, 상기 스테레오스코픽 파일은 좌시점 비디오 데이터의 샘플 또는 프레임과 우시점 비디오의 샘플 또는 프레임이 한 프레임 단위로 인터리빙되어 하나의 ES에 배열되는 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.
제3항 또는 제4항에 있어서, 상기 스테레오스코픽 파일은 상기 스테레오스코픽 파일 구조를 나타내는 값을 포함하는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.
제1항에 있어서, 상기 스테레오스코픽 파일 포맷은 아래와 같은 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.

여기에서, ftyp 박스는 파일 타입(file type)과 호환성(compatibility)을 나타내는 박스이다.

pdin 박스는 파일의 다운로드에 필요한 정보를 갖는 박스이다.

moov 박스는 미디어 데이터를 위한 컨테이너이다.

mvhd 박스는 movie header를 나타내는 박스이다.

trak 박스는 각각의 트랙 또는 스트림을 위한 컨테이너이다.

tkhd 박스는 트랙에 관한 전반적인 정보를 포함하는 트랙헤더 박스이다.

tref 박스는 참조 트랙을 지시하기 위한 컨테이너이다.

edts 박스는 edit list 컨테이너이다.

elst 박스는 presentation time line과 관련된 박스이다.

mdia 박스는 트랙 안의 미디어 데이터의 정보를 위한 컨테이너이다.

mdhd 박스는 media header를 나타내는 박스이다.

hdlr 박스는 미디어 타입을 정의하는 핸들러 박스이다.

minf 박스는 미디어 데이터 정보를 위한 컨테이너이다.

vmhd 박스는 비디오 미디어 헤더 정보를 포함하는 박스이다.

smhd 박스는 사운드 미디어 헤더 정보를 포함하는 박스이다.

hmhd 박스는 힌트 미디어 헤더 정보를 포함하는 박스이다.

nmhd 박스는 Null 미디어 헤더 정보를 포함하는 박스이다.

dinf 박스는 데이터 정보를 위한 컨테이너이다.

dref 박스는 트랙안의 미디어의 소스를 정의하는 데이터 레퍼런스 박스이다.

stbl 박스는 샘플 테이블 박스이다.

stsd 박스는 코덱 타입 정보, 초기화 정보 등을 위한 sample description 박스이다.

stts 박스는 샘플의 디코딩 타임을 나타내는 박스이다.

stsc 박스는 sample-to-chunk 박스로 하나의 chunk에 샘플이 얼마나 들어가 있는지를 나타낸다.

stsz 박스는 샘플들의 비트스트림 사이즈를 나타내는 박스이다.

stz2 박스는 샘플들의 compact한 비트스트림 사이즈를 나타내는 박스이다.

stco 박스는 chunk offset 박스로 샘플 비트스트림이 저장되어 있는 위치를 나타낸다.

co64 박스는 64-bit으로 나타내어지는 chunk offset 박스이다.

stss 박스는 sync sample table 박스이다.

ipmc 박스는 컨텐츠 protection 관련 control 박스이다.

mdat 박스는 미디어 데이터를 포함하는 컨테이너이다.

meta 박스는 부가적인 메타데이터 저장을 위한 컨테이너이다.

hdlr 박스는 메타데이터 타입을 정하는 핸들러 박스이다.

iloc 박스는 item location을 지정하는 박스이다.

iinf 박스는 item 정보를 지정하는 박스이다.

xml 박스는 xml을 위한 컨테이너이다.

bxml 박스는 binary xml을 위한 컨테이너이다.

scdi 박스는 스테레오스코픽 카메라 및 디스플레이 safety 정보를 위한 박스이다.

svmi 박스는 스테레오스코픽 비디오 미디어 정보를 위한 박스이다.
제6항에 있어서, 상기 스테레오스코픽 파일은 스테레오스코픽 데이터와 모노스코픽 데이터가 조합된 스테레오스코픽 컨텐츠를 위한 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.
제2항에 있어서, 상기 스테레오스코픽 파일은 스테레오스코픽 데이터로 이루어진 스테레오스코픽 컨텐츠를 위한 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.
제7항 또는 제8항에 있어서, 상기 스테레오스코픽 파일은 상기 스테레오스코픽 파일 구조를 나타내는 값을 포함하는 것을 특징으로 하는 스테레오스코픽 파일 생성 장치.
스테레오스코픽 파일을 생성하기 위한 방법에 있어서,

3차원 비디오 데이터를 구성하는 제1 비디오데이터와 제2 비디오데이터를 인코딩하는 단계와

기존 ISO 기반 미디어 파일 포맷에 포함된 기존의 박스들중 스테레오스코픽 파일을 저장 및 재생하기 위해 선택된 박스들로 이루어진 스테레오스코픽 파일 포맷의 구성 정보에 따라 상기 인코딩된 제1 비디오데이터와 제2 비디오데이터를 배열하여 스테레오스코픽 파일을 생성하는 단계를 포함하는 것을 스테레오스코픽 파 일 생성 방법.
제 10항에 있어서, 상기 스테레오스코픽 파일 포맷은 아래와 같은 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.

여기에서, ftyp 박스는 파일 타입(file type)과 호환성(compatibility)을 나타내는 박스이다.

moov 박스는 미디어 데이터에 관련한 모든 메타 데이터를 포함한다.

mvhd 박스는 movie header를 나타내는 박스이다.

trak 박스는 각각의 트랙 또는 스트림을 위한 컨테이너이다.

tkhd 박스는 트랙에 관한 전반적인 정보를 포함하는 트랙헤더 박스이다.

mdia 박스는 트랙 안의 미디어 데이터의 정보를 위한 컨테이너이다.

mdhd 박스는 미디어 헤더를 나타내는 박스이다.

hdlr 박스는 미디어 타입을 정의하는 핸들러 박스이다.

minf 박스는 미디어 데이터 정보를 위한 컨테이너이다.

vmhd 박스는 비디오 미디어 헤더 정보를 포함하는 박스이다.

smhd 박스는 사운드 미디어 헤더 정보를 포함하는 박스이다.

hmhd 박스는 힌트 미디어 헤더 정보를 포함하는 박스이다.

nmhd 박스는 Null 미디어 헤더 정보를 포함하는 박스이다.

dinf 박스는 데이터 정보를 위한 컨테이너이다.

dref 박스는 트랙안의 미디어의 소스를 정의하는 데이터 레퍼런스 박스이다.

stbl 박스는 샘플 테이블 박스이다.

stsd 박스는 코덱 타입 정보, 초기화 정보 등을 위한 sample description 박스이다.

stts 박스는 샘플의 디코딩 타임을 나타내는 박스이다.

stsc 박스는 sample-to-chunk 박스로 하나의 chunk에 샘플이 얼마나 들어가 있는지를 나타낸다.

stsz 박스는 샘플들의 비트스트림 사이즈를 나타내는 박스이다.

stco 박스는 chunk offset 박스로 샘플 비트스트림이 저장되어 있는 위치를 나타낸다.

mdat 박스는 미디어 데이터를 포함하는 컨테이너이다.
제10항에 있어서, 상기 스테레오스코픽 파일은 비디오 데이터의 좌시점 비디오 데이터와 우시점 비디오 데이터를 각각 포함하는 2개의 ES(Elementary Stream)를 포함하는 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.
제10항에 있어서, 상기 스테레오스코픽 파일은 좌시점 비디오 데이터의 샘플 또는 프레임과 우시점 비디오의 샘플 또는 프레임이 한 프레임 단위로 인터리빙되어 하나의 ES에 배열되는 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.
제12항 또는 제13항에 있어서, 상기 스테레오스코픽 파일은 상기 스테레오스코픽 파일 구조를 나타내는 값을 포함하는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.
제 10항에 있어서, 상기 스테레오스코픽 파일 포맷은 아래와 같은 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.

여기에서, ftyp 박스는 파일 타입(file type)과 호환성(compatibility)을 나타내는 박스이다.

pdin 박스는 파일의 다운로드에 필요한 정보를 갖는 박스이다.

moov 박스는 미디어 데이터를 위한 컨테이너이다.

mvhd 박스는 movie header를 나타내는 박스이다.

trak 박스는 각각의 트랙 또는 스트림을 위한 컨테이너이다.

tkhd 박스는 트랙에 관한 전반적인 정보를 포함하는 트랙헤더 박스이다.

tref 박스는 참조 트랙을 지시하기 위한 컨테이너이다.

edts 박스는 edit list 컨테이너이다.

elst 박스는 presentation time line과 관련된 박스이다.

mdia 박스는 트랙 안의 미디어 데이터의 정보를 위한 컨테이너이다.

mdhd 박스는 media header를 나타내는 박스이다.

hdlr 박스는 미디어 타입을 정의하는 핸들러 박스이다.

minf 박스는 미디어 데이터 정보를 위한 컨테이너이다.

vmhd 박스는 비디오 미디어 헤더 정보를 포함하는 박스이다.

smhd 박스는 사운드 미디어 헤더 정보를 포함하는 박스이다.

hmhd 박스는 힌트 미디어 헤더 정보를 포함하는 박스이다.

nmhd 박스는 Null 미디어 헤더 정보를 포함하는 박스이다.

dinf 박스는 데이터 정보를 위한 컨테이너이다.

dref 박스는 트랙안의 미디어의 소스를 정의하는 데이터 레퍼런스 박스이다.

stbl 박스는 샘플 테이블 박스이다.

stsd 박스는 코덱 타입 정보, 초기화 정보 등을 위한 sample description 박스이다.

stts 박스는 샘플의 디코딩 타임을 나타내는 박스이다.

stsc 박스는 sample-to-chunk 박스로 하나의 chunk에 샘플이 얼마나 들어가 있는지를 나타낸다.

stsz 박스는 샘플들의 비트스트림 사이즈를 나타내는 박스이다.

stz2 박스는 샘플들의 compact한 비트스트림 사이즈를 나타내는 박스이다.

stco 박스는 chunk offset 박스로 샘플 비트스트림이 저장되어 있는 위치를 나타낸다.

co64 박스는 64-bit으로 나타내어지는 chunk offset 박스이다.

stss 박스는 sync sample table 박스이다.

ipmc 박스는 컨텐츠 protection 관련 control 박스이다.

mdat 박스는 미디어 데이터를 포함하는 컨테이너이다.

meta 박스는 부가적인 메타데이터 저장을 위한 컨테이너이다.

hdlr 박스는 메타데이터 타입을 정하는 핸들러 박스이다.

iloc 박스는 item location을 지정하는 박스이다.

iinf 박스는 item 정보를 지정하는 박스이다.

xml 박스는 xml을 위한 컨테이너이다.

bxml 박스는 binary xml을 위한 컨테이너이다.

scdi 박스는 스테레오스코픽 카메라 및 디스플레이 safety 정보를 위한 박스이다.

svmi 박스는 스테레오스코픽 비디오 미디어 정보를 위한 박스이다.
제15항에 있어서, 상기 스테레오스코픽 파일은 스테레오스코픽 데이터와 모노스코픽 데이터가 조합된 스테레오스코픽 컨텐츠를 위한 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.
제15항에 있어서, 상기 스테레오스코픽 파일은 스테레오스코픽 데이터로 이루어진 스테레오스코픽 컨텐츠를 위한 구조를 갖는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.
제16항 또는 제17항에 있어서, 상기 스테레오스코픽 파일은 상기 스테레오스코픽 파일 구조를 나타내는 값을 포함하는 것을 특징으로 하는 스테레오스코픽 파일 생성 방법.