KR101453084B1

KR101453084B1 - 3ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법

Info

Publication number: KR101453084B1
Application number: KR1020070090972A
Authority: KR
Inventors: 이건일
Original assignee: 삼성전자주식회사
Priority date: 2007-09-07
Filing date: 2007-09-07
Publication date: 2014-10-27
Also published as: KR20090025835A

Abstract

본 발명은 3D(Three-Dimensional) 입체영상 파일을 생성 및 재생하기 위한 시스템 및 방법에 관한 것으로서, 제1영상데이터와, 상기 제1영상데이터와 동기화되어 입체영상을 생성하는데 이용되는 제2영상데이터와, 상기 제1영상데이터 및 상기 제2영상데이터의 디코딩을 동기화하기 위한 정보를 포함하는 입체영상 파일을 생성하는 입체영상 파일 생성장치와, 상기 생성된 입체영상 파일이 입력되면 상기 디코딩을 동기화하기 위한 정보에 따라 상기 제1영상데이터 및 상기 제2영상데이터를 동기화하여 디코딩하고 합성(Merge)함으로써 상기 입체영상 파일을 재생하는 입체영상 파일 재생장치를 포함하는, 3D 입체영상 파일을 생성 및 재생하기 위한 시스템을 제공한다.

본 발명에 의하여, 3D 입체영상의 재생시에 3D 입체영상을 좀 더 효율적으로 디코딩하도록 함으로써, 이동통신단말처럼 작은 용량의 메모리를 가진 장치에서도 3D 입체영상을 효율적으로 재생할 수 있는 효과가 있다.

3D 입체영상, 디코딩, 동기화,

Description

3Ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법{PORTABLE TERMINAL AND METHOD FOR GENERATING AND PLAYING THREE DIMENSIONAL IMAGE FILE}

본 발명은 2D 영상 미디어 표준(Two-Dimensional Image Media Standards)을 기반으로 3D 입체영상 파일(Three-Dimensional Image Files)을 생성 및 재생하기 위한 시스템 및 방법에 관한 것이다. 좀 더 구체적으로는 3D 입체영상 파일구조로 이루어진 3D 입체영상 파일의 재생시, 3D 입체영상 파일의 디코딩을 좀 더 효율적으로 하기 위한 시스템 및 방법에 관한 것이다.

종래에는 2D 영상을 저장하기 위한 파일 포맷의 표준에 대해서는 알려져 있으나, 3D 입체영상을 저장하기 위한 파일 포맷의 표준에 대해서는 알려져 있지 않다.

멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 MPEG-1을 시작으로 하여 현재는 MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 이처럼 여러 가지 표준이 개발됨에 따라 서로 다른 표준 기술을 조합하여 하나의 프로파일을 만들어야 할 필요성이 대두되으며, 이러한 움직임의 하나로서 MPEG-A(MPEG Application: ISO/ICE 230000) 멀티미디어 응용 표준화 활동 이 있다. MPEG-A 활동의 하나로서 다양한 멀티미디어 응용 형식(Multimedia Application Format: MAF)을 만들고 있는데, 이러한 멀티미디어 응용 형식은 기존의 MPEG 표준들 뿐만 아니라 비 MPEG 표준들을 함께 조합하여 표준의 활용 가치를 높이는 것을 목적으로 한다. 이렇듯 별도의 표준을 새로 만드는 노력없이 이미 검증된 표준 기술을 쉽게 조합함으로써 멀티미디어 응용 형식을 만들 수 있으며 그 효용가치를 극대화할 수 있다. 현재까지는 DMB MAF(Digital Multimedia Broadcasting MAF) 등의 표준화가 진행되고 있으나, 3D 입체영상을 저장하기 위한 파일 포맷에 관해서는 아직 표준화가 진행되고 있지 않다.

3D 입체영상을 구현하기 위한 최근의 영상 기술로서는 Barrier LCD가 장착된 휴대 단말기에서나 입체영상을 재생할 수 있을 뿐, 일반적인 휴대 단말기에서 3D 입체영상을 재생할 수 있는 기술이나 이를 위한 입체영상의 저장 포맷 등에 관해서는 전혀 알려진 바 없다.

한편, 본 발명의 3D 입체영상 파일을 생성 및 재생하기 위한 시스템 및 방법에서는 많은 양의 데이터의 생성 및 재생이 필연적인데, 이동통신단말과 같은 장치에서 3D 입체영상을 재생시에는 많은 양의 데이터를 디코딩하여 저장할 메모리의 용량이 부족하게 되는 문제점이 있다.

본 발명은 이처럼 3D 입체영상을 생성, 저장 및 재생하기 위해 필요한 파일 포맷을 제공한다. 구체적으로 기존의 2D 영상을 생성, 저장 및 재생하기 위한 파일 포맷을 기반으로 하는 3D 입체영상을 위한 파일 포맷을 제공한다. 아울러 본 발명에서 제공하는 3D 입체영상을 위한 파일 포맷을 이용하여 3Ｄ 입체영상 파일을 생성 및 재생하기 위한 시스템 및 방법을 제공한다.

특히 본 발명의 3D 입체영상을 위한 파일 포맷을 이용하는 시스템 및 방법에서 3D 입체영상의 재생하는 경우, 3D 입체영상을 좀 더 효율적으로 디코딩하도록 함으로써, 적은 용량의 메모리로도 그 효용성을 높일 수 있는 시스템 및 방법을 제공한다.

상기 해결하고자 하는 과제를 해결하기 위하여 본 발명은 제1영상데이터와, 상기 제1영상데이터와 동기화되어 입체영상을 생성하는데 이용되는 제2영상데이터와, 상기 제1영상데이터 및 상기 제2영상데이터의 디코딩을 동기화하기 위한 정보를 포함하는 입체영상 파일을 생성하는 입체영상 파일 생성장치와, 상기 생성된 입체영상 파일이 입력되면 상기 디코딩을 동기화하기 위한 정보에 따라 상기 제1영상데이터 및 상기 제2영상데이터를 동기화하여 디코딩하고 합성(Merge)함으로써 상기 입체영상 파일을 재생하는 입체영상 파일 재생장치를 포함하는, 3D 입체영상 파일을 생성 및 재생하기 위한 시스템을 제공한다.

한편, 본 발명은 제1영상데이터와 상기 제1영상데이터와 동기화되어 입체영상을 생성하는데 이용되는 제2영상데이터를 포함하는 데이터영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제1영상데이터의 디코딩 동기화 정보를 포함하는 헤더영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제2영상데이터의 디코딩 동기화 정보를 포함하는 메타데이터영역으로 구성되는 입체영상 파일을 생성하는 입체영상 파일 생성장치와, 상기 생성된 입체영상 파일이 입력되면 상기 제1영상데이터의 디코딩 동기화 정보에 따라 상기 제1영상데이터를 디코딩하고, 상기 제2영상데이터의 디코딩 동기화 정보에 따라 상기 제2영상데이터를 디코딩하여 합성(Merge)함으로써 입체영상 파일을 재생하는 입체영상 파일 재생장치를 포함하는, 입체영상 파일 재생장치를 포함하는, 3D 입체영상 파일을 생성 및 재생하기 위한 시스템을 제공한다.

그리고 본 발명은 소정의 피사체를 제1시점에서 촬영하여 제1영상데이터를 출력하고, 상기 피사체를 제2시점에서 촬영하여 제2영상데이터를 출력하는 촬영단계와, 상기 제1영상데이터 및 상기 제2영상데이터를 전처리하는 전처리단계와, 상기 전처리된 제1영상데이터 및 제2영상데이터를 인코딩하는 부호화단계와, 상기 인코딩된 제1영상데이터 및 제2영상데이터와, 상기 제1영상데이터 및 제2영상데이터의 디코딩을 동기화하기 위한 정보를 포함하는 입체영상 파일을 생성하는 파일생성단계를 포함하는, 3D 입체영상 파일을 생성 및 재생하기 위한 방법을 제공한다.

상기한 바와 같이 구성된 본 발명은 본 발명은 상기한 바와 같이 구성된 본 발명에 의해, 입체영상 파일 포맷의 규정에 있어서 이미 검증된 표준 기술을 이용함으로써 새로운 표준으로서의 검증 절차를 간소화할 수 있고, 새로운 입체영상 파일 포맷으로 2D 영상 파일 또는 3D 입체영상 파일 중 선택하여 생성 및 재생할 수 있는 효과가 있다.

특히 본 발명의 3D 입체영상을 위한 파일 포맷을 이용하는 시스템 및 방법에서는 3D 입체영상의 재생시 3D 입체영상을 좀 더 효율적으로 디코딩하도록 함으로써, 이동통신단말처럼 작은 용량의 메모리를 가진 장치에서도 3D 입체영상을 효율적으로 재생할 수 있는 효과가 있다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명한다. 도면에서 동일한 구성 요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

먼저 본 발명에 의한 3D 입체영상을 저장하기 위한 포맷을 설명하기 전에, 도 1을 참조하여 종래 표준기술에 의한 2D 영상 파일의 저장 포맷에 대한 블록 구성을 살펴보면 다음과 같다. 도 1은 종래 ISO 14496-12에 따른 2D 영상 파일의 포맷(100)을 나타내고 있다. 이에 따르면, 2D 영상 파일 포맷(100)은 무브영역(Moov)(110)과 미디어데이터영역(Mdat)(120)으로 구성된다. 여기서 미디어데이터영역(120)은 파일 포맷 중 데이터영역으로서, 영상트랙(121)에 실제 영상데이터 가 포함되고, 음성트랙(123)에는 음성데이터가 포함된다. 각 트랙에는 영상데이터와 음성데이터가 프레임 단위로 저장된다. 무브영역(110)은 파일 포맷 중 헤더영역에 해당하며, 객체 기반의 구조로 구성되어 있다. 이는 프레임 레이트(Frame Rate), 비트 레이트(Bit Rate), 이미지 크기 등의 컨텐츠 정보과 FF/REW 등의 재생 기능을 지원하기 위한 동기화 정보 등의 파일 재생을 위한 모든 정보를 포함하고 있다. 특히, 영상데이터 및 음성데이터의 전체 프레임수, 각 프레임의 크기 등의 정보를 포함하여 재생시에 무브영역을 분석(Parsing)하여 영상데이터 및 음성데이터를 복원하여 재생할 수 있다.

다음으로 도 2a를 참조하여 본 발명의 일 실시 예를 살펴보면 다음과 같다. 도 2a는 본 발명의 일 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도이다. 본 발명은 기본적으로 도 1에 나타난 2D 영상 파일 포맷에 메타데이터영역(Metadata)(230)만을 추가함으로써 3D 입체영상 파일 포맷(200)을 구성한다. 그러므로 2D 영상 파일 포맷의 구조 및 기능에 대해서는 중요한 변경없이 그대로 그 기능을 이용할 수 있다. 데이터영역인 미디어데이터영역(Mdat)(220)은 영상트랙(221)과 음성트랙(224)을 포함한다. 영상트랙(221)에는 제1영상데이터(222) 및 제2영상데이터(223)를 포함하고 있다. 여기서 제1영상데이터 및 제2영상데이터는 인간 시각 특성을 활용하여 생성한 데이터로서, 소정의 피사체를 제1카메라 및 제2카메라를 이용하여 좌시점과 우시점에서 영상을 촬영하여 생성한 영상데이터이다. 이처럼 사용자의 좌안과 우안에 분리된 영상을 생성하여 재생함으로써 사용자는 입체감을 느끼게 된다. 제1영상데이터(222)와 제2영상데이터(223) 중 어느 하나만을 재생하게 되면 2D 영상을 감상할 수 있으며, 제1영상데이터(222)와 제2영상데이터(223)를 합성하여 재생하게 되면 3D 입체영상을 감상할 수 있게 된다. 헤더영역인 무브영역(210)에는 제1영상트랙의 정보(211)와 음성트랙의 정보(212)를 포함하고 있으며, 메타데이터영역(213)에는 제2영상데이터의 정보(230)를 포함하고 있다. 이러한 정보는 각 데이터의 전체 프레임 수, 프레임 크기 등의 정보를 포함하고 있으므로, 입체영상으로 재생시에는 이러한 정보를 분석하여 각 데이터들을 합성할 수 있다. 다만, 본 발명에서는 이러한 정보 외에, 3D 입체영상 파일을 재생시에 제1영상데이터(222)와 제2영상데이터(223)를 디코딩하는 경우 디코딩을 하는 방식에 관한 정보를 더 포함한다. 구체적으로는 제1영상데이터(222)와 제2영상데이터(223)의 디코딩을 동기화하기 위한 정보이다. 이러한 디코딩을 동기화하기 위한 정보에 의해, 제1영상데이터(222)와 제2영상데이터(223)의 디코딩 시간을 동기화하여 디코딩하고 이를 곧바로 합성하여 재생하면, 디코딩된 제1영상데이터(222)와 제2영상데이터(223) 전체를 모두 메모리에 저장할 필요가 없으므로, 메모리의 활용도를 높이고 재생 효율을 높일 수 있다. 특히 메모리의 용량이 작은 이동통신단말 등에서 3D 입체영상을 재생하는 경우 유용하다.

본 발명의 특징인 디코딩을 동기화하기 위한 정보에 대하여 설명한다. 도 2b에서는 본 발명의 일 실시 예에 따라 영상트랙(221) 상에 저장된 제1영상데이터(222) 및 제2영상데이터(223)의 각 샘플 내지는 프레임의 저장 순서의 개념을 도시하고 있다. 이처럼 본 발명의 실시 예에서는 영상트랙(221)에 제1영상데이터(222)의 샘플 내지는 프레임이 먼저 저장되고, 제2영상데이터(223)의 샘플 내지 는 프레임이 저장된다. 여기서 샘플이란, 미리 정해진 소정 개수의 프레임의 집합을 의미하는 것으로 한다. 대개의 경우 인코딩된 데이터를 디코딩을 하는 경우 인코딩된 모든 데이터를 디코딩하여 저장하고 나서, 합성이나 재생과 같은 다음 과정을 진행한다. 그러나, 본 발명에서는 디코딩 및 저장을 시작하고 나서 종료되기 전이라도 합성 및 재생을 시작하도록 하여 메모리를 효율적으로 이용한다. 즉, 제1영상데이터(222)를 모두 디코딩한 후, 제2영상데이터(223)를 디코딩하지 않고, 제1영상데이터(222)와 제2영상데이터(223)를 함께 디코딩함으로써, 디코딩된 제1영상데이터(222)와 제2영상데이터(223)를 바로 합성 가능하도록 하는 것이다. 다음 표1을 이용하여 설명한다.

	L0	L1	L2	L3	L4	R0	R1	R2	R3	R4
디코딩 시작 시간	0	20	40	60	80	10	30	50	70	90
디코딩 시간 간격	20	20	20	20	0	20	20	20	20	0

표 1의 디코딩 시작시간을 보면 알 수 있듯이, 도 2b에 도시한 제1영상데이터(222)의 L0(231) 샘플을 먼저 디코딩한다. 그리고 L1(232)을 디코딩하지 않고, 제2영상데이터(223)의 R0(236) 샘플을 디코딩한다. 즉 이러한 방식으로, L0(231), R0(236), L1(232), R1(237) ... 순으로 제1영상데이터(222)의 샘플과 제2영상데이터(223)의 샘플과 교대로 디코딩한다. 디코딩되어 저장되는 샘플 중에서 여기서 L0(231), R0(236)처럼 서로 대응되는 샘플들은 바로 합성하여 재생하도록 한다. 여기서 디코딩을 동기화하기 위한 정보로서는 각 샘플의 디코딩 시작시간을 설정할 필요는 없다. 입체영상 파일(200) 생성시에 단지 샘플의 개수와 각 샘플들의 디코딩 시간간격에 관한 정보만으로 디코딩을 동기화하기 위한 정보를 구성할 수 있다. 이하 표 2 및 표 3을 참조하여 설명한다.

제1영상데이터의 샘플 개수	제1영상데이터의 샘플의 디코딩 시간간격
4	20
1	0

제2영상데이터의 샘플 개수	제2영상데이터의 샘플의 디코딩 시간간격
4	20
1	0

표 1에서 보면 제1영상데이터(222)의 샘플 개수는 5개이며, 제1영상데이터(222)의 각 샘플에서 다음 디코딩할 제1영상데이터(222)의 샘플의 디코딩 시작시간까지의 시간간격은 L0(231), L1(232), L2(233), L3(234)는 20이고, L4(235)는 마지막 샘플로서 0이다. 따라서 표 2의 정보를 제1영상데이터(222)의 디코딩을 동기화하기 위한 정보로 설정한다.

마찬가지로 표 1에서 보면 제2영상데이터(223)의 샘플 개수는 5개이며, 제2영상데이터(223)의 각 샘플에서 다음 디코딩할 제2영상데이터(222)의 샘플의 디코딩 시작시간까지의 시간간격은 R0(236), R1(237), R2(238), R3(239)는 20이고, R4(240)는 마지막 샘플로서 0이다. 따라서 표 2의 정보를 제2영상데이터(223)의 디코딩을 동기화하기 위한 정보로 설정한다. 디코딩을 동기화하기 위한 정보로서 위 표 2 및 표3의 정보만으로 충분하다. 다음은 이처럼 제1영상데이터(222)와 제2영상데이터를 동기화하여 디코딩하기 위한 정보에 관한 표준(Standard)으로서 다음을 제시한다.

[Definition]
Box Type: 'sdti'
Container: Smaple Table Box('stbl')
mandatory: Yes
Quantity: Zero or one

[Syntax]
aligned(8) class StereoscopicDecodingTimeInformationBox extends FullBox('sdti', version=0, 0)
{
unsigned int(32) left_entry_count;
unsigned int(32) right_entry_count;

for(i=0,i<left_entry_count;i++)
{
unsigned int(32) left_sample_count;
unsigned int(32) left_samsple_delta;
}
for(i=0,i<right_entry_count;i++)
{
unsigned int(32) right_sample_count;
unsigned int(32) right_sample_delta;
}
}

[Semantics]
left_entry_count: 좌시점 영상에 대한 entry 수
right_entry_count: 우시점 영상에 대한 entry 수
left_sample_count: 좌시점 영상에서 같은 duration을 갖는 연속적인 sample의 수
left_samsple_delta: 좌시점 영상에서 다음 영상과의 decoding time의 차이 값
right_sample_count: 우시점 영상에서 같은 duration을 갖는 연속적인 sample의 수
right_sample_delta: 우시점 영상에서 다음 영상과의 decoding time 차이 값

한편, 제1영상데이터(222) 및 제2영상데이터(223)의 영상트랙(221)내 시작주소나 샘플의 크기 등에 관한 정보는 각각 제1영상데이터의 정보(221) 및 제2영상데이터의 정보(213)을 참조하여 알 수 있다. 이러한 기본적인 정보에 관해서도 표준으로서 다음을 제시한다.

[Definition]
Box Type: 'cinf'
Container: Meta Box('meta')
mandatory: No
Quantity: Zero or one

[Syntax]
aligned(8) class ContentInformationBox extends FullBox('cinf', version=0, 0)
{
unsigned int(8) camera_view_count;
if(camera_view_count==2)
{
unsigned int(8) content_type;
unsigned int(32) samsple_count;
unsigned int(32) left_start_offset;
unsigned int(32) right_start_offset;

for(i=1,i<=sample_count;i++)
{
unsigned int(32) left_sample_size;
unsigned int(32) right_sample_size;
}
if(content_type==2)
{
for(i=1;i<=sample_count;i++)
{
unsigned int(32) left_sample_offset;
unsigned int(32) right_sample_offset;
}
}
}
}

[Semantics]
left_entry_count: 좌시점 영상에 대한 entry 수
right_entry_count: 우시점 영상에 대한 entry 수
left_sample_count: 좌시점 영상에서 같은 duration을 갖는 연속적인 sample의 수
left_samsple_delta: 좌시점 영상에서 다음 영상과의 decoding time의 차이 값
right_sample_count: 우시점 영상에서 같은 duration을 갖는 연속적인 sample의 수
right_sample_delta: 우시점 영상에서 다음 영상과의 decoding time 차이 값

다음으로 도 2a에 도시한 3D 입체영상 파일 포맷을 이용하는 입체영상 파일 생성 및 재생을 위한 시스템에 대하여 설명한다. 이러한 시스템은 크게 입체영상 파일 생성장치와 입체영상 파일 재생장치로 구성될 수 있다. 먼저 도 3을 참조하여 본 발명의 일 실시 예에 따른 입체영상 파일 생성장치에 대하여 설명한다.

입체영상 파일 생성장치(300)는 제1카메라(310), 제2카메라(311), 영상신호처리부(320), 저장부(330), 부호부(340), 파일생성부(350)를 포함한다.

제1카메라(310)는 소정의 피사체를 좌시점 또는 우시점에서 촬영하여 제1영상데이터(222)를 출력하고, 제2카메라(311)는 상기 피사체를 제1카메라(310)와 다른 시점에서 촬영하여 제2영상데이터(311)를 출력한다.

제1카메라(310)와 제2카메라(311)에서 출력된 제1영상데이터(222)와 제2영상데이터(223)는 영상신호처리부(320)에 의해 전처리된다. 여기서 전처리 동작이란 외부의 영상값 즉 빛과 컬러 성분을 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 타입의 센서를 통해 인식된 아날로그 값을 디지털 값으로 변환하는 것이다.

저장부(330)에서는 영상신호처리부(320)에 의해 전처리된 제1영상데이터 및 제2영상데이터를 저장한다. 도 3에서는 특별히 저장부(330)를 도시하고 있으나, 이외에 도 3에 나타난 각 구성들 사이에 버퍼링을 해주는 저장 구성을 별도로 도시하지는 않는다. 그리고 부호부(340)는 저장된 제1영상데이터(222) 및 제2영상데이터(223)를 인코딩한다. 부호부(340)의 인코딩 동작은 데이터의 압축에 관한 것으로서, 필요에 따라서 생략될 수도 있다.

파일 생성부(350)는 부호부(340)에서 인코딩된 제1영상데이터(222) 및 제2영상데이터(223)를 이용하여 입체영상 파일(200)을 생성한다. 이때 제1영상데이터(222) 및 제2영상데이터(223)는 데이터영역 특히 미디어데이터영역(220)에 저장하며, 헤더영역 즉, 무브영역(210)에는 제1영상데이터(222)를 분석하기 위한 정보를 저장하고, 메타데이터영역(230)에는 제2영상데이터(223)를 분석하기 위한 정보를 저장한다. 한편, 본 발명에서는 특히 제1영상데이터(222) 및 제2영상데이터(223)의 디코딩을 동기화하기 위한 정보를 더 포함한다. 이렇게 생성된 입체영상 파일(200)은 입체영상 파일 재생장치로 입력되거나 전송되며, 입체영상 파일 재생장치가 입체영상 파일(200)로부터 3D 입체영상을 생성하여 재생한다. 이하 입체영상 파일 재생장치에 관하여 설명한다.

도 4는 본 발명의 일 실시 예에 따른 입체영상 파일 재생장치에 대한 블록 구성도이다. 도 4를 참조하면, 입체영상 파일 재생장치(400)는 파일분석부(410), 복호부(420), 저장부(430), 재생부(440), 표시부(450)를 포함한다.

파일분석부(410)는 입체영상 파일 생성장치(300)의 파일생성부(350)에서 생성한 입체영상 파일(200)을 수신하여 분석한다. 이때 무브영역(210)과 메타데이터영역(230)에 각각 저장된 제1영상데이터의 정보(211) 및 제2영상데이터의 정보(213)를 분석한 후, 미디어데이터영역(220)에 저장된 제1영상데이터(222) 및 제2영상데이터(223)를 추출한다.

복호부(420)는 추출된 제1영상데이터(222) 및 제2영상데이터(223)를 디코딩한다. 이는 입체영상 파일 생성장치(300)에서 부호부(340)를 사용하여 인코딩한 경우에 사용하게 된다. 여기서 복호부(420)는 입체영상 파일(200)에 포함된 제1영상데이터(222)와 제2영상데이터(223)의 디코딩을 동기화하기 위한 정보를 이용하여, 제1영상데이터(222)와 제2영상데이터(223)의 디코딩 시간을 동기화하여 디코딩한다. 그리고 저장부(430)에 저장되는데, 제1영상데이터(222)의 샘플과 대응되는 제2영상데이터(223)의 샘플이 디코딩되어 저장부(430)에 저장되면, 곧바로 재생부(440)에서 각 대응되는 샘플을 합성하여 재생한다. 이로서 저장부(430)의 용량이 작더라도 효율적으로 이용할 수 있다. 구체적인 설명은 앞서 설명한 도 2 및 표 1 내지 표 3의 설명과 같다. 한편, 표시부(450)는 재생부(440)에서 합성하여 재생하는3D 입체영상을 표시한다.

다음으로 이러한 3D 입체영상 파일 포맷을 이용하여 입체영상 파일(200)을 생성하고 재생할 수 있는 방법에 관하여 설명한다.

도 5는 본 발명의 일 실시 예에 따른 입체영상 파일을 생성하기 위한 방법에 대한 흐름도이다. 도 5를 참조하면, 촬영단계(S510), 전처리단계(S520), 부호화단계(S530), 파일생성단계(S540)를 포함한다.

여기서 촬영단계(S510)는 소정의 피사체를 좌시점 또는 우시점에서 촬영하여 제1영상데이터(222)를 출력하고, 나머지 시점에서 촬영하여 제2영상데이터(223)를 출력한다.

전처리단계(S520)는 제1영상데이터(222)와 제2영상데이터(223)를 전처리하는 단계로서, CCD(Charge Coupled Device) 또는 CMOS 타입의 센서를 통해 인식된 제1영상데이터(222) 및 제2영상데이터(223)를 아날로그에서 디지털로 변환한다.

그리고 부호화단계(S530)에서는 저장부(330)에 저장된 제1영상데이터(222) 및 제2영상데이터(223)를 인코딩한다. 부호화단계(S530)는 필요에 따라 생략 가능하다.

파일생성단계(S540)에서는 부호부(340)에서 인코딩된 제1영상데이터(222) 및 제2영상데이터(223)를 이용하여 입체영상 파일(200)을 생성한다. 이때 제1영상데이터(222) 및 제2영상데이터(223)는 미디어데이터영역(220)에 저장하며, 무브영역(210)에는 제1영상데이터를 분석하기 위한 정보(211)를 저장하고, 메타데이터영역(230)에는 제2영상데이터를 분석하기 위한 정보(213)를 저장한다. 특히 제1영상데이터(222) 및 제2영상데이터(223)의 디코딩을 동기화하기 위한 정보를 저장한다.

도 6은 본 발명의 일 실시 예에 따른 입체영상 파일을 재생하기 위한 방법에 대한 흐름도이다. 도 6을 참조하면, 입체영상 파일(200)을 재생하기 위한 방법은 파일분석단계(S610), 복호화단계(S620), 재생단계(S630), 표시단계(S640)를 포함한다. 도 6의 방법은 도 5에서 생성된 입체영상 파일을 재생하기 위한 방법이다.

여기서 파일분석단계(S610)는 입체영상 파일(200)의 무브영역(210)에 저장된 제1영상데이터의 정보(211) 및 메타데이터영역(230)에 저장된 제2영상데이터의 정보(213)와 디코딩을 동기화하기 위한 정보를 분석하여 디코딩 순서를 정한다.

그리고 복호화단계(S620)에서 제1영상데이터(222) 및 제2영상데이터(223)를 동기화하여 디코딩한다. 입체영상 파일을 생성하기 위한 방법에서 부호화단계(S540)가 생략된 경우 복호화단계(S630) 역시 생략된다.

재생단계(S630)는 복호화단계(S620)에서 디코딩된 제1영상데이터(222) 및 제2영상데이터(223)를 입체영상으로 합성하여 재생한다. 표시단계(S640)에서는 위 재생단계(S630)에서 합성되어 재생되는 3D 입체영상을 표시부(450)에 표시한다. 이러한 표시부는 일반적인 LCD(Liquid Crystal Display)에서도 재생이 가능하다.

도 1은 종래 표준기술에 따른 2D 영상 파일의 저장 포맷에 대한 블록 구성도

도 2a는 본 발명의 일 실시 예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도

도 2b는 본 발명의 일 실시 예에 따라 영상트랙 상에 저장된 제1영상데이터 및 제2영상데이터의 각 프레임을 나타낸 개념도

도 3은 본 발명의 일 실시 예에 따른 입체영상 파일 생성장치에 대한 블록 구성도

도 4는 본 발명의 일 실시 예에 따른 입체영상 파일 재생장치에 대한 블록 구성도

도 5는 본 발명의 일 실시 예에 따른 입체영상 파일을 생성하기 위한 방법에 대한 흐름도

도 6은 본 발명의 일 실시 예에 따른 입체영상 파일을 재생하기 위한 방법에 대한 흐름도

Claims

3D(Three-Dimensional) 영상 파일을 생성하기 위한 휴대 단말기에 있어서,

소정의 피사체를 제1시점에서 촬영하여 제1영상데이터를 출력하는 제1카메라 및 상기 피사체를 제2시점에서 촬영하여 제2영상데이터를 출력하는 제2카메라와,

상기 제1카메라 및 상기 제2카메라가 출력하는 상기 제1영상데이터 및 상기 제2영상데이터를 전처리하는 영상 신호 처리부와,

상기 전처리된 제1영상데이터 및 제2영상데이터를 인코딩하는 부호부와,

상기 인코딩된 제1영상데이터 및 제2영상데이터와 상기 제1영상데이터 및 제2영상데이터를 동기화하여 디코딩하기 위한 정보를 포함하는 상기 3D 영상 파일을 생성하는 파일 생성부를 포함하고,

상기 3D 영상 파일은,

상기 제1영상데이터와 상기 제1영상데이터와 동기화되어 3D 영상을 생성하는데 이용되는 상기 제2영상데이터를 포함하는 제1 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제1영상데이터의 디코딩 동기화 정보를 포함하는 제2 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제2영상데이터의 디코딩 동기화 정보를 포함하는 제3 영역을 포함하고,

상기 제3 영역에 포함된 상기 제2영상데이터의 디코딩 동기화 정보는 2D 영상 및 3D 영상 중 3D 영상을 재생하는데 사용됨을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
제1항에 있어서,

상기 디코딩을 동기화하기 위한 정보는, 상기 제1영상데이터 및 상기 제2영상데이터를 각각 구성하는 샘플마다 디코딩을 동기화하기 위한 정보이고,

상기 샘플은, 미리 정해진 소정 개수의 프레임임을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
3D(Three-Dimensional) 영상 파일을 생성하기 위한 휴대 단말기에 있어서,

소정의 피사체를 제1시점에서 촬영하여 제1영상데이터를 출력하는 제1카메라 및 상기 피사체를 제2시점에서 촬영하여 제2영상데이터를 출력하는 제2카메라와,

상기 제1카메라 및 상기 제2카메라가 출력하는 상기 제1영상데이터 및 상기 제2영상데이터를 전처리하는 영상 신호 처리부와,

상기 전처리된 제1영상데이터 및 제2영상데이터를 인코딩하는 부호부와,

상기 인코딩된 제1영상데이터 및 제2영상데이터와 상기 제1영상데이터 및 제2영상데이터를 동기화하여 디코딩하기 위한 정보를 포함하는 상기 3D 영상 파일을 생성하는 파일 생성부를 포함하고,

상기 3D 영상 파일은,

상기 제1영상데이터와 상기 제1영상데이터와 동기화되어 3D 영상을 생성하는데 이용되는 상기 제2영상데이터를 포함하는 제1 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제1영상데이터의 디코딩 동기화 정보를 포함하는 제2 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제2영상데이터의 디코딩 동기화 정보를 포함하는 제3 영역을 포함하고,

상기 디코딩을 동기화하기 위한 정보는 상기 제1영상데이터 및 상기 제2영상데이터를 각각 구성하는 샘플마다 디코딩을 동기화하기 위한 정보이고,

상기 샘플은 미리 정해진 소정 개수의 프레임이며,

3D 영상 파일 재생 장치에서 상기 디코딩을 동기화하기 위한 정보에 따라, 상기 제1영상데이터를 구성하는 샘플과 상기 제2영상데이터를 구성하는 샘플이 교대로 디코딩되는 것을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
제3항에 있어서, 상기 디코딩을 동기화하기 위한 정보는,

상기 제1영상데이터를 구성하는 소정 샘플의 개수 및 상기 샘플과 다음 샘플 간의 디코딩 시간간격과, 상기 제2영상데이터를 구성하는 소정 샘플의 개수 및 상기 샘플과 다음 샘플 간의 디코딩 시간간격임을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
제3항에 있어서, 상기 3D 영상 파일 재생장치는,

상기 제1영상데이터를 구성하는 샘플 및 상기 제1영상데이터의 샘플과 동기화되어 디코딩된 상기 제2영상데이터를 구성하는 샘플이 디코딩되면, 바로 상기 제1영상데이터를 구성하는 샘플 및 상기 제1영상데이터의 샘플과 동기화되어 디코딩된 상기 제2영상데이터를 구성하는 샘플을 합성하여 3D 입체영상 파일을 생성함을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
3D 영상 파일을 재생하기 위한 휴대 단말기에 있어서,

상기 3D 영상 파일에 포함된 제1영상데이터의 디코딩 동기화 정보 및 제2영상데이터의 디코딩 동기화 정보를 분석하는 파일 분석부와,

상기 분석에 따라 상기 3D 영상 파일에 포함된 상기 제1영상데이터를 구성하는 소정 샘플 및 상기 샘플에 대응하여 상기 제2영상데이터를 구성하는 샘플을 동기화하여 디코딩하는 복호부와,

상기 동기화되어 디코딩된 제1영상데이터의 샘플 및 제2영상데이터의 샘플을 합성하여 상기 3D 영상을 재생하는 재생부와,

상기 재생되는 3D 영상을 표시하는 표시부를 포함하며,

3D 영상 파일이 입력되면 상기 제1영상데이터의 디코딩 동기화 정보에 따라 상기 제1영상데이터를 디코딩하고, 상기 제2영상데이터의 디코딩 동기화 정보에 따라 상기 제2영상데이터를 디코딩하여 합성(Merge)함으로써 상기 3D 영상을 재생하며,

상기 3D 영상 파일은,

상기 제1영상데이터와 상기 제1영상데이터와 동기화되어 3D 영상을 생성하는데 이용되는 상기 제2영상데이터를 포함하는 제1 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제1영상데이터의 디코딩 동기화 정보를 포함하는 제2 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제2영상데이터의 디코딩 동기화 정보를 포함하는 제3 영역을 포함하고,

상기 제2 영역에 저장된 정보 및 상기 제3 영역에 저장된 정보를 이용하여 상기 3D 영상을 재생하고, 상기 제2 영역에 저장된 정보 및 상기 제3 영역에 저장된 정보 중 상기 제2 영역에 저장된 정보를 이용하여 2D 영상을 재생하는 것을 특징으로 하는, 3D 영상 파일을 재생하기 위한 휴대 단말기.
제1항에 있어서,

상기 제1 영역은, 영상트랙을 포함하고,

상기 영상트랙은, 상기 제1영상데이터가 먼저 저장된 후 상기 제2영상데이터가 저장됨을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
제7항에 있어서, 상기 제2 영역은,

상기 제1영상데이터의 샘플 개수, 샘플 크기 및 상기 영상트랙상의 시작주소를 더 포함함을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
제7항에 있어서, 상기 제3 영역은,

상기 제2영상데이터의 샘플 개수, 샘플 크기 및 상기 영상트랙상의 시작주소를 더 포함함을 특징으로 하는 3D 영상 파일을 생성하기 위한 휴대 단말기.
3D 영상 파일을 재생하기 위한 휴대 단말기에 있어서,

상기 3D 영상 파일에 포함된 제1영상데이터의 디코딩 동기화 정보 및 제2영상데이터의 디코딩 동기화 정보를 분석하는 파일 분석부와,

상기 분석에 따라 상기 3D 영상 파일에 포함된 제1영상데이터를 구성하는 소정 샘플 및 상기 샘플에 대응하여 상기 제2영상데이터를 구성하는 샘플을 동기화하여 디코딩하는 복호부와,

상기 동기화되어 디코딩된 제1영상데이터의 샘플 및 제2영상데이터의 샘플을 합성하여 상기 3D 영상을 재생하는 재생부와,

상기 재생되는 3D 영상을 표시하는 표시부를 포함하며,

3D 영상 파일이 입력되면 상기 제1영상데이터의 디코딩 동기화 정보에 따라 상기 제1영상데이터를 디코딩하고, 상기 제2영상데이터의 디코딩 동기화 정보에 따라 상기 제2영상데이터를 디코딩하여 합성(Merge)함으로써 상기 3D 영상을 재생하며,

상기 디코딩을 동기화하기 위한 정보에 따라, 상기 제1영상데이터를 구성하는 샘플과 상기 제2영상데이터를 구성하는 샘플을 교대로 디코딩함을 특징으로 하는 3D 영상 파일을 재생하기 위한 휴대 단말기.
제10항에 있어서, 상기 제1영상데이터의 디코딩 동기화 정보는,

상기 제1영상데이터를 구성하는 소정 샘플의 개수 및 상기 샘플과 다음 샘플 간의 디코딩 시간간격과, 상기 제2영상데이터를 구성하는 소정 샘플의 개수 및 상기 샘플과 다음 샘플 간의 디코딩 시간간격임을 특징으로 하는 3D 영상 파일을 재생하기 위한 휴대 단말기.
삭제
삭제
3D(Three-Dimensional) 영상 파일을 생성하기 위한 방법에 있어서,

소정의 피사체를 제1시점에서 촬영하여 제1영상데이터를 출력하고, 상기 피사체를 제2시점에서 촬영하여 제2영상데이터를 출력하는 촬영단계와,

상기 제1영상데이터 및 상기 제2영상데이터를 전처리하는 전처리단계와,

상기 전처리된 제1영상데이터 및 제2영상데이터를 인코딩하는 부호화단계와,

상기 인코딩된 제1영상데이터 및 제2영상데이터와, 상기 제1영상데이터 및 제2영상데이터의 디코딩을 동기화하기 위한 정보를 포함하는 입체영상 파일을 생성하는 파일생성단계를 포함하고,

상기 3D 영상 파일은,

상기 제1영상데이터와 상기 제1영상데이터와 동기화되어 3D 영상을 생성하는데 이용되는 상기 제2영상데이터를 포함하는 제1 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제1영상데이터의 디코딩 동기화 정보를 포함하는 제2 영역과, 상기 제1영상데이터와 상기 제2영상데이터의 디코딩을 동기화하기 위한 상기 제2영상데이터의 디코딩 동기화 정보를 포함하는 제3 영역을 포함하고,

상기 제3 영역에 포함된 상기 제2영상데이터의 디코딩 동기화 정보는 2D 영상 및 3D 영상 중 3D 영상을 재생하는데 사용됨을 특징으로 하는 3D 영상 파일을 생성하기 위한 방법.
3D(Three-Dimensional) 영상 파일을 재생하기 위한 방법에 있어서,

상기 3D 영상 파일의 제2 영역에 저장된 제1영상데이터의 정보 및 상기 3D 영상 파일의 제3 영역에 저장된 제2영상데이터의 정보 중 적어도 하나를 분석하는 파일분석단계와,

상기 분석에 따라 상기 제1영상데이터를 구성하는 소정 샘플 및 상기 샘플에 대응하여 상기 제2영상데이터를 구성하는 샘플을 동기화하여 디코딩하는 복호화단계와,

상기 동기화되어 디코딩된 제1영상데이터의 샘플 및 제2영상데이터의 샘플을 합성하여 상기 3D 영상을 재생하는 재생단계와,

상기 재생되는 3D 영상을 표시하는 표시단계를 포함하고,

상기 제2영역에 저장된 정보 및 상기 제3 영역에 저장된 정보를 이용하여 상기 3D 영상이 재생되고, 상기 제2 영역에 저장된 정보 및 상기 제3 영역에 저장된 정보 중 상기 제2 영역에 저장된 정보를 이용하여 2D 영상이 재생되는 것을 특징으로 하는 3D 영상 파일을 재생하기 위한 방법.
제15항에 있어서,

상기 디코딩을 동기화하기 위한 정보는, 상기 제1영상데이터를 구성하는 소정 샘플의 개수 및 상기 샘플과 다음 샘플 간의 디코딩 시간간격과, 상기 제2영상데이터를 구성하는 소정 샘플의 개수 및 상기 샘플과 다음 샘플 간의 디코딩 시간간격임을 특징으로 하는 3D 영상 파일을 재생하기 위한 방법.