KR101480186B1 - 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법 - Google Patents

2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101480186B1
KR101480186B1 KR20080012002A KR20080012002A KR101480186B1 KR 101480186 B1 KR101480186 B1 KR 101480186B1 KR 20080012002 A KR20080012002 A KR 20080012002A KR 20080012002 A KR20080012002 A KR 20080012002A KR 101480186 B1 KR101480186 B1 KR 101480186B1
Authority
KR
South Korea
Prior art keywords
image
image data
stereoscopic
field
delete delete
Prior art date
Application number
KR20080012002A
Other languages
English (en)
Other versions
KR20090060922A (ko
Inventor
황서영
이건일
송재연
김용태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CA2707428A priority Critical patent/CA2707428C/en
Priority to JP2010537856A priority patent/JP5158727B2/ja
Priority to AU2008336448A priority patent/AU2008336448B2/en
Priority to CN2008801200582A priority patent/CN101897194B/zh
Priority to RU2010123632/28A priority patent/RU2448432C2/ru
Priority to PCT/KR2008/007213 priority patent/WO2009075495A1/en
Priority to US12/330,124 priority patent/US8842903B2/en
Priority to ES08021448T priority patent/ES2382057T3/es
Priority to AT08021448T priority patent/ATE546017T1/de
Priority to EP08021448A priority patent/EP2071853B1/en
Publication of KR20090060922A publication Critical patent/KR20090060922A/ko
Application granted granted Critical
Publication of KR101480186B1 publication Critical patent/KR101480186B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

본 발명은 2D 영상과 3D 입체영상을 교대로 생성 및 재생할 수 있도록 하는 파일 포맷과 이러한 파일 포맷을 이용한 기록 매체, 시스템, 및 방법에 관한 것으로서, 본 발명의 실시 예에 따라 본 발명의 실시 예에 따라 데이터 구조를 저장하는 컴퓨터 독출 가능한 기록 매체는, 하나 또는 그 이상의 영상 데이터 샘플을 포함하는 미디어 데이터 필드와, 상기 하나 또는 그 이상의 영상 데이터 샘플 각각이 2D 영상 데이터 및 3D 입체 영상 데이터 중 하나인지 아닌지를 나타내는 영상 타입 데이터 필드를 포함하는 미디어 헤더 필드를 포함하며, 상기 헤더 필드는, 트랙 필드를 포함하고, 상기 트랙 필드는 샘플 테이블 필드를 포함하며, 상기 영상 타입 데이터 필드는 상기 샘플 테이블 필드에 위치함을 특징으로 한다.
Figure R1020080012002
3D 입체영상, 2D 영상

Description

2Ｄ 영상과 3Ｄ 입체영상을 포함하는 영상파일을 생성 및 재생하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING AND PLAYING IMAGE FILE INCLUDING TWO DIMENSIONAL IMAGE AND THREE DIMENSIONAL IMAGE}
본 발명은 2D 영상 미디어 표준(Two-Dimensional Image Media Standards)을 기반으로 2D 영상(Two-Dimensional Image)과 3D 입체영상(Three-Dimensional Image)을 모두 포함하는 영상 파일(Image Files)을 생성 및 재생하기 위한 시스템 및 방법에 관한 것이다. 좀 더 구체적으로는 2D 영상과 3D 입체영상을 교대로 생성 및 재생할 수 있도록 하는 파일 포맷과 이러한 파일 포맷을 이용한 시스템 및 방법에 관한 것이다.
종래에는 2D 영상을 저장하기 위한 파일 포맷의 표준에 대해서는 알려져 있으나, 3D 입체영상을 저장하기 위한 파일 포맷의 표준에 대해서는 알려져 있지 않다.
멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 MPEG-1을 시작으로 하여 현재는 MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 이처럼 여러 가지 표준이 개발됨에 따라 서로 다른 표준 기술을 조합하여 하나의 프로파일을 만들어야 할 필요성이 대두되으며, 이러한 움직임의 하나로서 MPEG-A(MPEG Application: ISO/ICE 230000) 멀티미디어 응용 표준화 활동이 있다. MPEG-A 활동의 하나로서 다양한 멀티미디어 응용 형식(Multimedia Application Format: MAF)을 만들고 있는데, 이러한 멀티미디어 응용 형식은 기존의 MPEG 표준들 뿐만 아니라 비 MPEG 표준들을 함께 조합하여 표준의 활용 가치를 높이는 것을 목적으로 한다. 이렇듯 별도의 표준을 새로 만드는 노력없이 이미 검증된 표준 기술을 쉽게 조합함으로써 멀티미디어 응용 형식을 만들 수 있으며 그 효용가치를 극대화할 수 있다. 현재까지는 DAB MAF(Digital Audio Broadcasting MAF), DMB MAF(Digital Multimedia Broadcasting MAF) 등의 표준화가 진행되고 있으나, 3D 입체영상을 저장하기 위한 파일 포맷에 관해서는 아직 표준화가 진행되고 있지 않다.
한편, 일반적인 휴대 단말기에서 2D 영상과 3D 입체영상을 동시에 포함하는 파일 포맷 구조나 이러한 파일 포맷 구조를 이용하여 영상 파일을 생성 및 재생할 수 있는 시스템 및 방법에 관해 전혀 알려진 바 없다.
그리고 3D 입체영상만으로 영상 파일을 생성할 경우, 그 영상 파일 중에서 굳이 3D 입체영상에 의해 시청할 필요가 없는 영상까지도 3D 입체영상으로 시청하게 되어 사용자의 눈이 쉽게 피로해질 수 있는 문제점이 있다. 여기서 3D 입체영상에 의해 시청할 필요가 없는 영상에는 영상 전체가 문자로 처리되는 영상이 한 예가 될 수 있다.
본 발명은 이처럼 3D 입체영상을 생성, 저장 및 재생하기 위해 필요한 파일 포맷을 제공한다. 구체적으로 기존의 2D 영상을 생성, 저장 및 재생하기 위한 파일 포맷을 기반으로 하는 3D 입체영상을 위한 파일 포맷을 제공한다. 아울러 본 발명에서 제공하는 3D 입체영상을 위한 파일 포맷을 이용하여 3Ｄ 입체영상 파일을 생성 및 재생하기 위한 시스템 및 방법을 제공한다.
특히 본 발명은 하나의 영상파일 내에 3D 입체영상과 2D 영상을 모두 포함하도록 하는 파일 포맷을 제공하며, 이러한 파일 포맷에 따라 사용자가 3D 입체영상 또는 2D 영상을 시청할 수 있도록 한다. 이러한 파일 포맷을 이용하는 본 발명은 하나의 영상파일 내에서 2D 영상과 3D 입체영상이 번갈아 제공될 수 있는 영상파일을 제공한다. 예를 들어, 뉴스 컨텐츠를 위한 하나의 3D 입체영상 파일에서 일반적으로는 3D 영상을 제공하다가, 자막으로만 구성된 화면에서는 2D 영상으로 제공하도록 하여 사용자의 시청 편의를 제공하는 것이다.
본 발명의 실시 예에 따라 데이터 구조를 저장하는 컴퓨터 독출 가능한 기록 매체는, 하나 또는 그 이상의 영상 데이터 샘플을 포함하는 미디어 데이터 필드와, 상기 하나 또는 그 이상의 영상 데이터 샘플 각각이 2D 영상 데이터 및 3D 입체 영상 데이터 중 하나인지 아닌지를 나타내는 영상 타입 데이터 필드를 포함하는 미디어 헤더 필드를 포함하며, 상기 헤더 필드는, 트랙 필드를 포함하고, 상기 트랙 필드는 샘플 테이블 필드를 포함하며, 상기 영상 타입 데이터 필드는 상기 샘플 테이블 필드에 위치하며, 상기 영상 타입 데이터 필드는, 동일한 타입을 갖는 연속된 영상 데이터 샘플의 카운트 수를 나타내는 제1 카운트 필드와, 스테레오스코픽에서 모노스코픽으로 또는 모노스코픽에서 스테레오스코픽으로 프랙먼트(fragment)의 타입 전환이 일어나는 상기 프랙먼트의 카운트 수를 나타내는 제2 카운트 필드를 더 포함하며, 상기 프랙먼트는 상기 영상 데이터 샘플의 세트인 것을 특징으로 한다.
또한 본 발명의 실시 예에 따라 컴퓨터에서 수행되는 방법은, 영상 파일을 수신하는 과정과, 하나 또는 그 이상의 영상 데이터 샘플을 포함하는 영상 파일의 미디어 데이터 필드를 분석하는 과정과, 상기 하나 또는 그 이상의 영상 데이터 샘플 각각이 2D 영상 데이터 및 3D 입체 영상 데이터 중 어느 것인지를 나타내는 영상 타입 데이터 필드를 포함하는 미디어 헤더 필드를 분석하는 과정과, 상기 영상 파일의 상기 영상 타입 데이터 필드를 기반으로 하여 2D 영상 및 3D 입체 영상 중 어느 하나에 대응하는 영상을 생성하는 과정을 포함하며, 상기 헤더 필드는, 트랙 필드를 포함하고, 상기 트랙 필드는 샘플 테이블 필드를 포함하며, 상기 영상 타입 데이터 필드는 상기 샘플 테이블 필드에 위치하며, 상기 영상 타입 데이터 필드는, 동일한 타입을 갖는 연속된 영상 데이터 샘플의 카운트 수를 나타내는 제1 카운트 필드와, 스테레오스코픽에서 모노스코픽으로 또는 모노스코픽에서 스테레오스코픽으로 프랙먼트(fragment)의 타입 전환이 일어나는 상기 프랙먼트의 카운트 수를 나타내는 제2 카운트 필드를 더 포함하며, 상기 프랙먼트는 상기 영상 데이터 샘플의 세트인 것을 특징으로 한다.
또한 본 발명의 실시 예에 따라 영상 파일을 수신하고 저장하기 위한 장치는 상기 수신된 영상 파일을 저장하기 위한 저장 유닛과, 하나 또는 그 이상의 영상 데이터 샘플을 포함하는 상기 영상 파일의 미디어 데이터 필드를 분석하고, 상기 영상 파일의 영상 타입 데이터 필드를 기반으로 하여 2D 영상 및 3D 입체 영상 중 어느 하나에 대응하는 영상을 생성하기 위해 상기 하나 또는 그 이상의 영상 데이터 샘플 각각이 2D 영상 데이터 및 3D 입체 영상 데이터 중 어느 것인지를 나타내는 영상 타입 데이터 필드를 포함하는 미디어 헤더 필드를 분석하기 위한 프로세서와, 상기 영상 파일의 상기 영상 타입 데이터 필드에 따라서 상기 생성된 영상을 디스플레이하기 위한 디스플레이 유닛을 포함하며, 상기 헤더 필드는, 트랙 필드를 포함하고, 상기 트랙 필드는 샘플 테이블 필드를 포함하며, 상기 영상 타입 데이터 필드는 상기 샘플 테이블 필드에 위치하며, 상기 영상 타입 데이터 필드는, 동일한 타입을 갖는 연속된 영상 데이터 샘플의 카운트 수를 나타내는 제1 카운트 필드와, 스테레오스코픽에서 모노스코픽으로 또는 모노스코픽에서 스테레오스코픽으로 프랙먼트(fragment)의 타입 전환이 일어나는 상기 프랙먼트의 카운트 수를 나타내는 제2 카운트 필드를 더 포함하며, 상기 프랙먼트는 상기 영상 데이터 샘플의 세트인 것을 특징으로 한다.
삭제
삭제
삭제
상기한 바와 같이 구성된 본 발명에 의해, 이미 검증된 2D 영상의 표준 기술 을 이용하여 2D 영상과 3D 입체영상을 모두 포함하는 영상 파일의 포맷을 규정함으로써, 새로운 표준으로서의 검증 절차를 간소화할 수 있다. 그리고 하나의 영상 파일 내에서 필요에 따라 2D 영상과 3D 입체영상을 모두 구현할 수 있는 효과가 있다.
특히, 본 발명의 영상 파일 포맷을 이용하는 시스템 및 방법에서는, 3D 입체영상을 구현하기 위한 영상 파일 내에서 3D 입체영상에 의한 시청이 불필요한 영상을 2D 영상으로 구현함으로써, 사용자의 눈의 피로를 덜어주는 효과가 있다.
한편, 본 발명에서 정의한 영상정보 박스('svmi' box)를 이용하여 단말의 배리어 LCD를 온/오프 하면서 3D 입체영상과 2D 영상이 조합된 컨텐츠를 효과적으로 재생을 할 수 있는 장점이 있다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 도면에서 동일한 구성 요소들에 대해서는 비록 다른 도면에 표시되더라도 가능한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
먼저 본 발명에 의한 3D 입체영상을 저장하기 위한 포맷을 설명하기 전에, 도 1을 참조하여 종래 표준기술에 의한 2D 영상을 위한 영상파일의 저장 포맷에 대한 블록 구성을 살펴보면 다음과 같다. 도 1은 종래 ISO 14496-12에 따른 2D 영상 파일의 포맷(100)을 나타내고 있다. 이에 따르면, 2D 영상 파일 포맷(100)은 가장 상위 레벨이라 할 수 있는 파일영역(Ftyp)(110), 그리고 무브영역(Moov)(120)과 미디어데이터영역(Mdat)(130)으로 구성된다. 여기서 미디어데이터영역(130)은 파일 포맷 중 데이터영역으로서, 영상트랙(131)에 실제 영상데이터가 포함되고, 음성트랙(133)에는 음성데이터가 포함된다. 각 트랙에는 영상데이터와 음성데이터가 프레임 단위로 저장된다. 무브영역(120)은 파일 포맷 중 헤더영역에 해당하며, 객체 기반의 구조로 구성되어 있다. 이는 프레임 레이트(Frame Rate), 비트 레이트(Bit Rate), 이미지 크기 등의 컨텐츠 정보과 FF/REW 등의 재생 기능을 지원하기 위한 동기화 정보 등의 파일 재생을 위한 모든 정보를 포함하고 있다. 특히, 영상데이터 및 음성데이터의 전체 프레임수, 각 프레임의 크기 등의 정보를 포함하여 재생 시에 무브영역(120)을 분석(Parsing)하여 영상데이터 및 음성데이터를 복원하여 재생할 수 있다.
본 발명은 이러한 도 1의 파일 2D 영상을 위한 영상파일의 저장 포맷(100)을 변경하여 2D 영상 및 3D 입체영상을 모두 포함하는 영상파일의 저장 포맷을 구현하고, 이를 이용한 영상파일의 생성 장치 및 재생 장치에 관한 시스템을 구현함을 특징으로 한다. 특히, 2D 영상 및 3D 입체영상은 컨텐츠의 특성에 따라 영상파일의 각 부분을 2D 영상 또는 3D 입체영상으로 구현함을 특징으로 한다. 예를 들어, 문자 처리가 많은 부분에는 3D 입체영상의 구현이 오히려 사용자에게 눈의 피로감을 주므로 2D 영상으로 구현하고, 컨텐츠 중 율동이나 입체감이 필요한 부분에서는 3D 입체영상을 구현하여, 컨텐츠의 특성에 적합한 영상파일의 포맷을 구현하도록 한다.
이하에서 도 2a 내지 도 2b를 참조하여 본 발명의 일 실시예에 따른, 2D 영상과 3D 입체영상을 포함하는 영상 파일의 저장 포맷에 대한 블록 구성도를 살펴보면 다음과 같다. 앞서 언급한 바와 같이, 본 발명은 기본적으로 도 1에 나타난 2D 영상 파일 포맷(100)에 2D 영상과 3D 입체영상을 모두 포함하는 영상 파일에 대한 정보를 담고 있는 박스를 추가함으로써, 2D 영상과 3D 입체영상을 모두 포함하는 영상 파일(201,202) 포맷을 구현한다. 그러므로 기존 2D 영상 파일 포맷의 구조 및 기능에 대해서는 중요한 변경없이 그대로 그 기능을 이용할 수 있다.
이 때, 본 발명에서의 2D 영상과 3D 입체 영상을 모두 포함하는 영상 파일에 대한 정보를 담고 있는 박스는 메타박스에 담겨(혹은 메타박스에 담기지 않더라도) 파일영역, 무브영역, 트랙(Track) 영역에 들어갈 수도 있고, 메타박스에 담지 않고 트랙(Track) 영역의 영상 파일의 샘플(Sample: 파일 포맷 내에서 영상을 구분하는 기본 단위, 프레임(Frame)을 의미하기도 함)에 대한 정보를 담고 있는 'stbl'박스 (샘플 테이블 박스)에 들어갈 수도 있다.
도 2a를 참조하여 본 발명의 일 실시예를 살펴보면 다음과 같다. 도 2a에서 3D 영상파일은 하나의 영상 스트림으로 구성되어 있는 경우의 영상 파일의 저장 포맷을 도시한 것이다. 영상파일의 저장 포맷(201)은 최상위 레벨의 파일영역(210), 헤더영역에 속하는 무브영역(220), 데이터영역인 미디어데이터영역(240), 그리고 메타데이터영역(230)으로 구성된다.
여기서 미디어데이터영역(240)은 영상트랙(241)과 음성트랙(245)를 포함하며, 영상트랙(241)에는 영상데이터가 저장되고, 음성트랙(245)에는 음성데이터가 저장된다. 좀 더 구체적으로는 영상트랙(241)에는 2D 영상을 위한 제1영상데이터와, 3D 입체영상을 위한 제2영상데이터 및 제3영상데이터가 각각 저장된다. 여기서 제2영상데이터 및 제3영상데이터는 하나의 피사체에 대한 좌시점 영상데이터 및 우시점 영상데이터가 될 수 있다. 이는 하나의 피사체에 대해 양 시점에서 촬영하여 양 데이터를 인터리빙(Interleaving)하여 표시하면, 사용자로 하여금 입체감을 느끼도록 할 수 있기 때문이다. 도 2a에서는 각 프랙먼트(Fragment)(242,243,244)에 3D 입체영상을 위한 데이터, 2D 영상을 위한 영상데이터, 3D 입체영상을 위한 영상데이터가 각각 저장된 예를 도시하고 있다. 이러한 순서는 컨텐츠의 각 부분의 특성에 따라 2D 영상 또는 3D 입체영상으로 구현된다. 그리고 3D 입체영상을 위한 프랙먼트(242)(244)에 저장되는 제2영상데이터 및 제3영상데이터의 저장 방식 역시 본 발명의 시스템에서 약속된 방식이라면 임의의 방식에 의해 영상파일을 생성 및 재생할 수 있다. 도 2a의 예는 제2영상데이터와 제3영상데이터가 각 프레임마다 번갈아 저장되도록 하는 방식이다. 이 외에도 각 제2영상데이터 및 제3영상데이터가 면대면(Side by Side)으로 저장되도록 하거나, 각 영상데이터를 인터리빙하기 위한 데이터로 작게 나누어 저장되도록 하는 방식이 있을 수 있다.
한편, 음성트랙(245)에 포함된 음성데이터(246, 247, 248)는 각 프랙먼트(242, 243, 244)에 대한 음성데이터로서, 각 프랙먼트(242, 243, 244)의 영상데이터와 동기화되어 재생된다.
그리고 무브영역(220)은 파일 포맷 중 헤더영역에 해당하며, 영상트랙에 관한 정보(221) 및 음성트랙에 관한 정보(222)를 포함한다. 영상트랙에 관한 정 보(221)는 프레임 레이트(Frame Rate), 비트 레이트(Bit Rate), 이미지 크기 등의 컨텐츠 정보과 FF/REW 등의 재생 기능을 지원하기 위한 동기화 정보 등의 파일 재생을 위한 일반적인 정보를 포함하고 있다. 특히, 영상트랙(241) 내 영상데이터 및 음성트랙(245) 내 음성데이터의 전체 프레임수, 각 프레임의 크기 등의 정보를 포함하여 재생 시에 무브영역(220)을 분석(Parsing)하여 영상데이터 및 음성데이터를 복원하여 재생하도록 한다.
한편, 본 발명에서는 상기 제1영상데이터와 상기 제2영상데이터 및 제3영상데이터에 의해 생성되는 각 프레임이 2D 영상을 위한 프레임인지 3D 입체영상을 위한 프레임인지를 표시하는 식별정보를 포함하는 박스를 추가한다. 도 2a에서는 본 발명에 따라 추가된 새로운 박스를 무브영역(230)에 추가하였다. 이는 영상파일 내에 프레임 단위로 저장된 각 영상데이터들이 2D 영상을 위한 영상데이터인지 3D 입체영상을 위한 영상데이터인지를 나타낸다. 즉, 각 프레임 별로 플래그(Flag)를 설정하여 프레임의 성격을 나타내도록 한다. 한편, 식별정보는 2D 영상을 위한 연속된 프레임들로 구성된 프랙먼트와 3D 입체영상을 위한 연속된 프레임들로 구성된 프랙먼트의 개수에 관한 정보를 포함한다. 이러한 정보에 의해 영상파일을 2D 영상 또는 3D 입체영상으로 각각 복원해 재생할 수 있다. 이러한 설명을 표로 예시하면 아래의 표 1 및 표2와 같다.
프레임 넘버
(Frame No.)		 1 ... 300 301 ... 500 501 ... 900
타입
(Type)		 3D 입체영상 2D 영상 3D 입체영상
스테레오_플래그
(Stereo_Flag)		 1 ... 1 0 ... 0 1 ... 1
엔트리_개수(Entry_Count) = 3
샘플_개수(Sample_Count) 스테레오_플래그(Stereo_Flag)
300 1
200 0
400 1
위 표 1 및 표 2와 도 2a에서 보듯이, 첫번째 프랙먼트(242)는 3D 입체영상을 위한 제2영상데이터 및 제3영상데이터로 구성되며, 두번째 프랙먼트(243)에서는 2D 영상을 위한 제1영상데이터를 포함한다. 그리고 세번째 프랙먼트(244)에서는 3D 입체영상을 위한 제2영상데이터 및 제3영상데이터를 포함한다. 여기서 식별정보(231)에는 단지 표2의 샘플_개수와 플래그만을 저장하며, 본 영상파일의 저장 포맷(201)에서 식별정보(231)를 참조하여, 각 프랙먼트(242, 243, 244)에 저장된 영상을 복원하여 재생할 수 있다. 한편, 식별정보(231)에는 제2영상데이터와 제3영상데이터를 복호화하기 위한 정보 및 이를 합성하기 위한 정보를 포함하여, 재생 시 참조할 수 있도록 한다.
다음으로 도 2b를 참조하여 본 발명의 다른 일 실시예를 살펴보면 다음과 같다. 도 2b 역시 본 발명의 다른 일 실시예에 따른 3D 입체영상 파일의 저장 포맷에 대한 블록 구성도로서, 도 2a와 다른 점은 영상트랙을 한 개가 아닌 두 개를 예시하고 있는 점이 다르다. 본 발명의 3D 입체영상 파일의 저장 포맷(202)은 역시 최상위 레벨인 파일영역(250), 데이터영역인 미디어데이터영역(280), 헤더영역인 무브영역(260), 메타데이터영역(270)으로 구성된다. 각각의 설명은 도 2a에 설명한 바와 같으므로 생략한다. 다만, 제1영상트랙(281)에서는 좌시점 영상에 해당하는 제2영상데이터(282)(284)와 2D 영상을 위한 제1영상데이터(294)를 저장하고 있으며, 제2영상트랙(285)에서는 우시점 영상에 해당하는 제3영상데이터(290)(292)와 2D 영상을 위한 제1영상데이터(291)을 저장하고 있다. 즉, 좌시점 영상데이터와 우시점 영상데이터를 각각 다른 영상트랙에 저장하고 있으며, 각각의 제1영상데이터(283), 제1영상데이터(287)는 모두 동일한 데이터에 해당한다.
물론 식별정보(272)에는 앞서 언급한 정보들 외에 중복되는 제1영상데이터(283)와 제1영상데이터(287) 중에 어느 영상데이터를 2D 영상을 위해 이용할 지에 관한 정보를 포함한다. 즉, 제1영상트랙(281) 또는 제2영상트랙(285) 중 어느 영상트랙을 주 영상트랙으로 설정할 지의 정보로서 이를 정할 수 있다.
다음에서는 본 발명에서 보듯이, 2D 영상 및 3D 입체영상을 모두 포함하는 영상파일의 저장 포맷에 관한 표준(Standards)으로서 다음과 같은 정보 박스(Information Box)를 표 3에서 제시한다. 이는 ISO/IEC 14496-12 ISO base media format 표준 문서에 정의된 형식에 맞춰 정의한 것이다. 표준 문서상 일부 내용의 변경이 있더라도, 본 발명의 취지에 부합하는 한, 본 발명에서 제시한 영상정보 박스('svmi' box)는 표준 문서에 제시하는 영상 박스와 동일한 것으로 간주할 수 있다.
[Definition]
Box Type: 'svmi'
Container: Meta Box('meta') or Sample Table Box('stbl')
Mandatory: Yes
Quantity: Exactly one

[Syntax]
aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', version = 0, 0)
{
//stereoscopic visual type information
unsigned int(8) stereoscopic_composition_type;
unsigned int(1) is_left_first;
unsigned int(7) reserved;

// stereoscopic fragment information
unsigned int(1) is_all_stereo;
unsigned int(7) reserved;

if(is_all_stereo == 0)
{
unsigned int(1) is_main_media;
unsigned int(7) reserved;
unsigned int (32) entry _ count ;

for(i=0; i< entry _ count ; i++)
{
unsigned int (32) sample _ count ;
unsigned int (8) stereo _ flag ;
}
}
}

[Semantics]
stereoscopic_composition_type: 스테레오스코픽 비디오 컨텐츠의 프레임 구성형태(0: side-by-side, 1: vertical line interleaved, 2: frame sequential, 3: monoscopic left image, 4: monoscopic right image)
is_left_first: 좌영상과 우영상 중에서 어떤 것이 먼저 인코딩 되는지를 나타냄
is_all_stereo: ES 내의 fragment들이 모두 stereo fragment인지 나타냄(0: 모노, 1: 스테레오)
is_main_media: ES 내의 모노스코픽 컨텐츠가 main media인지를 나타냄(0: sub media, 1: main media)
entry_count: 연속적인 값을 가지는 sample로 구성된 fragment의 갯수
sample_count: 연속적인 값을 가지는 sample의 갯수
stereo_flag: 현재 프레임이 스테레오인지 모노인지를 나타냄(0: 모노, 1: 스테레오)
영상정보 박스('svmi' box)는 영상파일(ES)안의 각각의 샘플들에 대한 스테레오/모노 정보를 저장하는 박스이기 때문에 영상정보 박스('svmi' box)를 포함하는 컨테이너는 메타 박스('meta' box)가 될 수 도 있고, 샘플테이블 박스('stbl' box)가 될 수가 있다. 컨테이너란 현재의 박스를 포함하는 상위 박스를 말한다.
그러므로, 이러한 영상정보 박스('svmi' box)의 컨테이너는 다음의 표 4a와 같이 메타데이터영역(270)이 될 수 있다. 또한 표 4b와 같이 샘플테이블 박스에 포함될 수도 있다.
따라서 표 3과 아래의 표 6, 표 8, 표 9에, 컨테이너 부분에서 새롭게 추가한 부분을 표시하였다. 본 발명에서 영상정보 박스('svmi' box)의 컨테이너로 메타 박스('meta' box)와 샘플테이블 박스('stbl' box) 두 가지를 나타냈는데, 추후에 의미적으로 더 적합한 ISO/IEC 14496-12 ISO base media file format 상의 'table of boxes' 위치로 자유롭게 이동할 수 있음을 명시한다.
표 4b에 현재 ISO/IEC 23000-11 Stereoscopic Video Application Format의 파일구조에서 영상정보 박스('svmi' box)가 샘플테이블 박스 컨테이너('stbl' box container) 하위로 들어가도록 표현한 'table of boxes'를 나타낸다.
또한, 본 발명의 실시예에 따른 모든 영상정보 박스('svmi' box)는 파일 영역에 포함될 수도 있고, 무브 영역에 포함될 수도 있으며, 트랙 영역에 포함될 수도 있다.
meta metadata
hdlr handler
dinf data information box
dref dta reference box
ipmc IPMP control box
iloc item location
ipro item protection
sinf protection scheme information box
frma original format box
imif IPMP information box
schm scheme type box
schi scheme information box
linf item information
xml XML container
bxml binary XML container
pitm primary item reference
svmi stereoscopic video media information box
Ftyp file type and compatibility
pdin Progressive download Information
moov container for all the metadata
mvhd movie header, overall declarations
trak container for an individual track or stream
tkhd track header, overall information about the track
tref track reference container
edts edit list container
elst an edit list
mdia container for the media information in a track
mdhd media header, overall information about the media
hdlr handler, declares the media (handler) type
minf media information container
vmhd video media header, overall information (video track only)
smhd sound media header, overall information(sound track only)
hmhd hint media header, overall information (hint track only)
nmhd Null media header, overall information(some tracks only)
dinf data information box, container
dref data reference box, declares soure(s) of media data in track
stbl sample table box, container for the time/space map
stsd sample descriptions (codec types, initialization etc.)
stts (decoding) time-to-sample
stsc sample-to-chunk, partial data-offset information
stsz sample sizes (framing)
stz2 compact sample sizes (framing)
stco chunk offset, partial data-offset information
co64 64-bit chunk offset
stss sync sample table (random access point)
svmi stereoscopic video media infomration
ipmc IPMP Control Box
mdat media data container
meta metadata
hdlr handler, declares the metadata (handler) type
iloc item location
iinf item information
xml XML container
bxml binary XML container
scdi stereoscopic camera and display infomration
한편, 도 2b 내지 도 2f는 영상파일의 저장 포맷에 대한 또 다른 실시예를 도시하고 있다.
도 2b는 3D 영상파일이 두 개의 영상 스트림으로 구성되어 있는 경우(좌 영상과 우 영상이 각각의 영상 스트림으로 저장되는 경우)의 영상 파일의 저장 포맷을 도시한 것으로, 도 2a와 같이 본 발명에 따라 추가된 새로운 박스를 무브 영역에 추가하였다.
도 2c는 3D 영상파일은 하나의 영상 스트림으로 구성되어 있는 경우의 영상 파일의 저장 포맷을 도시한 것으로, 본 발명에 따라 추가된 새로운 박스를 파일 영역에 추가하였다.
도 2d는 3D 영상파일이 두 개의 영상 스트림으로 구성되어 있는 경우(좌 영상과 우 영상이 각각의 영상 스트림으로 저장되는 경우)의 영상파일의 저장 포맷을 도시한 것으로, 본 발명에 따라 추가된 새로운 박스를 파일 영역에 추가하였다.
도 2e는 3D 영상파일은 하나의 영상 스트림으로 구성되어 있는 경우의 영상 파일의 저장 포맷을 도시한 것으로, 본 발명에 따라 추가된 새로운 박스를 트랙 영역에 추가하였다.
도 2f는 3D 영상파일이 두 개의 영상 스트림으로 구성되어 있는 경우(좌 영상과 우 영상이 각각의 영상 스트림으로 저장되는 경우)의 영상파일의 저장 포맷을 도시한 것으로, 본 발명에 따라 추가된 새로운 박스를 트랙 영역에 추가하였다.
상기 도 2a 내지 도 2f는 2D 영상과 3D 입체 영상을 모두 포함하는 영상 파일에 대한 정보를 담고 있는 박스('svmi' box)가 메타박스에 담겨 파일영역, 무브영역, 트랙(Track) 영역에 들어가는 실시예를 설명한 것이다.
다음 도 2g 및 도 2h는 2D 영상과 3D 입체 영상을 모두 포함하는 영상 파일에 대한 정보를 담고 있는 박스('svmi' box)가 트랙(Track) 영역의 영상 파일의 샘플(Sample: 파일 포맷 내에서 영상을 구분하는 기본 단위, 프레임(Frame)을 의미하기도 함)에 대한 정보를 담고 있는 'stbl' 박스(샘플 테이블 박스)에 들어가는 실시예이다.
도 2g는 3D 영상파일은 하나의 영상 스트림으로 구성되어 있는 경우의 영상 파일의 저장 포맷을 도시한 것으로, 본 발명에 따라 추가된 새로운 박스를 'stbl'박스(샘플 테이블 박스)에 추가하였다.
도 2h는 3D 영상파일이 두 개의 영상 스트림으로 구성되어 있는 경우(좌 영상과 우 영상이 각각의 영상 스트림으로 저장되는 경우)의 영상파일의 저장 포맷을 도시한 것으로, 본 발명에 따라 추가된 새로운 박스를 'stbl' 박스(샘플 테이블 박스)에 추가하였다.
이처럼 도 2a 내지 도 2h와 같이 영상정보 박스('svmi' box)가 무브 레벨이 아닌 기존 영상 파일 포맷의 파일 레벨과 트랙 레벨에 추가되도록 함으로써 다양한 영상 파일 포맷에 의해 영상 파일이 생성될 수 있다.
다음으로 도 2a 내지 도 2h에 도시한 영상파일의 저장 포맷(201, 202)을 이용한 영상파일을 생성 및 재생하기 위한 시스템에 대하여 설명한다. 이러한 시스템은 크게 영상파일 생성장치와 영상파일 재생장치로 구성될 수 있다. 먼저 도 3을 참조하여 본 발명의 일 실시예에 따른 영상파일 생성장치에 대하여 설명한다.
영상파일 생성장치는 제1카메라(311), 제2카메라(312), 입력부(320), 영상신호처리부(330), 저장부(340), 부호부(350), 파일생성부(360)를 포함한다.
제1카메라(311)는 소정의 피사체를 좌시점 또는 우시점에서 촬영하여 제2영상데이터를 출력하고, 제2카메라(312)는 상기 피사체를 제1카메라(311)와 다른 시점에서 촬영하여 제3영상데이터를 출력한다. 그리고 2D 영상을 위한 제1영상데이터(310)를 제2영상데이터 및 제3영상데이터와 함께 입력부(320)를 통해 입력한다.
제1영상데이터와 제2영상데이터 및 제3영상데이터는 영상신호처리부(330)에 의해 전처리된다. 여기서 전처리 동작이란 외부의 영상값 즉 빛과 컬러 성분을 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 타입의 센서를 통해 인식된 아날로그 값을 디지털 값으로 변환하는 것이다.
저장부(340)에서는 영상신호처리부(330)에 의해 전처리된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 저장하여 부호부(350)에 제공한다. 도 3에서는 특별히 저장부(340)를 도시하고 있으나, 이 외에 도 3에 나타난 각 구성들 사이에 버퍼링을 해주는 저장 구성을 별도로 도시하지는 않는다. 그리고 부호부(350)는 저장부(340)로부터 제공받은 제1영상데이터와 제2영상데이터 및 제3영상데이터를 부호화한다. 부호부(350)의 부호화 동작은 데이터의 인코딩에 관한 것으로서, 필요에 따라서 생략될 수도 있다.
파일 생성부(360)는 부호부(350)에서 부호화된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 이용하여 영상파일(370)을 생성한다. 이때 제1영상데이터와, 제2영상데이터 및 제3영상데이터는 데이터영역 특히 미디어데이터영역에 저장하며, 헤더영역 즉, 무브영역 및 메타데이터영역에는 2D 영상 및 3D 입체영상을 생성하기 위한 정보를 저장한다. 이렇게 생성된 영상파일(370)은 입체영상 파일 재생장치로 입력되거나 전송되며, 영상파일 재생장치가 영상파일(370)로부터 2D 영상 및 3D 입체영상을 재생하여 표시한다. 이하 입체영상 파일 재생장치에 관하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 영상파일 재생장치에 대한 블록 구성도이다. 도 4를 참조하면, 영상파일 재생장치는 파일분석부(420), 복호부(430), 저장부(440), 재생부(450), 표시부(460)를 포함한다.
파일분석부(420)는 영상파일 생성장치의 파일생성부(360)에서 생성한 영상 파일(370)을 수신하여 분석한다. 이때 무브영역과 메타데이터영역에 각각 저장된 정보를 분석한 후, 미디어데이터영역에 저장된 제1영상데이터 및 제2영상데이터와 제3영상데이터를 추출한다.
복호부(430)는 추출된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 복호화한다. 이는 영상파일 생성장치에서 부호부(350)를 사용하여 부호화한 경우에 사용하게 된다. 그리고 저장부(440)에 복호화된 데이터들을 저장한다. 재생부(450)는 저장부(440)에 저장된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 식별정보를 참조하여 2D 영상 및 3D 입체영상을 합성하여 재생한다. 그리고 표시부(460)는 2D 영상 및 3D 입체영상을 표시한다. 이러한 표시부(460)는 배리어 LCD(Barrier Liquid Crystal Display)로 구성할 수 있으며, 영상파일의 프랙먼트가 2D 영상인 경우에는 배리어 LCD를 오프(Off)시키고, 3D 입체영상인 경우에는 온(On)시켜 각 영상이 제대로 표시되도록 할 수 있다.
다음으로 이러한 영상파일의 저장 포맷을 이용하여 영상파일을 생성하고 재생할 수 있는 방법에 관하여 설명한다.
도 5는 도 3의 영상파일 생성장치를 이용한 영상파일 생성방법에 대한 흐름도이다. 도 5를 참조하면, 입력단계(S510), 전처리단계(S520), 부호화단계(S530), 파일생성단계(S540)를 포함한다.
여기서 입력단계(S510)는 2D 영상을 생성하기 위한 제1영상데이터와, 3D 입체영상을 생성하기 위한 제2영상데이터 및 제3영상데이터를 입력하는 단계이다. 여기서 소정의 피사체를 좌시점 또는 우시점에서 촬영하여 제2영상데이터와 제3영상데이터를 출력한다.
전처리단계(S520)는 입력단계(S510)에서 입력된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 전처리하는 단계로서, CCD(Charge Coupled Device) 또는 CMOS 타입의 센서를 통해 인식된 제1영상데이터 및 제2영상데이터를 아날로그에서 디지털로 변환한다.
그리고 부호화단계(S530)에서는 저장부(340)에 저장된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 부호화한다. 부호화단계(S530)는 필요에 따라 생략 가능하다.
파일생성단계(S540)에서는 부호부(350)에서 부호화된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 이용하여 영상파일을 생성한다. 이때 도 2a 및 도 2b에서 설명한 영상파일의 저장 포맷에 따라 생성할 수 있다.
이하에서는, 표 2 및 표 3의 제1실시예와 다른 제2실시예 내지 제4실시예를 설명한다. 위에서 소개된 영상정보 박스('svmi' box)를 변경을 가한 새로운 영상정보 박스('svmi' box)를 소개한다.
먼저, 제2실시예에서는, 아래의 표 5와 같이 3D 입체영상과 2D 영상이 혼합된 컨텐츠의 경우, 표 6과 같이 변경된 영상정보 박스의 신택스 및 시맨틱스를 규정한다.
타입(Type) S1
(스테레오)		 S2
(스테레오)		 S3
(스테레오)		 M1
(모노)		 M2
(모노)		 S4
(스테레오)
프레임개수 100 100 100 200 300 100
[Definition]
Box Type: 'svmi'
Container: Meta Box('meta') or Sample Table Box ('stbl')
Mandatory: Yes
Quantity: Exactly one

[Syntax]
aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', version = 0, 0)
{
//stereoscopic visual type information
unsigned int(8) stereoscopic_composition_type;
unsigned int(1) is_left_first;
unsigned int(7) reserved;

// stereoscopic fragment information
unsigned int(32) entry_count;

for(i=0; i<entry_count; i++)
{
unsigned int(32) sample_count;
unsigned int(1) stereo_flag;
unsigned int(7) reserved;
unsigned int(32) item_count;
}
}

[Semantics]
stereoscopic_composition_type: 스테레오스코픽 비디오 컨텐츠의 프레임 구성형태(0: side-by-side, 1: vertical line interleaved, 2: frame sequential, 3: monoscopic left image, 4: monoscopic right image)
is_left_first: 좌영상과 우영상 중에서 어떤 것이 먼저 인코딩 되는지를 나타냄
entry_count: 스테레오에서 모노 또는 모노에서 스테레오로 fragment의 type 전환이 일어나는 fragment의 개수
sample_count: 연속적인 값을 가지는 sample의 갯수
stereo_flag: 현재 프레임이 스테레오인지 모노인지를 나타냄(0: 모노, 1: 스테레오)
item_count: entry를 구성하는 fragment의 개수
위 표 6의 신택스를 이용한 표 5의 컨텐츠는 표 7과 같이 표시된다.
entry_count = 3
sample_count stereo_flag item_count
300 1 3
500 0 2
100 1 1
한편, 엔트리_카운트(entry_count)의 의미를 표 3의 시맨틱스에 나와 있는 것과 같이 정의했을 경우 현재 엔트리 내의 프랙먼트 구성이 어떻게 되어 있는지를 알 수 없는 문제가 있어서, 제3실시예에서는 아이템_카운트(item_count)라는 신택스_값(syntax_value)를 새로이 추가하여 이런 문제를 해결하였다.
엔트리_카운트(entry_count)의 의미를 표 6의 시맨틱스에 나와 있는 것과 같이 정의했을 경우 컨텐츠의 구조는 스테레오가 먼저인지 모노가 먼저인지 만을 구별해주는 플래그 값을 두기만 하면 스테레오_플래그(stereo_frag) 신택스는 생략될 수 있다. 이를 반영하여 다음과 같이 정의할 수 있다.
[Definition]
Box Type: 'svmi'
Container: Meta Box('meta') or Sample Table Box ('stbl')
Mandatory: Yes
Quantity: Exactly one

[Syntax]
aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', version = 0, 0)
{
//stereoscopic visual type information
unsigned int(8) stereoscopic_composition_type;
unsigned int(1) is_left_first;
unsigned int(7) reserved;

// stereoscopic fragment information
unsigned int(32) entry_count;
unsigned int(1) is_stereo_first;
unsigned int(7) reserved;

for(i=0; i<entry_count; i++)
{
unsigned int(32) sample_count;
unsigned int(32) item_count;
}
}

[Semantics]
stereoscopic_composition_type: 스테레오스코픽 비디오 컨텐츠의 프레임 구성형태(0: side-by-side, 1: vertical line interleaved, 2: frame sequential, 3: monoscopic left image, 4: monoscopic right image)
is_left_first: 좌영상과 우영상 중에서 어떤 것이 먼저 인코딩 되는지를 나타냄
entry_count: 스테레오에서 모노 또는 모노에서 스테레오로 fragment의 type 전환이 일어나는 fragment의 개수
is_stereo_flag: 스테레오와 모노가 조합된 컨텐츠에서 어떤 타입의 영상이 먼저 나오는지를 나타냄(0: 모노가 먼저 나옴, 1: 스테레오가 먼저 나옴)
sample_count: 연속적인 값을 가지는 sample의 갯수
item_count: entry를 구성하는 fragment의 개수
영상순서정보(is_stereo_first) 값이 '1'이 되면 컨텐츠는 'S→M→S→M→···' 와 같이 구성되어 있는 경우이고, 반대로 이 값이 '0'이면 'M→S→M→S→···'처럼 구성되어 있는 것이다.
또 다른 한편, 제4실시예는 다음과 같다. 제4실시예는 샘플_카운트(sample_count) 신택스 없이 사용하는 경우이다. 이 경우에는 각각의 프랙먼트가 스테레오인지 모노인지는 알 수 있지만 정확히 몇 장의 프레임이 스테레오인지 모노인지는 알 수가 없다. 따라서 이 경우에는 ISO 미디어 파일 포맷 상에 정의된 아이템위치 박스(item location box)의 신택스 및 샘플크기 박스(sample table box: 'stbl' box) 하위의 박스들의 신택스 값들을 이용하여 몇 장의 프레임이 스테레오인지 모노인지를 알 수 있게 된다.
[Definition]
Box Type: 'svmi'
Container: Meta Box('meta') or Sample Table Box (‘stbl’)
Mandatory: Yes
Quantity: Exactly one

[Syntax]
aligned(8) class StereoscopicVideoInformationBox extends FullBox('svmi', version = 0, 0)
{
//stereoscopic visual type information
unsigned int(8) stereoscopic_composition_type;
unsigned int(1) is_left_first;
unsigned int(7) reserved;

// stereoscopic fragment information
unsigned int(32) entry_count;

for(i=0; i<entry_count; i++)
{
unsigned int(1) stereo_flag;
unsigned int(1) reserved;
}
}

[Semantics]
stereoscopic_composition_type: 스테레오스코픽 비디오 컨텐츠의 프레임 구성형태(0: side-by-side, 1: vertical line interleaved, 2: frame sequential, 3: monoscopic left image, 4: monoscopic right image)
is_left_first: 좌영상과 우영상 중에서 어떤 것이 먼저 인코딩 되는지를 나타냄
entry_count: ES 내의 fragment 개수
stereo_flag: 현재 프레임이 스테레오인지 모노인지를 나타냄(0: 모노, 1: 스테레오)
또한 단말에서 컨텐츠의 랜덤 액세스(Random Access)를 수행하는 경우에 샘플크기 박스('stbl' box)의 값들을 이용하여 처음부터 순차적으로 프레임 사이즈를 읽어가면서 원하는 위치로의 이동을 하게 되는데, 만약 본 발명에서 정의한 영상정보 박스('svmi' box)의 샘플_카운트(sample_count) 신택스 값을 이용하는 경우에는 각각의 프랙먼트의 프레임 수를 알 수 있고, 아이템위치 박스('iloc' box)에서 각각의 프랙먼트의 시작 주소 및 사이즈를 알 수 있기 때문에 이 값들을 이용하여 좀 더 효과적으로 임의의 지점으로의 랜덤 액세스(Random Access)가 가능하다.
도 6은 도 4의 영상파일 재생장치를 이용한 영상파일 재생방법에 대한 흐름도이다. 도 6을 참조하면, 영상파일을 재생하기 위한 방법은 파일분석단계(S610), 복호화단계(S620), 재생단계(S630), 표시단계(S640)를 포함한다. 도 6의 방법은 도 5에서 생성된 영상파일을 재생하기 위한 방법이다.
여기서 파일분석단계(S610)는 영상파일의 무브영역 및 메타데이터영역에 저장된 정보, 특히 식별정보를 이용하여 제1영상데이터와 제2영상데이터 및 제3영상데이터를 추출한다.
그리고 복호화단계(S620)에서 제1영상데이터와 제2영상데이터 및 제3영상데이터를 복호화한다. 영상파일을 생성하기 위한 방법에서 부호화단계(S530)가 생략된 경우 복호화단계(S620) 역시 생략된다.
재생단계(S630)는 복호화단계(S620)에서 복호화된 제1영상데이터와 제2영상데이터 및 제3영상데이터를 2D 영상 및 3D 입체영상으로 합성하여 재생한다. 그리고 표시단계(S640)에서는 위 재생단계(S630)에서 생성된 2D 영상 및 3D 입체영상을 표시부(460)에 표시한다. 한편 표시단계(S640)에서 표시부(460)는 배리어 LCD로 구성할 수 있으며, 영상파일의 프랙먼트가 2D 영상인 경우에는 배리어 LCD를 오프)시키고, 3D 입체영상인 경우에는 온시켜 각 영상이 제대로 표시되도록 할 수 있다.
도 7, 도 8, 도 9 및 도 10은 본 발명에 의한 제1실시예 내지 제4실시예에 따른 영상파일의 분석에서 재생까지 이르는 단말의 동작을 도시하고 있다.
도 7에서는 구체적인 영상파일의 분석 및 재생방법의 실시예를 다룬다. 도 7의 실시예는 기본적으로 표 3에 기재된 바 있는 영상정보 박스('svmi' box)를 포함하는 영상파일 포맷에 관한 것이다. 영상정보 박스('svmi' box)는 여러 개의 필드를 포함하고 있으며, 이러한 필드의 주요 기능은 영상파일의 각 프레임이 2D 영상인지 3D 입체영상인지에 관한 정보를 제공하고, 그러한 경우에 배리어 액정 표시 장치를 활성화해야 할 지 비활성화해야 할 지에 관한 플랙(Flag)값을 제공한다.
먼저, 도 7을 참조하면, 영상파일에서 파일 박스('ftyp' box)를 분석한다.(S710) 파일 박스('ftyp' box)는 종래의 ISO/IEC 14496-12에서 기본적으로 제공된다. 그리고 영상파일의 무브 박스('moov' box)와 트랙 박스('trak' box) 및 메타 박스('meta' box)를 분석한다. 이 역시 종래의 ISO/IEC 14496-12에서 제공되는 것이다.(S720) 그리고 나서, 기존 영상파일 포맷에 새로 추가된 영상정보 박스('svmi' box)의 각 필드를 분석하여, 영상트랙 내의 각 프레임들이 2D 영상을 위한 프레임인지 3D 입체영상을 위한 프레임인지를 확인한다.(S730) 이는 주로 엔트리_카운트(entry_count), 샘플_카운트(sample_count)의 필드를 통해서 정보가 제공된다. 여기서 엔트리_카운트는 영상 파일 내의 프랙먼트의 개수를 의미한다. 예를 들어 하나의 영상파일 내에 3D 입체영상(1), 3D 입체영상(2), 3D 입체영상(3), 2D 영상(1), 2D 영상(2) 그리고 3D 입체영상의 순서대로 6개의 영상이 차례대로 포함되어 있다면, 각각의 영상은 복수의 프레임들로 구성되며, 이들 영상을 프랙먼트라고 한다. 이 때, 프랙먼트의 단위는 프레임이 될 수도 있고, 연속적인 값을 가지는 프레임의 집합(Set)이 될 수도 있으며, 3D 입체영상과 2D 영상이 나뉘는 구간이 될 수도 있다. 샘플_카운트는 각 프랙먼트를 구성하는 연속적인 프레임의 개수를 의미한다.
엔트리_카운트를 확인하여 영상 내 프랙먼트의 수를 확인하고, 샘플_카운트를 확인하여 각 프랙먼트를 구성하는 프레임의 총 수를 확인한다. 그리고 스테레오_플래그(stereo_flag)를 확인하여 현재 프레임 즉, 해당 프랙먼트를 구성하고 있는 프레임들의 집합의 플래그 정보를 확인한다. 이 플래그 정보를 통하여, 해당 프랙먼트가 3D 입체영상인지, 2D 영상인지를 확인할 수 있다.
그리고 나서, 위에서 확인된 각 프레임을 3D 입체영상 또는 2D 영상으로서 복호화한다.(S740) 그리고 영상정보 박스('svmi' box) 내의 스테레오_플래그(stereo_flag)를 분석한 정보로 '1'인 경우에는 배리어 액정 표시 장치를 활성화하고, '0'인 경우에는 배리어 액정 표시 장치를 비활성화하도록 규정할 수 있다.(S750) 이는 3D 입체영상인 경우에는 배리어 액정 표시 장치가 활성화되어야 하므로 스테레오_플래그 값을 '1'로 설정할 수 있고, 2D 영상인 경우에는 배리어 액정 표시 장치가 비활성화되어야 하므로 스테레오_플래그 값을 '0'으로 설정할 수 있으며, 이에 따라 배리어 액정 표시 장치가 제어될 수 있다. 한편, 이처럼 활성화 또는 비활성화된 배리어 액정 표시 장치에 복호화된 프레임을 재생 및 표시하여 사용자가 볼 수 있도록 한다.(S760)
도 8은 본 발명의 제2실시예에 따른 영상파일 재생방법에 대한 흐름도이다.
도 8을 참조하면, 영상파일에서 'ftyp' 박스를 분석한다.(S810) 그리고 영상파일의 무브 박스('moov' box)와 트랙 박스('trak' box) 및 메타 박스('meta'box)를 분석한다.(S820, S830, S840) 그리고 나서, 기존 영상파일 포맷에 새로 추가된 영상정보 박스('svmi' box)의 각 필드를 분석하여, 영상트랙 내의 각 프레임들이 2D 영상을 위한 프레임인지 3D 입체영상을 위한 프레임인지를 확인한다.(S850) 제2실시예에서의 엔트리_카운트는 제1실시예와 의미를 달리한다. 제2실시예에서의 엔트리_카운트는 스테레오에서 모노로 또는 모노에서 스테레오로 프랙먼트의 타입(Type) 전환이 일어나는 프랙먼트의 개수를 의미한다. 예를 들어 하나의 영상파일 내에 3D 입체 영상(1), 3D 입체 영상(2), 3D 입체 영상(3), 2D 영상(1), 2D 영상(2) 그리고 3D 입체영상(4)의 순서대로 6개의 영상이 차례대로 포함되어 있다 하더라도, 3D 입체 영상과 2D 영상의 타입 전환을 기준으로 영상을 구분하므로 엔트리_카운트는 '3'이 된다.
엔트리_카운트를 확인하여 영상 내 프랙먼트의 수를 확인하고, 샘플_카운트를 확인하여 각 프랙먼트를 구성하는 프레임의 총 수를 확인한다. 그리고 스테레오_플래그(stereo_flag)를 확인하여 현재 프레임 즉, 해당 프랙먼트를 구성하고 있는 프레임들의 집합의 플래그 정보를 확인하다. 이 플래그 정보를 통하여, 해당 프랙먼트가 3D 입체 영상인지, 2D 영상인지를 확인할 수 있다. 그리고 아이템_카운트를 확인하여 엔트리_카운트에서 확인한 영상의 각 엔트리 내(스테레오와 모노의 각 구간 내)에서의 프랙먼트 수를 확인할 수 있다. 프랙먼트의 단위는 프레임이 될 수도 있고, 연속적인 값을 가지는 프레임의 집합(set)이 될 수도 있으며, 3D 입체영상과 2D 영상이 나뉘는 구간이 될 수도 있다.
그리고 나서 영상을 복호화하고 디스플레이하는 과정은 제 1 실시예의 단말 동작(도 7)과 동일하다.(S860, S870)
도 9에서는 제3실시예의 영상파일의 분석 및 재생방법을 다룬다. 도 9를 참조하면, 영상파일에서 파일 박스를 분석한다.(S910) 그리고 영상파일의 무브 박스('moov' box)와 트랙 박스('trak' box) 및 메타 박스('meta' box)를 분석한다.(S920, S930, S940) 그리고 나서, 기존 영상파일 포맷에 새로 추가된 영상정보 박스('svmi' box)의 각 필드를 분석하여, 영상트랙 내의 각 프레임들이 2D 영상을 위한 프레임인지 3D 입체영상을 위한 프레임인지를 확인한다.(S950)
제3실시예에서의 엔트리_카운트는 제2실시예 및 제3실시예와 동일한 의미를 가진다. 즉, 제3실시예에서의 엔트리_카운트 역시 스테레오에서 모노로 또는 모노에서 스테레오로 프랙먼트의 타입 전환이 일어나는 프랙먼트의 개수를 의미한다. 엔트리_카운트를 확인하여 영상 내 프랙먼트의 수를 확인하고, 인코딩 순서(is_left_first)를 확인하여, 해당 영상에서 3D 입체 영상과 2D 영상 구간 중 어떤 영상 구간이 먼저 구성되어 있는지 확인한다. 예를 들어 인코딩 순서(is_left_first) 값이 '1'이 되면 컨텐츠는 S→M→S→M으로 구성이 되어 있는 경우이고, 반대로 이 값이 '0'이면 M→S→M→S와 같이 구성되어 있는 것이다. 그리고 샘플_카운트를 확인하여 각 프랙먼트를 구성하는 프레임의 총 수를 확인한다. 그리고 아이템_카운트를 확인하여 엔트리_카운트에서 확인한 영상의 각 엔트리 내(스테레오와 모노의 각 구간 내)에서의 프랙먼트 수를 확인할 수 있다. 프랙먼트의 단위는 프레임이 될 수도 있고, 연속적인 값을 가지는 프레임의 집합(set)이 될 수도 있으며, 3D 입체 영상과 2D 입체 영상이 나뉘는 구간이 될 수도 있다.
그리고 나서, 위에서 확인된 각 프레임을 3D 입체영상 또는 2D 영상으로서 복호화한다.(S960) 그리고 영상정보 박스 내의 인코딩 순서('is_stereo_first')를 분석한 정보로 배리어 액정 표시 장치를 제어한다. 이처럼 활성화 또는 비활성화된 배리어 액정 표시 장치에 복호화된 프레임을 재생 및 표시하여 사용자가 볼 수 있도록 한다.(S970)
도 10은 본 발명의 제4실시예에 따른 영상파일 재생방법에 대한 흐름도이다. 도 10을 참조하면, 영상파일에서 파일박스('ftyp' box)를 분석한다.(S1010) 그리고 영상파일의 무브 박스('moov' box)와 트랙 박스('trak' box) 및 메타 박스('meta' box)를 분석한다.(S1010, S1020, S1030) 그리고 나서, 기존 영상파일 포맷에 새로 추가된 영상정보 박스('svmi' box)의 각 필드를 분석하여, 영상트랙 내의 각 프레임들이 2D 영상을 위한 프레임인지 3D 입체영상을 위한 프레임인지를 확인한다.(S1050) 제4실시예에서의 엔트리 카운트는 제 1 실시예에서의 엔트리 카운트와 동일한 의미로 영상 파일 내의 프랙먼트의 개수를 의미한다. 예를 들어 하나의 영상파일내에 3D 입체 영상(1), 3D 입체 영상(2), 3D 입체 영상(3), 2D 영상(1), 2D 영상(2) 그리고 3D 입체영상(4)의 순서대로 6개의 영상이 차례대로 포함되어 있다면, 각각의 영상은 복수의 프레임들로 구성되며, 이들 영상을 프랙먼트라고 한다. 앞서 설명한 바와 같이 프랙먼트의 단위는 프레임이 될 수도 있고, 연속적인 값을 가지는 프레임의 집합(set)이 될 수도 있으며, 3D 입체 영상과 2D 입체 영상이 나뉘는 구간이 될 수도 있다. 샘플_카운트는 각 프랙먼트를 구성하는 연속적인 프레임의 갯수를 의미한다. 엔트리_카운트를 확인하여 영상 내 프랙먼트의 수를 확인하고, 스테레오_플래그(stereo_flag)를 확인하여 각 프랙먼트를 구성하고 있는 프레임들의 집합의 플래그 정보를 확인하다. 이 플래그 정보를 통하여, 해당 프랙먼트가 3D 입체 영상인지, 2D 영상인지를 확인할 수 있다.
그리고 나서 아이템위치 박스('iloc' box)를 확인하여 각 프랙먼트의 시작주소와 길이를 확인하고, 샘플크기 박스('stsz' box)에서 샘플크기를 확인하여, 각 프랙먼트가 몇 프레임으로 구성되어있는지 확인한다.(S1060)
그리고 나서 영상을 복호화하고 디스플레이하는 과정은 제 1 실시예의 단말 동작(도 7)과 동일하다.(S1070, S1080)
도 11은 본 발명의 랜덤 액세스를 구현하기 위한 흐름도이다. 도 11을 참조하면, 영상의 디코딩 혹은 재생 과정에서 랜덤 엑세스 명령(Random Access Order)이 발생하였을 경우(예를 들어 1시간짜리 영상을 재생하는 과정에서 자신이 보고싶은 시간대의 영상으로 플레이 바(PLAY Bar)를 이동하는 경우)의 단말의 동작을 설명하고 있다.
먼저 타임스탬프(TimeStamp) 정보가 들어 있는 박스에서 타임스탬프 정보를 확인하여 임의 접근해야하는 프레임(이하 랜덤 액세스 포인트, Random Access Point: RAP)을 확인한다. 그리고 나서 영상정보 박스('svmi' box)의 엔트리_카운트를 확인하여 영상 내의 프랙먼트의 개수를 확인한다. 이때 프랙먼트는 프레임이 될 수도 있고, 연속적인 값을 가지는 프레임의 집합(set)이 될 수도 있으며, 3D 입체 영상과 2D 영상이 나뉘는 구간이 될 수도 있다.
샘플_카운트를 확인하여 RAP가 포함된 프랙먼트를 확인하고, 아이템위치 박스('iloc' box)를 확인하여 해당 프랙먼트의 오프셋(offset) 등의 정보를 통하여, 해당 프랙먼트의 시작주소를 확인한다.
그리고 나서 샘플크기 박스('stsz' box)에서 샘플_사이즈(sample_size)를 확인하여, 아이템위치 박스('iloc' box)에서 확인한 해당 프랙먼트의 시작주소에서부터, 샘플_사이즈를 하나씩 더하는 계산을 통하여 랜덤 액세스 포인트(RAP)를 찾아낸다. 그리고 나서 랜덤 액세스 명령에 따른 랜덤 액세스 포인트(RAP)의 복호화를 시작하게 된다.
기존의 방법으로는 랜덤 액세스 명령이 발생하였을 경우, 전체 영상의 샘플 사이즈를 계산하여 랜덤 액세스 포인트를 찾아낼 수 있었지만, 본 발명의 방법을 따르면, 랜덤 액세스 포인트가 속한 프랙먼트 내의 샘플만 계산하면 된다.
도 11에서는 엔트리_카운트와 샘플_카운트를 사용한 실시예 만을 설명하였으나, 본 발명의 다른 실시예들에도 본 방법은 같은 방법으로 적용될 수 있으며, 단말의 동작에 있어서의 논리적인 흐름을 따르는 내에서 각 실시예들에 따라 아이템_카운트를 확인하는 방법 등이 추가되거나 제외될 수도 있다.
또한 영상정보의 박스의 위치나 박스 내 파라미터 등의 위치에 따라 영상정보 박스('svmi' box)의 상세한 해석과정이나 단말의 동작은 바뀔 수 있다.
상기 모든 단말의 동작 설명에 있어서, 여기서 구체적으로 설명하고 있지 않은 파일 포맷의 분석 과정과 단말의 동작은 ISO/IEC 14496-12와 ISO/IEC 23000-11을 따른다.
도 1은 종래 표준기술에 따른 2D 영상 파일의 저장 포맷에 대한 블록 구성도;
도 2a는 본 발명의 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2b는 본 발명의 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2c는 본 발명의 또 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2d는 본 발명의 또 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2e는 본 발명의 또 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2f는 본 발명의 또 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2f는 본 발명의 또 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2g는 본 발명의 또 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 2h는 본 발명의 또 다른 일 실시예에 따른 영상파일의 저장 포맷에 대한 블록 구성도;
도 3은 본 발명의 일 실시예에 따른 영상파일 생성장치에 대한 블록 구성도;
도 4는 본 발명의 일 실시예에 따른 영상파일 재생장치에 대한 블록 구성도;
도 5는 도 3의 영상파일 생성장치를 이용한 영상파일 생성방법에 대한 흐름도;
도 6은 도 4의 영상파일 재생장치를 이용한 영상파일 재생방법에 대한 흐름도;
도 7은 본 발명의 제1실시예에 따른 영상파일 재생방법에 대한 흐름도;
도 8은 본 발명의 제2실시예에 따른 영상파일 재생방법에 대한 흐름도이다;
도 9는 본 발명의 제3실시예에 따른 영상파일 재생방법에 대한 흐름도이다;
도 10은 본 발명의 제4실시예에 따른 영상파일 재생방법에 대한 흐름도이다;
도 11은 본 발명의 랜덤 액세스를 구현하기 위한 흐름도이다.

Claims (66)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 데이터 구조를 저장하는 컴퓨터 독출 가능한 기록 매체에 있어서,
    하나 또는 그 이상의 영상 데이터 샘플을 포함하는 미디어 데이터 필드; 및
    상기 하나 또는 그 이상의 영상 데이터 샘플 각각이 2D 영상 데이터 및 3D 입체 영상 데이터 중 하나인지 아닌지를 나타내는 영상 타입 데이터 필드를 포함하는 미디어 헤더 필드를 포함하며,
    상기 헤더 필드는, 트랙 필드를 포함하고, 상기 트랙 필드는 샘플 테이블 필드를 포함하며, 상기 영상 타입 데이터 필드는 상기 샘플 테이블 필드에 위치하며,
    상기 영상 타입 데이터 필드는,
    동일한 타입을 갖는 연속된 영상 데이터 샘플의 카운트 수를 나타내는 제1 카운트 필드와,
    스테레오스코픽에서 모노스코픽으로 또는 모노스코픽에서 스테레오스코픽으로 프랙먼트(fragment)의 타입 전환이 일어나는 상기 프랙먼트의 카운트 수를 나타내는 제2 카운트 필드를 더 포함하며, 상기 프랙먼트는 상기 영상 데이터 샘플의 세트인 것을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  35. 삭제
  36. 제 34 항에 있어서, 상기 트랙 필드는,
    트랙-레벨 메타 데이터 필드를 포함하고, 상기 영상 타입 데이터 필드는 상기 트랙-레벨 메타 데이터 필드에 위치함을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  37. 삭제
  38. 제 34 항에 있어서, 상기 영상 타입 데이터 필드는,
    상기 하나 또는 그 이상의 영상 데이터 샘플 각각을 상기 2D 영상 데이터 및 상기 3D 입체 영상 데이터 중 어느 하나로 나타내는 플래그를 포함함을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  39. 삭제
  40. 삭제
  41. 제 34 항에 있어서, 상기 미디어 데이터 필드는,
    적어도 하나의 영상 트랙을 포함함을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  42. 제 41 항에 있어서, 상기 영상 트랙은,
    다수의 3D 입체 영상 데이터 샘플을 포함하며, 상기 다수의 3D 입체 영상 데이터 샘플 각각은 상이한 각도로 보여지는 영상을 나타냄을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  43. 제 42 항에 있어서, 상기 다수의 3D 입체 영상 데이터 샘플 각각은,
    좌 영상 및 우 영상 중 어느 것인지를 나타내고, 상기 다수의 3D 입체 영상 데이터 샘플은 상기 좌 영상 및 우 영상이 교차하여 배열됨을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  44. 제 43 항에 있어서, 상기 다수의 3D 입체 영상 데이터 샘플 각각은,
    프레임으로 나타냄을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  45. 제 43 항에 있어서, 상기 다수의 3D 입체 영상 데이터 샘플 중 두 개는 프레임을 나타내며, 각 프레임은 각 프레임마다 번갈아 저장되는 방식으로 배열된 상기 좌 영상 및 우 영상으로 구성됨을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  46. 제 41 항에 있어서, 상기 미디어 데이터 필드는,
    제 1 영상 트랙 및 제 2 영상 트랙을 포함함을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  47. 제 46 항에 있어서, 상기 제 1 영상 트랙은,
    다수의 3D 입체 영상 데이터 샘플을 포함하고, 상기 다수의 3D 입체 영상 데이터 샘플 각각은 좌 시점 영상을 나타내며,
    상기 제 2 영상 트랙은 다수의 3D 입체 영상 데이터 샘플을 포함하고, 상기 다수의 3D 입체 영상 데이터 샘플 각각은 우 시점 영상을 나타냄을 특징으로 하는 컴퓨터 독출 가능한 기록 매체.
  48. 컴퓨터에서 수행되는 방법에 있어서,
    영상 파일을 수신하는 과정;
    하나 또는 그 이상의 영상 데이터 샘플을 포함하는 영상 파일의 미디어 데이터 필드를 분석하는 과정;
    상기 하나 또는 그 이상의 영상 데이터 샘플 각각이 2D 영상 데이터 및 3D 입체 영상 데이터 중 어느 것인지를 나타내는 영상 타입 데이터 필드를 포함하는 미디어 헤더 필드를 분석하는 과정; 및
    상기 영상 파일의 상기 영상 타입 데이터 필드를 기반으로 하여 2D 영상 및 3D 입체 영상 중 어느 하나에 대응하는 영상을 생성하는 과정을 포함하며,
    상기 헤더 필드는, 트랙 필드를 포함하고, 상기 트랙 필드는 샘플 테이블 필드를 포함하며, 상기 영상 타입 데이터 필드는 상기 샘플 테이블 필드에 위치하며,
    상기 영상 타입 데이터 필드는,
    동일한 타입을 갖는 연속된 영상 데이터 샘플의 카운트 수를 나타내는 제1 카운트 필드와,
    스테레오스코픽에서 모노스코픽으로 또는 모노스코픽에서 스테레오스코픽으로 프랙먼트(fragment)의 타입 전환이 일어나는 상기 프랙먼트의 카운트 수를 나타내는 제2 카운트 필드를 더 포함하며, 상기 프랙먼트는 상기 영상 데이터 샘플의 세트인 것을 특징으로 하는 컴퓨터에서 수행되는 방법.
  49. 삭제
  50. 제 48 항에 있어서, 상기 트랙 필드는,
    트랙 - 레벨 메타 데이터 필드를 포함하고, 상기 영상 타입 데이터 필드는, 상기 트랙 - 레벨 메타 데이터 필드에 위치함을 특징으로 하는 컴퓨터에서 수행되는 방법.
  51. 삭제
  52. 제 48 항에 있어서, 상기 영상 타입 데이터 필드는,
    상기 하나 또는 그 이상의 영상 데이터 샘플 각각을 상기 2D 영상 데이터 및 상기 3D 입체 영상 데이터 중 어느 하나로 나타내는 플래그를 포함함을 특징으로 하는 컴퓨터에서 수행되는 방법.
  53. 제 52 항에 있어서, 상기 플래그가 2D 영상 데이터로 설정되는 경우에 동작하지 않도록 하고, 상기 플래그가 3D 입체 영상 데이터로 설정되는 경우에 동작하도록 하는 플래그를 기반으로 하여 LCD를 제어하는 과정을 더 포함함을 특징으로 하는 컴퓨터에서 수행되는 방법.
  54. 삭제
  55. 삭제
  56. 제 48 항에 있어서, 상기 미디어 데이터 필드는,
    적어도 하나의 영상 트랙을 포함하는 것을 특징으로 하는 컴퓨터에서 수행되는 방법.
  57. 제 56 항에 있어서, 상기 영상 트랙은,
    다수의 3D 입체 영상 데이터 샘플을 포함하며, 상기 다수의 3D 입체 영상 데이터 샘플 각각은 상이한 각도로 보이는 영상을 나타냄을 특징으로 하는 컴퓨터에서 수행되는 방법.
  58. 제 57 항에 있어서, 상기 다수의 3D 입체 영상 데이터 샘플 각각은,
    좌 영상 및 우 영상 중 어느 하나를 나타내고, 상기 다수의 3D 입체 영상 데이터 샘플은 상기 좌 영상 및 우 영상이 교차하여 배열됨을 특징으로 하는 컴퓨터에서 수행되는 방법.
  59. 제 58 항에 있어서, 상기 다수의 3D 입체 영상 데이터 샘플 각각은,
    프레임으로 나타냄을 특징으로 하는 컴퓨터에서 수행되는 방법.
  60. 제 58 항에 있어서, 상기 다수의 3D 입체 영상 데이터 샘플 중 두 개는, 프레임을 나타내며, 각 프레임은 각 프레임마다 번갈아 저장되는 방식으로 배열된 상기 좌 영상 및 우 영상으로 구성됨을 특징으로 하는 컴퓨터에서 수행되는 방법.
  61. 제 56 항에 있어서, 상기 미디어 데이터 필드는,
    제 1 영상 트랙 및 제 2 영상 트랙을 포함함을 특징으로 하는 컴퓨터에서 수행되는 방법.
  62. 제 61 항에 있어서, 상기 제 1 영상 트랙은,
    다수의 3D 입체 영상 데이터 샘플을 포함하고, 상기 다수의 3D 입체 영상 데이터 샘플 각각은 좌 시점 영상을 나타내며,
    상기 제 2 영상 트랙은 다수의 3D 입체 영상 데이터 샘플을 포함하고, 상기 다수의 3D 입체 영상 데이터 샘플 각각은 우 시점 영상을 나타냄을 특징으로 하는 컴퓨터에서 수행되는 방법.
  63. 영상 파일을 수신하고 저장하기 위한 장치에 있어서,
    상기 수신된 영상 파일을 저장하기 위한 저장 유닛;
    하나 또는 그 이상의 영상 데이터 샘플을 포함하는 상기 영상 파일의 미디어 데이터 필드를 분석하고, 상기 영상 파일의 영상 타입 데이터 필드를 기반으로 하여 2D 영상 및 3D 입체 영상 중 어느 하나에 대응하는 영상을 생성하기 위해 상기 하나 또는 그 이상의 영상 데이터 샘플 각각이 2D 영상 데이터 및 3D 입체 영상 데이터 중 어느 것인지를 나타내는 영상 타입 데이터 필드를 포함하는 미디어 헤더 필드를 분석하기 위한 프로세서; 및
    상기 영상 파일의 상기 영상 타입 데이터 필드에 따라서 상기 생성된 영상을 디스플레이하기 위한 디스플레이 유닛을 포함하며,
    상기 헤더 필드는, 트랙 필드를 포함하고, 상기 트랙 필드는 샘플 테이블 필드를 포함하며, 상기 영상 타입 데이터 필드는 상기 샘플 테이블 필드에 위치하며,
    상기 영상 타입 데이터 필드는,
    동일한 타입을 갖는 연속된 영상 데이터 샘플의 카운트 수를 나타내는 제1 카운트 필드와,
    스테레오스코픽에서 모노스코픽으로 또는 모노스코픽에서 스테레오스코픽으로 프랙먼트(fragment)의 타입 전환이 일어나는 상기 프랙먼트의 카운트 수를 나타내는 제2 카운트 필드를 더 포함하며, 상기 프랙먼트는 상기 영상 데이터 샘플의 세트인 것을 특징으로 하는 장치.
  64. 제 63 항에 있어서, 상기 영상 타입 데이터 필드는,
    상기 하나 또는 그 이상의 영상 데이터 샘플 각각을 상기 2D 영상 데이터 및 상기 3D 입체 영상 데이터 중 어느 것인지를 나타내는 플래그를 포함함을 특징으로 하는 장치.
  65. 제 64 항에 있어서, 상기 디스플레이 유닛은,
    베리어 LCD를 포함하고, 상기 프로세서는 상기 플래그가 3D 입체 영상 데이터로 설정되는 경우에 상기 베리어 LCD가 동작하도록 하고, 상기 플래그가 2D 영상 데이터로 설정되는 경우에 상기 베리어 LCD가 동작하지 않도록 하는 상기 플래그를 기반으로 하여 상기 디스플레이 유닛을 제어함을 특징으로 하는 장치.
  66. 삭제
KR20080012002A 2007-12-10 2008-02-05 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법 KR101480186B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2010537856A JP5158727B2 (ja) 2007-12-10 2008-12-05 ２ｄ映像及び３ｄ立体映像を含む映像ファイルの生成及び再生を行うためのコンピュータ読み取り可能な記録媒体及び方法並びに装置
AU2008336448A AU2008336448B2 (en) 2007-12-10 2008-12-05 System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
CN2008801200582A CN101897194B (zh) 2007-12-10 2008-12-05 用于产生和再现包括2维图像和3维立体图像的图像文件的系统和方法
RU2010123632/28A RU2448432C2 (ru) 2007-12-10 2008-12-05 Система и способ для формирования и воспроизведения файла изображений, включающего в себя двумерное изображение и трехмерное стереоскопическое изображение
CA2707428A CA2707428C (en) 2007-12-10 2008-12-05 System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
PCT/KR2008/007213 WO2009075495A1 (en) 2007-12-10 2008-12-05 System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
US12/330,124 US8842903B2 (en) 2007-12-10 2008-12-08 System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
ES08021448T ES2382057T3 (es) 2007-12-10 2008-12-10 Sistema y método para generar y reproducir un archivo de imagen que incluye imagen en 2D e imagen estereoscópica en 3D
AT08021448T ATE546017T1 (de) 2007-12-10 2008-12-10 System und verfahren zur erzeugung und wiedergabe einer bilddatei mit 2d-bild und 3d-stereoskopbild
EP08021448A EP2071853B1 (en) 2007-12-10 2008-12-10 System and method for generating and reproducing image file including 2D image and 3D stereoscopic image

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20070127564 2007-12-10
KR1020070127564 2007-12-10
KR1020080000532 2008-01-03
KR20080000532 2008-01-03
KR20080004086 2008-01-14
KR1020080004086 2008-01-14

Publications (2)

Publication Number Publication Date
KR20090060922A KR20090060922A (ko) 2009-06-15
KR101480186B1 true KR101480186B1 (ko) 2015-01-07

Family

ID=40990578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20080012002A KR101480186B1 (ko) 2007-12-10 2008-02-05 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법

Country Status (7)

Country Link
JP (1) JP5158727B2 (ko)
KR (1) KR101480186B1 (ko)
CN (1) CN101897194B (ko)
AT (1) ATE546017T1 (ko)
AU (1) AU2008336448B2 (ko)
CA (1) CA2707428C (ko)
ES (1) ES2382057T3 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5595946B2 (ja) * 2011-02-04 2014-09-24 日立コンシューマエレクトロニクス株式会社 デジタルコンテンツ受信装置、デジタルコンテンツ受信方法、およびデジタルコンテンツ送受信方法
JP5328852B2 (ja) * 2011-07-25 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、プログラム及び情報記憶媒体
KR101430985B1 (ko) * 2013-02-20 2014-09-18 주식회사 카몬 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
KR102273142B1 (ko) * 2015-01-13 2021-07-05 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 시스템, 어플리케이션 코드 변환을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN105657395A (zh) * 2015-08-17 2016-06-08 乐视致新电子科技（天津）有限公司 一种3d视频的字幕播放方法及装置
WO2019013384A1 (ko) * 2017-07-09 2019-01-17 엘지전자 주식회사 영역 기반 360도 비디오를 전송하는 방법, 영역 기반 360도 비디오를 수신하는 방법, 영역 기반 360도 비디오 전송 장치, 영역 기반 360도 비디오 수신 장치
WO2020076058A1 (ko) * 2018-10-08 2020-04-16 삼성전자 주식회사 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060130450A (ko) * 2005-06-14 2006-12-19 삼성전자주식회사 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730925A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 光ディスク記録再生装置及び光ディスク
JPH07298307A (ja) * 1994-04-28 1995-11-10 Canon Inc 画像記録再生装置
EP2259585B1 (en) * 1996-12-04 2013-10-16 Panasonic Corporation Optical disk for high resolution and three dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
CN1691018A (zh) * 2004-04-23 2005-11-02 日本索阿株式会社 使计算机存储2维/3维图形的数据结构、程序及记录介质
JP4719506B2 (ja) * 2005-05-19 2011-07-06 キヤノン株式会社 端末装置、コンテンツ再生方法、及びコンピュータプログラム
KR101177412B1 (ko) * 2006-04-20 2012-08-24 엘지전자 주식회사 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법
KR101137347B1 (ko) * 2006-05-11 2012-04-19 엘지전자 주식회사 이동통신 단말기 및 그 단말기를 이용한 이미지 표출 방법
CN100582377C (zh) * 2006-12-01 2010-01-20 上海港湾软地基处理工程有限公司 快速“信息化高真空击密”软地基处理方法
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060130450A (ko) * 2005-06-14 2006-12-19 삼성전자주식회사 영상 송신 및 수신 방법과 장치 및 이의 전송 스트림 구조
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Also Published As

Publication number Publication date
JP5158727B2 (ja) 2013-03-06
KR20090060922A (ko) 2009-06-15
CN101897194A (zh) 2010-11-24
ES2382057T3 (es) 2012-06-04
CA2707428A1 (en) 2009-06-18
ATE546017T1 (de) 2012-03-15
CN101897194B (zh) 2012-12-12
AU2008336448B2 (en) 2012-03-22
AU2008336448A1 (en) 2009-06-18
CA2707428C (en) 2013-06-11
JP2011509552A (ja) 2011-03-24

Similar Documents

Publication Publication Date Title
US9781403B2 (en) Method and apparatus for generating stereoscopic file
EP2071853B1 (en) System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
KR101362647B1 (ko) 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
KR20090088772A (ko) 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
KR101530713B1 (ko) 영상 파일을 생성하고 표시하기 위한 장치 및 방법
KR20080112149A (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
KR20090037283A (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
US20090199100A1 (en) Apparatus and method for generating and displaying media files
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101434674B1 (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR101396619B1 (ko) 3ｄ 영상에 관한 부가 정보를 포함하는 3ｄ 영상파일을생성 및 재생하기 위한 시스템 및 방법
KR20090120335A (ko) 영상 파일 송수신 장치 및 방법
KR100959534B1 (ko) Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
KR101453084B1 (ko) 3ｄ 영상 파일을 생성 및 재생하기 위한 휴대 단말기 및 방법
RU2448432C2 (ru) Система и способ для формирования и воспроизведения файла изображений, включающего в себя двумерное изображение и трехмерное стереоскопическое изображение
KR20080092810A (ko) 미디어 표준 기반의 입체영상 파일 생성 장치 및 방법과이를 구현하기 위한 시스템

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 5