KR101288932B1 - 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법 - Google Patents

부호화된 스테레오스코픽 영상 데이터 파일의 구성방법 Download PDF

Info

Publication number
KR101288932B1
KR101288932B1 KR1020090112803A KR20090112803A KR101288932B1 KR 101288932 B1 KR101288932 B1 KR 101288932B1 KR 1020090112803 A KR1020090112803 A KR 1020090112803A KR 20090112803 A KR20090112803 A KR 20090112803A KR 101288932 B1 KR101288932 B1 KR 101288932B1
Authority
KR
South Korea
Prior art keywords
image
stereoscopic
information
container
file
Prior art date
Application number
KR1020090112803A
Other languages
English (en)
Other versions
KR20090127246A (ko
Inventor
김규헌
이윤진
박광훈
서덕영
천승문
오용협
정태섭
변대섭
Original Assignee
경희대학교 산학협력단
주식회사 티엘아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 주식회사 티엘아이 filed Critical 경희대학교 산학협력단
Publication of KR20090127246A publication Critical patent/KR20090127246A/ko
Application granted granted Critical
Publication of KR101288932B1 publication Critical patent/KR101288932B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Abstract

부호화된 스테레오스코픽 영상 데이터의 파일을 구성하는 방법에 관하여 개시한다. 본 발명의 일 실시예에 따른 부호화된 스테레오스코픽 영상 데이터 파일 포맷은 해당 파일이 스테레오스코픽 영상에 관한 것인지를 지시하기 위한 파일 타입 선언부와 부호화된 스테레오스코픽 영상 데이터의 메타 데이터를 담기 위한 하나 또는 그 이상의 트랙 컨테이너를 포함하는 메타 데이터부, 그리고 부호화된 스테레오스코픽 영상 데이터의 이미지 정보를 담기 위한 하나 또는 그 이상의 스테레오스코픽 영상 데이터 컨테이너를 포함하는 영상 데이터부를 포함한다. 본 발명의 일 실시예에 의하면, 파일 타입 선언부는 해당 파일을 구성하는 기본 스트림의 개수를 지시하는 정보를 포함하고, 메타 데이터부와 영상 데이터부는 각각 이 기본 스트림의 개수에 해당하는 하나 또는 그 이상의 트랙 컨테이너와 스테레오스코픽 영상 데이터 컨테이너를 포함한다.
스테레오스코픽 영상, 파일 포맷, MAF, 코덱

Description

부호화된 스테레오스코픽 영상 데이터 파일의 구성방법{Format for encoded stereoscopic image data file}
본 발명은 데이터 파일 포맷(Data File Format)에 관한 것으로, 보다 구체적으로 부호화된 스테레오스코픽 영상 데이터(Encoded Stereoscopic Image Data)를 저장 또는 전송하기 위한 파일 포맷 또는 파일의 구성 방법에 관한 것이다.
양안식 스테레오스코픽 영상(이하, '스테레오스코픽 영상'이라고 한다)은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 각각 획득한 1쌍의 좌영상과 우영상을 말한다. 좌영상과 우영상은 동일한 피사체를 촬영한 것이지만, 시점(Viewpoint)이 다르기 때문에 피사체의 표면 특성이나 광원의 위치 등에 따라서 이미지 정보에 다소 차이가 발생할 수가 있다. 이러한 동일 피사체에 대한 좌영상과 우영상의 이미지 정보의 차이를 디스패러티(Disparity)라고 한다.
그리고 스테레오스코픽 영상은, 일반적으로는 좌측 카메라와 우측 카메라를 이용하여 각각 획득한 영상을 가리키지만, 넓은 의미로는 모노스코픽 영상(Monoscopic Image)에 소정의 변환 알고리즘을 적용하여 생성한 입체 영상도 포함된다. 이러한 스테레오스코픽 영상은 일반적으로 디스플레이되는 피사체에 대하여 입체감을 부여하는데 이용된다.
스테레오스코픽 영상을 이용하여 LCD(Liquid Crystal Display)나 PDP(Plasma Display Panel) 등과 같은 평면 디스플레이 장치에서 재생(Reproduction)되는 영상에 입체감을 부여할 수 있는 방법은 여러 가지가 있다. 그 중에 한 가지 방법은 배리어 타입(Barrier Type)의 디스플레이 장치를 이용하는 방법이다. 배리어 타입의 디스플레이 장치는 모노스코픽 영상과 스테레오스코픽 영상을 모두 디스플레이할 수 있기 때문에, 차세대 디스플레이 장치 중의 하나로 큰 주목을 받고 있다.
배리어 타입의 디스플레이 장치는 편광 필름이나 편광 글라스 등으로 형성되는 배리어 편광판이 평면 디스플레이 장치의 앞면에 부착 또는 구비되어 있는 장치이다. 배리어 편광판에는 라인 타입의 배리어 패턴이 구비되어 있는데, 이 배리어 패턴은 좌안으로는 디스플레이 영상의 좌영상 부분만이 그리고 우안으로는 상기 디스플레이 영상의 우영상 부분만이 보이도록 한다. 이러한 배리어 패턴은 여러 가지 유형이 있는데, 기본적으로 수직 라인 타입(Vertical Line Type)과 수평 라인 타입(Horizontal Line Type)이 있다. 그리고 상기 수직 또는 수평 라인의 미세한 모양에 따라서 배리어 패턴은 1자형, 톱니형, 및 대각선형 등으로 구분되는데, 이러한 배리어 패턴의 라인 모양은 디스플레이되는 영상의 입체감에 차이를 유발시킨다.
한편, 정지 영상(Still Image)이나 동영상(Moving Picture)(본 명세서에서 단순히 '영상'이라고 할 경우에는 정지 영상과 동영상 모두를 포함한다)에 관한 기존의 부호화 표준에 따라 부호화된 모노스코픽 영상 데이터는 크게 2가지로 구분되어 저장되었다. 그 중의 하나는 영상의 화소값과 직접 관련이 있는 이미지 정보(Image Information)이고, 다른 하나는 상기 이미지 정보를 복호화하여 디스플레이하는데 필요한 부가적인 정보인 메타 데이터(META Data)이다. 상기 이미지 정보는 영상 부호화에 관한 국제표준의 종류에 따라서 달라질 수 있지만, 일반적으로 휘도 및 색차 등과 같은 텍스쳐 정보(Texture Information)와 움직임 정보(Motion Information) 등을 포함하며, 배경이나 물체에 대한 정보인 형상 정보(Shape Information) 등을 더 포함할 수 있다. 그리고 상기 메타 데이터는 상기 이미지 정보 이외에 상기 이미지 정보를 재생하고 디스플레이하는데 필요한 부가적인 데이터들을 포함한다.
이러한 이미지 정보와 메타 데이터의 구분은 임의적인 것이며, 국제표준규격의 내용이나 또는 데이터의 분류 기준 등에 따라서 달라질 수 있다. 그리고 본 명세서에서 '영상 데이터'라는 용어는 일반적으로 상기 '이미지 정보'와 '메타 데이터' 모두를 포함하는 경우를 가리키지만, 경우에 따라서는 단순히 '이미지 정보'만을 가리킬 수도 있는데, 본 명세서의 각 부분에서'영상 데이터'가 무엇을 의미하는지는 그 문맥에 맞게 해석되어야 한다. 예를 들어, 도 1의 '영상 데이터부(Image Data Unit)'에서 '영상 데이터'는 단지 '이미지 정보'만을 가리키지만, 발명의 명칭에서의 '영상 데이터'는 '이미지 정보'와 '메타 데이터'를 모두 포함한다.
도 1은 부호화된 모노스코픽 영상 데이터를 저장하기 기존의 파일 포맷을 보여 주는 블록도이다. 도 1을 참조하면, 기존의 파일 포맷(10)은 기본 헤더부(Basic Header Unit, 12) 및 영상 데이터부(Image Data Unit, 14)를 포함한다. 영상 데이터부(14)에는 텍스쳐 정보, 형상 정보, 및/또는 움직임 정보 등과 같은 부호화된 영상 데이터의 이미지 정보가 포함되며, 기본 헤더부(12)에는 영상 데이터부(14)에 포함되는 이미지 정보를 제외한 나머지 부가적인 데이터들이 포함된다. 그런데, 이러한 기존의 영상 데이터 파일 포맷(10)은 부호화된 모노스코픽 영상 데이터를 저장 및/또는 전송하기 위한 파일 포맷으로는 적합하지만, 부호화된 스테레오스코픽 영상 데이터를 저장 및/또는 전송하기 위한 파일 포맷으로는 적합하지가 않다. 왜냐하면, 스테레오스코픽 영상은 모노스코픽 영상과는 달리, 좌우 카메라를 이용하여 1쌍의 좌우 영상을 획득하고, 획득한 1쌍 좌우 영상을 다양한 방법으로 조합하여 부호화를 수행할 수가 있으며, 또한 영상을 재생하는데 배리어 타입의 디스플레이와 같은 특수한 디스플레이 장치가 이용되기 때문이다.
스테레오스코픽 영상은 기존의 모노스코픽 영상과는 달리 1쌍의 좌우 영상으로 구성되므로, 부호화의 대상이 되는 프레임, 즉 피부호화 프레임을 다양한 방법으로 구성할 수 있다. 예를 들어, 1쌍의 좌우 영상을 조합하여 하나의 피부호화 프레임을 형성할 수 있는데, 좌영상과 우영상을 조합하는 방법은 여러 가지가 있다. 그리고 1쌍의 좌우 영상으로부터 두 개 또는 그 이상의 피부호화 프레임을 설정할 수 있는데, 그 설정 방법도 여러 가지가 있다. 이와 같이, 1쌍의 좌우 영상을 이용하여 피부호화 프레임을 만드는 방법은 다양하기 때문에, 부호화의 결과 생성되는 영상 데이터 및 메타 데이터의 값, 종류, 및 특성 등도 아주 다양하다. 하지만, 전술한 기존의 파일 포맷은 이러한 다양한 정보 및 그에 따라 파생되는 데이터를 전부 그리고 체계적으로 구성하여 저장하기에 적합하지가 않다.
따라서 본 발명이 이루고자 하는 첫 번째 기술적 과제는 부호화된 스테레오스코픽 영상 데이터를 효율적으로 그리고 체계적으로 저장할 수 있는 파일 포맷 또는 파일의 구성 방법을 제공하는 것이다.
그리고 부호화된 스테레오스코픽 영상 데이터는 소정의 간격으로 이격되어 있는 1쌍의 좌우 카메라를 이용하여 획득한 영상을 부호화한 것인데, 상기 좌우 카메라의 특성, 예컨대 이격 거리나 프레임률의 차이 등은 재생되는 입체 영상의 화질이나 입체감 등에 영향을 미친다. 아울러, 부호화된 스테레오스코픽 영상 데이터 는 특수하게 고안된 디스플레이 장치(예컨대, 배리어 타입의 디스플레이 장치)를 사용하여 재생되거나 또는 여러 가지 방식으로 디스플레이할 수가 있는데, 상기 디스플레이 장치의 특성이나 디스플레이 방식도 입체 영상의 화질이나 입체감 등에 영향을 미친다. 따라서 디스플레이 장치에 최적화된 입체 영상을 재생하기 위해서는, 촬영 카메라 및/또는 디스플레이 장치와 디스플레이 방식에 관한 정보 등도 부호화된 스테레오스코픽 영상 데이터에 포함되어야 하는데, 기존의 파일 포맷을 사용해서는 이러한 요청을 충족시키기 어렵다.
따라서 본 발명이 이루고자 하는 두 번째 기술적 과제는 촬영 카메라 및/또는 디스플레이 장치의 특성이나 또는 디스플레이 방식을 반영하여 실감나는 입체 영상을 디스플레이할 수 있는 부호화된 스테레오스코픽 영상 데이터의 파일 포맷 또는 파일의 구성방법을 제공하는 것이다.
한편, 멀티미디어 관련 국제표준 규격을 제정하는 MPEG(Moving Picture Experts Group)에서는 다양한 멀티미디어 데이터를 저장하기 위한 방법으로 ISO(International Standardization Organization) 베이스 미디어 파일 포맷(Base Media File Format)을 정의하였다. ISO 베이스 미디어 파일 포맷은 JPEG 2000의 파트(Part) 12, ISO/IEC 15444-12에 규정되어 있는데, 장래의 어플리케이션을 위한 기본 파일 포맷을 제공한다. 또한, MPEG에서는 스테레오스코픽 영상을 포함한 다양한 멀티미디어 어플리케이션에 대하여 해당 어플리케이션의 목적에 적합한 멀티미디어 어플리케이션 파일 포맷(Multimedia Application File format, MAF)을 정의하 고 있는데, MAF가 ISO 베이스 미디어 파일 포맷과 호환될 경우 스테레오스코픽 영상을 이용한 보다 폭넓고 다양한 서비스가 가능하다.
따라서 본 발명이 이루고자 하는 세 번째 기술적 과제는 ISO 베이스 미디어 파일 포맷과 호환이 가능한 부호화된 스테레오스코픽 영상 데이터 파일 포맷 또는 파일의 구성방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 부호화된 스테레오스코픽 영상 데이터의 파일을 구성하는 방법은 상기 파일의 스테레오스코픽 영상 타입에 관한 정보를 파일 타입 선언부에 삽입시키는 단계; 상기 부호화된 스테레오스코픽 영상 데이터의 메타 데이터를 하나 또는 그 이상의 트랙 컨테이너 및 무비헤더(movie header) 컨테이너를 포함하는 메타 데이터부에 삽입시키는 단계; 및 상기 부호화된 스테레오스코픽 영상 데이터의 이미지 정보를 하나 또는 그 이상의 스테레오스코픽 영상 데이터 컨테이너를 갖는 영상 데이터부에 삽입시키는 단계를 포함하고, 상기 파일 타입 선언부는 상기 파일이 스테레오스코픽 컨텐츠만을 위한 파일인지 여부를 선언한다.
상기 실시예의 일 측면에 의하면, 상기 트랙 컨테이너는 해당 기본 스트림(ES)의 유형을 지시하기 위한 핸들러 참조(Handler Reference) 컨테이너; 및 상기 해당 ES의 메타 데이터를 담기 위한 미디어 정보 컨테이너를 포함하고, 상기 미디어 정보 컨테이너는 피부호화 프레임의 크기를 지시하는 정보를 포함하는 스테레오스코픽 헤더 컨테이너를 포함하고, 상기 스테레오스코픽 헤더 컨테이너는 상기 스테레오스코픽 영상을 획득하는데 사용한 좌우 카메라 사이의 거리를 나타내는 정보를 담기 위한 컨테이너를 포함할 수 있다.
그리고 상기 스테레오스코픽 헤더 컨테이너는 상기 스테레오스코픽 영상을 디스플레이하는데 사용되는 디스플레이 장치에 관련된 정보를 포함할 수 있다.
그리고 상기 미디어 정보 컨테이너는 상기 해당 ES의 디스크립션(Description)을 정의하기 위한 샘플 디스크립션 컨테이너를 포함하고, 상기 샘플 디스크립션 컨테이너는 피부호화 프레임의 구성방법을 지시하는 ES 유형 정보를 포함할 수 있다.
그리고 상기 ES의 개수가 두 개인 경우에, 상기 ES 유형 정보가 지시하는 상기 피부호화 프레임은 좌영상, 우영상, 기준 영상, 및 차분 영상 중에서 어느 하나일 수 있다.
후술하는 바와 같이, 본 발명의 실시예에 따른 파일 포맷은 하이어라키컬한 구조를 가질 뿐만 아니라 기존의 메타데이터와 아울러 스테레오스코픽 영상에 고유한 메타데이터를 체계적으로 저장할 수 있는 구조를 갖기 때문에, 부호화된 스테레오스코픽 영상 데이터를 효율적으로 구성하여 저장할 수가 있다. 또한, 본 발명에 따른 파일 포맷은 스테레오스코픽 영상을 획득하기 위한 촬영 카메라 및/또는 디스플레이 장치의 특성에 관련된 정보도 포함시킬 수 있는 구조를 갖기 때문에, 저장 된 부호화된 스테레오스코픽 영상 데이터를 이용하여 실감나는 입체 영상을 디스플레이할 수 있다. 아울러, 본 발명에 따른 부호화된 스테레오스코픽 영상 데이터를 저장하기 위한 파일 포맷은 다양한 멀티미디어 어플리케이션에 적용될 수 있는 국제 표준 규격인 ISO 베이스 미디어 파일 포맷과 호환성을 갖는다.
이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 후술하는 실시예는 본 발명의 기술적 사상을 설명하기 위한 목적이므로, 본 발명의 기술적 사상은 이 실시예에 의하여 한정되는 것으로 해석되어서는 안 된다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있는데, 이들이 기능적 유사성과 동일성이 있다면 비록 다른 명칭을 사용하더라도 본 발명의 실시예와 균등한 구성이라고 볼 수 있다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성과 동일성이 있다면 양자는 균등한 구성으로 볼 수 있다.
본 발명의 실시예를 설명하기 전에, 본 발명의 실시예에 따른 부호화된 스테레오스코픽 영상 데이터 파일 포맷을 정의하기 위하여 고려해야 할 사항에 관해서 먼저 설명한다. 이러한 사항들은 모노스코픽 영상과는 구별되는 스테레오스코픽 영상의 고유한 특성들이다.
첫 번째로 고려해야 할 사항은 좌우 영상으로부터 피부호화 프레임을 어떻게 구성하는가, 즉 피부호화 프레임의 구성방법에 관한 것이다. 피부호화 프레임의 구성방법은 부호화된 스테레오스코픽 영상 데이터의 구조에 직접적으로 영향을 미친다. 예를 들어, 피부호화 프레임의 구성 방법에 따라서 부호화된 영상 데이터를 구성하는 기본 스트림(Elementary Stream, ES)의 개수가 달라질 수 있으며, ES의 개수가 같은 경우라도 피부호화 프레임의 구성방법은 여러 가지가 있을 수 있다.
우선, 좌우 영상으로부터 하나의 피부호화 프레임을 형성할 수 있다. 한 쌍의 좌우 영상으로부터 생성된 하나의 피부호화 프레임을 이하에서는 '통합합성영상'또는 '합성영상'이라고 부르기로 한다. 이러한 통합합성영상을 부호화하여 생성되는 스테레오스코픽 영상 데이터는 1개의 ES로 구성된다. 한 쌍의 좌우 영상으로부터 통합합성영상을 구성하는 방법은 여러 가지가 있는데, 도 2 내지 도 4는 통합합성영상을 구성하는 방법의 예들을 보여 주기 위한 도면이다.
통합합성영상을 구성하는 한 가지 방법은 우선 좌영상과 우영상을 나란히 배열하는 것으로서, 도 2는 이를 보여 주기 위한 도면이다. 도 2를 참조하면, 통합합성영상(22)과 같이 피부호화 프레임은 좌영상과 우영상이 사이드-바이-사이드(Side-by-Side) 방식으로 나란히 배열된 영상이거나 또는 통합합성영상(24)과 같이 피부호화 프레임은 좌영상과 우영상이 탑-다운(Top-Down)으로 나란히 배열된 프레임일 수도 있다. 이 경우에 통합합성영상(22 또는 24)을 구성하는 좌영상과 우영상의 위치는 서로 바뀔 수 있다.
통합합성영상을 구성하는 다른 한 가지 방법은 좌영상과 우영상을 각각 필드 단위로 교대로 배열하는 것으로서, 도 3은 이를 보여 주기 위한 도면이다. 도 3을 참조하면, 통합합성영상(32)은 좌영상의 수직 픽셀 라인과 우영상의 수직 픽셀 라인이 교대로 배열된 프레임이거나 또는 통합합성영상(34)은 좌영상의 수평 픽셀 라인과 우영상의 수평 픽셀 라인이 교대로 배열된 프레임일 수 있다. 그리고 이러한 통합합성영상(32 또는 34)을 구성하는 좌영상의 픽셀 라인(좌영상의 필드)과 우영상의 픽셀 라인(우영상의 필드)의 위치는 서로 바뀔 수 있다.
통합합성영상을 생성하는 또 다른 한 가지 방법은 좌영상과 우영상을 각각 프레임 단위로 순차적으로 배열하는 것으로서, 도 4는 이를 보여 주기 위한 도면이다. 도 4를 참조하면, 통합합성영상(40)은 프레임 단위의 좌영상과 우영상이 시간 방향으로 교대로 배열되어 구성되는데, 이러한 통합합성영상(40)의 경우에는 하나의 피부호화 프레임에는 좌영상의 픽셀과 우영상의 픽셀이 함께 존재하지는 않는다.
다음으로 도 5a 및 도 5b를 참조하여, 1쌍의 좌우 영상으로부터 형성되는 피부호화 프레임이 두 개인 경우에 대하여 설명한다. 피부호화 프레임이 두 개인 경우에는 이를 부호화하여 생성되는 영상 데이터는 두 개의 ES로 구성된다.
도 5a를 참조하면, 좌영상(52a)과 우영상(52b)이 각각 그 자체로 피부호화 프레임이 된다. 그리고 상기 피부호화 프레임(52a, 52b)을 부호화하면 부호화된 영상 데이터는 각 영상을 나타내는 두 개의 ES1 및 ES2로 구성된다. 반면, 도 5b를 참조하면, 피부호화 프레임은 기준 영상(54a)과 차분 영상(54b)으로 구성될 수도 있다. 이 경우는 좌영상과 우영상 중에서 어느 하나의 영상이 기준 영상(54a)으로서 하나의 피부호화 프레임이 되고, 상기 기준 영상과의 차분(차이점)으로 구성된 차분 영상(54b)이 다른 하나의 피부호화 프레임이 된다.
도 6은 피부호화 프레임이 3개 이상인 경우를 설명하기 위한 도면이다. 도 6을 참조하면, 각각 연속된 (n+1)/2개(여기서, n은 3이상의 홀수이다) 프레임의 좌영상과 우영상 중에서 어느 하나의 영상이 기준 영상(62)으로서 피부호화 프레임이 되고, 기준 영상을 제외한 나머지 영상이 차분 영상(62a, 62b, …, 62n)으로서 피부호화 프레임이 된다. 이러한 피부호화 프레임을 부호화하면, 부호화된 영상 데이터는 총 (n+1)개의 ES, 즉 ES1, ES2, ES3, …, ES(n+1)로 구성된다.
이상에서 설명한 하나 또는 그 이상의 피부호화 프레임 또는 피부호화 프레임 시퀀스는 기존의 영상 부호화 방법을 이용하여 부호화할 수 있다. 기존의 영상 부호화 방법으로는 예컨대, JPEG 등과 같은 정지 영상에 대한 부호화 방법이나 또는 MPEG-1, MPEG-2, MPEG-4, H.264/AVC, VC-1 등과 같은 동영상에 대한 부호화 방법 등이 있다. 그리고 이러한 기존의 영상 부호화 방법을 이용하여 부호화된 영상 데이터는 그 부호화 방식을 지원하는 디스플레이 장치로 바로 전송되어 재생되거나 또는 저장 매체에 저장된 후에 이후에 디스플레이 장치에 의하여 재생된다.
이상에서 설명한 바와 같이, 스테레오스코픽 영상의 경우에는 피부호화 프레임을 구성하는 방법이 다양하다. 그리고 그에 따라서 부호화된 스테레오스코픽 영상 데이터는 하나의 ES로 구성되거나 두 개 또는 그 이상의 ES로 구성될 수 있다. 그리고 ES의 개수가 같은 경우라도 좌우 영상으로부터 피부호화 프레임을 구성하는 방법은 다를 수가 있으며, 그에 따라서 파생되는 데이터 또는 재생에 필요한 데이 터도 달라질 수가 있다. 따라서 부호화된 스테레오스코픽 영상 데이터를 저장하기 위한 파일 포맷은 피부호화 프레임의 구성방법과 각 구성방법에 따라서 파생되는 데이터들을 저장하기에 적합한 형식이어야 한다.
부호화된 스테레오스코픽 영상 데이터를 저장하기 위한 파일 포맷을 정의하기 위하여 두 번째로 고려해야 할 사항은 스테레오스코픽 영상을 획득하기 위하여 소정의 간격으로 이격되어 있는 좌우 카메라를 사용한다는 것이다. 왜냐하면, 입체 영상을 효율적으로 재생하거나 및/또는 재생되는 입체 영상의 화질 및 입체감 등을 향상시키기 위해서는, 디스플레이 장치로 상기 좌우 카메라와 관련된 정보가 제공되어야 하기 때문이다. 이를 위하여, 부호화된 스테레오스코픽 영상 데이터에는 좌우 카메라와 관련된 정보가 추가적으로 포함되는 것이 바람직하며, 부호화된 스테레오스코픽 영상 데이터를 저장하기 위한 파일 포맷을 정의함에 있어서는 추가적으로 포함되는 좌우 카메라 관련 정보를 고려해야 한다.
좌우 카메라 관련 정보는 여러 가지가 있다. 예를 들어, 좌우 카메라 사이의 거리에 관한 정보, 좌우 카메라를 통해서 각각 캡처되는 좌영상과 우영상의 초당 프레임 수(frame/sec, fps), 즉 프레임율(Frame Rate)에 관한 정보, 좌영상과 우영상의 동기화에 관한 정보, 및/또는 좌우 카메라의 종류에 관한 정보 등이 이에 해당된다. 또한, 경우에 따라서는 좌영상과 우영상 사이의 디스패리티 정보(Disparity Information)도 좌우 카메라 관련 정보에 포함될 수도 있다.
부호화된 스테레오스코픽 영상 데이터를 저장하기 위한 파일 포맷을 정의하기 위하여 세 번째로 고려해야 할 사항은 스테레오스코픽 영상을 재생하는데 기존의 디스플레이 장치와는 다른 특수한 디스플레이 장치(예컨대, 배리어 타입의 디스플레이 장치)를 사용한다는 것이다. 왜냐하면, 특수한 디스플레이 장치를 사용하여 입체 영상을 재생하기 위해서는 재생되는 영상 데이터는 이러한 디스플레이 장치에 적합해야 하고, 또한 디스플레이 장치의 특성과 관련된 정보가 입체 영상의 화질이나 입체감에 영향을 미칠 수 있기 때문에, 부호화된 스테레오스코픽 영상 데이터 파일 포맷을 정의함에 있어서는 이러한 사실이나 추가적으로 필요한 정보들을 고려하야야 한다.
디스플레이 장치와 관련된 정보도 여러 가지가 있다. 예를 들어, 재생 장치가 배리어 타입의 디스플레이 장치인 경우에, 부호화된 스테레오스코픽 영상 데이터의 재생에 가장 적합한 배리어 패턴에 관한 정보도 그 중의 하나이다. 전술한 바와 같이, 배리어 패턴은 수직 라인 또는 수평 라인의 형상으로 배리어 편광판 상에 배치되는데, 상기 라인의 미세한 모양은 입체 영상의 화질에 영향을 미칠 수가 있다. 또한, 디스플레이 장치의 위치에 따른 배리어 패턴의 간격(위치에 상관없이 간격이 일정한지 또는 위치에 따라서 간격이 달라지는지)에 관한 정보도 입체 영상의 화질에 영향을 미칠 수가 있다.
도 7 및 도 8은 부호화된 스테레오스코픽 영상 데이터를 저장하기 위한 본 발명의 일 실시예에 따른 파일 포맷을 보여 주는 블록도로서, 도 8은 도 7의 스테 레오스코픽 트랙 컨테이너(Track, 210)의 구성을 보여 주는 블록도이다. 그리고 도 9는 도 7과 도 8에 도시된 파일 포맷이 갖는 하이어라키컬 구조(Hierarchical Structure)를 보여 주기 위한 도면이다. 도 7, 도 8, 및 도 9를 참조하면 알 수 있는 바와 같이, 본 발명의 실시예에 따른 파일 포맷은 ISO 베이스 미디어 파일 포맷을 기반으로 한 것이다.
먼저 도 7 및 도 9를 참조하면, 본 발명의 일 실시예에 따른 파일 포맷은 크게 파일 타입 선언부(ftyp, 100), 메타 데이터부(moov, 200), 및 영상 데이터부(mdat, 300)를 포함하도록 구성된다.
파일 타입 선언부(100)는 해당 파일이 스테레오스코픽 영상을 위한 파일인지를 알리기 위한 것이다. 그리고 해당 파일이 스테레오스코픽 영상을 위한 파일인 경우에는 이를 구성하는 ES의 개수에 관한 정보도 여기에 포함될 수 있다. 이를 위하여, 도 7 및 도 9에 도시된 바와 같이, 파일타입 선언부(100)는 ftyp 컨테이너의 하위분류로써 스테레오스코픽 타입인지를 지시하는 정보 및/또는 해당 스테레오스코픽 영상을 구성하는 ES의 개수를 지시하는 정보를 담기 위한 박스를 포함한다. 이 박스는 예컨대, 도시된 바와 같은 스테레오스코픽 타입 박스(ssty, 110)일 수 있다. 그리고 스테레오스코픽 영상의 디코더는, 스테레오스코픽 타입 박스(110)의 정보를 통해, 해당 파일이 스테레오스코픽 영상에 대한 것인지 및/또는 스테레오스코픽 영상인 경우에는 몇 개의 ES로 구성된 영상인지를 알 수 있다. 이를 정리하면 다음과 같다.
ssty ( Stereoscopic Type )
- Box Type : 'ssty'
- Container : File Type Box ('ftyp')
- Mandatory : Yes
- Quantity : Exactly one
이상의 내용을 통해 알 수 있는 바와 같이, 부호화된 스테레오스코픽 영상 데이터의 경우에 ssty 박스(110)는 필수적인 구성 요소이며, ftyp 컨테이너에 하나만 존재한다. 이러한 ssty 박스(110)에 대한 신택스(Syntax)의 일례는 도 10과 같다. 도 10에서 요소(Element) 'StereoScopic_Type'은 해당 파일이 스테레오스코픽 파일인지를 나타내는 것으로서, 예를 들어, 그 값은 표 1과 같이 할당할 수 있다. 그리고 요소 'StereoScopic_ES_Count'는 해당 스테레오스코픽 파일을 구성하는 ES의 개수를 나타낸다.
값 내용
0 스테레오스코픽 데이터 파일이 아니다
1 스테레오스코픽 데이터 파일이다
계속해서 도 7 및 도 9를 참조하면, 메타 데이터부(200)인 moov 컨테이너는 해당 파일의 메타 데이터를 저장하기 위한 한 개 또는 그 이상의 트랙 컨테이너(Track Container, 210 또는 220)를 포함한다. 해당 파일이 스테레오스코픽 영상 파일인 경우에 moov 컨테이너는 이를 구성하는 ES의 개수에 대응하는 스테레오스코픽 트랙 컨테이너(210), 예컨대 ES1을 위한 track1(Stereoscopic), ES2를 위한 track2(Stereoscopic), …, ES(n)을 위한 track(n)(Stereoscopic)을 포함한다(여기서, n은 1이상의 정수). 반면, 해당 파일이 스테레오스코픽 영상 파일이 아닌 경우에는 하나의 비스테레오스코픽 트랙 컨테이너(220), 예컨대 모노스코픽 영상, 오디오, 또는 텍스트 파일의 메타 데이터를 위한 track(Non-Stereoscopic)을 포함한다. 본 발명은 스테레오스코픽 영상에 관한 것이므로, 이하에서는 도 8 및 도 9를 참조하여, 스테레오스코픽 트랙 컨테이너(210)의 구성에 대하여 상세히 설명한다.
스테레오스코픽 트랙 컨테이너(210)는 미디어 컨테이너(media, 211)를 포함한다. 미디어 컨테이너(211)는 트랙이라는 컨테이너에 저장되는 미디어 스트림 관련 정보를 담기 위하여 정의된 컨테이너로서, 핸들러 참조 박스(hdlr, 212) 및 미디어 정보 컨테이너(minf, 도시하지 않음)를 포함한다. 그리고 상기 미디어 정보 컨테이너(minf)는 해당 ES에 의해 표현될 영상의 사이즈 정보를 담기 위한 박스(이 박스는 예컨대, 스테레오스코픽 헤더 박스(sshd, 213)일 수 있으며, 그 명칭은 변경될 수 있다)와 샘플 테이블 박스(stbl, 216)를 포함한다.
핸들러 참조 박스(212)는 해당 ES의 스트림 유형을 정의하는 정보를 포함한다. 해당 ES가 스테레오스코픽 영상을 부호화한 데이터인 경우에는, 핸들러 참조 박스(212)에 포함되는 정보의 값을 예컨대, 'ssvi'라고 표시할 수 있다. 핸들러 참조 박스(212)에 대하여 정리하면 다음과 같다.
hdlr ( Handler Reference )
- Box Type : 'hdlr'
- Container : Media Box ('media')
- Mandatory : Yes
- Quantity : Exactly one
이상의 내용을 통해 알 수 있는 바와 같이, hdlr 박스(212)는 필수적인 구성 요소이며, media 컨테이너(211)에 오직 한 개만 존재한다. hdlr 박스(211)에 대한 신택스(Syntax)의 일례는 도 11에 도시되어 있다. 도 11에서 요소 'handler_type'은 미디어 데이터에 대한 스트림 타입을 정의하기 위한 것이다. 기존의 스트림에 대한 정의에 본 발명의 대상인 스테레오스코픽 영상 스트림에 대한 정의가 포함된 스트림 타입의 유형에 대한 일례는 표 2와 같다.
값 내용
ssvi Stereoscopic Visual Data
soun Audio Data
vide Visual Data
text Text Data
hint Hint Data
스테레오스코픽 헤더 박스(213)는 해당 ES에 의해 표현될 영상의 사이즈 정보를 포함한다. 예를 들어, 스테레오스코픽 헤더 박스(213)에는 해당 ES에 의해 표현되는 스테레오스코픽 통합 영상의 너비(Width) 정보 및/또는 높이(Height) 정보를 포함할 수 있다. 이러한 스테레오스코픽 헤더 박스(213)에 대한 신택스의 일례는 도 12에 도시되어 있다. 도 12에서 StereoScopic_CompoundImageWidth는 스테레오스코픽 통합합성영상의 너비를 나타내고, StereoScopic_CompoundImageHeight는 스테레오스코픽 통합합성영상의 높이를 나타낸다. 이러한 스테레오스코픽 헤더 박스(213)를 정리하면 다음과 같다.
sshd ( StereoScopic Header )
- Box Type : 'sshd', 'vmhd', 'smhd', 'hmhd'
- Container : MediaInformation Box ('minf')
- Mandatory : Yes (must be present)
- Quantity : Exactly one
이를 통해 알 수 있는 바와 같이, sshd 박스(213)는 필수적인 구성 요소이며, minf 컨테이너(도시하지 않음)에 하나만 존재한다. minf 컨테이너에는 sshd 박스(213) 외에 다른 유형의 미디어에 대한 헤더 박스를 더 포함할 수 있는데, minf 컨테이너에 포함될 수 있는 헤더 박스의 값에 대한 일례는 표 3에 나타나 있다.
값 내용
sshd Stereoscopic Visual Media Header
smhd Audio Media Header
vmhd Visual Media Header
hmhd Hint Media Header
nmhd Null Media Header
계속해서 도 8 및 도 9를 참조하면, 스테레오스코픽 헤더 박스(213)는 해당 스테레오스코픽 영상을 획득하는데 사용된 좌우 카메라와 관련된 정보를 담기 위한 박스와 해당 스테레오스코픽 영상을 디스플레이하는데 사용되는 디스플레이 장치와 관련된 정보를 담기 위한 박스를 더 포함한다. 상기 박스는 각각 스테레오스코픽 카메라 정보 박스(ssci, 214)와 스테레오스코픽 디스플레이 정보 박스(ssdi, 215)일 수 있으며, 그 명칭은 변경될 수도 있다.
스테레오스코픽 카메라 정보 박스(ssci, 214)에는 좌우 카메라와 관련된 정보로써, 예를 들어, 좌측 카메라와 우측 카메라와의 거리에 관한 정보 등이 포함될 수 있다. 다음은 스테레오스코픽 카메라 정보 박스(214)에 대한 개요를 정리한 것이다.
ssci ( StereoScopic Camera Information )
- Box Type : 'ssci'
- Container : Stereoscopic Header Box ('sshd')
- Mandatory : No
- Quantity : Zero or One
이상의 개요를 통해 알 수 있는 바와 같이, ssci박스(214)는 임의적인 구성 요소이며, 포함되는 경우에는 컨테이너인 sshd 박스(213)에 하나만 존재한다. ssci 박스(214)에 대한 신택스(Syntax)의 일례는 도 13에 도시되어 있다. 도 13에서 요소 'StereoScopicCamera_Left_Right-Distance'는 좌우 카메라 간의 거리를 나타낸다.
그리고 스테레오스코픽 디스플레이 정보 박스(215)에는 디스플레이 장치와 관련된 정보로써, 예를 들어, 배리어 패턴의 유형에 관한 정보 및/또는 배리어 패턴의 간격에 관한 정보 등이 포함될 수 있다. 다음은 스테레오스코픽 디스플레이 정보 박스(215)의 개요를 정리한 것이다.
ssdi ( StereoScopic Display Information )
- Box Type : 'ssdi'
- Container : Stereoscopic Header Box ('sshd')
- Mandatory : No
- Quantity : Zero or One
이를 통해 알 수 있는 바와 같이, ssdi박스(215)는 임의적인 구성 요소이며, 포함되는 경우에는 컨테이너인 sshd 박스(213)에 하나만 존재한다. ssdi 박스(215)에 대한 신택스의 일례는 도 14에 도시되어 있다. 도 14에서 요소 'StereoScopic_Barrier_Pattern'는 배리어 패턴의 유형을 나타내는데, 그 값은 예컨대 표 4와 같이 할당할 수 있다. 그리고 요소 'StereoScopic_Barrier_Distance'는 배리어 패턴의 간격의 간격을 나타내는 것으로서, 그 값이 '0'일 경우에는 비정율을 나타내고, 그 값이 '1'일 경우에는 정율을 나타낸다. 여기서, '정율'이란 배리어 패턴의 간격이 디스플레이 장치의 위치에 관계없이 일정한 것을 가리키고, '비정율'이란 배리어 패턴의 간격이 디스플레이 장치에 위치(예컨대, 중심부분과 가장자리 부분)에 따라서 다른 것을 가리킨다.
값 내용
00 1자형
01 톱니형
10 대각선형
계속해서 도 8 및 도 9를 참조하면, 타임/스페이스 맵(time/space map)을 위한 컨테이너인 샘플 테이블 박스(216)는 샘플 디스크립션 박스(stsd, 217)를 포함한다. 샘플 디스크립션 박스(217)는 트랙 컨테이너(210)에 정의된 미디어 스트림(ES)의 디스크립션(Description)을 정의하기 위한 것으로서, 스테레오스코픽 비주얼 샘플 엔트리(Stereoscopic Visual Sample Entry)를 지시하는 박스를 포함한다. 이 박스는 예컨대, mpss 박스(218)라고 칭할 수 있지만, 여기에만 한정되는 것은 아니다. 샘플 디스크립션 박스(217)는 mpss 박스(218) 외에도 비주얼 샘플 엔트리(Visual Sample Entry)를 지시하는 mp4v 박스와 오디오 샘플 엔트리(Audio Sample Entry)를 지시하는 mp4a 박스 등을 더 포함할 수 있다.
mpss 박스(218)는 부호화된 스테레오스코픽 영상 데이터를 구성하는 ES에 대한 상세 정보를 기술하기 위한 박스 컨테이너이다. mpss 박스(218)에 대한 주요한 사항을 정리하면 다음과 같다.
mpss ( StereoScopic Visual Sample Entry )
- Box Type : 'mpss', 'mp4v', 'mp4a'
- Container : Stereoscopic Table Box ('stbl')
- Mandatory : Yes
- Quantity : Exactly One
이를 통해 알 수 있는 바와 같이, mpss 박스(218)는 필수적인 구성 요소이며, stbl 컨테이너(217)에 하나만 존재한다. stbl 컨테이너(217)에는 mpss 박스(218) 외에 다른 유형의 미디어에 대한 샘플 엔트리를 더 포함될 수 있는데, stbl 컨테이너(217)에 포함될 수 있는 샘플 엔트리의 일례는 표 5에 나타나 있다.
값 내용
mpss Stereoscopic Visual Sample Entry
mp4v Visual Sample Entry
mp4a Audio Sample Entry
mpss 박스(218)는 피부호화 프레임의 구성 방법에 관한 정보 및 그에 따라 파생되는 여러 가지 정보 등을 포함한다. mpss 박스(218)에 포함되는 정보는 부호화된 스테레오스코픽 영상 데이터를 구성하는 ES의 수 및/또는 해당 ES에 대응하는 피부호화 프레임의 유형 등에 따라 다소 달라질 수도 있다. 보다 구체적으로, mpss 박스(218)에는 피부호화 프레임의 유형(구성방법)에 관한 정보, 좌영상과 우영상의 프레임율에 관한 정보, 피부호화 프레임을 구성하는 영상의 크기, 피부호화 프레임을 구성하는 필드의 라인 수, 및/또는 피부호화 프레임을 구성하는 좌우 영상의 디스패러티 정보 등이 포함될 수 있다. 이하, 부호화된 스테레오스코픽 영상 데이터의 ES 개수에 따라서 mpss 박스(218)에 포함될 수 있는 정보의 내용에 대하여 상세히 설명한다.
먼저, ES가 1개인 경우에 대하여 설명한다. ES가 1개인 경우에 그에 따른 피부호화 프레임의 구성방법은 예를 들어, 도 2 내지 도 4에 개시되어 있는 방법 중의 어느 하나가 될 수 있다. 도 2 내지 도 4에 개시되어 있는 피부호화 프레임의 구성방법은 총 5가지로서, mpss 박스(218)에 포함되는 정보는 상기 5가지 유형을 모두 지원할 수 있어야 한다. 따라서 mpss 박스(218)에는 우선 해당 ES를 구성하는 피부호화 프레임의 유형을 지시하는 정보가 포함된다. 피부호화 프레임의 유형은 'StereoScopic_CompositionType' 으로 표현되고, 그 값은 3비트를 이용하여 다음의 표 6과 같이 할당할 수 있다. 표 6은 단지 예시적인 것이다.
값 내용
000 프레임 단위로 시간 방향으로 좌우 영상이 교대로 배열(도 4 참조)
001 좌영상과 우영상이 사이드-바이-사이드 방식으로 구성(도 2의 왼쪽)
010 좌영상과 우영상이 탑-다운 방식으로 구성(도 2의 오른쪽)
011 좌우 영상의 수직 픽셀 라인이 교대로 배열(도 3의 왼쪽)
100 좌우 영상의 수평 픽셀 라인이 교대로 배열(도 3의 오른쪽)
그리고 피부호화 프레임이 도 2 및 도 3에 도시된 프레임(22, 24, 32, 34)인 경우에, mpss 박스(218)에는 피부호화 프레임의 크기에 관한 정보가 더 포함될 수 있다. 예를 들어, 피부호화 프레임이 도 2의 왼쪽에 도시된 프레임(22)인 경우에는 영상의 폭을 나타내는 정보가 포함되고, 피부호화 프레임이 도 2의 오른쪽에 도시된 프레임(24)인 경우에는 영상의 높이를 나타내는 정보가 포함될 수 있다. 그리고 피부호화 프레임이 도 3의 왼쪽에 도시된 프레임(32)인 경우에는 교차된 수직 라인의 필드 단위의 너비를 나타내는 정보가 포함되고, 피부호화 프레임이 도 3의 오른쪽에 도시된 프레임(34)인 경우에는 교차된 수평 라인의 필드 단위의 너비를 나타내는 정보가 포함될 수 있다.
이러한 피부호화 프레임의 크기에 관한 정보는 'width_or_height'로 표현할 수 있으며, 예를 들어 표 6에 개시된 StereoScopic_CompositionType의 값이'0b001'인 경우에 상기 'width_or_height'의 값은 영상의 너비, '0b010'인 경우는 영상의 높이, '0b011'인 경우는 교차된 수직 라인의 필드 단위의 너비, 또는'0b100'인 경우는 교차된 수평 라인의 필드 단위의 높이를 나타낼 수 있다.
또한, 피부호화 프레임이 도 2 및 도 3에 도시된 프레임(22, 24, 32, 34)인 경우에, mpss 박스(218)에는 피부호화 프레임의 구성 영상인 홀수 라인 필드 및 짝수 라인 필드를 구성하는 라인의 수에 관한 정보가 포함될 수 있다. 예를 들어, 피부호화 프레임이 도 2에 도시된 프레임(22, 24)인 경우에는 상기 필드 라인의 수가 0이 되지만, 도 3에 도시된 프레임(32, 34)인 경우에는 홀수 라인 필드를 구성하는 라인의 수 및/또는 짝수 라인 필드를 구성하는 라인의 수를 나타내는 정보가 포함될 수 있다.
이러한 홀수 라인 필드를 구성하는 라인의 수에 관한 정보는 'odd_field_count'로 표현하고, 짝수 라인 필드를 구성하는 라인의 수에 관한 정보는 'even_field_count'로 표현할 수 있다. 예를 들어, 표 6에 개시된 StereoScopic_CompositionType이 '0b001'과'0b010'인 경우에, 'odd_field_count'와 'even_field_count'는 모두 '0'이 되고, '0b011'과 '0b100'인 경우는 'odd_field_count'와 'even_field_count'는 각각 홀수 라인의 수 및 짝수 라인의 수를 나타낼 수 있다.
mpss 박스(218)에는 또한 좌영상과 우영상 사이 또는 홀수 라인 필드와 짝수 라인 필드 사이의 프레임율이 동일한지와 만일 프레임율이 다른 경우에는 동기화 방법을 나타내는 정보가 더 포함될 수 있다(프레임율 관련 정보). 여기서, 동기화 방법이란 두 영상의 프레임율이 다른 경우에, 디스플레이시에 어떤 영상을 기준으로 하여 프레임율을 일치시킬지를 나타내는 정보일 수 있다. 즉, 동기화 방법에 관한 정보는 기준 영상을 어떤 영상으로 하는 것을 지시하는 정보일 수 있다. 이러한 프레임율 및/또는 동기화 방법에 관한 정보는 'StereoScopic_ES_FrameSync'로 표현하고, 2비트를 이용하여 표 7과 같이 할당할 수 있다. 표 7은 ES가 1인 경우로서 예시적인 것이다.
값 내용
00 좌영상(홀수라인필드)과 우영상(짝수라인필드)의 프레임율이 같음
01 프레임율이 다르며, 좌영상(또는 홀수 라인 필드)이 기준 영상
10 프레임율이 다르며, 우영상(또는 짝수 라인 필드)이 기준 영상
mpss 박스(218)에는 또한 좌영상과 우영상 사이 또는 홀수 라인 필드와 짝수 라인 필드 사이의 이미지 정보(예컨대, Y/Cb/Cr값 또는 R/G/B값)의 차이, 즉 디스패러티가 있는지를 지시하는 정보와 만일 디스패러티가 있는 경우에는 디스패러티값이 더 포함될 수 있다(디스패러티 관련 정보). 여기서, 디스패러티값이란 어느 하나의 영상(또는 필드)을 기준으로 한 다른 영상(또는 필드)과의 차이값을 나타내는 정보이다. 이러한 디스패러티 관련 정보는 디스플레이되는 스테레오스코픽 영상의 입체감을 보정하기 위한 것이다.
이러한 디스패러티 관련 정보 중에서 디스패러티가 있는지를 지시하는 정보는 'StereoScopic_ImageInformationDifference'로 표현하고, 2비트를 이용하여 표 8과 같이 할당할 수 있다. 표 8도 ES가 1인 경우로서 예시적인 것이다.
값 내용
00 좌영상(홀수라인필드)과 우영상(짝수라인필드)의 디스패러티가 0임
01 디스패러티가 0이 아니며, 좌영상(또는 홀수 라인 필드)이 기준 영상
10 디스패러티가 0이 아니며, 우영상(또는 짝수 라인 필드)이 기준 영상
디스패러티 관련 정보 중에서 디스패러티값은 이미지 정보의 차이로써 표현될 수 있다. 이미지 정보를 표현하는 방법은 여러 가지가 있는데, 그 중에서 대표적인 방법이 Y/Cb/Cr 또는 R/G/B 이다. 따라서 디스패러티값도 이를 이용하여 다음과 같이 표현할 수 있다.
Y_or_R_difference : 이미지 정보 Y값의 차 또는 R값의 차를 나타낸다.
Cb_or_G_difference : 이미지 정보 Cb값의 차 또는 G값의 차를 나타낸다.
Cr_or_B_difference : 이미지 정보 Cr값의 차 또는 B값의 차를 나타낸다.
다음으로, ES가 2개인 경우에 대하여 설명한다. ES가 2개인 경우에 그에 따른 피부호화 프레임의 구성방법은 예를 들어, 도 5a 또는 도 5b에 개시되어 있는 방법 중의 어느 하나가 될 수 있다. ES가 두 개인 경우에는 moov 컨테이너(200)는 두 개의 트랙 컨테이너, 즉 track1 컨테이너 및 track2 컨테이너를 포함한다. 그리고 각 트랙 컨테이너에는 해당 ES에 대한 메타 데이터 정보가 포함될 수 있다. 이하에서는 전술한 ES가 1개인 경우와의 차이점을 중심으로 설명한다.
부호화된 스테레오스코픽 영상 데이터의 ES가 두 개인 경우에, mpss 박스(218)에는 우선 해당 ES를 구성하는 피부호화 프레임의 유형을 지시하는 정보가 포함된다. 도 5a 및 도 5b를 참조하면, 피부호화 프레임의 유형은 네 가지, 즉 좌영상, 우영상, 기준 영상, 및 차분 영상이 될 수 있으므로, mpss 박스(218)에는 이를 지시하는 정보가 포함된다. 피부호화 프레임의 유형은 'StereoScopic_ES_Type' 으로 표현되고, 그 값은 2비트를 이용하여 다음의 표 9와 같이 할당할 수 있다. 표 9는 단지 예시적인 것이다.
값 내용
00 좌영상
01 우영상
10 기준 영상
11 차분 영상
mpss 박스(218)에는 또한 좌영상과 우영상 사이의 프레임율이 동일한지와 만일 프레임율이 다른 경우에는 좌영상과 우영상을 동기화 방법을 나타내는 정보가 더 포함될 수 있다(프레임율 관련 정보). 이러한 프레임율 관련 정보는 피부호화 프레임이 도 5a에 도시된 프레임(좌영상과 우영상으로 구성된 프레임)인 경우에만 포함되며, 피부호화 프레임이 도 5b에 도시된 프레임인 경우에는 포함되지 않는다. 이러한 프레임율 및/또는 동기화 방법에 관한 정보는 'StereoScopic_ES_FrameSync'로 표현하고, 2비트를 이용하여 표 10과 같이 할당할 수 있다. 단, 표 10은 ES가 2인 경우로서 예시적인 것이다.
값 내용
00 좌영상과 우영상의 프레임율이 같거나 프레임율 정보가 불필요
01 프레임율이 다르며, 해당 ES의 프레임이 기준 영상
10 프레임율이 다르며, 해당 ES와 짝이 되는 프레임이 기준 영상
mpss 박스(218)에는 또한 좌영상과 우영상 사이의 이미지 정보(예컨대, Y/Cb/Cr값 또는 R/G/B값)의 차이, 즉 디스패러티가 있는지를 지시하는 정보와 만일 디스패러티가 있는 경우에는 디스패러티값이 더 포함될 수 있다(디스패러티 관련 정보). 이러한 디스패터리 관련 정보도 피부호화 프레임이 도 5a에 도시된 프레임(좌영상과 우영상으로 구성된 프레임)인 경우에만 포함되며, 피부호화 프레임이 도 5b에 도시된 프레임인 경우에는 포함되지 않는다. 디스패러티 관련 정보는 'StereoScopic_ImageInformationDifference'로 표현하고, 2비트를 이용하여 표 11과 같이 할당할 수 있다. 단, 표 11도 ES가 2인 경우로서 예시적인 것이다.
값 내용
00 좌영상과 우영상의 디스패러티가 0이거나 이를 고려하지 않음
01 디스패러티가 0이 아니며, 해당 ES의 프레임이 기준 영상
10 디스패러티가 0이 아니며, 해당 ES와 짝이 되는 프레임이 기준 영상
그리고 이미지 정보의 차이인 디스패러티값은 해당 ES의 mpss 박스(218)가 아닌 짝이 되는 다른 ES의 mpss 박스에 포함될 수 있다. 이 경우, 디스패터리가 있는지를 나타내는 정보와 디스패러티값을 지시하는 정보는 두 개의 ES에 분산되어 포함될 수 있다.
피부호화 프레임의 유형을 나타내는 스테레오스코픽 ES 타입이 도 5b에 도시된 영상인 경우에는, 피부호화 프레임 자체가 기준 영상과 차분 영상으로 나누어진다. 따라서 'StereoScopic_ES_Type'이 기준 영상 또는 차분 영상을 지시하는 경우에는, 해당 ES에 대해서는 프레임율 관련 정보와 디스패러티 관련 정보가 필요하지 않다. 따라서 ES가 두 개인 경우로서 피부호화 프레임이 도 5b에 도시된 영상인 경우에는 mpss 박스(218)에는 이들 정보가 포함되지 않는다.
다음으로, ES가 세 개 이상인 경우에 대하여 설명한다. ES가 세 개 이상인 경우의 피부호화 프레임은 도 6에 도시되어 있는데, 기준 영상과 차분 영상으로 구성되어 있다는 점에서 도 5b에 도시된 피부호화 프레임 구성과 동일하다. 따라서 ES가 세 개 이상인 경우에 mpss 박스(218)에 포함되는 정보는, ES가 두 개로서 피부호화 프레임 유형이 도 5b인 경우와 동일하므로, 이하에서는 이에 대한 상세한 설명은 생략한다.
이상에서 설명한 정보를 포함하는 mpss 박스(218)에 대한 신택스의 일례는 도 15a 내지 도 15d에 도시되어 있다. 도 15a 내지 도 15d에 도시된 신택스는 원래 하나로 표현되어야 하는 것이나, 여기서는 지면의 제약으로 인하여 분리하여 도시한다. 따라서 도 15a에 도시된 신택스 부분에 이어서 도 15b에 도시된 신택스 부분으로 연결되며, 그 뒤로 도 15c 및 도 15d의 신택스 부분이 순차적으로 이어진다. 그리고 상기 신택스에 대한 설명은 위에서 상세하게 설명하였으므로, 이에 대한 부연 설명은 생략한다.
계속해서 도 7을 참조하면, 영상 데이터부(mdat, 300)인 mdat 컨테이너는 피부호화 프레임에 대한 부호화된 이미지 정보를 포함한다. 이를 위하여, mdat 컨테이너는 하나 또는 그 이상의 스테레오스코픽 영상 데이터 컨테이너(Stereoscopic Image Data, 310)를 포함하는데, 각각 스테레오스코픽 영상 데이터 컨테이너(310)는 메타 데이터부(200)에 포함되는 각각의 트랙 컨테이너(track, 210)에 대응한다. 따라서 영상 데이터부(300)는 ES의 개수에 상응하는 스테레오스코픽 영상 데이터 컨테이너(310)를 포함한다. 그리고 각 스테레오스코픽 영상 데이터 컨테이너(310)에 포함되는 영상 데이터의 종류는 기존의 영상 데이터와 크게 차이가 없기 때문에, 이하에서는 이에 대한 상세한 설명은 생략한다.
이상에서 본 발명의 일 실시예에 대하여 상세하게 설명하였지만, 이러한 실시예는 단지 예시적은 것으로서, 본 발명의 기술 사상은 여러 가지 다른 방법으로 구현하는 것이 가능하다는 것은 당업자에게 자명하다.
도 1은 부호화된 모노스코픽 영상 데이터를 저장하기 기존의 파일 포맷을 보여 주는 블록도이다.
도 2는 피부호화 프레임으로서 좌우 영상이 나란히 배치된 통합합성영상의 구성을 보여 주는 도면이다.
도 3은 피부호화 프레임으로서 좌영상과 우영상의 픽셀 라인이 교대로 배치된 통합합성영상의 구성을 보여 주는 도면이다.
도 4는 피부호화 프레임으로서 좌영상과 우영상이 각각 프레임 단위로 순차적으로 배열된 통합합성영상의 구성을 보여 주는 도면이다.
도 5a는 좌영상과 우영상으로 이루어진 피부호화 프레임의 구성을 보여 주는 도면이다.
도 5b는 기준 영상과 차분 영상으로 이루어진 피부호화 프레임의 구성을 보여 주는 도면이다.
도 6은 하나의 기준 영상과 다수의 차분 영상으로 이루어진 피부호화 프레임의 구성을 보여 주는 도면이다.
도 7은 부호화된 스테레오스코픽 영상 데이터를 저장하기 위한 본 발명의 일 실시예에 따른 파일 포맷을 보여 주는 블록도이다.
도 8은 도 7의 스테레오스코픽 트랙 컨테이너의 구성을 보여 주는 블록도이다.
도 9는 도 7과 도 8에 도시된 파일 포맷이 갖는 하이어라키컬 구 조(Hierarchical Structure)를 보여 주기 위한 도면이다.
도 10은 도 7의 ssty 박스에 대한 신택스의 일례를 보여 주는 도면이다.
도 11은 도 7의 hdlr 박스에 대한 신택스의 일례를 보여 주는 도면이다.
도 12는 도 7의 스테레오스코픽 헤더 박스에 대한 신택스의 일례를 보여 주는 도면이다.
도 13은 도 7의 스테레오스코픽 카메라 정보 박스에 대한 신택스의 일례를 보여 주는 도면이다.
도 14는 도 7의 스테레오스코픽 디스플레이 정보 박스에 대한 신택스의 일례를 보여 주는 도면이다.
도 15a 내지 도 15d는 mpss 박스에 대한 신택스의 일례를 보여주는 도면이다.

Claims (14)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 부호화된 스테레오스코픽 영상 데이터의 파일을 구성하는 방법에 있어서,
    상기 파일의 스테레오스코픽 영상 타입에 관한 정보를 파일 타입 선언부에 삽입시키는 단계;
    상기 부호화된 스테레오스코픽 영상 데이터의 메타 데이터를 하나 또는 그 이상의 트랙 컨테이너 및 무비헤더(movie header) 컨테이너를 포함하는 메타 데이터부에 삽입시키는 단계; 및
    상기 부호화된 스테레오스코픽 영상 데이터의 이미지 정보를 하나 또는 그 이상의 스테레오스코픽 영상 데이터 컨테이너를 갖는 영상 데이터부에 삽입시키는 단계를 포함하고,
    상기 파일 타입 선언부는 상기 파일이 스테레오스코픽 컨텐츠만을 위한 파일인지 여부를 선언하고,
    상기 트랙 컨테이너는
    해당 기본 스트림(ES)의 유형을 지시하기 위한 핸들러 참조(Handler Reference) 컨테이너; 및
    상기 해당 ES의 메타 데이터를 담기 위한 미디어 정보 컨테이너를 포함하고,
    상기 미디어 정보 컨테이너는 피부호화 프레임의 크기를 지시하는 정보를 포함하는 스테레오스코픽 헤더 컨테이너를 포함하고,
    상기 스테레오스코픽 헤더 컨테이너는 상기 스테레오스코픽 영상을 획득하는데 사용한 좌우 카메라 사이의 거리를 나타내는 정보를 담기 위한 컨테이너를 포함하는 것을 특징으로 하는 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법.
  5. 삭제
  6. 삭제
  7. 제4항에 있어서, 상기 스테레오스코픽 헤더 컨테이너는 상기 스테레오스코픽 영상을 디스플레이하는데 사용되는 디스플레이 장치에 관련된 정보를 포함하는 것을 특징으로 하는 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법.
  8. 제4항에 있어서,
    상기 미디어 정보 컨테이너는 상기 해당 ES의 디스크립션(Description)을 정의하기 위한 샘플 디스크립션 컨테이너를 포함하고,
    상기 샘플 디스크립션 컨테이너는 피부호화 프레임의 구성방법을 지시하는 ES 유형 정보를 포함하는 것을 특징으로 하는 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제8항에 있어서, 상기 ES의 개수가 두 개인 경우에,
    상기 ES 유형 정보가 지시하는 상기 피부호화 프레임은 좌영상, 우영상, 기준 영상, 및 차분 영상 중에서 어느 하나인 것을 특징으로 하는 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법.
KR1020090112803A 2007-06-07 2009-11-20 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법 KR101288932B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070055620 2007-06-07
KR1020070055620 2007-06-07

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020070075212A Division KR100962696B1 (ko) 2007-06-07 2007-07-26 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법

Publications (2)

Publication Number Publication Date
KR20090127246A KR20090127246A (ko) 2009-12-10
KR101288932B1 true KR101288932B1 (ko) 2013-07-22

Family

ID=40368088

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020070075212A KR100962696B1 (ko) 2007-06-07 2007-07-26 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
KR1020090112803A KR101288932B1 (ko) 2007-06-07 2009-11-20 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020070075212A KR100962696B1 (ko) 2007-06-07 2007-07-26 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법

Country Status (6)

Country Link
US (1) US20100171812A1 (ko)
EP (1) EP2174512A4 (ko)
JP (1) JP2010530160A (ko)
KR (2) KR100962696B1 (ko)
CN (1) CN101711483B (ko)
WO (1) WO2008150111A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK3758381T3 (da) 2007-04-12 2021-04-12 Dolby Int Ab Tiling i videokodning og -afkodning
KR101388265B1 (ko) 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US8400497B2 (en) 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
KR100959534B1 (ko) * 2007-10-08 2010-05-27 엘지전자 주식회사 Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR101480186B1 (ko) * 2007-12-10 2015-01-07 삼성전자주식회사 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
EP2088789A3 (en) * 2008-02-05 2012-08-15 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
KR101530713B1 (ko) * 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
CN102100074B (zh) 2008-07-20 2014-06-25 杜比实验室特许公司 兼容立体视频递送
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
KR101154051B1 (ko) * 2008-11-28 2012-06-08 한국전자통신연구원 다시점 영상 송수신 장치 및 그 방법
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
KR101176065B1 (ko) * 2008-12-22 2012-08-24 한국전자통신연구원 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
KR101547151B1 (ko) 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
WO2010084437A2 (en) * 2009-01-20 2010-07-29 Koninklijke Philips Electronics N.V. Transferring of 3d image data
AU2010206977B2 (en) 2009-01-26 2016-02-25 Interdigital Vc Holdings, Inc. Frame packing for video coding
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
WO2010123909A1 (en) 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
GB2470402A (en) * 2009-05-21 2010-11-24 British Broadcasting Corp Transmitting three-dimensional (3D) video via conventional monoscopic (2D) channels as a multiplexed, interleaved data stream
JP5185202B2 (ja) * 2009-06-03 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
CN102498720B (zh) 2009-06-24 2015-09-02 杜比实验室特许公司 在3d或多视图视频数据中嵌入字幕和/或图形叠层的方法
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
JP5428697B2 (ja) * 2009-09-16 2014-02-26 ソニー株式会社 受信装置、受信方法、送信装置およびコンピュータプログラム
JP2011087194A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
CN102742282B (zh) * 2010-01-29 2017-09-08 汤姆逊许可证公司 基于块的交错
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8878913B2 (en) * 2010-03-12 2014-11-04 Sony Corporation Extended command stream for closed caption disparity
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
CN102860021B (zh) 2010-04-20 2017-06-20 三星电子株式会社 用于传送和接收媒体数据的接口装置和方法
WO2011155776A2 (ko) 2010-06-09 2011-12-15 삼성전자 주식회사 프래그먼트 기반의 멀티미디어 스트리밍 서비스 제공 방법과 그 장치, 그리고 프래그먼트 기반의 멀티미디어 스트리밍 서비스 수신 방법과 그 장치
CN103081478A (zh) 2010-06-24 2013-05-01 电子部品研究院 用于配置立体运动图片文件的方法
CN102959952B (zh) * 2010-06-27 2016-07-06 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
PL2596637T3 (pl) * 2010-07-21 2021-12-13 Dolby Laboratories Licensing Corporation Systemy i sposoby dostarczania wielowarstwowego wideo zgodnego z ramką
CN102340681A (zh) * 2010-07-26 2012-02-01 深圳市锐取软件技术有限公司 3d立体视频单文件双视频流录制方法
WO2012029885A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 画像処理装置および方法
EP2628298A1 (en) * 2010-10-12 2013-08-21 Dolby Laboratories Licensing Corporation Joint layer optimization for a frame-compatible video delivery
WO2012145191A1 (en) 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
CN102404577A (zh) * 2011-12-01 2012-04-04 无锡太行电子技术有限公司 3d立体视频编码存储方法
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US11290510B2 (en) * 2012-11-29 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus for encapsulation of motion picture experts group media transport assets in international organization for standardization base media files
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
JP7396047B2 (ja) 2018-01-12 2023-12-12 ソニーグループ株式会社 情報処理装置および方法
US10939086B2 (en) * 2018-01-17 2021-03-02 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content
US10944977B2 (en) 2018-04-03 2021-03-09 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding overlay compositions
US10869016B2 (en) 2018-04-12 2020-12-15 Mediatek Singapore Pte. Ltd. Methods and apparatus for encoding and decoding virtual reality content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127553A (ko) * 2005-06-07 2006-12-13 삼성전자주식회사 프레임송출장치 및 프레임수신장치
KR100704938B1 (ko) 2006-08-25 2007-04-09 주식회사 이시티 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3459721B2 (ja) * 1995-05-22 2003-10-27 キヤノン株式会社 立体画像表示方法及びそれを用いた立体画像表示装置
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2003173625A (ja) * 2001-12-04 2003-06-20 Hitachi Ltd ファイル変換方法、ファイル変換装置、及びファイル生成装置
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2005026800A (ja) 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
CN1846439B (zh) * 2003-12-02 2010-12-08 松下电器产业株式会社 按下载型的文件形式配送av内容的方法及装置
EP1727090A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital decoding 3d stereoscopic video images
JP4589651B2 (ja) * 2004-04-26 2010-12-01 オリンパス株式会社 画像処理装置、画像加工・編集装置、画像ファイル再生装置、画像処理方法、画像加工・編集方法及び画像ファイル再生方法
JP2006013760A (ja) * 2004-06-24 2006-01-12 Matsushita Electric Ind Co Ltd 管理ファイルを生成する電子機器、３次元画像データを生成する電子機器、管理ファイル生成方法、３次元画像データ生成方法および管理ファイルのファイル構造
JP4529556B2 (ja) * 2004-06-24 2010-08-25 パナソニック株式会社 立体視用の画像ファイルを生成する電子機器、３次元画像データを生成する電子機器、画像ファイル生成方法、３次元画像データ生成方法および画像ファイルのファイル構造
JP4630150B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 立体画像記録装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127553A (ko) * 2005-06-07 2006-12-13 삼성전자주식회사 프레임송출장치 및 프레임수신장치
KR100704938B1 (ko) 2006-08-25 2007-04-09 주식회사 이시티 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법

Also Published As

Publication number Publication date
US20100171812A1 (en) 2010-07-08
KR20090127246A (ko) 2009-12-10
CN101711483A (zh) 2010-05-19
KR100962696B1 (ko) 2010-06-11
KR20080107955A (ko) 2008-12-11
CN101711483B (zh) 2012-05-30
EP2174512A1 (en) 2010-04-14
JP2010530160A (ja) 2010-09-02
WO2008150111A1 (en) 2008-12-11
EP2174512A4 (en) 2013-05-01

Similar Documents

Publication Publication Date Title
KR101288932B1 (ko) 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
US9781403B2 (en) Method and apparatus for generating stereoscopic file
CN101868970B (zh) 记录三维图像数据的方法
US8842903B2 (en) System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
US8396906B2 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
EP2001235B1 (en) MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata
CN103202021B (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
US20100161686A1 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
CN103098462A (zh) 编码方法、显示装置以及解码方法
US20090208119A1 (en) Method for generating and playing image files for slideshows
AU2010250871B2 (en) Entry points for 3D trickplay
WO2008054100A1 (en) Method and apparatus for decoding metadata used for playing stereoscopic contents
RU2462771C2 (ru) Устройство и способ для генерации и отображения медиа-файлов
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101434674B1 (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
TW201242373A (en) Data creation device and playback device for video picture in video stream
KR100959534B1 (ko) Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
KR20100092851A (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170622

Year of fee payment: 5