KR20080092810A - 미디어 표준 기반의 입체영상 파일 생성 장치 및 방법과이를 구현하기 위한 시스템 - Google Patents

Abstract

본 발명은 미디어 표준 기반의 입체영상 파일 생성 장치 및 방법과 이를 구현하기 위한 시스템에 관한 것이다.

이를 위하여 본 발명은 미디어 표준 기반의 입체영상 파일 생성 및 생성된 입체영상 파일을 재생하기 위한 시스템에 있어서, 제1 영상 데이터를 포함하는 제1 비디오 트랙과 제1 영상 데이터와 동기화되어 입체영상을 생성하는데 이용되는 제2 영상 데이터를 포함하는 제2 비디오 트랙을 포함하는 데이터 영역과, 상기 제1 비디오 트랙의 정보를 포함하는 제1 비디오 트랙 정보 영역과 상기 제2 비디오 트랙의 정보를 포함하는 제2 비디오 트랙 정보 영역을 포함하는 헤더 영역으로 구성되는 입체영상 파일을 생성하는 입체영상 파일 생성장치와, 상기 생성된 입체영상 파일이 입력되면 상기 제1 영상 데이터와 제2 영상 데이터를 동시에 디코딩하여 입체영상으로 재생하는 영상 재생장치를 포함하여 이루어진 것을 특징으로 한다.

ISO, 입체 영상 파일, 우측 영상, 좌측 영상

Description

미디어 표준 기반의 입체영상 파일 생성 장치 및 방법과 이를 구현하기 위한 시스템{Apparatus And Method for Generating File of Three Dimensional Images Based on Media Standards And System Thereof}

도 1은 본 발명의 실시 예에 따라 ISO 기반의 입체영상 파일을 생성하기 위한 입체영상 파일 생성장치의 내부 구성도,

도 2는 본 발명의 실시 예에 따라 ISO 기반으로 생성된 입체영상 파일을 재생하기 위한 영상재생 장치의 내부 구성도,

도 3은 도 1의 파일 생성부의 구체적인 내부 구성도,

도 4는 본 발명의 실시 예에 따라 생성된 ISO 기반의 입체영상 파일 포맷을 도시하는 예시도,

도 5는 본 발명의 실시 에에 따른 입체영상 파일에 포함되는 우측 비디오 트랙 정보의 포맷을 도시하는 예시도,

도 6은 본 발명의 실시 예에 따라 ISO 기반의 입체영상 파일을 생성하기 과정을 도시하는 흐름도,

도 7은 본 발명의 실시 예에 따라 생성된 입체영상 파일을 재생하기 위한 과정을 도시하는 흐름도,

도 8은 본 발명의 실시 예를 적용한 ISO 미디어 파일 포맷(Media File format)의 예시도.

본 발명은 입체영상 파일 생성 장치 및 방법과 이를 구현하기 위한 시스템에 관한 것으로, 특히 미디어 표준인 ISO(International Standards Organization) 기반의 미디어 파일 포맷과 호환 가능한 입체영상 파일 생성 장치 및 방법과 이를 구현하기 위한 시스템에 관한 것이다.

최근 들어 영상 기술이 2차원 영상에서 3차원 영상인 입체 영상 구현 방식에 대한 연구 쪽으로 활발히 진행되고 있다. 이러한 입체 영상은 2차원 영상에 비해 보다 사실적이고 현실감 있는 영상 정보를 표현할 수 있다. 인간 시각 특성을 활용하여 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 사용자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정받고 있다.

이러한 입체영상은 그 특성상 좌/우 영상으로 분리되어 인코딩되고, 모든 영상 정보가 입체영상 파일에 포함되고, 일반적인 미디어 파일은 하나의 영상 정보가 입체영상 파일에 포함된다. 한편, 일반적인 미디어 플레이어는 기존의 일반적인 좌 영상과 같은 하나의 영상만을 포함하는 파일을 재생하는 데는 문제가 없다. 그렇지만, 입체영상 파일에 포함된 좌/우 영상을 함께 플레이하기 위해서는 LCD(Liquid Crystal Display)가 입체영상을 지원해야 하고, 디코더 또한 입체영상을 디코딩할 수 있도록 설계되어 있어야 한다. 그리고 파일의 저장형태인 파일 포맷(file format) 또한 입체정보를 저장할 수 있도록 설계되어 있어야 한다. 현재 상기와 같은 입체영상을 생성하기 위한 방법으로 입체영상의 데이터 부분인 비디오 비트 스트림(video bit stream)의 사용자(user) 정보 저장 영역에 직접 좌우영상 중의 하나를 부가하는 제안되고 있다. 그러나, 이러한 방법으로 생성된 입체영상 파일은 미디어 플레이어에서 입체영상 디코딩 과정에서 좌/우 영상이 순차적으로 디코딩되기 때문에 동기를 쉽게 맞추는 장점은 있으나 미디어 파일 포맷 표준인 ISO 포맷 파일 형식에 맞지 않아 ISO 표준 방식을 사용하는 디코더에서 문제를 일으킬 소지가 많다. 이뿐만 아니라, 비디오 비트 스트림 내에서 다음 헤더(header)가 나타날 때까지 바이트(byte) 단위로 계속하여 부가 데이터를 탐색하면서 디코딩을 진행해야 하므로 디코더의 처리 속도가 현저하게 떨어질 가능성이 있다.

상술한 바와 같은 현재 입체영상 파일 생성방법으로 생성된 입체영상 파일을 재생하기 위해서는 좌/우 영상을 재생해야 하므로 입체영상, 즉 2개의 영상을 재생할 수 있는 디코더나 플레이어가 별도로 필요하게 된다.

이와 같이, 현재 방법으로 생성된 입체영상을 휴대용 단말기에서 재생하기 위해서는 별도의 디코더나 플레이어가 별도로 필요하기 때문에, 기존 휴대용 단말에서의 호환성을 유지하는데 어려움이 있다.

따라서, 본 발명은 ISO 기반이 미디어 파일 포맷을 사용하는 미디어 플레이어와 호환 가능한 입체영상 파일을 생성하기 위한 장치 및 방법과 이를 구현하기 위한 시스템을 제공한다.

또한 본 발명은 일반적인 미디어 플레이어에서 재생 가능한 입체영상 파일을 생성하기 위한 장치 및 방법과 이를 구현하기 위한 시스템을 제공한다.

상술한 바를 달성하기 위한 본 발명은 미디어 표준 기반의 입체영상 파일 생성 및 생성된 입체영상 파일을 재생하기 위한 시스템에 있어서, 제1 영상 데이터를 포함하는 제1 비디오 트랙과 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터를 포함하는 제2 비디오 트랙을 포함하는 데이터 영역과, 상기 제1 비디오 트랙의 정보를 포함하는 제1 비디오 트랙 정보 영역과 상기 제2 비디오 트랙의 정보를 포함하는 제2 비디오 트랙 정보 영역을 포함하는 헤더 영역으로 구성되는 입체영상 파일을 생성하는 입체영상 파일 생성장치와, 상기 생성된 입체영상 파일이 입력되면 상기 제1 영상 데이터와 제2 영상 데이터를 동시에 디코딩하여 입체영상으로 재생하는 영상 재생장치를 포함하는 것을 특징으로 한다.

또한 본 발명은 미디어 표준 기반의 입체영상 파일 생성 장치에 있어서, 제1 영상 데이터를 인코딩하고, 상기 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터의 인코딩 선택 여부에 따라 상기 제2 영상 데이터를 인코딩하는 인코딩부와, 상기 인코딩 된 제1 영상 데이터를 포함하는 제1 비디오 트랙과 상기 선택 여부에 따라 인코딩 된 제2 영상 데이터를 포함하는 제2 비디오 트랙을 포함하는 데이터 영역과, 상기 제1 비디오 트랙의 정보를 포함하는 제1 비디오 트랙 정보 영역과 상기 제2 비디오 트랙의 정보를 포함하는 제2 비디 오 트랙 정보 영역을 포함하는 헤더 영역으로 구성되는 입체영상 파일을 생성하는 파일 생성부를 포함하는 것을 특징으로 한다.

또한 본 발명은 미디어 표준 기반의 입체영상 파일 생성 방법에 있어서, 제1 영상 데이터와 상기 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터를 입력받는 과정과, 상기 제1 영상 데이터를 인코딩하고, 상기 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터의 인코딩 선택 여부에 따라 상기 제2 영상 데이터를 인코딩하는 과정과, 상기 인코딩 된 제1 영상 데이터를 포함하는 제1 비디오 트랙과 상기 선택 여부에 따라 인코딩 된 제2 영상 데이터를 포함하는 제2 비디오 트랙을 포함하는 데이터 영역과, 상기 제1 비디오 트랙의 정보를 포함하는 제1 비디오 트랙 정보 영역과 상기 제2 비디오 트랙의 정보를 포함하는 제2 비디오 트랙 정보 영역을 포함하는 헤더 영역으로 구성되는 입체영상 파일을 생성하는 과정을 포함하여 이루어진 것을 특징으로 한다.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명은 2개의 카메라를 통해 입력되는 좌측 영상과 우측 영상을 각각 분리 저장하고, 각 영상에 대한 헤더 생성 시 ISO 포맷으로 헤더를 생성하여 입체 영상파일에 포함시키는 방안을 제안한다. 또한 이때 본 발명에 따라 미디어 표준 파 일 포맷인 ISO 포맷에 따라 우측 영상을 포함시키기 위한 새로운 우측 비디오 트랙이 추가되고, 이에 따라 미디어 표준에 따른 우측 비디오 트랙 정보가 헤더에 포함시키는 방안을 제안한다.

먼저, 도 1을 참조하여 본 발명의 실시 예에 따라 ISO 기반의 입체영상 파일을 생성하기 위한 입체영상 파일 생성장치의 내부 구성 및 동작에 대하여 살펴보도록 한다. 본 발명의 실시 예에 따라 입체영상 파일을 생성하기 위한 장치는 좌측 카메라(100), 우측 카메라(102), 영상 신호 처리부(110), 저장부(120), 인코딩부(130), 파일 생성부(140)을 포함하여 구성될 수 있다.

먼저, 입체영상 촬영을 위해서는 좌측 카메라(100)와 우측 카메라(102)를 구비한다. 이와 같은 좌측 카메라(100)는 좌시점 영상을 촬영하여 촬영된 좌측 영상 신호를 출력한다. 또한, 우측 카메라(102)는 우시점 영상을 촬영하여 촬영된 우측 영상 신호를 출력한다.

좌측 카메라(100)와 우측 카메라(102)로부터 출력되는 영상 신호를 입력으로 하는 영상 신호 처리부(110)는 일반적인 영상 전처리 동작을 수행한 후 전 처리된 영상 데이터를 출력한다. 여기서의 전처리 동작이란 외부의 영상값 즉 빛과 칼라성분을 CCD또는 CMOS타입의 센서를 통하여 인식된 아날로그 값을 디지털 값인 RAW 이미지로 생성하는 동작이다.

저장부(120)는 영상 신호 처리부(110)에서 출력된 좌측 영상 데이터와 우측 영상 데이터를 저장한다.

인코딩부(130)는 저장부(120)에 저장된 좌측 영상 데이터를 인코딩한 후 출 력한다. 또한, 인코딩부(130)는 저장된 우측 영상 데이터를 사용자의 선택에 따라 압축할 수도 있고 원본(RAW) 데이터로 출력할 수도 있다. 또한, 인코딩부(130)는 저장된 우측 영상 데이터를 사용자의 선택에 따라 다른 형태의 데이터로 유지할 수도 있다.

파일 생성부(140)는 인코딩부(130)에서 인코딩된 영상 데이터인 비트 스트림 데이터를 미디어 표준 규격인 ISO 포맷에 맞게 파일 헤더를 생성한 후, 인코딩 된 비트 스트림 데이터와 생성된 파일 헤더를 하나의 파일로 만들기 위한 머징(Merging) 과정을 거쳐 최종적으로 입체영상 파일을 생성한다. 즉, 파일 생성부(140)는 좌우 영상을 분리하여 우측 영상에 대한 비트 스트림을 새로운 트랙에 포함시키고, 각각의 좌측 비디오 트랙 정보와 오디오 트랙 정보 및 우측 비디오 트랙 정보를 포함하는 헤더를 결합하여 입체영상 파일로 생성한다.

이와 같이 본 발명의 실시 예에 따른 파일 생성부(140)의 구체적인 내부 구성에 대하여 도 3을 참조하여 살펴보도록 한다. 또한, 도 4및 도 5를 참조하여 실제 생성되는 입체영상 파일의 예시도에 대하여 살펴보도록 한다.

일반적으로 ISO 포멧 파일은 다수의 트랙이 존재할 수 있다. 필수적으로 하나 이상의 트랙만 있으면 파일을 구성할 수 있는데, 일반적인 ISO 포맷 파일은 비디오 트랙과 오디오 트랙으로 구성된다. 본 발명에서는 우측 영상을 ISO 포맷 파일의 새로운 비디오 트랙을 추가한다. 추가된 우측 영상을 위한 새로운 트랙은 도 4를 참조하여 살펴보면, 400과 같이 도시할 수 있다. 또한, 우측 비디오 트랙에 대한 헤더 정보는 402와 같이 도시할 수 있다. 이와 같이 새로운 트랙이 추가될 때에 는 실제 파일의 헤더부분이 정의되어야 하는데 우측 비디오 트랙에 대한 헤더 정보는 하기의 도 3의 설명에서 구체적으로 살펴보도록 한다.

일반적으로 휴대용 단말의 미디어 표준 파일 포맷인 ISO 포맷 파일은 파일의 메타 데이터(META Data)정보를 나타내는 헤더 영역과 실제 비트 스트림 데이터가 포함되는 데이터 영역으로 구분될 수 있다. 따라서, 본 발명의 파일 생성부(140)에서 헤더를 생성할 시 미리 정해진 미디어 표준에 따라 각각의 헤더 데이터의 구분을 4바이트 아스키 값을 이용하여 구분하고, 구분된 아스키 값으로부터 일정한 옵셋(Offset) 만큼이 그 부분이 가지고 있는 데이터를 표현할 수 있다.

이와 같은 아스키 값은 크게 다음과 같이 구분할 수 있다.

1. 헤더와 데이터를 구분하는 구분자로 헤더 구분자인 "moov"와, 데이터 구분자인 "mdat"가 있다.

2. 헤더에는 좌측 비디오 트랙 정보와 오디오 트랙 정보 및 우측 비디오 트랙 정보와 같이 각각의 트랙에 대한 정보를 구분하기 위한 구분자인 "trak"이 있다.

3. 각각의 좌측 비디오 트랙 정보와 오디오 트랙 정보 및 우측 비디오 트랙 정보 내부의 데이터에는 개개의 샘플 정보를 구분하기 위한 구분자인 "stbl"이 있다. 예를 들어, 비디오 트랙 정보에서의 샘플이란 프레임 단위가 될 수 있다.

그러면 도 3을 참조하여 인코딩된 좌측 영상과 옵션에 따라 인코딩된 우측 영상을 분리하여 ISO 포맷 파일로 생성하는 파일 생성부(140)의 구체적인 내부 구성 및 동작에 대하여 살펴보도록 한다. 본 발명의 실시 예에 따른 파일 생성 부(140)는 스트림 데이터와 파일 헤더 결합부(302)와 우측 비디오 트랙 정보 생성부(304)를 구비하는 헤더 생성부(300)를 포함하여 구성될 수 있다.

헤더 생성부(300)는 입체영상 파일에 포함되는 헤더 영역을 나타내기 위한 헤더 구분자를 헤더 정보 앞에 삽입하고, 데이터 영역을 나타내기 위한 데이터 구분자를 데이터 앞에 삽입한다. 이때 포함되는 구분자들은 4바이트의 아스키 값으로 표현될 수 있다.

또한, 헤더 구분자는 도 4와 같이 "moov"로 정의될 수 있고, 데이터 구분자는 “mdat”로 정의될 수 있다. 또한, “moov” 뒤에는 각각의 좌측 비디오 트랙, 오디오 트랙, 우측 비디오 트랙에 대한 정보가 헤더 정보로 포함된다. 또한, “mdat” 뒤에는 각각의 좌측 비디오 트랙, 오디오 트랙, 우측 비디오 트랙이 존재하고, 좌측 비디오 트랙에는 좌측 영상의 비트 스트림이 포함되고, 오디오 트랙에는 오디오에 대한 비트 스트림이 포함되고, 우측 비디오 트랙에는 우측 영상의 비트 스트림이 포함된다.

한편, 헤더 생성부(300)는 헤더 영역에서 각각의 좌측 비디오 트랙 정보 영역과 오디오 트랙 정보영역과 우측 비디오 트랙 정보영역을 구분하기 위한 구분자로 “track”을 각각의 트랙 앞에 삽입한다.

또한, 헤더 생성부(300)는 좌측 비디오 트랙 정보영역에는 좌측 비디오 트랙에 포함되는 샘플들 각각의 상세정보를 포함시킨다. 이때, 좌측 비디오 트랙 정보 영역에 포함되는 샘플들의 상세정보로는 샘플이 몇 개의 프레임으로 구성되는 지와 같은 정보가 될 수 있다. 여기서 샘플들의 상세정보는 mp4 파일포맷 표준에 따르면 ‘stsd’가 실제 샘플에 대한 자세한 명세에 기재된 정보이다. 또한, 헤더 생성부(300)는 오디오 트랙 정보영역에는 오디오 트랙에 대한 정보를 포함시킨다.

또한, 헤더 생성부(300)는 본 발명의 실시 예에 따라 우측 비디오 트랙 정보영역에는 샘플 사이즈 정보와 각 샘플의 위치를 나타내기 위한 옵셋정보만을 포함시킨다. 이때, 헤더 생성부(300)는 샘플의 사이즈 정보 영역을 구분하기 위한 구분자로 "stsz"를 샘플 사이즈 정보 영역 전에 삽입하고, 각 샘플이 파일에서 위치하고 있는 지점을 나타내기 위한 구분자로 "stco"를 샘플 옵셋 정보 영역 전에 삽입한다.

상기한 바와 같이 본 발명에서는 인코딩 된 좌측 영상과 옵션에 따라 인코딩이 될 수도 있고 안될 수도 있는 우측 영상을 분리하여 미디어 표준인 ISO 포맷 형태의 입체영상 파일을 생성할 수 있도록 한다. 또한, 이와 같이 생성된 입체영상 파일은 ISO/IEC 14496-12의 파일포맷의 표준에 위배되지 않고 기존의 휴대용 단말과 완벽하게 호환성을 가질 수 있다.

그러면, 상기의 도 1과 같이 ISO 기반으로 생성된 입체영상 파일을 입력으로 하여 입체영상 파일을 재생하기 위한 영상 재생장치의 내부 구성에 대하여 도 2를 참조하여 살펴보도록 한다. 본 발명의 실시 예에 따라 생성된 입체영상 파일을 재생하기 위한 장치는 파일 파서부(200), 디코더부(210), 화면 인터페이스(200)를 포함하여 구성될 수 있다.

파일 파서부(200)는 입력된 입체영상 파일을 헤더 데이터와 비트 스트림 데이터로 구분한다.

디코더부(210)는 파일 파서부(200)에서 구분된 헤더 데이터에 포함된 헤더 정보를 참조하여 인코딩 된 비트 스트림 데이터를 디코딩 한다. 즉, 입체영상을 재생하기 위해 좌측 비디오 트랙이 재생될 때 추가된 우측 비디오 트랙에서는 우측 비디오 트랙 정보인 위치와 크기만을 이용하여 좌측 비디오 트랙에 저장된 비트 스트림 데이터와 동시에 디코딩 동작과 재생이 가능하도록 한다. 즉, 입체영상 재생 시 우측 비디오 트랙과 좌측 비디오 트랙의 동기화 문제나 우측 영상 재생 시점에 있어서는 좌측 비디오 트랙 정보의 데이터를 그대로 참조하여 디코딩 한다.

화면 인터페이스(220)는 LCD(Liquid Crystal Display)로 구성될 수 있고, 디코딩 된 비트 스트림 데이터를 표시한다.

즉, 도 4와 같이 생성된 입체영상 파일을 재생할 때, 기존의 미디어 플레이어는 새로 추가된 우측 비디오 트랙에 대한 해석이 없으므로 무시하고 기존의 비디오,오디오 트랙을 이용하여 재생할 것이다. 또한, 추가된 우측 영상 데이터에 대한 디코더가 탑재된 시스템일 경우에는 우측 영상 데이터를 입체영상 재생 시 함께 사용하여 입체영상을 제공할 수 있게 된다.

그러면 상기한 도 1과 같이 구성되는 입체영상 파일 생성장치에서 ISO 기반의 입체영상 파일을 생성하기 과정에 대하여 도 6을 참조하여 살펴보도록 한다.

600단계에서 좌측 카메라(100)와 우측 카메라(102)를 통해 좌측 영상과 우측 영상이 영상 신호 처리부(110)로 입력되면 영상 신호 처리부(110)는 각 영상에 대한 영상 전처리를 수행한다.

이후, 604단계로 진행하여 저장부(120)는 영상 신호 처리부(110)에서 처리된 영상을 저장한다.

606단계에서 인코딩부(130)는 좌측 영상과 우측 영상을 인코딩한다. 이때, 인코딩부(130)는 저장된 우측 영상 데이터를 사용자의 선택에 따라 압축할 수도 있고 원본(RAW) 데이터로 출력할 수도 있다. 또한, 인코딩부(130)는 저장된 우측 영상 데이터를 사용자의 선택에 따라 다른 형태의 데이터로 유지할 수도 있다.

608단계에서 파일 생성부(140)의 헤더 생성부(300)는 좌측 비디오 트랙 정보, 오디오 트랙 정보, 우측 비디오 트랙 정보를 포함하는 파일 헤더를 생성한다. 이때 생성되는 파일 헤더는 도 5와 같이 도시할 수 있고, 도 5에 대한 구체적인 설명은 상기의 도 1 및 도 3의 설명을 참조한다. 특히, 본 발명에서 우측 비디오 트랙 정보 영역에는 우측 비디오 트랙에 포함되는 각 샘플들의 사이즈 정보와 데이터 구분자로부터 각 샘플까지의 옵셋 정보가 포함된다.

610단계에서 파일 생성부(140)는 인코딩부(130)에서 인코딩된 영상 데이터인 비트 스트림 데이터와 608단계에서 생성된 파일 헤더를 하나의 파일로 만들기 위한 머징(Merging) 과정을 거쳐 최종적으로 입체영상 파일을 생성한다.

그러면, 도 2와 같은 입체영상 파일을 재생하기 위한 장치에서 상기의 도 6과 같은 방법으로 생성된 입체영상 파일을 재생하기 위한 과정에 대하여 도 7을 참조하여 살펴보도록 한다.

700단계에서 파일 파서(200)는 입체 영상 파일이 입력되면 702단계에서 입체 영상 재생이 가능한지를 검사하여 입체 영상 재생이 가능하면 706단계로 진행하여 헤더 영역과 데이터 영역을 구분한다.

708단계에서 디코더부(210)는 촤즉 영상 디코딩과 동시에 우측 영상을 디코딩할 시 각 우측 비디오 샘플에 대한 상세정보에 대응되는 좌측 비디오 샘플 정보를 이용하여 디코딩을 수행한다. 이와 같이 디코딩함으로써 우측 영상 데이터를 입체영상 재생 시 좌측 영상 데이터와 함께 사용하여 입체영상을 제공할 수 있게 된다.

본 발명의 실시 예에서는 좌측 영상 데이터가 영상 파일에 기본적으로 포함되는 것으로 설명하였지만, 시스템 운용에 따라 우측 영상 데이터가 영상 파일에 기본적으로 포함될 수도 있다.

도 8은 상기에서 기재한 본 발명의 실시 예를 적용한 ISO 미디어 파일 포맷(Media File format)의 예이다. 상기 전술한 실시 예에서는 입체영상파일 내에서는 헤더 영역 및 데이터 영역 내에서 각종 정보를 저장하기 위한 각 레코드를 지칭하기 위해 용어로 영역을 사용하였다. 예컨대, 비디오 트랙에 대한 정보를 저장하는 영역을 비디오 트랙 정보 영역으로 기재하고, 오디오 트랙에 대한 정보를 저장하는 영역을 오디오 트랙 정보 영역으로 기재하였다. 그러나, 도 8에서는 각 레코드를 박스(box)로 도면에 도시하였으므로 도면과 관련하여 설명하기 쉽게 하도록 박스라는 단어를 사용하여 설명하도록 하겠다. 그러므로, 전술한 실시 예에서 사용한 용어인 영역과 이하에서 사용되는 용어인 박스는 동일한 의미를 가짐은 당업자에게 자명한 일이다.

ISO 미디어 파일 포맷은 미디어 파일의 정보를 정의할 수 있는 규격으로, 이 규격에서 정한 필드 및 구조들을 이용하여 특정 어플리케이션에 맞게 파일 포맷을 정의할 수 있다. 상기한 도 4에서는 입체영상효과를 위한 부분만을 강조하여 파일포맷을 나타내었으나 도 8에서는 상기 입체영상을 위한 전체 파일 포맷을 정의한다.

이러한 도 8을 참조하면, 본 발명에서 전술한 바와 같이 810은 헤더 데이터를 가지는 헤더 박스(Moov)이고, 820은 실질적인 컨텐츠를 포함하는 데이터 박스(Mdat)이다.또한 830은 메타(Meta) 박스이고, 이러한 메타 박스는 내부의 xml박스를 구비하고, 상기 입체 영상 콘텐츠와 관련된 콘텐츠 보호 정보 메타 데이터와 라이센스 정보 메타 데이터가 내부의 xml박스에 기록된다. 또한 여기에서 MPEG(Motion Picture Experts Groups)-7, TV 애니타임 메타 데이터(Anytime meta data)와 같은 비동기 메타 데이터(untimed meta data)는 비디오 혹은 오디오 압축 콘텐츠를 서술할 수 있다. 또한 비동기 메타 데이터는 메타 박스 내 xml박스의 MPEG-21 DID 내에 포함될 수도 있고, 별도의 트랙으로 대응시켜 mdat박스 내에 포함될 수도 있다. 여기에서, 메타 박스 내에 MPEG-21 DID 박스의 각 트랙 박스를 지시하는 각 아이템 정보는 메타 박스 내의 아이인포(iinfo)와 아이록(iloc) 정보에 매핑될 수 있다.

메타 데이터로 MPEG-7, MPEG-21, TVAnytime 데이터가 가능함은 물론이다.

또한, 입체영상처리를 위한 메타 데이타로는 두개의 카메라간의 거리, 크로스-아이-뷰(cross-eye-view)인지 병령-아이-뷰(parallel-eye-view)인지의 여부와 카메라의 종류, 보는 거리와 사용/유효성 정도(use/validity depth)간의 비율, 몇 개의 엘리먼터리 스트림(elementary stream)을 사용했는지에 대한 여부(1 또는 2), 오른쪽과 왼쪽 영상을 섞는 방법에 대한 기술, 즉 시차 경계 포맷(Parallax Barrier format), 탑-다운 포멧(top-down format), 사이드-바이-사이드 포맷(side-by-side format), 필드 순차적인 포맷(field sequential format), 프레임 순차적인 포맷(frame sequential format)들 중 어느 것이 사용되었는지에 대한 정보, 정도 맵depth map) 등의 정보가 될 수 있다.

또한, 동기화 관련 텍스트 데이터는 오디오 혹은 비디오, 이미지 트랙과의 동기화를 위해 동기화 텍스트를 포맷으로 ISO/IEC 14496-17 파일 포맷을 따르는 동기화 파일 포맷을 수용할 수 있다. 트랙과의 동기화를 위해 동기화 텍스트의 포맷으로 ISO/IEC 14496-17 파일 포맷을 따르는 동기화 파일 포맷을 수용할 수 있다.

각 트랙이 지시하는 데이터가 암호화되어 보호된 있는 경우에는 어떤 암호화 툴로 암호화가 되었는지, 어떤 구간이 암호화가 되었는지, 암호화를 복호화하기 위한 키(key) 데이터의 위치 정보와 같은 암호화 정보에 대한 콘텐츠 보호 정보 메타 데이터와, 재생기간 제한, 재생 횟수 제한, 복사 제한, 콘텐츠 변형 제한, 양도 제한과 같은 방송 콘텐츠의 사용 권한에 관련된 라이센스 정보 메타 데이터가 메타 박스 내의 xml 박스에 IPMP(intellectual property management and protection)를 사용하여 기록된다. 여기에서 IPMP 관련 정보들은 IPMP_디스크립터(IPMP descriptor)등을 이용하여 헤더 박스(moov) 내에서 설정될 수도 있다. 또한 도 8에 도시하지는 않았지만, 헤더 박스(moov) 내에 IPMP 관리박스인 ipmc 박스를 사용하고 그 안에 IPMP_ 디스크립터(IPMP descriptor) 등을 넣어 표현할 수 있다. 또한, 이때 IPMP 데이터는 MPEG21 IPMP 또는 OAM DRM을 사용할 수 있다.

845 박스는 왼쪽 비디오 콘텐츠를 가지는 왼쪽 비디오 콘텐츠의 정보를 포함한 정보 박스이고, 850 박스는 오디오 콘텐츠의 정보를 포함한 정보 박스이고, 855 박스는 오른쪽 비디오 콘텐츠의 정보를 포함하는 정보 박스이다. 또한, 865 박스는 별도의 리소스를 한 화면에 표현하며 업데이트 및 동기화의 역할을 하는 MPEG4 LASeR(Lightweight Application Scene Representation) 박스이다. 입체영상을 단말에서 다운받아 사용자에게 보여줄 수도 있고 듀얼 카메라를 이용하여 직접 입체영상파일을 생성할 수도 있으므로 LASeR는 경우에 따라 UCC(User Created Contents)인 경우에는 사용되지 않을 수 있다. 이 경우, 파일 포맷에서 정의된 특정 박스들의 사용 여부는 ISO 미디어 파일 포맷에 메타 데이타로 정의될 수 있다.

한편 880 박스는 845 박스에 대응되는 왼쪽 비디오 컨텐츠를 포함하는 컨텐츠 박스로서, 즉, 비디오 컨텐츠 포맷으로 MPEG4 비쥬얼 확장 심플 프로파일(Visual Enhanced Simple Profile) 또는 MPEG4 AVC/H.264가 사용될 수 있다. 또한, 850 박스에 대응되는 mdat 내의 885 컨텐츠 박스에는 MPEG4 AAC 또는 AMR, AAC+로 부호화된 오디오 컨텐츠가 포함되고, 855 박스에 대응되는 890 컨텐츠 박스는 mdat안에 MPEG4 비쥬얼 확장 심플 프로파일(Visual Enhanced Simple Profile) 또는 MPEG4 AVC/H.264가 사용될 수 있으며 일반적으로 왼쪽과 오른쪽 비디오가 동일한 부호화를 사용할 것이다. 895 박스는 moov 박스 내의 870 박스에 대응되는 컨텐츠로, 특정 컨텐츠와 동기화되어야 하는 타임텍스트(TimedText)가 포함된다. 897 박스는 moov 박스의 875 박스에 대응되는 왼쪽 정지영상 컨텐츠로, JPEG 정지영상이 포함된다. 899 박스는 moov 박스의 877 박스에 대응되는 오른쪽 정지영상 컨텐 츠로, JPEG 정지영상이 포함된다.

또한, 도 8에서는 도시하지 않았으나 moov 박스 앞에 ftyp(File type and Compatibility) 박스를 위치시켜 입체영상 규격의 ‘브랜드’를 나타내도록 할 수 있다.

도 8에서는 본 발명에서 제안한 트랙 정보들인 stsz, stco 등은 편의상 도시하지 않았으나 도 8의 트랙(trak) 박스(845, 850, 855, 865, 970, 875, 877) 내부에 모두 포함한 것으로 가정함은 물론이다.

또한 ISO 미디어 파일 포맷(Media File Format)에 따라 Moov 박스 및 Mdat 박스, Meta박스 등의 위치 및 구성 등이 변형될 수 있음은 물론이다.

상술한 바와 같이 본 발명은 미디어 표준인 ISO 포맷 형태의 입체영상 파일을 생성할 수 있도록 하여 ISO/IEC 14496-12의 파일포맷의 표준에 위배되지 않고 기존의 휴대용 단말과 완벽하게 호환성을 가질 수 있는 이점이 있다.

Claims (11)

1. 미디어 표준 기반의 입체영상 파일 생성 및 생성된 입체영상 파일을 재생하기 위한 시스템에 있어서,

   제1 영상 데이터를 포함하는 제1 비디오 트랙과 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터를 포함하는 제2 비디오 트랙을 포함하는 데이터 영역과, 상기 제1 비디오 트랙의 정보를 포함하는 제1 비디오 트랙 정보 영역과 상기 제2 비디오 트랙의 정보를 포함하는 제2 비디오 트랙 정보 영역을 포함하는 헤더 영역으로 구성되는 입체영상 파일을 생성하는 입체영상 파일 생성장치와,

   상기 생성된 입체영상 파일이 입력되면 상기 제1 영상 데이터와 제2 영상 데이터를 동시에 디코딩하여 입체영상으로 재생하는 영상 재생장치를 포함하는 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 시스템.
2. 제1 항에 있어서, 상기 제2 비디오 트랙의 정보는

   상기 제2 비디오 트랙에 포함되는 상기 제2 영상 데이터를 구성하는 샘플의 사이즈 정보와 각 샘플들이 미리 정해진 기준점으로부터의 거리를 나타내는 옵셋 정보를 포함하는 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 시스템.
3. 제 2항에 있어서,

   상기 미리 정해진 기준점은 상기 데이터 영역이 시작되는 점인 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 시스템.
4. 제 2항에 있어서, 상기 영상 재생장치는,

   상기 제2 영상 데이터 디코딩 시 상기 제2 비디오 트랙의 정보와 상기 제1 비디오 트랙의 정보를 이용하여 디코딩하는 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 시스템.
5. 미디어 표준 기반의 입체영상 파일 생성 장치에 있어서,

   제1 영상 데이터를 인코딩하고, 상기 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터의 인코딩 선택 여부에 따라 상기 제2 영상 데이터를 인코딩하는 인코딩부와,

   상기 인코딩 된 제1 영상 데이터를 포함하는 제1 비디오 트랙과 상기 선택 여부에 따라 인코딩 된 제2 영상 데이터를 포함하는 제2 비디오 트랙을 포함하는 데이터 영역과, 상기 제1 비디오 트랙의 정보를 포함하는 제1 비디오 트랙 정보 영역과 상기 제2 비디오 트랙의 정보를 포함하는 제2 비디오 트랙 정보 영역을 포함하는 헤더 영역으로 구성되는 입체영상 파일을 생성하는 파일 생성부를 포함하는 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 장치.
6. 제5 항에 있어서, 상기 제2 비디오 트랙의 정보는

   상기 제2 비디오 트랙에 포함되는 상기 제2 영상 데이터를 구성하는 샘플의 사이즈 정보와 각 샘플들이 미리 정해진 기준점으로부터의 거리를 나타내는 옵셋 정보를 포함하는 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 장치.
7. 제6 항에 있어서,

   상기 미리 정해진 기준점은 상기 데이터 영역이 시작되는 점인 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 장치.
8. 미디어 표준 기반의 입체영상 파일 생성 방법에 있어서,

   제1 영상 데이터와 상기 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터를 입력받는 과정과,

   상기 제1 영상 데이터를 인코딩하고, 상기 제1 영상 데이터와 동기화 되어 입체영상을 생성하는데 이용되는 제2 영상 데이터의 인코딩 선택 여부에 따라 상기 제2 영상 데이터를 인코딩하는 과정과,

   상기 인코딩 된 제1 영상 데이터를 포함하는 제1 비디오 트랙과 상기 선택 여부에 따라 인코딩 된 제2 영상 데이터를 포함하는 제2 비디오 트랙을 포함하는 데이터 영역과, 상기 제1 비디오 트랙의 정보를 포함하는 제1 비디오 트랙 정보 영역과 상기 제2 비디오 트랙의 정보를 포함하는 제2 비디오 트랙 정보 영역을 포 함하는 헤더 영역으로 구성되는 입체영상 파일을 생성하는 과정을 포함하여 이루어진 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 방법.
9. 제8 항에 있어서, 상기 제2 비디오 트랙의 정보는

   상기 제2 비디오 트랙에 포함되는 상기 제2 영상 데이터를 구성하는 샘플의 사이즈 정보와 각 샘플들이 미리 정해진 기준점으로부터의 거리를 나타내는 옵셋 정보를 포함하는 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 방법.
10. 제9 항에 있어서,

    상기 미리 정해진 기준점은 상기 데이터 영역이 시작되는 점인 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 방법.
11. 미디어 표준 기반의 입체 영상 파일 생성 장치에 있어서,

    오른쪽 비디오 콘텐츠의 정보가 기록된 제1 정보 박스, 오디오 콘텐츠 정보가 기록된 제2 정보 박스 및 왼쪽 비디오 콘텐츠 정보가 기록된 제3 정보 박스를 포함하는 헤더 영역과,

    상기 제1 정보 박스 내지 제3 정보 박스에 각각 대응하고 오른쪽 비디오 콘텐츠, 오디오 콘텐츠 및 왼쪽 비디오 콘텐츠 각각을 포함하는 제1 콘텐츠 박스, 제2 콘텐츠 박스 및 제3 콘텐츠 박스를 포함하는 데이터 영역과,

    상기 콘텐츠들과 관련된 암호화 정보가 기록된 메타 영역을 포함하는 입체 영상 파일을 생성하는 파일 생성부를 포함하는 것을 특징으로 하는 미디어 표준 기반의 입체영상 파일 생성 장치.

Images