KR100657940B1

KR100657940B1 - 깊이 영상 기반 표현 데이터 압축에 관한 메타표현을이용한 입력파일 생성 방법 및 시스템과, ａｆｘ부호화방법 및 장치

Info

Publication number: KR100657940B1
Application number: KR1020040114436A
Authority: KR
Inventors: 장경자; 한만진; 김도균
Original assignee: 삼성전자주식회사
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2006-12-14
Also published as: KR20060075624A; WO2006071074A1; EP1686809A1; US20060139346A1

Abstract

본 발명은 DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 방법 및 시스템과, AFX 부호화 방법 및 장치에 관한 것으로서, 그 입력파일 생성방법은 DIBR 데이터에 관한 정보와 압축매개인자를 포함하고 있는 압축노드, BitWrapperEncodingHints 및 AFXConfig를 정의하는 XMT 스키마를 구비하는 단계; XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 구비하는 단계; XMT 입력파일을 XMT 스키마와 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용해서 파싱하여 scene 파일 및 mux 파일을 생성하는 단계; scene 파일이, 압축되지 않은 DIBR 객체 데이터를 포함하고 있는지 판단하는 단계; 및 DIBR 객체 데이터가 압축되어 있지 않은 상태이면, scene 파일의 DIBR 압축매개인자를 사용하여 DIBR 객체 데이터를 압축하여, 비트스트림과 수정된 scene파일 및 수정된 mux파일을 생성하는 단계를 포함함을 특징으로 한다.

본 발명에 의하면, 저작자가 메타 표현 방법을 사용해서 3D 컨텐츠 저작단계에서 DIBR 데이터의 표현 및 압축을 쉽게 조절할 수 있고, MPEG-4 부호화기에 알맞은 입력파일을 생성할 수 있다. 따라서 낮은 네트워크 대역폭에서도 DIBR 데이터의 실시간 시각화 또는 실시간 애니메이션이 가능하다.

Description

깊이 영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 방법 및 시스템과, ＡＦＸ부호화 방법 및 장치{Input file generating method and system using meta representation on compression of depth image based representatin(DIBR) data, AFX coding method and apparatus}

도 1은 텍스트 구문(textual syntax)을 사용해서 MPEG-4 노드를 사용해 컨텐츠를 만들 수 있게 하는 저작 프레임워크이다.

도 2는 MPEG-4 AFX에서 제안한 압축 표현을 XMT로 정의하여 깊이영상기반 표현(DIBR) 데이터를 압축할 수 있게 하는 DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템의 구성을 블록도로 도시한 것이다.

도 3은 압축판단부의 보다 자세한 구성을 블록도로 도시한 것이다.

도 4는 AFX부호화기의 보다 세부적인 구성을 블록도로 도시한 것이다.

도 5는 본 발명에 의한 DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법을 흐름도로 도시한 것이다.

도 6은 이미 압축된 비트스트림을 버퍼로 전송하는 경우를 설명하는 도면이다.

도 7은 BitWrapper 노드 안에서 이미 압축된 물체 A에 대한 DIBR 데이터의 비트스트림을 URL을 사용해 전송하는 방법을 나타낸다.

도 8은 물체 A에 대한 DIBR 데이터를 매개인자를 사용해 압축하여 물체 A의 압축된 비트스트림을 버퍼를 사용해서 전송하는 방법을 나타낸다.

도 9는 BitWrapper 노드 안에서 물체 A에 대한 DIBR 데이터를 DIBR 압축매개인자를 사용해 압축하여 물체 A의 압축된 비트스트림을 URL을 사용해 전송하는 방법을 나타낸다.

본 발명은 그래픽 데이터 저작에 관한 것으로서, 특히 깊이 영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 방법 및 시스템과, AFX(Animation Framework eXtension)부호화 방법 및 장치에 관한 것이다.

종래의 확장가능한 MPEG-4 텍스트 포맷(Extensible MPEG-4 Textual Format :이하 XMT라 한다)기술은 MPEG-4 프리미티브(2D 3D 그래픽, 오디오, 비디오 등)에 대해 저작자 입장에서 쉽고 편리하게 다룰 수 있는 표현 방법에 대한 것이었다. 또한 저작자가 만든 데이터가 여러 애플리케이션에서 재사용될 수 있고, 데이터의 호환성과 이식성이 있도록 컨텐츠(contents) 저작에 대한 프레임워크(framework)를 만들었다. 이것은 기존 XMT 기술이 MPEG-4 프리미티브(primitive)에 대한 XML 구문(syntax)을 정의하였기에 가능했다.

그러나 종래의 XMT는 3차원 그래픽 데이터 특히 깊이영상 기반 표현(Depth Image Based Representation : 이하 DIBR 이라 한다) 데이터의 압축표현에 대해서는 다루고 있지 않다. 그래서 저작자가 만든 3차원(3D) 컨텐츠에 대한 깊이 영상 기반 표현 및 표현 데이터에 대한 압축이 필요할 경우 압축할 수가 없었다. 즉, DIBR 데이터가 포함된 XMT 파일을 XMT 파서에서 파싱할 수도 없어서 BIFS(BInary Format for MPEG-4 Scenes) 부호화기와 MP4 부호화기에 맞는 입력파일을 만들어 줄 수 없었다. 따라서 BIFS 부호화기와 MP4 부호화기의 출력파일(mp4)을 만들 수 없었다.

본 발명이 이루고자 하는 기술적 과제는, 저작단계에서 DIBR 데이터의 압축을 쉽게 다룰 수 있도록 하기 위해, MPEG-4 AFX에서 제안한 압축 표현을 XMT로 정의하여 DIBR 데이터를 압축할 수 있게 하는, DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 방법 및 시스템을 제공하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 압축되지 않은 DIBR 객체 데이터(original data)를 포함하는 XMT 파일로부터 생성된 scene파일과 mux파일을 압축하여 BIFS부호화기와 MP4부호화기의 입력파일을 생성하는 AFX 부호화장치 및 방법을 제공하는 것이다.

상기 기술적 과제를 이루기 위한 본 발명에 의한, 깊이영상 기반 표현(DIBR) 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법은, (a) 압축하고자 하는 깊이영상기반 표현(Depth Image Based Representation, 이하 DIBR 이라 한다) 데이터에 관한 정보와 상기 DIBR 데이터의 압축에 필요한 DIBR 압축매개인자(encoding parameter)를 포함하고 있는 압축노드, 상기 DIBR 압축 비트스트림 포맷을 포함하 는 BitWrapperEncodingHints 및 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 포함하는 AFXConfig를 정의하고 있는 XMT 스키마를 구비하는 단계; (b) DIBR 데이터를 포함하는 XMT 입력파일을 상기 XMT 스키마를 참조하여 scene 파일로의 변환을 지원하는 XMT2BIFS 스타일 쉬트와, 상기 XMT 입력파일을 상기 XMT 스키마를 참조하여 mux 파일로의 변환을 지원하는 XMT2MUX 스타일 쉬트를 구비하는 단계; (c) 상기 XMT 입력파일을 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용해서 파싱하여 scene 파일 및 mux 파일을 생성하는 단계; (d) 상기 파싱결과 생성된 scene 파일이, 압축되지 않은 DIBR 객체 데이터를 포함하고 있는지 판단하는 단계; 및 (e) 상기 판단결과 DIBR 객체 데이터가 압축되어 있지 않은 상태이면, 상기 scene 파일에 포함되어 있는 상기 DIBR 압축매개인자를 사용하여 DIBR 객체 데이터를 압축하여, 압축된 비트스트림과 수정된 scene파일 및 수정된 mux파일을 생성하는 단계를 포함함을 특징으로 한다.

상기 압축노드는 압축할 DIBR 객체 데이터를 포함하고 있는 노드필드; url 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 인-밴드로서 전송하는 buffer필드; 상기 buffer 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 아웃-밴드로서 전송하는 url 필드; 및 노드 필드가 포함하는 객체 데이터의 압축 방법을 선택하는 type 필드를 포함하여 이루어짐이 바람직하다.

상기 인-밴드로서의 전송은 상기 압축노드를 포함하는 XMT 입력파일이 scene 파일로 변환된 후, BIFS 부호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상 기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일에 포함되어 전송되며, 상기 아웃-밴드로서의 전송은 상기 압축노드를 포함하는 XMT 입력파일이 scene 파일로 변환된 후, BIFS 부호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일과 분리되어 개별적으로 전송되는 것이 바람직하다.

상기 DIBR 압축매개인자는 압축 대상이 되는 객체의 포인트 텍스쳐에 관한 매개인자를 포함함이 바람직하다. 상기 BitWrapperEncodingHints는 상기 압축노드내의 url 필드가 기술하는 URL ID와 동일한 binary ID를 갖는 객체 기술자 내에 있으며 압축된 비트스트림의 파일이름과 그 비트스트림의 압축포맷 종류에 관한 정보를 더 구비함이 바람직하다.

상기 AFXConfig는 상기 압축노드가 AFX 부호화기를 사용해 노드 필드에 포함된 DIBR 객체 데이터의 압축 비트스트림을 만들어 url로 전송하고 상기 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 더 구비함이 바람직하다.

상기 (c)단계는 초기객체기술자(InitialObjectDescriptor)를 구비하는 헤더, 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)로 이루어지는 XMT입력파일을 받아들이는 단계; 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고, 상기 헤더의 초기객체기술자는 BIFS부 호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 DIBR 객체데이터의 노드 이름을 포함하는 노드필드; 및 이미 압축된 DIBR 객체데이터에 대한 파일이름을 저장하고 있는 버퍼필드를 구비하고, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 scene 파일은 상기 몸체의 압축노드와 동일한 적어도 하나의 압축노드를 구비하고, 상기 mux 파일은 상기 헤더의 초기객체기술자와 동일하며, BIFS부호화기가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비하는 초기객체기술자를 포함한다.

또한 상기 (c)단계는 초기객체기술자(InitialObjectDescriptor)를 포함하는 헤더(Header)와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받아들이는 단계; 및 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고, 상기 헤더의 초기객체기술자는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource, 및 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 이미 압축된 DIBR 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내의) 객체기술자의 binaryID와 동일한 URL ID를 구비하고, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 몸체의 객체기술자갱신내에 포함된 객체기술자는 상기 몸체의 압축노드에 있는 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자; 및 XMT 입력파일의 몸체에 있는 객체기술자갱신의 객체기술자와 동일한 객체기술자를 포함하며, 상기 scene 파일은 상기 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드; 및 XMT 입력파일의 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 objectDescriptorID를 가지며, 상기 mux 파일 이름을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가진다.

또한 상기 (c) 단계는 초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드를 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받아들이는 단계; 및 상기 XMT 스키마와 상기 XMT2BITS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고, 상기 헤더의 초기객체기술자는 BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 압축될 노드의 이름을 저장하며, 압축될 DIBR 객체데이터를 포함하는 노드필드; 상기 DIBR 객체 데이터 압축에 사용되는 DIBR 압축매개인자; 및 DIBR 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함하고, 상기 mux 파일은 상기 헤더와 동일하며, BIFS 부호화기가 출력으로 생성하는 파일의 스트림포맷 정보를 포함하는 초기객체기술자를 구비한다.

또한 상기 (c) 단계는 초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받아들이는 단계; 및 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고, 상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 압축 할 노드의 이름을 저장하고 있으며, 압축할 DIBR 객체데이터를 포함하고 있는 노드필드; 상기 DIBR 객체 데이터의 압축에 사용되는 DIBR압축매개인자; 및 상기 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내에 있는) 객체기술자의 binaryID와 같은 URL ID가 저장된 url 필드를 포함하고, 상기 몸체의 객체기술자갱신에 포함된 객체기술자는 상기 몸체의 압축 노드의 URL identification과 동일한 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자; 및 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가진다. 상기 scene 파일은 상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가진다.

또한 상기 (c) 단계는 초기객체기술자를 포함하는 헤더(Header), 및 버퍼필드를 구비하는 적어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받아들이는 단계; 및 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고, 상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체에서 버퍼필드를 구비하는 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 할 객체 데이터, 상기 객체 데이터 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고, 상기 몸체의 url필드를 구비하는 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드 내에 있는 압축 할 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내의 객체기술자의 binaryID와 같은 URL ID가 저장된 필드를 구비하고, 상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지고, 상기 scene 파일은 상기 XMT 입력파일의 몸체(body)와 동일한 압축노드 및; 상기 몸체(body)와 동일한 적어도 하나의 압축노드 및; 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는,객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가진다.

상기 (d)단계는 상기 파싱 결과 생성된 scene 파일에서 적어도 하나의 압축(BitWrapper)노드를 찾아내는 단계; 및 상기 검색된 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 압축되지 않은 데이터를 포함하고 있다고 판단하는 단계를 구비함이 바람직하다.

상기 (e)단계는 (e1) 상기 판단결과 DIBR 객체 데이터가 압축되지 않은 데이터라고 판단되면, scene파일의 각 압축노드에 대해 상기 압축노드 내에 있는 DIBR 객체 데이터를 상기 압축노드 내에 포함된 DIBR 압축매개인자와 이를 이용하여 상기 DIBR 객체 데이터를 압축할 수 있는 부호화기를 선택하여 상기 DIBR 객체 데이터를 압축하여 비트스트림을 생성하는 단계; 및 (e2) 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS 부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 단계를 포함하여 이루어짐이 바람직하다.

상기 (e1)단계는 (e11) 상기 판단결과 DIBR 객체 데이터가 압축되지 않았다고 판단되면, scene 파일의 압축노드 내에 있는 DIBR 객체 데이터와 DIBR 압축매개인자를 저장하는 단계; (e12) 상기 저장된 DIBR 객체 데이터를 포함하고 있는 압축노드의 노드필드 내에 DIBR 객체와 상응하는 소정의 부호화기에 상기 DIBR 객체 데이터와 DIBR 압축매개인자를 넘겨주는 단계; 및 (e13) 상기 부호화기를 통해 상기 넘겨받은 DIBR 압축매개인자를 사용하여 DIBR 객체 데이터를 압축하여 비트스트림으로 생성하는 단계를 포함하여 이루어짐이 바람직하다.

상기 (e1)단계의 소정의 부호화기는 상기 저장된 DIBR 객체데이터 및 DIBR 압축매개인자에 상응하며, DIBR압축매개인자를 사용하여 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및 상기 저장된 DIBR 객체데이터 및 DIBR 압축매개인자에 상응하며, 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함이 바람직하다.

상기 기술적 과제를 이루기 위한 본 발명에 의한, 깊이영상 기반 표현(DIBR) 데이터 압축에 관한 메타표현을 이용한 입력파일 생성장치는, 압축할 DIBR 객체 데이터에 관한 정보와 압축에 필요한 DIBR 압축매개인자를 포함하고 있는 압축노드, 압축 비트스트림 포맷을 포함하는 BitWrapperEncodingHints 및 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 포함하는 AFXConfig를 정의하고 있는 XMT 스키마; DIBR 데이터를 포함하는 XMT 입력파일을 상기 XMT 스키마를 참조하여 scene 파일로의 변환을 지원하는 XMT2BIFS 스타일 쉬트; 상기 XMT 입력파일을 상기 XMT 스키마를 참조하여 mux 파일로의 변환을 지원하는 XMT2MUX 스타일 쉬트; 상기 XMT 입력화일을 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용해서 파싱하여 scene 파일 및 mux 파일을 생성하는 XMT파서; 상기 XMT 파서의 파싱결과 생성된 scene 파일이 압축되지 않은 DIBR 객체 데이터를 포함하고 있는지 판단하는 압축판단부; 및 상기 압축판단부의 판단결과 DIBR 객체 데이터가 압축되지 않다고 판단되면, 상기 scene 파일에 포함되어 있는 DIBR 압축매개인자(encoding parameter)를 사용하여 DIBR 객체 데이터를 압축하여 압축된 비트스트림과 XMT2BIFS와 XMT2MUS 스타일 쉬트를 이용해 수정된 scene파일 및 수정된 mux파일을 생성하는 AFX부호화기를 포함함을 특징으로 한다.

상기 압축노드는 압축할 DIBR 객체 데이터를 포함하고 있는 노드필드;

url 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 인-밴드로서 전송하는 buffer필드; 및 상기 buffer 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 아웃-밴드로서 전송하는 url 필드; 및 노드 필드가 포함하는 객체 데이터의 압축 방법을 선택하는 type 필드를 포함하여 이루어짐이 바람직하다.

상기 인-밴드로서의 전송은 상기 압축 노드를 포함하는 XMT 입력파일이 scene 파일로 변환된후, BIFS 부호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일에 포함되어 전송되며, 상기 아웃-밴드로서의 전송은 상기 압축 노드를 포함하는 XMT 입력파일이 scene 파일로 변환된후, BIFS 부호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일과 분리되어 개별적으로 전송되는 것이 바람직하다.

상기 DIBR 압축매개인자는 압축 대상이 되는 객체의 포인트 텍스쳐에 관한 매개인자를 포함함이 바람직하다. 상기 BitWrapperEncodingHints는 상기 압축노드내의 url 필드가 기술하는 URL ID와 동일한 binary ID를 갖는 객체 기술자 내에 있으며 압축된 비트스트림의 파일이름과 그 비트스트림의 압축 포맷 종류에 관한 정보를 더 구비함이 바람직하다.

상기 AFXConfig는 압축노드가 AFX 부호화기를 사용해 노드필드에 포함된 DIBR 객체 데이터의 압축 비트스트림을 만들어 url로 전송하고, 이 전송된 비트스 트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 더 구비함이 바람직하다.

상기 XMT파서의 XMT 입력파일은 초기객체기술자를 구비하는 헤더, 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)로 이루어지고, 상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 이미 압축된 노드의 이름을 저장하고 있는 노드필드; 및 이미 압축된 객체데이터 파일의 이름을 저장하고 있는 버퍼필드를 구비하고, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드를 구비하고, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 초기객체기술자 내에 있는, BIFS 부호화기가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비한다.

상기 XMT파서의 XMT입력파일은 초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지고, 상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 이미 압축된 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 가지는 객체기술자갱신 내의 객체기술자의 binaryID와 같은 URL ID를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 몸체의 객체기술자갱신내에 포함된 객체기술자는 몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 몸체의 객체기술자갱신 내에 있는 객체기술자와 동일한 객체기술자를 가지며, 상기 scene 파일은 상기 몸체(body)와 동일한 적어도 하나의 압축노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기 술자갱신(ObjectDescriptorUpdate)을 가짐이 바람직하다.

상기 XMT파서의 XMT입력파일은 초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 구비하는 몸체(body)로 이루어지고, 상기 헤더의 초기객체기술자는 BIFS부호화기가 출력으로 생성하는 파일이름을 가지고 있는 StreamSource 를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 압축될 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축될 객체 데이터, 상기 객체 데이터 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함하고, 상기 mux 파일은 상기 헤더와 동일하며, BIFS 부호화기가 출력으로 생성하는 파일의 스트림포맷 정보를 구비하는 초기객체기술자를 포함함이 바람직하다.

상기 XMT파서의 XMT입력파일은 초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지고, 상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource와, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체의 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 할 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내에 있는 객체기술자의 binaryID와 같은 URL ID가 저장된 필드를 포함한다.

상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비한다.

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함한다.

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기 술자갱신의 객체기술자와 동일한 객체기술자를 가지며,

상기 scene 파일은 상기 몸체(body)와 동일한, 적어도 하나의 압축노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가짐이 바람직하다.

상기 XMT파서의 XMT입력파일은 초기객체기술자를 포함하는 헤더(Header), 및 버퍼필드를 구비하는 적어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지고, 상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고, 상기 몸체에서 버퍼필드를 구비하는 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 할 객체 데이터, 상기 객체 데이터 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고, 상기 몸체의 url필드를 구비하는 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 할 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내에 있는 객체기술자의 binaryID와 같은 URL ID가 저장된 필드를 포함하고, 상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며, 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지며, 상기 scene 파일은 상기 몸체(body)와 동일한 압축노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신을 가짐이 바람직하다.

상기 압축판단부는 상기 파싱 결과 생성된 scene 파일에서 적어도 하나의 압축(BitWrapper)노드를 찾아내는 압축노드검색부; 및 상기 검색된 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 압축되지 않은 데이터를 포함하고 있다고 판단하는 압축데이터판단부를 구비함이 바람직하다.

상기 AFX 부호화기는 압축(BitWrapper)노드를 포함하는 scene 파일로부터 적어도 하나의 압축노드를 찾아내어 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일의 압축노드 내에 있는, DIBR 객체 데이터와 상기 압축 노드내에 포함된 DIBR 압축매개인자를 저장시키는 AFX파서; 상기 AFX파서에 의해 DIBR 객체 데이터를 저장하는 객체 데이터 저장부; 상기 AFX파서에 의해 DIBR 압축매개인자를 저장하는 압축매개인자 저장부; 상기 압축노드의 노드필드 내에 DIBR 객체 데이터와 상응하며, 상기 DIBR 압축매개인자 저장부의 DIBR 압축매개인자를 사용하여 상기 객체데이터 저장부의 DIBR 객체데이터를 압축하여 비트스트림으로 생성하는 부호화기; 및 상기 AFX파서에서 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 입력파일생성기를 포함함이 바람직하다.

상기 부호화기는 상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 압축 대상이 DIBR 압축 매개인자들을 사용하여 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및 상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함이 바람직하다.

상기 다른 기술적 과제를 이루기 위한 본 발명에 의한, AFX 부호화장치는 압축노드(BitWrapper)를 포함하는 scene 파일로부터 적어도 하나의 압축노드를 찾아 내어 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일의 압축노드 내에 있는, DIBR 객체 데이터를 포함하고 있는 노드 및 압축매개인자를 저장시키는 AFX파서; 상기 AFX파서에 의해 DIBR 객체 데이터를 저장하는 객체 데이터 저장부; 상기 AFX파서에 의해 DIBR 압축매개인자를 저장하는 압축매개인자 저장부; 상기 저장된 DIBR 객체 데이터에 상응하는, 상기 압축매개인자저장부의 DIBR 압축매개인자를 사용하여 상기 객체 데이터저장부의 DIBR 데이터를 압축하여 비트스트림으로 생성하는 부호화기; 및 상기 AFX파서에서 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS 부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 입력파일생성기를 포함함을 특징으로 한다.

상기 부호화기는 상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 압축 대상이 되는 객체의 포인트 텍스쳐 데이터에 관한 DIBR 압축매개인자들을 사용하여 상기 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및 상기 저장된 객체 데이터 및 압축매개인자에 상응하며, 압축대상이 되는 객체의 DIBR 압축매개인자들을 사용하여 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함이 바람직하다.

상기 다른 기술적 과제를 이루기 위한 본 발명에 의한, AFX 부호화 방법은, (가) 압축(BitWrapper)노드를 포함하는 scene 파일로부터 적어도 하나의 압축노드를 찾아내는 단계; (나) 상기 찾아낸 압축노드 내에 있는, DIBR 객체 데이터를 포 함하고 있는 노드 및 DIBR 압축매개인자를 저장하는 단계; (다) 상기 저장된 DIBR 객체 데이터를 포함하고 있는 노드에 상응하는 부호화기를 통해, 상기 부호화기에 상응하는 저장된 DIBR 압축매개인자를 사용하여 상기 DIBR 객체 데이터를 압축하여 비트스트림으로 생성하는 단계; 및 (라) 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS 부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 단계를 포함함을 특징으로 한다.

상기 (다)단계의 부호화기는 상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 압축 대상이 되는 객체의 DIBR 데이터에 관한 매개인자들을 사용하여 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및 상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함이 바람직하다.

그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 깊이영상기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템에 대해 상세히 설명한다.

저작자가 3차원 데이터의 압축을 쉽게 다룰 수 있게 하기 위해서는 저작자가 3차원 컨텐츠를 저작하는 단계에서부터 3차원 데이터를 표현, 조작 및 압축하는데 필요한 여러 인자들을 쉽게 조절할 수 있는 방법이 필요하다. 이것은 XMT를 통해서 가능하다. 상기 XMT는 오디오, 비디오, 2차원 그래픽 및 3차원 그래픽과 같은 MPEG-4 컨텐츠 저작에 대한 프레임워크(framework)이다. 또한 상기 XMT는 텍스트 구문(textual syntax)을 사용해서 MPEG-4 노드를 사용해 컨텐츠를 만들 수 있게 하는 저작 프레임워크이다. 상기 프레임워크는 도 1에 잘 나타나 있다. XMT는 컨텐츠 저작자에게 저작자가 만든 컨텐츠(contents)를 다른 저작자, 다른 툴(tool) 및 다른 서비스 공급자(provider)가 재사용 할 수 있게 해 준다. 그리고 X3D(Extensible 3D)와 SMIL(Synchronized Multimedia Integration Language)와도 상호 운용할 수 있다.

도 1에서와 같이 XMT 포맷은 SMIL 플레이어, VRML 플레이어, MPEG-4 플레이어에서 상호교환이 가능하고 플레이된다. 이를 보다 자세히 설명하면 XMT 포맷은 파싱(parsing)되어 SMIL 플레이어에서 플레이된다. 또한 XMT 포맷은 X3D에 대해 전처리를 수행한 다음 VRML 플레이어에서 플레이된다. 또한 MPEG-4 표현(mp4)에 대해 컴파일한 후 MPEG-4 플레이어에서 플레이된다.

XMT는 2단계 구조 즉, XMT-A 포맷과 XMT- OMEGA 포맷으로 구성된다. 상기 XMT-A는 MPEG-4 컨텐츠(오디오, 비디오, 2D 3D 그래픽 데이터 표현 및 압축 등)의 XML 기반 버전(version)이고 확장된 3D 그래픽(X3D)을 포함한다. 또한 상기 XMT-A에 포함된 것은 MPEG-4 특징을 나타내기 위해 X3D로 MPEG-4를 확장한 것이다. XMT-A는 텍스트포맷(textual format)과 이진포맷(binary format)을 1:1 매핑한다.

XMT- OMEGA는 MPEG-4 특징에 대한 상위 레벨 표현이고 SMIL을 기반으로 한다. XMT는 컨텐츠 저작자가 OMEGA 에서 A로의 메커니즘에 대해 몰라도 OMEGA 에서 A로 디폴트(default) 매핑 가능하다. XMT- OMEGA는 사용자에게 저작하기 쉽고 편 리한 인터페이스 표현기능을 제공한다. 실제 MPEG-4 데이터에 대한 표현, 처리 및 압축에 대한 것은 XMT-A에서 이루어진다.

따라서 저작자가 3차원 그래픽 데이터를 압축하려면 저작자가 3D 컨텐츠를 저작하는 단계에서부터 3차원 그래픽 데이터를 표현, 조작 및 압축하는데 필요한 여러 인자들을 쉽게 조절하도록 압축에 관련된 기술을 XMT-A로 정의하고 이를 사용해서 데이터를 압축할 수 있게 하는 것이다.

즉 저작자가 만든 3D 컨텐츠에 대한 애니메이션 데이터 및 표현 데이터에 대한 압축기능은 MPEG-4 AFX에서 제안한 압축표현을 XMT로 정의하므로써 가능하다. 따라서 저작자가 압축표현을 통해 3차원 그래픽 데이터를 압축해서 데이터를 전송할 수 있게 하면 된다. 이는 3D(애니메이션 및 표현)데이터를 압축하는데 필요한 여러 인자들을 XMT를 사용해 매개인자(parameter)로 정의함으로써 가능하다. 따라서 저작자가 압축을 표현하는 노드를 사용해서 3차원 그래픽 데이터를 압축할 때 필요한 여러 인자들을 XMT-A 스키마로 정의하는 것이 필요하다. 또한 3차원 그래픽 데이터를 압축하는데 사용되는 여러 인자들에 대한 메타표현 방법을 제공하고 이를 사용하여 압축을 실행함이 필요하다.

본 발명의 객체 데이터에 해당하는 DIBR 데이터에 대해 간략히 설명하기로 한다. DIBR은 복잡한 기하학적 구조를 가진 객체를 쉽게 표현하고 시각화하는 새로운 표현방법이다. 상기 DIBR은 MPEG-4 AFX에 채택되어 왔다. 컴퓨터 그래픽에서는 전형적으로 다각형 메쉬(polygonal meshes)로 객체(object)를 표현하여 왔지만, DIBR의 표현 방법은 다음과 같이 3가지 포맷으로 표현가능하다.

첫 번째 포맷인 심플텍스쳐(SimpleTexture)는 3차원 그래픽 객체를 눈에 보이는 객체의 표면을 감싸는(covering) 참조 영상(reference image)의 집합으로 나타낸다. 각 참조 이미지는 상응하는 깊이 맵(depth map)으로 나타내어지며, 상기 깊이 맵은 이미지 평면의 픽셀로부터 객체 표면까지의 거리를 배열(array)로 나타낸 것이다.

두 번째 포맷인 포인트텍스쳐(PointTexture)는 하나의 카메라 위치에서 바라본 픽셀들의 배열로 객체를 표현한다. 각각의 포인트텍스쳐 픽셀은 색깔, 픽셀로부터 카메라까지의 거리에 해당하는 깊이 및 포인트텍스쳐 시각화를 보조하는 몇 개의 다른 속성들에 의해 표현된다. 각 시선(line of sight)을 따라 물체와의 교점에서 다수의 픽셀들이 있을 수 있으며, 따라서 포인트텍스쳐는 보통 다수의 층(multiple layer)으로 구성된다.

세 번째 포맷인 팔진트리영상(OctreeImage)은 팔진트리(Octree)로 물체의 형체를 표현하고, 각 면에서의 영상을 기준영상으로 가지는 표현 방식이다.

컨텐츠 압축 메커니즘을 간략히 설명하면 다음과 같다. 실사(real scene)와 같이 표현하기 위해 입력 이미지의 해상도가 높아야 한다. 높은 해상도의 입력 이미지의 깊이와 컬러 값은 그 양이 방대하다. 따라서 이런 방대한 데이터를 압축할 필요가 있다. 심플텍스쳐를 월드좌표계로 변환하면, 포인트텍스쳐로 만들 수 있다. 따라서, DIBR 컨텐츠의 압축에는 포인트텍스쳐 압축과 팔진트리영상 압축이 있다.

A. 포인트텍스쳐 압축(PointTexture Compression)

포인트텍스쳐의 방대한 량의 깊이 데이터와 컬러 데이터를 부호화하는 방법 이다. 보다 구체적으로 설명하면, 포인트텍스쳐 부호화기는 포인트텍스쳐에 대한 헤더정보를 부호화하는 헤더정보 부호화부와 포인트텍스쳐 트리노드를 복호화 시에, 낮은 해상도에서 높은 해상도까지 점진적으로 복원, 렌더링할 수 있게 하는 트리노드 부호화부로 구성된다. 상기 포인트텍스쳐 헤더 부호화부에서 부호화되는 정보는 입력 이미지의 가로 값(nWidth)과 세로 값(nHeight), 원본의 깊이 데이터를 표현하는데 사용되는 비트 수(nDepthNbBits), 부호화할 트리노드 개수의 비율(nPercentOfencoding)이다. 포인트텍스쳐 트리노드 부호화 부에서 부호화되는 정보는 헤더에 포함된 정보를 사용해, 적응적 팔진트리에서 트리노드의 수를 계산하고, 헤더의 부호화할 트리노드 개수의 비율만큼 트리노드의 깊이와 컬러 정보를 부호화한다.

B. 팔진트리영상 압축(OctreeImage Compression)

3D 모델의 형체를 표현하는 팔진트리영상을 압축하는 방법이다. 팔진트리영상(OctreeImage) 포맷은 2D SimpleTexture와 3D PointTexture의 중간에 위치한다. 팔진트리영상은 volumetric 표현(hierarchically organized voxels of usual binary subdivision of enclosing cube)에 객체의 geometry를 저장하는 Octree와 컬러를 나타내는 참조 이미지들, 팔진트리의 leaf voxel에 대한 컬러 값을 저장하는 참조 이미지의 인덱스를 저장하는 voxelImageIndex로 구성된다. 팔진트리영상 포맷은 2가지 종류가 있다. volumetric 표현에 객체의 geometry를 저장하는 Octree와 컬러를 나타내는 참조 이미지들, 팔진트리의 leaf voxel에 대한 컬러 값을 저장하는 참조 이미지의 인덱스를 저장하는 voxelImageIndex로 구성된 TBVO와 voxelImageIndex 없이, octree와 컬러를 나타내는 참조 이미지들로 구성된 것을 BVO가 있다. BVO는 렌더링 단계에서, 팔진트리의 leaf voxel에 참조 이미지의 컬러 값을 projection하여 그 컬러를 렌더링하는 방법이고, TBVO는 leaf voxel에 대해 컬러 값을 저장하는 참조 이미지의 인덱스를 추가로 가지고 있다. 그래서 BVO에 비해 렌더링 속도가 더 빠르고, 화질도 좋다.

팔진트리 압축은 TBVO의 경우, 객체의 geometry와 leaf voxel에 대한 컬러 값을 저장하는 참조 이미지의 인덱스를 포함하는 voxelImageIndex를 압축한다. BVO의 경우, 객체의 geometry를 압축한다. 압축은 adaptive contexted-based arithmetic coding을 응용해서 데이터의 geometric 특성을 사용해서 contexts를 생성하므로 geometry 정보를 압축한다.

한편, 본 발명에 의한 3차원 그래픽 데이터 압축에 관한 메타표현을 이용한 MPEG-4 부호화기의 입력파일 생성 방법은 크게 두 가지 방법이 있다. 첫 번째 방법은, 사용자가 이미 압축된 DIBR 객체 데이터가 포함된 입력 파일을 사용할 때, MPEG-4 부호화기의 입력파일을 생성하는 방법이고, 두 번째 방법은, 사용자가 압축되지 않은 DIBR 객체 데이터와 그 압축매개인자가 포함된 입력 파일을 사용할 때, MPEG-4 부호화기의 입력파일을 생성하는 방법이다.

상기 첫번째 방법은 사용자가 이미 압축된 DIBR 객체 데이터를 포함한 파일을 입력으로 사용해 압축하고자 할 때, XMT파서(XMTParser)는 XMT 파일을 입력으로 받아, DIBR 객체 데이터에 대한 XMT 스키마와 스타일 쉬트를 참고하여 입력파일을 파싱한다. 파싱한 결과 scene 파일과 mux 파일을 생성한다. 상기 XMTParser는 단 지 XMT 입력 파일을 scene에 대한 파일과 mux에 대한 파일로 분리하여 출력해 주지만 3D 그래픽 데이터가 이미 압축된 비트스트림 형태로 포함되었으므로 실행 결과는 MPEG-4 부호화기에 알맞은 입력 파일 형태이다.

그러나 두번째 방법에서는 메타 표현을 참조하여 파싱하여 생성된 scene 파일과 mux 파일을 MPEG-4 부호화기의 입력으로 사용할 수 없다. 그 이유는 MPEG-4 부호화기가 압축된 비트스트림 형태의 입력파일로 되어 있기 때문이다. 따라서 압축되지 않은 DIBR 객체 데이터를 압축매개인자를 사용하여 압축된 비트스트림을 생성해야만 MPEG-4 부호화기에 알맞은 입력 형태가 된다. 따라서 별도의 압축기가 필요하다.

도 2는 MPEG-4 AFX에서 제안한 압축 표현을 XMT로 정의하여 DIBR 데이터를 압축할 수 있게 하는 3차원 DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템의 구성을 블록도로 도시한 것이다.

도 2에 도시된 바와 같이, 사용자가 압축되지 않은 DIBR 객체 데이터와 그 압축매개인자를 포함한 XMT 입력파일(200)을 압축하고자 할 때, XMTParser(210)는 상기 XMT 입력파일(200)을 DIBR 객체 데이터에 대한 XMT 스키마(230)와 스타일 쉬트(220, 240)를 참고하여 파싱한다. 파싱한 결과 scene 파일과 mux 파일이 생성된다. AFX 부호화기(260)는 상기 scene 파일과 mux 파일을 입력으로 받아들여, 압축되지 않은 DIBR 객체 데이터를 압축하여 비트스트림을 만들고, BIFS부호화기(270)와 MP4부호화기(280)에 알맞은 입력 파일을 만들어준다. 상기 입력 파일은 MP4 부호화기(280)에 입력되어 mp4 파일(290)이 출력된다.

본 발명에 의한 DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템은 XMT 스키마(230), XMT2BIFS 스타일 쉬트(240), XMT2MUX 스타일 쉬트(220), XMT파서(210), 압축판단부(250) 및 AFX부호화기(260)를 포함하여 이루어진다.

상기 XMT 스키마(230)는 압축할 DIBR 객체 데이터에 관한 정보와 압축에 필요한 매개인자를 포함하고 있는 압축노드와, 및 압축 비트스트림 포맷을 포함하는 BitWrapperEncodingHints 및 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 포함하는 AFXConfig를 정의하고 있다.

상기 XMT 스키마가 정의하고 있는 압축노드는 노드필드와 DIBR 데이터의 압축에 필요한 DIBR 압축매개인자(encoding parameter), buffer 필드, url필드 및 노드 필드가 포함하는 DIBR 객체 데이터의 압축 방법을 선택하는 type 필드를 구비한다. 상기 노드필드는 압축할 DIBR 객체 데이터를 포함하고 있다. DIBR 압축매개인자(encoding parameter)를 포함한다. 상기 buffer필드는 상기 url 필드와 상호 배타적으로 사용된다. 즉 상기 buffer 필드는 url 필드와 동시에 사용되지 않고, buffer 필드가 사용되면 url 필드는 사용되지 않는다. 또한 상기 buffer 필드는 상기 노드의 압축된 비트스트림을 인-밴드로서 전송한다.

상기 url 필드는 상기 buffer 필드와 상호 배타적으로 사용된다. 이는 상기 url 필드와 상기 buffer 필드와 동시에 사용되지 아니하며 상기 url 필드가 사용되면 상기 buffer 필드는 사용되지 않음을 의미한다. 또한, 상기 노드의 압축된 비트스트림을 아웃-밴드로서 전송한다.

상기 인-밴드로서의 전송은 상기 압축노드를 포함하는 XMT 입력파일이 scene 파일로 변환된 후, BIFS부호화기를 통과하여 bifs 파일로 최종 변환되었을 때 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일에 포함되어 전송된다. 상기 아웃-밴드로서의 전송은 상기 압축 노드를 포함하는 XMT 입력파일이 scene 파일로 변환된 후, BIFS부호화기를 통과하여 bifs 파일로 최종 변환되었을 때 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일과 분리되어 개별적으로 전송된다.

상기 XMT 스키마가 정의하고 있는 DIBR 압축매개인자는 압축 대상이 되는 객체의 포인트 텍스쳐에 관한 매개인자를 포함하고 있다.

상기 XMT 스키마가 정의하고 있는 상기 BitWrapperEncodingHints는, 상기 압축노드 내의 url 필드가 기술하는 URL ID 와 동일한 binary ID 를 갖는 객체 기술자 내에 있으며 압축된 비트스트림의 파일이름과 그 비트스트림의 압축 포맷 종류에 관한 정보를 더 구비한다.

상기 XMT 스키마가 정의하고 있는 상기 AFXConfig는 상기 압축노드가 AFX 부호화기를 사용해 노드 필드에 포함된 DIBR 객체 데이터의 압축 비트스트림을 만들어 url로 전송하고, 상기 전송된 비트스트림을 복호화할 때 필요한 정보 즉, 어떤 복호화기를 사용해야 하는지에 대한 정보를 더 구비한다.

상기 XMT2BIFS 스타일 쉬트(240)는 XMT 입력파일(200)을 상기 XMT 스키마(210)를 참조하여 scene 파일로의 변환을 지원한다. 상기 XMT2MUX 스타일 쉬트(220)는 XMT 입력파일을 상기 XMT 스키마를 참조하여 mux 파일로의 변환을 지원한 다.

XMT파서(210)는 DIBR 데이터가 포함된 XMT 입력화일(200)을 상기 XMT 스키마(230)와 상기 XMT2BIFS 스타일 쉬트(240) 및 XMT2MUX 스타일 쉬트(220)를 이용하여 파싱하여 scene 파일 및 mux 파일을 생성한다.

상기 압축판단부(250)는 상기 XMT파서(210)의 파싱결과 생성된 scene 파일이 압축되지 않은 그래픽 객체 데이터를 포함하고 있는지 판단하며, 압축노드검색부(300) 및 압축데이터판단부(350)를 구비한다. 도 3은 상기 압축판단부(250)의 보다 자세한 구성을 블록도로 도시한 것으로서, 상기 압축노드 검색부(300)는 상기 파싱 결과 생성된 scene 파일에서 적어도 하나의 압축(BitWrapper)노드를 찾아낸다. 상기 압축데이터판단부(350)는 상기 검색된 압축노드의 노드필드 내에 그래픽 객체 데이터가 존재하면, 압축되지 않은 객체 데이터를 포함하고 있다고 판단한다.

상기 AFX부호화기(260)는 입력파일을 키워드(노드이름)단위로 파싱하면서, 상기 압축판단부(250)의 판단결과 DIBR 객체 데이터가 압축되어 있지 않다고 판단되면, 상기 scene 파일에 포함되어 있는 상기 DIBR 압축매개인자(encoding parameter)를 사용하여 DIBR 객체 데이터를 압축하여 압축된 비트스트림과 수정된 scene파일 및 수정된 mux파일을 생성한다.

도 4는 상기 AFX부호화기(260)의 보다 세부적인 구성을 블록도로 도시한 것으로서, AFX파서(400), 입력파일생성기(420), 객체 데이터저장부(440), 압축매개인자저장부(460) 및 내부부호화기(480)를 구비한다.

상기 AFX파서(400)는 압축(BitWrapper)노드를 포함하는 scene 파일로부터 적 어도 하나의 압축노드를 찾아내어 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일의 압축노드 내에 있는, DIBR 객체 데이터와 상기 압축 노드내에 포함된 DIBR 압축매개인자를 저장시킨다. 보다 상세히 설명하면, AFX파서(400)는 압축되지 않은 DIBR 객체 데이터가 포함된 scene 파일과 mux 파일을 입력으로 받는다. scene 파일은 장면정보와 압축되지 않은 DIBR 객체 데이터를 포함한다. mux 파일은 데이터가 얼마의 버퍼 크기로 전송되고, 전송된 비트스트림을 어떤 부호화기로 복호화하면 되는지에 대한 정보와 데이터들 사이에 얼마의 시간 차이를 두고 플레이되는지와 같은 동기화(synchronization) 정보를 포함한다. 그래서 상기 AFX파서(400)는 scene과 mux에서 사용되는 노드와 DIBR 압축매개인자(encoding parameter)들을 키워드로 저장해 두고, 이것을 참고하여 입력파일의 키워드 단위로 읽어들여 파싱한다. 상기 AFX파서(400)는 scene 파일과 mux 파일을 파싱하면서 압축할 DIBR 객체 데이터를 포함한 노드가 나오면, 그 노드의 압축할 DIBR 객체 데이터와 압축하는데 필요한 DIBR 압축매개인자의 값을 압축매개인자저장부(460)에 저장시킨다. 상기 압축매개인자저장부(460)에 저장된 값은 노드 별로 구분되며, 내부부호화기(480) 내의 알맞은 부호화기에 넘겨진다.

또한 상기 AFX파서(400)는 싱글 압축(BitWrapper) 노드 뿐만 아니라 다중 압축(BitWrapper) 노드를 지원한다. 그래서 여러 개의 노드로 구성된 DIBR 객체 데이터를 모두 buffer로 전송할 수도 있고, 또는 모두 url로 전송할 수도 있고, 또는 buffer와 url을 모두 이용해 전송할 수도 있다. 이것은 사용자가 원하는 대로 선택할 수 있다.

상기 객체 데이터저장부(440)는 상기 AFX파서(400)에 의해 DIBR 객체 데이터를 저장한다.

상기 압축매개인자저장부(460)는 상기 AFX파서(400)에 의해 압축매개인자를 저장한다.

상기 내부 부호화기(480)는 상기 저장된 객체 데이터를 포함하고 있는 노드에 상응하는 MPEG-4 AFX 툴에 대한 부호화기를 포함하고 있다. 상기 내부 부호화기(480)는 상기 압축매개인자저장부(460)의 DIBR 압축매개인자를 사용하여 상기 객체 데이터저장부(440)의 객체 데이터를 압축하여 비트스트림으로 생성하며, 포인트 텍스쳐 부호화기(482) 및 옥트리부호화기(484) 중 적어도 하나를 구비한다. 따라서 상기 부호화기 외에도 확장이 가능하다. 압축할 DIBR 객체 데이터를 포함하고 있는 압축 노드내의 노드 필드의 객체에 따라, 적절한 부호화기가 선택되고, 상기 선택된 부호화기는 객체 데이터저장부(440)에 저장된 압축되지 않은 DIBR 객체 데이터와 상기 압축매개인자저장부(460)에 저장된 압축에 필요한 DIBR 압축매개인자의 값을 받아, DIBR 객체 데이터를 상기 DIBR 압축매개인자로 압축하여 비트스트림을 생성한다.

상기 포인트 텍스쳐 부호화기(482)는 상기 저장된 DIBR 객체데이터 및 DIBR 압축매개인자에 상응하며, DIBR압축매개인자를 사용하여 포인트 텍스쳐 데이터를 부호화한다.

상기 옥트리 부호화기(484)는 상기 저장된 DIBR 객체데이터 및 DIBR 압축매개인자에 상응하며, 옥트리 데이터를 부호화한다.

한편 상기 입력파일생성기(480)는 상기 AFX파서(400)에서 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 수정된 scene파일(_modified.scene 파일) 및 수정된 mux파일(_modified.mux파일)을 생성한다.

상기 수정된 scene파일(_modified.scene 파일)은 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제하여 생성한다.

상기 수정된 mux파일(_modified.mux파일)은 BIFS부호화기(270)가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 것이다.

상술한 바와 같이 상기 AFX부호화기(260)를 통과한 결과 생성된 파일들은 BIFS부호화기(270)와 MP4부호화기(280)에 알맞은 입력 파일이 된다. 그래서 상기 입력을 사용해서 BIFS부호화기(270)와 MP4부호화기(280)를 실행하면, mp4 파일(290)이 생성된다. 상기 mp4 파일(290)을 MPEG-4 Player에서 실행해 시각화된 결과를 확인할 수 있다.

그리고 상기 AFX파서(400)와 객체 데이터저장부(440) 및 압축매개인자저장부(460)를 통과하여 압축되지 않은 객체 데이터와 압축매개인자 값에 따라 각 부호화기에 알맞게 입력 값이 들어 갔는가에 대한 검증은 압축된 비트스트림의 생성으로 확인할 수 있다.

한편, 상기 도 2의 XMT 입력파일(200)은 크게 5가지로 나눌 수 있다. 첫째는 압축된 DIBR 객체 데이터를 buffer 필드를 사용하여 MPEG-4 부호화기로 전송하는 경우이고, 둘째는 압축된 DIBR 객체 데이터를 url 필드를 사용하여 MPEG-4 부호화 기로 전송하는 경우, 셋째는 압축안된 DIBR 객체 데이터를 AFX부호화기를 통해 부호화하여 buffer 필드를 사용하여 MPEG-4 부호화기(280)로 전송하는 경우, 네째는 압축안된 DIBR 객체 데이터를 AFX부호화기(260)를 통해 부호화하여 url 필드를 사용하여 MPEG-4 부호화기(280)로 전송하는 경우, 다섯 번째는 상기 첫 번째 내지 네 번째 경우를 혼용하는 경우에 각각 XMT 입력파일이 달라진다. 그리고 상기 각 경우에 따른 scene파일과 mux파일이 생성된다. 이를 구체적으로 기술하면 다음과 같다.

상기 첫 번째 XMT 입력파일은 다음과 같다. 상기 XMT파서(210)의 XMT입력파일(200)은 초기 객체기술자를 구비하는 헤더, 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)로 이루어진다.

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 StreamSource와 동기화정보 및 BIFS 부호화기(270)로부터 압축되는 파일을 복호화시 필요한 정보를 포함한다. 상기 StreamSource는 BIFS부호화기(270)가 출력으로 생성하는 파일의 이름을 가지고 있다. 상기 동기화 정보는 객체 간의 디스플레이되는 시간순서를 나타낸다. 상기 몸체의 압축노드는 DIBR 객체데이터의 노드이름을 포함하고 있는 노드필드 및 이미 압축된 DIBR 객체데이터에 대한 파일이름을 저장하고 있는 버퍼필드를 구비한다.

또한 상기 몸체의 DepthImage노드는 카메라의 투영모델(orthographic) 필드, 카메라의 위치 필드, 카메라의 회전 필드, 카메라의 시야각(fieldOfView) 필드, 카 메라의 원근의 한계면(farplane, nearplane)에 관한 정보 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 구비한다.

상기 scene 파일은 상기 몸체와 동일하며, 적어도 하나의 압축노드를 구비한다. 상기 mux 파일은 상기 헤더의 초기객체기술자와 동일한 초기객체 기술자를 포함한다. 상기 초기객체기술자는 상기 BIFS 부호화기(270)가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비한다.

상기 두 번째 XMT 입력파일은 다음과 같다. 상기 XMT파서(210)의 XMT입력파일(200)은 초기객체기술자를 포함하는 헤더(Header)와, 몸체(body)를 포함한다.

상기 몸체는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비한다.

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기(270)가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, 상기 BIFS 부호화기(270)로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다.

상기 몸체의 압축노드는 객체기술자갱신 내의 객체기술자의 binaryID와 같은 URL ID를 구비한다. 상기 객체기술자 갱신은 이미 압축된 DIBR 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 가진다.

또한 상기 몸체의 DepthImage노드는 카메라의 투영모델(orthographic) 필드, 카메라의 위치 필드, 카메라의 회전 필드, 카메라의 시야각(fieldOfView) 필드, 카메라의 원근의 한계면(far plane, near plane)에 관한 정보 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 구비한다.

상기 몸체의 객체기술자갱신 내에 포함된 객체기술자는 몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 DIBR 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig) 및 압축된 DIBR 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비한다.

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 객체기술자를 가진다.

상기 scene 파일은 상기 몸체(body)와 동일한 적어도 하나의 압축노드 와 DepthImage노드 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 objectDescriptorID를 갖고, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가진다.

상기 세 번째 XMT 입력파일은 다음과 같다. 상기 XMT파서(210)의 XMT입력파일(200)은 초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 구비하는 몸체(body)로 이루어진다.

상기 헤더의 초기객체기술자는 BIFS 부호화기(270)가 출력으로 생성하는 파일이름을 가지고 있는 StreamSource, BIFS 부호화기(270)로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 포함한다.

상기 몸체의 압축노드는 압축될 노드의 이름을 저장하고 있으며, 압축될 DIBR 객체데이터를 포함하는 노드필드, 상기 DIBR 객체 데이터 압축에 사용되는 DIBR 압축매개인자, 및 상기 DIBR 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비한다.

상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함하고, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 초기객체기술자 내에 있는, BIFS 부호화기(270)가 출력으로 생성하는 파일의 스트림포맷 정보를 포함한다.

상기 네 번째 XMT 입력파일은 다음과 같다. 상기 XMT파서(210)의 XMT입력파일(200)은 초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어진다.

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기 (270)가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource와, BIFS 부호화기(270)로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다.

상기 몸체의 압축노드는 압축할 노드의 이름을 저장하고 있으며 압축할 DIBR 객체데이터를 포함하는 노드필드, 상기 객체 데이터의 압축에 사용되는 DIBR 압축매개인자, 및 객체기술자갱신 내에 있는 객체기술자의 binaryID와 같은 URL ID가 저장된 URL 필드를 포함한다.

상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig) 및 DIBR 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비한다.

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가진다.

상기 scene 파일은 상기 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 가지며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가진다.

상기 다섯번째 XMT 입력파일은 다음과 같다. 상기 XMT파서(210)의 XMT입력파일(200)은 초기객체기술자를 포함하는 헤더(Header), 및 버퍼필드를 구비하는 적 어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어진다.

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기(270)가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기(270)로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다. 상기 몸체에서 버퍼필드를 구비하는 압축노드는 압축될 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축될 객체 데이터, 상기 객체 데이터 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비한다.

상기 몸체의 url필드를 구비하는 압축노드는 압축 될 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 될 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및 객체기술자갱신 내에 있는 객체기술자의 binaryID와 같은 URL ID가 저장된 URL 필드를 구비한다. 상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig) 및 압축매개인자를 사용하여 압축된 객체 데이터 의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비한다.

상기 scene 파일은 상기 몸체(body)와 동일한 압축노드와 DepthImage노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 가지며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신을 가진다.

도 2에 도시된 DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템을 보다 상세히 설명한다. 먼저 DIBR 데이터를 압축하는 노드와 그 매개인자의 XMT-A 스키마를 사용하여 압축을 실행하는 방법 및 구조를 설명하기로 한다.

기존 XMT 기술은 DIBR 데이터를 압축하는 표현에 대한 XMT-A 스키마가 정의되지 않았으므로 DIBR 데이터 압축에 대한 XMT 파일이 입력으로 들어와도 파싱할 수가 없었다. 그러나 도 2에 도시된 바와 같이 DIBR 데이터를 압축하는 노드와 그 매개인자(parameter)를 XMT-A 스키마(230)에 정의해 줌으로써 압축노드를 사용한 DIBR 데이터 압축에 대한 XMT 파일(200)이 입력으로 들어왔을 때 XMT 파서(parser, 210)가 XMT-A 스키마(230)에 정의된 내용과 XMT2MUX 스타일 쉬트(220)와 XMT2BIFS 스타일 쉬트(240)를 바탕으로 파싱한다. 상기 XMT파일에 있는 데이터가 압축된 데이터이면 바로 MPEG-4 표준 부호화기의 입력파일(scene파일, mux파일)을 만들어 낸다. 그렇지 않고 상기 XMT파일에 있는 데이터가 압축되지 않은 DIBR 데이터이면 AFX부호화기(260)을 통해 압축한 후, MPEG-4 표준 부호화기의 입력파일(수정된 scene파일, 수정된 mux파일)을 만들어 낸다.

상기 MPEG-4 표준 부호화기는 BIFS부호화기(270)와 MP4부호화기(280)로 구성된다. 만들어진 입력파일이 각각 BIFS 부호화기(270)와 MP4 부호화기(280)로 들어가 상기 BIFS 부호화기(270)와 MP4 부호화기(280)를 통해 비트스트림(mp4)을 만들어 내고, MPEG-4 플레이어(Player)에서 시각화되어 사용자에게 보여진다.

DIBR 데이터를 압축하는 노드와 그 매개인자에 대한 메타 표현, 즉 XMT-A 스키마를 사용하면 저작 단계에서 저작자가 메타 표현의 선택 여부에 따라 압축할 수도 있고 압축을 사용하지 않을 수도 있다. 또한 압축을 선택할 경우 압축하고자 하는 DIBR 데이터에 대해 압축 매개인자에 관한 메타표현을 할 수 있다.

저작자가 압축을 선택할 경우 압축하고자 하는 DIBR 데이터를 그 매개인자를 조절해서 크게 2가지 방법으로 선택해서 MPEG-4 표준 부호화기에 전송할 수 있다. 첫째는 원본 DIBR 데이터를 AFX부호화기(260)를 통해 압축하여 비트스트림으로 전송하는 방법과, 둘째는 이미 압축된 비트스트림을 포함하여 MPEG-4 표준 부호화기에 전송하는 방법이 있다.

상기 2가지 방법은 더 세분화되어 총 5가지의 전송 방법이 있다. 첫번째 방 법은 이미 압축된 비트스트림 형태로 "buffer"를 사용해 전송하는 방법이다. 두번째 방법은 이미 압축된 비트스트림 형태로 "url"를 사용해 전송하는 방법이다. 세 번째 방법은 압축되지 않은 DIBR 객체데이터를 DIBR 압축매개인자를 사용해 비트스트림으로 만들어 "buffer 를 사용하여 전송하는 방법이다. 네번째 방법은 압축되지 않은 DIBR 객체데이터를 DIBR 압축매개인자를 사용해 비트스트림으로 만들어 "url"로 전송하는 방법이다. 다섯 번째 방법은 상기 첫 번째 내지 네 번째 방법 중 적어도 두 개의 방법을 혼용한 경우이다.

다음으로 DIBR 데이터 압축에 사용되는 여러 인자들에 대한 메타표현 방법(XMT)을 설명하기로 한다. 상기 메타표현 방법은 DIBR 데이터를 압축하는데 필요한 노드와 그 매개인자를 메타 표현하는 방법이다. 여기서 DIBR 데이터를 압축하는데 필요한 노드인 BitWrapper 노드와 그 매개변수를 실례로 들어 설명한다.

1. BitWrapper 노드에 대한 XMT-A 스키마

우선 BitWrapper에 대해서 간략히 설명하면 다음과 같다. BitWrapper 노드의 기능은 "node" 필드의 데이터를 압축하여 비트스트림으로 생성하고 상기 비트스트림을 인-밴드(in-band) 또는 아웃-밴드(out-band)를 사용해서 전송하는 것이다. "url" 필드는 아웃-밴드 비트스트림을 전송하고, "buffer" 필드는 BIFS 비트스트림과 같이 인-밴드 비트스트림을 전송한다.

만약 저작자가 데이터를 압축해서 BitWrapper 노드를 통해 전송하고자 한다면 저작자는 비트스트림을 생성하기 위한 매개인자를 조절할 수 있어야 한다. 이것은 XMT-A 스키마 구문(Syntax)으로 할 수 있다. 그러나 이 매개인자는 특정 부 호화기에서 사용되어지는 파라미터가 아니다. 대신에 이 매개인자들은 디코더 구문(syntax)에 관련이 있다. 상기 파라미터들은 압축하는 동안 조정될 수 있다. 본 발명에서 BitWrapper 노드는 DIBR 데이터로서 포인트 텍스쳐 데이터와 옥트리 데이터의 압축 툴(tool)에 대한 압축된 비트스트림의 전송을 지원한다.

BitWrapper 노드는 노드압축 스킴(scheme) 전용이다. 상기 압축된 표현은 BIFS 스트림 내에서 전송되거나 밖의 분리된 스트림으로 전송된다. 스트림이 BIFS 업데이트 내에서 전송될 때, "buffer" 필드는 압축된 표현을 포함한다. 스트림이 BIFS 업데이트 밖의 분리된 스트림으로 전송될 때, "url" 필드는 스트림의 url을 포함한다. "buffer" 필드와 "url" 필드는 서로 배타적으로 사용된다. 즉 "buffer" 필드가 사용되면 "url" 필드는 사용되지 않고, "url" 필드가 사용되면 "buffer" 필드는 사용되지 않는다. "node" 필드는 압축된 표현을 갖는 노드를 포함한다. BitWrapper 노드는 "node"의 위치에서 사용될 수 있다. "type" 필드는 노드 압축 스킴이 사용되어야 한다는 것을 나타낸다. 0 이 "type" 필드 값의 디폴트 값이다. "type" 필드 값은 미래의 노드 압축 스킴이 개발될 것을 고려해서 나타낸 것이다.

압축된 표현이 분리된 스트림에 포함되어 전송될 때 노드 디코더는 어떤 틀에 맞춰 형성되어야 한다. 객체 기술자 스트림(object descriptor stream)에서 노드 디코더는 streamType 0x03과 objectTypeIndication 0x05에 대해 DecoderConfig descriptor에 나타나야 한다. 디코더는 AFXConfig descriptor로 형성된다.

2. BitWrapperEncodingHints에 대한 XMT-A 스키마

BitWrapperEncodingHints는 스크립트(.mux) 파일에서 "MuxInfo description 을 명세하기 위해 사용된다. 그 결과 binary textual format과 일치한다. BitWrapper 노드가 그 안에 있는 "url" 필드를 사용하는 아웃-밴드(out-band) 시나리오에 대해 사용된다. BitWrapperEncodingHints는 스트림 포맷의 타입에 따른 "MuxInfo" description에 사용되는 적절한 정보를 설명하고 있으며, 포인트 텍스쳐 및 옥트리 데이터에 각각 상응하는 EncodingHints를 제공한다.

3. AFXConfig에 대한 XMT-A 스키마

AFXConfig는 BitWrapper node를 사용해서 AFX 툴을 부호화하여 전송하였을 때, 전송된 비트스트림을 복호화하기 위한 정보를 알려주는 역할을 한다. BitWrapper 노드가 그 안에 있는 url 필드를 사용하는 아웃-밴드 시나리오에 대해 사용된다. 즉, AFXCongif는 이 비트스트림이 AFX 툴을 사용했고, 그 중 어느 부호화 방식을 적용했는지를 알려주는 아주 중요한 정보이다. 또한 본 발명에서 AFXConfig는 포인트 텍스쳐 및 옥트리 데이터에 대한 2종류의 복호화 방식을 포함한다.

그리고 XMT2MUX 스타일 쉬트에 MuxInfo 와 BitWrapperEncodingHints 구문 추가가 필요하다.

기존 구문에는 MP4 부호화기로 전송되는 비트스트림에 대한 mux 정보(어떤 이름의 비트스트림인지, 어떤 종류의 비트스트림인지 예: A.bifs, A.od)가 XMT2MUX 스타일 쉬트에 제대로 기술(description)되지 않았다. 또한 BitWrapper에서 URL을 사용할 경우, URL을 통해 전송되는 비트스트림에 대한 정보(파일이름 실시예 3과 같이 "bunny-15000-tcp.m3d", 비트스트림의 종류)에 대해서 XMT2MUX 스타일 쉬트에 없었다. 따라서 BitWrapper에서 제공되는 비트스트림을 실어나르는 파일이름과 비트스트림의 종류의 기술(description)이 필요하다.

또한 XMTparser가 XMT-A 스키마를 참조해서 MPEG-4 부호화기의 입력(.scene 파일, .mux 파일)으로 만들어주려면, XMT 스타일 쉬트가 필요하다. 따라서 AFXConfig 정보를 .mux 파일에 알맞게 출력하려면, XMT 스타일 쉬트에 AFXConfig에 대한 설계가 필요하다. 따라서, AFXConfig는 XMT 스타일 쉬트에 설계된다. 구체적으로 XMT2MUX 스타일 쉬트에 AFXConfig를 추가하고, 본 발명에서는 2 종류의 복호화 방식에 대한 정보를 포함한 AFXConfig를 XMT 스타일 쉬트에 포함한다.

decConfigDescr는 decSpecificInfo 정보를 포함하는 것으로, 복호화 단계에서 비트스트림을 복호화하는데 필요한 정보를 나타내 준다. XMTPaser가 XMT-A 스키마와 XMT 스타일 쉬트를 참조하여 MPEG-4 부호화기에 맞는 입력을 만들기 위해 XMT2MUX 스타일 쉬트에 추가되어야 한다.

SLConfigDescriptor는 복호화하는 단계에서, 각 비트스트림 간의 동기화를 위해 필요한 시간 정보를 나타내준다. XMTPaser가 XMT-A 스키마와 XMT 스타일 쉬트를 참조하여 MPEG-4 부호화기에 맞는 입력을 만들기 위해 XMT2MUX 스타일 쉬트에 추가된다.

"Update OD" 는 저작자가 "url" 필드를 통해서 다른 엘리먼트 스트림과 연결하고자 할 경우, 장면 설명 스트림(scene description stream (BIFS stream))을 링크할 때 사용된다. 또한 Update OD 내부에 ObjectDescriptorID와 스크립트 파일 이름을 설명하는 부분도 추가된다. 이것은 binary textual format과 일치한다.

본 발명의 동작을 설명하기로 한다. 도 5는 본 발명에 의한 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법을 흐름도로 도시한 것이다.

먼저, 압축할 DIBR 객체 데이터에 관한 정보를 포함하고 있는 압축노드와, 압축에 필요한 압축매개인자, 및 적어도 압축된 객체 데이터 파일의 위치정보를 포함하는 BitWrapperEncodingHints를 정의하고 있는 XMT 스키마를 구비한다.(500단계) 또한 XMT 입력파일을 상기 XMT 스키마를 참조하여 scene 파일로의 변환을 지원하는 XMT2BIFS 스타일 쉬트와, XMT 입력파일을 상기 XMT 스키마를 참조하여 mux 파일로의 변환을 지원하는 XMT2MUX 스타일 쉬트를 구비한다.(510단계) 그리고 나서 XMT 입력파일이 입력되면, 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT입력파일을 파싱하여 scene 파일 및 mux 파일을 생성한다.(520단계) 상기 파싱결과 생성된 scene 파일이 압축되지 않은 DIBR 데이터를 포함하고 있는지 판단한다.(530단계) 상기 판단결과 DIBR 데이터가 압축되어 있지 않았으면, 상기 scene 파일에 포함되어 있는 DIBR 압축매개인자를 사용하여 DIBR 데이터를 압축하여 압축된 비트스트림과 수정된 scene파일 및 수정된 mux파일을 생성한다.(540단계)

이를 보다 세부적으로 설명하기로 한다. 이미 압축된 DIBR 데이터를 사용해 버퍼 또는 url로 전송하는 경우는 도 2에 도시된 AFX 부호화기(260) 없이도 표준 MPEG-4 부호화기에 알맞은 입력을 만들어 줄 수 있다. 그러나 압축되지 않는 DIBR 데이터를 DIBR 압축매개인자를 사용해 비트스트림을 버퍼 또는 url 로 전송하는 경우는 도 2에 도시된 AFX 부호화기(260)를 거쳐서 표준 MPEG-4 부호화기에 알맞은 입력을 만들어 줄 수 있다.

(1) 이미 압축된 비트스트림을 사용해 버퍼(buffer)로 전송하는 경우이다.

도 2와 도 6을 참조하여 이미 압축된 DBIR 데이터의 비트스트림을 사용해 버퍼(buffer)로 전송하는 실시 예를 설명하기로 한다. 도 6의 내용은 다음과 같다. 물체 A에 대한 3차원 DIBR 데이터(깊이, 색상 등)는 이미 압축된 물체 A에 대한 비트스트림(bitstream)이 압축노드 내의 버퍼필드에 압축된 비트스트림 이름(BufferWithEP.ptc)으로 전송된다.

도 2에 도시된 바와 같이 XMT 파일(200)이 입력으로 들어오면, XMT 파서(210)에서 XMT-A 스키마(230)를 참조하고, XMT2BIFS 스타일쉬트(240)와 XMT2MUX 스타일쉬트(220)를 사용하여 상기 압축한 비트스트림을 장면 데이터와 함께 .scene에 대한 비트스트림에 실어 전송한다.

상기 XMT입력파일은 초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)를 포함하여 이루어진다. 상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS부호화기(270)가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기(270)로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다. 상기 몸체의 압축노드는 이미 압축된 노드의 이름을 저장하고 있는 노드필드 및 이미 압축된 DIBR 객체데이터 파일의 이름을 저장하고 있는 버퍼필드를 구비한다.

상기 몸체의 DepthImage노드는

카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드;

카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함한다.

상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드를 구비하고, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 초기객체기술자 내에 있는, BIFS부호화기(270)가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비한다.

이 때, mux 파일 내의 정보에는 MPEG-4 부호화기인 BIFS부호화기(270)가 실행된 결과 .bifs/.od 가 포함된다. 그리고, mux 파일 내의 정보와 .bifs/.od 파일이 MP4부호화기(280)의 입력으로 들어와 최종 결과 파일(.mp4, 290)이 생성되고, MPEG-4 플레이어에서 그 결과를 볼 수 있다. 실시 예를 들어 더 자세한 설명을 하겠다.

[실시예 1] 다음은 BitWrapper를 사용해 이미 압축된 DIBR 데이터의 비트스트림을 버퍼를 사용해 전송하는 XMT 예제이다.

<XMT-A xmlns="urn:mpeg:mpeg4:xmta:schema:2002">

<Profiles ODProfileLevelIndication="1"

sceneProfileLevelIndication="1"

audioProfileLevelIndication="2"

visualProfileLevelIndication="1"

graphicsProfileLevelIndication="1" />

<Descr>

<ES_Descriptor ES_ID="xyz1" binaryID="301" OCR_ES_Id="101">

<DecoderConfigDescriptor streamType="3"

objectTypeIndication="2"

bufferSizeDB="2000000">

<BIFSv2Config nodeIDbits="10"

routeIDbits="10"

PROTOIDbits="10"

isCommandStream="TRUE">

</BIFSv2Config> </BIFSv2Config>

</decSpecificInfo>

</DecoderConfigDescriptor>

</decConfigDescr>

<custom useAccessUnitStartFlag="true"

useAccessUnitEndFlag="true"

useTimeStampsFlag="TRUE"

timeStampResolution="100"

timeStampLength="14" />

</SLConfigDescriptor>

</slConfigDescr>

</StreamSource>

</ES_Descriptor>

</esDescr>

</Descr>

</InitialObjectDescriptor>

</Header>

<Body>

<Scene>

<Group>

<Viewpoint position = "10 0 0"

orientation = "-0.577 -0.577 -0.577 4.19"

jump = "TRUE">

</Viewpoint>

<SpotLight intensity = "1.2"

color = "1 1 1"

location = "63.32 123.7 65.66"

direction = "-0.4205 -0.783 -0.4583"

cutOffAngle = "1.25"

beamWidth = "0.7645"

on = "true"

radius = "282.5">

</SpotLight>

<node>

</PointTexture>

</node>

</BitWrapper>

<DepthImage orthographic="TRUE"

fieldOfView="20 20"

farPlane="20"

nearPlane="1e-006">

</diTexture>

</DepthImage>

</children>

</Transform>

</children>

</Group>

</Scene>

</Replace>

</Body>

</XMT-A>

도 2에서 실시예 1과 같이 BitWrapper 노드를 사용해 이미 압축된 DIBR 비트스트림을 버퍼로 전송하는 XMT 표현의 입력 파일이 들어오면, XMTRef 파서(Parser, 210)에서 BitWrapper 노드와 매개인자에 대한 XMT-A 스키마와 스타일 쉬트(XMT2BIFS와 XMT2MUX)를 참조하여, MPEG-4 부호화기의 입력 파일(scene 파일과 mux 파일)을 만들어 낸다. 이 결과는 다음과 같다.

- BufferWithoutEP.scene 결과 -

...

REPLACE SCENE BY

Group {

children [

Viewpoint {

jump TRUE

orientation -0.577 -0.577 -0.577 4.19

position 10 0 0

}

SpotLight {

beamWidth 0.7645

color 1 1 1

cutOffAngle 1.25

direction -0.4205 -0.783 -0.4583

intensity 1.2

location 63.32 123.7 65.66

on true

radius 282.5

}

DEF DIBR_PT_Ortho Transform {

rotation 1 0 0 0

children [

BitWrapper {

node DEF DIBR_PointTexture_Buffer PointTexture {

}

type 0

buffer "DIBR_PT_Ortho_test_2X3X4.ptc"

}

DepthImage {

diTexture USE DIBR_PointTexture_Buffer

fieldOfView 20 20

nearPlane 1e-006

farPlane 20

orthographic TRUE

}

]

}

]

}

...

- BufferWithoutEP.mux 결과 -

…

InitialObjectDescriptor {

objectDescriptorID 1

ODProfileLevelIndication 1

sceneProfileLevelIndication 1

audioProfileLevelIndication 2

visualProfileLevelIndication 1

graphicsProfileLevelIndication 1

esDescr [

ES_Descriptor {

ES_ID 301

decConfigDescr DecoderConfigDescriptor {

streamType 3

objectTypeIndication 2

bufferSizeDB 2000000

decSpecificInfo BIFSv2Config {

PROTOIDbits 10

nodeIDbits 10

routeIDbits 10

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName BufferwithoutEP.bif

streamFormat BIFS

}

]

}

위와 같은 scene 파일과 mux 파일은 MPEG-4 부호화기의 입력으로 사용되어, BIFS부호화기를 거쳐 bifs/od 파일을 생성하고, 이 bifs/od 비트스트림과 mux 파일이 MP4부호화기에 입력으로 들어가 하나의 비트스트림(.mp4) 파일을 생성한다. 상기 mp4 파일은 최종 결과로서 MPEG-4 플레이어에서 시각화된다.

(2) 이미 압축된 비트스트림을 사용해 URL로 전송하는 경우이다.

도 2와 도 7을 참조하여 이미 압축된 비트스트림을 사용해 URL로 전송하는 실시 예를 설명하기로 한다.

도 7은 BitWrapper 노드 안에서 이미 압축된 물체 A에 대한 DIBR 데이터(깊이, 색상 등)의 비트스트림(bitstream)이 URL을 사용해 전송되는 방법을 나타낸다.

압축노드(BitWrapper node)내의 url 필드가 기술하는 url ID(예:70)와 동일한 값을 갖는 binary ID를 필드로서 갖는 객체기술자갱신을 수행한다. 상기 객체기술자내의 BitWrapperEncodingHints가 포함하고 있는 이미 압축된 비트스트림이름을 찾는다. 상기 BitWrapperEncodingHints에 있는 비트스트림이름으로 이미 압축된 비트스트림이 전송된다.

도 2에 도시된 바와 같이 XMT 파일(200)이 입력으로 들어오면, XMT 파서(210)에서 XMT-A 스키마(230)를 참조하고, XMT2BIFS 스타일쉬트(240)와 XMT2MUX 스타일쉬트(220)를 사용하여 압축된 비트스트림을 장면 데이터와 함께 scene에 대한 비트스트림에 실어 전송한다.

상기 XMT 입력파일은 초기객체기술자를 포함하는 헤더(Header), 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)를 포함하여 이루어진다.

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기(270)가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다.

상기 몸체의 압축노드는 이미 압축된 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 가지는 객체기술자갱신 내의 객체기술자의 binaryID와 같은 URL ID를 구비한다. 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 몸체의 객체기술자갱신내에 포함된 객체기술자는 몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig) 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비한다.

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 몸체의 객체기술자 갱신 내에 있는 객체기술자와 동일한 객체기술자를 가진다.

상기 scene 파일은 상기 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 가지며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가진다. 이 때, mux 파일 내의 정보에는 MPEG-4 부호화기인 BIFS부호화기(270)가 실행된 결과 .bifs/.od 가 포함된다. 그리고 mux 파일 내의 정보와 .bifs/.od 파일이 MP4부호화기(280)의 입력으로 들어와 최종 결과 파일(mp4, 290)이 생성되고, MPEG-4 플레이어에서 그 결과를 볼 수 있다. 실시 예를 들어 더 자세한 설명을 하겠다.

[실시예 2] 다음은 BitWrapper를 사용해 이미 압축된 3차원 메쉬 정보 비트스트림을 URL을 사용해 전송하는 XMT 예제이다.

<XMT-A xmlns="urn:mpeg:mpeg4:xmta:schema:2002">

<Profiles ODProfileLevelIndication="1"

sceneProfileLevelIndication="1"

audioProfileLevelIndication="2"

visualProfileLevelIndication="1"

graphicsProfileLevelIndication="1" />

<Descr>

<ES_Descriptor ES_ID="xyz" binaryID="201">

<DecoderConfigDescriptor

streamType="1"

objectTypeIndication="2"

bufferSizeDB="2000000">

</DecoderConfigDescriptor>

</decConfigDescr>

<custom

useAccessUnitStartFlag="true"

useAccessUnitEndFlag="true"

useTimeStampsFlag="TRUE"

timeStampResolution="100"

timeStampLength="14" />

</SLConfigDescriptor>

</slConfigDescr>

</StreamSource>

</ES_Descriptor>

</esDescr>

<ES_Descriptor ES_ID="xyz1" binaryID="301" OCR_ES_Id="101">

<DecoderConfigDescriptor

streamType="3"

objectTypeIndication="2"

bufferSizeDB="2000000">

<BIFSv2Config nodeIDbits="10" routeIDbits="10"

PROTOIDbits="10"

isCommandStream="TRUE">

</BIFSv2Config>

</decSpecificInfo>

</DecoderConfigDescriptor>

</decConfigDescr>

<custom useAccessUnitStartFlag="true"

useAccessUnitEndFlag="true"

useTimeStampsFlag="TRUE"

timeStampResolution="100"

timeStampLength="14" />

</SLConfigDescriptor>

</slConfigDescr>

</StreamSource>

</ES_Descriptor>

</esDescr>

</Descr>

</InitialObjectDescriptor>

</Header>

<Body>

<Scene>

<Group>

<Viewpoint position = "10 0 0"

orientation = "-0.577 -0.577 -0.577 4.19"

jump = "TRUE">

</Viewpoint>

<SpotLight intensity = "1.2"

color = "1 1 1"

location = "63.32 123.7 65.66"

direction = "-0.4205 -0.783 -0.4583"

cutOffAngle = "1.25"

beamWidth = "0.7645"

on = "true"

radius = "282.5">

</SpotLight>

<node>

</PointTexture>

</node>

</BitWrapper>

<DepthImage orthographic="TRUE"

fieldOfView="20 20"

farPlane="20"

nearPlane="1e-006">

</diTexture>

</DepthImage>

</children>

</Transform>

</children>

</Group>

</Scene>

</Replace>

<OD>

<Descr>

<ES_Descriptor ES_ID="PI" binaryID="70">

<DecoderConfigDescriptor

streamType="3"

objectTypeIndication="5"

bufferSizeDB="2000000">

</PointTextureCompDecoderSpecific>

</AFXConfig>

</decSpecificInfo>

</DecoderConfigDescriptor>

</decConfigDescr>

<custom

useAccessUnitStartFlag="TRUE"

useAccessUnitEndFlag="TRUE"

useRandomAccessPointFlag="TRUE"

useTimeStampsFlag="TRUE"

timeStampResolution="1000"

timeStampLength="10"

packetSeqNumLength="3"

AU_seqNumLength="8"/>

</SLConfigDescriptor>

</slConfigDescr>

</sourceFormat>

</targetFormat>

</BitWrapperPointTextureEncodingHints>

</BitWrapperEncodingHints>

</StreamSource>

</ES_Descriptor>

</esDescr>

</Descr>

</ObjectDescriptor>

</OD>

</ObjectDescriptorUpdate>

</Body>

</XMT-A>

도 2에서 실시예 2와 같이 BitWrapper 노드를 사용해 이미 압축된 DIBR 데이터 비트스트림을 URL로 전송하는 XMT 표현의 입력 파일이 들어오면, XMT 파서(Parser)가 XMT-A 스키마와 스타일 쉬트(XMT2BIFS와 XMT2MUX) 파일을 참조하여 MPEG-4부호화기의 입력 파일(scene 파일과 mux 파일)을 만들어 낸다. 이 결과는 다음과 같다.

- URLWithoutEP.scene 결과 -

...

REPLACE SCENE BY

Group {

children [

Viewpoint {

jump TRUE

orientation -0.577 -0.577 -0.577 4.19

position 10 0 0

}

SpotLight {

beamWidth 0.7645

color 1 1 1

cutOffAngle 1.25

direction -0.4205 -0.783 -0.4583

intensity 1.2

location 63.32 123.7 65.66

on true

radius 282.5

}

DEF DIBR_PT_Ortho Transform {

rotation 1 0 0 0

children [

BitWrapper {

node DEF DIBR_PointTexture_Url

PointTexture {

}

type 0

url 70

}

DepthImage {

diTexture USE DIBR_PointTexture_Url

fieldOfView 20 20

nearPlane 1e-006

farPlane 20

orthographic TRUE

}

]

}

]

}

UPDATE OD [

ObjectDescriptor {

objectDescriptorID 70

muxScript URLWithoutEP.mux

}

]

- URLWithoutEP.mux 결과 -

...

InitialObjectDescriptor {

objectDescriptorID 1

ODProfileLevelIndication 1

sceneProfileLevelIndication 1

audioProfileLevelIndication 2

visualProfileLevelIndication 1

graphicsProfileLevelIndication 1

esDescr [

ES_Descriptor {

ES_ID 201

decConfigDescr DecoderConfigDescriptor {

streamType 1

objectTypeIndication 2

bufferSizeDB 2000000

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName URLWithoutEP.od

streamFormat BIFS

}

]

esDescr [

ES_Descriptor {

ES_ID 301

decConfigDescr DecoderConfigDescriptor {

streamType 3

objectTypeIndication 2

bufferSizeDB 2000000

decSpecificInfo BIFSv2Config {

PROTOIDbits 10

nodeIDbits 10

routeIDbits 10

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName URLWithoutEP.bif

streamFormat BIFS

}

]

}

ObjectDescriptor {

objectDescriptorID 70

esDescr [

ES_Descriptor {

ES_ID 70

decConfigDescr DecoderConfigDescriptor {

streamType 3

objectTypeIndication 5

bufferSizeDB 2000000

decSpecificInfo AFXConfig {

afxext PointTextureCompDecoderSpecific { }

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag TRUE

useAccessUnitEndFlag TRUE

useRandomAccessPointFlag TRUE

timeStampResolution 1000

timeStampLength 10

AU_seqNumLength 8

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName

"DIBR_PT_URL_Ortho_test2X3X4.ptc"

streamFormat PointTextureCompression

}

]

}

위와 같은 scene 파일과 mux 파일은 MPEG-4부호화기의 입력으로 사용된다. scene 파일은 BIFS부호화기를 거쳐 .bifs/.od 파일을 생성하고, 이 .bifs/.od 파일과 mux 파일이 MP4부호화기에 입력으로 들어가 하나의 비트스트림(mp4) 파일을 생성한다. 상기 mp4 파일은 최종 결과로서 MPEG-4 플레이어에서 시각화된다.

(3) 압축되지 않은 DIBR 객체 데이터를 매개인자(encoding parameter)를 사용해 비트스트림을 만들어 버퍼로 전송하는 경우이다.

도 2와 도 8를 참조하여 객체 데이터를 매개 인자를 사용해 비트스트림을 만들어 버퍼로 전송하는 실시 예를 설명하기로 한다.

도 8은 물체 A에 대한 DIBR 객체 데이터(깊이, 색상 등)는 매개인자를 이용해 AFX부호화기(260)를 통해 압축되어 물체 A에 압축된 비트스트림(bitstream)을 만든다. 상기 만들어진 압축된 비트스트림은 상기 압축노드내의 버퍼필드의 압축된 비트스트림 이름 ("BufferWithEP.m3d")으로 전송된다.

도 2에 도시된 바와 같이 XMT 파일(200)이 입력으로 들어오면, XMT 파서(210)에서 XMT-A 스키마(230)를 참조하고, 스타일 쉬트(XMT2BIFS, XMT2MUX)를 사용하여 비트스트림이 장면 데이터와 함께 scene에 대한 비트스트림에 실어 전송된다. 상기 XMT 입력파일(200)은 초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 구비하는 몸체(body)를 포함하여 이루어진다. 상기 헤더의 초기객체기술자는 BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기(270)로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다.

상기 몸체의 압축노드는 압축될 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드필드 내에 있는 압축 될 DIBR 객체 데이터, 상기 DIBR 객체 데이터 압축에 사용되는 DIBR 압축매개인자 및 DIBR 압축매개인자를 사용하여 압축된 DIBR 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비한다. 상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포 함하고,

상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함한다. 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 초기객체기술자 내에 있는, BIFS 부호화기가 출력으로 생성하는 파일의 스트림포맷 정보를 포함한다. 이 때, mux 파일과 scene파일은 AFX부호화기(260)에 입력되어, scene 파일에 있는 객체 데이터는 압축되고, 수정된 mux 파일과 수정된 scene파일로 생성된다.

상기 DIBR 객체 데이터의 압축은 다음과 같이 이루어진다. 상기 판단결과 DIBR 데이터가 압축되지 않았다고 판단되면, scene파일의 압축노드 내에 있는 DIBR 객체 데이터와 DIBR 압축매개인자를 저장한다. 상기 저장된 DIBR 객체 데이터가 있는 압축노드의 노드필드 내에 DIBR 객체와 상응하는 소정의 부호화기에 상기 DIBR 객체 데이터와 DIBR 압축매개인자를 넘겨준다. 상기 DIBR 압축매개인자를 사용하여 DIBR 객체 데이터를 압축하여 비트스트림으로 생성한다.

상기 수정된 mux 파일 내의 정보에는 MPEG-4부호화기인 BIFS부호화기(270)가 실행된 결과인 .bifs/.od 가 포함된다. 그리고 수정된 mux 파일 내의 정보와 .bifs/.od 파일이 MP4 부호화기(280)의 입력으로 들어와 최종 결과 파일(mp4)이 생성되고, MPEG-4 플레이어(Player)에서 그 결과를 볼 수 있다. 실시 예를 들어 보다 자세한 설명을 한다.

[실시예 3] 다음은 BitWrapper를 사용해 원본의 DIBR 데이터를 DIBR 압축 매개인자를 사용해 비트스트림을 만들고 버퍼를 사용해 전송하는 XMT 예제이다.

<XMT-A xmlns="urn:mpeg:mpeg4:xmta:schema:2002">

<Profiles ODProfileLevelIndication="1"

sceneProfileLevelIndication="1"

audioProfileLevelIndication="2"

visualProfileLevelIndication="1"

graphicsProfileLevelIndication="1" />

<Descr>

<ES_Descriptor ES_ID="xyz1" binaryID="301" OCR_ES_Id="101">

<DecoderConfigDescriptor

streamType="3"

objectTypeIndication="2"

bufferSizeDB="2000000">

<BIFSv2Config nodeIDbits="10"

routeIDbits="10"

PROTOIDbits="10"

isCommandStream="TRUE"> </BIFSv2Config>

</decSpecificInfo>

</DecoderConfigDescriptor>

</decConfigDescr>

<custom

useAccessUnitStartFlag="true"

useAccessUnitEndFlag="true"

useTimeStampsFlag="TRUE"

timeStampResolution="100"

timeStampLength="14" />

</SLConfigDescriptor>

</slConfigDescr>

</StreamSource>

</ES_Descriptor>

</esDescr>

</Descr>

</InitialObjectDescriptor>

</Header>

<Body>

<Scene>

<Group>

<Viewpoint position = "10 0 0"

orientation = "-0.577 -0.577 -0.577 4.19"

jump = "TRUE">

</Viewpoint>

<SpotLight intensity = "1.2"

color = "1 1 1"

location = "63.32 123.7 65.66"

direction = "-0.4205 -0.783 -0.4583"

cutOffAngle = "1.25"

beamWidth = "0.7645"

on = "true"

radius = "282.5">

</SpotLight>

<node>

<PointTexture DEF="DIBR_PointTexture_Buffer"

width="2" height="3"

depthNbBits="1"

depth="8, 3, 2, 1, 0, 0, 1, 2, 3,

1, 0,

3, 1, 2, 3,

2, 0, 1,

2, 2, 3,

3, 0, 1, 2,"

color="0 0 1, 0 1 0, 1 0 0, 1 1 1, 1 1 1, 1 0 0, 0 1 0, 0 0 1,1 1 1, 1 0 0, 0 1 0, 0 0 1, 1 1 1, 1 0 0, 0 1 0, 0 0 1, 1 1 1, 1 0 0, 0 1 0,">

</PointTexture>

</node>

</PointTextureEncodingParameter>

</BitWrapper>

<DepthImage orthographic="TRUE"

fieldOfView="20 20"

farPlane="20"

nearPlane="1e-006">

</diTexture>

</DepthImage>

</children>

</Transform>

</children>

</Group>

</Scene>

</Replace>

</Body>

</XMT-A>

BitWrapper 노드를 사용해 DIBR 데이터와 DIBR 압축매개인자를 사용해 압축하는 XMT 표현의 입력 파일이 들어오면, XMT파서(210)에서 XMT-A 스키마(230)와 스타일 쉬트(XMT2BIFS와 XMT2MUX) 파일을 참조하여, BitWrapper 노드 안에서의 DIBR 데이터와 압축매개인자와 장면정보를 scene파일로 출력하고, 객체 데이터가 어떻게 전송될 지 또는 다른 데이터와의 동기화가 어떻게 되는지에 대한 정보를 mux 파일에 출력한다.

- BufferWithEP.scene 파일 -

...

REPLACE SCENE BY

Group {

children [

Viewpoint {

jump TRUE

orientation -0.577 -0.577 -0.577 4.19

position 10 0 0

}

SpotLight {

beamWidth 0.7645

color 1 1 1

cutOffAngle 1.25

direction -0.4205 -0.783 -0.4583

intensity 1.2

location 63.32 123.7 65.66

on true

radius 282.5

}

DEF DIBR_PT_Ortho Transform {

rotation 1 0 0 0

children [

BitWrapper {

node DEF DIBR_PointTexture_Buffer

PointTexture {

width 2

height 3

depthNbBits 1

depth [ 8, 3, 2, 1, 0, 0, 1, 2, 3, 1, 0, 3, 1, 2, 3, 2, 0, 1, 2, 2, 3, 3, 0, 1, 2, ]

color [ 0 0 1, 0 1 0, 1 0 0, 1 1 1, 1 1 1, 1 0 0, 0 1 0, 0 0 1, 1 1 1, 1 0 0, 0 1 0, 0 0 1, 1 1 1, 1 0 0, 0 1 0, 0 0 1, 1 1 1, 1 0 0, 0 1 0, ]

}

PointTextureEncodingParameter {

codingPercent 100

}

type 0

buffer "DIBR_PT_Ortho_test_2X3X4.ptc"

}

DepthImage {

diTexture USE DIBR_PointTexture_Buffer

fieldOfView 20 20

nearPlane 1e-006

farPlane 20

orthographic TRUE

}

]

}

]

}

- BufferWithEP.mux 파일 -

InitialObjectDescriptor {

objectDescriptorID 1

ODProfileLevelIndication 1

sceneProfileLevelIndication 1

audioProfileLevelIndication 2

visualProfileLevelIndication 1

graphicsProfileLevelIndication 1

esDescr [

ES_Descriptor {

ES_ID 301

decConfigDescr DecoderConfigDescriptor {

streamType 3

objectTypeIndication 2

bufferSizeDB 2000000

decSpecificInfo BIFSv2Config {

PROTOIDbits 10

nodeIDbits 10

routeIDbits 10

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName BufferwithEP.bif

streamFormat BIFS

}

]

}

위와 같은 scene 파일과 mux 파일은 MPEG-4부호화기의 입력파일로는 적합하지 않다. 따라서 AFX부호화기를 거치면 다음과 같이 MPEG-4부호화기의 입력파일에 알맞은 형태로 변환해 주고, 3차원 메쉬정보에 관한 부호화기에서 압축비트스트림도 생성된다.

- BufferWithEP_modified.scene 파일 -

REPLACE SCENE BY

Group

{

children [

Viewpoint {

jump TRUE

orientation -0.577 -0.577 -0.577 4.19

position 10 0 0

}

SpotLight {

beamWidth 0.7645

color 1 1 1

cutOffAngle 1.25

direction -0.4205 -0.783 -0.4583

intensity 1.2

location 63.32 123.7 65.66

on true

radius 282.5

}

DEF DIBR_PT_Ortho Transform {

rotation 1 0 0 0

children [

BitWrapper

{

node DEF DIBR_PointTexture_Buffer PointTexture

{

}

type 0

buffer "DIBR_PT_Ortho_test_2X3X4.ptc"

}

DepthImage {

diTexture USE DIBR_PointTexture_Buffer

fieldOfView 20 20

nearPlane 1e-006

farPlane 20

orthographic TRUE

}

]

}

]

}

- BufferWithEP_modified.mux 파일 -

InitialObjectDescriptor {

objectDescriptorID 1

ODProfileLevelIndication 1

sceneProfileLevelIndication 1

audioProfileLevelIndication 2

visualProfileLevelIndication 1

graphicsProfileLevelIndication 1

esDescr [

ES_Descriptor {

ES_ID 301

decConfigDescr DecoderConfigDescriptor

{

streamType 3

objectTypeIndication 2

bufferSizeDB 2000000

decSpecificInfo BIFSv2Config

{

PROTOIDbits 10

nodeIDbits 10

routeIDbits 10

}

slConfigDescr SLConfigDescriptor

{

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo

{

fileName "DIBR_PT_test2X3X4BufferwithEP_modified.bif"

streamFormat BIFS

}

]

}

위와 같이 AFX 부호화기를 거친 _modified.scene 파일과 _modified.mux 파일은 MPEG-4 플레이어의 입력으로 사용되어 BIFS 부호화기(270)를 거쳐 bifs/od 파일을 생성하고, 이 bifs/od 파일과 mux 파일이 MP4부호화기(280)에 입력으로 들어가 하나의 비트스트림(mp4) 파일을 생성한다. 상기 mp4 파일은 최종 결과로서 MPEG-4 플레이어에서 다음과 같이 시각화된다.

(4) 원본 DIBR 데이터를 DIBR 압축매개인자를 사용해 비트스트림을 만들어 URL로 전송하는 경우이다. 도 2와 도 9를 참조하여 원본 데이터를 매개 인자를 사용해 비트스트림을 만들어 URL로 전송하는 실시 예를 설명하겠다.

도 9는 BitWrapper 노드 안에서 물체 A에 대한 DIBR 객체 데이터(깊이, 색상 등)가 매개인자를 이용해 AFX부호화기(260)를 통해 압축된 물체 A에 대한 압축된 비트스트림(bitstream)으로 URL로 전송되는 방법을 나타낸다.

압축노드(BitWrapper node)내의 노드 필드내의 3차원 객체 데이터는 압축매개인자를 이용하여 AFX부호화기에서 압축되어 압축된 비트스트림으로 만들어진다. 그리고 상기 노드 내의 url 필드가 기술하는 url ID(예:12)와 동일한 값을 갖는 binary를 필드로서 갖는 객체기술자를 찾는다. 상기 객체기술자내의 BitWrapperEncodingHints가 포함하고 있는 압축된 비트스트림이름을 찾는다. AFX부호화기를 통해 압축된 비트스트림은 상기 BitWrapperEncodingHints에 있는 비트스트림이름으로 전송된다.

도 2에서와 같이 입력 XMT 파일(200)이 입력으로 들어오면, XMT 파서(210)에서 XMT-A 스키마(230)를 참조하고, 스타일 쉬트(XMT2BIFS, XMT2MUX)를 사용하여 mux파일과 scene파일을 생성하고, 상기 mux파일과 scene파일은 AFX부호화기(260)를 통해 압축노드 내의 노드 필드가 포함하고 있는 객체 데이터가 압축되지 않았다고 판단되면, 상기 객체 데이터는 상기 객체와 상응하는 압축 매개인자를 이용하여 압축되고, 그 비트스트림은 url로 실어 MP4부호화기(280)로 전송된다. 또한 AFX부호화기(260)에서 BIFS부호화기(270)와 MP4부호화기(280)에 적합한 입력 파일(수정된 scene 파일과 수정된 mux 파일)을 만든다. BIFS부호화기(270)는 장면정보와 함께 AFX부호화기(260)를 통해 압축된 DIBR 객체 데이터에 대한 비트스트림이 저장될 파일이름을 포함하는 mux 파일과 연결될 정보를 포함하는 scene 파일을 입력으로 받아 scene에 대한 비트스트림(.bifs/.od)에 실어 MP4부호화기(280)로 전송된다. 상기 MP4부호화기(280)에서 상기 AFX부호화기(260)를 통해 압축된 DIBR 객체 데이터에 대한 비트스트림이 저장될 파일이름을 포함하는 mux파일과 압축된 비트스트림과 상기 BIFS부호화기(270)의 출력 비트스트림을 입력으로 받아 muxing하여 MP4파일을 출력한다.

상기 XMT 입력파일(200)은 초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)를 포함하여 이루어진다.

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다. 상기 몸체의 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축할 DIBR 객체 데이터, 상기 DIBR 객체 데이터의 압축에 사용되는 DIBR 압축매개인자, 및 DIBR 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장 될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내에 있는 객체기술자의 binaryID와 같은 URL ID가 저장된 필드를 포함한다.

상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig) 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비한다.

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가진다. 상기 scene 파일은 상기 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가진다.

그리고 mux 파일의 내용에는 MPEG-4부호화기인 BIFS부호화기가 실행된 결과인 .bifs/.od 가 포함된다. 또한 물체 A의 압축된 비트스트림 파일이름도 포함된다. 이 때, mux 파일과 scene파일은 AFX부호화기에 입력되어, scene 파일에 있는 객체 데이터는 압축되고, 수정된 mux 파일과 수정된 scene파일로 생성된다.

상기 객체 데이터의 압축은 다음과 같이 이루어진다. 상기 판단결과 그래픽데이터가 압축되지 않았다고 판단되면, scene파일의 압축노드 내에 있는 객체 데이터와 압축매개인자를 저장한다. 상기 저장된 객체 데이터가 있는 압축노드의 노드필드 내에 그래픽 객체와 상응하는 소정의 부호화기에 상기 객체 데이터와 압축매개인자를 넘겨준다. 상기 압축매개인자를 사용하여 객체 데이터를 압축하여 비트스트림으로 생성한다.

상기 수정된 mux 내의 정보에는 MPEG-4부호화기인 BIFS 부호화기가 실행된 결과인 .bifs/.od 가 포함된다. 그리고 수정된 mux 파일 내의 정보와 .bifs/.od 파일이 MP4 부호화기의 입력으로 들어와 최종 결과 파일(mp4)이 생성되고, MPEG-4 플레이어(Player)에서 그 결과를 볼 수 있다. 실시 예를 들어 더 자세한 설명을 하겠다.

[실시예 4] 다음은 BitWrapper를 사용해 원본의 DIBR 데이터를 DIBR 압축 매개인자를 사용해 비트스트림을 만들고 URL을 사용해 전송하는 XMT 예제이다.

<XMT-A xmlns="urn:mpeg:mpeg4:xmta:schema:2002">

<Profiles ODProfileLevelIndication="1"

sceneProfileLevelIndication="1"

audioProfileLevelIndication="2"

visualProfileLevelIndication="1"

graphicsProfileLevelIndication="1" />

<Descr>

<ES_Descriptor ES_ID="xyz" binaryID="201">

<DecoderConfigDescriptor

streamType="1"

objectTypeIndication="2"

bufferSizeDB="2000000">

</DecoderConfigDescriptor>

</decConfigDescr>

<custom

useAccessUnitStartFlag="true"

useAccessUnitEndFlag="true"

useTimeStampsFlag="TRUE"

timeStampResolution="100"

timeStampLength="14" />

</SLConfigDescriptor>

</slConfigDescr>

</StreamSource>

</ES_Descriptor>

</esDescr>

<ES_Descriptor ES_ID="xyz1" binaryID="301" OCR_ES_Id="101">

<DecoderConfigDescriptor

streamType="3"

objectTypeIndication="2"

bufferSizeDB="2000000">

<BIFSv2Config

nodeIDbits="10"

routeIDbits="10"

PROTOIDbits="10"

isCommandStream="TRUE">

</BIFSv2Config>

</decSpecificInfo>

</DecoderConfigDescriptor>

</decConfigDescr>

<custom

useAccessUnitStartFlag="true"

useAccessUnitEndFlag="true"

useTimeStampsFlag="TRUE"

timeStampResolution="100"

timeStampLength="14" />

</SLConfigDescriptor>

</slConfigDescr>

</StreamSource>

</ES_Descriptor>

</esDescr>

</Descr>

</InitialObjectDescriptor>

</Header>

<Body>

<Scene>

<Group>

<Viewpoint position = "10 0 0"

orientation = "-0.577 -0.577 -0.577 4.19"

jump = "TRUE">

</Viewpoint>

<SpotLight intensity = "1.2"

color = "1 1 1"

location = "63.32 123.7 65.66"

direction = "-0.4205 -0.783 -0.4583"

cutOffAngle = "1.25"

beamWidth = "0.7645"

on = "true"

radius = "282.5">

</SpotLight>

<node>

<PointTexture DEF="DIBR_PointTexture_Url"

width="2"

height="3"

depthNbBits="1"

depth="

8, 3, 2, 1, 0, 0, 1, 2, 3, 1, 0, 3, 1, 2, 3, 2, 0, 1, 2, 2, 3, 3, 0, 1, 2, "

color="

0 0 1, 0 1 0, 1 0 0, 1 1 1, 1 1 1, 1 0 0, 0 1 0, 0 0 1, 1 1 1, 1 0 0, 0 1 0, 0 0 1, 1 1 1, 1 0 0,

0 1 0, 0 0 1, 1 1 1, 1 0 0, 0 1 0,">

</PointTexture>

</node>

</PointTextureEncodingParameter>

</BitWrapper>

<DepthImage orthographic="TRUE"

fieldOfView="20 20"

farPlane="20"

nearPlane="1e-006">

</diTexture>

</DepthImage>

</children>

</Transform>

</children>

</Group>

</Scene>

</Replace>

<OD>

<Descr>

<ES_Descriptor ES_ID="PI" binaryID="70">

<DecoderConfigDescriptor

streamType="3"objectTypeIndication="5"

bufferSizeDB="2000000">

</PointTextureCompDecoderSpecific>

</AFXConfig>

</decSpecificInfo>

</DecoderConfigDescriptor>

</decConfigDescr>

<custom

useAccessUnitStartFlag="TRUE"

useAccessUnitEndFlag="TRUE"

useRandomAccessPointFlag="TRUE"

useTimeStampsFlag="TRUE"

timeStampResolution="1000"

timeStampLength="10"

packetSeqNumLength="3"

AU_seqNumLength="8"/>

</SLConfigDescriptor>

</slConfigDescr>

</sourceFormat>

</targetFormat>

</BitWrapperPointTextureEncodingHints>

</BitWrapperEncodingHints>

</StreamSource>

</ES_Descriptor>

</esDescr>

</Descr>

</ObjectDescriptor>

</OD>

</ObjectDescriptorUpdate>

</Body>

</XMT-A>

BitWrapper 노드를 사용해 DIBR 데이터와 DIBR 압축매개인자를 사용해 압축하는 XMT 표현의 입력파일이 들어오면, XMT파서(210)에서 XMT-A 스키마(230)와 스타일 쉬트(XMT2BIFS와 XMT2MUX) 파일을 참조하여, BitWrapper노드 안에서의 DIBR 데이터와 DIBR 압축매개인자와 장면 정보를 .scene파일로 출력하고, 데이터를 어떻게 전송할지 또는 다른 데이터와의 동기화를 어떻게 시키는지에 대한 .mux 파일에 출력한다.

- URLWithEP.scene 결과 -

...

REPLACE SCENE BY

Group {

children [

Viewpoint {

jump TRUE

orientation -0.577 -0.577 -0.577 4.19

position 10 0 0

}

SpotLight {

beamWidth 0.7645

color 1 1 1

cutOffAngle 1.25

direction -0.4205 -0.783 -0.4583

intensity 1.2

location 63.32 123.7 65.66

on true

radius 282.5

}

DEF DIBR_PT_Ortho Transform {

rotation 1 0 0 0

children [

BitWrapper {

node DEF DIBR_PointTexture_Url

PointTexture {

width 2

height 3

depthNbBits 1

}

PointTextureEncodingParameter {

codingPercent 100

}

type 0

url 70

}

DepthImage {

diTexture USE DIBR_PointTexture_Url

fieldOfView 20 20

nearPlane 1e-006

farPlane 20

orthographic TRUE

}

]

}

]

}

UPDATE OD [

ObjectDescriptor {

objectDescriptorID 70

muxScript URLWithEP.mux

}

]

- URLWithEP.mux 결과 -

...

InitialObjectDescriptor {

objectDescriptorID 1

ODProfileLevelIndication 1

sceneProfileLevelIndication 1

audioProfileLevelIndication 2

visualProfileLevelIndication 1

graphicsProfileLevelIndication 1

esDescr [

ES_Descriptor {

ES_ID 201

decConfigDescr DecoderConfigDescriptor {

streamType 1

objectTypeIndication 2

bufferSizeDB 2000000

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName URLWithEP.od

streamFormat BIFS

}

]

esDescr [

ES_Descriptor {

ES_ID 301

decConfigDescr DecoderConfigDescriptor {

streamType 3

objectTypeIndication 2

bufferSizeDB 2000000

decSpecificInfo BIFSv2Config {

PROTOIDbits 10

nodeIDbits 10

routeIDbits 10

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName URLWithEP.bif

streamFormat BIFS

}

]

}

ObjectDescriptor {

objectDescriptorID 70

esDescr [

ES_Descriptor {

ES_ID 70

decConfigDescr DecoderConfigDescriptor {

streamType 3

objectTypeIndication 5

bufferSizeDB 2000000

decSpecificInfo AFXConfig {

afxext PointTextureCompDecoderSpecific { }

}

slConfigDescr SLConfigDescriptor {

useAccessUnitStartFlag TRUE

useAccessUnitEndFlag TRUE

useRandomAccessPointFlag TRUE

timeStampResolution 1000

timeStampLength 10

AU_seqNumLength 8

useTimeStampsFlag TRUE

}

muxInfo MuxInfo {

fileName

"DIBR_PT_URL_Ortho_test2X3X4.ptc"

streamFormat PointTextureCompression

}

]

}

상기 두 파일은 MPEG-4 부호화기의 입력 파일에 적합하지 않다. 따라서 AFX 부호화기를 거치면 다음과 같이 MPEG-4 부호화기의 입력 파일에 알맞은 형태로 변환해 주고, DIBR 데이터에 관한 부호화기 에서 압축 비트스트림도 생성한다.

- URLWithEP_modified.scene 결과 -

REPLACE SCENE BY

Group

{

children [

Viewpoint {

jump TRUE

orientation -0.577 -0.577 -0.577 4.19

position 10 0 0

}

SpotLight {

beamWidth 0.7645

color 1 1 1

cutOffAngle 1.25

direction -0.4205 -0.783 -0.4583

intensity 1.2

location 63.32 123.7 65.66

on true

radius 282.5

}

DEF DIBR_PT_Ortho Transform {

rotation 1 0 0 0

children [

BitWrapper

{

node DEF DIBR_PointTexture_Url PointTexture

{

}

type 0

url 70

}

DepthImage {

diTexture USE DIBR_PointTexture_Url

fieldOfView 20 20

nearPlane 1e-006

farPlane 20

orthographic TRUE

}

]

}

]

}

UPDATE OD [

ObjectDescriptor {

objectDescriptorID 70

muxScript URLWithEP_modified.mux

}

]

- URLWithEP_modified.mux 결과 -

InitialObjectDescriptor {

objectDescriptorID 1

ODProfileLevelIndication 1

sceneProfileLevelIndication 1

audioProfileLevelIndication 2

visualProfileLevelIndication 1

graphicsProfileLevelIndication 1

esDescr [

ES_Descriptor {

ES_ID 201

decConfigDescr DecoderConfigDescriptor

{

streamType 1

objectTypeIndication 2

bufferSizeDB 2000000

}

slConfigDescr SLConfigDescriptor

{

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo

{

fileName " URLWithEP_modified.od"

streamFormat BIFS

}

]

esDescr [

ES_Descriptor {

ES_ID 301

decConfigDescr DecoderConfigDescriptor

{

streamType 3

objectTypeIndication 2

bufferSizeDB 2000000

decSpecificInfo BIFSv2Config

{

PROTOIDbits 10

nodeIDbits 10

routeIDbits 10

}

slConfigDescr SLConfigDescriptor

{

useAccessUnitStartFlag true

useAccessUnitEndFlag true

timeStampResolution 100

timeStampLength 14

useTimeStampsFlag TRUE

}

muxInfo MuxInfo

{

fileName " URLWithEP_modified.bif"

streamFormat BIFS

}

]

}

ObjectDescriptor {

objectDescriptorID 70

esDescr [

ES_Descriptor {

ES_ID 70

decConfigDescr DecoderConfigDescriptor

{

streamType 3

objectTypeIndication 5

bufferSizeDB 2000000

decSpecificInfo AFXConfig

{

afxext PointTextureCompDecoderSpecific

{

}

slConfigDescr SLConfigDescriptor

{

useAccessUnitStartFlag TRUE

useAccessUnitEndFlag TRUE

useRandomAccessPointFlag TRUE

timeStampResolution 1000

timeStampLength 10

AU_seqNumLength 8

useTimeStampsFlag TRUE

}

muxInfo MuxInfo

{

fileName "DIBR_PT_URL_Ortho_test2X3X4.ptc"

streamFormat PointTextureCompression

}

]

}

상기 _modified.scene 파일과 _modified.mux 파일은 MPEG-4 부호화기의 입력으로 사용되어, BIFS부호화기를 거쳐 .bifs/.od 파일을 생성하고, 이 .bifs/.od 비트스트림과 mux 파일이 MP4 부호화기(280)에 입력으로 들어가 비트스트림(mp4) 파일을 생성한다. 이 mp4 파일은 최종 결과로서 다음과 같이 MPEG-4 플레이어에서 시각화된다.

(5) 객체 데이터를 매개 인자를 사용해 비트스트림을 만들어 buffer로 전송하는 경우와 URL로 전송하는 경우이다.

도 2에서와 같이 입력 XMT 파일에 명시되어 입력으로 들어오면, XMT 파서에서 XMT-A 스키마를 참조하고, 스타일 쉬트(XMT2BIFS, XMT2MUX)를 사용하여 mux파일과 scene파일을 생성하고, 상기 mux파일과 scene파일은 AFX부호화기(260)를 통해 압축노드 내의 노드 필드가 포함하고 있는 객체 데이터가 압축되지 않았다고 판단되면, 상기 객체 데이터는 상기 객체와 상응하는 압축 매개인자를 이용하여 압축되고, 그 비트스트림은 buffer 또는 url로 실어 MP4부호화기로 전송된다. 또한 AFX부호화기에서 BIFS부호화기와 MP4부호화기에 적합한 입력 파일(수정된 scene 파일과 수정된 mux 파일)을 만든다. BIFS부호화기는 장면정보와 함께 AFX부호화기(260)를 통해 압축된 객체 데이터에 대한 비트스트림이 저장될 파일이름(buffer일 경우)과 AFX부호화기를 통해 압축된 객체 데이터에 대한 비트스트림이 저장될 파일이름을 포함하는 mux 파일과 연결될 정보(url일 경우)를 포함하는 scene 파일을 입력으로 받아 scene에 대한 비트스트림(bifs/od)에 실어 MP4부호화기(280)로 전송된다. MP4부호화기(280)에서 상기 AFX부호화기(260)를 통해 압축된 객체 데이터에 대한 비트스트림이 저장될 파일이름을 포함하는 mux파일과 압축된 비트스트림과 상기 BIFS부호화기(270)의 출력 비트스트림을 입력으로 받아 muxing하여 MP4파일을 출력한다.

상기 XMT입력파일(200)은 크게 헤더(header) 및 몸체(body)로 이루어진다. 상기 헤더는 초기객체기술자를 포함한다. 상기 몸체는 버퍼필드를 구비하는 적어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비한다.

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비한다. 상기 몸체에서 버퍼필드를 구비하는 압축노드는 압축 될 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 될 객체 데이터, 상기 객체 데이터 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일 이름을 저장하는 버퍼필드를 구비한다. 상기 몸체의 url필드를 구비하는 압축노드는 압축 될 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 될 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내에 있는 객체기술자의 binaryID와 같은 URL ID가 저장된 필드를 구비한다. 상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig) 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비한다.

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고, 상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가진다. 상기 scene 파일은 상기 몸체(body)와 동일한 압축노드 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신을 가진다.

이 때, 상기 scene파일이 압축되지 않은 DIBR 객체 데이터를 포함하고 있는 지 판단한다. 상기 판단결과 DIBR 객체 데이터가 압축된 것이면, 상기 mux 파일 내의 정보에는 MPEG-4부호화기인 BIFS부호화기(270)가 실행된 결과 .bifs/.od 가 포함된다. 그리고, mux 파일 내의 정보와 .bifs/.od 파일이 MP4부호화기(280)의 입력으로 들어와 최종 결과 파일(mp4, 290)이 생성되고, MPEG-4 플레이어에서 그 결과를 볼 수 있다.

상기 판단결과 DIBR 객체 데이터가 압축되지 않았으면, mux 파일과 scene파일은 AFX부호화기(260)에 입력된다. 상기 scene 파일에 있는 DIBR 객체 데이터는 압축되고, 수정된 mux 파일과 수정된 scene파일로 생성된다.

상기 DIBR 객체 데이터의 압축은 다음과 같이 이루어진다. 상기 판단결과 DIBR 객체 데이터가 압축되지 않았다고 판단되면, scene파일의 압축노드 내에 있는 DIBR 객체 데이터와 DIBR 압축매개인자를 저장한다. 상기 저장된 DIBR 객체 데이터를 포함하고 있는 압축노드의 노드필드 내에 DIBR 객체와 상응하는 소정의 부호화기에 상기 DIBR 객체 데이터와 DIBR 압축매개인자를 넘겨준다. 상기 DIBR 압축매개인자를 사용하여 객체 데이터를 압축하여 비트스트림으로 생성한다.

상기 수정된 mux 파일 내의 정보에는 MPEG-4부호화기인 BIFS 부호화기(270)가 실행된 결과인 .bifs/.od 가 포함된다. 그리고 수정된 mux 파일 내의 정보와 .bifs/.od 파일이 MP4 부호화기의 입력으로 들어와 최종 결과 파일(mp4)이 생성되고, MPEG-4 플레이어(Player)에서 그 결과를 볼 수 있다.

[실시예 5] 포인터 텍스쳐 데이터와 옥트리 데이터가 포함된 DIBR 데이터이다. 상기 포인트 텍스쳐 데이터 및 옥트리 데이터가 각각 압축노드(BitWrapper)에 포함되어 있다. 따라서 압축노드(BitWrapper)를 사용해 원본의 데이터들을 DIBR 압축매개인자를 사용해 비트스트림을 만들고 buffer로 전송하는 경우와 URL을 사용해 전송하는 경우이다.

압축노드(BitWrapper) 노드를 사용해 포인트 텍스쳐 데이터와 옥트리 데이터를 그 압축매개인자를 사용해 압축하는 XMT 표현의 입력파일이 들어오면, XMTParser에서 XMT-A 스키마와 스타일 쉬트(XMT2BIFS와 XMT2MUX) 파일을 참조하여, 압축노드(BitWrapper) 안에 있는 원본 데이터와 DIBR압축매개인자들을 장면정보, buffer를 사용한 경우에 대한 압축 비트스트림 이름, url을 사용한 경우에 대한 객체기술자갱신에 대한 정보를 scene 파일로 출력하고, 데이터를 어떻게 전송할지 또는 다른 데이터와의 동기화를 어떻게 시키는지에 대한 정보, BIFS부호화기의 출력 파일명, url을 사용한 경우에 대한 압축 비트스트림 이름을 mux 파일에 출력한다.

상기 두 파일은 MPEG-4 부호화기의 입력 파일에 적합하지 않다. 따라서 AFX 부호화기를 거치면 MPEG-4 부호화기의 입력 파일에 알맞은 형태의 _modified.scene 파일과 _modified.mux 파일로 변환해 주고, 그래픽 데이터에 관한 부호화기에서 압축 비트스트림도 생성한다.

상기 _modified.scene 파일과 _modified.mux 파일은 MPEG-4 부호화기의 입력으로 사용되어, BIFS 부호화기(270)를 거쳐 .bifs/.od 파일을 생성하고, 이 .bifs/.od 비트스트림과 mux 파일이 MP4부호화기에 입력으로 들어가 비트스트림([".]mp4["]) 파일을 생성한다. 이 mp4 파일은 최종 결과로서 다음과 같이 MPEG-4 플레이어에서 시각화된다.

한편 상술한 바와 같이 본 발명에서 사용되는 그랙픽 데이터는 3차원 그래픽 데이터를 위주로 설명되었으나, 2차원 그래픽 데이터도 본 발명에 적용가능하다.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명에 의한 DIBR 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법 및 시스템에 의하면, 저작자가 이미 압축된 비트스트림이 포함된 입력 파일을 사용하는 경우와 압축되지 않은 데이터와 압축매개인자를 포함한 입력 파일을 사용하는 경우에 대해서, 메타 표현 방법을 사용해서 3D 컨텐츠 저작단계에서 DIBR 데이터의 표현 및 압축을 쉽게 조절할 수 있고, MPEG-4 부호화기에 알맞은 입력파일을 생성할 수 있다.

그러므로 저작 단계에서 저작자가 3차원 그래픽 데이터를 압축할 수 있기 때 문에 낮은 네트워크 대역폭(bandwidth)에서도 DIBR 데이터의 실시간 시각화 또는 실시간 애니메이션을 가능하게 할 수 있다.

Claims

(a) 압축하고자 하는 깊이영상기반 표현(Depth Image Based Representation, 이하 DIBR 이라 한다) 데이터에 관한 정보를 포함하고 있고, 상기 DIBR 데이터의 압축에 필요한 DIBR 압축매개인자(encoding parameter)를 포함하고 있는 압축노드, 상기 DIBR 압축 비트스트림 포맷을 포함하는 BitWrapperEncodingHints 및 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 포함하는 AFXConfig를 정의하고 있는 XMT 스키마를 구비하는 단계;

(b) DIBR 데이터를 포함하는 XMT 입력파일을 상기 XMT 스키마를 참조하여 scene 파일로의 변환을 지원하는 XMT2BIFS 스타일 쉬트와, 상기 XMT 입력파일을 상기 XMT 스키마를 참조하여 mux 파일로의 변환을 지원하는 XMT2MUX 스타일 쉬트를 구비하는 단계;

(c) 상기 XMT 입력파일을 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용해서 파싱하여 scene 파일 및 mux 파일을 생성하는 단계;

(d) 상기 파싱결과 생성된 scene 파일이, 압축되지 않은 DIBR 객체 데이터를 포함하고 있는지 판단하는 단계; 및

(e) 상기 판단결과 DIBR 객체 데이터가 압축되어 있지 않은 상태이면, 상기 scene 파일에 포함되어 있는 상기 DIBR 압축매개인자를 사용하여 DIBR 객체 데이터를 압축하여, 압축된 비트스트림과 수정된 scene파일 및 수정된 mux파일을 생성하 는 단계를 포함함을 특징으로 하는 깊이영상 기반 표현(DIBR) 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 압축노드는

압축할 DIBR 객체 데이터를 포함하고 있는 노드필드;

url 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 인-밴드로서 전송하는 buffer필드;

상기 buffer 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 아웃-밴드로서 전송하는 url 필드; 및

노드 필드가 포함하는 객체 데이터의 압축 방법을 선택하는 type 필드를 포함하고, DIBR 데이터의 압축에 필요한 DIBR 압축매개인자(encoding parameter)를 포함하여 이루어짐을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제2항에 있어, 상기 인-밴드로서의 전송은

상기 압축노드를 포함하는 XMT 입력파일이 scene 파일로 변환된 후, BIFS 부호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일에 포함되어 전송되며,

상기 아웃-밴드로서의 전송은

상기 압축노드를 포함하는 XMT 입력파일이 scene 파일로 변환된 후, BIFS 부 호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일과 분리되어 개별적으로 전송되는 것을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제2항에 있어서, 상기 DIBR 압축매개인자는

압축 대상이 되는 객체의 포인트 텍스쳐에 관한 매개인자를 포함함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 BitWrapperEncodingHints는

상기 압축노드내의 url 필드가 기술하는 URL ID와 동일한 binary ID를 갖는 객체 기술자 내에 있으며 압축된 비트스트림의 파일이름과 그 비트스트림의 압축포맷 종류에 관한 정보를 더 구비함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 AFXConfig는

상기 압축노드가 AFX 부호화기를 사용해 노드 필드에 포함된 DIBR 객체 데이터의 압축 비트스트림을 만들어 url로 전송하고 상기 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 더 구비함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 (c)단계는

초기객체기술자(InitialObjectDescriptor)를 구비하는 헤더, 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)로 이루어지는 XMT입력파일을 받아들이는 단계;

상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고,

상기 헤더의 초기객체기술자는

BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

DIBR 객체데이터의 노드 이름을 포함하는 노드필드; 및

이미 압축된 DIBR 객체데이터에 대한 파일이름을 저장하고 있는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는

카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드;

카메라의 시야각 필드;

카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및

카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은

상기 몸체의 압축노드와 동일한 적어도 하나의 압축노드를 구비하고,

상기 mux 파일은

상기 헤더의 초기객체기술자와 동일하며, BIFS부호화기가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비하는 초기객체기술자를 포함하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 (c)단계는

초기객체기술자(InitialObjectDescriptor)를 포함하는 헤더(Header)와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받아들이는 단계; 및

상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고,

상기 헤더의 초기객체기술자는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource, 및 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

이미 압축된 DIBR 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내의) 객체기술자의 binaryID와 동일한 URL ID를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 몸체의 객체기술자갱신내에 포함된 객체기술자는

상기 몸체의 압축노드에 있는 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자; 및

XMT 입력파일의 몸체에 있는 객체기술자갱신의 객체기술자와 동일한 객체기술자를 포함하며,

상기 scene 파일은

상기 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드; 및 XMT 입력파일의 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 objectDescriptorID를 가지며, 상기 mux 파일 이름을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 (c) 단계는

초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받아들이는 단계; 및

상기 XMT 스키마와 상기 XMT2BITS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고,

상기 헤더의 초기객체기술자는

BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

압축될 노드의 이름을 저장하며, 압축될 DIBR 객체데이터를 포함하는 노드필 드;

상기 DIBR 객체 데이터 압축에 사용되는 DIBR 압축매개인자; 및

DIBR 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은

상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함하고,

상기 mux 파일은

상기 헤더와 동일하며, BIFS 부호화기가 출력으로 생성하는 파일의 스트림포맷 정보를 포함하는 초기객체기술자를 구비하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 (c) 단계는

초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받 아들이는 단계; 및

상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

압축 할 노드의 이름을 저장하고 있으며, 압축할 DIBR 객체데이터를 포함하고 있는 노드필드;

상기 DIBR 객체 데이터의 압축에 사용되는 DIBR압축매개인자; 및

상기 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내에 있는) 객체기술자의 binaryID와 같은 URL ID가 저장된 URL 필드를 포함하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는

상기 몸체의 압축 노드의 URL identification과 동일한 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자; 및

몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지고,

상기 scene 파일은

상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드 및; 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제1항에 있어서, 상기 (c) 단계는

초기객체기술자를 포함하는 헤더(Header), 및 버퍼필드를 구비하는 적어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지는 XMT 입력파일을 받아들이는 단계; 및

상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 상기 XMT 입력파일을 파싱하여 scene 파일 및 mux 파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하고,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체에서 버퍼필드를 구비하는 압축노드는

압축 노드의 이름을 저장하고 있는 노드필드,

상기 노드의 노드 필드내에 있는 압축 객체 데이터,

상기 객체 데이터 압축에 사용되는 압축매개인자, 및

압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 url필드를 구비하는 압축노드는

압축 노드의 이름을 저장하고 있는 노드필드,

상기 노드의 노드 필드내에 있는 압축 객체 데이터, 상기 객체 데이터의 압 축에 사용되는 압축매개인자, 및

압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내의 객체기술자의 binary ID와 같은 같은 URL ID가 저장된 필드를 구비하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는

몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지며,

상기 scene 파일은

상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드 및; 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하 는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제9항 내지 제11항 중 어느 한 항에 있어서, 상기 (d)단계는

상기 파싱 결과 생성된 scene 파일에서 적어도 하나의 압축(BitWrapper)노드를 찾아내는 단계; 및

상기 검색된 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 압축되지 않은 데이터를 포함하고 있다고 판단하는 단계를 구비함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
상기 제12항에 있어서, 상기 (e)단계는

(e1) 상기 판단결과 DIBR 객체 데이터가 압축되지 않은 데이터라고 판단되면, scene파일의 각 압축노드에 대해 상기 압축노드 내에 있는 DIBR 객체 데이터를 상기 압축노드 내에 포함된 DIBR 압축매개인자와 이를 이용하여 상기 DIBR 객체 데이터를 압축할 수 있는 부호화기를 선택하여 상기 DIBR 객체 데이터를 압축하여 비트스트림을 생성하는 단계; 및

(e2) 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS 부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 단계를 포함하여 이루어짐을 특징으로 하는 깊이영상 기반 표현 데이터 압축 에 관한 메타표현을 이용한 입력파일 생성방법.
제13항에 있어서, 상기 (e1)단계는

(e11) 상기 판단결과 DIBR 객체 데이터가 압축되지 않았다고 판단되면, scene 파일의 압축노드 내에 있는 DIBR 객체 데이터와 DIBR 압축매개인자를 저장하는 단계;

(e12) 상기 저장된 DIBR 객체 데이터를 포함하고 있는 압축노드의 노드필드 내에 DIBR 객체와 상응하는 소정의 부호화기에 상기 DIBR 객체 데이터와 DIBR 압축매개인자를 넘겨주는 단계; 및

(e13) 상기 부호화기를 통해 상기 넘겨받은 DIBR 압축매개인자를 사용하여 DIBR 객체 데이터를 압축하여 비트스트림으로 생성하는 단계를 포함하여 이루어짐을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제13항에 있어서, 상기 (e1)단계의 소정의 부호화기는

상기 저장된 DIBR 객체데이터 및 DIBR 압축매개인자에 상응하며, DIBR압축매개인자를 사용하여 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및

상기 저장된 DIBR 객체데이터 및 DIBR 압축매개인자에 상응하며, 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
압축할 DIBR 객체 데이터에 관한 정보와 압축에 필요한 DIBR 압축매개인자를 포함하고 있는 압축노드, 압축 비트스트림 포맷을 포함하는 BitWrapperEncodingHints 및 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 포함하는 AFXConfig를 정의하고 있는 XMT 스키마;

DIBR 데이터를 포함하는 XMT 입력파일을 상기 XMT 스키마를 참조하여 scene 파일로의 변환을 지원하는 XMT2BIFS 스타일 쉬트;

상기 XMT 입력파일을 상기 XMT 스키마를 참조하여 mux 파일로의 변환을 지원하는 XMT2MUX 스타일 쉬트;

상기 XMT 입력화일을 상기 XMT 스키마와 상기 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용해서 파싱하여 scene 파일 및 mux 파일을 생성하는 XMT파서;

상기 XMT 파서의 파싱결과 생성된 scene 파일이 압축되지 않은 DIBR 객체 데이터를 포함하고 있는지 판단하는 압축판단부; 및

상기 압축판단부의 판단결과 DIBR 객체 데이터가 압축되지 않다고 판단되면, 상기 scene 파일에 포함되어 있는 DIBR 압축매개인자(encoding parameter)를 사용하여 DIBR 객체 데이터를 압축하여 압축된 비트스트림과 XMT2BIFS와 XMT2MUS 스타일 쉬트를 이용해 수정된 scene파일 및 수정된 mux파일을 생성하는 AFX부호화기를 포함함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용 한 입력파일 생성 시스템.
제16항에 있어서, 상기 압축노드는

압축할 DIBR 객체 데이터를 포함하고 있는 노드필드;

url 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 인-밴드로서 전송하는 buffer필드; 및

상기 buffer 필드와 상호 배타적으로 사용되며, 상기 노드의 압축된 비트스트림을 아웃-밴드로서 전송하는 url 필드; 및 노드 필드가 포함하는 객체 데이터의 압축 방법을 선택하는 type 필드를 포함하고, 압축에 필요한 DIBR 압축매개인자를 포함하여 이루어짐을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템.
제17항에 있어, 상기 인-밴드로서의 전송은

상기 압축 노드를 포함하는 XMT 입력파일이 scene 파일로 변환된후, BIFS 부호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일에 포함되어 전송되며,

상기 아웃-밴드로서의 전송은

상기 압축 노드를 포함하는 XMT 입력파일이 scene 파일로 변환된후, BIFS 부호화기를 통과하여 bifs 파일로 최종 변환되었을 때, 상기 압축노드내의 노드필드의 압축된 비트스트림이 bifs 파일과 분리되어 개별적으로 전송되는 것을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템.
제16항에 있어서, 상기 DIBR 압축매개인자는

압축 대상이 되는 객체의 포인트 텍스쳐에 관한 매개인자를 포함함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템.
제16항에 있어서, 상기 BitWrapperEncodingHints는

상기 압축노드내의 url 필드가 기술하는 URL ID와 동일한 binary ID를 갖는 객체 기술자 내에 있으며 압축된 비트스트림의 파일이름과 그 비트스트림의 압축 포맷 종류에 관한 정보를 더 구비함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제16항에 있어서, 상기 AFXConfig는

압축노드가 AFX 부호화기를 사용해 노드필드에 포함된 DIBR 객체 데이터의 압축 비트스트림을 만들어 url로 전송하고, 이 전송된 비트스트림을 복호화할 때 어떤 복호화기를 사용해야 하는지에 대한 정보를 더 구비함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성 시스템.
제16항에 있어서, 상기 XMT파서의 XMT 입력파일은

초기객체기술자를 구비하는 헤더, 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)로 이루어지고,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는 이미 압축된 노드의 이름을 저장하고 있는 노드필드; 및 이미 압축된 객체데이터 파일의 이름을 저장하고 있는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드를 구비하고,

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 초기객체기술자 내에 있는, BIFS 부호화기가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생 성시스템.
제16항에 있어서, 상기 XMT파서의 XMT입력파일은

초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지고,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는 이미 압축된 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 가지는 객체기술자갱신 내의 객체기술자의 binaryID와 같은 URL ID를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 몸체의 객체기술자갱신내에 포함된 객체기술자는 몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데 이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 몸체의 객체기술자갱신 내에 있는 객체기술자와 동일한 객체기술자를 가지며,

상기 scene 파일은 상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 objectDescriptorID을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가짐을 특징으로 하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제16항에 있어서, 상기 XMT파서의 XMT입력파일은

초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 구비하는 몸체(body)로 이루어지고,

상기 헤더의 초기객체기술자는

BIFS부호화기가 출력으로 생성하는 파일이름을 가지고 있는 StreamSource 를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는 압축될 노드의 이름을 저장하고 있는 노드필드, 상 기 노드의 노드 필드내에 있는 압축될 객체 데이터, 상기 객체 데이터 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은 상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함하고,

상기 mux 파일은 상기 헤더와 동일하며, BIFS 부호화기가 출력으로 생성하는 파일의 스트림포맷 정보를 구비하는 초기객체기술자를 포함함을 특징으로 하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제16항에 있어서, 상기 XMT파서의 XMT입력파일은

초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지고,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource와, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 할 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내에 있는 객체기술자의 binaryID와 같은 URL ID가 저장된 필드를 포함하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지며,

상기 scene 파일은 상기 XMT 입력파일의 몸체(body)와 동일한, 적어도 하나 의 압축노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가짐을 특징으로 하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제16항에 있어서, 상기 XMT파서의 XMT입력파일은

초기객체기술자를 포함하는 헤더(Header), 및 버퍼필드를 구비하는 적어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지고,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는 BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체에서 버퍼필드를 구비하는 압축노드는

압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 할 객체 데이터, 상기 객체 데이터 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 url필드를 구비하는 압축노드는 압축 할 노드의 이름을 저장하고 있는 노드필드, 상기 노드의 노드 필드내에 있는 압축 할 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내에 있는 객체기술자의 binary ID와 같은 URL ID가 저장된 필드를 포함하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는 몸체의 압축노드의 URL Identification과 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은 상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지며,

상기 scene 파일은 상기 XMT 입력파일의 몸체(body)와 동일한, 적어도 하나의 압축노드; 및 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가짐을 특징으로 하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제24항 내지 제26항 중 어느 한 항에 있어서, 상기 압축판단부는

상기 파싱 결과 생성된 scene 파일에서 적어도 하나의 압축(BitWrapper)노드를 찾아내는 압축노드검색부; 및

상기 검색된 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 압축되지 않은 데이터를 포함하고 있다고 판단하는 압축데이터판단부를 구비함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
상기 제27항에 있어서, 상기 AFX 부호화기는

압축(BitWrapper)노드를 포함하는 scene 파일로부터 적어도 하나의 압축노드를 찾아내어 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일의 압축노드 내에 있는, DIBR 객체 데이터와 상기 압축 노드내에 포함된 DIBR 압축매개인자를 저장시키는 AFX파서;

상기 AFX파서에 의해 DIBR 객체 데이터를 저장하는 객체 데이터 저장부;

상기 AFX파서에 의해 DIBR 압축매개인자를 저장하는 압축매개인자 저장부;

상기 압축노드의 노드필드 내에 DIBR 객체 데이터와 상응하며, 상기 DIBR 압축매개인자 저장부의 DIBR 압축매개인자를 사용하여 상기 객체데이터 저장부의 DIBR 객체데이터를 압축하여 비트스트림으로 생성하는 부호화기; 및

상기 AFX파서에서 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 입력파일생성기를 포함함을 특징으로 하는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제28항에 있어서, 상기 부호화기는

상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 압축 대상이 DIBR 압축 매개인자들을 사용하여 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및

상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함을 특징으로 하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
압축노드(BitWrapper)를 포함하는 scene 파일로부터 적어도 하나의 압축노드를 찾아내어 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일의 압축노드 내에 있는, DIBR 객체 데이터를 포함하고 있는 노드 및 압축매개인자를 저장시키는 AFX파서;

상기 AFX파서에 의해 DIBR 객체 데이터를 저장하는 객체데이터 저장부;

상기 AFX파서에 의해 DIBR 압축매개인자를 저장하는 압축매개인자 저장부;

상기 저장된 DIBR 객체 데이터에 상응하는, 상기 압축매개인자저장부의 DIBR 압축매개인자를 사용하여 상기 객체 데이터저장부의 DIBR 데이터를 압축하여 비트스트림으로 생성하는 부호화기; 및

상기 AFX파서에서 상기 압축노드의 노드필드 내에 DIBR 객체 데이터가 존재하면, 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS 부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 입력파일생성기를 포함함을 특징으로 하는 AFX 부호화장치.
제30항에 있어서, 상기 부호화기는

상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 압축 대상이 되는 객체의 포인트 텍스쳐 데이터에 관한 DIBR 압축매개인자들을 사용하여 상기 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및

상기 저장된 객체 데이터 및 압축매개인자에 상응하며, 압축대상이 되는 객체의 DIBR 압축매개인자들을 사용하여 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함을 특징으로 하는 AFX 부호화장치.
(가) 압축(BitWrapper)노드를 포함하는 scene 파일로부터 적어도 하나의 압축노드를 찾아내는 단계;

(나) 상기 찾아낸 압축노드 내에 있는, DIBR 객체 데이터를 포함하고 있는 노드 및 DIBR 압축매개인자를 저장하는 단계;

(다) 상기 저장된 DIBR 객체 데이터를 포함하고 있는 노드에 상응하는 부호화기를 통해, 상기 부호화기에 상응하는 저장된 DIBR 압축매개인자를 사용하여 상기 DIBR 객체 데이터를 압축하여 비트스트림으로 생성하는 단계; 및

(라) 상기 scene파일에서 각 압축노드의 DIBR 객체 데이터와 DIBR 압축매개인자를 삭제한 수정된 scene파일, 및 BIFS 부호화기가 출력으로 생성하는 파일의 이름이 상기 수정된 scene파일의 이름을 반영할 수 있도록 수정된 mux파일을 생성하는 단계를 포함함을 특징으로 하는 AFX 부호화방법.
제32항에 있어서, 상기 (다)단계의 부호화기는

상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 압축 대상이 되는 객체의 DIBR 데이터에 관한 매개인자들을 사용하여 포인트 텍스쳐 데이터를 부호화하는 포인트 텍스쳐 부호화기; 및

상기 저장된 DIBR 객체 데이터 및 DIBR 압축매개인자에 상응하며, 옥트리 데이터를 부호화하는 옥트리 부호화기 중 적어도 하나를 포함함을 특징으로 하는 AFX 부호화 방법.
제1항 내지 제11항과 제13항 내지 제15항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제32항 또는 제33항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제12항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
(a) 압축하고자 하는 깊이영상기반 표현(Depth Image Based Representation, 이하 DIBR 이라 한다) 데이터에 관한 정보, DIBR 압축매개인자(encoding parameter)를 포함하고 있는 압축노드, DIBR 압축된 비트스트림에 대한 정보, 및 복호화기기에 대한 정보를 정의하고 있는 XMT 스키마를 참조하고 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 XMT 입력파일을 파싱하고, 파싱결과 scene 파일 및 mux 파일을 생성하는 단계;

(b) 상기 압축노드를 참조한 결과, 상기 XMT 입력파일이 압축된 DIBR 객체 데이터를 포함하는 경우, 상기 생성된 scene파일 및 mux파일을 MPEG-4 부호화기의 입력파일로서 제공하는 단계; 및

(c) 상기 압축노드를 참조한 결과, 상기 XMT 입력파일이 압축되지 않은 DIBR 객체 데이터를 포함하는 경우, 상기 scene 파일에 포함되어 있는 상기 DIBR 압축매개인자를 사용하여 상기 DIBR 객체 데이터를 압축하여 압축된 비트스트림과 수정된 scene파일 및 수정된 mux파일을 생성하여 상기 MPEG-4 부호화기의 입력파일로서 제공하는 단계를 포함함을 특징으로 하는 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제37항에 있어서, 상기 XMT 입력파일은

초기객체기술자(InitialObjectDescriptor)를 구비하는 헤더, 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자는

BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

DIBR 객체데이터의 노드 이름을 포함하는 노드필드; 및

이미 압축된 DIBR 객체데이터에 대한 파일이름을 저장하고 있는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는

카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드;

카메라의 시야각 필드;

카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및

카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은

상기 몸체의 압축노드와 동일한 적어도 하나의 압축노드를 구비하고,

상기 mux 파일은

상기 헤더의 초기객체기술자와 동일하며, BIFS부호화기가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비하는 초기객체기술자를 포함하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제37항에 있어서, 상기 XMT 입력파일은

초기객체기술자(InitialObjectDescriptor)를 포함하는 헤더(Header)와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource, 및 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

이미 압축된 DIBR 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내의) 객체기술자의 binaryID와 동일한 URL ID를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 몸체의 객체기술자갱신내에 포함된 객체기술자는

상기 몸체의 압축노드에 있는 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자; 및

XMT 입력파일의 몸체에 있는 객체기술자갱신의 객체기술자와 동일한 객체기술자를 포함하며,

상기 scene 파일은

상기 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드; 및 XMT 입력파일의 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 objectDescriptorID를 가지며, 상기 mux 파일 이름을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제37항에 있어서, 상기 XMT 입력파일은

초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자는

BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

압축될 노드의 이름을 저장하며, 압축될 DIBR 객체데이터를 포함하는 노드필드;

상기 DIBR 객체 데이터 압축에 사용되는 DIBR 압축매개인자; 및

DIBR 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은

상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함하고,

상기 mux 파일은

상기 헤더와 동일하며, BIFS 부호화기가 출력으로 생성하는 파일의 스트림포맷 정보를 포함하는 초기객체기술자를 구비하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제37항에 있어서, 상기 XMT 입력파일은

초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

압축 할 노드의 이름을 저장하고 있으며, 압축할 DIBR 객체데이터를 포함하고 있는 노드필드;

상기 DIBR 객체 데이터의 압축에 사용되는 DIBR압축매개인자; 및

상기 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내에 있는) 객체기술자의 binaryID와 같은 URL ID가 저장된 URL 필드를 포함하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는

상기 몸체의 압축 노드의 URL identification과 동일한 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자; 및

몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지고,

상기 scene 파일은

상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드 및; 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제37항에 있어서, 상기 XMT 입력파일은

초기객체기술자를 포함하는 헤더(Header), 및 버퍼필드를 구비하는 적어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체에서 버퍼필드를 구비하는 압축노드는

압축 노드의 이름을 저장하고 있는 노드필드,

상기 노드의 노드 필드내에 있는 압축 객체 데이터,

상기 객체 데이터 압축에 사용되는 압축매개인자, 및

압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 url필드를 구비하는 압축노드는

압축 노드의 이름을 저장하고 있는 노드필드,

상기 노드의 노드 필드내에 있는 압축 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및

압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내의 객체기술자의 binary ID와 같은 같은 URL ID가 저장된 필드를 구비하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는

몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지며,

상기 scene 파일은

상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드 및; 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
압축하고자 하는 깊이영상기반 표현(Depth Image Based Representation, 이하 DIBR 이라 한다) 데이터에 관한 정보, DIBR 압축매개인자(encoding parameter)를 포함하고 있는 압축노드, DIBR 압축된 비트스트림에 대한 정보, 및 복호화기기에 대한 정보를 정의하고 있는 XMT 스키마를 참조하고 XMT2BIFS 스타일 쉬트 및 XMT2MUX 스타일 쉬트를 이용하여 XMT 입력파일을 파싱하고, 파싱결과 scene 파일 및 mux 파일을 생성하고, 상기 압축노드를 참조한 결과, 상기 XMT 입력파일이 압축된 DIBR 객체 데이터를 포함하는 경우, 상기 생성된 scene파일 및 mux파일을 MPEG-4 부호화기의 입력파일로서 제공하는 XMT 파서; 및

상기 압축노드를 참조한 결과, 상기 XMT 입력파일이 압축되지 않은 DIBR 객체 데이터를 포함하는 경우, 상기 scene 파일에 포함되어 있는 상기 DIBR 압축매개인자를 사용하여 상기 DIBR 객체 데이터를 압축하여 압축된 비트스트림과 수정된 scene파일 및 수정된 mux파일을 생성하여 상기 MPEG-4 부호화기의 입력파일로서 제공하는 AFX 부호화기를 포함함을 특징으로 하는 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제43항에 있어서, 상기 XMT 입력파일은

초기객체기술자(InitialObjectDescriptor)를 구비하는 헤더, 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 포함하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자는

BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

DIBR 객체데이터의 노드 이름을 포함하는 노드필드; 및

이미 압축된 DIBR 객체데이터에 대한 파일이름을 저장하고 있는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는

카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드;

카메라의 시야각 필드;

카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및

카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은

상기 몸체의 압축노드와 동일한 적어도 하나의 압축노드를 구비하고,

상기 mux 파일은

상기 헤더의 초기객체기술자와 동일하며, BIFS부호화기가 출력으로 생성하는 파일과 그 스트림포맷 정보를 구비하는 초기객체기술자를 포함하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제43항에 있어서, 상기 XMT 입력파일은

초기객체기술자(InitialObjectDescriptor)를 포함하는 헤더(Header)와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource, 및 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

이미 압축된 DIBR 객체데이터의 비트스트림이 저장된 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내의) 객체기술자의 binaryID와 동일한 URL ID를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 몸체의 객체기술자갱신내에 포함된 객체기술자는

상기 몸체의 압축노드에 있는 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자; 및

XMT 입력파일의 몸체에 있는 객체기술자갱신의 객체기술자와 동일한 객체기술자를 포함하며,

상기 scene 파일은

상기 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드; 및 XMT 입력파일의 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 objectDescriptorID를 가지며, 상기 mux 파일 이름을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제43항에 있어서, 상기 XMT 입력파일은

초기객체기술자를 구비하는 헤더와, 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드를 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자는

BIFS부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

압축될 노드의 이름을 저장하며, 압축될 DIBR 객체데이터를 포함하는 노드필드;

상기 DIBR 객체 데이터 압축에 사용되는 DIBR 압축매개인자; 및

DIBR 압축매개인자를 사용하여 압축된 객체 데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 scene 파일은

상기 몸체와 동일한, 적어도 하나의 압축노드와 DepthImage노드를 포함하고,

상기 mux 파일은

상기 헤더와 동일하며, BIFS 부호화기가 출력으로 생성하는 파일의 스트림포맷 정보를 포함하는 초기객체기술자를 구비하는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제43항에 있어서, 상기 XMT 입력파일은

초기객체기술자를 포함하는 헤더(Header), 및 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 적어도 하나의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체의 압축노드는

압축 할 노드의 이름을 저장하고 있으며, 압축할 DIBR 객체데이터를 포함하고 있는 노드필드;

상기 DIBR 객체 데이터의 압축에 사용되는 DIBR압축매개인자; 및

상기 압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 (객체기술자갱신 내에 있는) 객체기술자의 binaryID와 같은 URL ID가 저장된 URL 필드를 포함하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는

상기 몸체의 압축 노드의 URL identification과 동일한 상기 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자; 및

몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지고,

상기 scene 파일은

상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드 및; 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는, 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성방법.
제43항에 있어서, 상기 XMT 입력파일은

초기객체기술자를 포함하는 헤더(Header), 및 버퍼필드를 구비하는 적어도 하나의 압축노드와, url필드를 구비하는 적어도 하나의 압축노드와 상기 압축노드를 재생하는데 필요한 카메라 정보를 구비하는 DepthImage노드 및 상기 url필드를 구비하는 압축노드 개수와 동일한 개수의 객체기술자(objectDescriptor)를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 구비하는 몸체(body)로 이루어지며,

상기 헤더의 초기객체기술자(InitialObjectDescriptor)는

BIFS 부호화기가 출력으로 생성하는 파일의 이름을 가지고 있는 StreamSource를 포함하고, BIFS 부호화기로부터 압축되는 파일을 복호화시 필요한 정보를 구비하고, 객체 간의 디스플레이되는 시간순서를 나타내는 동기화정보를 구비하고,

상기 몸체에서 버퍼필드를 구비하는 압축노드는

압축 노드의 이름을 저장하고 있는 노드필드,

상기 노드의 노드 필드내에 있는 압축 객체 데이터,

상기 객체 데이터 압축에 사용되는 압축매개인자, 및

압축매개인자를 사용하여 압축된 객체데이터의 비트스트림 파일이름을 저장하는 버퍼필드를 구비하고,

상기 몸체의 url필드를 구비하는 압축노드는

압축 노드의 이름을 저장하고 있는 노드필드,

상기 노드의 노드 필드내에 있는 압축 객체 데이터, 상기 객체 데이터의 압축에 사용되는 압축매개인자, 및

압축매개인자를 사용하여 압축된 객체데이터의 비트스트림이 저장될 파일이름을 포함하는 BitWrapperEncodingHints를 포함하는 객체기술자갱신 내의 객체기술자의 binary ID와 같은 같은 URL ID가 저장된 필드를 구비하고,

상기 몸체의 객체기술자갱신에 포함된 객체기술자는

몸체의 압축노드의 URL ID와 동일한 값을 갖는 binary ID를 필드로서 구비하고, 상기 압축된 객체데이터의 복호화시 복호화에 사용될 정보(AFXConfig); 및 압축된 객체 데이터의 비트스트림이 저장된 파일이름과 상기 비트스트림의 압축 포맷의 형식을 포함하는 BitWrapperEncodingHints를 구비하며,

상기 몸체의 DepthImage노드는 카메라의 투영모델 필드; 카메라의 위치 필드; 카메라의 회전 필드; 카메라의 시야각 필드; 카메라의 원근의 한계면(farplane, nearplane)에 관한 정보 필드; 및 카메라 정보와 연결되는 압축노드의 이름을 저장하는 USE 필드를 포함하고,

상기 mux 파일은

상기 헤더와 동일한 초기객체기술자 및 상기 몸체의 객체기술자갱신의 객체기술자와 동일한 객체기술자를 가지며,

상기 scene 파일은

상기 XMT 입력파일의 몸체(body)와 동일한 적어도 하나의 압축노드와 DepthImage노드 및; 몸체의 객체기술자갱신 내에 있는 객체기술자의 binaryID와 동일한 URL identification을 갖으며, 상기 mux 파일을 가지는 객체기술자를 포함하는 객체기술자갱신(ObjectDescriptorUpdate)을 가지는 깊이영상 기반 표현 데이터 압축에 관한 메타표현을 이용한 입력파일 생성시스템.
제37항 내지 제42항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.