KR101681835B1

KR101681835B1 - 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치 및 실감 효과 미디어 데이터 파일 구조

Info

Publication number: KR101681835B1
Application number: KR1020150097632A
Authority: KR
Inventors: 김상균; 오정엽; 김민우; 주용수
Original assignee: 명지대학교 산학협력단
Priority date: 2013-10-18
Filing date: 2015-07-09
Publication date: 2016-12-02
Also published as: US10115432B2; KR20150045349A; KR20150088766A; US20160293213A1

Abstract

본 발명은 실감 효과 정보를 포함하는 실감 효과 미디어 데이터 파일의 구성/재생 방법 및 장치에 관한 것이다.
본 발명의 일실시예에 의한 실감 효과 미디어 데이터 파일의 구성 방법은 미디어 데이터의 속성을 나타내는 제1구성정보를 구성정보 컨테이너 필드에 삽입하는 단계; 실감 효과 데이터의 속성을 나타내는 제2구성정보를 상기 구성정보 컨테이너 필드에 삽입하는 단계; 상기 미디어 데이터의 샘플을 미디어 데이터 필드에 삽입하는 단계-상기 샘플은 하나의 타임스탬프(timestamp)와 연관된 데이터를 의미함-; 및 상기 실감 효과 데이터의 샘플을 상기 미디어 데이터 필드에 삽입하는 단계를 포함 수 있다.

Description

실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치 및 실감 효과 미디어 데이터 파일 구조{METHOD AND APPARATUS FOR CONSTRUCTING SENSORY EFFECT MEDIA DATA FILE, METHOD AND APPARATUS FOR PLAYING SENSORY EFFECT MEDIA DATA FILE AND STRUCTURE OF THE SENSORY EFFECT MEDIA DATA FILE}

본 발명은 미디어 데이터를 구성/재생하는 방법 및 장치에 관한 것으로, 보다 상세하게는 실감 효과 정보를 포함하는 실감 효과 미디어 데이터 파일의 구성/재생 방법 및 장치에 관한 것이다.

일반적인 미디어의 파일 포맷은 기본적으로 해당 미디어의 정보를 기술하는 헤더 부분과 압축된 미디어 데이터를 저장하는 영상데이터부를 구비한다. 그러나, 전술한 일반적인 미디어의 파일 포맷을 이용하여 단순한 영상데이터를 저장하는 것은 가능하나, 다양한 미디어를 담아내는 포괄적인 구조로는 적합하지 않다.

이에 따라, 국제표준 기구인 MPEG에서는 다양한 어플리케이션에 공통으로 적용될 수 있는 기본적인 파일 포맷, 즉 ISO Base Media File Format을 정의하였다. ISO Base Media File Format은 압축된 미디어 스트림 및 상기 미디어 스트림에 관련된 구성정보 등의 데이터를 복수의 콘테이너에 하이어라키컬(Hierachical)하게 저장하도록 설계되었다. 이러한 ISO Base Media File Format은 기본적으로 부호화 및 복호화 방법에 대한 정의는 아니며, 부호화 또는 복호화된 미디어 스트림을 효율적으로 저장하기 위한 기본 구조를 정의하고 있다.

한편, 최근 IMAX나 4D영화를 비롯하여 고해상도 HD방송 및3D 방송과 같이, 영상 콘텐츠 관련 산업분야에서 좀 더 현실감 있는 영상을 제공하는 방법에 대한 관심이 높아지고 있다. 사용자가 영상 콘텐츠에 몰입하여 마치 이야기 속 인물이 된 듯 한 착각을 하기 위해서는 시각, 청각적 일체감뿐만 아니라 후각, 촉각과 같은 여타 감각에의 자극을 통한 일체감의 극대화가 필요하다. 이를 위해서는 기존 영상 콘텐츠의 초고해상도화 및 3D 디스플레이와 같은 시각적 일체감의 고도화나 3D 오디오 디스플레이와 같은 청각적 현장감의 고도화뿐만 아니라 조명, 바람, 온도, 진동, 움직임, 촉감, 냄새 등과 같은 감각 효과(Sensory Effect Metadata, SEM)들을 사용자 시청 환경에 적절한 조정을 가해 영상 콘텐츠의 내용과의 일체감을 극대화 시켜야 한다. 이렇게 사용자 주변의 감각 효과 장치들을 활용하여 사용자의 오감을 자극하는 방송이나 영상 콘텐츠를 감각 콘텐츠 혹은 4D Media라고 한다.

SEM을 이용한 기존의 4D Media 저작은 Audiovisual content data과 SEM 이 분리되어 미디어를 효과적으로 저장, 교환, 관리, 재생하는 것이 어렵다. 관련 선행 문헌으로 공개특허 제10-2012-0106157호가 있다.

따라서 4D Media를 효과적으로 저장, 교환, 관리, 재생하는 방법에 대한 연구가 필요한 실정이다.

본 발명의 목적은 실감 효과 데이터와 미디어 데이터를 통합하여 하나의 파일을 구성할 수 있는 방법 및 장치, 상기 실감 효과 데이터와 미디어 데이터가 통합된 실감 효과 미디어 데이터 파일의 재생 방법 및 장치를 제공하는 데 있다.

본 발명의 목적은 실감 효과 데이터를 샘플로 나누고, 나누어진 실감 효과 데이터의 샘플과 미디어 데이터의 샘플을 동일 필드에 삽입하여 실감 효과 미디어 데이터 파일을 구성할 수 있는 방법 및 장치, 상기 실감 효과 미디어 데이터 파일 재생 방법 및 장치를 제공하는 데 있다.

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 미디어 데이터의 속성을 나타내는 제1구성정보를 구성정보 컨테이너 필드에 삽입하는 단계; 실감 효과 데이터의 속성을 나타내는 제2구성정보를 상기 구성정보 컨테이너 필드에 삽입하는 단계; 상기 미디어 데이터의 샘플을 미디어 데이터 필드에 삽입하는 단계-; 및 상기 실감 효과 데이터의 샘플을 상기 미디어 데이터 필드에 삽입하는 단계를 포함하는 실감 효과 미디어 데이터 파일 구성 방법이 제공된다.

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 미디어 데이터의 속성을 나타내는 제1구성정보 및 실감 효과 데이터의 속성을 나타내는 제2구성정보를 구성정보 컨테이너 필드에 삽입하는 구성정보 구성부; 상기 미디어 데이터의 샘플을 미디어 데이터 필드에 삽입하고, 상기 실감 효과 데이터의 샘플을 상기 미디어 데이터 필드에 삽입하는 샘플 구성부; 및 상기 제1구성정보, 상기 제2구성정보, 상기 미디어 데이터의 샘플, 및 상기 실감 효과 데이터의 샘플을 조합하여 실감 효과 미디어 데이터 파일을 구성하는 파일 구성부를 포함하는 실감 효과 미디어 데이터 파일 구성 장치가 제공된다.

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리하는 단계; 상기 분리된 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성을 나타내는 제1구성정보 및 실감 효과 데이터의 속성을 나타내는 제2구성정보를 검출하는 구성정보 검출 단계; 상기 분리된 미디어 데이터 필드를 파싱하여 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 검출하는 샘플 검출 단계; 및 상기 제1구성정보, 상기 제2구성정보, 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 이용하여 상기 실감 효과 미디어 데이터를 재생하는 단계를 포함하는 실감 효과 미디어 데이터 파일 재생 방법이 제공된다.

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리하는 파일 분리부; 상기 분리된 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성을 나타내는 제1구성정보 및 실감 효과 데이터의 속성을 나타내는 제2구성정보를 검출하는 구성정보 검출하는 구성정보 파싱부; 상기 분리된 미디어 데이터 필드를 파싱하여 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 검출하는 샘플 파싱부; 및 상기 제1구성정보, 상기 제2구성정보, 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 이용하여 상기 실감 효과 미디어 데이터를 재생하는 재생부를 포함하는 실감 효과 미디어 데이터 파일 재생 장치가 제공된다.

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 미디어 데이터의 속성을 나타내는 제1구성정보, 및 실감 효과 데이터의 속성을 나타내는 제2구성정보가 삽입된 구성정보 컨테이너 필드; 및 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플이 삽입된 미디어 데이터 필드를 포함하는 것을 실감 효과 미디어 데이터 파일 구조가 제공된다.

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 미디어 데이터의 속성을 나타내는 구성정보가 삽입된 구성정보 컨테이너 필드; 상기 미디어 데이터의 샘플이 삽입된 미디어 데이터 필드; 및 실감 효과 메타데이터가 삽입된 메타 필드를 포함하는 실감 효과 미디어 데이터 파일 구조가 제공된다.

본 발명의 일실시예에 의하면, 실감 효과 데이터와 미디어 데이터를 통합하여 하나의 파일로 구성하여 처리함으로써, 실감 효과 미디어 데이터를 효과적으로 저장, 관리, 재생할 수 있다.

본 발명의 일실시예에 의하면, 실감 효과 데이터를 샘플로 나누고, 나누어진 실감 효과 데이터의 샘플과 미디어 데이터의 샘플을 동일 필드에 삽입하여 실감 효과 미디어 데이터 파일을 구성함으로써, 스트리밍 서비스나 방송 서비스에 유용하게 적용할 수 있다.

도 1은 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일 구성 장치의 블록도이다.
도 2 내지 도 3은 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일의 구조를 나타내는 도면이다.
도 4는 본 발명의 일실시예와 관련된 실감 효과 데이터를 시간 데이터와 비시간 데이터로 구분하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예와 관련된 실감 효과 데이터 중 시간 데이터의 구성 방법을 나타낸다.
도 6은 본 발명의 일실시예와 관련된 복수의 실감 효과를 나타내는 그룹 효과 데이터의 구성 방법을 나타낸다.
도 7은 본 발명의 일실시예와 관련된 실감 효과 데이터 중 비시간 데이터의 구성 방법을 나타낸다.
도 8은 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일의 전송 스트림 샘플을 구성하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일 재생 장치의 블록도이다.

이하, 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치 및 실감 효과 미디어 데이터 파일 구조에 대해 도면을 참조하여 설명하도록 하겠다.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

도 1은 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일 구성 장치의 블록도이다.

도시된 바와 같이, 실감 효과 미디어 데이터 파일 구성 장치(100)는 구성정보 구성부(110), 샘플 구성부(120) 및 파일 구성부(130)를 포함할 수 있다.

본 명세서에서 미디어 데이터는 영상 데이터, 음성 데이터, 및 텍스트 데이터 등을 포함할 수 있으며, 영상 데이터, 음성 데이터, 및 텍스트 데이터 중 적어도 하나 또는 둘 이상이 조합된 데이터일 수 있다. 그리고, 상기 영상 데이터는 스테레오스코픽 영상과 같은 입체영상 데이터를 포함할 수 있다.

본 명세서에서 실감 효과 데이터(Sensory Effect Metadata, SEM)는 실감 효과 정보를 나타내는 데이터로, 상기 실감 효과 정보는 상기 미디어 데이터 사용자에게 시각, 청각, 및 촉각 등의 자극을 줄 수 있는 정보로서, Light, Flash, Heating, Cooling, Wind, Vibration, Scent, Fog, Spraying, Color correction, Tactile, Kinesthetic, Rigid body motion 등을 표현할 수 있는 정보일 수 있다. 상기 실감 효과 데이터는 xml instance 형태일 수 있다.

상기 실감 효과 데이터는 DescriptionMetadata, Declarations, GroupOfEffects, Effect, ReferenceEffect로 구성될 수 있다.

DescriptionMetadataType에 기반을 두며 Sensory Effect에 대한 last update, comment, creator, creation location등과 같은 저작 정보를 기술할 때 사용되며, Declarations, GroupOfEffects, Effect, ReferenceEffect 는 Sensory Effect를 표현할 때 사용된다. Declarations은 자주 이용되는 Sensory Effect를 미리 정의하기 위해 사용된다. ReferenceEffect는 외부 리소스에 정의된 Sensory Effect 또는 Declarations에 정의된 Sensory Effect을 참조하거나, 이미 한번 사용된 Sensory Effect를 재사용하고자 할 때 사용된다. Effect는 하나의 Sensory Effect를 표현하고자 할 때 사용되며, GroupOfEffects는 두 개 이상의 Sensory Effect를 표현하고자 할 때 사용된다.

또한, 실감 효과 미디어 데이터 파일은 미디어 데이터와 실감 효과 데이터와 통합되어 구성된 파일을 말한다.

미디어 데이터는 구성정보 구성부(110) 및 샘플 구성부(120)에 입력될 수 있다. 상기 미디어 데이터는 외부로부터 입력될 수 있다.

실감 효과 데이터는 구성정보 구성부(110) 및 샘플 구성부(120)에 입력될 수 있다. 상기 실감 효과 데이터는 외부로부터 입력될 수 있다.

구성정보 구성부(110)는 미디어 데이터를 구성하는 미디어 객체에 대한 정보를 검출하고, 각 미디어 객체에 대한 구성정보(편의상, '제1구성정보'라 함)를 구성할 수 있다. 제1구성정보는 미디어 데이터의 속성을 나타낼 수 있다. 예를 들어, 구성정보 구성부(110)는 미디어 데이터에 포함된 영상 데이터의 사이즈 정보, 미디어 데이터의 부호화 스트림의 유형을 정의하는 정보, 영상을 획득하는데 사용된 카메라에 관련된 정보, 영상을 디스플레이 하는데 요구되는 디스플레이 정보, 영상 데이터의 프레임율에 대한 정보, 영상 데이터를 구성하는 프레임의 필드 라인의 수 등을 포함하는 구성정보를 구성할 수 있다. 나아가, 상기 미디어 데이터가 입체영상을 포함하는 경우, 상기 구성정보 구성부(110)는 입체 영상에 포함되는 좌영상 및 우영상의 디스패리티 정보를 더 포함할 수 있다. 또한, 구성정보는 미디어 데이터의 샘플에 대한 주소 정보를 포함할 수 있다.

본 명세서에서 샘플은 하나의 타임스탬프(timestamp)와 연관된 모든 데이터를 의미할 수 있다.

또한, 구성정보 구성부(110)는 실감 효과 데이터의 속성을 나타내는 구성정보(편의상, '제2구성정보'라 함)를 구성할 수 있다. 예를 들어, 제2구성정보는 실감 효과 데이터 샘플에 대한 설명 정보 및 실감 효과 데이터 샘플에 대한 주소 정보를 포함할 수 있다.

상기 구성정보 구성부(110)는 상기 제1구성정보 및 상기 제2구성정보를 동일한 필드(예: 구성정보 컨테이너 필드)에 삽입할 수 있다.

또한, 샘플 구성부(120)는 상기 미디어 데이터의 샘플 및 실감 효과 데이터의 샘플을 구성하여 미디어 데이터 필드에 삽입할 수 있다. 상기 미디어 데이터 샘플은 부호화된 데이터일 수 있다. 또한, 상기 실감 효과 데이터의 샘플은 실감 효과 데이터 중 시간 데이터일 수 있다.

본 발명의 일실시예에 의하면, 실감 효과 데이터는 시간 데이터와 비시간 데이터로 구분될 수 있다. 시간 데이터라 함은 시간의 영향을 받는 데이터를 말하고, 비시간 데이터라 함은 시간의 영향을 받지 않는 데이터를 말한다.

한편, 본 발명의 다른 실시예에 의하면, 실감 효과 데이터를 샘플로 구성하지 않고, xml instance 형태 그대로 메타(meta) 박스에 삽입하는 방식으로 실감 효과 미디어 데이터 파일을 구성할 수 있다.

이하, 실시예서 실감 효과 미디어 데이터 파일은 여러 요소 표준의 조합을 위해 ISO base media file format을 기반으로 한다. ISO base media file format을 기반으로 한 파일 포맷은 MPEG-4 파일 포맷(ISO/IEC 14496-14), MPEG-21 파일 포맷(ISO/IEC 21000-9)등이 있다. 이 파일 포맷은 유연하고 확장성이 매우 우수하며 스트리밍 서비스에 유리하다.

ISO base media file format은 기본적으로 box라고 불리는 집합으로 이루어져 있다. Box의 type은 고유한 식별자로 4글자의 약자로 이루어져 있다. 예를 들어 media data box의 box type은 'mdat'이다.

도 2는 메타 박스를 이용하여 구성된 실감 효과 미디어 데이터 파일의 구조를 나타낸다.

도시된 실감 효과 미디어 데이터 파일은 ftyp 박스(210), moov 박스(220), mdat 박스(230) 및 meta 박스(240)를 포함할 수 있다. ftyp 박스(210)에는 파일 타입에 대한 정보 및 호환성에 대한 정보가 삽입될 수 있다. moov 박스(220)는 구성정보 컨테이너 필드로 미디어 데이터의 구성정보가 삽입될 수 있다. 예를 들어, moov 박스(220)는 미디어 데이터의 트랙 박스(track for Video, track for Audio)를 포함하고, 상기 미디어 데이터의 트랙 박스에는 미디어 데이터 샘플의 주소 정보가 저장될 수 있다. mdat 박스(230)는 미디어 데이터 필드로서, 미디어 데이터의 샘플(Video Sample, Audio Sample)이 삽입될 수 있다. 또한, meta 박스(240)는 xml box의 container box이다.

meta 박스(240)는 xml 을 담은 xml box를 포함할 수 있다. 도 2와 같은 실시예는 단순하게 저장만을 고려했을 때 가능한 방법이다. 상기 실시예는 구현이 용이하다는 장점이 있다.

본 발명의 또 다른 실시예로서, 트랙 박스를 이용한 실감 효과 미디어 데이터 파일을 구성할 수 있다.

도 3은 트랙 박스를 이용하여 구성된 실감 효과 미디어 데이터 파일의 구조를 나타낸다.

도시된 실감 효과 미디어 데이터 파일은 ftyp 박스(310), moov 박스(320), 및 mdat 박스(330)를 포함할 수 있다. ftyp 박스(310)에는 파일 타입에 대한 정보 및 호환성에 대한 정보가 삽입될 수 있다. moov 박스(320)는 구성정보 컨테이너 필드로 미디어 데이터의 구성정보가 삽입될 수 있다. 예를 들어, moov 박스(320)는 미디어 데이터의 트랙 박스(track for Video, track for Audio) 및 실감 효과 데이터의 트랙 박스(track for SEM)를 포함할 수 있다. 상기 미디어 데이터의 트랙 박스에는 미디어 데이터 샘플의 주소 정보가 저장되고, 실감 효과 데이터의 트랙 박스에는 실감 효과 데이터 샘플의 설명 정보 및 주소 정보가 포함될 수 있다. mdat 박스(330)는 미디어 데이터 필드로서, 미디어 데이터의 샘플(Video Sample, Audio Sample) 및 실감 효과 데이터 샘플(Sensory Effect Metadata Sample)가 삽입될 수 있다.

즉, track은 직접적인 sample 은 갖고 있지 않으며 mdat box에 담겨 있는 sample을 참조하는 식의 구조를 취한다. SEM track을 통해 mdat box에 담겨 있는 SEM sample을 참조하는 방식의 주된 이슈는 SEM을 sample로 만들기 위하여 SEM xml instance를 일정한 기준에 따라 나눈 후 이를 mdat에 저장하는 방식을 결정하는 것이다. 본 실시예는 실감 효과 데이터(SEM)를 나누어 저장하기 때문에 스트리밍 서비스나 hint track을 이용한 MPEG-2 TS 을 사용하는 방송 서비스 환경에 적합할 수 있다. 본 실시예에 의하면, 실감 효과 미디어 데이터 시청을 위해 TV를 켰을 때 SEM 전체를 받지 않고, 현재 presentation time에 해당하는 SEM sample만 다운로드 한다. 때문에 사용자는 SEM 전체를 다운로드 하는 시간을 기다리지 않아도 된다. 또한 실감 기기(sensory device) 성능 측면에서도 현재 presentation time에 해당하는 effect 정보만 decoding하면 되기 때문에 성능 문제에 종속적이지 않게 된다.

이러한 SEM track을 이용한 실감 효과 미디어 데이터 파일을 구성하기 위해서는 SEM를 시간 데이터(즉, 시간의 영향을 받는 메타데이터(timed metadata))와 비시간 데이터(시간의 영향을 받지 않는 메타데이터(untimed metadata))로 구분해야 한다.

도 4는 본 발명의 일실시예와 관련된 실감 효과 데이터를 시간 데이터와 비시간 데이터로 구분하는 방법을 설명하기 위한 도면이다.

도 4는 SEM의 XML instance 예시를 통해 시간 데이터와 비시간 데이터를 구분한 결과를 보여준다. SEM 중 시간 데이터는 GroupOfEffects, Effect, ReferenceEffet로 mdat의 sample에 해당하며, 비시간 데이터는 DescriptionMetadata, Declarations로 stsd, sgpd box에 포함된다.

실감 효과 데이터(SEM) 중 시간 데이터는 mdat box안에 들어간다. 시간 데이터 중 Effect와 ReferenceEffect는 각각 하나의 sample이 된다. 이 sample은 mdat box에 저장되며 stco box의 chunk_offset값으로 mdat에 있는 sample의 위치를 알 수 있다.

도 5는 본 발명의 일실시예와 관련된 실감 효과 데이터 중 시간 데이터의 구성 방법을 나타낸다.

도 5는 stco box(오프셋 정보가 삽인된 박스)의 chunk_offset이 mdat내의 SEM sample을 가리키고 있는 모습을 나타낸다. single effect와 single reference effect는 stco box를 통해 mdat 내 SEM sample의 offset을 알 수 있다. 반면, Group Of Effects는 안에 있는 effect와 reference effect를 분해하여 각각 하나의 SEM sample로 만든다. 하지만 상기와 같은 방식으로 분해 해놓으면 어떤 SEM sample이 어떤 Group Of Effects에 속했던 sample인지 알 수가 없다. 만약 실감 효과 미디어 데이터 파일에서 original SEM XML instance를 복원할 수 있다면, 복원한 SEM XML instance를 기존의 SEM authoring tool를 사용하여 편집한 후 다시 실감 효과 미디어 데이터 파일을 만드는 것이 가능해진다.

도 6은 본 발명의 일실시예와 관련된 복수의 실감 효과를 나타내는 그룹 효과 데이터의 구성 방법을 나타낸다. 즉, GroupOfEffects에 따른 파일 박스 구성 방법을 나타낸다.

도시된 바와 같이, sbgp 박스는 그룹에 대한 샘플 필드로서, 상기 sbgp 박스 의 그룹 설명 지시자(group description index)와 샘플 수 정보(sample_count)를 통해 SEM sample을 grouping할 수 있다. sbgp박스의 내용 중 group description index 값이 0이면 single effect 또는 single reference effect(Group Of Effects에 포함되지 않은 effect)이며 group description index가 1이상이면 Group Of Effects안의 effect 또는 reference effect를 의미한다. Group Of Effects의 수가 증가함에 따라 group description index 값도 증가한다.

또한 sample count를 통해 같은 group description index값을 갖는 연속된 sample의 수를 나타낸다. 도 6의 첫 번째 Effect는 single effect이다. 때문에 group description index는 0이 되며 연속된 single effect의 수가 1개 이기 때문에 sample count는 1이 된다. 두 번째, 세 번째, 네 번째 effect들은 GroupOfEffect안에 속하는effect들이다. 이는 첫 번째 GroupOfEffects이기 때문에 group description index는 1이 되며 이 GroupOfEffects의 연속된 effect들의 수가 세 개 이기 때문에 sample count는 3이 된다. 이와 같은 방법으로 GroupOfEffects를 분해하여 single effect sample로 만든 후 이들을 grouping 할 수 있다. 또한 분해된 single effect sample을 GroupOfEffects로 복원하는 것도 가능해 진다.

실감 효과 데이터 중 비시간 데이터는 미디어 데이터 필드와 다른 필드인 SEM track의 stsd박스(샘플 설명 정보가 삽입되는 박스)와 sgpd박스(샘플 그룹 설명 정보가 삽입되는 박스)에 삽입될 수 있다.

도 7은 본 발명의 일실시예와 관련된 실감 효과 데이터 중 비시간 데이터의 구성 방법을 나타낸다.

도 7은 비시간 데이터가 stsd box와 sgpd box에 담기는 모습을 나타낸다. 표 1 및 표 2와 같은 형태로 박스가 새로 정의될 수 있다.

// MPEG-V Part3 Sample Entry
aligned(8) class MPEGVPart3SampleEntry
extends MetaDataSampleEntry('mvp3' {
/* xml or binary flag */
unsigned int(8) binaryFlag; // 0: binary, 1: xml

/* any attribute */
unsigned int(8) isAnchorElement;
if(isAnchorElement == 1) {
unsigned int(8) anchorElement;
}

unsigned int(8) isEncodeAsRAP;
if(isEncodeAsRAP == 1) {
unsigned int(8) encodeAsRAP;
}

unsigned int(8) isPuMode;
if(isPuMode == 1) {
string puMode;
}

unsigned int(8) isTimeScale;
if(isTimeScale == 1) {
unsigned int(32) timeScale;
}

unsigned int(8) isPtsDelta;
if(isPtsDelta == 1) {
unsigned int(32) ptsDelta;
}

unsigned int(8) isAbsTimeScheme;
if(isAbsTimeScheme == 1) {
string absTimeScheme;
}

unsigned int(8) isAbsTime;
if(isAbsTime == 1) {
string absTime;
}

unsigned int(8) isPts;
if(isPts == 1) {
unsigned int(32) pts;
}

unsigned int(8) isAutoExtractionType;
if(isAutoExtractionType == 1) {
string autoExtractionType;
}

/* DescriptionMetadata, Declaration element */
unsigned int(8) isDescriptionMetaData;
if(isDescriptionMetaData == 1) {
unsigned int(32) descriptionmetadata_length;
unsigned int(8) descriptionmetadata[];
}

unsigned int(8) isDeclaration;
if(isDeclaration == 1) {
unsigned int(32) declaration_count;
unsigned int(32) declaration_length[];
unsigned int(8) declaration[][];
}
}

표1의 MPEGVPart3SampleEntry('mvp3')는 새로 정의한 박스로, ISO Base Media File Format에서 정의한 MetaDataSampleEntry를 상속 받아 정의 하였다. 이는 stsd box 내부에 위치 한다. MPEGVPart3SampleEntry에 담기는 내용은 Binary flag, SEM root element의 attributes, Description Metadata element, Declarations element이다. Binary flag는 timed SEM data와 untimed SEM data가 string 형태로 저장될 것인지 binary 형태로 저장될 것인지를 결정한다. Binary로 담길 때의 규칙은 MPEG-V Part3(ISO/IEC 23005-3)에 서술된 binary representation syntax를 따른다. SEM root element의 attributes는 time scale, pts, pts delta등의 정보이다. Description Metadata element는 저작 정보가 담기고 Declarations element는 자주 이용되는 effect를 미리 정의 하기 위해 사용된다.

// Group Of Effects Description Entry
aligned(8) class GroupOfEffectsDescriptionEntry
extends SampleGroupDescriptionEntry('goed') {
/* any attribute */
unsigned int(8) isAnchorElement;
if(isAnchorElement == 1) {
unsigned int(8) anchorElement;
}

unsigned int(8) isEncodeAsRAP;
if(isEncodeAsRAP == 1) {
unsigned int(8) encodeAsRAP;
}

unsigned int(8) isPuMode;
if(isPuMode == 1) {
string puMode;
}

unsigned int(8) isTimeScale;
if(isTimeScale == 1) {
unsigned int(32) timeScale;
}

unsigned int(8) isPtsDelta;
if(isPtsDelta == 1) {
unsigned int(32) ptsDelta;
}

unsigned int(8) isAbsTimeScheme;
if(isAbsTimeScheme == 1) {
string absTimeScheme;
}

unsigned int(8) isAbsTime;
if(isAbsTime == 1) {
string absTime;
}

unsigned int(8) isPts;
if(isPts == 1) {
unsigned int(32) pts;
}

unsigned int(8) isAutoExtractionType;
if(isAutoExtractionType == 1) {
string autoExtractionType;
}

/* sem base attributes */
unsigned int(8) isActivate;
if(isActivate == 1) {
unsigned int(8) activate;
}

unsigned int(8) isDuration;
if(isDuration == 1) {
unsigned int(32) duration;
}

unsigned int(8) isFade;
if(isFade == 1) {
unsigned int(32) fade;
}

unsigned int(8) isAlt;
if(isAlt == 1) {
string alt;
}

unsigned int(8) isPriority;
if(isPriority == 1) {
unsigned int(32) priority;
}

unsigned int(8) isLocation;
if(isLocation == 1) {
string location;
}

/* sem adaptability attribute */
unsigned int(8) isAdaptType;
if(isAdaptType == 1) {
string adaptType;
}

unsigned int(8) isAdaptRange;
if(isAdaptRange == 1) {
string adaptRange;
}
}

표2의 GroupOfEffectsDescriptionEntry는 새로 정의한 박스로, ISO Base Media File Format에서 정의 한 SampleGroupDescriptionEntry를 상속받아 정의 하였다. 이는 sgpd box에 위치 한다. GroupOfEffectsDescriptionEntry에는 GroupOfEffects의 attribute들이 들어가게 된다.

전술한 SEM track으로 실감 효과 미디어 데이터를 구성할 때 갖는 또 다른 장점은 MPEG-2 TS 패킷의 효율적인 저장과 전송이다.

도 8은 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일의 전송 스트림 샘플을 구성하는 방법을 설명하기 위한 도면이다.

도 8은 Hint track을 이용한 TS(Transport Stream) sample 구성 방법을 보여준다. mdat box 의 hint sample은 하나의 TS 패킷을 나타낸다. TS 패킷은 헤더와 페이로드로 구성된다. 헤더에는 decoder와의 sync를 위한 sync byte, 패킷을 구분 짓는 유일한 값인 PID등의 정보가 들어간다. 헤더의 정보는 Audiovisual contents와 관계 없는 전송을 위한 정보들이다. 반면에 페이로드는 audio, video 그리고 다른 미디어로 구성된다. Hint track은 TS 패킷의 페이로드에 실리는 정보를 video sample, audio sample을 참조하여 구성할 수 있게 도와준다. 이는 media sample(video sample, audio sample, the other media sample)의 offset을 TS sample의 payload가 갖고 있는 형태다. 만약 hint track을 사용하지 않는다면 재생을 위한 MAF file과 전송을 위한 TS file이 따로 필요하다. 하지만 Hint track을 사용하면 하나의 파일로 재생과 전송의 목적을 동시에 만족 할 수 있고, TS sample의 payload는 sample의 offset만을 갖고 있기 때문에 저장 용량을 줄일 수 있다. 이러한 점은 SEM track을 사용하여 실감 효과 미디어 데이터 파일을 만들어야 하는 중요한 이유이다. SEM track을 이용한 실감 효과 미디어 데이터 파일에서 hint track을 사용한다면 하나의 파일로 4D Media(또는 실감 미디어)의 재생과 전송의 목적을 동시에 만족 할 수 있으며 이러한 장점은 대형 방송사뿐만이 아닌 개인 사용자도 쉽고 편하게 4D 방송을 할 수 있는 바탕을 만들어 줄 있다.

도 9는 본 발명의 일실시예와 관련된 실감 효과 미디어 데이터 파일 재생 장치의 블록도이다. 본 실시예에서는 트랙 박스를 이용한 실감 효과 미디어 데이터 파일의 재생 방법에 대해 설명하기로 한다.

도시된 바와 같이, 실감 효과 미디어 데이터 파일 재생 장치(900)는 파일 분리부(910), 구성정보 파싱부(910), 샘플 파싱부(930) 및 재생부(940)를 포함할 수 있다.

파일 분리부(910)는 외부로부터 실감 효과 미디어 데이터 파일을 입력받고, 상기 실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리할 수 있다.

구성정보 컨테이너 필드에 포함된 정보는 구성정보 파싱부(920)로 입력되고, 미디어 데이터 필드에 포함된 정보는 샘플 파싱부(930)에 입력될 수 있다.

구성정보 파싱부(920)는 상기 분리된 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성을 나타내는 제1구성정보 및 실감 효과 데이터의 속성을 나타내는 제2구성정보를 검출하는 구성정보 검출할 수 있다.

또한, 샘플 파싱부(930)는 상기 분리된 미디어 데이터 필드를 파싱하여 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 검출할 수 있다.

그리고 구성정보 파싱부(920)의 파싱 및 샘플 파싱부(930)의 파싱을 통해 검출된 미디어 데이터의 구성정보, 실감 효과 데이터의 구성정보, 미디어 데이터 샘플, 실감 효과 데이터 샘플은 재생부(940)로 입력될 수 있다.

상기 재생부(940)는 미디어 데이터의 구성정보, 실감 효과 데이터의 구성정보, 미디어 데이터 샘플, 실감 효과 데이터 샘플을 조합하여 실감 효과 미디어 데이터 파일을 재생할 수 있다.

한편, 본 발명의 일실시예에 의하면, 상기 실감 효과 미디어 데이터 파일 재생 장치(900)는 도 2와 같이 메타 박스를 이용하여 구성된 실감 효과 미디어 데이터 파일도 재생할 수 있다. 이 경우는, 실감 효과 미디어 데이터 파일에 포함된 미디어 데이터의 구성정보, 미디어 데이터 샘플 및 xml instance 형태의 실감 효과 데이터를 분리하고, 상기 미디어 데이터의 구성정보, 미디어 데이터 샘플 및 xml instance 형태의 실감 효과 데이터를 이용하여 실감 효과 미디어 데이터 파일이 재생될 수 있다.

상술한 실감 효과 미디어 데이터 파일 구성 방법 및 실감 효과 미디어 데이터 파일 재생 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

삭제

또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기와 같이 설명된 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100: 실감 효과 미디어 데이터 파일 구성 장치
110: 구성정보 구성부
120: 샘플 구성부
130: 파일 구성부
900: 실감 효과 미디어 데이터 파일 재생 장치
910: 파일 분리부
920: 구성정보 파싱부
930: 샘플 파싱부
940: 재생부

Claims

미디어 데이터의 속성을 나타내는 제1구성정보를 구성정보 컨테이너 필드에 삽입하는 단계;
실감 효과 데이터의 속성을 나타내는 제2구성정보를 상기 구성정보 컨테이너 필드에 삽입하는 단계;
상기 미디어 데이터의 샘플을 미디어 데이터 필드에 삽입하는 단계; 및
상기 실감 효과 데이터의 샘플을 상기 미디어 데이터 필드에 삽입하는 단계를 포함하되,
상기 제2구성정보는 상기 실감 효과 데이터의 샘플에 대한 주소 정보를 포함하며, 상기 실감 효과 데이터의 샘플을 참조하는 구조를 가지는 것을 특징으로 하는 실감 효과 미디어 데이터 파일 구성 방법.
미디어 데이터의 속성을 나타내는 제1구성정보 및 실감 효과 데이터의 속성을 나타내는 제2구성정보를 구성정보 컨테이너 필드에 삽입하는 구성정보 구성부;
상기 미디어 데이터의 샘플을 미디어 데이터 필드에 삽입하고, 상기 실감 효과 데이터의 샘플을 상기 미디어 데이터 필드에 삽입하는 샘플 구성부; 및
상기 제1구성정보, 상기 제2구성정보, 상기 미디어 데이터의 샘플, 및 상기 실감 효과 데이터의 샘플을 조합하여 실감 효과 미디어 데이터 파일을 구성하는 파일 구성부를 포함하되,
상기 제2구성정보는 상기 실감 효과 데이터의 샘플에 대한 주소 정보를 포함하며, 상기 실감 효과 데이터의 샘플을 참조하는 구조를 가지는 것을 특징으로 하는 실감 효과 미디어 데이터 파일 구성 장치.
실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리하는 단계;
상기 분리된 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성을 나타내는 제1구성정보 및 실감 효과 데이터의 속성을 나타내는 제2구성정보를 검출하는 구성정보 검출 단계;
상기 분리된 미디어 데이터 필드를 파싱하여 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 검출하는 샘플 검출 단계; 및
상기 제1구성정보, 상기 제2구성정보, 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 이용하여 상기 실감 효과 미디어 데이터를 재생하는 단계를 포함하되,
상기 제2구성정보는 상기 실감 효과 데이터의 샘플에 대한 주소 정보를 포함하며, 상기 실감 효과 데이터의 샘플을 참조하는 구조를 가지는 것을 특징으로 하는 실감 효과 미디어 데이터 파일 재생 방법.
실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리하는 파일 분리부;
상기 분리된 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성을 나타내는 제1구성정보 및 실감 효과 데이터의 속성을 나타내는 제2구성정보를 검출하는 구성정보 검출하는 구성정보 파싱부;
상기 분리된 미디어 데이터 필드를 파싱하여 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 검출하는 샘플 파싱부; 및
상기 제1구성정보, 상기 제2구성정보, 상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플을 이용하여 상기 실감 효과 미디어 데이터를 재생하는 재생부를 포함하되,
상기 제2구성정보는 상기 실감 효과 데이터의 샘플에 대한 주소 정보를 포함하며, 상기 실감 효과 데이터의 샘플을 참조하는 구조를 가지는 것을 특징으로 하는 실감 효과 미디어 데이터 파일 재생 장치.
미디어 데이터의 속성을 나타내는 제1구성정보, 및 실감 효과 데이터의 속성을 나타내는 제2구성정보가 삽입된 구성정보 컨테이너 필드; 및
상기 미디어 데이터의 샘플 및 상기 실감 효과 데이터의 샘플이 삽입된 미디어 데이터 필드를 포함하되,
상기 제2구성정보는 상기 실감 효과 데이터의 샘플에 대한 주소 정보를 포함하며, 상기 실감 효과 데이터의 샘플을 참조하는 구조를 가지는 것을 특징으로 하는 실감 효과 미디어 데이터 파일 구조를 가지는 데이터가 기록된 컴퓨터로 판독 가능한 기록매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제