KR101732803B1 - 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치 - Google Patents

실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치 Download PDF

Info

Publication number
KR101732803B1
KR101732803B1 KR1020150132966A KR20150132966A KR101732803B1 KR 101732803 B1 KR101732803 B1 KR 101732803B1 KR 1020150132966 A KR1020150132966 A KR 1020150132966A KR 20150132966 A KR20150132966 A KR 20150132966A KR 101732803 B1 KR101732803 B1 KR 101732803B1
Authority
KR
South Korea
Prior art keywords
effect
data
configuration information
media data
unit
Prior art date
Application number
KR1020150132966A
Other languages
English (en)
Other versions
KR20160150566A (ko
Inventor
김상균
오정엽
Original Assignee
명지대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 명지대학교 산학협력단 filed Critical 명지대학교 산학협력단
Publication of KR20160150566A publication Critical patent/KR20160150566A/ko
Application granted granted Critical
Publication of KR101732803B1 publication Critical patent/KR101732803B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

실감 효과 미디어 데이터 파일 구성/재생 방법 및 그 장치가 개시된다. 실감 효과 미디어 데이터 파일 구성 방법은, 복수의 단위 실감 효과 데이터를 포함하는 실감 효과 메타데이터를 분석하여 각 단위 실감 효과 데이터를 분리하는 단계; 미디어 데이터의 속성을 나타내는 제1 구성 정보 및 실감 효과 메타데이터의 속성을 나타내는 제2 구성 정보를 구성하는 단계; 상기 분리된 각 단위 실감 효과 데이터와 상기 미디어 데이터를 인코딩하는 단계; 및 상기 인코딩된 단위 실감 효과 데이터, 상기 인코딩된 미디어 데이터, 상기 제1 구성 정보 및 상기 제2 구성 정보를 이용하여 실감 효과 미디어 데이터를 구성하는 단계를 포함한다.

Description

실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치{Method and apparatus for constructing sensory effect media data file, method and apparatus for playing sensory effect media data file}
본 발명은 다중 감각 효과 정보를 포함하는 실감 효과 미디어 데이터 파일의 구성/재생 방법 및 그 장치에 관한 것이다.
일반적인 미디어의 파일 포맷은 기본적으로 해당 미디어의 정보를 기술하는 헤더 부분과 압축된 미디어 데이터를 저장하는 영상데이터부를 구비한다. 그러나, 전술한 일반적인 미디어의 파일 포맷을 이용하여 단순한 영상데이터를 저장하는 것은 가능하나, 다양한 미디어를 담아내는 포괄적인 구조로는 적합하지 않다.
이에 따라, 국제표준 기구인 MPEG에서는 다양한 어플리케이션에 공통으로 적용될 수 있는 기본적인 파일 포맷, 즉 ISO Base Media File Format을 정의하였다.
ISO Base Media File Format은 압축된 미디어 스트림 및 상기 미디어 스트림에 관련된 구성정보 등의 데이터를 복수의 콘테이너에 하이어라키컬(Hierachical)하게 저장하도록 설계되었다. 이러한 ISO Base Media File Format은 기본적으로 부호화 및 복호화 방법에 대한 정의는 아니며, 부호화 또는 복호화된 미디어 스트림을 효율적으로 저장하기 위한 기본 구조를 정의하고 있다.
한편, 최근 IMAX나 4D영화를 비롯하여 고해상도 HD방송 및 3D 방송과 같이, 영상 콘텐츠 관련 산업분야에서 좀 더 현실감 있는 영상을 제공하는 방법에 대한 관심이 높아지고 있다. 사용자가 영상 콘텐츠에 몰입하여 마치 이야기 속 인물이 된 듯한 착각을 하기 위해서는 시각, 청각적 일체감뿐만 아니라 후각, 촉각과 같은 여타 감각에의 자극을 통한 일체감의 극대화가 필요하다. 이를 위해서는 기존 영상 콘텐츠의 초고해상도화 및 3D 디스플레이와 같은 시각적 일체감의 고도화나 3D 오디오 디스플레이와 같은 청각적 현장감의 고도화뿐만 아니라 조명, 바람, 온도, 진동, 움직임, 촉감, 냄새 등과 같은 감각 효과(Sensory Effect Metadata, SEM)들을 사용자 시청 환경에 적절한 조정을 가해 영상 콘텐츠의 내용과의 일체감을 극대화 시켜야 한다. 이렇게 사용자 주변의 감각 효과 장치들을 활용하여 사용자의 오감을 자극하는 방송이나 영상 콘텐츠를 감각 콘텐츠 혹은 MulSeMedia라고 한다.
SEM을 이용한 기존의 MulSeMedia 저작은 Audiovisual content data과 SEM이 분리되어 미디어를 효과적으로 저장, 교환, 관리, 재생하는 것이 어렵다. 관련 선행 문헌으로 공개특허 제10-2012-0106157호가 있다.
따라서 MulSeMedia를 효과적으로 저장, 교환, 관리, 재생하는 방법에 대한 연 구가 필요한 실정이다.
본 발명은 실감 효과 데이터와 미디어 데이터를 통합하여 하나의 파일을 구성할 수 있는 방법 및 장치, 실감 효과 데이터와 미디어 데이터가 통합된 실감 효과 미디어 데이터 파일의 재생 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 실감 효과 데이터를 샘플로 나누고, 나누어진 실감 효과 데이터의 샘플과 미디어 데이터의 샘플을 동일 필드에 삽입하여 실감 효과 미디어 데이터 파일을 구성할 수 있는 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 실감 효과 데이터와 미디어 데이터를 통합하여 하나의 파일로 구성할 수 있으며, 실감 효과 데이터와 미디어 데이터가 통합된 실감 효과 미디어 데이터 파일을 재생할 수 있는 장치가 제공된다.
제1 실시예에 따르면, 복수의 단위 실감 효과 데이터를 포함하는 실감 효과 메타데이터를 분석하여 각 단위 실감 효과 데이터를 분리하는 실감 효과 데이터 전처리부; 미디어 데이터의 속성을 나타내는 제1 구성 정보 및 실감 효과 메타데이터의 속성을 나타내는 제2 구성 정보를 구성하는 구성정보 구성부; 상기 분리된 각 단위 실감 효과 데이터와 상기 미디어 데이터를 인코딩하는 샘플 인코딩부; 및 상기 인코딩된 단위 실감 효과 데이터, 상기 인코딩된 미디어 데이터, 상기 제1 구성 정보 및 상기 제2 구성 정보를 이용하여 실감 효과 미디어 데이터를 구성하는 파일 구성부를 포함하는 실감 효과 미디어 데이터 구성 장치가 제공될 수 있다.
제2 실시예에 따르면, 실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리하는 파일 분리부; 상기 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성에 대한 제1 구성 정보와 실감 효과 데이터에 대한 제2 구성 정보를 검출하는 구성 정보 파싱부; 상기 미디어 데이터 필드를 파싱하여 인코딩된 실감 효과 데이터와 인코딩된 미디어 데이터를 검출한 후 디코딩하는 샘플 디코딩부; 및 상기 제1 구성 정보, 상기 제2 구성 정보, 상기 디코딩된 실감 효과 데이터 및 상기 디코딩된 미디어 데이터를 이용하여 상기 실감 효과 미디어 데이터를 재생하는 재생부를 포함하는 실감 효과 미디어 데이터 파일 재생 장치가 제공될 수 있다.
본 발명의 다른 측면에 따르면, 실감 효과 데이터와 미디어 데이터를 통합하여 하나의 파일로 구성할 수 있으며, 실감 효과 데이터와 미디어 데이터가 통합된 실감 효과 미디어 데이터 파일을 재생할 수 있는 방법이 제공된다.
제1 실시예에 다르면, 복수의 단위 실감 효과 데이터를 포함하는 실감 효과 메타데이터를 분석하여 각 단위 실감 효과 데이터를 분리하는 단계; 미디어 데이터의 속성을 나타내는 제1 구성 정보 및 실감 효과 메타데이터의 속성을 나타내는 제2 구성 정보를 구성하는 단계; 상기 분리된 각 단위 실감 효과 데이터와 상기 미디어 데이터를 인코딩하는 단계; 및 상기 인코딩된 단위 실감 효과 데이터, 상기 인코딩된 미디어 데이터, 상기 제1 구성 정보 및 상기 제2 구성 정보를 이용하여 실감 효과 미디어 데이터를 구성하는 단계를 포함하는 실감 효과 미디어 데이터 구성 방법이 제공될 수 있다.
제2 실시예에 따르면, 실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리하는 단계; 상기 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성에 대한 제1 구성 정보와 실감 효과 데이터에 대한 제2 구성 정보를 검출하는 단계; 상기 미디어 데이터 필드를 파싱하여 인코딩된 실감 효과 데이터와 인코딩된 미디어 데이터를 검출한 후 디코딩하는 단계; 상기 제1 구성 정보, 상기 제2 구성 정보, 상기 디코딩된 실감 효과 데이터 및 상기 디코딩된 미디어 데이터를 이용하여 상기 실감 효과 미디어 데이터를 재생하는 단계를 포함하는 실감 효과 미디어 데이터 파일 재생 방법이 제공될 수 있다.
제3 실시예에 따르면, 복수의 단위 실감 효과 데이터를 포함하는 실감 효과 메타데이터를 분석하여 분리 기준 모드가 제1 기준 모드이면, 부모 엘리먼트를 포함하여 상기 단위 실감 효과 데이터를 분리하는 단계; 및 상기 분류 기준 모드가 제2 기준 모드이면, 상기 부모 엘리먼트를 제외하여 상기 단위 실감 효과 데이터를 분리하는 단계를 포함하는 실감 효과 데이터 분리 방법이 제공될 수 있다.
본 발명의 일 실시예에 따른 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치를 제공함으로써, 실감 효과 데이터를 샘플로 나누고, 나누어진 실감 효과 데이터의 샘플과 미디어 데이터의 샘플을 동일 필드에 삽입하여 실감 효과 미디어 데이터 파일을 구성할 수 있는 이점이 있다.
도 1은 제1 실시예에 따른 실감 효과 미디어 데이터 파일 구성 장치의 구성을 도시한 블록도.
도 2는 제1 실시예에 따른 실감 효과 메타데이터의 예시도.
도 3은 제1 실시예에 따른 실감 효과 메타데이터에서 각 실감 효과 데이터를 분리한 일 예를 도시한 도면.
도 4 및 도 5에는 제1 실시예에 따른 실감 효과 미디어 데이터에 대한 파일 구조를 도시한 도면.
도 6는 제1 실시예에 따른 실감 효과 데이터에 대한 트랙을 예시한 도면.
도 7은 제1 실시예에 따른 실감 효과 미디어 데이터 파일을 제작하는 명령과 그에 따른 실행 결과에 따라 생성된 실감 효과 미디어 데이터 파일을 예시한 도면.
도 8은 제1 실시예에 관련된 실감 효과 미디어 데이터 파일의 전송 스트림 샘플을 구성하는 방법을 설명하기 위해 도시한 도면.
도 9는 제1 실시예에 따른 실감 효과 미디어 데이터 파일 재생 장치를 나타낸 블록도.
도 10은 제1 실시예에 따른 유효한 XML 파일들을 복원하도록 입력된 실감 효과 미디어 데이터 파일을 언팩킹(unpacking)한 실행 결과를 도시한 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 제1 실시예에 따른 실감 효과 미디어 데이터 파일 구성 장치의 구성을 도시한 블록도이고, 도 2는 제1 실시예에 따른 실감 효과 메타데이터의 예시도이고, 도 3은 제1 실시예에 따른 실감 효과 메타데이터에서 각 실감 효과 데이터를 분리한 일 예를 도시한 도면이며, 도 4 및 도 5에는 제1 실시예에 따른 실감 효과 미디어 데이터에 대한 파일 구조를 도시한 도면이고, 도 6는 제1 실시예에 따른 실감 효과 데이터에 대한 트랙을 예시한 도면이고, 도 7은 제1 실시예에 따른 실감 효과 미디어 데이터 파일을 제작하는 명령과 그에 따른 실행 결과에 따라 생성된 실감 효과 미디어 데이터 파일을 예시한 도면이며, 도 8은 제1 실시예에 관련된 실감 효과 미디어 데이터 파일의 전송 스트림 샘플을 구성하는 방법을 설명하기 위해 도시한 도면이다.
도 1을 참조하면, 제1 실시예에 따른 실감 효과 미디어 데이터 파일 구성 장치(100)는 실감 효과 데이터 전처리부(110), 구성정보 구성부(115), 샘플 인코딩부(120) 및 파일 구성부(125)를 포함한다.
제1 실시예에 따른 실감 효과 미디어 데이터 파일 구성 장치(100)는 실감 효과 메타데이터와 미디어 데이터를 입력받아 실감 효과 미디어 데이터 파일을 구성할 수 있다.
본 명세서에서 실감 효과 메타데이터(SEM: Sensory Effect Metadata)는 실감 효과 정보를 나타내는 정보이다. 여기서, 실감 효과 정보는 미디어 데이터를 사용하는 사용자에게 시각, 청각 및 촉각 등의 자극을 줄 수 있는 정보로, Light, Flash, Heating, Cooling, Wind, Vibration, Scent, Fog, Spraying, Color correction, Tactile, Kinesthetic, Rigid body motion 등을 표현할 수 있는 정보이다. 이와 같은 실감 효과 메타데이터는 XML 인스턴스(instance) 형태일 수 있다.
실감 효과 메타데이터는 도 2에 도시되어 있다.
이와 같은 실감 효과 메타데이터는 DescriptionMetadata, Declarations, Effect, ReferenceEffect 중 적어도 하나를 포함하여 구성될 수 있다.
DescriptionMetadata는 실감 효과(Sensory Effect)에 대한 last update, comment, createor, creation location 등과 같은 저작 정보를 기술하기 위해 사용되며, Declarations, Effect, ReferenceEffect는 실감 효과를 기술하기 위해 사용되는 엘리먼트이다.
Declareations는 자주 이용되는 실감 효과(Sensory Effect)를 미리 정의하기 위해 사용되는 엘리먼트이고, ReferenceEffect는 외부 리소스에 정의된 Sensory Effect 또는 Declarations에 정의된 실감 효과를 참조하거나 이전에 사용된 실감 효과를 재사용하고자 할 때 이를 정의하기 위한 엘리먼트이다. 또한, Effect는 복수의 실감 효과를 표현하고자 할 때 각 실감 효과를 정의하기 위해 사용되는 엘리먼트이다.
또한, 미디어 데이터는 영상 데이터, 음성 데이터 및 텍스트 데이터를 포함할 수 있으며, 영상 데이터, 음성 데이터 및 텍스트 데이터 중 둘 이상이 조합된 데이터일 수 있다. 또한, 영상 데이터는 스테레오스코픽 영상과 같은 입체영상 데이터를 포함할 수도 있다.
실감 효과 데이터 전처리부(110)는 실감 효과 메타데이터 파일을 분석하여 단위 실감 효과 데이터로 나누기 위한 수단이다.
도 2에 도시된 바와 같이, 실감 효과 메타데이터는 복수의 실감 효과 데이터를 포함하며, 실감 효과 데이터 전처리부(110)는 실감 효과 메타데이터에 포함된 복수의 실감 효과 데이터를 각각 단위 실감 효과 데이터로 나누기 위한 수단이다. 이하에서는 이해와 설명의 편의를 도모하기 위해 각각의 단위 실감 효과 데이터를 실감 효과 샘플이라 칭하기로 한다.
도 2를 참조하여, 복수의 실감 효과 데이터를 포함하는 실감 효과 메타데이터 파일의 구조에 대해 간략하게 설명하기로 한다.
도 2에는 복수의 실감 효과 데이터를 포함하는 실감 효과 메타데이터 파일이 도시되어 있다.
도 2에 도시된 바와 같이, 입력된 실감 효과 메타데이터 파일은 해당 실감 효과 메타데이터 파일이 실감 효과 메타데이터임을 나타내는 <SEM> 엘리먼트를 포함한다. <SEM> 엘리먼트는 <SEM> 엘리먼트 하위에 포함된 각 실감 효과 데이터를 나타내는 <Effect> 엘리먼트의 부모 엘리먼트 관계를 가진다. 따라서, <SEM> 엘리먼트 내에 포함된 <Effect> 엘리먼트는 각각 <SEM> 엘리먼트의 자식 엘리먼트 관계를 가지는 것으로 정의될 수 있다.
또한, <SEM> 엘리먼트 하위에는 단위 실감 효과 메타데이터로의 분리를 위한 기준 모드를 포함하고 있다. 도 2의 메타데이터내의 puMode는 단위 실감 효과 데이터(실감 효과 샘플)를 분할하기 위한 기준 모드를 나타내는 것으로, 부모 엘리먼트에 대한 메타데이터를 포함하여 단위 실감 효과 데이터(실감 효과 샘플)를 분리할 것인지 아니면 부모 엘리먼트에 대한 정보 없이 각 단위 실감 효과 데이터(실감 효과 샘플)를 분리할 것인지를 나타낸다.
puMode가 “ancestrosDesendants”이면, 부모 엘리먼트의 정보를 포함하여 각 자식 엘리먼트(즉, 실감 효과 데이터)를 분리하는 것을 나타내며, puMode가 “Desendants”이면, 부모 엘리먼트에 대한 정보 없이 부모 엘리먼트의 각 자식 엘리먼트(즉, 단위 실감 효과 데이터)를 각각 분리하는 것을 의미한다.
따라서, 실감 효과 데이터 전처리부(110)는 실감 효과 메타데이터 파일을 분석하여 분리 기준 모드(puMode)를 확인한 후 분리 기준 모드에 따라 단위 실감 효과 데이터(실감 효과 샘플)를 각각 분리할 수 있다.
이때, 실감 효과 데이터 전처리부(110)는 MPEG-21 Part 7 XML streaming Instruction(XML)에 기반하여 실감 효과 메타데이터 파일을 단위 실감 효과 데이터(실감 효과 샘플)로 각각 분리하여 개별적인 실감 효과 샘플 메타데이터 파일을 각각 생성할 수 있다.
도 2에 도시된 실감 효과 메타데이터 파일(예를 들어, inputSEM.xml)이 실감 효과 데이터 전처리부(110)로 입력되면, 실감 효과 데이터 전처리부(110)는 실감 효과 메타데이터 파일의 메타데이터를 분석하여 각각의 단위 실감 효과 데이터를 실감 효과 샘플로써 “fragmentSEM_*.xml”로 각각 저장한다.
도 2에 도시된 실감 효과 메타데이터 파일을 참조하면, 분리 기준 모드(puMode)가 “ancestorsDesendants”이므로, 실감 효과 샘플은 각 단위 실감 효과 데이터뿐만 아니라 각 단위 실감 효과 데이터에 대한 부모 엘리먼트인 <SEM> Root 엘리먼트를 포함하도록 생성될 수 있다.
이에 대해서는 도 3에 예시되어 있다.
도 2에 도시된 실감 효과 메타데이터 파일에는 4개의 단위 실감 효과 데이터를 포함하고 있으므로, 실감 효과 데이터 전처리부(110)는 제1 단위 실감 효과 데이터를 나누어 제1 실감 효과 샘플 파일(“fragmentSEM_1.xml”)을 생성하고, 제2 단위 실감 효과 데이터를 나누어 제2 실감 효과 샘플 파일(“fragmentSEM_2.xml”)을 생성하고, 제3 단위 실감 효과 데이터를 분리하여 제3 실감 효과 샘플 파일(“fragmentSEM_3.xml”)을 생성하고, 제4 단위 실감 효과 데이터를 분리하여 제4 실감 효과 샘플 파일(“fragmentSEM_4.xml”)을 생성할 수 있다.
이미 전술한 바와 같이, 제1 실감 효과 샘플 파일 내지 제4 실감 효과 샘플 파일은 분리 기준 모드에 따라 각 단위 실감 효과 데이터와 함께 이에 대한 부모 엘리먼트 정보(즉, SEM Root 엘리먼트에 대한 정보)를 포함할 수 있다.
다시, 도 1을 참조하여 구성정보 구성부(115)는 미디어 데이터와 실감 효과 메타데이터를 각각 입력받고, 입력된 미디어 데이터와 실감 효과 데이터를 각각 분석하여 그에 따른 구성 정보를 생성하는 기능을 한다.
보다 상세하게 설명하면, 구성정보 구성부(115)는 입력된 미디어 데이터를 구성하는 각 미디어 객체를 검출한 후, 검출된 미디어 객체에 대한 속성을 나타내는 구성 정보(이하, 제1 구성 정보라 칭하기로 함)를 생성할 수 있다. 또한, 구성정보 구성부(115)는 해당 미디어 데이터와 함께 입력된 실감 효과 메타데이터를 분석하여 실감 효과 메타데이터에 대한 속성을 나타내는 구성 정보(이하, 제2 구성정보라 칭하기로 함)를 생성할 수 있다.
예를 들어, 제1 구성 정보는 각 미디어 객체의 사이즈, 부호화 유형, 각 미디어 객체를 획득하는데 사용된 기기에 관련된 정보(예를 들어, 미디어 객체가 영상인 경우, 영상을 획득하는데 사용된 카메라에 대한 정보), 각 미디어 객체를 출력하기 위한 출력 장치에 대한 정보 등을 포함할 수 있다. 이외에도, 미디어 객체가 만일 영상인 경우, 영상 데이터를 구성하는 프레임의 필드 라인의 수 등을 더 포함할 수 있다. 또한, 미디어 객체가 입체 영상인 경우, 제1 구성 정보는 입체 영상에 포함되는 좌영상 및 우영상의 디스패리티 정보를 더 포함할 수도 있다.
이외에도 제1 구성 정보는 미디어 데이터의 샘플에 대한 주소 정보를 포함할 수도 있다.
이와 같이, 제1 구성 정보는 미디어 데이터를 구성하는 각 미디어 객체에 대해 정의 가능한 다양한 속성에 대한 정보를 모두 포함할 수 있다.
상기에서는 각 미디어 객체가 영상인 경우를 가정하므로 제1 구성 정보가 제한적으로 기재되어 있으나, 오디오 데이터나 텍스트 데이터인 경우, 오디오 데이터를 구성하는 음향에 대한 다양한 정보 등과 같은 다양한 속성을 더 포함할 수 있음은 당연하다.
또한, 제2 구성 정보는 실감 효과 데이터(즉, 실감 효과 샘플)에 대한 설명 정보 및 실감 효과 데이터(실감 효과 샘플)에 대한 주소 정보 등을 포함할 수 있다.
상술한 바와 같이, 구성정보 구성부(115)는 제1 구성 정보와 제2 구성 정보를 각각 생성한 후, 제1 구성 정보와 제2 구성 정보를 실감 효과 미디어 데이터의 동일한 필드(예를 들어, 구성정보 컨테이너 필드)에 삽입할 수 있다.
샘플 인코딩부(120)는 미디어 데이터와 실감 효과 데이터를 각각 입력받고, 입력받은 미디어 데이터와 실감 효과 데이터를 각각 인코딩하는 기능을 수행한다.
샘플 인코딩부(120)는 인코딩 모드에 따라 미디어 데이터와 실감 효과 데이터를 각각 인코딩할 수 있다. 여기서, 인코딩 모드는 텍스트 인코딩 모드와 바이너리 인코딩 모드를 포함한다. 텍스트 인코딩 모드는 예를 들어, UTF-8로 인코딩하는 것을 나타낸다. 또한, 바이너리 인코딩 모드는 MPEG-V Binary representation으로 인코딩하는 것을 나타낸다.
파일 구성부(125)는 구성정보 구성부(115)로부터 제1 구성 정보와 제2 구성 정보를 각각 입력받고, 샘플 인코딩부(120)로부터 인코딩된 미디어 데이터와 실감 효과 데이터를 각각 입력받아 실감 효과 미디어 데이터를 구성하여 다중 감각 효과 미디어 파일을 출력하는 기능을 한다.
실감 효과 미디어 데이터 파일은 여러 요소 표준의 조합을 위해 ISO base media file format을 기반으로 한다. ISO base media file format을 기반으로 파일 형식은 MPEG-4 파일 포맷(ISO/IEC 14496-14), MPEG-21 파일 포맷(ISO/IEC 21000-9) 등이 있다. 이러한 ISO base media file format을 기반으로 파일 형식은 유연하고 확장성이 매우 우수하며 스트리밍 서비스에 유리한 이점이 있다.
ISO base media file format은 기본적으로 Box라고 불리우는 집합으로 이루어져 있다. Box의 타입(type)은 고유한 식별자로 4글자의 약자로 이루어진다. 예를 들어, media data box의 box type은 "mdat”이다.
도 4 및 도 5에는 파일 구성부(125)에 의해 구성된 실감 효과 미디어 데이터에 대한 파일 구조가 도시되어 있다.
도 4는 메타 박스를 이용하여 구성된 실감 효과 미디어 데이터의 구조를 나타낸다.
도 4를 참조하면, 메타 박스를 이용하여 구성된 실감 효과 미디어 데이터는 ftyp 박스(410), moov 박스(420), mdat 박스(430) 및 meta 박스(440)를 포함한다. ftyp 박스(410)는 파일 타입에 대한 정보 및 호환성에 대한 정보가 포함된다.
moov 박스(420)는 구성정보 컨테이너 필드로, 미디어 데이터와 실감 효과 데이터의 구성 정보가 동일한 필드에 삽입된다.
예를 들어, 구성정보 구성부(115)로부터 제1 구성 정보와 제2 구성 정보가 입력되면, 제1 구성정보와 제2 구성 정보를 구성정보 컨테이터 필드에 함께 삽입할 수 있다.
따라서, moov 박스(420)는 미디어 데이터의 트랙 박스를 포함할 수 있다. 미디어 데이터의 트랙 박스에는 미디어 데이터의 각 미디어 객체(즉, 각 미디어 데이터 샘플)의 주소 정보가 저장될 수 있다. mdat 박스(430)는 미디어 데이터 필드로, 미디어 데이터의 각 미디어 객체(즉, 미디어 샘플(예를 들어, Video sample, Audio sample)이 각각 삽입될 수 있다. 또한, meta 박스(440)는 xml box의 컨테이너 박스(container box)이다.
도 5에는 트랙 박스를 이용하여 구성된 실감 효과 미디어 데이터 파일의 구조가 도시되어 있다.
도 5에 도시된 바와 같이, 트랙 박스를 이용하여 구성된 실감 효과 미디어 데이터 파일은 ftyp 박스(510), moov 박스(520) 및 mdat 박스(530)를 포함한다.
ftyp 박스(510)는 파일 타입에 대한 정보 및 호환성 정보가 삽입될 수 있다. moov 박스(520)는 구성정보 컨테이너로, 미디어 데이터의 각 미디어 객체에 대한 구성 정보와 각 실감 효과 데이터에 대한 구성 정보가 삽입될 수 있다.
예를 들어, moov 박스(520)는 도 5에 도시된 바와 같이, 미디어 데이터에 대한 트랙 박스와 실감 효과 데이터에 대한 트래 박스를 포함할 수 있다. 여기서, 미디어 데이터의 트랙 박스는 미디어 데이터의 각 미디어 객체(미디어 샘플)의 주소 정보가 저장되며, 실감 효과 데이터의 트랙 박스에는 실감 효과 데이터(즉, 실감 효과 샘플)의 설명 정보 및 주소 정보가 포함될 수 있다.
mdat 박스(530)는 미디어 데이터 필드로서, 미디어 데이터의 각 미디어 객체를 각 미디어 샘플(Video sample, Audio sample)로 삽입되며, 실감 효과 데이터를 실감 효과 샘플(Sensory Effect Metadata sample)로 삽입될 수 있다.
또한, 실감 효과 샘플에는 실감 효과 샘플에 대한 인코딩 방식이 더 포함될 수 있다.
track은 미디어 데이터나 실감 효과 데이터에 대한 직접적인 샘플은 포함하고 있지 않으며, mdat 박스(530)에 포함된 미디어 샘플이나 실감 효과 샘플을 참조하는 방식으로 구조가 형성된다.
실감 효과 메타데이터에 기반하여 SEM 트랙(SEM track)을 통해 mdat 박스에 포함된 실감 효과 샘플을 참조하는 방식의 주된 이슈는 SEM을 샘플로 만들기 위해 SEM xml 인스턴스를 일정한 기준에 따라 나눈 후 이를 mata 박스에 저장하는 방식을 결정하는 것이다.
본 발명의 일 실시예서는 실감 효과 메타데이터를 나누어 저장하기 때문에 스트리밍이나 hint track을 이용한 MPEG-2 TS를 사용하는 방송 서비스 환경에 적합할 수 있다.
제1 실시예에 의하면, 실감 효과 미디어 데이터 시청을 위해 TV를 켰을 때, SEM 전체를 받지 않고, 현재 presentation time에 해당하는 SEM 샘플만 다운로드하도록 할 수 있다.
따라서, 사용자는 SEM 전체를 다운로드 하는 시간을 기다리지 않아도 되는 이점이 있다. 또한, 실감 기기(sensory device) 성능 측면에서도 현재 presentation time에 해당하는 실감 효과 정보만 디코딩하면 되기 때문에 성능 문제에 종속적이지 않은 이점이 있다.
지금까지 도 4 및 도 5를 참조하여, 실감 효과 미디어 데이터의 구조에 대해 상세히 설명하였다. 파일 구성부(125)는 인코딩된 실감 효과 데이터, 인코딩된 미디어 데이터, 제1 구성 정보, 제2 구성 정보를 이용하여 상술한 실감 효과 미디어 데이터를 구성하여 실감 효과 미디어 데이터 파일을 출력할 수 있다.
도 6에는 실감 효과 데이터에 대한 트랙이 예시되어 있다.
도 6에 도시된 바와 같이, 실감 효과 데이터에 대한 트랙 박스는 샘플 디스크립션 박스(sample description box, stsd), 동기 샘플 박스(stss), Decoding Time to Sample 박스(stts), 샘플 사이즈 박스(stsz), chunk offset 박스(stco)를 포함한다.
샘플 디스크립션 박스내에는 다중 실감 효과 박스(mpms)가 생성되고, 다중 실감 효과 박스 내에 각 인코딩 방식 박스가 생성된다. 여기서, 인코딩 방식 박스는 SEM 텍스트 박스(semt)와 SEM 바이너리 박스(semb)일 수 있다. semt 박스는 UTF-8(텍스트)로 인코딩된 SEM 샘플들을 포함하는 반면, semb 박스는 MPEG-v 바이너리 표현으로 인코딩된 SEM 샘플들을 포함한다.
동기 샘플 박스(stss)는 스트림 범위 내에서 랜덤 액세스 포인트들의 콤팩 마킹들(compact marking)을 제공한다. 예를 들어, 동기 샘플 박스는 비디오 트랙의 경우 i-frame 샘플수들(sample numbers)을 포함한다. 각 SEM 샘플은 SEM 트랙의 경우에 랜덤 액세스 포인트가 된다.
Decoding Time to Sample 박스(stts)는 샘플수로 디코딩 시간으로부터 인덱싱(indexing)을 허락하는 테이블의 콤팩트 버전을 포함한다. 다른 테이블들은 샘플수로부터, 샘플 사이즈들 및 포인터들을 제공한다. 테이블의 각 엔트리(entry)는 동시간 delta를 가지는 연속적인 일련의 샘플들 및 상기 샘플들의 델타를 제공한다. 델타들을 합산함에 의해, 완벽한 time-to-sample 맵이 형성될 수 있다. 2개의 연속적은 SEM 샘플들 사이의 pts 차이는 sample_delta가 된다.
Sample Size 박스(stsz)는 샘플 카운트(sample count) 및 각 샘플의 바이트들 견지에서 사이즈를 제공하는 테이블을 포함한다. 이는 미디어 데이터 그 자체가 unframed 되게 허용한다. 미디어의 전체 샘플 수는 항상 샘플 카운트 내에 표시된다.
chunk offset 박스(stco)는 각 chunk의 인덱스를 상기 containing 파일 내로 제공한다. 오프셋들은 파일 오프셋들이고, 파일(예를 들어, 미디어 데이터 박스) 내의 어떤 박스 내의 오프셋은 아니다.
도 7에는 실감 효과 미디어 데이터 파일을 제작하는 명령과 그에 따른 실행 결과에 따라 생성된 실감 효과 미디어 데이터 파일을 예시한 도면이다.
다시, 도 1을 참조하여, 파일 구성부(125)는 구성정보 구성부(115)로부터 제1 구성 정보와 제2 구성 정보가 입력되면, 제1 구성 정보와 제2 구성 정보를 구성정보 컨테이너 필드에 삽입한다.
이어, 파일 구성부(125)는 인코딩된 실감 효과 데이터와 인코딩된 미디어 데이터를 이용하여 실감 효과 샘플 및 미디어 샘플로 각각 미디어 데이터 필드에 삽입할 수 있다.
이때, 파일 구성부(125)는 미디어 데이터 필드에 실감 효과 샘플과 미디어 샘플을 삽입시, 해당 실감 효과 샘플과 미디어 샘플에 대한 인코딩 방법을 포함하여 미디어 데이터 필드에 삽입할 수 있다.
도 8은 제1 실시예에 관련된 실감 효과 미디어 데이터 파일의 전송 스트림 샘플을 구성하는 방법을 설명하기 위해 도시한 도면이다.
도 8은 Hint track을 이용한 TS(Transport Stream) sample 구성 방법을 보여준다. mdat box 의 hint sample은 하나의 TS 패킷을 나타낸다. TS 패킷은 헤더와 페이로드로 구성된다. 헤더에는 decoder와의 sync를 위한 sync byte, 패킷을 구분 짓는 유일한 값인 PID등의 정보가 들어간다. 헤더의 정보는 Audiovisual contents와 관계 없는 전송을 위한 정보들이다. 반면에 페이로드는 audio, video 그리고 다른 미디어로 구성된다. Hint track은 TS 패킷의 페이로드에 실리는 정보를 video sample, audio sample을 참조하여 구성할 수 있게 도와준다. 이는 media sample(video sample, audio sample, the other media sample)의 offset을 TS sample의 payload가 갖고 있는 형태다. 만약 hint track을 사용하지 않는다면 재생을 위한 MAF file과 전송을 위한 TS file이 따로 필요하다. 하지만 Hint track을 사용하면 하나의 파일로 재생과 전송의 목적을 동시에 만족 할 수 있고, TS sample의 payload는 sample의 offset만을 갖고 있기 때문에 저장 용량을 줄일 수 있다. 이러한 점은 SEM track을 사용하여 실감 효과 미디어 데이터 파일을 만들어야 하는 중요한 이유이다. SEM track을 이용한 실감 효과 미디어 데이터 파일에서 hint track을 사용한다면 하나의 파일로 4D Media(또는 실감 미디어)의 재생과 전송의 목적을 동시에 만족 할 수 있으며 이러한 장점은 대형 방송사뿐만이 아닌 개인 사용자도 쉽고 편하게 4D 방송을 할 수 있는 바탕을 만들어 줄 있다.
도 9는 제1 실시예에 따른 실감 효과 미디어 데이터 파일 재생 장치를 나타낸 블록도이고, 도 10은 제1 실시예에 따른 유효한 XML 파일들을 복원하도록 입력된 실감 효과 미디어 데이터 파일을 언팩킹(unpacking)한 실행 결과를 도시한 도면이다. 이하에서는 트랙 박스를 이용하여 실감 효과 미디어 데이터 파일을 재생하는 방법에 대해 설명하기로 한다.
도 9를 참조하면, 제1 실시예에 따른 실감 효과 미디어 데이터 파일 재생 장치(900)는 파일 분리부(910), 구성정보 파싱부(915), 샘플 디코딩부(920) 및 재생부(925)를 포함하여 구성된다.
파일 분리부(910)는 외부로부터 실감 효과 미디어 데이터 파일을 입력받고, 입력된 실감 효과 미디어 데이터 파일을 분석하여 실감 효과 미디어 데이터 파일에서 구성정보 컨테이너 필드와 미디어 데이터 필드를 분리하는 기능을 한다.
파일 분리부(910)는 분리된 구성정보 컨테이너 필드와 미디어 데이터 필드를 구성정보 파싱부(915) 및 샘플 디코딩부(920)로 각각 출력한다.
구성정보 파싱부(915)는 구성정보 컨테이너 필드를 파싱하여 구성 정보를 검출하여 재생부(925)로 출력하는 기능을 한다.
보다 상세하게 구성정보 파싱부(915)는 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성을 나타내는 제1 구성정보와 실감 효과 데이터의 속성을 나타내는 제2 구성정보를 각각 검출한 후 이를 재생부(925)로 출력할 수 있다.
샘플 디코딩부(920)는 미디어 데이터 필드에서 인코딩된 미디어 데이터 샘플과 실감 효과 샘플을 각각 검출한 후 이를 디코딩하여 재생부(925)로 출력한다.
보다 상세하게, 샘플 디코딩부(920)는 인코딩된 미디어 샘플과 실감 효과 샘플이 인코딩된 인코딩 방법에 따른 디코딩 방법에 따라 인코딩된 미디어 샘플과 실감 효과 샘플을 각각 디코딩하여 미디어 샘플과 실감 효과 샘플을 재생부(925)로 출력할 수 있다.
재생부(925)는 제1 구성 정보, 제2 구성 정보, 미디어 데이터 샘플, 실감 효과 데이터 샘플을 조합하여 실감 효과 미디어 데이터 파일을 재생하기 위한 수단이다.
한편, 본 발명의 일실시예에 의하면, 상기 실감 효과 미디어 데이터 파일 재생 장치(900)는 도 6과 같이 메타 박스를 이용하여 구성된 실감 효과 미디어 데이터 파일도 재생할 수 있다. 이 경우는, 실감 효과 미디어 데이터 파일에 포함된 미디어 데이터의 구성정보, 미디어 데이터 샘플 및 xml instance 형태의 실감 효과 데이터를 분리하고, 상기 미디어 데이터의 구성정보, 미디어 데이터 샘플 및 xml instance 형태의 실감 효과 데이터를 이용하여 실감 효과 미디어 데이터 파일이 재생될 수 있다.
본 발명의 일실시예에 의하면, 실감 효과 데이터와 미디어 데이터를 통합하여 하나의 파일로 구성하여 처리함으로써, 실감 효과 미디어 데이터를 효과적으로 저장, 관리, 재생할 수 있다.
본 발명의 일실시예에 의하면, 실감 효과 데이터와 미디어 데이터를 통합하여 하나의 파일로 구성하여 처리함으로써, 실감 효과 미디어 데이터를 효과적으로 저장, 관리, 재생할 수 있다.
본 발명의 일실시예에 의하면, 실감 효과 데이터를 샘플로 나누고, 나누어진 실감 효과 데이터의 샘플과 미디어 데이터의 샘플을 동일 필드에 삽입하여 실감 효과 미디어 데이터 파일을 구성함으로써, 스트리밍 서비스나 방송서비스에 유용하게 적용할 수 있다.
상술한 본 발명에 따른 모션 예측을 위한 인터폴레이터 픽셀 생성 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.
110: 실감 효과 데이터 전처리부
115: 구성정보 구성부
120: 샘플 인코딩부
125: 파일 구성부

Claims (14)

  1. 복수의 단위 실감 효과 데이터를 포함하는 실감 효과 메타데이터를 분석하여 각 단위 실감 효과 데이터를 분리하는 단계;
    미디어 데이터의 속성을 나타내는 제1 구성 정보 및 실감 효과 메타데이터의 속성을 나타내는 제2 구성 정보를 구성하는 단계;
    상기 분리된 각 단위 실감 효과 데이터와 상기 미디어 데이터를 인코딩하는 단계; 및
    상기 인코딩된 단위 실감 효과 데이터, 상기 인코딩된 미디어 데이터, 상기 제1 구성 정보 및 상기 제2 구성 정보를 이용하여 실감 효과 미디어 데이터를 구성하는 단계를 포함하되,
    상기 단위 실감 효과 데이터를 분리하는 단계는,
    상기 실감 효과 메타데이터에 포함된 분리 기준 모드에 따라 상기 단위 실감 효과 데이터를 상이하게 분리하는 것을 특징으로 하는 실감 효과 미디어 데이터 구성 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 분리 기준 모드는 상기 실감 효과 데이터의 부모 엘리먼트를 포함하여 분리하는 제1 기준 모드와 상기 부모 엘리먼트를 제외하여 분리하는 제2 기준 모드를 포함하는 것을 특징으로 하는 실감 효과 미디어 데이터 구성 방법.
  4. 제1 항에 있어서,
    상기 실감 효과 미디어 데이터를 구성하는 단계는,
    상기 제1 구성 정보 및 상기 제2 구성 정보를 구성정보 컨테이너 필드에 포함하는 단계;
    상기 인코딩된 단위 실감 효과 데이터 및 상기 인코딩된 미디어 데이터에 대한 인코딩 모드를 상기 구성정보 컨테이너 필드에 삽입하는 단계; 및
    상기 인코딩된 미디어 데이터의 샘플과 상기 인코딩된 단위 실감 효과 데이터의 샘플을 미디어 데이터 필드에 각각 삽입하는 단계를 포함하는 실감 효과 미디어 데이터 구성 방법.
  5. 복수의 단위 실감 효과 데이터를 포함하는 실감 효과 메타데이터를 분석하여 각 단위 실감 효과 데이터를 분리하는 실감 효과 데이터 전처리부;
    미디어 데이터의 속성을 나타내는 제1 구성 정보 및 실감 효과 메타데이터의 속성을 나타내는 제2 구성 정보를 구성하는 구성정보 구성부;
    상기 분리된 각 단위 실감 효과 데이터와 상기 미디어 데이터를 인코딩하는 샘플 인코딩부; 및
    상기 인코딩된 단위 실감 효과 데이터, 상기 인코딩된 미디어 데이터, 상기 제1 구성 정보 및 상기 제2 구성 정보를 이용하여 실감 효과 미디어 데이터를 구성하는 파일 구성부를 포함하되,
    상기 실감 효과 데이터 전처리부는,
    상기 실감 효과 메타데이터에 포함된 분리 기준 모드에 따라 상기 단위 실감 효과 데이터를 상이하게 분리하는 것을 특징으로 하는 실감 효과 미디어 데이터 구성 장치.
  6. 삭제
  7. 제5 항에 있어서,
    상기 실감 효과 데이터 전처리부는,
    상기 분리 기준 모드가 제1 기준 모드이면, 상기 단위 실감 효과 데이터의 부모 엘리먼트에 대한 정보를 포함하여 상기 단위 실감 효과 데이터를 분리하고,
    상기 분리 기준 모드가 제2 기준 모드이면, 상기 단위 실감 효과 데이터의 부모 엘리먼트에 대한 정보를 제외하여 상기 단위 실감 효과 데이터를 분리하는 것을 특징으로 하는 실감 효과 미디어 데이터 구성 장치.
  8. 제5 항에 있어서,
    상기 파일 구성부는,
    상기 제1 구성 정보와 상기 제2 구성 정보를 구성정보 컨테이너 필드에 삽입하고, 상기 인코딩된 단위 실감 효과 데이터 및 상기 인코딩된 미디어 데이터에 대한 인코딩 모드를 상기 구성정보 컨테이너 필드에 삽입하며, 상기 인코딩된 미디어 데이터의 샘플과 상기 인코딩된 단위 실감 효과 데이터의 샘플을 미디어 데이터 필드에 각각 삽입하여 상기 실감 효과 미디어 데이터를 구성하는 것을 특징으로 하는 실감 효과 미디어 데이터 구성 장치.
  9. 삭제
  10. 삭제
  11. 실감 효과 미디어 데이터 파일에 포함된 구성정보 컨테이너 필드 및 미디어 데이터 필드를 분리하는 파일 분리부;
    상기 구성정보 컨테이너 필드를 파싱하여 미디어 데이터의 속성에 대한 제1 구성 정보와 실감 효과 데이터에 대한 제2 구성 정보를 검출하는 구성 정보 파싱부-상기 제1 구성 정보 및 상기 제2 구성 정보는 인코딩 모드를 각각 포함함;
    상기 미디어 데이터 필드를 파싱하여 인코딩된 실감 효과 데이터와 인코딩된 미디어 데이터를 검출하고, 상기 제1 구성 정보 및 상기 제2 구성 정보에 포함된 각 인코딩 모드를 참조하여 상기 인코딩된 실감 효과 데이터와 상기 인코딩된 미디어 데이터를 각각 디코딩하는 샘플 디코딩부; 및
    상기 제1 구성 정보, 상기 제2 구성 정보, 상기 디코딩된 실감 효과 데이터 및 상기 디코딩된 미디어 데이터를 이용하여 상기 실감 효과 미디어 데이터를 재생하는 재생부를 포함하는 실감 효과 미디어 데이터 파일 재생 장치.
  12. 삭제
  13. 삭제
  14. 삭제
KR1020150132966A 2015-06-22 2015-09-21 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치 KR101732803B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150088306 2015-06-22
KR1020150088306 2015-06-22

Publications (2)

Publication Number Publication Date
KR20160150566A KR20160150566A (ko) 2016-12-30
KR101732803B1 true KR101732803B1 (ko) 2017-05-04

Family

ID=57737418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150132966A KR101732803B1 (ko) 2015-06-22 2015-09-21 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101732803B1 (ko)

Also Published As

Publication number Publication date
KR20160150566A (ko) 2016-12-30

Similar Documents

Publication Publication Date Title
US11805304B2 (en) Method, device, and computer program for generating timed media data
TWI632810B (zh) Data generating device, data generating method, data reproducing device, and data reproducing method
KR101398168B1 (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
JP6402633B2 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
US8508579B2 (en) System and method for generating and reproducing 3D stereoscopic image file including 2D image
US11094130B2 (en) Method, an apparatus and a computer program product for video encoding and video decoding
AU2009210926B2 (en) Apparatus and method for generating and displaying media files
JP6402631B2 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
KR20080112149A (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
WO2014111421A1 (en) Method of displaying a region of interest in a video stream
US10382835B2 (en) Apparatus and method for verifying the integrity of video file
EP2248127A2 (en) Method for generating and playing image files for slideshows
KR101681835B1 (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치 및 실감 효과 미디어 데이터 파일 구조
CN114697631B (zh) 沉浸媒体的处理方法、装置、设备及存储介质
KR20120106157A (ko) 실감 미디어 통합 데이터 파일을 구성 및 재생하는 방법과 그 장치
KR101732803B1 (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치
US11722751B2 (en) Method, an apparatus and a computer program product for video encoding and video decoding
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
KR20080092810A (ko) 미디어 표준 기반의 입체영상 파일 생성 장치 및 방법과이를 구현하기 위한 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant