KR20130118820A - 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치 - Google Patents

증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치 Download PDF

Info

Publication number
KR20130118820A
KR20130118820A KR1020130043521A KR20130043521A KR20130118820A KR 20130118820 A KR20130118820 A KR 20130118820A KR 1020130043521 A KR1020130043521 A KR 1020130043521A KR 20130043521 A KR20130043521 A KR 20130043521A KR 20130118820 A KR20130118820 A KR 20130118820A
Authority
KR
South Korea
Prior art keywords
event
item
information
media file
file
Prior art date
Application number
KR1020130043521A
Other languages
English (en)
Inventor
쉬이링
박경모
유성열
송재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130118820A publication Critical patent/KR20130118820A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Abstract

본 발명은 증강현실 서비스를 위한 미디어 파일을 처리하는 방법 및 장치를 제공한다. 본 발명에 따르면 증강현실 서비스를 제공하기 위한 이벤트에 관한 정보를 포함하는 미디어 파일을 저장하는 과정과, 상기 미디어 파일을 제공하는 과정을 포함하며, 상기 이벤트에 관한 정보는 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 포함한다.

Description

증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치{Method and apparatus of PROCESSing media file for AUGMENTED REALITY services}
본 발명은 데이터 미디어 파일의 처리에 관한 것으로서, 특히 증강현실(Augmented Reality: AR) 서비스를 위한 미디어 파일을 제공하는 방법 및 장치에 관한 것이다.
증강현실(AR)은 사용자가 눈으로 보는 현실 세계에 가상 물체(즉 AR 객체)를 겹쳐 보여주는 기술을 의미한다. 실시간 영상/음성 정보에 가상 객체를 합성하거나 관련 정보를 합성하여 증간된 정보 서비스를 제공하는 개념으로 인간의 감각과 인식을 확장한다는 측면에서 확장현실(MR: Mixed Reality)이라고 불리기도 한다. 특히 최근 카메라와 GPS(Global Positioning System) 등 다양한 센서를 내장한 모바일 단말과 스마트폰의 보급이 확산되고, 고속의 모바일 인터넷을 이용한 다양한 융합 서비스들이 선보이면서 모바일 기기를 활용한 증강현실 서비스가 급속히 확산되고 있다.
ISO(International Organization for Standardization) 미디어 파일 포맷(File Format: FF)은 비디오나 오디오와 같은 시간-기반 멀티미디어 파일들을 위한 일반적인 구조를 정의하며, MP4(MEPG(Moving Picture Experts Group)-4)나 3GP(3GPP(3rd Generation Partnership Project) file format)와 같은 다른 파일 포맷의 기반으로 사용된다.
도 1은 종래 기술에 따른 ISO 기반 미디어 파일의 논리적인 구성을 도시한 것으로서, 도시한 바와 같이 미디어 파일(100)은 파일 헤더 영역(102), 메타데이터 영역(104) 및 미디어 데이터 영역(106)으로 구성된다.
파일 헤더 영역(102)은 미디어 파일에 포함된 컨텐트의 기본적인 정보를 포함한다. 예를 들어, 컨텐트 식별자, 컨텐트 제작자, 제작 시간 등과 같은 정보가 파일 헤더에 포함될 수 있다. 미디어 파일이 복수의 트랙 또는 스트림으로 나뉘어지는 경우에는 트랙의 맵 구성 정보를 포함할 수 있다.
메타데이터 영역(104)은 미디어 파일에 포함된 컨텐트의 복수의 미디어 객체에 대한 개별적인 정보를 포함하고 있다. 미디어 객체의 디코딩을 위한 다양한 프로파일 정보 및 미디어 객체의 위치에 대한 정보를 포함한다. 여기서 미디어 객체란 컨텐트의 최소 단위로서, 동영상의 경우 단위 시간마다 화면에 디스플레이 되는 하나의 이미지 프레임이 미디어 객체가 될 수 있고, 음성의 경우 단위 시간마다 재생되는 하나의 오디오 프레임이 미디어 객체가 될 수 있다. 각각의 트랙마다 복수의 미디어 객체가 존재할 수 있으며, 이러한 미디어 객체들을 재생하는데 필요한 정보가 메타데이터 영역(104)에 포함된다.
미디어 데이터 영역(106)은 미디어 객체가 실제로 저장되는 영역이다.
ISO 기반 미디어 파일의 물리적인 구성은 박스(Box)들로 이루어진다. 개별 박스는 관련 데이터 및 하위 박스들로 구성되거나 또는 하위 박스들로만 구성된 컨테이너 박스로서 존재한다. 예를 들어, 도 1에서 도식화된 트랙은 물리적으로 트랙 박스로 저장되며, 트랙 박스는 트랙 헤더 정보, 미디어 정보, 미디어 디코딩 정보 등을 저장하는 다양한 하위 박스들로 구성된 컨테이너 박스이다.
종래의 ISO 기반 미디어 파일은 증강현실 서비스 제공에 필요한 어떠한 메타정보도 정의하고 있지 않으며, 또한 서로 다른 계층에 포함된 멀티미디어 컨텐트의 합성 방법, 즉 영상과 가상 물체를 겹쳐서 재생하기 위한 지시 방법을 제공하지 않는다. 따라서 종래의 ISO 기반 미디어 파일은 증강현실 서비스에 활용하기에는 많은 제약을 가진다.
본 발명은 미디어 파일을 이용한 증강현실 서비스의 제공 방법 및 이를 위한 장치를 제공한다.
본 발명은 증강현실 서비스를 제공하기 위한 미디어 파일을 제공하는 방법 및 장치를 제공한다.
본 발명은 증강현실 서비스를 제공하기 위한 미디어 파일을 처리하고 재생하는 방법 및 장치를 제공한다.
본 발명의 실시예에 따르면, 증강현실 서비스를 위한 미디어 파일의 제공 방법에 있어서, 증강현실 서비스를 제공하기 위한 이벤트에 관한 정보를 포함하는 미디어 파일을 저장하는 과정과, 상기 미디어 파일을 제공하는 과정을 포함하며, 상기 이벤트에 관한 정보는 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 포함한다.
또한 본 발명의 실시예에 따르면, 증강현실 서비스를 위한 미디어 파일의 제공 방법에 있어서, 증강현실 서비스를 제공하기 위한 이벤트에 관한 정보를 포함하는 미디어 파일을 저장하는 저장부와, 상기 미디어 파일을 제공하는 제어부를 포함하며, 상기 이벤트에 관한 정보는 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 포함한다.
또한 본 발명의 실시예에 따르면, 증강현실 서비스를 위한 미디어 파일을 처리하는 방법에 있어서, 증강현실 서비스를 제공하기 위한 이벤트에 관한 이벤트 정보를 포함하는 미디어 파일을 분석하는 과정과, 상기 미디어 파일에 포함된 비디오 또는 오디오 데이터를 추출하여 영상 재생에 필요한 영상 데이터를 생성하여 재생하는 과정과, 상기 이벤트가 선택된 경우에, 상기 미디어 파일에 포함된 이벤트 정보를 추출하고, 상기 이벤트 정보에 포함된 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 토대로 이벤트 아이템을 추출하고, 상기 이벤트 아이템에 해당하는 이벤트 영상을 구성하고, 상기 이벤트 영상을 상기 영상 데이터와 합성하여 재생하는 과정을 포함한다.
또한 본 발명의 실시예에 따르면, 증강현실 서비스를 위한 미디어 파일의 처리 장치에 있어서, 증강현실 서비스를 제공하기 위한 이벤트에 관한 정보를 포함하는 미디어 파일을 분석하는 미디어 파일 분석부와, 상기 미디어 파일에 포함된 비디오 또는 오디오 데이터를 추출하여 영상 재생에 필요한 영상 데이터를 생성하는 영상 재생부와, 상기 이벤트가 선택된 경우에, 상기 이벤트에 관한 정보에 포함된 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 토대로 이벤트 아이템을 추출하고 상기 이벤트 아이템에 해당하는 이벤트 영상 데이터를 생성하는 이벤트 재생부와, 상기 이벤트의 선택 여부에 따라 상기 영상 데이터와 상기 이벤트 영상 데이터를 합성하여 재생하는 영상 합성부를 포함한다.
도 1은 종래 기술에 따른 ISO 기반 미디어 파일의 논리적인 구성을 도시한 도면
도 2는 본 발명의 일 실시예에 따라 ISO 미디어 파일 포맷의 확장 부분을 지원하는 미디어 파일 재생 장치를 도식화한 도면
도 3a 내지 도 3c는 본 발명의 실시예에 따른 수학 문제에 대한 증강된 이벤트를 제공하는 경우를 도시한 도면
도 4a 내지 도 4c는 본 발명의 실시예에 따른 화면의 해상도를 변경하는 증강된 이벤트를 제공하는 경우를 도시한 도면
도 5a 내지 도 5c는 본 발명의 실시예에 따른 여행 프로그램에서 증강된 이벤트를 제공하는 경우를 도시한 도면
도 6은 본 발명의 실시예에 따른 증강된 서비스를 제공하기 위한 미디어 파일 재생 절차를 도시한 순서도
도 7은 본 발명의 일 실시예에 따른 AR을 위한 증강된 이벤트를 제공하는ISO 미디어 파일 포맷을 도식화한 도면
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, ISO 기반 미디어 파일 내부에 증강현실 서비스 제공에 필요한 메타정보를 정보를 저장하기 위한 ISO 미디어 파일 포맷의 확장 부분과, 상기 ISO 미디어 파일 포맷으로 작성된 미디어 파일의 재생을 담당하는 장치에 대하여 설명한다,
도 2는 본 발명의 일 실시예에 따라 ISO 미디어 파일 포맷의 확장 부분을 지원하는 미디어 파일 재생 장치를 도식화한 것이다. 미디어 파일 재생 장치(200)는 미디어 파일을 처리하고 증강현실 서비스를 제공할 수 있도록 구성된 수신 장치 내에 구비될 수 있다.
도 2를 참조하면, 미디어 파일 분석부(210)는 입력으로 주어지는 미디어 파일(202)을 분석하여 증강현실 서비스 제공에 필요한 메타정보를 포함하여 미디어 파일 재생에 필요한 다양한 정보를 추출한다. 증강 이벤트 처리부(214)는 사용자 입력(204)을 바탕으로 증강현실 서비스를 제공하기 위한 이벤트를 활성화하거나 또는 비활성화한다. 영상 재생부(212)는 미디어 파일에 포함된 비디오/오디오 데이터를 추출하고 이를 처리하여 영상 재생에 필요한 최종 데이터를 생성한다. 이와 유사하게 이벤트 재생부(216)는 미디어 파일에 포함된 이벤트 정보를 추출하고 이를 처리하여 이벤트 아이템(즉 AR 객체)를 화면(도시하지 않음)에 표시하기 위한 최종 데이터를 생성한다. 영상 합성부(218)는 화면에 표시될 영상 및 이벤트 데이터를 영상 재생부(212)와 이벤트 재생부(216)로부터 각각 전달받아 합성하여 최종 영상(220)을 구성하고, 이를 화면에 재생한다. 특히, 영상 합성부(218)는 미디어 파일 분석부(210)와 상호 연동하여 영상과 이벤트 아이템 표시하기 위한 상관 관계, 즉 영상과 이벤트 아이템를 겹쳐서 재생할 것인지, 영상만을 재생할 것인지 또는 이벤트 아이템만을 재생할 것인지를 결정한다.
도시하지 않을 것이지만, 본 발명의 일 실시예는 본 발명의 일 실시예에 따른 ISO 미디어 파일 포맷의 미디어 파일을 저장하고, 미디어 파일의 처리 및 재생이 가능한 수신 장치 혹은 중간 장치에게 상기 미디어 파일을 제공하는 미디어 파일 제공 장치(일 예로서 미디어 파일 서버)를 개시한다.
다음, 본 발명의 실시예에 따른 증강현실 서비스를 제공하는 방법을 구체적인 실시예를 들어 설명한다.
첫 번째 실시예로, 수학 문제를 이해하기 어려운 경우에 비디오 쇼를 통해 수학문제를 이해하기 쉽도록 도울 수 있다. 즉, 사용자가 화면에 표시된 수학 문제를 읽고 이해하기 힘들 때, 수학 문제와 함께 화면에 표시된 “비디오 쇼를 통해 문제 해석하기”라는 이벤트를 선택하면 비디오 쇼를 통해 수학문제를 푸는 방법을 단계적으로 자세하게 설명할 수 있다.
또한 다른 실시예로, 사용자가 파일에 포함된 그림이나 비디오에 포함된 한 프레임을 보면서 현재 화면의 해상도를 변경하고자 할 때, 상기 그림이나 프레임과 함께 화면에 표시된 “해상도 변경”이라는 이벤트를 선택하면 현재 화면의 해상도를 바꿀 수 있다.
또한 다른 실시예로, 사용자가 동영상을 보다가 화면에 표시된 캐릭터나 특정 객체(object)(예를 들면, 카툰의 캐릭터나 빌딩 등)에 관심이 있어서 해당 캐릭터나 객체를 3D로 좀 더 자세히 보고자 할 때, 사용자는 화면에 표시된 “3D 표시”라는 이벤트를 선택하면 해당 캐릭터나 객체를 3D로 볼 수 있다.
또한 다른 실시예로, 사용자가 여행 정보 프로그램을 보면서 해당 지역에 대한 추가적인 정보를 얻고자 할 때, 화면에 표시된 “광고” 이벤트를 선택할 수 있다.
이와 같이, 사용자는 현재 재생되고 있는 아이템과 함께 화면에 표시되는 아이템과 관련된 증강된 이벤트(augmented event)를 선택할 수 있으며, 본 발명의 실시예에서는 이러한 증강된 이벤트를 제공하기 위한 파일 포맷을 제안한다.
아이템에 대한 증강된 이벤트를 제공하기 위해서는 파일 포맷 안에 이벤트 관련 정보를 추가해야 하며, 본 발명의 실시예에서는 메타 박스 안에 아이템 위치를 나타내는 ‘iloc’ 박스와 아이템 정보를 나타내는 ‘iinf’ 박스 이외에 이벤트와 관련된 정보를 나타내는 이벤트 정보(einf) 박스를 새롭게 추가하는 것을 제안한다.
하기의 표 1은 본 발명의 실시예에 따른 이벤트 정보 박스를 포함하는 신택스를 나타낸 것이다.
Figure pat00001
표 1에서 각각의 의미는 다음과 같다.
item_id: 이벤트 정보가 정의되는 아이템의 아이디
event_count: 엔트리의 개수를 나타내는 것으로, 각 아이템은 하나 이상의 이벤트를 가질 수 있고, 각 엔트리는 하나의 아이템에 대한 하나의 이벤트에 사용됨
event_name: 아이템을 위한 이벤트의 이름을 포함하는 UTF(Unicode Transformation Format)-8의 널 종료 문자열(null-terminated string)
event_description: 필요한 경우에 이벤트에 대한 추가적인 설명을 제공함. 예를 들어, 영상에 대한 해상도 파라미터들이 여기에 나열될 수 있다.
refer_item_ID: 이벤트에 의해 트리거되는 동작을 전달하는 아이템의 아이디. 예를 들어, 높은 해상도를 가지는 영상이나, 파일 내의 카툰 캐릭터의 3D 영상 등이 해당된다. 동일한 파일 내의 다른 아이템에서 이벤트 컨텐트가 제공되는 경우에, 아이템 ID는 이것을 식별할 수 있다.
event_data_reference_index: 이벤트 컨텐트가 다른 파일에서 제공되는 경우에 이벤트와 관련된 데이터를 검색하기 위해 사용하는 데이터 레퍼런스의 인덱스를 포함하는 정수값임
event_relation_type: 원(original) 아이템과 refer_item_ID 또는 event _data reference_index에 의해 지시되는 이벤트 관련 아이템간의 관계를 설명하는 값으로 ‘replace’ 또는 ‘combine’ 중 하나의 값으로 설정될 수 있음. Replace는 파일 내에 포함된 원 아이템이 참조되는 아이템에 의해 대체되고, combine은 원 아이템과 이벤트 관련 컨텐트가 함께 표시됨.
도 3a 내지 도 3c는 본 발명의 실시예에 따른 수학 문제에 대한 증강된 이벤트를 제공하는 경우를 도시한 것이다.
도 3a를 참조하면, 사용자는 수학 문제를 보고 답을 얻기 어려울 경우 화면에 표시된 ‘analyze the question by video show’라는 증강된 이벤트를 클릭할 수 있다. 그러면 도 3b와 같이 화면이 전환되고 여러 단계의 영상을 통해 수학 문제를 순차적으로 설명해준다. 이러한 방법을 통해 사용자는 수학문제를 이해하고 답을 얻을 수 있다.
도 3c는 도 3a와 도 3b의 화면을 제공하기 위한 증강된 이벤트에 대한 메타 박스를 포함하는 파일 포맷의 구성을 나타낸 것이다.
도 3c를 참조하면, iloc 박스 내에 원 아이템이 표시될 위치 정보가 포함되어 있고, event 박스에 원 아이템과 관련된 이벤트 아이템에 대한 정보가 포함되어 있다. 구체적으로 이벤트를 포함하는 원 아이템의 ID=1이고, 이벤트 이름은 ‘Question in video show’이다. 또한 원 아이템과 이벤트 아이템이 동일한 파일 내에 있을 경우에는 event 박스 안에 이벤트가 참조하는 이벤트 아이템의 ID(refer_item_ID)가 포함되어 있으며, 원 아이템과 이벤트 아이템이 다른 파일을 통해 제공되는 경우에는 event_data_reference_index가 포함되어 있다. 또한 도 3b의 경우에는 원 아이템에 대한 화면이 이벤트 아이템에 대한 화면으로 대체되므로 event_relation_type은 ‘replace’이며, mdat 박스를 보면, 원 아이템을 나타내는 item_ID=1과 이벤트 아이템을 나타내는 item_ID=2의 파일 길이가 동일하다.
도 4a 내지 도 4c는 본 발명의 실시예에 따른 화면의 해상도를 변경하는 증강된 이벤트를 제공하는 경우를 도시한 것이다.
도 4a를 참조하면, 사용자가 일반적인 해상도로 표시되는 영상을 보다가 해상도를 높이고자 할 경우, 화면에 표시된 ‘high resolution’이라는 증강된 이벤트를 클릭할 수 있다. 그러면 도 4b와 같이 화면이 전환되고 원 영상보다 높은 해상도의 영상이 표시된다.
도 4c는 도 4a와 도 4b의 화면을 제공하기 위한 증강된 이벤트에 대한 메타 박스를 포함하는 파일 포맷의 구성을 나타낸 것이다.
도 4c를 참조하면, iloc 박스 내에 원 아이템이 표시될 위치 정보가 포함되어 있고, event 박스에 원 아이템과 관련된 이벤트 아이템에 대한 정보가 포함되어 있다. 구체적으로 이벤트를 포함하는 원 아이템의 ID=1이고, 이벤트 이름은 ‘High resolution’이다. 또한 원 아이템과 이벤트 아이템이 동일한 파일 내에 있을 경우에는 event 박스 안에 이벤트가 참조하는 이벤트 아이템의 ID(refer_item_ID)가 포함되어 있으며, 원 아이템과 이벤트 아이템이 다른 파일을 통해 제공되는 경우에는 event_data_reference_index가 포함되어 있다. 또한 도 4b의 경우에는 원 아이템에 대한 화면이 이벤트 아이템에 대한 화면으로 대체되므로 event_relation_type은 ‘replace’이며, 원 아이템이 재생되는 도중 원 아이템의 일부 영상에 대해서만 이벤트 아이템으로 대체되는 것이므로 mdat 박스에서 원 아이템을 나타내는 item_ID=1의 길이보다 이벤트 아이템을 나타내는 item_ID=2의 파일 길이가 짧다.
도 5a 내지 도 5c는 본 발명의 실시예에 따른 여행 프로그램에서 증강된 이벤트를 제공하는 경우를 도시한 것이다.
도 5a를 참조하면, 사용자가 여행 정보를 제공하는 컨텐트를 보다가 지역 음식점 정보를 얻고자 할 경우, 화면에 표시된 ‘Restaurant advertisement’라는 증강된 이벤트를 클릭할 수 있다. 그러면 도 5b와 같이 원 영상에 추가로 지역 음식점에 대한 정보가 표시된다.
도 5c는 도 5a와 도 5b의 화면을 제공하기 위한 증강된 이벤트에 대한 메타 박스를 포함하는 파일 포맷의 구성을 나타낸 것이다.
도 5c를 참조하면, iloc 박스 내에 원 아이템이 표시될 위치 정보가 포함되어 있고, event 박스에 원 아이템과 관련된 이벤트 아이템에 대한 정보가 포함되어 있다. 구체적으로 이벤트를 포함하는 아이템의 ID=1이고, 이벤트 이름은 ‘Restaurant advertisement’이다. 또한 원 아이템과 이벤트 아이템이 동일한 파일 내에 있을 경우에는 event 박스 안에 이벤트가 참조하는 이벤트 아이템의 ID(refer_item_ID)가 포함되어 있으며, 원 아이템과 이벤트 아이템이 다른 파일을 통해 제공되는 경우에는 event_data_reference_index가 포함되어 있다. 또한 도 5b의 경우에는 원 아이템에 이벤트 아이템이 추가로 표시되므로 event_relation_type은 ‘combine’이다. 또한 원 아이템이 재생되는 도중 원 아이템을 재생함과 동시에 이벤트 아이템을 재생하는 것이므로 mdat 박스에서 원 아이템을 나타내는 item_ID=1의 길이보다 이벤트 아이템을 나타내는 item_ID=2의 파일 길이가 짧다.
도 6은 본 발명의 실시예에 따른 증강된 서비스를 제공하기 위한 미디어 파일 재생 절차를 도시한 순서도이다.
도 6을 참조하면, 미디어 파일 재생장치는 미디어 파일을 재생하다가(601) 현재 재생중인 미디어 파일과 관련된 이벤트가 있는 경우에 이벤트 이름과 이에 대한 설명을 화면에 표시한다(603). 사용자 입력을 통해 해당 이벤트가 선택되면(605), refer_item_ID 또는 event_data_reference_index를 토대로 상기 선택된 이벤트와 관련된 이벤트 아이템을 검색하고, 검색된 이벤트 아이템과 관련된 이벤트 정보를 확인하고(609), 확인된 이벤트 정보에 따라 이벤트 컨텐트를 표시한다(611). 즉, event_relation_type이 replace인 경우 현재 재생중인 미디어 파일 대신에 이벤트 아이템을 표시하고, 이벤트가 종료된 이후 사용자가 미디어 파일을 종료하거나 이벤트가 선택된 시점부터 원 미디어 파일을 이어서 재생할 수 있다. 또한 event_relation_type이 combine인 경우 현재 재생중인 미디어 파일과 함께 이벤트 아이템을 표시하며, 이벤트가 종료되면 이벤트 아이템을 표시하지 않은 원 미디어 파일을 계속 표시한다.
도 7은 본 발명의 일 실시예에 따른 AR을 위한 증강된 이벤트를 제공하는 ISO 미디어 파일 포맷을 도식화한 것이다.
도 7을 참조하면, 미디어 파일(700)은 ftyp 박스(710), moov 박스(720), mdat 박스(730), meta 박스(740)를 포함한다. ftyp 박스(710)는 파일 타입과 호환성(compatibility)을 설명한다. ARAF(Augmented Reality Application Format)을 위해 새로운 브랜드가 정의될 수 있다. moov 박스(720)는 메타데이터를 정의하는 서브 박스(track 박스)들을 가지는 콘테이너 박스이다. BIFS(Binary Format for Scene)는 오디오-비주얼 객체들의 시공간 관계를 정의하는 장면 설명 방법이다. 객체 설명 프레임워크는 기본(elementary) 스트림과 장면 설명간의 링크를 제공한다. mdat 박스(730)는 실제 미디어 데이터를 포함한다. AR 로케이터를 가지는 BIFS와 OD(Object descriptor), 그리고 AR 컨텐트가 이 박스 내에 저장될 수 있다. meta 박스(740)는 주석 메타데이터를 포함한다. AR과 관련된 설명도 이 박스에 포함될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (24)

  1. 증강현실 서비스를 위한 미디어 파일의 제공 방법에 있어서,
    증강현실 서비스를 제공하기 위한 이벤트에 관한 정보를 포함하는 미디어 파일을 저장하는 과정과,
    상기 미디어 파일을 제공하는 과정을 포함하며,
    상기 이벤트에 관한 정보는 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 포함함을 특징으로 하는 미디어 파일 제공 방법.
  2. 제1항에 있어서,
    기본 아이템과 상기 이벤트 아이템이 동일한 파일에 저장되어 있는 경우,
    상기 이벤트 아이템에 관한 식별 정보는 상기 이벤트 아이템의 아이디임을 특징으로 하는 미디어 파일 제공 방법.
  3. 제1항에 있어서,
    기본 아이템과 상기 이벤트 아이템이 다른 파일에 저장되어 있는 경우,
    상기 이벤트 아이템에 관한 식별정보는 상기 이벤트 아이템을 검색하기 위해 사용되는 인덱스임을 특징으로 하는 미디어 파일 제공 방법.
  4. 제1항에 있어서,
    상기 이벤트 타입 정보는 기본 아이템을 상기 이벤트 아이템으로 대체하는 ‘replace’와 상기 기본 아이템과 상기 이벤트 아이템을 함께 표시하는 ‘combine’ 중 하나의 값을 가짐을 특징으로 하는 미디어 파일 제공 방법.
  5. 제1항에 있어서,
    상기 이벤트에 관한 정보는 이벤트 이름과 이벤트에 관한 설명을 더 포함함을 특징으로 하는 미디어 파일 제공 방법.
  6. 제1항에 있어서,
    상기 미디어 파일은 파일 헤더 영역, 메타데이터 영역 및 미디어 데이터 영역을 포함하며,
    상기 이벤트에 관한 정보는 상기 메타데이터 영역에 저장됨을 특징으로 하는 미디어 파일 제공 방법.
  7. 증강현실 서비스를 위한 미디어 파일의 제공 방법에 있어서,
    증강현실 서비스를 제공하기 위한 이벤트에 관한 정보를 포함하는 미디어 파일을 저장하는 저장부와,
    상기 미디어 파일을 제공하는 제어부를 포함하며,
    상기 이벤트에 관한 정보는 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 포함함을 특징으로 하는 미디어 파일 제공 장치.
  8. 제7항에 있어서,
    기본 아이템과 상기 이벤트 아이템이 동일한 파일에 저장되어 있는 경우,
    상기 이벤트 아이템에 관한 식별 정보는 상기 이벤트 아이템의 아이디임을 특징으로 하는 미디어 파일 제공 장치.
  9. 제7항에 있어서,
    기본 아이템과 상기 이벤트 아이템이 다른 파일에 저장되어 있는 경우,
    상기 이벤트 아이템에 관한 식별정보는 상기 이벤트 아이템을 검색하기 위해 사용되는 인덱스임을 특징으로 하는 미디어 파일 제공 장치.
  10. 제7항에 있어서,
    상기 이벤트 타입 정보는 기본 아이템을 상기 이벤트 아이템으로 대체하는 ‘replace’와 상기 기본 아이템과 상기 이벤트 아이템을 함께 표시하는 ‘combine’ 중 하나의 값을 가짐을 특징으로 하는 미디어 파일 제공 장치.
  11. 제7항에 있어서,
    상기 이벤트에 관한 정보는 이벤트 이름과 이벤트에 관한 설명을 더 포함함을 특징으로 하는 미디어 파일 제공 장치.
  12. 제7항에 있어서,
    상기 미디어 파일은 파일 헤더 영역, 메타데이터 영역 및 미디어 데이터 영역을 포함하며,
    상기 이벤트에 관한 정보는 상기 메타데이터 영역에 저장됨을 특징으로 하는 미디어 파일 제공 장치.
  13. 증강현실 서비스를 위한 미디어 파일을 처리하는 방법에 있어서,
    증강현실 서비스를 제공하기 위한 이벤트에 관한 이벤트 정보를 포함하는 미디어 파일을 분석하는 과정과,
    상기 미디어 파일에 포함된 비디오 또는 오디오 데이터를 추출하여 영상 재생에 필요한 영상 데이터를 생성하여 재생하는 과정과,
    상기 이벤트가 선택된 경우에, 상기 미디어 파일에 포함된 이벤트 정보를 추출하고, 상기 이벤트 정보에 포함된 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 토대로 이벤트 아이템을 추출하고, 상기 이벤트 아이템에 해당하는 이벤트 영상을 구성하고, 상기 이벤트 영상을 상기 영상 데이터와 합성하여 재생하는 과정을 포함하는 미디어 파일 처리 방법.
  14. 제13항에 있어서,
    상기 이벤트 아이템에 관한 식별 정보가 상기 이벤트 아이템의 아이디인 경우, 상기 영상 데이터가 저장된 파일에서 상기 이벤트 아이템을 추출함을 특징으로 하는 미디어 파일 처리 방법.
  15. 제13항에 있어서,
    상기 이벤트 아이템에 관한 식별 정보가 참조 파일의 인덱스인 경우, 상기 영상 데이터가 저장된 파일과 다른 상기 참조 파일에서 상기 이벤트 아이템을 추출함을 특징으로 하는 미디어 파일 처리 방법.
  16. 제13항에 있어서,
    상기 이벤트 타입 정보가 ‘replace’인 경우, 상기 영상 데이터를 상기 이벤트 영상으로 대체하여 표시함을 특징으로 하는 미디어 파일 처리 방법.
  17. 제13항에 있어서,
    상기 이벤트 타입 정보가 ‘combine’인 경우, 상기 영상 데이터와 상기 이벤트 영상데이터를 함께 표시함을 특징으로 하는 미디어 파일 처리 방법.
  18. 제13항에 있어서,
    상기 미디어 파일은 파일 헤더 영역, 메타데이터 영역 및 미디어 데이터 영역을 포함하며,
    상기 이벤트에 관한 정보는 상기 메타데이터 영역에 저장됨을 특징으로 하는 미디어 파일 처리 방법.
  19. 증강현실 서비스를 위한 미디어 파일의 처리 장치에 있어서,
    증강현실 서비스를 제공하기 위한 이벤트에 관한 정보를 포함하는 미디어 파일을 분석하는 미디어 파일 분석부와,
    상기 미디어 파일에 포함된 비디오 또는 오디오 데이터를 추출하여 영상 재생에 필요한 영상 데이터를 생성하는 영상 재생부와,
    상기 이벤트가 선택된 경우에, 상기 이벤트에 관한 정보에 포함된 이벤트 아이템에 관한 식별 정보와 이벤트 타입 정보를 토대로 이벤트 아이템을 추출하고 상기 이벤트 아이템에 해당하는 이벤트 영상 데이터를 생성하는 이벤트 재생부와,
    상기 이벤트의 선택 여부에 따라 상기 영상 데이터와 상기 이벤트 영상 데이터를 합성하여 재생하는 영상 합성부를 포함하는 것을 특징으로 하는 미디어 파일 처리 장치.
  20. 제19항에 있어서,
    상기 이벤트 재생부는,
    상기 이벤트 아이템에 관한 식별 정보가 상기 이벤트 아이템의 아이디인 경우, 상기 영상 데이터가 저장된 파일에서 상기 이벤트 아이템을 추출함을 특징으로 하는 미디어 파일 처리 장치.
  21. 제19항에 있어서,
    상기 이벤트 재생부는,
    상기 이벤트 아이템에 관한 식별 정보가 참조 파일의 인덱스인 경우, 상기 영상 데이터가 저장된 파일과 다른 상기 참조 파일에서 상기 이벤트 아이템을 추출함을 특징으로 하는 미디어 파일 처리 장치.
  22. 제19항에 있어서,
    상기 이벤트 재생부는,
    상기 이벤트 타입 정보가 ‘replace’인 경우, 상기 영상 데이터를 상기 이벤트 영상으로 대체하여 표시함을 특징으로 하는 미디어 파일 처리 장치.
  23. 제19항에 있어서,
    상기 영상 합성부는,
    상기 이벤트 타입 정보가 ‘combine’인 경우, 상기 영상 데이터와 상기 이벤트 영상 데이터를 함께 표시함을 특징으로 하는 미디어 파일 처리 장치.
  24. 제19항에 있어서,
    상기 미디어 파일은 파일 헤더 영역, 메타데이터 영역 및 미디어 데이터 영역을 포함하며,
    상기 이벤트에 관한 정보는 상기 메타데이터 영역에 저장됨을 특징으로 하는 미디어 파일 처리 장치.
KR1020130043521A 2012-04-20 2013-04-19 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치 KR20130118820A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261636087P 2012-04-20 2012-04-20
US61/636,087 2012-04-20
US201261636838P 2012-04-23 2012-04-23
US61/636,838 2012-04-23

Publications (1)

Publication Number Publication Date
KR20130118820A true KR20130118820A (ko) 2013-10-30

Family

ID=49381099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130043521A KR20130118820A (ko) 2012-04-20 2013-04-19 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치

Country Status (4)

Country Link
US (1) US20130282715A1 (ko)
EP (1) EP2839440A4 (ko)
KR (1) KR20130118820A (ko)
WO (1) WO2013157898A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029344A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
KR20200008941A (ko) * 2018-07-17 2020-01-29 디즈니엔터프라이지즈,인크. 증강 현실 효과를 사용한 이벤트 향상

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280264A1 (en) * 2013-03-14 2014-09-18 Thomas C. Fix Apparatus, data structure, and method for media file organization
KR102246305B1 (ko) * 2014-01-09 2021-04-29 한국전자통신연구원 증강 미디어 서비스 제공 방법, 장치 및 시스템
US20160179803A1 (en) * 2014-12-22 2016-06-23 Rovi Guides, Inc. Augmenting metadata using commonly available visual elements associated with media content
US20170330036A1 (en) * 2015-01-29 2017-11-16 Aurasma Limited Provide augmented reality content
EP3391658B1 (en) * 2015-12-17 2021-08-25 InterDigital Madison Patent Holdings, SAS Personalized presentation enhancement using augmented reality
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US11386622B1 (en) * 2019-08-23 2022-07-12 Amazon Technologies, Inc. Physical items as basis for augmented reality applications
US11194983B1 (en) 2019-09-05 2021-12-07 Amazon Technologies, Inc. Profile based augmented reality applications based on information tags

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8046338B2 (en) * 1998-01-26 2011-10-25 At&T Intellectual Property Ii, L.P. System and method of organizing data to facilitate access and streaming
FI20011871A (fi) * 2001-09-24 2003-03-25 Nokia Corp Multimediadatan prosessointi
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
KR100932634B1 (ko) * 2007-12-27 2009-12-21 팅크웨어(주) 증강 현실을 이용한 3차원 웹 지도 서비스 방법 및 그시스템
US20090289955A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
EP2257931A4 (en) * 2008-06-06 2011-03-16 Divx Inc SYSTEMS AND METHOD FOR WRITING FILES OPTIMIZATION FOR MULTIMEDIA FILES
US8775566B2 (en) * 2008-06-21 2014-07-08 Microsoft Corporation File format for media distribution and presentation
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8682879B2 (en) * 2010-04-16 2014-03-25 Bizmodeline Co., Ltd. Marker search system for augmented reality service
EP2393056A1 (en) * 2010-06-02 2011-12-07 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interests
US9910866B2 (en) * 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
KR101722550B1 (ko) * 2010-07-23 2017-04-03 삼성전자주식회사 휴대용 단말에서 증강현실 컨텐츠 제작과 재생 방법 및 장치
KR101260576B1 (ko) * 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US9280849B2 (en) * 2010-11-08 2016-03-08 Sony Corporation Augmented reality interface for video tagging and sharing
US9118970B2 (en) * 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029344A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
KR20200008941A (ko) * 2018-07-17 2020-01-29 디즈니엔터프라이지즈,인크. 증강 현실 효과를 사용한 이벤트 향상

Also Published As

Publication number Publication date
EP2839440A4 (en) 2015-12-09
EP2839440A1 (en) 2015-02-25
WO2013157898A1 (en) 2013-10-24
US20130282715A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
KR20130118820A (ko) 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치
KR101887548B1 (ko) 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
US20140009476A1 (en) Augmentation of multimedia consumption
US20100169906A1 (en) User-Annotated Video Markup
US20100318520A1 (en) System and method for processing commentary that is related to content
US8739041B2 (en) Extensible video insertion control
EP3206408A1 (en) Encoding device and method, playback device and method, and program
CN111937397A (zh) 媒体数据处理方法及装置
KR20110056476A (ko) 향상된 메타데이터 구조들을 사용하는 멀티미디어 배포 및 재생 시스템들 및 방법들
KR20130127423A (ko) 멀티미디어 애플리케이션을 위한 pip 방법
KR101472013B1 (ko) 부가 데이터를 포함하는 음원 스트리밍을 제공하는 서버 및 방법, 그리고 디바이스
CN110035316A (zh) 处理媒体数据的方法和装置
CN109218274A (zh) 一种媒体信息的处理方法及装置
EP4016994A1 (en) Information processing device and information processing method
US20230336842A1 (en) Information processing apparatus, information processing method, and program for presenting reproduced video including service object and adding additional image indicating the service object
KR20150088766A (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 장치 및 실감 효과 미디어 데이터 파일 구조
US11722751B2 (en) Method, an apparatus and a computer program product for video encoding and video decoding
US9560103B2 (en) Custom video content
KR101710452B1 (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조
US20150156560A1 (en) Apparatus for transmitting augmented broadcast metadata, user terminal, method for transmitting augmented broadcast metadata, and reproducing augmented broadcast metadata
JP4017436B2 (ja) ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体
KR102659489B1 (ko) 정보 처리 장치, 정보 처리 장치 및 프로그램
US20230276105A1 (en) Information processing apparatus, information processing apparatus, and program
KR101447333B1 (ko) 동영상을 이용한 소셜 네트워크 서비스 시스템 및 방법
WO2022259237A1 (en) Dynamic insertion of interactive content in a media content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application