KR101887548B1 - 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치 - Google Patents

증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치 Download PDF

Info

Publication number
KR101887548B1
KR101887548B1 KR1020120030099A KR20120030099A KR101887548B1 KR 101887548 B1 KR101887548 B1 KR 101887548B1 KR 1020120030099 A KR1020120030099 A KR 1020120030099A KR 20120030099 A KR20120030099 A KR 20120030099A KR 101887548 B1 KR101887548 B1 KR 101887548B1
Authority
KR
South Korea
Prior art keywords
marker
virtual object
track
box
virtual
Prior art date
Application number
KR1020120030099A
Other languages
English (en)
Other versions
KR20130107917A (ko
Inventor
이병대
유성열
이링 쉬
송재연
Original Assignee
삼성전자주식회사
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경기대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020120030099A priority Critical patent/KR101887548B1/ko
Priority to US13/838,258 priority patent/US9224246B2/en
Priority to PCT/KR2013/002228 priority patent/WO2013141562A1/en
Priority to EP13763778.1A priority patent/EP2829055B1/en
Publication of KR20130107917A publication Critical patent/KR20130107917A/ko
Application granted granted Critical
Publication of KR101887548B1 publication Critical patent/KR101887548B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8453—Structuring of content, e.g. decomposing content into time segments by locking or enabling a set of features, e.g. optional functionalities in an executable program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치를 개시한다. 본 발명에 따른 방법은, 증강현실 서비스의 제공에 이용되기 위한 마커 트랙과 가상 객체 트랙을 포함하는 적어도 하나의 미디어 파일을 분석하는 과정과, 상기 미디어 파일로부터 영상 재생에 필요한 영상 데이터를 추출하는 과정과, 상기 미디어 파일에 포함된 가상 객체 정보를 추출하여 가상 객체를 표시하기 위한 가상 객체 데이터를 생성하는 과정과, 상기 마커 트랙과 상기 가상 객체 트랙을 기반으로 상기 영상 데이터와 상기 가상 객체 데이터를 합성하여 최종 영상을 구성하고, 상기 최종 영상을 화면에 재생하는 과정을 포함하고, 여기서 상기 마커 트랙은 상기 가상 객체가 합성될 비디오 트랙을 지시하는 관련 트랙 식별자(ID)와 다음에 사용될 마커 그룹을 지시하는 다음 마커 그룹 식별자를 포함한다.

Description

증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치{METHOD AND APPARATUS OF PROCESSING MEDIA FILE FOR AUGMENTED REALITY SERVICES}
본 발명은 미디어 파일의 처리에 관한 것으로서, 특히, 증강현실(Augmented Reality: AR) 서비스를 위한 미디어 파일을 제공하고 처리하는 방법 및 장치에 관한 것이다.
증강현실(AR)은 사용자가 눈으로 보는 현실 세계에 가상 물체(즉 AR 객체)를 겹쳐 보여주는 기술을 의미한다. 실시간 영상/음성 정보에 가상 객체를 합성하거나 관련 정보를 합성하여 증간된 정보 서비스를 제공하는 개념으로 인간의 감각과 인식을 확장한다는 측면에서 확장현실(MR: Mixed Reality)이라고 불리기도 한다. 특히 최근 카메라와 GPS(Global Positioning System) 등 다양한 센서를 내장한 모바일 단말과 스마트폰의 보급이 확산되고, 고속의 모바일 인터넷을 이용한 다양한 융합 서비스들이 선보이면서 모바일 기기를 활용한 증강현실 서비스가 급속히 확산되고 있다.
ISO(International Organization for Standardization) 미디어 파일 포맷(File Format: FF)은 비디오나 오디오와 같은 시간-기반 멀티미디어 파일들을 위한 일반적인 구조를 정의하며, MP4(MEPG(Moving Picture Experts Group)-4)나 3GP(3GPP(3rd Generation Partnership Project) file format)와 같은 다른 파일 포맷의 기반으로 사용된다.
도 1은 종래 기술에 따른 ISO 기반 미디어 파일의 논리적인 구성을 도시한 것으로서, 도시한 바와 같이 미디어 파일(100)은 파일 헤더 영역(102), 메타데이터 영역(104) 및 미디어 데이터 영역(106)으로 구성된다.
파일 헤더 영역(102)은 미디어 파일에 포함된 콘텐트의 기본적인 정보를 포함한다. 예를 들어, 콘텐트 식별자, 콘텐트 제작자, 제작 시간 등과 같은 정보가 파일 헤더에 포함될 수 있다. 미디어 파일이 복수의 트랙 또는 스트림으로 나뉘어지는 경우에는 각 트랙의 맵 구성 정보가 더 포함될 수 있다.
메타데이터 영역(104)은 미디어 파일에 포함된 콘텐트의 복수의 미디어 객체에 대한 개별적인 정보를 포함하고 있다. 미디어 객체의 디코딩을 위한 다양한 프로파일 정보 및 미디어 객체의 위치에 대한 정보를 포함한다. 여기서 미디어 객체란 콘텐트의 최소 단위로서, 동영상의 경우 단위 시간마다 화면에 디스플레이 되는 하나의 이미지 프레임이 미디어 객체가 될 수 있고, 음성의 경우 단위 시간마다 재생되는 하나의 오디오 프레임이 미디어 객체가 될 수 있다. 각각의 트랙마다 복수의 미디어 객체가 존재할 수 있으며, 이러한 미디어 객체들을 재생하는데 필요한 정보가 메타데이터 영역(104)에 포함된다.
미디어 데이터 영역(106)은 미디어 객체가 실제로 저장되는 영역이다.
ISO 기반 미디어 파일의 물리적인 구성은 박스(Box)들로 이루어진다. 개별 박스는 관련 데이터 및 하위 박스들로 구성되거나 또는 하위 박스들로만 구성된 컨테이너 박스로서 존재한다. 예를 들어, 도 1에서 도식화된 트랙은 물리적으로 트랙 박스로 저장되며, 트랙 박스는 트랙 헤더 정보, 미디어 정보, 미디어 디코딩 정보 등을 저장하는 다양한 하위 박스들로 구성된 컨테이너 박스이다.
종래의 ISO 기반 미디어 파일은 증강현실 서비스 제공에 필요한 어떠한 메타정보도 정의하고 있지 않으며, 또한 서로 다른 계층에 포함된 멀티미디어 콘텐트의 합성 방법, 즉 영상과 가상 물체를 겹쳐서 재생하기 위한 지시 방법을 제공하지 않는다. 따라서 종래의 ISO 기반 미디어 파일은 증강현실 서비스에 활용하기에는 많은 제약을 가진다.
종래 기술에서, 미디어 파일을 재생하는 장치는 현재 재생 중인 영상을 실시간으로 분석하여 가상 물체를 표시하기 위한 영역을 추출하고 해당 영역에 가상 물체를 표시한 뒤 재생 중인 영상과 합성하여 최종 영상을 사용자에게 제공한다. 영상 내에서 가상 물체가 표시될 영역을 추출하는 것은 증강현실의 주요 요소기술로서 마커 기반(Marker-based) 기술과 비마커 기반(Markless) 기술로 구분된다. 마커 기반 증강현실에서는 흑백 문양, 바코드 등과 같은 마커라는 특정 이미지가 포함된 영상을 장치가 인식하여 가상 물체가 표시될 영역의 상대적 좌표를 추출하고 이를 바탕으로 가상 물체를 표시하는 반면, 비마커 기반 증강현실에서는 직접 영상 내의 객체를 식별하고 관련된 정보를 획득한다.
전자의 경우 가상 물체가 표시될 위치를 비마커 기술에 비해 상대적으로 정확히 제공할 수 있는 장점이 있으나 영상 내에 항상 마커가 포함되어야 하기 때문에 자연스런 영상 제공이 불가능하다. 후자의 경우 영상 내에 마커 삽입을 필요로 하지 않기 때문에 마커 기반 영상에 비해 자연스러울 뿐만 아니라 기존의 증강현실을 고려하지 않고 작성된 미디어 파일에 대해서도 증강현실 서비스 제공이 가능하다. 그러나, 실시간으로 영상 내의 객체를 정확히 인식하여 가상 물체가 표시될 특징점을 추출하는 기술은 마커 기반 기술에 비해서 상대적으로 정확도가 떨어진다. 이와 더불어 현재 제안된 대부분의 비마커 기반 특징점 추출 방법은 수신 단말에서 상당한 계산량의 처리가 요구되며, 이는 궁극적으로 적용된 특징점 추출 알고리즘 및 수신 장치(혹은 재생 장치)의 연산 능력에 따라 증강현실 서비스의 품질이 좌우될 수 있음을 의미한다.
한편, 종래의 증강현실 서비스에서는 해당 서비스를 제공하는 응용 프로그램에 의해 사용자에게 보여지는 가상 물체 및 부가 정보가 결정된다. 예를 들어, 제품 홍보를 위하여 관련 회사의 로고를 영상의 중간중간에 제공하는 증강현실 서비스의 경우, 사용자에게 표시되는 로고는 전적으로 응용 프로그램에 의해 결정되며, 따라서 실제 재생되는 영상의 콘텐트와의 무관하게 광고 이미지가 표시되기 때문에 광고 효과가 저하되는 결과를 초래할 수도 있다.
본 발명은 미디어 파일을 이용한 증강현실 서비스의 제공 방법 및 이를 위한 장치를 제공한다.
본 발명은 증강현실 서비스를 제공하기 위한 미디어 파일을 제공하는 방법 및 장치를 제공한다.
본 발명은 증강현실 서비스를 제공하기 위한 미디어 파일을 처리하는 방법 및 장치를 제공한다.
본 발명은 증강현실 서비스를 제공하기 위한 미디어 파일을 재생하는 방법 및 장치를 제공한다.
본 발명은 미디어 파일 내에 증강현실 서비스 제공에 필요한 메타정보, 즉 가상 물체 및 이를 화면에 표시하기 위해 필요한 부가 정보를 내재시키고, 영상과 가상 물체를 겹쳐서 재생하기 위하여 복수의 미디어들의 상관 관계를 표시하는 방법 및 장치를 제공한다.
본 발명의 바람직한 실시예에 따른 방법은; 증강현실 서비스를 위한 미디어 파일의 처리 방법에 있어서, 증강현실 서비스의 제공에 이용되기 위한 마커 트랙과 가상 객체 트랙을 포함하는 적어도 하나의 미디어 파일을 분석하는 과정과, 상기 미디어 파일로부터 영상 재생에 필요한 영상 데이터를 추출하는 과정과, 상기 미디어 파일에 포함된 가상 객체 정보를 추출하여 가상 객체를 표시하기 위한 가상 객체 데이터를 생성하는 과정과, 상기 마커 트랙과 상기 가상 객체 트랙을 기반으로 상기 영상 데이터와 상기 가상 객체 데이터를 합성하여 최종 영상을 구성하고, 상기 최종 영상을 화면에 재생하는 과정을 포함하고, 여기서 상기 마커 트랙은 상기 가상 객체가 합성될 비디오 트랙을 지시하는 관련 트랙 식별자(ID)와 다음에 사용될 마커 그룹을 지시하는 다음 마커 그룹 식별자를 포함한다.
삭제
본 발명의 바람직한 실시예에 따른 장치는; 증강현실 서비스를 위한 미디어 파일의 처리 장치에 있어서, 증강현실 서비스의 제공에 이용되기 위한 마커 트랙과 가상 객체 트랙을 포함하는 적어도 하나의 미디어 파일을 분석하고, 상기 미디어 파일로부터 영상 재생에 필요한 영상 데이터를 추출하고, 상기 미디어 파일에 포함된 가상 객체 정보를 추출하여 가상 객체를 표시하기 위한 가상 객체 데이터를 생성하고, 상기 마커 트랙과 상기 가상 객체 트랙을 기반으로 상기 영상 데이터와 상기 가상 객체 데이터를 합성하여 최종 영상을 구성하는 프로세서와, 상기 최종 영상을 화면에 재생하는 디스플레이를 포함하며, 여기서 상기 마커 트랙은 가상 객체가 합성될 비디오 트랙을 지시하는 관련 트랙 식별자(ID)와 다음에 사용될 마커 그룹을 지시하는 다음 마커 그룹 식별자를 포함한다.
삭제
본 발명의 개시된 실시예에 따르면, 증강 현실에서 사용되는 가상 물체 및 해당 가상 물체가 표시되는 영상 위에서의 영역에 대한 정보를 미디어 파일 내에 미리 저장함으로써 다양한 증강현실 서비스를 효과적으로 제공할 수 있다. 또한 수신 장치가 증강현실 서비스의 제공에 필요한 정보를 실시간으로 취득하는데 요구되는 배터리 및 계산 능력 등 물리적인 자원 제약 사항을 극복하고, 아울러 이미 존재하는 다양한 종류의 미디어 파일을 증강현실 서비스에 재활용할 수 있다.
본 발명의 개시된 실시예를 활용하면 재생되는 영상과 관련된 회사의 로고를 사용자에게 제공함으로써 광고 효과를 더욱 더 극대화시킬 수 있다. 예를 들어, 드라마 재생 시에는 주연 배우가 착용한 액세서리를 생산하는 회사의 로고를 표시하며, 자동차 경주 중계 방송의 경우 완성차 업체의 로고를 표시할 수 있다.
도 1은 종래 기술에 따른 ISO 기반 미디어 파일의 논리적인 구성을 도시한 도면.
도 2는 본 발명의 일 실시예에 따라 ISO 미디어 파일 포맷의 확장 부분을 지원하는 미디어 파일 재생 장치를 도식화한 도면.
도 3은 본 발명의 일 실시예에 따른 ISO 미디어 파일 포맷(ISO FF)의 확장 부분을 도식화한 도면.
도 4는 본 발명의 다른 실시예에 따른 ISO 미디어 파일 포맷(ISO FF)을 도식화한 도면.
도 5는 종래의 마커 기반 증강현실의 처리 과정을 간략하게 도식화한 흐름도.
도 6은 가상 물체의 이동속도 및 직선상의 이동위치를 기준으로 마커 구간을 정의한 예를 도식화한 도면.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 마커 트랙 내의 주요 박스 및 이들 박스간의 상관관계를 도식화한 도면.
도 8은 가상 물체의 이동속도 및 직선상의 이동위치를 기준으로 마커 구간을 정의한 다른 예를 도식화한 도면.
도 9는 본 발명의 일 실시예에 따른 3D 객체 트랙 내의 주요 박스 및 이들 박스간의 상관관계를 도식화한 도면.
도 10은 본 발명의 일 실시예에 따라 마커 구간에서 가상 물체를 영상과 합성하여 재생하는 절차를 도식화한 흐름도.
도 11은 본 발명의 일 실시예에 따른 마커 트랙과 가상 객체 트랙을 적용한 예를 도식화한 도면.
도 12 및 도 13은 본 발명의 일 실시예에 따른 마커 트랙 및 가상 객체 트랙의 주요 박스의 내용을 도시한 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, ISO 기반 미디어 파일 내부에 증강현실 서비스 제공에 필요한 메타정보를 정보를 저장하기 위한 ISO 미디어 파일 포맷의 확장 부분과, 상기 ISO 미디어 파일 포맷으로 작성된 미디어 파일의 재생을 담당하는 장치에 대하여 설명한다,
도 2는 본 발명의 일 실시예에 따라 ISO 미디어 파일 포맷의 확장 부분을 지원하는 미디어 파일 재생 장치를 도식화한 것이다. 미디어 파일 재생 장치(200)는 미디어 파일을 처리하고 증강현실 서비스를 제공할 수 있도록 구성된 수신 장치 내에 구비될 수 있다.
도 2를 참조하면, 미디어 파일 분석부(210)는 입력으로 주어지는 미디어 파일(202)을 분석하여 증강현실 서비스 제공에 필요한 메타정보를 포함하여 미디어 파일 재생에 필요한 다양한 정보를 추출한다. 증강현실 처리부(214)는 사용자 입력(204)을 바탕으로 증강현실 서비스를 활성화하거나 또는 비활성화한다. 영상 재생부(212)는 미디어 파일에 포함된 비디오/오디오 데이터를 추출하고 이를 처리하여 영상 재생에 필요한 영상 데이터를 생성한다. 이와 유사하게 가상물체 재생부(216)는 미디어 파일에 포함된 가상 물체 정보를 추출하고 이를 처리하여 가상 물체(즉 AR 객체)를 화면(도시하지 않음)에 표시하기 위한 가상 물체 데이터를 생성한다. 영상 합성부(218)는 화면에 표시될 영상 데이터 및 가상 물체 데이터를 영상 재생부(212)와 가상 물체 재생부(216)로부터 각각 전달받아 합성하여 최종 영상(220)을 구성하고, 이를 화면에 재생한다. 특히, 영상 합성부(218)는 미디어 파일 분석부(210)와 상호 연동하여 영상과 가상 물체를 표시하기 위한 상관 관계, 즉 영상과 가상 물체를 겹쳐서 재생할 것인지, 영상만을 재생할 것인지 또는 가상 물체만을 재생할 것인지 등을 결정한다.
도시하지 않을 것이지만, 본 발명의 일 실시예는 본 발명의 일 실시예에 따른 ISO 미디어 파일 포맷의 미디어 파일을 저장하고, 미디어 파일의 처리 및 재생이 가능한 수신 장치 혹은 중간 장치에게 상기 미디어 파일을 제공하는 미디어 파일 제공 장치(일 예로서 미디어 파일 서버)를 개시한다.
도 3은 본 발명의 일 실시예에 따른 ISO 미디어 파일 포맷(ISO FF)의 확장 부분을 도식화한 것으로서, 도시한 바와 같이 ISO 미디어 파일 포맷(302)은 기존의 ISO 미디어 파일에 존재하는 멀티미디어 콘텐트를 위한 비디오 트랙(306) 및 오디오 트랙(304)과 더불어, 증강현실 서비스를 제공하기 위하여 가상 객체 트랙(310)과 마커(Marker) 트랙(308)을 포함한다. 일 예로서 가상 객체 트랙(310)은 비디오 트랙(306)을 통해 제공되는 현실 세계 객체(즉 영상)에 증강될 수 있는 가상 객체로서, 3차원(3-Dimensional: 3D) 객체 혹은 상기 가상 객체를 액세스할 수 있는 주소 정보를 포함할 수 있다. 상기 트랙들(304 내지 310)은 하나 혹은 그 이상의 파일 스트림으로 구성될 수 있다. 일 예로서 마커 트랙(308)과 가상 객체 트랙(310)은 비디오/오디오 트랙(304,306)과는 다른 별도의 파일 스트림(들)으로 구성될 수 있다.
마커 트랙(308)은 화면에서 가상 물체가 표시될 영역의 상대적 좌표 및 가상 물체를 표현하기 위해 필요한 부가적인 정보를 포함한다. 따라서, 미디어 파일 재생 장치에서는 기존의 마커 기반 증강현실 서비스에서 마커 좌표를 획득하기 위한 과정, 즉 마커 이미지 인식 및 카메라 좌표계를 기준으로 상대적인 마커의 좌표 계산 등의 과정을 거치지 않고 마커 트랙에 포함된 정보만를 사용하여 가상 물체가 표시될 영역을 알 수 있다.
가상 객체 트랙(310)은 화면에 표시될 가상 물체를 저장하는 트랙으로서 다양한 증강현실 기술을 수용하기 위하여 가상 물체의 표현식을 저장하는 컨테이너로서의 역할을 수행한다. 특히 미디어 파일 내에 복수 개의 가상 객체 트랙이 존재할 수 있다. 개별 가상 객체 트랙은 서로 다른 종류의 부가 정보를 제공하기 위한 가상 물체를 저장하거나, 가상 물체를 액세스할 수 있는 주소 정보를 제공하거나 또는 증강현실 서비스 제공자별로 별도의 가상 객체 트랙을 제공함으로써 응용 프로그램에 독립적인 증강현실 서비스 제공이 가능하다.
증강현실을 위한 메타정보 정의와 더불어 증강현실을 위한 화면 합성을 지시하기 위한 미디어들간의 상관 관계를 나타내는 방법을 설명한다. 예를 들어, 도 3을 참조하면, 비디오 트랙에서 제공하는 영상 위에 증강현실에서 사용되는 가상 물체를 겹쳐서 재생하거나, 영상 또는 가상 물체만을 단독으로 재생하는 등의 화면 합성을 지시한다.
도 4는 본 발명의 다른 실시예에 따른 ISO 미디어 파일 포맷(ISO FF)을 도식화한 것이다. 도시한 바와 같이, ISO 미디어 파일 포맷(402)은 오디오 트랙(404) 및 비디오 트랙(406)과 더불어, 추가적인 비디오 트랙을 포함한 기타 미디어 트랙(408)과의 영상과의 합성을 지시할 수 있다.
1) 마커 트랙
마커 트랙의 주요 역할은 화면에서 가상 물체가 표시될 영역의 상대적 좌표 및 가상 물체를 표현하기 위해 필요한 부가적인 정보, 예를 들어, 광원 정보 등을 제공하는 것이다. 즉, 영상 내에 가상의 마커가 있다고 가정하고 해당 마커가 제공하는 모든 정보를 미디어 파일 내에 저장함으로써 실제 영상 내에 마커가 포함된 것과 동일한 효과를 제공한다.
도 5는 종래의 마커 기반 증강현실의 처리 과정을 간략하게 도식화한 흐름도이다. 도 5를 참조하면, 장치는 1단계(502)에서 입력 영상으로부터 마커 이미지를 인식하며, 2단계(504)에서 카메라 좌표를 사용하여 마커 이미지의 3차원 위치(즉 좌표) 및 방향을 계산하고, 3단계(506)에서 장치에 저장된 템플릿과 마커 이미지를 비교하고, 4단계(508)에서 상기 계산된 좌표를 이용하여 가상 물체로 변환하고, 5단계(510)에서 실제 영상과 상기 가상 물체를 합성하여 화면에 표시한다.
마커 트랙에 저장되는 주요 정보 중 하나인 좌표 및 방향 정보는 도 5의 1단계 내지 3단계(502,504,506)의 실행 결과와 대응된다. 마커 트랙을 제공하는 본 발명의 실시예가 적용된 장치는 기존의 마커 기반 증강현실 서비스에서 마커 좌표를 획득하기 위한 과정, 즉 마커 이미지 인식 및 카메라 좌표계를 기준으로 상대적인 마커의 좌표 계산 등의 과정(502,504,506)을 거치지 않고 마커 트랙에 포함된 정보를 사용하여 가상 물체가 표시될 영역을 알 수 있다.
영상이 재생될 때 가상 물체는 영상과 함께 시간축을 기준으로 연속적으로 이동해야 될 필요가 있다. 이를 위하여 장치는 가상 물체의 이동 시 발생되는 특징 (예를 들어, 이동속도, 광원 등)을 기준으로 정의된 시간축 상의 마커 구간을 참조하여, 각 구간의 시작점과 종료점에 가상 마커를 위치시킨 뒤 해당 가상 마커의 정보의 미디어 파일에 저장한다.
마커 구간의 중간 지점에서의 가상 물체의 표현은 시작점과 종료점의 마커 정보를 이용하여 계산된다. 예를 들어, 구간의 시작점에서 가상 물체를 비추는 빛의 밝기가 1,000룩스이고, 종료점에서의 조도가 2,000룩스라고 했을 때, 가상 물체를 시작점에서 종료점으로 시간축으로 연속적으로 이동 시킬 때, 빛의 밝기는 1,000룩스에서 2,000룩스로 점차적으로 증가시키면서 가상 물체를 화면에 표시한다. 따라서, 마커 구간은 가상 물체의 각각의 특성이 점차적으로 증가하거나 또는 감소하는 구간으로 설명될 수 있다.
도 6은 가상 물체의 이동속도 및 직선상의 이동위치를 기준으로 마커 구간을 정의한 예를 도식화한 것이다.
도 6을 참조하면, 가상 물체(600)는 영상 재생 후 15분10초에서부터 15분22초 동안 화면에 표시되며, 화면의 좌측 상단에서 우측하단으로 이동한다. 구체적으로 가상 물체(600)는, 마커 구간#1(602) (15:10:00~15:15:00)에서는 화면의 좌측 상단에서 우측 하단으로 일정한 속도로 이동하며, 마커 구간#2(604) (15:15:00~15:20:00)에서는 화면 우측 하단에서 좌측 하단으로 이동한다. 마커 구간#3(606) (15:20:00~15:22:00)에서 객체의 동선은 마커 구간#2와 동일하나 (즉, 화면 우측 하단에서 좌측 하단), 이동 속도가 마커 구간#2와 다르다. 따라서 마커 구간#3(606)은 마커 구간#2(604)와는 별도의 구간으로 정의된다.
상기와 같이 구별되는 각 구간의 시작점과 종료점에서의 가상 마커의 정보가 미디어 파일에 저장된다. 따라서 구간의 범위가 좁을수록 가상 물체와 영상과의 합성이 더욱 자연스러워질 수 있다.
도 7a는 본 발명의 일 실시예에 따른 마커 트랙 내의 주요 박스 및 이들 박스간의 상관관계를 도식화한 것이다.
도 7a를 참조하면, 마커 트랙(700)은 기존 ISO 미디어 파일 포맷에서 정의된 트랙 박스를 확장한 형태를 가지며, 따라서 tkhd (Track Header) 박스(702), mdia (Media) 박스(704)를 포함한다. mdia 박스(704)는 mdhd (Media Header) 박스(706), hdlr (Handler Reference) 박스(708), minf (Media Information) 박스(710), dinf (Data Information) 박스(712)를 포함한다.
현재 트랙의 종류를 저장하는 hdlr 박스(708)는 마커 트랙 및 3D 객체 트랙을 지원하기 위하여 도 7b와 같이 확장된다. 확장 이후 hdlr 박스(708) 내의 현재 트랙의 종류를 저장하는 handler_type은 비디오 트랙 'vide', 사운드 트랙 'soun', 힌트 트랙 'hint', 타임 메타데이터 트랙(Timed Metadata track) 'meta', 임시 비디오 트랙(Auxiliary Video track) 'auxv', 위치 트랙(Location track) 'loct', 3D 객체 트랙(3D object track) 'objt' 중 하나로 설정될 수 있다.
hdlr 박스(708)의 handler_type이 'loct' 또는 'objt'로 설정될 경우, minf 박스(710) 내의 Media Information Header 박스는 nmhd (Null Media Header) 박스로 설정된다.
마커 트랙(700)은 앞서 기술한 바와 같이 화면에서 가상 물체가 표시될 영역의 상대적 좌표 및 가상 물체를 표현하기 위해 필요한 부가적인 정보를 저장하기 위하여 mtbl (Marker Table)(714)을 포함한다. mtbl 박스(714)는 컨테이너 박스로서 하나의 mkhd (Marker Header) 박스(716)와 0개 이상의 mgrp (Marker Group) 박스(718)로 구성된다. mkhd 박스(716)의 주요 역할 중 하나는 마커 구간에서 사용되는 가상 마커의 비교 대상이 되는 기준 가상 마커에 대한 정보를 저장하는 것이다.
마커 이미지는 사각형, 원형 등 다양한 형태로 존재할 수 있으며, 따라서 mkhd 박스(716) 내의 vmki (Virtual Marker Information) 박스(716a)는 각각의 마커 구간에서 사용되는 가상 마커들의 기준이 되는 가상 마커 정보를 저장한다. 특히 개별 마커 구간에서 사용된 마커 정보와 vmki에 포함된 기준 가상 마커 정보와 비교하여 가상 마커의 확대 또는 축소 정보를 추출할 수 있으며, 이는 궁극적으로 가상 마커 위에 표시되는 가상 물체의 확대 또는 축소를 가능하게 한다.
임의의 두 마커 구간에서 사용되는 가상 물체가 3D 객체 트랙에 저장된 동일한 가상 물체를 사용할 경우 두 마커 구간은 동일 마커 그룹에 포함된다. 도 8의 예를 참조하면, 마커 구간#1(802)과 마커 구간 #3(806)은 동일 그룹에 포함되며, 마찬가지로 마커 구간 #2(804)와 마커 구간 #4(808)도 역시 같은 그룹에 포함된다. 가상 물체가 최종적으로 화면에 표시되는 모습은 가상 마커의 3차원 이동 및 확대/축소에 따라 변할 수 있기 때문에, 마커 그룹의 결정은 실제 화면에 표시되는 가상 물체의 모양에 따라 그룹이 결정되는 것이 아니라 3D 객체 트랙에 저장된 가상 물체를 기준으로 이루어진다. 즉, 두 마커 구간이 3D 객체 트랙에 저장된 동일한 가상 물체를 사용하여 화면에 표시할 경우 상기 두 마커 구간은 같은 그룹에 속하게 된다. 이는 종래의 마커 기반 증강현실에서 마커 내에 포함된 이미지를 식별하여 해당 마커에 표시되어야 하는 가상 물체를 찾는 것과 유사하다.
마커 구간은 mgrp 박스(718) 내의 mint (Marker Interval Information) 박스(718a)에 의해 표현되며, 동일 그룹에 포함되는 모든 마커 구간은 mgrp 박스(718)에 포함된다. mint 박스(718a) 내의 rsmp (Related Sample Information) 박스(718b)는 해당 마커 구간에서 사용되는 샘플 정보를 저장한다.
하기는 mtbl (Marker Table Box)의 포맷의 일 예를 나타낸 것이다.
aligned(8) class MarkerTable extends Box('mtbl') {
}
하기는 mkhd (Marker Header Box)의 포맷의 일 예를 나타낸 것이다.
aligned(8) class MarkerHeader extends Box('mkhd') {
unsigned int (32) related _ track _ ID ;
unsigned int (32) next _ marker _ group _ ID ;
unsigned int (32) marker _ group _ entry _ count ;
VirtualMarkerInformation ();
}
여기서 related_track_ID는 가상 물체가 겹쳐져서 표시되는 비디오 트랙의 ID을 나타내고, next_marker_group_ID는 다음에 사용될 marker_group_ID 값으로서 최초 값은 1로 설정되며, 동일한 marker_group_ID를 사용하는 mgrp 박스는 존재하지 않는다. marker_group_entry_count는 현재 트랙에 포함된 mgrp 박스의 개수를 나타낸다.
하기는 vmki (Virtual Marker Information Box)의 포맷의 일 예를 나타낸 것이다. 마커 이미지는 사각형, 원형 등 다양한 형태로 존재할 수 있으며, 아래 기술된 vmki 박스는 사각형으로 구성된 가상 마커를 표시할 경우에 대한 예시이다.
aligned(8) class VirtualMarkerInformation extends Box('vmki') {
unsigned int (32) x1, y1 , z1 ;
unsigned int (32) x2, y2 , z2 ;
unsigned int (32) x3, y3 , z3
unsigned int (32) x4, y4 , z4 ;
}
여기서 x1, y1, z1는 가상 마커의 좌측 상단 꼭지점의 x, y, z 좌표를 나타내고, x2, y2, z2는 가상 마커의 우측 상단 꼭지점의 x, y, z 좌표를 나타내고, x3, y3, z3은 가상 마커의 좌측 하단 꼭지점의 x, y, z 좌표를 나타내고, x4, y4, z4는 가상 마커의 우측 하단 꼭지점의 x, y, z 좌표를 나타낸다.
하기는 mgrp (Marker Group Box)의 일 예를 나타낸 것이다.
aligned(8) class MarkerGroup extends Box('mgrp') {
unsigned int (32) marker _ group _ ID ;
unsigned int (32) next _ marker _ interval _ ID ;
unsigned int (32) marker _ interval _ entry _ count ;
for (i = 1; i < marker _ interval _ entry _ count ; ++i) {
MarkerIntervalInformation ();
}
}
여기서 marker_group_ID는 해당 마커 그룹의 ID를 나타내고, next_Marker_interval_ID는 다음에 사용될 marker_interval_ID의 값으로서 최초 값은 1로 설정되며, 주어진 mgrp 박스 내에서 동일한 marker_interval_ID를 사용하는 mint 박스는 존재하지 않는다. marker_interval_entry_count는 mgrp 박스에 포함된 mint 박스의 개수를 나타낸다.
하기는 mint (Marker Interval Information Box)의 포맷의 일 예를 나타낸 것이다.
aligned(8) class MarkerIntervalInformation extends Box('mint') {
unsigned int (32) marker _ interval _ ID ;
Region start _ region ;
Region end _ region ;
RelatedSampleInformation ();
}
여기서 marker_interval_ID는 해당 마커 구간의 ID를 나타내고, start_region는 마커 구간의 시작점에 관한 상세 정보를 나타내고, end_region은 마커 구간의 종료점에 관한 상세 정보를 나타낸다.
하기는 Region (Region Box)의 포맷의 일 예를 나타낸 것이다. Region 박스는 화면에서 가상 물체가 표시될 영역의 상대적 좌표 및 가상 물체를 표현하기 위해 필요한 부가적인 정보 (예를 들어 광원 등)를 저장한다. 아래 예시는 가상 물체의 위치 정보만을 포함하여 기술한 예이다.
aligned(8) class Region extends Box('rinf') {
VirtualMarkerInformation ();
}
하기는 rsmp (Related Sample Information Box)의 포맷의 일 에를 나타낸 것이다.
aligned(8) class RelatedSampleInformation extends Box('rsmp') {
unsigned int (32) first _ sample ;
unsigned int (32) sample _ count ;
}
여기서 first_sample는 해당 마커 구간의 첫번째 샘플 번호를 나타내고, sample_count는 해당 마커 구간에 포함되는 전체 샘플의 개수를 나타낸다.
2) 3D 객체 트랙
3D 객체 트랙은 마커 구간에서 사용되는 가상 물체를 기술한다. 특히 다양한 증강현실 콘테트 및 서비스 시나리오를 지원하기 위하여 미디어 파일 내에는 복수 개의 3D 객체 트랙이 존재할 수 있으며, 각각의 3D 객체 트랙은 마커 트랙에 정의된 마커_group_ID와 3D 객체 트랙에 정의된 가상 물체와의 매핑 정보를 제공한다. 이와 더불어, 3D 객체 트랙은 기준점이 되는 가상 마커 및 해당 가상 마커에서 가상 물체가 어떻게 화면에 표시되어야 하는지에 관한 정보를 저장한다. 즉, 마커 트랙의 mkhd 박스 내에 정의된 vmki 박스에서 명시된 기준 가상 마커 상에서 표시되는 가상 물체의 이동, 회전, 확대/축소 정보를 저장한다.
도 9는 본 발명의 일 실시예에 따른 3D 객체 트랙 내의 주요 박스 및 이들 박스간의 상관관계를 도식화한 것이다.
도 9를 참조하면, 3D 객체 트랙(900)은 마커 트랙(700)과 같이 기존 ISO 미디어 파일 포맷에서 정의된 트랙 박스를 확장한 형태를 가지며, 따라서 tkhd (Track Header) 박스(902), mdia (Media) 박스(904)를 포함한다. mdia 박스(904)는 mdhd (Media Header) 박스(906), hdlr (Handler Reference) 박스(908), minf (Media Information) 박스(910), dinf (Data Information) 박스(912)를 포함한다. 3D 객체 트랙을 지원하기 위해 필요한 기존 박스들의 확장은 앞서 기술한 마커 트랙(700)에 대한 설명과 동일하다.
3D 객체 트랙(900)은 앞서 기술한 ISO 미디어 파일에서 정의한 기존 박스 이외에 각각의 마커 구간에서 사용되는 가상 물체를 표현하기 위한 otbl (Object Table) 박스(914)를 포함한다. otbl 박스(914)는 컨테이너 박스로서 1개의 othd (Object Table Header) 박스(914a)와 1개의 mtbl (Mapping Table) 박스(914b), 그리고 0개 이상의 odes (Object Description) 박스(914c)로 구성된다. mtbl 박스(914b)는 Maker 트랙의 개별 mgrp 박스에서 사용되는 가상 물체에 대한 매핑 정보를 제공하며, odes 박스(914c)는 가상 물체를 표현하는 정보를 제공한다. odes 박스(914c)는 가상 물체 표현을 위한 다양한 증강기술을 지원하기 위하여 컨테이너로서의 역할을 수행한다.
ISO 기반 미디어 파일에는 복수개의 3D 객체 트랙이 존재할 수 있으며, 개별 트랙은 제공하는 정보의 유형 또는 서비스 제공자별로 독립적으로 존재한다. 따라서 증강현실 제공 시에는 하나의 3D 객체 트랙만을 연결하여 서비스가 제공되며, 여러 개의 3D 객체 트랙에 존재하는 가상 물체를 혼합하여 사용할 수는 없다.
하기는 otbl (3D Object Table Box)의 포맷의 일 예를 나타낸 것이다.
aligned(8) class 3DObjectTable extends Box('otbl') {
}
하기는 othd (Object Table Header Box)의 포맷의 일 예를 나타낸 것이다.
aligned(8) class ObjectTableHeader extends Box('othd') {
unsigned int (32) next _ object _ ID ;
unsigned int (32) object _ entry _ count ;
unsigned int (32) service _ provider _ ID ;
string description ;
}
여기서 next_object_ID는 다음에 사용될 Object_ID 값으로서 최초값은 1로 설정되며, 동일한 Object_ID를 사용하기 위해서는 odes 박스의 type 값이 서로 달라야 한다. object_entry_count는 현재 트랙에 포함된 odes 박스의 개수를 나타내고, service_provider_ID는 3D 객체 트랙을 제공하는 서비스 제공자의 ID를 나타내고, description는 현재 트랙에 대한 부가 설명을 나타낸다.
하기는 mtbl (Mapping Table Box)의 포맷의 일 예를 나타낸 것이다.
aligned(8) class MappingTable extends Box('mtbl') {
unsigned int (32) mapping _ entry _ count ;
for (i = 1; i < mapping _ entry _ count ; ++i) {
unsigned int (32) marker _ group _ ID ;
unsigned int (32) object _ ID ;
}
}
여기서 object_entry_count는 매핑 정보의 개수를 나타내고, marker_group_ID는 마커 트랙의 mgrp 박스에 정의된 marker_group_ID를 나타내고, object_ID는 marker_group_ID로 식별된 마커 구간에서 사용되어야 하는 가상 물체의 ID를 나타낸다. object_ID는 odes 박스에 정의된다.
하기는 odes (Object Description Box)의 포맷의 일 예를 나타낸 것이다.
aligned(8) class ObjectDescription extends Box('odes') {
unsigned int (32) object _ ID ;
unsigned int (32) type ;
string object _ desc
template int(32)[9] transformation _ matrix ;
template int(32)[9] rotation _ matrix ;
template int(32)[9] scale _ matrix ;
}
여기서 object_ID는 해당 가상 물체의 ID를 나타내고, type은 가상 물체를 표현하기 위해 사용된 기술 (e.g., VRML(Virtual Reality Modeling Language), 3DXML(3D Extensible Markup Language) 등)을 지시한다. 동일 object_ID를 사용하는 서로 다른 type으로 기술된 가상 물체가 존재할 수 있으며, 이 경우 미디어 파일 재생 장치는 어떤 기술로 표현된 가상 물체를 사용할 것인지를 결정한다. object_desc는 type으로 지칭된 기술로 표현된 가상 물체를 나타내고, transformation_matrix는 기준 가상 마커 위에서 가상 물체를 표현할 때 사용되는 가상 물체의 이동 계산 시 사용되는 행렬을 나타내고, rotation_matrix는 기준 가상 마커 위에서 가상 물체를 표현할 때 사용되는 가상 물체의 회전 계산 시 사용되는 행렬을 나타내고, scale_matrix는 기준 가상 마커 위에서 가상 물체를 표현할 때 사용되는 가상 물체의 확대/축소 계산 시 사용되는 행렬을 나타낸다.
odes 박스가 표현하는 정보는 다음과 같다. 마커 트랙에서 정의된 기준 가상 마커를 인식하게 되면 odes 박스의 객체_desc에 정의된 가상 물체를 3차원 이동 및 배율 정보를 저장한 세 개의 행렬값 (i.e., transformation_matrix, rotation_matrix, scale_matrix)를 사용하여 가상 물체가 기준 가상 마커를 기준으로 어떻게 표시되어야 하는지를 결정하게 된다.
도 10은 본 발명의 일 실시예에 따라 마커 구간에서 가상 물체를 영상과 합성하여 재생하는 절차를 도식화한 흐름도이다.
도 10을 참조하면, 장치는 1002단계에서 샘플을 기준으로 마커 구간들을 추출하여 정렬하며, 1004단계에서 각 마커 구간의 시작점, 종료점 및 기준 가상 마커를 이용하여 화면에 표시될 가상 객체의 상대적 위치, 방향 및 배율 정보와 해당 객체를 표시하기 위한 부가 정보를 계산하고, 1006단계에서 해당 마커 구간의 market_group_ID와 3D Object 트랙 내의 매핑 정보를 사용하여 화면에 표시될 가상 객체를 추출하고, 1008단계에서 상기 계산된 가상 객체의 위치, 방향 및 배율 정보와 해당 객체가 정의된 odes 박스 내에 정의된 기준 가상 마커에서의 위치, 방향, 배율 정보를 사용하여 가상 물체가 화면에 표시된 최종 위치 및 모습을 계산한다. 1010에서 장치는 연계된 영상 위에 상기 가상 객체를 합성하여 화면에 재생한다.
도 11은 본 발명의 일 실시예에 따른 마커 트랙과 3D 객체 트랙을 적용한 예를 도식화한 것이다.
도 11을 참고하면, 각 마커 구간(1102,1104,1106)은 가상 물체의 직선상의 이동과 이동속도를 기준으로 설정된다. 특히 마커 구간#1(1102)과 마커 구간#3(1106)은 동일한 가상 물체(도시된 예에서 스마일 마크)를 화면에 표시하며, 따라서 두 마커 구간(1102,1106)은 동일한 마커 그룹에 소속된다.
도 11을 위한 마커 트랙 및 3D 객체 트랙의 주요 박스, 즉 mtbl 박스(1202)와 otbl 박스(1302)의 내용은 각각 도 12 및 도 13에 도시된 바와 같다. 도 13을 참조하면 object_ID가 1인 odes 박스가 두 개 존재하며, 각각의 박스는 동일 가상 물체를 서로 다른 기술을 사용하여 표현한다. 일 실시예로서 어떤 기술로 표현된 가상 물체를 사용할 것인지의 판단은 미디어 파일 재생 장치에 의해 이루어질 수 있다.
본 발명의 실시예들에 따른 미디어 파일의 제공 및 처리는 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능함은 물론이다. 이러한 미디어 파일 및/또는 상기 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM(Read Only Memory) 등과 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM(Random Access Memory), 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD(Compact Disk), DVD(Digital Versatile Disc), 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다.
또한 본 발명의 미디어 파일 제공 및 처리는 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 장치에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예가 될 수 있다.
따라서, 본 발명은 본 명세서의 한 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 본 발명의 미디어 파일 재생 장치는 유선 또는 무선으로 연결되는 미디어 파일 제공 장치로부터 상기 미디어 파일 및/또는 상기 프로그램을 수신하여 저장할 수 있다. 상기 미디어 파일 제공 장치는 본 발명에 따른 미디어 파일을 저장하기 위한 메모리와, 미디어 파일 재생 장치가 기 설정된 미디어 파일 처리를 수행하도록 하는 지시들을 포함하는 프로그램과 미디어 파일 처리에 필요한 정보 등을 저장하기 위한 메모리와, 상기 미디어 파일 재생 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 미디어 파일 재생 장치의 요청 또는 자동으로 해당 프로그램을 상기 통신부로 전송하는 제어부 중 적어도 하나를 포함할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (26)

  1. 증강현실 서비스를 위한 미디어 파일의 처리 방법에 있어서,
    증강현실 서비스의 제공에 이용되기 위한 마커 트랙과 가상 객체 트랙을 포함하는 적어도 하나의 미디어 파일을 분석하는 과정과,
    상기 미디어 파일로부터 영상 재생에 필요한 영상 데이터를 추출하는 과정과,
    상기 미디어 파일에 포함된 가상 객체 정보를 추출하여 가상 객체를 표시하기 위한 가상 객체 데이터를 생성하는 과정과,
    상기 마커 트랙과 상기 가상 객체 트랙을 기반으로 상기 영상 데이터와 상기 가상 객체 데이터를 합성하여 최종 영상을 구성하고, 상기 최종 영상을 화면에 재생하는 과정을 포함하고,
    상기 마커 트랙은 화면에서 가상 객체가 표시될 영역의 상대적 좌표 및 가상 객체를 표현하기 위해 필요한 부가적인 정보를 저장하는 마커 테이블(mtbl) 박스를 포함하고,
    상기 mtbl 박스는,
    각 마커 구간에서 사용되는 가상 마커의 비교 대상이 되는 기준 가상 마커를 나타내는 가상 마커 정보(vmki) 박스를 포함하는 적어도 하나의 마커 헤더(mkhd) 박스와, 상기 복수의 마커 구간들 중 동일 마커 그룹에 포함되는 마커 구간들의 정보를 저장하는 적어도 하나의 마커 그룹(mgrp) 박스를 포함함을 특징으로 하는 것을 특징으로 하는 처리 방법.
  2. 제 1 항에 있어서,
    상기 mtbl 박스는, 가상 객체의 이동에 따라 변화하는 특징을 기준으로 분류되는 시간 축 상의 복수의 마커 구간들을 정의하는 것을 특징으로 하는 처리 방법.
  3. 삭제
  4. 제 2 항에 있어서, 상기 각 mgrp 박스는,
    각 마커 구간을 표현하는 적어도 하나의 마커 구간 정보(mint) 박스를 포함하며,
    상기 각 mint 박스는,
    해당 마커 구간에 사용되는 샘플 정보를 저장하는 관련 샘플 정보(rsmp) 박스를 포함함을 특징으로 하는 처리 방법.
  5. 제 2 항에 있어서, 상기 복수의 마커 구간들은,
    각각 동일한 가상 객체를 사용하는 적어도 하나의 마커 구간을 포함하는 복수의 마커 그룹들로 그룹화됨을 특징으로 하는 처리 방법.
  6. 제 2 항에 있어서, 상기 각 마커 헤더 박스는,
    현재 트랙에 포함된 mgrp 박스의 개수를 나타내는 마커 그룹 엔트리 카운트를 포함함을 특징으로 하는 처리 방법.
  7. 제 2 항에 있어서, 상기 마커 트랙은 현재 트랙의 종류를 저장하는 hdlr (Handler Reference) 박스를 더 포함하며,
    상기 hdlr 박스는, 위치 트랙 혹은 가상 객체 트랙 중 어느 하나를 지시하는 값으로 설정됨을 특징으로 하는 처리 방법.
  8. 제 1 항에 있어서, 상기 가상 객체 트랙은, 화면에 표시될 가상 객체에 대한 정보를 저장하고, 상기 가상 객체의 이동에 따라 변화하는 특징을 기준으로 분류되는 시간 축 상의 복수의 마커 구간들 각각에서 사용되는 가상 객체를 표현하기 위한 객체 테이블(otbl) 박스를 포함함을 특징으로 하는 처리 방법.
  9. 제 8 항에 있어서, 상기 otbl 박스는,
    객체 테이블 헤더(othd) 박스와, 상기 복수의 마커 구간들 중 동일 그룹에 포함되는 마커 구간들에서 사용되는 가상 객체에 대한 적어도 하나의 매핑 정보를 제공하는 적어도 하나의 매핑 테이블(mtbl) 박스와, 상기 가상 객체를 표현하기 위한 증강현실 기술의 종류를 표현하는 적어도 하나의 객체 설명(odes) 박스를 포함함을 특징으로 하는 처리 방법.
  10. 제 9 항에 있어서, 상기 othd 박스는,
    다음에 사용될 가상 객체를 나타내는 다음 객체 식별자(ID)와,
    상기 가상 객체 트랙에 포함되는 odes 박스의 개수를 나타내는 개체 엔트리 카운트와,
    상기 가상 객체 트랙을 제공하는 서비스 제공자를 지시하는 서비스 제공자 식별자와,
    상기 가상 객체 트랙에 대한 부가 설명 중 적어도 하나를 포함하는 것을 특징으로 하는 처리 방법.
  11. 제 9 항에 있어서, 상기 각 mtbl 박스는,
    상기 적어도 하나의 매핑 정보의 개수를 나타내는 매핑 엔트리 카운트와, 상기 적어도 하나의 매핑 정보를 포함하며,
    상기 각 매핑 정보는, 상기 마커 트랙에 의해 정의된 마커 그룹 식별자와, 상기 마커 그룹 식별자로 식별된 마커 구간에서 사용될 가상 객체를 지시하는 객체 식별자를 포함함을 특징으로 하는 처리 방법.
  12. 제 9 항에 있어서, 상기 각 odes 박스는,
    해당 가상 객체를 지시하는 객체 식별자와, 상기 가상 객체를 표현하기 위한 증강현실 기술을 지시하는 타입과, 상기 타입으로 지칭된 증강현실 기술로 표현된 가상 객체의 설명과, 기준 가상 마커 위에서 가상 객체를 표현하기 위해 가상 객체의 이동 계산시 사용되는 변환 행렬과, 상기 기준 가상 마커 위에서 가상 객체를 표현하기 위해 가상 객체의 확대 혹은 축소의 계산시 사용되는 스케일 행렬 중 적어도 하나를 포함하는 것을 특징으로 하는 처리 방법.
  13. 제 9 항에 있어서, 상기 복수의 마커 구간들은,
    각각 동일한 가상 객체를 사용하는 적어도 하나의 마커 구간을 포함하는 복수의 마커 그룹들로 그룹화됨을 특징으로 하는 처리 방법.
  14. 증강현실 서비스를 위한 미디어 파일의 처리 장치에 있어서,
    증강현실 서비스의 제공에 이용되기 위한 마커 트랙과 가상 객체 트랙을 포함하는 적어도 하나의 미디어 파일을 분석하고, 상기 미디어 파일로부터 영상 재생에 필요한 영상 데이터를 추출하고, 상기 미디어 파일에 포함된 가상 객체 정보를 추출하여 가상 객체를 표시하기 위한 가상 객체 데이터를 생성하고, 상기 마커 트랙과 상기 가상 객체 트랙을 기반으로 상기 영상 데이터와 상기 가상 객체 데이터를 합성하여 최종 영상을 구성하는 프로세서와,
    상기 최종 영상을 화면에 재생하는 디스플레이를 포함하며,
    상기 마커 트랙은 화면에서 가상 객체가 표시될 영역의 상대적 좌표 및 가상 객체를 표현하기 위해 필요한 부가적인 정보를 저장하는 마커 테이블(mtbl) 박스를 포함하고,
    상기 mtbl 박스는,
    각 마커 구간에서 사용되는 가상 마커의 비교 대상이 되는 기준 가상 마커를 나타내는 가상 마커 정보(vmki) 박스를 포함하는 적어도 하나의 마커 헤더(mkhd) 박스와, 상기 복수의 마커 구간들 중 동일 마커 그룹에 포함되는 마커 구간들의 정보를 저장하는 적어도 하나의 마커 그룹(mgrp) 박스를 포함함을 특징으로 하는 것을 특징으로 하는 처리 장치.
  15. 제 14 항에 있어서,
    상기 mtbl 박스는, 가상 객체의 이동에 따라 변화하는 특징을 기준으로 분류되는 시간 축 상의 복수의 마커 구간들을 정의하는 것을 특징으로 하는 처리 장치.
  16. 삭제
  17. 제 14 항에 있어서, 상기 각 mgrp 박스는,
    각 마커 구간을 표현하는 적어도 하나의 마커 구간 정보(mint) 박스를 포함하며,
    상기 각 mint 박스는,
    해당 마커 구간에 사용되는 샘플 정보를 저장하는 관련 샘플 정보(rsmp) 박스를 포함함을 특징으로 하는 처리 장치.
  18. 제 14 항에 있어서, 상기 복수의 마커 구간들은,
    각각 동일한 가상 객체를 사용하는 적어도 하나의 마커 구간을 포함하는 복수의 마커 그룹들로 그룹화됨을 특징으로 하는 처리 장치.
  19. 제 14 항에 있어서, 상기 각 마커 헤더 박스는,
    현재 트랙에 포함된 mgrp 박스의 개수를 나타내는 마커 그룹 엔트리 카운트를 포함함을 특징으로 하는 처리 장치.
  20. 제 15 항에 있어서, 상기 마커 트랙은 현재 트랙의 종류를 저장하는 hdlr(Handler Reference) 박스를 더 포함하며,
    상기 hdlr 박스는, 위치 트랙 혹은 가상 객체 트랙 중 어느 하나를 지시하는 값으로 설정됨을 특징으로 하는 처리 장치.
  21. 제 14 항에 있어서, 상기 가상 객체 트랙은, 화면에 표시될 가상 객체에 대한 정보를 저장하고, 상기 가상 객체의 이동에 따라 변화하는 특징을 기준으로 분류되는 시간 축 상의 복수의 마커 구간들 각각에서 사용되는 가상 객체를 표현하기 위한 객체 테이블(otbl) 박스를 포함함을 특징으로 하는 처리 장치.
  22. 제 21 항에 있어서, 상기 otbl 박스는,
    객체 테이블 헤더(othd) 박스와, 상기 복수의 마커 구간들 중 동일 그룹에 포함되는 마커 구간들에서 사용되는 가상 객체에 대한 적어도 하나의 매핑 정보를 제공하는 적어도 하나의 매핑 테이블(mtbl) 박스와, 상기 가상 객체를 표현하기 위한 증강현실 기술의 종류를 표현하는 적어도 하나의 객체 설명(odes) 박스를 포함함을 특징으로 하는 처리 장치.
  23. 제 22 항에 있어서, 상기 othd 박스는,
    다음에 사용될 가상 객체를 나타내는 다음 객체 식별자(ID)와,
    상기 가상 객체 트랙에 포함되는 odes 박스의 개수를 나타내는 개체 엔트리 카운트와,
    상기 가상 객체 트랙을 제공하는 서비스 제공자를 지시하는 서비스 제공자 식별자와,
    상기 가상 객체 트랙에 대한 부가 설명 중 적어도 하나를 포함하는 것을 특징으로 하는 처리 장치.
  24. 제 22 항에 있어서, 상기 각 mtbl 박스는,
    상기 적어도 하나의 매핑 정보의 개수를 나타내는 매핑 엔트리 카운트와, 상기 적어도 하나의 매핑 정보를 포함하며,
    상기 각 매핑 정보는, 상기 마커 트랙에 의해 정의된 마커 그룹 식별자와, 상기 마커 그룹 식별자로 식별된 마커 구간에서 사용될 가상 객체를 지시하는 객체 식별자를 포함함을 특징으로 하는 처리 장치.
  25. 제 22 항에 있어서, 상기 각 odes 박스는,
    해당 가상 객체를 지시하는 객체 식별자와, 상기 가상 객체를 표현하기 위한 증강현실 기술을 지시하는 타입과, 상기 타입으로 지칭된 증강현실 기술로 표현된 가상 객체의 설명과, 기준 가상 마커 위에서 가상 객체를 표현하기 위해 가상 객체의 이동 계산시 사용되는 변환 행렬과, 상기 기준 가상 마커 위에서 가상 객체를 표현하기 위해 가상 객체의 확대 혹은 축소의 계산시 사용되는 스케일 행렬 중 적어도 하나를 포함하는 것을 특징으로 하는 처리 장치.
  26. 제 22 항에 있어서, 상기 복수의 마커 구간들은,
    각각 동일한 가상 객체를 사용하는 적어도 하나의 마커 구간을 포함하는 복수의 마커 그룹들로 그룹화됨을 특징으로 하는 처리 장치.
KR1020120030099A 2012-03-23 2012-03-23 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치 KR101887548B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120030099A KR101887548B1 (ko) 2012-03-23 2012-03-23 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
US13/838,258 US9224246B2 (en) 2012-03-23 2013-03-15 Method and apparatus for processing media file for augmented reality service
PCT/KR2013/002228 WO2013141562A1 (en) 2012-03-23 2013-03-19 Method and apparatus for processing media file for augmented reality service
EP13763778.1A EP2829055B1 (en) 2012-03-23 2013-03-19 Method and apparatus for processing media file for augmented reality service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120030099A KR101887548B1 (ko) 2012-03-23 2012-03-23 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130107917A KR20130107917A (ko) 2013-10-02
KR101887548B1 true KR101887548B1 (ko) 2018-08-10

Family

ID=49211346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120030099A KR101887548B1 (ko) 2012-03-23 2012-03-23 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US9224246B2 (ko)
EP (1) EP2829055B1 (ko)
KR (1) KR101887548B1 (ko)
WO (1) WO2013141562A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
CN104871452B (zh) 2012-12-27 2018-04-27 松下电器（美国）知识产权公司 可视光通信方法及可视光通信装置
JP5606655B1 (ja) 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
US10303945B2 (en) * 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
EP2940893B1 (en) 2012-12-27 2021-05-19 Panasonic Intellectual Property Corporation of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US20140270477A1 (en) * 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
GB2539462B (en) * 2015-06-16 2019-04-03 Canon Kk Obtaining media data and metadata from encapsulated bit-streams wherein operating point descriptors can be dynamically set
US20170155967A1 (en) * 2015-11-30 2017-06-01 Nokia Technologies Oy Method and apparatus for facilitaing live virtual reality streaming
US10389999B2 (en) 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
US10367919B2 (en) * 2016-03-31 2019-07-30 Verizon Patent And Licensing Inc. Methods and systems for efficient distribution of virtual reality media content
KR101803275B1 (ko) * 2016-06-20 2017-12-01 (주)핑거플러스 영상 컨텐츠에 포함된 오브젝트와 매핑 가능한 상품의 위치를 트래킹하는 영상 컨텐츠의 전처리 방법, 이를 실행하는 서버 및 좌표 입력자 장치
US10204274B2 (en) * 2016-06-29 2019-02-12 Cellular South, Inc. Video to data
US9940975B2 (en) * 2016-09-13 2018-04-10 Shutterfly, Inc. System and method for automatically displaying variable image content in an image product
DE102016119637A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag Fernsehübertragungssystem zur Erzeugung angereicherter Bilder
DE102016119640A1 (de) * 2016-10-14 2018-04-19 Uniqfeed Ag System zur Erzeugung angereicherter Bilder
DE102016119639A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
JP7007396B2 (ja) * 2017-03-17 2022-01-24 マジック リープ， インコーポレイテッド 拡張現実データを記録するための手法
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
KR102428921B1 (ko) * 2017-09-22 2022-08-04 삼성전자주식회사 Ar 서비스를 제공하는 방법 및 디바이스
US10789473B2 (en) 2017-09-22 2020-09-29 Samsung Electronics Co., Ltd. Method and device for providing augmented reality service
EP3846481A4 (en) * 2018-09-27 2021-11-10 Huawei Technologies Co., Ltd. MULTIMEDIA, CLIENT AND SERVER DATA PROCESSING PROCESS
CN109640171A (zh) * 2018-12-07 2019-04-16 北京微播视界科技有限公司 多媒体信息合成方法、电子设备及计算机可读存储介质
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
KR20210061869A (ko) 2019-11-20 2021-05-28 주식회사 알체라 증강현실 콘텐츠 제작 방법 및 장치
US11222478B1 (en) 2020-04-10 2022-01-11 Design Interactive, Inc. System and method for automated transformation of multimedia content into a unitary augmented reality module
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045869A1 (en) 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Entertainment Device, System, and Method
KR101056418B1 (ko) * 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
WO2009149442A1 (en) 2008-06-06 2009-12-10 Divx, Inc. Systems and methods for font file optimization for multimedia files
US9064424B2 (en) * 2009-02-20 2015-06-23 Jackson Fish Market, LLC Audiovisual record of a user reading a book aloud for playback with a virtual book
KR101227255B1 (ko) * 2010-03-17 2013-01-28 에스케이플래닛 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR101314865B1 (ko) * 2010-07-06 2013-10-04 김덕중 모바일 환경에서 ｔｖ 화면과 연동하는 증강 현실을 제공하는 방법, 이를 위한 부가 서비스 서버 및 방송 시스템
KR20120006312A (ko) 2010-07-12 2012-01-18 피크네코크리에이티브 주식회사 모바일 디바이스를 사용한 위치 기반 증강현실 데이터 공유 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045869A1 (en) 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Entertainment Device, System, and Method
KR101056418B1 (ko) * 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법

Also Published As

Publication number Publication date
US20130249900A1 (en) 2013-09-26
US9224246B2 (en) 2015-12-29
EP2829055B1 (en) 2017-11-29
EP2829055A4 (en) 2015-10-28
EP2829055A1 (en) 2015-01-28
WO2013141562A1 (en) 2013-09-26
KR20130107917A (ko) 2013-10-02

Similar Documents

Publication Publication Date Title
KR101887548B1 (ko) 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
CN110286773A (zh) 基于增强现实的信息提供方法、装置、设备及存储介质
CN107241646B (zh) 多媒体视频的编辑方法及装置
CN106231205B (zh) 增强现实移动终端
KR20200062144A (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US20130278633A1 (en) Method and system for generating augmented reality scene
US9542975B2 (en) Centralized database for 3-D and other information in videos
US10575067B2 (en) Context based augmented advertisement
US20130282715A1 (en) Method and apparatus of providing media file for augmented reality service
CN112216309A (zh) 数据处理系统
US20150078723A1 (en) Method and apparatus for smart video rendering
CN109257587A (zh) 一种编解码视频数据的方法及装置
CN105828103A (zh) 一种视频处理方法和一种播放器
Langlotz et al. AR record&replay: situated compositing of video content in mobile augmented reality
CN117178557A (zh) 用于场景中的定时和事件触发更新的方法和装置
KR20140078171A (ko) 증강현실 콘텐츠 재생 시스템
CN113542907B (zh) 多媒体数据收发方法、系统、处理器和播放器
US20150269967A1 (en) Fast and smart video trimming at frame accuracy on generic platform
KR101018781B1 (ko) 증강 현실을 이용하여 부가 컨텐츠를 제공하는 방법 및 그 시스템
KR101947553B1 (ko) 객체 기반 동영상 편집 장치 및 방법
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
US20220360848A1 (en) Media processing method, device and system, and readable storage medium
CN113420242A (zh) 导购方法、资源分发方法、内容展示方法及设备
JP4017436B2 (ja) ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体
KR102443049B1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant