KR101802700B1 - 실감 미디어 저작 방법 및 장치 - Google Patents

실감 미디어 저작 방법 및 장치 Download PDF

Info

Publication number
KR101802700B1
KR101802700B1 KR1020170032493A KR20170032493A KR101802700B1 KR 101802700 B1 KR101802700 B1 KR 101802700B1 KR 1020170032493 A KR1020170032493 A KR 1020170032493A KR 20170032493 A KR20170032493 A KR 20170032493A KR 101802700 B1 KR101802700 B1 KR 101802700B1
Authority
KR
South Korea
Prior art keywords
real
media
feedback
information
time effect
Prior art date
Application number
KR1020170032493A
Other languages
English (en)
Inventor
김지연
박상욱
이훈기
장종현
한미경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170032493A priority Critical patent/KR101802700B1/ko
Application granted granted Critical
Publication of KR101802700B1 publication Critical patent/KR101802700B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

실감 미디어 저작 방법 및 장치가 개시된다. 일 실시예에 따른 실감 미디어 저작 방법은, 미디어와 사용자 간 시선 정보를 동기화하는 단계, 상기 동기화에 따른 실감 효과 객체를 기초로 실감 효과 타입의 유무를 확인하는 단계 및 상기 실감 효과 타입의 유무의 확인된 결과에 따른 피드백에 따라 상기 실감 효과 타입의 업데이트 동작을 결정하는 단계를 포함할 수 있다.

Description

실감 미디어 저작 방법 및 장치{METHOD AND APPARATUS FOR SENSORY MEDIA AUTHORING}
아래의 설명은 실감 미디어 저작 방법 및 장치에 관한 것이다.
실감 미디어는 영화, 광고, 공연, 전시, 체험관 등 다양한 분야에서 세계적으로 시장 활성화를 이끌고 있다. 한국뿐만 아니라 유럽, 일본, 중국 등에서 실감 미디어를 재현하는 4D 상영관이 운영되고 있다. 미디어의 고품질, 고화질화로 현실감 있는 미디어 디스플레이가 공급되고 있다. 미디어의 고품질, 고화질화에 따라 미디어가 대용량화되고 있고, 네트워크의 요구 대역폭도 커지고 있다. 미디어 공유를 위한 서버에 모든 대용량 미디어를 수용하기 어려운 문제를 해결하기 위해 캐싱 서버(caching server)와 같은 다양한 방법들이 제안되고 있으나, 여러 제한들이 있다.
일 실시예에 따른, 실감 미디어 저작 방법은, 미디어와 사용자 간 시선 정보를 동기화하는 단계; 상기 동기화에 따른 실감 효과 객체를 기초로 실감 효과 타입의 유무를 확인하는 단계; 및 상기 실감 효과 타입의 유무의 확인된 결과에 따른 피드백에 따라 상기 실감 효과 타입의 업데이트 동작을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른, 상기 동기화하는 단계는, 사용자 프로파일을 기초로 시선 정보를 동기화할 수 있다.
일 실시예에 따른, 상기 확인하는 단계는, 데이터베이스 내 정의된 실감 효과 타입이 있는지 여부를 확인할 수 있다.
일 실시예에 따른, 상기 결정하는 단계는, 상기 실감 효과 타입이 없을 경우, 상기 피드백에 따라 상기 실감 효과 타입의 업데이트를 수행할 수 있다.
일 실시예에 따른, 실감 미디어 저작 방법은, 상기 실감 효과 타입에 따라 실감 효과 속성 정보를 피드백 반영 요소에 피드백하는 단계를 더 포함할 수 있다.
일 실시예에 따른, 실감 미디어 저작 방법은, 사용자 저작 활용에 따른 피드백에 따라 실감 미디어 콘텐츠를 인접 서버로 업로드하는 단계를 더 포함할 수 있다.
일 실시예에 따른, 실감 미디어 저작 장치는, 시선 기반으로 추출된 미디어 객체에 실감 효과 타입을 매핑하는 실감 효과 타입 매핑부; 및 상기 매핑된 실감 효과 타입에 따른 실감 효과 속성 정보를 미디어 프로파일 관리부에 피드백하는 실감 효과 피드백부를 포함할 수 있다.
일 실시예에 따른, 실감 미디어 저작 장치는, 사용자가 미디어를 시청할 경우, 사용자의 시선에 따라 상기 미디어 객체에 관한 정보를 획득하는 시선 객체 정보 획득부를 더 포함할 수 있다.
일 실시예에 따른, 상기 시선 객체 정보 획득부는, 상기 사용자와 상기 미디어 간 시선의 동기를 맞추는 사용자 기반 시선 동기화부; 및 상기 시선의 동기를 위한 상기 사용자에 관한 정보를 관리하는 사용자 프로파일 관리부를 포함할 수 있다.
일 실시예에 따른, 상기 시선 객체 정보 획득부는, 상기 미디어와 상기 사용자의 시선에 관한 객체 간 관계를 분석하는 관계 분석부; 및 상기 사용자의 시선에 따라 선택된 영역의 미디어 객체를 추출하는 시선기반 미디어 객체 추출부를 더 포함할 수 있다.
일 실시예에 따른, 상기 실감 효과 피드백부는, 상기 피드백에 관한 정보를 포함한 피드백 반영 요소를 산출할 수 있다.
일 실시예에 따른, 상기 실감 효과 타입과 상기 실감 효과 속성 정보를 포함한 데이터를 저장하는 객체 기반 실감 효과 데이터베이스부를 더 포함할 수 있다.
일 실시예에 따른, 실감 미디어 저작 장치는, 시선 기반 미디어 객체에 관한 피드백 반영 요소를 산출하는 피드백 반영 요소 산출부; 및 특징 객체 및 실감 효과 속성 피드백을 이용하여 상기 피드백 반영 요소에 적용하는 피드백 반영 요소 적용부를 포함할 수 있다.
일 실시예에 따른, 상기 피드백 반영 요소 산출부는, 저작 경험도, 실감 효과 속성 정보 활용도, 실감 미디어 체험도, 객체 좌표 추출도 중 적어도 하나를 포함한 정보를 이용하여 피드백 반영 요소를 산출할 수 있다.
일 실시예에 따른, 실감 미디어 저작 장치는, 상기 산출된 피드백 반영 요소에 따라 데이터베이스의 업데이트를 실행하는 데이터베이스 업데이트 실행부를 더 포함할 수 있다.
일 실시예에 따른, 상기 피드백 반영 요소 적용부는, 미디어 컨텐츠에 관한 정보를 기초로 상기 특징 객체 및 실감 효과 속성 피드백에 관한 정보를 처리할 수 있다.
일 실시예에 따른, 실감 미디어 저작 장치는, 적어도 하나의 프로세서; 및 상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 미디어와 사용자 간 시선 정보를 동기화하는 동작; 및 상기 동기화에 따른 실감 효과 객체를 기초로 확인된 실감 효과 타입의 유무에 따른 피드백에 따라 상기 실감 효과 타입의 업데이트 동작을 결정하는 동작을 실행하도록 구성될 수 있다.
도 1은 일 실시예에 따른 실감 미디어 저작 방법을 나타내는 흐름도이다.
도 2는 일 실시예에 따른 실감 미디어 저작 장치를 나타내는 블록도이다.
도 3은 일 실시예에 따른 시선 객체 정보 획득부를 나타내는 블록도이다.
도 4는 일 실시예에 따른 실감 미디어 저작 장치의 동작을 도시한 도면이다.
도 5는 일 실시예에 따른 실감 효과 피드백부를 나타내는 블록도이다.
도 6은 일 실시예에 따른 사용자 시선 기반으로 추출된 실감 효과 객체를 표현하기 위한 메타데이터를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 실감 미디어 저작 방법의 흐름을 나타내는 도면이다.
도 8은 일 실시예에 따른 실감 미디어 저작 장치를 도시한 블록도이다.
도 9는 일 실시예에 따른 실감 미디어 저작 장치를 도시한 도면이다.
실시예들에 대한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 본 명세서의 범위는 개시된 실시예들의 특정한 형태로 한정되는 것이 아니라 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 실감 미디어 저작 방법을 나타내는 흐름도이다.
실감 미디어 저작 장치는 시선추적글라스 및 카메라를 활용하여 실감 미디어 객체를 추출할 수 있다. 또한, 실감 미디어 저작 장치는 추출한 객체에 대한 저작 피드백을 제공함으로써 실감 미디어 저작시 단순화된 접근 방식을 제공하여, 전문 저작자가 아닌 일반인도 실감 미디어를 저작할 수 있는 솔루션을 제공할 수 있다.
실감 미디어는 컨텐츠, 영상 등을 이용한 것으로서, 영상 데이터와 메타 데이터(또는 부가 데이터)로 구성될 수 있다. 실감 미디어 저작 장치는 사용자가 해당 메타 데이터를 수정 또는 추가할 수 있도록 할 수 있다. 이때, 메타 데이터는 영상 속 객체와 관련된 실감 효과 정보를 포함할 수도 있다. 한편, 경우에 따라서, 실감 효과 정보를 포함하는 메타 데이터는 다른 사용자와 공유될 수도 있다. 실감 미디어 저작 장치는 메타데이터를 사용자가 맞춤형으로 업데이트하도록 지원할 수 있다.
먼저, 도 1을 참조하면, 실감 미디어 저작 장치가 수행하는 실감 미디어 저작 방법은 하기와 같은 단계를 포함할 수 있다.
단계(110)에서, 실감 미디어 저작 장치는 미디어와 사용자 간 시선 정보를 동기화할 수 있다. 실감 미디어 저작 장치는 사용자 신장, 미디어 시청 위치 및 시선 반경의 위치가 개개인마다 다른 점을 이용하여, 미디어 시청각도를 측정할 수 있다. 경우에 따라서, 실감 미디어 저작 장치는 측정된 시청 각도 정보를 이용하여 미디어와 사용자 간 시선 정보를 동기화할 수도 있다.
단계(120)에서, 실감 미디어 저작 장치는 동기화에 따른 실감 효과 객체를 기초로 실감 효과 타입의 유무를 확인할 수 있다. 이때, 경우에 따라서, 실감 미디어 저작 장치는 실감 효과 객체를 실감 효과 타입에 매핑할 수 있다. 또한, 경우에 따라서, 실감 미디어 저작 장치는 실감 효과 타입을 실감 효과 객체에 매핑할 수도 있다.
단계(130)에서, 실감 미디어 저작 장치는 실감 효과 타입의 유무의 확인된 결과에 따른 피드백에 따라 실감 효과 타입의 업데이트 동작을 결정할 수 있다. 경우에 따라서, 실감 효과 피드백 요소(weight factor)가 데이터베이스에 저장될 수도 있다. 실감 미디어 저작 장치는 실감 효과 타입에 따라 실감 효과 속성 정보를 피드백 반영 요소에 피드백할 수도 있다. 또한, 실감 미디어 저작 장치는 사용자 저작 활용에 따른 피드백에 따라 실감 미디어 콘텐츠를 인접 서버로 업로드할 수도 있다. 경우에 따라서, 실감 미디어 저작 장치는 미리 업로드된 실감 미디어 콘텐츠를 이용함으로써, 실감 미디어 동작 디바이스의 명령어가 동기가 맞게 실행될 수 있도록 지원할 수도 있다.
실감 미디어 저작 장치는 사용자의 시점 기반으로 획득된 객체에 대한 실감 효과 매핑으로 실감 미디어 저작을 단순화할 수 있다. 또한, 실감 미디어 저작 장치는 피드백 정보를 기반으로 실감 효과 속성정보의 추가 편집 기능을 제공할 수 있도록 할 수도 있다.
실감 미디어 저작 장치는 시선 추적 글라스 및 카메라를 활용하여 실감 미디어 객체를 추출할 수 있다. 또한, 실감 미디어 저작 장치는 추출한 해당 객체에 대한 저작 피드백을 제공하여 실감 미디어 저작의 단순화된 접근으로 전문저작자가 아닌 일반인도 실감 미디어를 저작할 수 있는 솔루션을 제공하여 실감 미디어 활성화를 도모하고자 할 수도 있다.
실감 미디어 저작 장치는 시선추적글라스 및 카메라를 활용하여 추출된 객체 기반의 실감 효과 피드백 학습으로 실감 효과 타입에 대하여 분류 저작을 수행할 수 있다. 따라서, 실감 미디어 저작 장치는 저작 시간 단축 및 실감 효과 저작의 용이성을 제공할 수도 있다.
도 2는 일 실시예에 따른 실감 미디어 저작 장치를 나타내는 블록도이다.
실감 미디어 저작 장치는 저작 전문가와 일반 사용자의 저작 경험, 기저작된 실감 효과 객체에 대한 저작자의 활용도 피드백 등을 고려하여 실감 미디어를 저작함으로써, 일반 사용자에 대한 실감 객체 추천의 정확도를 높일 수 있다.
도 2를 참조하면, 실감 미디어 저작 장치가 사용자 시선 기반 미디어 객체의 실감 효과 피드백 적용을 위하여 세부 시스템의 구성으로 구성된 것을 알 수 있다. 실감 미디어 저작 장치는 시선 객체 정보 획득부(210), 실감 효과 타입 매핑부(220), 실감 효과 피드백부(230), 객체기반 실감 효과 DB부(240)를 포함할 수 있다.
시선 객체 정보 획득부(210)는 사용자의 미디어 시청시 시선기반 객체정보를 획득할 수 있다. 객체기반 실감 효과 타입 매핑부(220)는 획득된 객체를 기반으로 실감 효과 타입을 매핑할 수 있다. 실감 효과 피드백부(230)는 실감 효과 타입에 따른 실감 효과 속성정보 피드백을 처리할 수 있다. 객체기반 실감 효과 DB(database)부(240)는 시스템의 데이터를 기록하고 관리할 수 있다.
실감 미디어 저작 장치는 실감 객체기반 자동저작을 하는 실감 미디어의 학습 데이터로 활용될 수 있도록 피드백 정보를 활용하여 객체에 따른 실감 효과 타입 정보, 강도, 위치 정보 제공으로 실감 미디어 자동저작의 정확도를 높이는 효과가 있다.
실감 미디어 저작 장치는 사용자 활용 피드백이 많은 실감 미디어의 경우 실감 미디어 콘텐츠를 사용자의 인접 서버로 미리 업로드하여, 실감 미디어 동작 디바이스의 명령어가 동기가 맞게 실행될 수 있도록 지원할 수도 있다.
도 3은 일 실시예에 따른 시선 객체 정보 획득부를 나타내는 블록도이다.
도 3을 참조하면, 시선 객체 정보 획득부(310)는 사용자 기반 시선 동기화부(311), 사용자 프로파일 관리부(312), 미디어와 시선 객체간의 관계 분석부(313), 시선 기반 미디어 객체 추출부(314)를 포함할 수 있다.
사용자 기반 시선 동기화부(311)는 사용자와 미디어간 시선 동기를 맞출 수 있다. 사용자기반 시선 동기화부(311)는 사용자 신장, 미디어 시청 위치 및 시선 반경의 위치가 개개인마다 다른 점을 이용하여, 미디어 시청각도를 측정하여 일반화(normalization)할 수도 있다.
사용자 프로파일 관리부(312)는 사용자의 연령, 신장 등 시선 동기화를 위한 정보를 관리 및 제공할 수 있다. 사용자 프로파일관리부(312)는 사용자의 시선 동기화를 위한 정보외에 실감 효과 피드백부에서 사용되는 정보를 포함할 수도 있다. 예를 들어, 실감 효과 피드백부에서 사용되는 정보는 실감 미디어 체험 횟수, 실감 미디어 저작 횟수 등일 수도 있다.
미디어와 시선 객체간의 관계 분석부(313)는 동기화된 시선 정보와 미디어 객체간의 정확도를 높이기 위하여 미디어와 시선 객체간의 관계를 분석할 수 있다. 시선 객체간의 관계 분석부(313)는 시선 동기화부(311)의 미세 조정으로 사용자가 응시한 객체에 대한 정확도를 측정할 수도 있다.
시선기반 미디어 객체 추출부(314)는 시선기반으로 선택된 영역의 미디어 객체를 추출할 수 있다. 시선기반 미디어 객체 추출부(314)는 시선 객체간의 관계 분석부(313)의 시선 좌표 추정 동작 이후, 사용자가 응시한 영역에 대한 객체 정보를 인식할 수 있다. 이때, 시선기반 미디어 객체 추출부(314)는 객체기반 실감 효과 DB부에 저장된 데이터를 이용하거나 활용할 수도 있다.
도 4는 일 실시예에 따른 실감 미디어 저작 장치의 동작을 도시한 도면이다.
도 4를 참조하면, 실감 미디어 저작 장치의 시선 객체 정보 획득부의 동작 모델 및 출력 데이터를 알 수 있다. 예를 들어, 시선 객체 정보의 획득에 따라 불꽃놀이를 표현한 영상의 특정 영역에 대한 효과가 획득되면, 해당 미디어 객체의 효과 객체명은 "firework"로 결정될 수 있다. 실감 효과 객체는 effect object로 나타낼 수 있으며, 실감 효과 객체에 관한 정보는 effect object="Firework"로 나타낼 수 있다.
실감 미디어 저작 장치는 객체기반 실감 효과 DB(database)부를 이용하여 시선 기반 미디어 객체에 효과 객체 정보의 획득에 의한 실감 효과 객체에 대한 실감 효과 타입 정보를 매핑하고, 기등록된 데이터베이스 내 객체 정보가 없을 경우, 사용자가 시선 기반 미디어 객체를 데이터베이스 내 유사 객체의 실감 효과와 매핑하거나 또는 새로운 객체 명과 실감 효과 타입을 추가할 수 있다. 즉, 실감 미디어 저작 장치는 실감 효과 객체와 실감 효과 타입을 매핑하고, 실감 효과 객체 또는 실감 효과 타입이 데이터베이스 상에 존재하지 않을 경우, 이전에 저장된 유사 실감 효과 객체를 이용하여 매핑하거나, 실감 효과 객체 또는 실감 효과 타입을 데이터베이스 또는 시스템 상에 추가하거나 수정할 수도 있다.
도 5는 일 실시예에 따른 실감 효과 피드백부를 나타내는 블록도이다.
도 5를 참조하면, 실감 미디어 저작 장치의 실감 효과 피드백부(530)의 세부 구성을 알 수 있다. 실감 효과 피드백부(530)는 피드백 반영 요소 산출부(531), 미디어 프로파일 관리부(532), 사용자 저작 활용도 정보 관리부(533), 실감 효과 속성 정보 관리부(534)를 포함할 수 있다.
실감 효과 피드백부(530)는 시선 객체에 대한 피드백 정보, 실감 효과 속성 정보와 관련된 피드백, 사용자 저작 활용도에 따른 피드백 등의 정보를 이용하여 피드백 반영 요소(weight factor)를 산출할 수 있다. 이때, 미디어 프로파일 관리부(532)부는 미디어 장르, 감독, 목적 등에 따른 특징 객체 및 실감 효과 속성 피드백 반영을 위한 정보를 관리하고, 관리된 정보를 실감 효과 요소(weight factor)에 반영할 수도 있다. 사용자 저작 활용도 정보 관리부(533)는 사용자 저작 활용도에 관한 정보를 관리할 수 있다. 실감 효과 속성 정보 관리부(534)는 실감 효과 속성 정보를 관리할 수 있다. 피드백 반영 요소 산출부(531)는 미디어 프로파일 관리부(532), 사용자 저작 활용도 정보 관리부(533), 실감 효과 속성 정보 관리부(534)가 관리하는 정보들을 이용하여 피드백 반영 요소를 산출할 수 있다.
실감 효과저작 전문가의 경우 일반 사용자보다 높은 사용자 저작경험도(We) 요소 정보를 가지므로, 저작된 실감 효과 속성 정보의 활용도(Wu) 요소가 높을 것으로 판단될 수 있다. 피드백 반영 요소(weight factor)는 사용자 저작경험도(We), 실감 효과 속성정보의 활용도(Wu), 실감 미디어체험도(Wd), 동일객체좌표추출도(Ws) 등 중 적어도 하나가 반영되어 적용될 수도 있다.
실감 효과 피드백부(530)는 초기 실감 효과 피드백 요소(weight factor)를 사용자 저작경험도(We)와 실감 효과 속성정보 활용도(Wu)에 높은 비중을 두도록 설정할 수 있다. 또한, 경우에 따라서, 실감 효과 피드백부(530)는 실감 효과 피드백 요소(weight factor)를 저장함으로써, 객체기반 실감 효과 DB부의 업데이트를 실행할 수도 있다.
도 6은 일 실시예에 따른 사용자 시선 기반으로 추출된 실감 효과 객체를 표현하기 위한 메타데이터를 설명하기 위한 도면이다.
도 6을 참조하면, 실감 효과 객체를 표현하기 위한 메타데이터는 실감 효과 객체, 실감 효과 타입, 실감 효과 속성 및 피드백 속성에 관한 정보를 포함할 수 있다. 실감 미디어 저작 장치는 사용자 시선 기반으로 추출된 실감 효과 객체를 표현하는 데이터를 실감 효과 객체 정보 기반으로 실감 효과 DB부에서 매핑된 실감 효과 타입과 실감 효과 속성으로 적용한 것을 알 수 있다. 또한, 실감 미디어 저작 장치는 사용자가 실감 효과 타입 또는 실감 효과 속성을 수정하였을 경우, 피드백 속성 정보를 업데이트할 수도 있다.
실감 효과 객체는 시선카메라에 의해 획득된 객체일 수 있다. 예를 들어, 실감 효과 객체는 effect object로 나타낼 수 있으며, 실감 효과 객체에 관한 정보는 effect object = "Firework"로 나타낼 수도 있다.
실감 효과 타입은 모션, 진동, 조명, 바람 등의 실감 효과일 수 있다. 실감 효과 타입은 effect type으로 나타낼 수 있으며, 실감 효과 타입에 관한 정보는 effect type = "Light"로 나타낼 수도 있다.
실감 효과 속성은 실감 효과 타입에 따른 효과강도, 효과밝기, 효과위치 등일 수 있다. 실감 효과 속성은 Intensity, ColorType 등으로 나타낼 수 있으며, 실감 효과 속성에 관한 정보는 Intensity = "80", ColorType="0x9900FF" 등으로 나타낼 수도 있다.
피드백 속성은 저작자 경험도(Author experience), 수정 정보(modification Info), 히트 레이트(hit rate) 등일 수 있다. 수정 정보는 다른 사용자가 해당 메타데이터를 얼마나 많이 수정하였는지를 나타낸다.
예를 들어, 피드백 속성은 "Experience", "hit rate" 등의 파라미터들로 나타낼 수 있으며, 피드백 속성에 관한 정보는 Experience ="3", hit rate="52" 등으로 나타낼 수도 있다. 여기서, "Experience"는 저작자가 실감 미디어의 메타데이터를 만들어 본 경험도를 나타낼 수 있다. 따라서, "Experience"가 크다는 것은 그 만큼 저작자가 실감 미디어의 메타데이터를 많이 저작해 보았다는 것을 나타낸다. "hit rate"은 동일 객체의 실감 효과에 대하여 다른 실감 효과 저작자가 해당 메타데이터를 활용한 횟수를 나타낼 수 있다. "hit rate"이 크다는 것은 해당 객체에 대하여 보다 일반화된 실감 효과가 매핑되었음을 의미할 수 있다. 따라서, 다른 사용자들은 동일 또는 유사한 실감 효과 객체에 대하여 "hit rate"이 낮을 경우에 저작 경험도를 나타내는 "Experience" 파라미터에 기초하여 메타데이터를 저작한 자의 신뢰도를 판단할 수 있을 것이다.
또한, "hit rate"와 "modification Info" 파라미터들은 피드백 정보로 기능하여, 다른 사용자가 해당 메타데이터를 얼마나 수정하였는지를 나타낼 수도 있다. 수정 정보는 무엇을 수정하였는지에 대한 정보를 나타낼 수도 있다. 또한, 저작자 경험도는 해당 사용자가 실감 미디어를 만들어 본 경험도에 관한 정보로서, 해당 지수가 높으면 사용자가 실감 미디어를 만들어본 경험이 많다고 볼 수도 있다. 파라미터 중 저작자 경험도는, 메타데이터에 대한 신뢰감 또는 다른 사람들의 평가를 추정할 때 이용될 수도 있다.
도 7은 일 실시예에 따른 실감 미디어 저작 방법의 흐름을 나타내는 도면이다.
도 7을 참조하면, 실감 미디어 저작 장치가 수행하는 실감 미디어 저작 방법은 하기와 같은 단계를 포함할 수 있다.
단계(710)에서, 실감 미디어 저작 장치는 미디어를 입력 받을 수 있다. 단계(720)에서, 실감 미디어 저작 장치는 사용자 프로파일(profile)을 분석할 수 있다. 단계(730)에서, 실감 미디어 저작 장치는 사용자 기반 시선 동기화를 수행할 수 있다. 단계(740)에서, 실감 미디어 저작 장치는 시선 객체 정보 획득부에 의해 획득된 실감 효과 객체를 선택할 수 있다.
단계(750)에서, 실감 미디어 저작 장치는 실감 효과 타입(sensory effect type)을 가진 객체(object)인지 여부를 판단할 수 있다. 단계(751)에서, 실감 미디어 저작 장치는 실감 효과 타입을 가진 객체가 아니라고 판단할 경우, 객체 효과 타입(object effect type)을 부가(add)할 수 있다. 단계(760)에서, 실감 미디어 저작 장치는 실감 효과 타입을 가진 객체라고 판단할 경우, 수정(modification) 여부를 판단할 수 있다.
단계(770)에서, 실감 미디어 저작 장치는 사용자 또는 시스템으로부터 수정 요청 또는 수정 사항이 있다고 판단될 경우, 실감 효과 속성(sensory properties)을 업데이트(update)할 수 있다. 단계(780)에서, 실감 미디어 저작 장치는 실감 효과 타입(sensory effect type)을 가진 객체를 추가(add)할 수 있다.
단계(790)에서, 실감 미디어 저작 장치는 사용자 또는 시스템으로부터 수정 요청 또는 수정 사항이 없다고 판단될 경우, 실감 효과 속성(effect properties)의 수정(modification) 여부를 판단할 수 있다. 단계(791)에서, 실감 미디어 저작 장치는 실감 미디어 저작 장치는 사용자 또는 시스템으로부터 실감 효과 속성에 대한 수정 요청 또는 수정 사항이 있다고 판단될 경우, 실감 효과 속성(effect properties)을 업데이트할 수 있다. 단계(792)에서, 실감 미디어 저작 장치는 실감 미디어 저작 장치는 사용자 또는 시스템으로부터 실감 효과 속성에 대한 수정 요청 또는 수정 사항이 없다고 판단될 경우, 피드백 속성(feedback properties)을 업데이트할 수 있다.
실감 미디어 저작 장치는 미디어(Media) 입력이 들어올 경우, 시선 객체 정보 획득을 위한 사용자 프로파일(profile) 분석을 이용하여, 사용자 기반 시선 정보 동기화 동작 후 획득된 실감 효과 객체를 기반으로 실감 효과 DB부 내 기정의된 실감 효과 타입을 확인할 수 있다. 이때, 실감 미디어 저작 장치가 확인 이후, 확인된 실감 효과 타입이 없을 경우, 실감 효과 피드백부의 동작 피드백 결과에 따라서 업데이트 동작을 수행할 수도 있다. 실감 미디어 저작 장치는, 실감 효과 속성에 대한 편집 및 추가 또한 실감 효과 피드백부의 피드백 반영 요소(weight factor)에 따라 적용되는 방식을 이용할 수도 있다.
도 8은 일 실시예에 따른 실감 미디어 저작 장치를 도시한 블록도이다.
도 8을 참조하면, 실감 미디어 저작 장치(800)는 피드백 반영 요소 산출부(810), 피드백 반영 요소 적용부(820)를 포함할 수 있다.
피드백 반영 요소 산출부(810)는 시선 기반 미디어 객체에 관한 피드백 반영 요소를 산출할 수 있다. 피드백 반영 요소 적용부(820)는 특징 객체 및 실감 효과 속성 피드백을 이용하여 피드백 반영 요소에 적용할 수 있다.
실감 미디어 저작 장치(800)는 데이터베이스 업데이트 실행부를 더 포함할 수 있다. 데이터베이스 업데이트 실행부는 산출된 피드백 반영 요소에 따라 데이터베이스의 업데이트를 실행할 수 있다.
실감 미디어 저작 장치(800)는 저작된 실감 효과의 활용을 위하여, 고화질 미디어를 공유할 수 있다. 이때, 공유된 고화질의 대용량 미디어는 미디어 공유 서버로부터 수신될 수 있다. 또한, 사용자 피드백 기반으로 저작된 실감 효과 정보는 예를 들어, 메타데이터의 형식으로 사용자 SNS(social network service) 및 기타의 방식을 이용하여 전달될 수 있으며, 전달 후 실행할 수 있도록 하는 서비스가 제공될 수도 있다.
도 9는 일 실시예에 따른 실감 미디어 저작 장치를 도시한 도면이다.
도 9를 참조하면, 실감 미디어 저작 장치(900)는 적어도 하나의 프로세서(910), 적어도 하나의 메모리(920)를 포함할 수 있다.
메모리(920)는 프로세서(910)에 의해 실행될 인스트럭션들(instructions)을 저장할 수 있다. 이때, 인스트럭션들은, 프로세서(910)에 의해 실행될 때, 프로세서(910)로 하여금, 미디어와 사용자 간 시선 정보를 동기화하는 동작을 실행하도록 구성될 수 있다.
또한, 인스트럭션들은, 프로세서(910)에 의해 실행될 때, 프로세서(910)로 하여금, 동기화에 따른 실감 효과 객체를 기초로 확인된 실감 효과 타입의 유무에 따른 피드백에 따라 실감 효과 타입의 업데이트 동작을 결정하는 동작을 실행하도록 구성될 수도 있다.
실감 미디어 저작 장치(900)는 단순 미디어 공유가 아닌 개인화된 개성 있는 미디어를 공유하고자 하는 사용자 요구사항을 만족하는 실감 미디어 공유를 제공하는 미디어 저작 방식을 제공할 수 있다.
실감 미디어 저작 장치(900)는 사용자 개인이 촬영한 미디어 또는 다른 사용자와 공유하고자 하는 미디어 내에서 실감 효과를 용이하게 부가함으로써, 소셜 서비스를 이용한 공유를 제공할 수 도 있다.
실감 미디어 저작 장치(900)는 사용자 시선 정보를 이용하여 획득된 객체 정보에 대한 실감 효과를 추가함으로써 저작의 복잡성을 줄이고, 저작의 단순화로써 실감 미디어 저작의 용이성을 제공하고, 실감 미디어를 활성화시킬 수 있는 서비스를 제공할 수 있다는 장점이 있다.
실감 미디어 저작 장치(900)는 시선 정보를 통해 획득된 객체에 대한 실감 효과 타입 및 실감 효과 속성의 피드백 요소에 대한 가중치를 조정함으로써, 실감 효과의 정확도를 높일 수 있다. 또한, 실감 미디어 저작 장치(900)는 사용자의 선호도에 따른 실감 효과 선택에 대한 자유도를 제공함으로써, 동일 콘텐츠에 대하여 저작하고자 하는 사용자 의도에 따른 실감 효과 DB 획득이 가능한 서비스를 제공할 수도 있다.
실감 미디어 저작 장치(900)는 미디어 장르, 감독 등과 같은 미디어 목적 및 특성에 따른 실감 효과를 콘텐츠 특성에 따라서, 동일 객체에 대하여 다른 실감 효과 속성을 갖는 실감 효과를 추가할 수 있다. 또한, 실감 미디어 저작 장치(900)는 미디어 정보기반으로 서로 다른 실감 효과 DB를 분류함으로써 실감 미디어 저작 서비스를 제공할 수 있다는 장점이 있다.
실감 미디어 저작 장치(900)는 실감 효과 피드백 요소(weight factor) 내에서 사용자 저작경험도(We), 실감 효과 속성정보의 활용도(Wu)를 기반으로 사용자와 근거리 내의 미디어 공유 서버에 미디어를 저장함으로써, 사용자가 공유 미디어를 시청하면서 실감 효과 속성의 동작이 가능한 미디어 분산 저장 및 미디어 트래픽 예측 서비스를 제공할 수도 있다.
실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에서 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (17)

  1. 실감 미디어 저작 방법에 있어서,
    미디어와 사용자 간 시선 정보를 동기화하는 단계;
    상기 동기화에 따라 상기 미디어 상에서 획득된 실감 효과 객체를 기초로 실감 효과 타입의 유무를 확인하는 단계; 및
    상기 실감 효과 타입의 유무에 관한 확인 결과에 기초하여 상기 실감 효과 객체를 표현하기 위한 메타데이터를 업데이트하는 단계를 포함하고,
    상기 메타데이터는, 실감 효과 객체, 실감 효과 타입, 실감 효과 속성 및 피드백 속성에 관한 정보를 포함하고,
    상기 피드백 속성에 관한 정보는, 다른 사용자가 상기 메타데이터를 얼마나 많이 수정하였는지를 나타내는 수정 정보, 다른 저작자가 상기 메타데이터를 활용한 횟수를 나타내는 히트 레이트 및 메타데이터의 저작과 관련하여 저작자의 경험도를 나타내는 저작자 경험도의 파라미터들을 포함하는 것을 특징으로 하는 실감 미디어 저작 방법.
  2. 제1항에 있어서,
    상기 동기화하는 단계는,
    사용자 프로파일을 기초로 상기 시선 정보를 동기화하는, 실감 미디어 저작 방법.
  3. 제1항에 있어서,
    상기 확인하는 단계는,
    데이터베이스 내 정의된 실감 효과 타입이 있는지 여부를 확인하는, 실감 미디어 저작 방법.
  4. 제1항에 있어서,
    상기 업데이트하는 단계는,
    상기 실감 효과 타입이 없을 경우, 상기 실감 효과 타입의 유무에 기초한 피드백에 따라 상기 실감 효과 타입의 업데이트를 수행하는, 실감 미디어 저작 방법.
  5. 제1항에 있어서,
    상기 실감 효과 타입에 기초하여 실감 효과 속성 정보를 피드백 반영 요소에 피드백하는 단계
    를 더 포함하는 실감 미디어 저작 방법.
  6. 제1항에 있어서,
    사용자 저작 활용에 따른 피드백에 따라 실감 미디어 콘텐츠를 인접 서버로 업로드하는 단계
    를 더 포함하는 실감 미디어 저작 방법.
  7. 실감 미디어 저작 장치에 있어서,
    미디어와 사용자 간 시선 정보를 동기화하는 시선 객체 정보 획득부;
    상기 동기화에 따라 상기 미디어 상에서 획득된 실감 효과 객체를 기초로 실감 효과 타입의 유무를 확인하고, 상기 실감 효과 객체에 실감 효과 타입을 매핑하는 실감 효과 타입 매핑부; 및
    상기 매핑된 실감 효과 타입에 따른 실감 효과 속성 정보를 미디어 프로파일 관리부에 피드백하고, 상기 실감 효과 객체를 표현하기 위한 메타데이터를 업데이트하는 실감 효과 피드백부를 포함하고,
    상기 메타데이터는, 실감 효과 객체, 실감 효과 타입, 실감 효과 속성 및 피드백 속성에 관한 정보를 포함하고,
    상기 피드백 속성에 관한 정보는, 다른 사용자가 상기 메타데이터를 얼마나 많이 수정하였는지를 나타내는 수정 정보, 다른 저작자가 상기 메타데이터를 활용한 횟수를 나타내는 히트 레이트 및 메타데이터의 저작과 관련하여 저작자의 경험도를 나타내는 저작자 경험도의 파라미터들을 포함하는 것을 특징으로 하는 실감 미디어 저작 장치.
  8. 제7항에 있어서,
    상기 시선 객체 정보 획득부는,
    상기 사용자가 상기 미디어를 시청할 경우, 상기 사용자의 시선에 따라 상기 미디어 객체에 관한 정보를 획득하는, 실감 미디어 저작 장치.
  9. 제8항에 있어서,
    상기 시선 객체 정보 획득부는,
    상기 시선의 동기를 위한 상기 사용자에 관한 정보를 관리하는 사용자 프로파일 관리부
    를 포함하는 실감 미디어 저작 장치.
  10. 제9항에 있어서,
    상기 시선 객체 정보 획득부는,
    상기 미디어와 상기 사용자의 시선에 관한 객체 간 관계를 분석하는 관계 분석부; 및
    상기 사용자의 시선에 따라 선택된 영역의 미디어 객체를 추출하는 시선기반 미디어 객체 추출부
    를 더 포함하는 실감 미디어 저작 장치.
  11. 제7항에 있어서,
    상기 실감 효과 피드백부는,
    상기 피드백에 관한 정보를 포함한 피드백 반영 요소를 산출하는, 실감 미디어 저작 장치.
  12. 제7항에 있어서,
    상기 실감 효과 타입과 상기 실감 효과 속성 정보를 포함한 데이터를 저장하는 객체 기반 실감 효과 데이터베이스부
    를 더 포함하는 실감 미디어 저작 장치.
  13. 실감 미디어 저작 장치에 있어서,
    시선 기반 미디어 객체에 관한 피드백 반영 요소를 산출하는 피드백 반영 요소 산출부;
    특징 객체 및 실감 효과 객체에 관한 실감 효과 속성 피드백을 이용하여 상기 피드백 반영 요소에 적용하는 피드백 반영 요소 적용부; 및
    상기 산출된 피드백 반영 요소에 따라 데이터베이스의 업데이트를 실행하는 데이터베이스 업데이트 실행부를 포함하고,
    상기 피드백 반영 요소 산출부는, 저작 경험도, 실감 효과 속성 정보 활용도, 실감 미디어 체험도 및 객체 좌표 추출도를 포함한 정보를 이용하여 피드백 반영 요소를 산출하고,
    상기 피드백 반영 요소에 기초하여 상기 실감 효과 객체를 표현하기 위한 메타데이터가 업데이트되고, 상기 메타데이터는, 실감 효과 객체, 실감 효과 타입, 실감 효과 속성 및 피드백 속성에 관한 정보를 포함하고,
    상기 피드백 속성에 관한 정보는, 다른 사용자가 상기 메타데이터를 얼마나 많이 수정하였는지를 나타내는 수정 정보, 다른 저작자가 상기 메타데이터를 활용한 횟수를 나타내는 히트 레이트 및 메타데이터의 저작과 관련하여 저작자의 경험도를 나타내는 저작자 경험도의 파라미터들을 포함하는 것을 특징으로 하는 실감 미디어 저작 장치.
  14. 삭제
  15. 삭제
  16. 제13항에 있어서,
    상기 피드백 반영 요소 적용부는,
    미디어 컨텐츠에 관한 정보를 기초로 상기 특징 객체 및 실감 효과 속성 피드백에 관한 정보를 처리하는, 실감 미디어 저작 장치.
  17. 실감 미디어 저작 장치에 있어서,
    적어도 하나의 프로세서; 및
    상기 프로세서에 의해 실행될 인스트럭션들(instructions)을 저장하는 적어도 하나의 메모리를 포함하고,
    상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    미디어와 사용자 간 시선 정보를 동기화하는 동작;
    상기 동기화에 따라 상기 미디어 상에서 획득된 실감 효과 객체를 기초로 확인된 실감 효과 타입의 유무를 확인하는 동작; 및
    상기 실감 효과 타입의 유무에 관한 확인 결과에 기초하여 상기 실감 효과 객체를 표현하기 위한 메타데이터를 업데이트하는 동작을 실행하도록 구성되고,
    상기 메타데이터는, 실감 효과 객체, 실감 효과 타입, 실감 효과 속성 및 피드백 속성에 관한 정보를 포함하고,
    상기 피드백 속성에 관한 정보는, 다른 사용자가 상기 메타데이터를 얼마나 많이 수정하였는지를 나타내는 수정 정보, 다른 저작자가 상기 메타데이터를 활용한 횟수를 나타내는 히트 레이트 및 메타데이터의 저작과 관련하여 저작자의 경험도를 나타내는 저작자 경험도의 파라미터들을 포함하는 것을 특징으로 하는 실감 미디어 저작 장치.
KR1020170032493A 2017-03-15 2017-03-15 실감 미디어 저작 방법 및 장치 KR101802700B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170032493A KR101802700B1 (ko) 2017-03-15 2017-03-15 실감 미디어 저작 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170032493A KR101802700B1 (ko) 2017-03-15 2017-03-15 실감 미디어 저작 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101802700B1 true KR101802700B1 (ko) 2017-11-29

Family

ID=60811620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170032493A KR101802700B1 (ko) 2017-03-15 2017-03-15 실감 미디어 저작 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101802700B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126773A (ja) * 2014-12-29 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 視線追跡に基づく触覚効果を生成するシステム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126773A (ja) * 2014-12-29 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 視線追跡に基づく触覚効果を生成するシステム及び方法

Similar Documents

Publication Publication Date Title
CN115151947B (zh) 具有基于wifi/gps的地图合并的交叉现实系统
CN105981368B (zh) 在成像装置中的照片构图和位置引导
CN114730546A (zh) 具有定位服务和基于位置的共享内容的交叉现实系统
US10488195B2 (en) Curated photogrammetry
US11670055B1 (en) Facial expression tracking during augmented and virtual reality sessions
CN110300909A (zh) 用于显示交互式增强现实展示的系统、方法和介质
US11755275B2 (en) Generating augmented reality experiences utilizing physical objects to represent analogous virtual objects
US9542975B2 (en) Centralized database for 3-D and other information in videos
US11122198B2 (en) Adjusting image capture parameters via machine learning
US20200074732A1 (en) Adaptable vr and ar content for learning based on user's interests
US20170256283A1 (en) Information processing device and information processing method
US10326905B2 (en) Sensory and cognitive milieu in photographs and videos
US11817129B2 (en) 3D media elements in 2D video
US20230351711A1 (en) Augmented Reality Platform Systems, Methods, and Apparatus
KR20210023703A (ko) 상호 작용-레벨 기반의 디지털 현실 내 원격 측정 및 추적을 위한 시스템 및 방법
US20180242027A1 (en) System and method for perspective switching during video access
WO2023045912A1 (en) Selective content transfer for streaming content
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
CN106687944A (zh) 使用语言生成进行的基于活动的文本重写
KR101802700B1 (ko) 실감 미디어 저작 방법 및 장치
CN114428550B (zh) 响应于输入显示扩增现实
CN115176285B (zh) 利用缓冲的交叉现实系统用于定位精度
CN113709584A (zh) 视频划分方法、装置、服务器、终端及存储介质
JP2022518081A (ja) 視覚コンテンツを拡張するための方法およびシステム
KR20190115989A (ko) Vr 콘텐츠의 멀미도 정보 제공 장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant