KR102443049B1 - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102443049B1
KR102443049B1 KR1020160179312A KR20160179312A KR102443049B1 KR 102443049 B1 KR102443049 B1 KR 102443049B1 KR 1020160179312 A KR1020160179312 A KR 1020160179312A KR 20160179312 A KR20160179312 A KR 20160179312A KR 102443049 B1 KR102443049 B1 KR 102443049B1
Authority
KR
South Korea
Prior art keywords
search
video content
video contents
path
electronic device
Prior art date
Application number
KR1020160179312A
Other languages
English (en)
Other versions
KR20180075222A (ko
Inventor
예브헨 야키슨
알렉산드르 라돔스키
올렉산드르 슈르
알렉산드라 페테이추크
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160179312A priority Critical patent/KR102443049B1/ko
Priority to PCT/KR2017/015439 priority patent/WO2018124678A1/en
Priority to US15/854,510 priority patent/US10542309B2/en
Priority to EP17888391.4A priority patent/EP3510440B1/en
Publication of KR20180075222A publication Critical patent/KR20180075222A/ko
Application granted granted Critical
Publication of KR102443049B1 publication Critical patent/KR102443049B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)

Abstract

탐색 경로를 획득하는 단계, 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 획득하는 단계, 적어도 하나 이상의 비디오 컨텐츠 간에 교차점을 결정하는 단계, 교차점을 이용하여 적어도 하나 이상의 비디오 컨텐츠 중 탐색 경로에 대응되는 부분들을 추출하는 단계 및 추출한 부분들을 이어 붙여(stitch) 탐색 경로에 대한 비디오 컨텐츠를 생성하는 단계를 포함하는 전자 장치의 동작 방법이 개시된다.

Description

전자 장치 및 그 동작 방법{ELECTRIC APPARATUS AND OPERATION METHOD THEREOF}
본 발명은 전자 장치 및 그 동작 방법에 관한 것이다. 보다 구체적으로, 탐색 경로에 대한 비디오 컨텐츠를 생성하는 전자 장치 및 그 동작 방법에 관한 것이다.
멀티미디어 및 네트워크 관련 기술의 발전에 따라, 많은 양의 비디오 컨텐츠가 생성되어 다수의 사용자 간에 공유되고 있다. 특히, 가상 현실 기술의 발전과 함께 360도 비디오 컨텐츠가 폭발적으로 증가하고 있다.
일반적으로 특수한 목적을 갖지 않고 단순히 비디오 컨텐츠를 생성하는 사용자들은 해당 비디오 컨텐츠가 어떻게 사용될 것인지에 대해서는 고려하지 않고 비디오 컨텐츠를 생성한다. 따라서, 일반적으로 생성된 비디오 컨텐츠들은 컨텐츠 소비자들에게는 적합하지 않은 경우가 많다. 보다 구체적으로, 대다수의 비디오 컨텐츠는 해당 비디오 컨텐츠의 촬영 위치와 관련된 정보를 포함하고 있지 않다. 이러한 비디오 컨텐츠들은 특정 위치와 관련한 비디오 컨텐츠가 필요한 컨텐츠 소비자들에게는 적합하지 않다.
따라서, 일반적인 비디오 컨텐츠를 분석하여 비디오 컨텐츠의 촬영 위치와 관련된 정보를 획득할 수 있다면, 해당 비디오 컨텐츠의 활용도를 높일 수 있다. 특히, 기존의 기술에 비하여 사용자 경험을 향상시킬 수 있는 가상 현실의 경우, 획득한 정보를 바탕으로 360도 비디오 컨텐츠를 이용하여 다양한 서비스를 제공할 수 있다.
일 실시예는 탐색 경로에 대한 비디오 컨텐츠를 생성하는 전자 장치 및 그 동작 방법을 제공한다.
일 실시예에 따른 전자 장치의 동작 방법은, 탐색 경로를 획득하는 단계, 상기 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 획득하는 단계, 상기 적어도 하나 이상의 비디오 컨텐츠 간에 교차점을 결정하는 단계, 상기 교차점을 이용하여 상기 적어도 하나 이상의 비디오 컨텐츠 중 상기 탐색 경로에 대응되는 부분들을 추출하는 단계 및 상기 추출한 부분들을 이어 붙여(stitch) 상기 탐색 경로에 대한 비디오 컨텐츠를 생성하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에 전자 장치는, 전자 장치의 동작을 위한 프로그램을 저장하는 메모리 및 상기 프로그램을 실행함으로써, 탐색 경로를 획득하고, 상기 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 획득하며, 상기 적어도 하나 이상의 비디오 컨텐츠 간에 교차점을 결정하고, 상기 교차점을 이용하여 상기 적어도 하나 이상의 비디오 컨텐츠 중 상기 탐색 경로에 대응되는 부분들을 추출하며, 상기 추출한 부분들을 이어 붙여 상기 탐색 경로에 대한 비디오 컨텐츠를 생성하는 프로세서를 포함하는 것을 특징으로 한다.
도 1은 일 실시예에 따른 전자 장치를 사용하는 시스템의 일 예를 나타내는 도면이다.
도 2는 도 1의 시스템에서 전자 장치를 이용하는 일 예를 나타내는 도면이다.
도 3은 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 순서도이다.
도 4는 일 실시예에 따라 탐색 경로를 획득하는 과정을 설명하는 도면이다.
도 5는 일 실시예에 따라 관심 영역을 설정하는 과정을 설명하는 도면이다.
도 6는 일 실시예에 따라 탐색 경로와 관련된 비디오 컨텐츠를 설명하는 도면이다.
도 7은 일 실시예에 따른 전자 장치의 비디오 컨텐츠의 촬영 경로를 획득 방법을 나타내는 순서도이다.
도 8은 시각 디스크립터의 일 예를 나타내는 도면이다.
도 9는 시각 디스크립터의 다른 예를 나타내는 도면이다.
도 10은 일 실시예에 따라 획득한 비디오 컨텐츠의 촬영 경로를 나타내는 도면이다.
도 11은 일 실시예에 따라 비디오 컨텐츠 간에 교차점을 결정하는 과정을 설명하는 도면이다.
도 12는 일 실시예에 따라 비디오 컨텐츠를 생성하는 과정을 설명하는 도면이다.
도 13은 일 실시예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 14는 다른 일 실시예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.
도 1은 일 실시예에 따른 전자 장치를 사용하는 시스템의 일 예를 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 전자 장치를 사용하는 시스템은, 서버(110) 및 서버(110)와 연결되는 장치들(120, 130, 140, 150)로 구성될 수 있다.
서버(110)는 해당 서버(110)에 연결된 장치들(120, 130, 140, 150) 중 적어도 일부 장치에 서비스를 제공한다. 일 실시예에서 서버(110)는 해당 서버(110)에 연결된 전자 장치들(120, 130, 140, 150) 중 적어도 일부 장치로부터 비디오 컨텐츠를 수신하여 저장한다. 이때. 서버(110)가 수신하는 비디오 컨텐츠는 서버(110)에 연결된 전자 장치들(120, 130, 140, 150, 160, 170) 중 적어도 일부 장치에서 촬영된 비디오 컨텐츠일 수 있다. 또한, 서버(110)가 수신하는 비디오 컨텐츠는 서버(110)에 연결된 전자 장치들(120, 130, 140, 150, 160, 170) 중 적어도 일부 장치가 다른 장치로부터 수신한 비디오 컨텐츠 일수도 있다. 서버(110)는 해당 서버(110)에 연결된 전자 장치들(120, 130, 140, 150) 중 적어도 일부 장치로부터 비디오 컨텐츠의 다운로드 요청이 있는 경우, 해당 비디오 컨텐츠를 전송하는 서비스를 제공할 수 있다.
또한, 서버(110)는 적어도 하나 이상의 비디오 컨텐츠를 조합하여, 사용자가 필요로 하는 새로운 비디오 컨텐츠를 생성할 수 있다. 서버(110)는 이와 같이 생성한 새로운 비디오 컨텐츠를 서버(110)와 연결되는 장치들(120, 130, 140, 150)로 전송할 수 있다.
서버(110)와 연결되는 장치들(120, 130, 140, 150)는 비디오 컨텐츠를 디스플레이 하는 장치(120), 카메라를 이용하여 비디오 컨텐츠를 생성하는 장치(130), 컨텐츠를 디스플레이 가능하고, 비디오 컨텐츠를 생성할 수도 있는 장치(140) 및 비디오 컨텐츠를 저장하는 장치(140)를 포함할 수 있다.
비디오 컨텐츠를 디스플레이 하는 장치(120)는 헤드-마운티드 디스플레이, TV, PC 등과 같이 디스플레이를 포함하는 장치일 수 있다. 비디오 컨텐츠가 360도 비디오 컨텐츠인 경우, 비디오 컨텐츠를 디스플레이 하는 장치(120)는 360도 비디오 컨텐츠의 디스플레이를 지원하는 장치일 수 있다. 또한, 비디오 컨텐츠를 디스플레이 하는 장치(120)는 적어도 하나 이상의 비디오 컨텐츠를 조합하여, 사용자가 필요로 하는 새로운 비디오 컨텐츠를 생성하고 디스플레이 할 수 있다. 나아가, 비디오 컨텐츠를 디스플레이 하는 장치(120)는 적어도 하나 이상의 비디오 컨텐츠를 조합하여 사용자의 탐색 경로와 매칭되도록 생성된 새로운 비디오 컨텐츠를 서버(110)와 같은 외부 장치로부터 수신하여 디스플레이 할 수도 있다.
카메라를 이용하여 비디오 컨텐츠를 생성하는 장치(130)는 디지털 카메라, 웹 캠, 360도 카메라 등을 포함할 수 있다. 또한, 비디오 컨텐츠가 360도 비디오 컨텐츠인 경우, 카메라를 이용하여 비디오 컨텐츠를 생성하는 장치(130)는 360도 촬영을 지원하거나, 360도 영상 합성을 지원하는 장치일 수 있다.
비디오 컨텐츠를 디스플레이 가능하고, 새로운 비디오 컨텐츠를 생성할 수도 있는 장치(140)는 스마트 폰, 태블릿 PC, 노트북 등을 포함할 수 있다. 이러한 장치는 카메라와 디스플레이를 모두 포함할 수 있다. 일반적으로, 전자 장치는 하나의 기능을 수행하는 것이 아니라 여러 기능을 수행할 수 있다. 따라서, 비디오 컨텐츠를 디스플레이 하는 장치(120)가 비디오 컨텐츠를 생성할 수도 있고, 카메라를 이용하여 비디오 컨텐츠를 생성하는 장치(130)가 비디오 컨텐츠를 디스플레이 할 수도 있다. 예를 들어, 헤드-마운티드 디스플레이에 카메라가 포함되어 비디오 컨텐츠를 생성할 수도 있고, 디지털 카메라에 디스플레이가 포함되어 비디오 컨텐츠를 디스플레이 할 수도 있다.
비디오 컨텐츠를 저장하는 장치(140)는 다른 장치에서 생성된 비디오 컨텐츠를 수신하여 저장한다. 비디오 컨텐츠를 저장하는 장치(140)는 서버일 수 있다. 또한, 비디오 컨텐츠를 저장하는 장치(140)는 비디오 컨텐츠를 저장하기 위한 전용 장치일 수도 있고, 위에서 설명한 것과 같이 다른 기능을 함께 포함하는 장치일 수도 있다. 예를 들어, 비디오 컨텐츠를 저장하는 장치(140)는 저장하고 있는 비디오 컨텐츠 중 적어도 하나 이상의 비디오 컨텐츠를 조합하여, 사용자가 필요로 하는 새로운 비디오 컨텐츠를 생성하고, 생성한 새로운 비디오 컨텐츠를 서버(110) 또는 서버(110)와 연결되는 장치들(120, 130, 140, 150)로 전송할 수 있다.
도 1에서 도시하고 있는 시스템은 하나의 예시에 불과하며, 이와 달리 전자 장치를 다양하게 활용할 수 있다. 예를 들어, 전자 장치는 서버(110)와 연결되지 않고, 자체적으로 비디오 컨텐츠를 생성하고, 생성한 비디오 컨텐츠를 처리하여 디스플레이 할 수도 있다.
도 2는 도 1의 시스템에서 전자 장치를 이용하는 일 예를 나타내는 도면이다.
도 2에서는 전자 장치의 일 예로 헤드-마운티드 디스플레이(210)를 사용한다. 도 2를 참조하면, 헤드-마운티드 디스플레이(210)는 가상 현실 상에서 사용자의 탐색 경로를 디스플레이 할 수 있다.
일 실시예에서, 헤드-마운티드 디스플레이(210)에서 디스플레이 되는 컨텐츠는 적어도 하나 이상의 비디오 컨텐츠로부터 생성될 수 있다. 사용자의 탐색 경로와 매칭되는 비디오 컨텐츠가 있는 경우, 해당 비디오 컨텐츠를 이용하여 가상 현실 상에 탐색 경로를 디스플레이 할 수 있다. 하지만, 일반적으로, 컨텐츠 소비자인 사용자가 필요로 하는 완벽히 매칭되는 비디오 컨텐츠를 찾기 어렵다. 따라서, 헤드-마운티드 디스플레이(210)는 적어도 하나 이상의 비디오 컨텐츠를 조합하여 사용자의 탐색 경로와 매칭되는 새로운 비디오 컨텐츠를 생성하여 디스플레이 할 수 있다. 또는, 헤드-마운티드 디스플레이(210)는 적어도 하나 이상의 비디오 컨텐츠를 조합하여 사용자의 탐색 경로와 매칭되도록 생성된 새로운 비디오 컨텐츠를 서버(110)와 같은 외부 장치로부터 수신하여 디스플레이 할 수도 있다.
일 실시예에 따르면, 사용자의 탐색 경로와 매칭되는 비디오 컨텐츠가 없는 경우에도 기존의 비디오 컨텐츠를 조합하여 사용자의 탐색 경로와 매칭되는 새로운 비디오 컨텐츠를 생성할 수 있다. 따라서, 기존의 비디오 컨텐츠의 활용도를 높일 수 있으면서도, 사용자가 필요로 하는 비디오 컨텐츠를 제공할 수 있다.
도 3은 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 순서도이다.
먼저, 310 단계에서, 전자 장치는 사용자의 탐색 경로를 획득한다. 일 실시예에서 전자 장치는 사용자 입력을 수신하여 탐색 경로를 획득할 수 있다. 또한, 전자 장치는 다른 장치로부터 탐색 경로를 획득할 수도 있다. 일 실시예에서 사용자는 실내 탐색을 위하여 특정 빌딩 또는 특정 층(floor)를 탐색 경로로 설정할 수 있다. 이 경우, 전자 장치는 해당 빌딩 또는 해당 층 자체를 탐색 경로로 설정할 수 있다.
나아가, 전자 장치는 탐색 경로 주변을 관심 영역으로 설정할 수 있다. 관심 영역은 이후 단계에서 탐색 경로와 관련된 비디오 컨텐츠를 획득하는데 사용될 수 있다. 도 4 및 도 5를 참조하여 설명한다.
도 4는 일 실시예에 따라 탐색 경로를 획득하는 과정을 설명하는 도면이고, 도 5는 일 실시예에 따라 관심 영역을 설정하는 과정을 설명하는 도면이다.
도 4를 참조하면, 지도 상에 탐색 경로(410)가 표시될 수 있다.
전자 장치가 직접 사용자 입력을 수신하여 탐색 경로(410)를 획득하는 경우, 전자 장치는 사용자로부터 출발지 및 도착지를 입력 받을 수 있다. 전자 장치는 사용자로부터 직접 출발지와 도착지 사이의 경로를 입력 받을 수 있다. 또는, 전자 장치는 사용자가 출발지 및 도착지를 입력하는 경우, 출발지와 도착지 사이의 가능한 경로를 적어도 하나 이상 탐색하여 사용자에게 제공하고, 사용자의 선택에 따라 탐색 경로(410)를 획득할 수 있다. 또는, 전자 장치는 사용자가 출발지 및 도착지를 입력하는 경우, 자동으로 출발지와 도착지 사이의 가능한 경로 중 하나, 예를 들어, 최적의 경로를 선택할 수도 있다. 또한, 전자 장치는 다른 장치로부터 탐색 경로(410)에 대한 정보를 수신함으로써 탐색 경로(410)를 획득할 수도 있다.
나아가, 사용자는 실내 탐색을 위하여 특정 빌딩 또는 특정 층(floor)를 탐색 경로로 설정할 수 있다. 이 경우, 전자 장치는 출발지 및 도착지를 입력 받는 것이 아니라, 특정 빌딩 또는 특정 층 자체를 탐색 경로로 설정할 수 있다.
도 5를 참조하면, 전자 장치는 탐색 경로(410) 주변으로 관심 영역(510)을 설정할 수 있다. 이후 단계에서 전자 장치는 비디오 컨텐츠 중 관심 영역(510)을 포함하는 비디오 컨텐츠를 획득할 수 있다.
다시 도 3의 설명으로 돌아가면,
320 단계에서, 전자 장치는 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 획득한다. 일 실시예에서, 전자 장치는 탐색 경로 중 적어도 일부를 촬영한 비디오 컨텐츠를 획득할 수 있다. 이때, 비디오 컨텐츠는 360도 비디오 컨텐츠일 수 있다.
일 실시예에서, 전자 장치는 서버와 같은 외부 장치로부터 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 수신할 수 있다. 전자 장치는 서버와 같은 외부 장치로부터 수신한 비디오 컨텐츠를 저장할 수 있고, 전자 장치에서 비디오 컨텐츠를 생성하여 저장할 수도 있다. 일 실시예에서, 전자 장치는 이와 같이 전자 장치에 저장하고 있는 비디오 컨텐츠를 불러오는 것도 가능하다.
일 실시예에서, 탐색 경로와 관련된 비디오 컨텐츠인지 여부는 비디오 컨텐츠와 관련된 부가 정보를 통해 판단 가능하다. 부가 정보는 비디오 컨텐츠의 제목, 촬영 위치 정보, 해시태그, 인덱스 정보, 요약 정보 등을 포함할 수 있다. 전자 장치는 이러한 부가 정보를 이용하여, 해당 전자 장치 또는 서버와 같은 외부 장치에 저장된 비디오 컨텐츠 중에서 탐색 경로와 관련된 비디오 컨텐츠인지 여부를 판단하여 획득할 수 있다. 도 6을 참조하여 설명한다.
도 6는 일 실시예에 따라 탐색 경로와 관련된 비디오 컨텐츠를 설명하는 도면이다.
도 6을 도 4 및 도 5에서 도시하는 탐색 경로(410) 주변 또는 관심 영역 내에서 촬영된 탐색 경로와 관련된 비디오 컨텐츠의 촬영 경로(610, 620, 630, 640)가 도시되어 있다. 전자 장치는 비디오 컨텐츠의 부가 정보를 이용하여 해당 비디오 컨텐츠가 탐색 경로와 관련되어 있는지 여부를 판단한다. 다만, 도 6에서 표시된 탐색 경로와 관련된 비디오 컨텐츠의 촬영 경로(610, 620, 630, 640)는 비디오 컨텐츠와 관련된 부가 정보를 통해 판단한 것이고, 실제 비디오 컨텐츠의 촬영 경로를 획득하는 방법은 아래에서 다시 설명하도록 한다.
일 실시예에서 전자 장치는 비디오 컨텐츠가 탐색 경로(410) 중 적어도 일부를 촬영한 것인 경우, 해당 비디오 컨텐츠는 탐색 경로와 관련된 비디오 컨텐츠라고 판단할 수 있다.
다시 도 3의 설명으로 돌아가면,
330 단계에서, 전자 장치는 적어도 하나 이상의 비디오 컨텐츠 간에 교차점을 결정할 수 있다. 일 실시예에서, 전자 장치는 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 획득하고, 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 중첩(overlay)하여 교차점을 결정할 수 있다.
일 실시예에서 전자 장치는 탐색 경로가 야외에 위치하는 경우, 촬영 위치를 포함하는 적어도 하나 이상의 비디오 컨텐츠의 부가 정보를 바탕으로 촬영 경로를 획득할 수 있다. 나아가, 전자 장치는 비디오 컨텐츠를 분석하여 촬영 경로를 획득할 수도 있다. 도 7 내지 도 11을 참조하여 설명한다.
도 7은 일 실시예에 따른 전자 장치의 비디오 컨텐츠의 촬영 경로를 획득 방법을 나타내는 순서도이다.
도 7을 참조하면, 먼저, 710 단계에서, 전자 장치는 적어도 하나 이상의 비디오 컨텐츠에서 시각 디스크립터(visual descriptor)를 추출한다. 시각 디스크립터는 탐색 경로를 획득하기 위하여 사용하는 탐색 경로 상에 위치한 오브젝트(object)로, 색깔(color), 질감(texture), 모양(shape), 움직임(motion), 위치(location) 등과 같은 특징을 기반으로 식별될 수 있다. 시각 디스크립터의 예시로는, 도로 표지판, 빌딩, 신호등, 가로등, 광고판, 자동차, 가구, 그림, 사진, 방문, 창문 등이 있다. 도 8 및 도 9를 참조하여 보다 상세히 설명한다.
도 8은 시각 디스크립터의 일 예를 나타내는 도면이고, 도 9는 시각 디스크립터의 다른 예를 나타내는 도면이다.
도 8은 야외(outdoor)에서 사용될 수 있는 시각 디스크립터를 나타내는 도면이다. 도 8을 참조하면, 신호등(810) 및 표지판(820) 등이 시각 디스크립터로 사용되고 있다. 이와 비교하여 도 9는 실내(indoor)에서 사용될 수 있는 시각 디스크립터를 나타내는 도면이다. 도 9를 참조하면, 의자(910), TV(920), 화분(930) 및 모니터(940) 등이 시각 디스크립터로 사용되고 있다.
다시 도 7의 설명으로 돌아가면,
720 단계에서, 전자 장치는 시각 디스크립터를 이용하여 카메라의 움직임을 계산한다. 카메라가 이동함에 따라 사물을 보는 시점(viewpoint)가 달라지므로, 이를 이용하여 카메라의 움직임을 계산할 수 있다. 다시 말해, 카메라가 이동하면서 디스크립터를 촬영한 경우, 카메라의 움직임에 따라 카메라에 촬영되는 디스크립터의 형상, 크기, 방향 등이 달라지는 바, 이를 이용하여 카메라의 움직임을 계산할 수 있다.
일 실시예에서 전자 장치는 비디오 컨텐츠를 프레임 단위로 분석하여 인접한 프레임에서 디스크립터의 변화를 분석하여 카메라의 움직임을 계산할 수 있다. 보다 구체적으로 전자 장치는 각 프레임 별로 디스크립터를 분석하여 카메라의 위치를 계산한다. 그 후, 각 프레임 단위로 계산된 카메라의 위치를 연속적으로 연결하면 카메라의 움직임을 계산할 수 있다.
카메라의 움직임은 직교 좌표계(Cartesian coordinate system)와 같은 3D 기반의 좌표계로 나타낼 수 있다. 또한, 전자 장치는 삼각 측량법(triangulation approach)를 이용하여 카메라의 움직임을 계산할 수도 있다.
그 후, 730 단계에서, 전자 장치는 카메라의 움직임을 바탕으로 촬영 경로를 획득할 수 있다. 일 실시예에서, 전자 장치는 카메라의 움직임의 궤적을 분석하여 촬영 경로를 획득할 수 있다. 도 10을 참조하여 설명한다.
도 10은 일 실시예에 따라 획득한 비디오 컨텐츠의 촬영 경로를 나타내는 도면이다.
도 10을 참조하면 도 7의 방법으로 획득한 비디오 컨텐츠의 촬영 경로(1010, 1020, 1030, 1040)를 도시하고 있다. 도 10에서 도시하는 비디오 컨텐츠의 촬영 경로(1010, 1020, 1030, 1040)는 도 6에서 도시하는 비디오 컨텐츠의 촬영 경로(610, 620, 630, 640)와 달리 비디오 컨텐츠를 바탕으로 분석한 것으로, 실제 촬영 경로를 나타낸다.
다시 도 3의 설명으로 돌아가면,
일 실시예에서, 전자 장치는 위에서 설명한 방법으로 획득한 비디오 컨텐츠의 촬영 경로를 중첩(overlay)하여 교차점을 결정한다. 도 11을 참조하여 설명한다.
도 11은 일 실시예에 따라 비디오 컨텐츠 간에 교차점을 결정하는 과정을 설명하는 도면이다.
도 11을 참조하면, 전자 장치는 획득한 비디오 컨텐츠의 촬영 경로를 중첩하여 비디오 컨텐츠 간 교차점(1110)을 결정한다. 교차점은 복수개가 존재할 수 있다. 이러한 교차점은 비디오 컨텐츠를 추출하고 이어 붙이는데 있어서 기준점이 된다. 다시 말해, 비디오 컨텐츠는 교차점을 기준으로 각 비디오 컨텐츠의 일부분을 추출할 수 있고, 또한, 교차점을 기준으로 추출한 비디오 컨텐츠들을 이어붙일 수도 있다.
다시 도 3의 설명으로 돌아가면,
340 단계에서, 전자 장치는 교차점을 이용하여 적어도 하나 이상의 비디오 컨텐츠 중 탐색 경로에 대응되는 부분들을 추출한다. 일 실시예에서, 전자 장치는 적어도 하나 이상의 비디오 컨텐츠에서 탐색 경로 상에 위치하는 교차점과 교차점 사이의 경로에 대응되는 부분들을 추출할 수 있다. 340 단계는 탐색 경로에 대응되는 비디오 컨텐츠를 추출하는 과정이다. 일반적으로, 컨텐츠 소비자인 사용자가 필요로 하는 완벽히 매칭되는 비디오 컨텐츠를 찾기 어렵다. 따라서, 여러 개의 비디오 컨텐츠에서 각각 탐색 경로와 매칭되는 부분들을 추출하는 것이다.
350 단계에서, 전자 장치는 추출한 부분들을 이어 붙여(stitch) 탐색 경로에 대한 비디오 컨텐츠를 생성한다. 전자 장치는 여러 개의 비디오 컨텐츠에서 추출한 비디오 컨텐츠의 부분들을 이어 붙여 하나의 비디오 컨텐츠로 생성하는 것이다. 이때, 이어 붙여지는 비디오 컨텐츠의 부분들은 330 단계에서 결정한 교차점을 기준으로 이어 붙여진다. 각 비디오 컨텐츠의 부분들은 교차점을 기준으로 추출되었으므로, 이어 붙이는 과정 역시 교차점을 기준으로 이루어진다.
일 실시예에서, 추출한 부분들이 중복될 수도 있고, 획득한 비디오 컨텐츠에 촬영 경로에 대응되는 부분이 없을 수도 있다. 촬영 경로에 대응되는 부분이 없는 경우, 전자 장치는 추가적인 프로세스를 통하여 비디오 컨텐츠를 추가로 획득할 수도 있고, 해당 부분은 비워두고 비디오 컨텐츠를 생성할 수도 있다. 또한, 중복되는 부분이 있는 경우, 여러 비디오 컨텐츠의 부분 중 하나를 선택하여 선택한 비디오 컨텐츠의 부분을 이어 붙일 수도 있다.
일 실시예에서, 전자 장치는 관련 없는 복수 개의 비디오 컨텐츠에서 각 부분을 추출하여 이어 붙임으로써, 전자 장치가 생성하는 비디오 컨텐츠가 부자연스러울 수 있다. 예를 들어, 하나의 비디오 컨텐츠는 낮에 촬영한 것이고 다른 하나는 밤에 촬영한 것인 경우, 두 비디오 컨텐츠의 일부분들을 추출하여 이어 붙인 경우, 시간의 변화가 급격히 일어나 사용자가 불편함을 느낄 수 있다. 따라서, 전자 장치는 추출한 부분들에 대한 컨텍스트 정보(context information)를 바탕으로 이어 붙일 부분들을 선택하고, 선택된 부분들을 이어 붙일 수 있다. 여기서, 컨텍스트 정보는 날씨, 계절, 시간, 주변 환경 등의 정보를 포함할 수 있다. 일 실시예에 따르면, 전자 장치는 컨텍스트 정보를 바탕으로 이어 붙일 부분들을 선택함으로써 보다 자연스러운 비디오 컨텐츠를 생성할 수 있다.
도 3의 과정을 도 12를 참조하여 다시 한 번 간략히 설명한다.
도 12는 일 실시예에 따라 비디오 컨텐츠를 생성하는 과정을 설명하는 도면이다.
도 12를 참조하면, 전자 장치는 탐색 경로(1210)를 획득하고 탐색 경로(1210)와 관련된 3개의 비디오 컨텐츠를 획득한다. 그 후, 전자 장치는 3개의 비디오 컨텐츠에 대한 촬영 경로(1220, 1230, 1240)를 중첩(1250)하여 교차점(1251, 1252, …, 1259)을 결정한다. 전자 장치는 각 비디오 컨텐츠로부터 탐색 경로 상에 위치하는 교차점과 교차점 사이의 경로에 대응되는 부분들을 추출하고, 추출한 부분들을 이어 붙여 사용자가 필요로 하는 비디오 컨텐츠(1260)를 생성한다.
도 12에서는 교차점 1251과 1252 사이의 탐색 경로에 대응되는 부분이 존재하지 않는다. 따라서, 전자 장치는 해당 부분이 포함된 비디오 컨텐츠를 추가로 획득하거나, 해당 부분은 비워두고 비디오 컨텐츠(1260)를 생성할 수 있다.
지금까지는 일 실시예에 따른 전자 장치의 동작 방법에 대해서 설명하였다. 아래에서는 전자 장치의 구성을 보다 구체적으로 설명하도록 한다. 위에서 설명한 것과 중복되는 내용들은 간단히 설명하도록 한다.
도 13은 일 실시예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 13을 참조하면, 전자 장치(1300)는 메모리(1310) 및 프로세서(1320)를 포함한다.
전자 장치(1300)는 헤드-마운티드 디스플레이, 스마트 폰, 태블릿 PC, 노트북, 서버 등 영상 처리가 가능한 장치를 포함할 수 있다.
메모리(1310)에는 어플리케이션과 같은 프로그램 및 파일 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 프로세서(1320)는 메모리(1310)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(1310)에 저장할 수 있다. 또한, 프로세서(1320)는 메모리(1310)에 설치된 프로그램을 실행할 수도 있다.
일 실시예에서 메모리에는 전자 장치의 동작을 위한 프로그램이 저장될 수 있다.
프로세서(1320)는 전자 장치(1300)의 전반적인 동작을 제어하며, 특히, 전자 장치(1300)가 적어도 하나 이상의 비디오 컨텐츠를 조합하여, 사용자가 필요로 하는 새로운 비디오 컨텐츠를 생성하는 제어할 수 있다. 또한, 프로세서(1320)는 전자 장치(1300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치(1300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 주변기기의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 등을 사용하여 동작할 수 있다. 프로세서는 코어(core)와 GPU를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서는 복수의 프로세서를 포함할 수 있다.
일 실시예에서 프로세서(1320)는 메모리(1310)에 저장된 프로그램을 실행하여, 탐색 경로를 획득하고, 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 획득하며, 적어도 하나 이상의 비디오 컨텐츠 간에 교차점을 결정하고, 교차점을 이용하여 적어도 하나 이상의 비디오 컨텐츠 중 탐색 경로에 대응되는 부분들을 추출하며, 추출한 부분들을 이어 붙여 탐색 경로에 대한 비디오 컨텐츠를 생성할 수 있다. 이때, 비디오 컨텐츠는 360도 비디오 컨텐츠일 수 있다.
프로세서(1320)는 탐색 경로 중 적어도 일부를 촬영한 비디오 컨텐츠를 획득할 수 있다. 또한, 프로세서(1320)는 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 획득하고, 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 중첩하여 교차점을 결정할 수 있다. 이때, 프로세서(1320)는 시각 디스크립터를 이용하여 카메라의 움직임을 계산하고, 카메라의 움직임을 바탕으로 촬영 경로를 획득할 수도 있고, 촬영 위치를 포함하는 상기 적어도 하나 이상의 비디오 컨텐츠의 부가 정보를 바탕으로 촬영 경로를 획득할 수도 있다.
프로세서(1320)는 적어도 하나 이상의 비디오 컨텐츠에서 탐색 경로 상에 위치하는 교차점과 교차점 사이의 경로에 대응되는 부분들을 추출할 수 있다. 또한, 프로세서(1320)는 추출한 부분들에 대한 컨텍스트 정보를 바탕으로 이어 붙일 부분들을 선택하고, 선택된 부분들을 이어 붙일 수도 있다.
전자 장치(1300)는 도 13에서 도시한 구성들 외에 추가적인 구성들을 포함할 수 있다. 도 14를 참조하여 설명하도록 한다.
도 14는 다른 일 실시예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 14을 참조하면 전자 장치(1400)는 메모리(1410), 통신부(1420), 입력부(1430), 디스플레이부(1440), 및 프로세서(1450)를 포함한다. 도 14에서 도시하는 메모리(1410) 및 프로세서(1470)는 도 10에서 도시하는 메모리(1310) 및 프로세서(1320)와 동일한 구성이다.
통신부(1420)는, 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(1420)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태일 수도 있다. 통신부(1420)는 전자 장치(1400)의 외부에 위치한 외부 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 전자 장치(1400)는 통신부(1420)를 통해 외부 장치와 연결되어, 외부 장치로부터 수신된 신호 또는 데이터를 프로세서(1450)로 전달하거나, 또는 프로세서(1450)에서 발생된 신호 또는 데이터를 외부 장치로 전송할 수 있다. 예를 들어, 통신부(1420)는 외부 장치로부터 비디오 컨텐츠를 수신하거나, 생성한 비디오 컨텐츠를 외부 장치로 전송할 수 있다.
입력부(1430)는 사용자로부터 입력을 수신한다. 입력부(1430)는, 예를 들어, 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 다만, 이에 한정되지 않고 입력부(1430)는 다양한 입력을 지원하는 장치를 포함할 수 있다.
일 실시예에서, 입력부(1430)는 사용자로부터 탐색 경로에 대한 입력을 수신할 수 있다.
디스플레이부(1440)는 전자 장치(1400)의 작업 수행 결과 또는 전자 장치의 상태 등의 정보를 표시할 수 있다. 디스플레이부(1440)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(1400)의 구현 형태에 따라 전자 장치(1400)는 디스플레이부(1440)를 2개 이상 포함할 수도 있다.
일 실시예에서, 디스플레이부(1440)는 프로세서(1450)에서 생성한 사용자가 필요로 하는 비디오 컨텐츠를 디스플레이 할 수 있다.
전자 장치(1400)는 도 13 및 도 14에서 도시되지 않은 다른 구성요소들을 더 포함할 수 있다. 예를 들어, 전자 장치(1400)는 카메라부를 더 포함하여 촬영을 통해 비디오 컨텐츠를 생성할 수 있다.
한편, 상술된 실시예들은 컴퓨터에 의하여 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다.
컴퓨터로 읽을 수 있는 기록매체란, 예를 들어 하드디스크 등과 같은 마그네틱 저장매체, CD 및 DVD 등과 같은 광학적 판독매체 등을 의미할 수 있으며, 네트워크를 통해 접근 가능한 서버에 포함되는 메모리를 의미할 수도 있다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 전자 장치 또는 서버의 메모리가 될 수도 있다. 또한, 전자 장치 또는 서버와 네트워크를 통하여 연결된 단말, 서버 등에 포함되는 메모리가 될 수도 있다.
이상과 첨부된 도면을 참조하여 실시예를 설명하였지만, 일 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 일 실시예가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1300: 전자 장치
1310: 메모리
1320: 프로세서

Claims (17)

  1. 탐색 경로 획득을 위한 사용자 입력을 수신하되, 상기 사용자 입력은, 실내 탐색의 경우 특정 빌딩 또는 특정 층을 포함하고 실외 탐색의 경우 출발 지점 및 도착 지점을 포함하는 것인, 단계;
    상기 사용자 입력에 기초하여 탐색 경로를 획득하되, 상기 탐색 경로는, 상기 특정 빌딩의 탐색 경로, 상기 특정 층의 탐색 경로 및 상기 출발 지점과 상기 도착 지점 사이의 경로 중 어느 하나인 것인, 단계;
    복수의 비디오 컨텐츠 중에서 비디오 컨텐츠와 관련된 부가 정보에 기초하여 상기 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠(video contents relate to the search path)를 결정하는 단계;
    상기 탐색 경로와 관련된 상기 적어도 하나 이상의 비디오 컨텐츠를 획득하는 단계;
    상기 적어도 하나 이상의 비디오 컨텐츠 간에 상기 탐색 경로 상에 위치하는 교차점들을 결정하는 단계;
    상기 적어도 하나 이상의 비디오 컨텐츠에서 상기 탐색 경로 상에 위치하는 교차점들 사이의 경로들에 대응되는 부분들을 추출하는 단계; 및
    상기 추출한 부분들을 이어 붙여(stitch) 상기 탐색 경로에 대한 비디오 컨텐츠(video content of the search path)를 생성하는 단계를 포함하고,
    상기 적어도 하나 이상의 비디오 컨텐츠 간에 상기 탐색 경로 상에 위치하는 교차점들을 결정하는 단계는,
    상기 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 획득하는 단계; 및
    상기 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 중첩(overlay)하여 교차점들을 결정하는 단계를 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 획득하는 단계는,
    상기 적어도 하나 이상의 비디오 컨텐츠에서 시각 디스크립터(visual descriptor)를 추출하는 단계;
    상기 시각 디스크립터를 이용하여 카메라의 움직임을 계산하는 단계; 및
    상기 카메라의 움직임을 바탕으로 촬영 경로를 획득하는 단계를 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  4. 제1항에 있어서,
    상기 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 획득하는 단계는,
    촬영 위치를 포함하는 상기 적어도 하나 이상의 비디오 컨텐츠의 부가 정보를 바탕으로 촬영 경로를 획득하는 단계를 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 추출한 부분들을 이어 붙여(stitch) 상기 탐색 경로에 대한 비디오 컨텐츠를 생성하는 단계는,
    상기 추출한 부분들에 대한 컨텍스트 정보(context information)를 바탕으로 이어 붙일 부분들을 선택하는 단계; 및
    상기 선택된 부분들을 이어 붙이는 단계를 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 획득하는 단계는,
    상기 탐색 경로 중 적어도 일부를 촬영한 비디오 컨텐츠를 획득하는 단계를 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  8. 제1항에 있어서,
    상기 적어도 하나 이상의 비디오 컨텐츠는,
    360도 비디오 컨텐츠인 것을 특징으로 하는 전자 장치의 동작 방법.
  9. 전자 장치의 동작을 위한 프로그램을 저장하는 메모리; 및
    상기 프로그램을 실행함으로써, 탐색 경로 획득을 위한 사용자 입력을 수신하되, 상기 사용자 입력은, 실내 탐색의 경우 특정 빌딩 또는 특정 층을 포함하고 실외 탐색의 경우 출발 지점 및 도착 지점을 포함하는 것이고, 상기 사용자 입력에 기초하여 탐색 경로를 획득하되, 상기 탐색 경로는, 상기 특정 빌딩의 탐색 경로, 상기 특정 층의 탐색 경로 및 상기 출발 지점과 상기 도착 지점 사이의 경로 중 어느 하나인 것이고, 복수의 비디오 컨텐츠 중에서 비디오 컨텐츠와 관련된 부가 정보에 기초하여 상기 탐색 경로와 관련된 적어도 하나 이상의 비디오 컨텐츠를 결정하고, 상기 탐색 경로와 관련된 상기 적어도 하나 이상의 비디오 컨텐츠를 획득하며, 상기 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 획득하고, 상기 적어도 하나 이상의 비디오 컨텐츠의 촬영 경로를 중첩(overlay) 함으로써, 상기 적어도 하나 이상의 비디오 컨텐츠 간에 상기 탐색 경로 상에 위치하는 교차점들을 결정하고, 상기 적어도 하나 이상의 비디오 컨텐츠에서 상기 탐색 경로 상에 위치하는 교차점들 사이의 경로들에 대응되는 부분들을 추출하며, 상기 추출한 부분들을 이어 붙여 상기 탐색 경로에 대한 비디오 컨텐츠를 생성하는 프로세서를 포함하는 것을 특징으로 하는 전자 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 프로세서는,
    시각 디스크립터를 이용하여 카메라의 움직임을 계산하고, 상기 카메라의 움직임을 바탕으로 촬영 경로를 획득하는 것을 특징으로 하는 전자 장치.
  12. 제9항에 있어서,
    상기 프로세서는,
    촬영 위치를 포함하는 상기 적어도 하나 이상의 비디오 컨텐츠의 부가 정보를 바탕으로 촬영 경로를 획득하는 것을 특징으로 하는 전자 장치.
  13. 삭제
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 추출한 부분들에 대한 컨텍스트 정보를 바탕으로 이어 붙일 부분들을 선택하고, 상기 선택된 부분들을 이어 붙이는 것을 특징으로 하는 전자 장치.
  15. 제9항에 있어서,
    상기 프로세서는,
    상기 탐색 경로 중 적어도 일부를 촬영한 비디오 컨텐츠를 획득하는 것을 특징으로 하는 전자 장치.
  16. 제9항에 있어서,
    상기 적어도 하나 이상의 비디오 컨텐츠는,
    360도 비디오 컨텐츠인 것을 특징으로 하는 전자 장치.
  17. 제1항, 제3항, 제4항, 제6항 내지 제8항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.
KR1020160179312A 2016-12-26 2016-12-26 전자 장치 및 그 동작 방법 KR102443049B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160179312A KR102443049B1 (ko) 2016-12-26 2016-12-26 전자 장치 및 그 동작 방법
PCT/KR2017/015439 WO2018124678A1 (en) 2016-12-26 2017-12-26 Electronic device and operation method thereof
US15/854,510 US10542309B2 (en) 2016-12-26 2017-12-26 Electronic device and operation method thereof
EP17888391.4A EP3510440B1 (en) 2016-12-26 2017-12-26 Electronic device and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179312A KR102443049B1 (ko) 2016-12-26 2016-12-26 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20180075222A KR20180075222A (ko) 2018-07-04
KR102443049B1 true KR102443049B1 (ko) 2022-09-14

Family

ID=62630449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179312A KR102443049B1 (ko) 2016-12-26 2016-12-26 전자 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US10542309B2 (ko)
EP (1) EP3510440B1 (ko)
KR (1) KR102443049B1 (ko)
WO (1) WO2018124678A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376271A (zh) * 2018-11-01 2019-02-22 惠州学院 一种视频内容检索方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046846A (ja) * 2002-07-02 2004-02-12 Fuji Xerox Co Ltd 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法
US20130116968A1 (en) * 2010-05-19 2013-05-09 Nokia Corporation Extended fingerprint generation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054438A (ko) * 2000-06-07 2000-09-05 주서진 네트워크를 이용한 화상 지리 정보 서비스 방법
US8797402B2 (en) * 2002-11-19 2014-08-05 Hewlett-Packard Development Company, L.P. Methods and apparatus for imaging and displaying a navigable path
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
KR100682976B1 (ko) * 2004-12-16 2007-02-15 한국전자통신연구원 영상기반 경로정보 생성 시스템 및 그 방법
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US7688229B2 (en) 2007-04-30 2010-03-30 Navteq North America, Llc System and method for stitching of video for routes
US8032296B2 (en) * 2008-04-30 2011-10-04 Verizon Patent And Licensing Inc. Method and system for providing video mapping and travel planning services
KR101451768B1 (ko) 2011-03-21 2014-10-17 팅크웨어(주) 주행 영상 획득을 위한 전자 기기 및 전자 기기의 주행 영상 획득 방법 및 주행 영상 제공을 위한 서버 및 서버의 주행 영상 제공 방법
US9196086B2 (en) 2011-04-26 2015-11-24 Here Global B.V. Method, system, and computer-readable data storage device for creating and displaying three-dimensional features on an electronic map display
US9274595B2 (en) * 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US9036000B1 (en) * 2011-09-27 2015-05-19 Google Inc. Street-level imagery acquisition and selection
KR20150123650A (ko) * 2014-04-25 2015-11-04 이영석 위치 기반 서비스를 이용하여 동영상 정보를 제공하는 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
KR101462583B1 (ko) * 2014-07-01 2014-11-17 주식회사 엠투브 위치 기반 멀티미디어 콘텐츠 제공 장치 및 그 방법
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9704534B2 (en) 2015-09-29 2017-07-11 International Business Machines Corporation Generating consolidated video for a defined route on an electronic map

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046846A (ja) * 2002-07-02 2004-02-12 Fuji Xerox Co Ltd 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法
US20130116968A1 (en) * 2010-05-19 2013-05-09 Nokia Corporation Extended fingerprint generation

Also Published As

Publication number Publication date
EP3510440A1 (en) 2019-07-17
EP3510440B1 (en) 2021-10-13
US20180184148A1 (en) 2018-06-28
US10542309B2 (en) 2020-01-21
KR20180075222A (ko) 2018-07-04
WO2018124678A1 (en) 2018-07-05
EP3510440A4 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US10863168B2 (en) 3D user interface—360-degree visualization of 2D webpage content
Langlotz et al. Next-generation augmented reality browsers: rich, seamless, and adaptive
EP2936444B1 (en) User interface for augmented reality enabled devices
US20150185825A1 (en) Assigning a virtual user interface to a physical object
US20130278633A1 (en) Method and system for generating augmented reality scene
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
US20140181630A1 (en) Method and apparatus for adding annotations to an image
JP6466347B2 (ja) 個人情報コミュニケータ
KR20120061110A (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
TWI795762B (zh) 用於在現實場景中疊加直播人物影像的方法和電子設備
JP2016511850A (ja) プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置
Khan et al. Rebirth of augmented reality-enhancing reality via smartphones
US20200097068A1 (en) Method and apparatus for providing immersive reality content
WO2022252688A1 (zh) 增强现实数据呈现方法、装置、电子设备及存储介质
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
CN105138763A (zh) 一种增强现实中实景与现实信息叠加的方法
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
US10127715B2 (en) 3D user interface—non-native stereoscopic image conversion
KR102443049B1 (ko) 전자 장치 및 그 동작 방법
KR20120061696A (ko) 증강현실 기반 건물 네비게이션 시스템
WO2019228969A1 (en) Displaying a virtual dynamic light effect
KR20180053221A (ko) 전자 장치 및 그의 제어 방법
US20230298286A1 (en) System, method for system, terminal, and method and storage medium for terminal
US20240020910A1 (en) Video playing method and apparatus, electronic device, medium, and program product

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant